In appstores zijn letterlijk tienduizenden gezondheidsapps beschikbaar die je kunt beschouwen als e-coaches. Ze beloven je te helpen met afvallen, beter te slapen, gezonder te eten of een depressie te overwinnen. Maar werken die apps eigenlijk wel? Op welke onderliggende mechanismen zijn ze gebaseerd? Dat waren belangrijke thema’s op de conferentie Healthy Lifestyle Solutions die vorige week op de high-tech campus in Eindhoven werd georganiseerd.
De conferentie was een onderdeel van het Healthy Lifestyle Solutions onderzoeksprogramma, een samenwerking van academische onderzoekers, publieke organisaties en Philips. Dat juist de vraag naar de effectiviteit van e-coaching apps hoog op de agenda stond is niet verbazingwekkend. Wetenschappelijke onderzoeken, zoals zogeheten gerandomiseerde trials met een controlegroep, zijn kostbaar en duren doorgaans enkele jaren. Maar elke maand komen er nieuwe apps, trackers en wearables uit, en de technologie ontwikkelt zich razendsnel. Neem de smartwatch, twee jaar geleden nog een bijzonderheid voor gadget-freaks, nu een van de populaire kerstkado’s.
Beschermen tegen kwakzalverij?
De vraag naar de effectiviteit van e-coaching apps speelt niet alleen bij wetenschappers. Pēteris Zilgalvis, die zich bij de Europese Unie bezig houdt met eHealth en well being, benaderde in zijn presentatie die vraag vanuit het perspectief van de bescherming van de consument. “Enerzijds kun je je afvragen of apps doen wat ze beloven, maar minstens net zo belangrijk is de vraag of ze door onterechte claims geen schade kunnen toebrengen”, zei Zilgalvgis. Hij wees ook op de gevaren van de grote hoeveelheden persoonlijke data die apps verzamelen.
Apple Watch en MyFitnessPal app
In EU-verband werkt zijn groep samen met andere beleidsmakers aan voorstellen om tot in Europees verband een regulering van de app-markt te komen, zonder dat het innovatieve nieuwe bedrijven te moeilijk wordt gemaakt om nieuwe producten te ontwikkelen. Een probleem daarbij is dat de grens tussen gezondheidsapps en medische apps (waarvoor wel een certificering nodig is) aan het vervagen is. Dat was ook een van de conclusies van het rapport Eerlijk advies – De opkomst van de e-coach van het Nederlandse Rathenau instituut dat eind vorig jaar uitkwam.
Aantonen effectiviteit niet eenvoudig
Maar of het nu om serieuze medische toepassingen of om consumentenapps gaat, de vraag naar de bewijsbaarheid van de werking is in beide gevallen niet eenvoudig te beantwoorden. Een van de oorzaken daarvoor is dat e-coaches een gedragsverandering nastreven. Om te stoppen met roken, beter in je vel te zitten, meer te sporten of gezonder te leven moet je je gedrag aanpassen. Maar daarmee wordt het niet eenvoudiger om te onderzoeken of een bepaalde app tot een bepaald resultaat heeft geleid. En of dat een duurzaam resultaat is.
Afvallen met een online cursus
Bij afvallen lijkt er nog een objectieve maat voor het succes te zijn. Gewicht lijkt eenduidiger te meten te zijn dan geluk of een positief zelfbeeld. Maar lag de gewichtsafname nu aan die specifieke app, of zou het met een andere app ook gelukt zijn, omdat je door je smartphone opeens meer gemotiveerd was om af te vallen? In een recente overzichtsstudie concluderen Spaanse onderzoekers dat er bewijs lijkt te zijn dat “app-gebaseerde methoden bruikbaar kunnen zijn om af te vallen". Tegelijk stelt een andere, net zo recente studie, dat er weinig bewijs is voor de effectiviteit van de inzet van apps in vergelijking met andere methoden om af te vallen.
Verschillende aanpakken voor onderzoek
Onderzoek naar gedragsverandering is natuurlijk niet iets van de laatste jaren. Mensen proberen al decennia gezonder te leven, af te vallen of weerbaarder in het leven te staan met behulp van Weight Watchers, een persoonlijke trainer of een bepaalde therapie. Wetenschappers proberen dan ook in eerste instantie aansluiting te zoeken op bestaande onderzoeksresultaten. Daarbij wordt bijvoorbeeld bekeken of apps aansluiten op of gebruik maken van specifieke gedragsmodellen. Dat zegt op zich nog niet direct iets over de effectiviteit van een specifieke app, maar wel over de vraag of een app gebruik maakt van zogeheten evidence-based methoden.
Afvallen en stoppen met roken draaien om gedragsverandering
Het probleem hierbij is dat er onder psychologen en andere gedragswetenschappers geen consensus bestaat over die theoretische modellen. Tik voor de grap maar eens ‘positive thinking controversy’ in Google. Wanneer je gelooft in gedragsmodel A, en aantoont dat een app is gebaseerd op model A, leg je daarmee hoogstens een indirect verband. Je vermoedt dat een bepaalde app werkt, omdat deze uitgaat van principes waarvan je de werking vertrouwt op basis van eerder wetenschappelijk onderzoek.
Gebruikt een app mechanismen die we kennen?
Er zijn ook onderzoeken waarbij apps niet alleen worden beoordeeld op het onderliggende gedragsmodel, maar of bepaalde specifieke strategieën worden gebruikt. In dit onderzoek bekijken wetenschappers bijvoorbeeld of de meest populaire afvalapps uit de app stores je in staat stellen realistische doelen op te geven, informatie over voedsel in te voeren, je hartslang te monitoren of je helpen stress te verminderen. Ze putten daarvoor uit klinische ervaringen met bestaande programma’s, zoals het Amerikaanse Diabetes Prevention Program, en komen tot twintig effectieve componenten. Hun conclusie was overigens dat veel afval-apps nauwelijks gebruik maken van die volgens hen bewezen strategieën, maar dit onderzoek is uit 2013 en daarmee al weer uit het stenen tijdperk van afval-apps en wearables.
Welke onderliggende mechanismen gebruikt een app?
Een specifieke app onderzoeken
Je kunt het ook anders benaderen, en uitgaan van één specifieke app in een zogeheten klinische trial, de gouden standaard voor onderzoek, zoals in dit onderzoek met de app MyFitnessPal of dit met My Meal Mate. Je kunt zo’n onderzoek in principe prima doen zonder dat je al te veel aannames maakt over het onderliggende gedragsmodel. Eenvoudig gezegd kijk je of de groep die een app gebruikt een bepaalde doelstelling om af te vallen sneller bereikt dan de controlegroep zonder app. Je leert dan natuurlijk amper iets over onderliggende mechanismen. En tegelijk is dit type onderzoek niet alleen duur en tijdrovend, maar werpen de uitkomsten ook altijd direct nieuwe vragen op. Om nog maar te zwijgen over het feit dat de app die je in je onderzoek hebt gebruikt waarschijnlijk is vervangen door een nieuwe, verbeterde versie op het moment dat je als onderzoeker je resultaten publiceert.
"We moeten snelle resultaten hebben"
Heleen Riper is hoogleraar e-mental health aan de VU en wordt gezien als één van de grondleggers van e-mental health onderzoek in Nederland. Ze werkt al vijftien jaar op dit vakgebied, en vertelde de congresbezoekers dat de wetenschap alternatieven moeten ontwikkelen voor de kostbare tijdrovende klinische trials die wel vier jaar kunnen duren. Volgens haar is het belangrijk om onderzoeksmethoden te vinden die sneller resultaat opleveren. Riper ziet bijvoorbeeld veel kansen voor het gebruik van big data. Niet alleen door meer data van grotere aantallen proefpersonen te verzamelen, maar ook door meer data van een of twee proefpersonen te verzamelen. Door de sensoren in de smartphone te gebruiken kan dat op een veel minder belastende manier dan tot nu toe gebruikelijk is. "We hebben hier nog een lange weg te gaan, maar het is wel een veelbelovend pad."
Fitbit houdt in combinatie met een armband 24 uur per dag je hartslag bij.
Fitbit en MyFitnessPal zitten op miljarden meetpunten
In een klinisch onderzoek bootsen wetenschappers lab-achtige omstandigheden na om met zo min mogelijk vooraannames de validiteit van hun onderzoeksvraag te testen. Maar een bedrijf als Fitbit verzamelt 'in het vrije veld' elke dag letterlijk miljarden meetpunten over het beweeggedrag (en steeds vaker de hartslag) van de dragers van hun fitness trackers. En MyFitnesPal registreert veranderingen in het gewicht van miljoenen gebruikers van deze app. Nog los van het punt dat private bedrijven deze kroonjuwelen niet delen met de academische gemeenschap, zijn wetenschappers er ook nog lang niet uit over hoe deze zee van data gebruikt zou kunnen worden om de effectiviteit van apps beter te onderzoeken.
"Wetenschap met handen in haar"
Maar hier liggen veel kansen, zegt ook Jaap Trappenburg, senior onderzoeker aan de Universiteit van Utrecht. Volgens hem is het inmiddels wel duidelijk dat de 'ouderwetse' wetenschap niet in staat is om de snelheid van innovatie op het gebied van e-coaching bij te houden. Volgens hem moet het onderzoek naar effectiviteit verschuiven van bewijs achteraf (zoals bij clinical trials) naar een veel grotere rol voor onderzoekers bij de ontwikkeling en implementatie van nieuwe apps. "Wanneer je bestaande expertise en bewezen interventies direct meeneemt in de ontwikkeling van apps, is de kans op succesvolle e-coaches veel groter", meent Trappenburg. "Het vinden van harde bewijskracht voor de werking elke individuele app is onbegonnen werk. Je moet het echt zoeken in een analyse van de onderliggende mechanismen en in het gebruik van big data"
Dr. Jaap Trappenburg, senior onderzoeker bij het Universitair Medisch Centrum Utrecht
Certificering, maar hoe?
De oproep vanuit de EU en landelijke gezondheidsinspecties om meer aandacht te besteden aan de (klinisch bewezen) effectiviteit van de vele varianten van e-coaching apps lijkt op het eerste gezicht kristalhelder. Maar de uitwerking ervan aan de hand van wetenschappelijk onderzoek is in ieder geval nog lang geen gelopen race. In sommige gevallen heb je duidelijk te maken met kwakzalverij. Een app die je op basis van een enkele meting van je rusthartslag een levensverwachting geeft tot op twee cijfers achter de komma is vanuit wetenschappelijk perspectief nog wel aan te pakken (dat is overigens ook minder triviaal dan het lijkt). Dat geldt ook voor een app die belooft dat je door het gebruik ervan kanker voorkomt.
Maar de opkomst van apps en online services die op basis van grote hoeveelheden data van sensoren in je smartphone steeds complexere en persoonlijker coachingadviezen geven vraagt, zo lijkt één van de conclusies van het congres, om minstens net zo'n grote innovatie in onderzoek naar de effectiviteit ervan.
wellicht ook interessant
Waar komt de behoefte vandaan om alles te beoordelen? Er zijn bibliotheken vol geschreven over afvallen en niet al die boeken zijn beoordeeld op hun effectiviteit. Als je om medische redenen moet afvallen zal een arts je een of een paar methoden aanraden die bewezen effectief zijn. Of er daarnaast heel veel meer methodes zijn waar we eigenlijk niet van weten of ze werken doet niet ter zake. Wil iemand het proberen dan is dat mogelijk. Van de 10.000-den apps worden er ook 10.000-den nauwelijks gebruikt. Waarom zou je daarin investeren om de effectiviteit te achterhalen? Beschermen van de consument kan prima door de populaire en veel gebruikte apps te onderzoeken, de marktleiders. Als die de kluit bedonderen komt dat vanzelf naar voren, net als in de auto industrie.
Beste Oscar,
Dat lijkt me een pragmatische en slimme oplossing. De marktleiders zullen door de bank genomen ook betere producten leveren, omdat ze grotere researchafdelingen hebben, meer last hebben van slechte pers en eventuele verdachtmakingen en omdat ze meer-mond-op mondreclame hebben (als ze prettig werken). Tijdens het congres hoorde ik twee soorten opmerkingen over deze aanpak:
a) Dat de consument het massaal koopt en gebruikt, wil niet zeggen dat het effectief werkt. Hiervan zijn inderdaad heel wat voorbeelden te geven, en dan heb ik het niet eens over de ab-trainers van de nachtelijke televisiekanalen. Onafhankelijke onderzoeken blijven nodig, want we hebben ook heel lang geloofd in de schone auto's.
b) Dat de marktleiders misschien bewezen effectief zijn gebleken in onderzoeken, wil niet zeggen dat je het publiek niet moest beschermen tegen veel minder verkochte apps die belachelijke claims hebben waar mensen toch in kunnen trappen, soms zelfs met ernstige medische gevolgen. Zeker wanneer de grens tussen lifestyle, fitness en medische apps vervaagt, is misschien een grotere bescherming van consumenten tegen mobiele kwakzalverij nodig. Dit lijkt de gedachte bij de EU-werkgroep.
Jan
Volledig akkoord, alleen mis ik bij de EU werkgroep enige interesse in de mHealth DEVICES, waar er zeker evenveel kwakzalverij en non-evidence based hype heerst.
Ik bouw al meer dan anderhalf jaar aan een database met ondertussen meer dan 2000 van die medical & consumer health devices, maar niemand blijkt voorlopig geinteresseerd om er samen iets mee te doen (ook niet in België) ... zou nochtans een mooie basis zijn om de consument mee te informeren / of om mee te benchmarken ...
Ik ben het eens met Oscar dat de markt anno 2015 inmiddels wel zo veranderd is dat consumenten vaak zelfstandig apps kiezen en dat wetenschappelijke onderbouwing voor hen van minder belang is. Dat maakt de hele app en wearable wereld ook wat speelser en innovatiever dan de meer traditionele 'non playing' medische wereld.
Bij zwaardere medische aandoeningen heb je natuurlijk ondersteunend bewijs nodig en is er veel minder ruimte om een aardige app uit te proberen.
Verder vind ik ook de Media Equation invalshoek van Reeves en Nass tav apps en digitale media in dit kader interessant. De Media Equation zegt eigenlijk dat apps voor mensen sociale actoren zijn, bijna een soort echte wezens. Een app die beleefd tegen is, ontlokt bij jou als gebruiker meer respect en waardering voor de app. Dit mag vreemd klinken, het is evidence-based, zie http://www.researchgate.net/publication/37705092_The_Media_Equation_How_People_Treat_Computers_Television_and_New_Media_Like_Real_People_and_Pla
En als die apps dan een soort echte wezens voor je zijn, kun je er ook nog eens een therapeutische relatie mee hebben, zeker als je ze personifieert in een animatie. Zie bijvoorbeeld http://www.ists.dartmouth.edu/docs/sith3/bickmore_sith3.pdf
En laat nou die therapeutische relatie (wanneer die relatie 2 mensen betreft) nu wetenschappelijk gezien 1 van de voorspellers van het interventie resultaat zijn.
Kortom: er is wel enige kennis van de werkende ingrediënten van apps, maar die komen uit wat onverwachte en creatieve hoeken.
Eigenlijk is de titel verkeerd om. mHealth apps worstelen met wetenschap. De zorg (en vergoeding) is gebaseerd op wetenschap en dat is de gouden standaard. Zolang mHealth apps zich niet wetenschappelijk bewijzen is de evidence net zo sterk als van het nieuwste dieet of fitness programma.
Het punt is dat elke App graag aangeraden wil worden door professionals en (nog liever) vergoed wil worden. Voor we daar ons (gemeenschaps)geld aan willen besteden lijkt het me niet meer dan logisch dat effectiviteit op termijn bewezen wordt. Maar degenen die er mee worstelen zijn dus de App makers. Niet de wetenschap.