Een AI foto van een moedervlek vraagt om een dikke huid

Ooit zei de Romeinse dichter Manilius de Latijnse woorden "Per varios usus artem experientia fecit". Oftewel, door afwisselende ervaringen heeft oefening kunst gebaard. Het is vandaag de dag meer dan relevant in de wereld van AI, machine learning en deep learning. Laat een computer oefenen met veel data en het resultaat mag er zijn. Stop bijvoorbeeld duizenden smartphone foto’s van huidplekjes in een computermodel, zodat het model huidkanker kan voorspellen. Maar is het wel zo simpel? Of is er nog een lange weg te gaan voordat apps het oordeel van een ervaren dermatoloog overnemen en gebruikers de technologie vertrouwen?

De meest voorkomende vorm van kanker in België en Nederland is huidkanker, met respectievelijk 39.000 en 77.000 nieuwe huidkankerpatiënten per jaar. Hoewel de overlevingskans bij huidkanker de laatste jaren sterk is verbeterd door nieuwe medicijnen, blijft er reden tot zorg. Medische professionals raden dan ook aan om het lichaam regelmatig op vreemde plekjes, bultjes of veranderende moedervlekken te controleren. Een moedervlek kan bijvoorbeeld een melanoom zijn. Een melanoom is een vorm van huidkanker en kan leiden tot uitzaaiingen.

Gezondheidsapps die, op basis van AI, de huid monitoren lijken een geschenk uit de hemel. Gebruikers controleren zichzelf snel en laagdrempelig vanuit huis. Dat is gewenst, aangezien de kans op overleven groter is wanneer een melanoom in een vroeg stadium wordt herkend. De afgelopen jaren kwamen meerdere apps op de markt, die beelden laten analyseren door een algoritme. Bijvoorbeeld SkinVision, Miiskin, MoleMapper en MoleScope. Ook Google heeft aangekondigd een dergelijke toepassing te lanceren (Derm Assist), waarschijnlijk nog voor het einde van dit jaar.

Huid monitoren met Miiskin

SmartHealth legde een aantal vragen voor aan één van deze aanbieders: oprichter Jon Friis van het Deens Miiskin. Een persoonlijke ervaring leidde uiteindelijk tot de start van het bedrijf. Jaren geleden leerde hij zijn partner Rikke kennen. Ze had veel moedervlekken en moest dit regelmatig fysiek in de gaten houden. Ook Friis hielp mee en checkte haar huid op veranderingen. De twijfel sloeg toe, want het ontdekken van nieuwe plekjes en veranderingen van de bestaande moedervlekken was bijzonder lastig. "Checking her moles was like looking at the sky, night after night, trying to identify a new or brighter star", zo valt te lezen op de Miiskin website. Friis vroeg zich af of het niet anders kon en zo ontstond het idee van de Miiskin app.

Miiskin-oprichters Jon en Rikke Friis

Jon Friis: "Wij claimen niet dat onze AI of app een diagnose of beoordeling van huidkanker of andere huidaandoeningen biedt. Gebruikers monitoren veranderingen in de huid en moedervlekken met de app. Wij bieden een app en platform om zelf ontwikkelingen van de huid, zoals die van moedervlekken, te monitoren en te identificeren over een periode van tijd."

"Wij raden gebruikers altijd aan medische professionals te raadplegen wanneer zij op basis van onze technologie eventuele zorgen over hun huid en moedervlekken hebben vastgesteld. Dit betekent dat de app geen enkele gebruiker een gepersonaliseerd resultaat of uitkomst biedt. Het is slechts een geavanceerde technologie zodat gebruikers veranderingen op hun huid gemakkelijker kunnen controleren, vergelijken, beheren en mogelijk identificeren. Wij geloven dat klinische beoordelingen en diagnoses niet van AI moeten komen, maar van zorgprofessionals."

Miiskin biedt verschillende features waarmee gebruikers regelmatig hun huid in de gaten houden. Met de Mole Sizing feature is de gebruiker in staat om de grootte van de moedervlekken te meten en kan de gebruiker zien of de moedervlek is veranderd in grootte, vorm of kleur. Er is ook een Face Tracking feature om ontwikkelingen in het gezicht, zoals bijvoorbeeld acne, te volgen. Andere features houden grotere delen van het lichaam in de gaten (Skin Mapping, Automatic Skin Imaging). Dat laatste is volgens het Deense bedrijf belangrijk, omdat 70 procent van de melanomen ontstaat door nieuwe plekjes op de huid. Naast de apps biedt Miiskin gebruikers veel informatie, waaronder foto's van huidaandoeningen. Hierdoor krijgen gebruikers meer kennis en een beter begrip van bijvoorbeeld huidkanker.

Skinvision: herken huidkanker

In vergelijking met andere apps benadrukt Miiskin dat hun technologie een hulpmiddel is om het controleren van de huid te vergemakkelijken. Andere huidherkenningsapps, zoals het Nederlandse SkinVision, leggen een directe link met huidkanker. SkinVision stelt op de eigen website: "Met de SkinVision-app kunt u onmiddellijk tekenen van de meest voorkomende soorten huidkanker opsporen, maar wij geven geen diagnose." Desalniettemin luidt de titel in de app store: SkinVision - herken huidkanker. De app is volgens het Nederlandse bedrijf een gereguleerd medisch apparaat dat AI samenvoegt met de expertise van gezondheidsdeskundigen en dermatologen.

Sinds 2019 biedt zorgverzekeraar CZ de app gratis aan voor de eigen klanten, om zo de huisarts te ontlasten en verzekerden meer service te bieden. Volgens SkinVision is het algoritme getraind op basis van honderdduizenden foto's die klinisch gevalideerd zijn door dermatologen. Ook stellen ze dat het algoritme een sensitiviteit van 95 procent heeft in het herkennen van tekenen van huidkanker. Ze verwijzen naar een onafhankelijke studie van het Erasmus MC. Het bedrijf zet een dermatologieteam in om een continue kwaliteitscontrole uit te voeren op de uitkomst van het algoritme.

In het verleden is meerdere malen onderzoek gedaan naar de app van SkinVision. Zo werd de nauwkeurigheid en de methodiek in twijfel getrokken. Ook troffen BMJ onderzoekers situaties aan waarin de app onterecht aangaf dat er reden was tot bezorgdheid. SkinVision was niet bereid om SmartHealth te woord te staan en te reageren op deze kritiek uit eerdere onderzoeken.

Met name in de Verenigde Staten wordt met een schuin oog gekeken naar het toekennen van een Europese CE-markering aan apps zoals SkinVision. De FDA, het zorgagentschap in de Verenigde Staten, is daar vooralsnog terughoudend in en heeft nog geen toestemming verleend voor de Amerikaanse markt.

Vooringenomenheid van algoritmes (en artsen)

Vooringenomenheid is een belangrijke reden waarom de betrouwbaarheid van een op AI gebaseerde app in het geding is. Ontwikkelaars van machine learning apps voeden en trainen het algoritme met duizenden, soms wel miljoenen foto’s van veelvoorkomende huidaandoeningen. Vervolgens classificeert het algoritme zelf de geüploade foto’s. Is er sprake van een verdachte plek? Zo ja, om welke mogelijke aandoening gaat het? Op basis van deze training plaatst het algoritme elke nieuwe foto in de juiste categorie.

Idealiter ontwikkelt het algoritme zich tot een steeds betrouwbaarder instrument, naarmate meer en meer gebruikers foto’s uploaden. Echter, wanneer de dataset in de training bestaat uit een onevenredig aantal oudere witte mannen, dan zal dit de uitkomst beïnvloeden van bijvoorbeeld jonge vrouwen met een Afrikaanse achtergrond. Mogelijk geeft de software onterecht aan dat er niks aan de hand is met de huid, maar is die conclusie gebaseerd op een te klein aantal specifieke leervoorbeelden.

Het is lastig om een representatieve populatie te gebruiken in de dataset, omdat sommige groepen simpelweg minder vaak bij een dermatoloog komen, bijvoorbeeld door een economische achterstand. Deze data ontbreekt. Nu zijn leeftijd, geslacht en etniciteit nog voor de hand liggende variabelen, die de uitkomst beïnvloeden. Maar hoe zit het met andere variabelen en verschillen?

Omdat veel bedrijven hun eigen, besloten databases gebruiken, kunnen regelgevers en clinici niet zeker weten op welke data het algoritme getraind is. Die bias in beoordeling speelt overigens niet alleen bij AI-algoritmes: ook dermatologen hebben de neiging om minder comfortabel te zijn bij het diagnosticeren van huidaandoeningen bij patiënten van kleur, blijkt uit onderzoek van Amerikaanse dermatologen.

Google probeert voor zijn Derm Assist dit probleem op te lossen door een ander type AI te gebruiken om kunstmatige afbeeldingen van aandoeningen op donkere huid te ontwikkelen, wat uiteindelijk kan helpen bij het verbeteren van algoritmen. Door die kunstmatige of synthetische data wordt de variëteit aan afbeeldingen groter, is het idee. Voorlopig laat Derm Assist gebruikers weten wat de onzekerheid is over hun resultaten.

Interpretatie en emotie gebruikers

In tegenstelling tot Miiskin legt SkinVision wel de directe link met huidkanker. Het bedrijf biedt een gereguleerd medische applicatie die huidkanker herkent en opspoort, en werkt samen met een zorgverzekeraar. Desalniettemin wordt er geen diagnose gesteld, aldus SkinVision. Dus wat houdt het begrip ‘diagnose’ dan in?

Voor huid-apps, zoals die van SkinVision, geldt dat gebruikers ze mogelijk onbewust inzetten als medisch hulpmiddel. De app kan als resultaat geven: "Ons algoritme beoordeelt jouw foto met een laag risico, want er is geen sterke match tussen jouw foto en de foto’s van huidkanker in onze database." Mogen we in dat geval verwachten dat de gebruiker kritisch is en deze conclusie in twijfel trekt? Of is er sprake van opluchting en gaan ze verder met hun leven?

Als de app juist wel aangeeft dat er iets mis is, dan leidt dat mogelijk tot bezorgdheid en angst. Denk aan het volgende resultaat: "Onze beoordeling ontdekt milde tekenen van chaotische groei, wat een mogelijke aanwijzing is voor de ontwikkeling van huidkanker." Dit kan in het hoofd gaan zitten van de patiënt. De kans bestaat dat een arts uiteindelijk concludeert dat de app het toch niet bij het rechte eind had. Hoewel er in een disclaimer duidelijk wordt aangegeven dat apps geen diagnose stellen, kan zo'n bericht leiden tot angst en twijfel die, zonder de juiste medische kennis of geruststelling door een arts, moeilijk verdwijnt. Afgelopen zomer berichtte de Britse krant The Guardian over dit thema en kwamen app gebruikers met dergelijke ervaringen aan het woord.

App reviews

Dit beeld wordt versterkt door veel gebruikerservaringen die de apps op hun website plaatsen. Het zijn verhalen die als een blog weglezen en een inkijkje geven in de ervaring van een ‘willekeurige’ app-gebruiker. Wat opvalt is dat ze vrijwel altijd in het teken staan van huidkanker. Bijvoorbeeld dat de app het leven heeft gered door een vroege diagnose (SkinVision) of dat de app helpt bij het monitoren van de huid nadat er huidkanker is opgelopen (Miiskin).

Niet centraal staan de ervaringen van gebruikers die uiteindelijk niets oplopen. Zo blijkt dat klanten van zorgverzekeraar CZ tussen 2019 en 2020 zo’n 155.000 foto’s van huidplekjes lieten beoordelen op huidkanker door de SkinVision app. Bij 146.000 van deze foto’s concludeerde de app dat er niets aan de hand was. Slechts in 122 gevallen kon met 90 procent zekerheid worden aangegeven dat het om een melanoom ging. Uit die cijfers van CZ lijkt de conclusie dat in minder dan 0,1 procent van de foto’s daadwerkelijk een melanoom is ontdekt.

Om ervoor te zorgen dat algoritmen huidkanker echt goed genoeg kunnen detecteren, moeten onderzoekers, beroepsorganisatie, bedrijven en regelgevende instanties zoals de FDA eigenlijk normen voor deze hulpmiddelen vaststellen. Een belangrijke factor is dat algoritmen niet alleen leren hoe ze een ziekte of afwijking kunnen herkennen, maar ook wanneer ze dat niet kunnen. Kan een AI-algoritme leren herkennen wanneer de diagnose niet accuraat is of representatief, en een gebruiker naar een dermatoloog doorverwijzen?

Patient empowerment?

Er zijn inmiddels diverse op AI gebaseerde apps beschikbaar, die de huid monitoren en risico’s in kaart brengen van huidaandoeningen. Wanneer de algoritmes in die apps in staat zijn om met een hoge betrouwbaarheid huidkanker te voorspellen, dan gelden huidherkenningsapps als ideale ondersteuning voor medische professionals.

Huidherkenningsapps geven aan dat ze geen diagnosetool bieden en dat bij twijfel altijd een arts nodig is. Maar de twijfel van de gebruiker is niet hetzelfde als de twijfel van een medisch professional. Gelukkig zoeken apps als het Deense Miiskin en het Nederlandse SkinVision bewust de samenwerking met zorgaanbieders. Die samenwerking tussen app-developers en artsen of dermatologen helpt om de accuratesse en betrouwbaarheid van algoritmes te vergroten, zodat deze apps in de toekomst mogelijk betrouwbaar genoeg zijn om daadwerkelijk een deel van de dermatologie-diagnostiek over te nemen van de arts. In dat geval heeft de gebruiker een app met een betrouwbaar oordeel, zonder ruimte voor een ongefundeerde interpretatie.