AI-producten op zorgmarkt worstelen met zinvolle klinische impact, 'maar de markt is nog erg jong'

Ze kan prikken en programmeren, maar vandaag houdt Kicky van Leeuwen zich toch vooral met dat laatste bezig. Van Leeuwen, een data scientist en promovendus aan het Radboudumc, publiceerde onlangs met een aantal collega’s een studie over de klinische impact van commerciële kunstmatige intelligentiesoftware voor de radiologie. Daaruit bleek dat nog niet eens een kwart van de AI-producten een aangetoond klinisch effect hebben. Wat is er aan de hand? 

Kunstmatige intelligentie is al een aantal jaar aan een opmars bezig, ook in de zorg. Steeds meer wordt het onderwerp aangehaald tijdens medische congressen of in vakbladen, net omdat het volgens vele onderzoekers de gezondheidszorg significant kan verbeteren op verschillende vlakken. De jongste jaren zagen we volgens onderzoeker Kicky van Leeuwen ook al de eerste producten van onder andere tech startups op de markt verschijnen, waar deze bedrijven vaak jaren research en development in hebben zitten.

De markt voor artificiële intelligentie is nog relatief jong, zegt Van Leeuwen wanneer we haar spreken. Doordat de markt nog zo jong is, bestaan er nog heel wat groeipijnen. Van Leeuwen onderzoekt de toepassing van kunstmatige intelligentie binnen de radiologie. “Er zijn intussen meer dan 160 radiologie producten op de markt, dat is een goed teken, maar dat maakt het ook heel onoverzichtelijk. Het is heel lastig voor gebruikers die bijvoorbeeld geen expert zijn om een oplossing te zoeken voor een bepaald probleem. Zij vragen zich af: wat bestaat er nu eigenlijk allemaal en hoe goed doen die algoritmen het op mijn data?”

Transparantieprobleem

Wat ze in de praktijk vaak ziet gebeuren is het volgende scenario: een arts of radioloog wordt tijdens een medisch congres of salesgesprek enthousiast over een product en concludeert: die technologie wil ik ook hebben in mijn ziekenhuis. “Het probleem hierbij is dat die persoon vaak niet nagaat wat de andere alternatieven zijn. Behalve AI zijn er wellicht nog andere oplossingen, en als het dan toch een AI-oplossing wordt, kan een product van een andere leverancier wellicht  beter passen bij dat ziekenhuis.”

Een duidelijk overzicht van alle AI-toepassingen zou hierbij kunnen helpen, maar dat creëren is niet triviaal. “Om een medisch hulpmiddel op de Europese markt te brengen en klinisch te kunnen gebruiken, moet het voldoen aan de daarvoor geldende regels binnen Europa – het moet CE-gemarkeerd zijn,” legt ze uit. Het probleem daarbij heeft ook te maken met transparantie. “In Europa bestaat er vandaag nog steeds geen publieke databank waarin je kunt zien welke producten CE-gemarkeerd zijn. Dat maakt het voor een potentiële klant moeilijk om in te schatten of het product al te verkrijgen is of net nog in ontwikkeling is. In je eentje marktonderzoek gaan doen is voor velen ook niet meteen een optie.”

Initiatief

Europa kampt met een transparantieprobleem op vlak van AI-software. Daarom zette Van Leeuwen met een aantal collega’s www.AIforRadiology.com op poten, een website waar op het moment van schrijven al meer dan 160 producten op zijn geregistreerd. De website maakt het gebruikers mogelijk om alle informatie te zien over een bepaald AI-product voor de radiologie. “We voegen voortdurend nieuwe producten toe en updaten de informatie wanneer producten bijvoorbeeld nieuwe functies of certificeringen krijgen. Die updates gebeuren met behulp van de leveranciers van die producten. Zij leveren een groot deel van de informatie zelf aan en sturen hun CE-certificaat op zodat we die certificering nauwkeurig kunnen controleren.”

Hun website was wellicht minder noodzakelijk geweest mocht er al een publieke database bestaan, zoals dat in Amerika al het geval is. Daar heeft de federale overheidsdienst Food and Drug Administration, afgekort FDA, veel strakker de touwtjes in handen. “De FDA heeft een website met een database waarin je bijvoorbeeld de leverancier of een product kan opzoeken. Op die manier kan je achterhalen of het product goedgekeurd is en op basis van welke claims en validatieresultaten. De Europese Commissie werkt gelukkig intussen ook aan een dergelijke database, Eudamed, waar alle medische hulpmiddelen straks in vindbaar zullen zijn. Wanneer dat beschikbaar zal zijn, is mij wel nog onduidelijk. Het is al vaak uitgesteld en het zal ook maar in verschillende onderdelen of modules worden opgeleverd.”

Wetenschappelijk bewijs

Gebrekkige transparantie is slechts een deel van de groeipijnen van de veelbelovende technologie volgens haar. Internationaal verschijnen vandaag heel wat AI-producten voor de radiologie waarvan de klinische impact niet volledig bewezen is, zo bracht een recente studie waar Van Leeuwen aan meewerkte aan het licht. Om dat uit te pluizen onderzochten Van Leeuwen en haar collega’s wat voor wetenschappelijke studies er precies zijn gedaan naar de eerste 100 producten die op de AI for Radiology-website verschenen. CE-certificering van een bepaald product zegt namelijk nog niet zo veel over de effectiviteit en impact van dat product. Van de honderd commerciële producten die ze onderzochten, bleken er maar 36 wetenschappelijke studies te hebben over het functioneren en de doelmatigheid van de software. Een nog kleiner deel van de AI-producten (18) had daadwerkelijk een bewezen klinische impact.

Van Leeuwen nuanceert die resultaten wel enigszins. “We hebben hier eerst en vooral te maken met een opkomende technologie. Een product heeft heel wat investering en tijd nodig voordat het op de markt kan komen, dat is nu eenmaal zo. Een product moet in Europa zoals gezegd een CE-markering hebben, pas daarna kan het klinisch gebruikt worden. Gekeken naar de producten op onze website duurt dat proces voor bedrijven gemiddeld zo'n viertal jaar om een eerste AI-softwareproduct op de markt te brengen.”

Testen in de praktijk

“Het probleem is dat bedrijven de effectiviteit van een product eigenlijk pas goed kunnen aantonen als het in gebruik is.” Zoals Van Leeuwen en haar collega’s in de studie aantoonden, kunnen de klinische resultaten van die producten best wel tegenvallen. “Het is een beetje een kip-of-ei-kwestie: je moet je product valideren om het op de markt te kunnen brengen, maar in sommige gevallen kan je dat pas echt goed doen als het op de markt is. Dat verklaart wellicht de lage cijfers omtrent de aangetoonde klinische impact van die producten. Vele ervan zijn bijvoorbeeld nog maar een jaar op de markt, dus hebben ze misschien nog geen studies kunnen opzetten om de impact aan te tonen en vervolgens te publiceren.”

Naast de bewijsvoering van de AI-softwareproducten te analyseren wil het team van het Radboudumc ook graag bijdragen aan de toename van het wetenschappelijke bewijs. “We starten binnenkort met validatiestudies waarbij we verschillende AI-algoritmen die een soortgelijke taak uitvoeren toetsen op dezelfde dataset. Die data komt uit verschillende ziekenhuizen in Nederland. Zo proberen we een eerlijke vergelijking te maken van de producten en te achterhalen of ze ook op de Nederlandse data goed functioneren. De resultaten zullen achteraf ook publiek beschikbaar zijn, zodat we de transparantie een duwtje in de rug geven.”

Voorzichtig optimisme

Van Leeuwen hoopt dat die getallen zullen veranderen in de loop der jaren. Voorlopig blijft ze daar voorzichtig optimistisch in: “De cijfers uit de studie zeggen vooral wat over de maturiteit van de markt, namelijk dat die nog heel jong is. Als we kijken naar waar we drie of vijf jaar geleden stonden, is er al een heleboel veranderd. Vijf jaar geleden hadden we het bijvoorbeeld nog over de technische haalbaarheid van AI en of deep learning überhaupt iets kon betekenen voor radiologische beelden en of die dat zelf ooit beter zouden kunnen doen dan een radioloog. Vandaag zijn we een heleboel stappen verder en blijft de markt ook evolueren.”

Het feit dat de cijfers omtrent de klinische impact vandaag verre van indrukwekkend zijn, moeten we altijd in zijn hedendaagse context blijven interpreteren. “Onlangs heb ik ook begrepen dat van alle medische innovaties en interventies er maar voor zo'n 30 procent bewijs is voor de doelmatigheid ervan. Dat toont voor mij aan dat het niet alleen een probleem is op vlak van kunstmatige intelligentie is, maar eigenlijk een veel breder probleem is binnen innovatie in de zorgsector.”

Ook over het bewijs van de klinische impact van AI-software is ze overtuigd dat er nog veel kan en zal veranderen. “Er is afgelopen mei nog nieuwe wetgeving ingegaan die meer gewicht heeft gegeven aan de post-marketing surveillance” Daarmee bedoelt ze dat eens een product op de markt is gebracht, de leverancier de verplichting heeft zijn product te blijven monitoren en evalueren. “Monitoring kan en zou een belangrijkere rol moeten spelen vandaag, en ook het ziekenhuis moet hier een significantere rol in spelen. In die laatste productfase is de feedback van gebruikers van groot belang om de producten te verbeteren en de veiligheid te garanderen. In samenwerking met de Nederlandse Vereniging van Radiologen (NVvR) hebben we het AI-netwerk opgezet bestaande uit radiologen met affiniteit voor deze technologie. Op deze manier hopen we dat de  ervaringen ook gedeeld worden onder ziekenhuizen, zodat de sector van mekaar zou kunnen leren.”

Herevaluatie

De enige mogelijkheid om de gezondheidszorg in Europa betaalbaar te houden, is om ervoor te zorgen dat dergelijke producten echt impact hebben, stelt ze. “Uiteindelijk kunnen we het geld binnen de zorgsector maar één keer uitgeven en zien we vaker dat technologie de zorg net duurder maakt dan goedkoper. Uiteindelijk wil elk ziekenhuis voorop lopen en mooie speeltjes in huis halen, maar we moeten kritisch blijven of dergelijke technologie daadwerkelijk bijdraagt aan het beoogde doel.” Als voorbeeld haalt ze de Da Vinci-robot aan, een soort chirurgische robot waarbij de arts vanop een andere locatie op een patiënt kan opereren. “Toen die innovatie op de markt kwam, wilde elk ziekenhuis in dat dure toestel investeren. De toegevoegde waarde van de robot voor een ziekenhuis bleek later betwistbaar door de hoge kosten ervan en de tegenvallende resultaten.”

Op het einde van haar doctoraat hoopt Van Leeuwen de studie nog eens over te kunnen doen en de resultaten te herevalueren. “De hoop is dan natuurlijk wel dat er tegen die tijd een stuk meer bekend is over de daadwerkelijke impact van AI-oplossingen in de radiologie. Misschien dat we dan antwoord kunnen geven op de vraag of AI in de radiologie de zorg nu echt beter en goedkoper maakt.”