Blog: drie tips bij het kopen van AI in de zorg

SmartHealth publiceert regelmatig bijdrages van gastbloggers. Deze week: Simone Cammel van het LUMC.

Er gebeurt veel op het vlak van AI in de zorg. Er wordt voornamelijk in onderzoeksverband AI-algoritmes ontwikkeld, daarnaast schieten de start-ups uit de grond om klinische AI-modellen op de markt te zetten. En toch zien we maar weinig klinische AI-modellen die in de praktijk worden toegepast.

Dat zorgt er ook voor dat er weinig tot geen wetenschappelijke basis is voor de werking van AI in de zorg. Kortom, we weten niet zeker of AI de zorg nu echt beter maakt. Zorgt al die slimme technologie daadwerkelijk voor betere uitkomsten, betere ervaringen, tijds- of kostenbesparing, of voor meer werkplezier?

Daarom ligt de focus in het LUMC nu op het praktisch toepassen van AI in de zorg. En dat is nog best lastig. Zo zien we dat elders ontwikkelde modellen, die in theorie goed werken, dat in de praktijk lang niet altijd doen, omdat de populatie te veel afwijkt. Een algoritme dat in Leiden is ontwikkeld en getest, kan niet probleemloos worden ingezet op dezelfde afdeling van een ander ziekenhuis.

CE-markering

De in de gezondheidszorg gebruikte ‘medische’ software kent veel verschijningsvormen. Zodra er echter sprake is van een bewerking of interpretatie van data gericht op diagnostiek of behandeling, gaat het meestal om een medisch hulpmiddel, waarvoor de fabrikant van de software CE-markering moet aanvragen.

Desondanks wordt bij een CE-certificering niet gekeken naar de toepasbaarheid van een AI-model op een afwijkende populatie. Daarom is het belangrijk dat zorginstellingen ook letten op andere zaken, want zo’n certificering zegt dus niets over de kwaliteit van het model voor jouw populatie.

Maar waar moet je dan wel op letten? Als je aan de slag wil met AI in jouw zorginstelling, dan kun je rekening houden met het volgende:

1. Publicaties
   Check of er publicaties zijn geschreven over de software. In de Lancet Digital Health (oktober 2019) verscheen een artikel door Liu et al(1) waar een aantal belangrijke punten staan beschreven waarop je kunt letten bij het aanschaffen van AI. Om deze goed te kunnen beoordelen beschrijven ze dat er tenminste één interne en externe validatie moet zijn gedaan, en bijvoorbeeld of er een verdeling is van het aantal true positives, false positives, true negatives en false negatives, of informatie over de data waarop getraind is: lijkt die qua verdeling op de data waar je het model wilt gaan toepassen?
2. Veelgebruikte KPI’s
   In Radiology (2) wordt een methode beschreven om de werking (performance) van AI te kunnen beoordelen. Ook worden in dit artikel kort de bekendste termen uitgelegd die gebruikt worden. Zo kun je een beter beeld vormen van de performance van een model, of de juiste informatie opvragen bij de ontwikkelaars. Kijk bijvoorbeeld of er staat beschreven op welke data het model ontwikkeld is, en of er een confusion matrix beschikbaar is van het model.
3. Bekijk de opzet van een studie
   Mocht je het model hebben aangeschaft, en de klinische (meer)waarde in een klinische studie willen onderzoeken maar weet je niet waar je rekening mee moet houden? Bekijk het artikel in Radiology om een idee te krijgen voor de opzet voor een studie, en het meten van een betere zorgervaring voor patiënten (patient outcome) bij klinische AI studies.

Het LUMC maakt zich ook sterk om de ontwikkeling en het onderzoek naar AI in de zorg te versnellen. Dat doen we binnen het recent opgerichte CAIRELab - Clinical AI Implementation and Research Lab, waar wordt gewerkt – ook samen met externe partijen - aan de ontwikkeling, validatie, implementatie en evaluatie van AI in de kliniek.

Over de gastblogger

Simone Cammel is AI specialist in het AI team van het Leids Universitair Medisch Centrum (LUMC). Cammel heeft een achtergrond in computer science en is voorzitter van het CAIRElab.

Bronnen:
1) Liu, Xiaoxuan, et al. "A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis." The Lancet Digital Health 1.6 (2019): e271-e297.
2) Park, Seong Ho, en Kyunghwa Han. "Methodologic guide for evaluating clinical performance and effect of artificial intelligence technology for medical diagnosis and prediction." Radiology 286.3 (2018): 800-809.