Elk ziekenhuis een eigen AI-model? Opschalen van medische algoritmes

Een algoritme dat de kans op heropnames voor IC-patiënten kan voorspellen in het Amsterdam UMC, kan niet direct worden ingezet op de intensive care in een ander ziekenhuis. Waar ligt dat aan en hoe zorg je voor de (op)schaalbaarheid van kunstmatig intelligente algoritmes? In gesprek met Hidde Hovenkamp (CTO) en Ester Vlaanderen (Quality en Regulatory Affairs Manager) van Pacmed over AI in de zorg. “Ieder ziekenhuis krijgt als het ware een ‘eigen’ configuratie, gekalibreerd op dat ziekenhuis en dataset.”

Pacmed Critical. Zo heet de AI-software die op basis van grote hoeveelheden informatie uit het elektronisch patiëntendossier voorspelt hoe groot de kans is dat een patiënt na verplaatsing naar een verpleegafdeling binnen een week opnieuw naar de IC moet. Met Pacmed Critical kunnen patiënten veiliger en sneller de IC verlaten. De beslissingsondersteunende ontslagsoftware laat niet alleen een voorspelling zien, maar ook hoe die voorspelling verandert met de tijd en een lijst van factoren waarop de voorspelling is gebaseerd.

Het Amsterdam UMC is het eerste universitaire ziekenhuis waar de software nu in gebruik is genomen. Wat is er voor nodig om verder op te schalen? Als medeoprichter en Chief Technology Officer kijkt Hidde Hovenkamp op twee manier naar de term ‘opschalen’ van AI-software. “Veilig en tijdig ontslag is een belangrijk aspect op de intensive care, maar er zijn ook veel andere belangrijke besluiten die IC-artsen op dagelijkse basis moeten nemen waarbij data kan ondersteunen. Enerzijds willen we de beslissingsondersteunende software Pacmed Critical de aankomende jaren verder uitbouwen als datagedreven hulpmiddel voor die beslissingen.”

Anderzijds draait ‘opschalen’ volgens Hovenkamp om de vraag: hoe kunnen we zorgen dat een AI-algoritme zo goed mogelijk werkt in een ander ziekenhuis? De AI-software, die op historische data van 25.000 gepseudonimiseerde IC-patiënten van samenwerkingspartner Amsterdam UMC werd gemodelleerd, kan niet simpelweg morgen ‘aangezet’ worden in een ander ziekenhuis, verduidelijkt hij.

Verschillen in data registratie

Een van de redenen waarom een algoritme getest in ziekenhuis A niet direct in ziekenhuis B kan worden ingezet, is omdat er een groot verschil is tussen ziekenhuizen in hoe ze omgaan met data registratie. Ook zit er een groot verschil in het soort data dat er wordt bijgehouden: niet alle ziekenhuizen verzamelen dezelfde data op de intensive care. In het ene ziekenhuis wordt er op de intensive care niet standaard geprikt op een bepaalde ontstekingsparameter, terwijl dit in het Amsterdam UMC bijvoorbeeld wel gebeurt.

Hovenkamp: “Om het algoritme te kalibreren voor een ander ziekenhuis zijn dezelfde data en variabelen nodig. Variabelen zijn patiëntkenmerken op basis waarvan de software een voorspelling maakt: kan deze patiënt veilig worden ontslagen, of moet zij nog een aantal uren blijven? Die data moet ook in een ander ziekenhuis beschikbaar zijn, op dezelfde wijze vastgelegd en met dezelfde eenheden. Die eenduidige registratie van klinische waardes en metingen en eenheid van taal is nog geen gemeengoed. Dat zorgt nu voor veel extra werk.”

Pacmed Critical op de intensive care van het Amsterdam UMC

CE-certificering voor kunstmatig intelligente software

Medische hulpmiddelen, waaronder software, moeten voldoen aan wetgeving: de Medical Device Regulation (MDR). Kunstmatig intelligente algoritmes zijn op hun beurt een onderdeel van de categorie software als medisch hulpmiddel. Ester Vlaanderen werkt sinds 2018 als Quality en Regulatory Affairs Manager bij Pacmed. Daar houdt ze zich onder meer bezig met kwaliteitsmanagement en met certificering van de software.

Om de benodigde CE-certificering te behalen, die de verordening vereist van medische hulpmiddelen, is het nodig om een technisch dossier samen te stellen waarin de werking van het product, het klinisch voordeel en de risico’s worden beschreven, zegt Vlaanderen. “Bij een infuusnaald of ziekenhuisbed is dat product voor iedere gebruiker hetzelfde. Bij zelflerende algoritmes ligt dat anders. Als je exact hetzelfde model op een andere patiëntenpopulatie gebruikt, is de prestatie van dat model mogelijk minder omdat het algoritme getraind is op een andere dataset. Pacmed Critical wordt getraind met een dataset van een specifiek ziekenhuis.”

Data scientist Mattia Fornasa van Pacmed zegt daarover in een eerder interview met Smarthealth: “Toen we Pacmed Critical toepasten op de dataset met 13.000 ICU-opnames van het ETZ ziekenhuis, daalden de voorspellende prestaties. Daaruit bleek dat Pacmed Critical nog niet generiek toepasbaar was en dat het erg belangrijk is om in het nieuwe ziekenhuis het algoritme te kalibreren en valideren. Zo ontstond Pacmed Critical 2.0.”

Een van de manieren om het voorspellingsalgoritme aan te passen is met zogeheten domain adaptation methoden, legt Fornasa uit. “We moesten een manier vinden om het algoritme te laten leren van beide datasets. Een van de manieren om dat te doen is het model te trainen met gewichten of belang voor bepaalde functies (features). Door meer gewicht te geven aan de patiënten die meer op elkaar lijken tussen de twee ziekenhuizen, hebben we het algoritme aangepast.”

Ieder ziekenhuis een eigen AI-model?

“Ieder ziekenhuis krijgt als het ware een ‘eigen’ configuratie, gekalibreerd op dat ziekenhuis en dataset”, aldus Vlaanderen. Wanneer Pacmed Critical bij een nieuw ziekenhuis wordt geïmplementeerd, documenteert het team eventuele wijzigingen ten opzichte van het eerder gecertificeerde product in het technisch dossier. Er wordt gevalideerd dat het model na de wijzigingen nog steeds voldoet aan alle eisen die eraan worden gesteld. De omschrijving van de wijziging en het bewijs van validatie wordt opgenomen in het dossier. Dat dossier wordt tijdens jaarlijkse audits gecontroleerd door de aangemelde instantie of notified body.

“Zie het als configuraties van hetzelfde product. Pacmed Critical bevat componenten die geconfigureerd worden, waar de dataset er één van is. Ook het algoritme is een component, dat door kalibraties die de data scientists bij Pacmed doen optimaal voor elk ziekenhuis werkt. Zo kunnen we laten zien: dit model heeft voor dit ziekenhuis deze voorspelkracht. Het werkingsprincipe van de software blijft gelijk, met die geconfigureerde componenten borgen we dat de prestatie hetzelfde blijft.”

Wetgeving loopt niet voor op zelflerende algoritmes

Technologie ontwikkelt zich snel. Wetgeving probeert daarop aan te sluiten, aldus Ester Vlaanderen. “Momenteel zijn er nog geen specifieke standaarden voor software die gebaseerd is op AI in de Medical Device Regulation (MDR), de opvolger van de Medical Device Directive (MDD). De verordening medische hulpmiddelen (MDR) geldt voor alle medische hulpmiddelen op de Europese markt en is behoorlijk generiek. De verordening verwijst naar geharmoniseerde productspecifieke standaarden, maar voor AI-software bestaan die nog niet.”

Volgens Vlaanderen zullen er in de aankomende jaren steeds meer best practices en richtlijnen ontstaan doordat ontwikkelaars zoals Pacmed en de industrie samenwerken met beleidsmakers,academische instellingen en normalisatie organisaties zoals NEN. “Zo wordt steeds duidelijker welke kwaliteitseisen gesteld mogen worden aan kunstmatig intelligente software. Ik zie dat als een mooie uitdaging, hoe kunnen we die algemene regels en richtlijnen goed toepassen op wat wij doen als softwareontwikkelaar?”

Niet afhankelijk van leveranciers

Naast certificering besteedt Pacmed ook veel aandacht aan partnerschappen met nieuwe ziekenhuizen. Door samen op te trekken met Santeon – een samenwerking van zeven topklinische ziekenhuizen – hoopt Pacmed de IC-software met meer snelheid en efficiency te kunnen gaan implementeren, en zo sneller IC-patiënten en artsen te kunnen ondersteunen. “De samenwerking met Santeon is waardevol. Het vergroot het leereffect en de efficiency, ook omdat de zeven ziekenhuizen met drie verschillende elektronisch patiëntendossiers werken en we die systemen goed leren kennen”, aldus Hovenkamp.

Hij benadrukt dat Pacmed niet afhankelijk is van IT-partijen zoals leveranciers van elektronische patiëntendossiers. ““We hebben leveranciers niet nodig om Pacmed Critical te testen en implementeren op de intensive care. Ziekenhuizen hebben het systeem zelf in beheer vanuit hun eigen ICT-afdeling. De benodigde integraties kunnen we samen bouwen.”

Balans

Inmiddels is de startup uit Amsterdam uitgegroeid tot een scale-up met team van meer dan dertig mannen en vrouwen, een volwassen product en het benodigde kwaliteitsmanagementsysteem. Ook uitbreiden naar het buitenland behoort tot de groeiplannen van Pacmed.

Volgens Vlaanderen is de kunst om bij een groeiende scale-up zoals Pacmed het evenwicht te bewaren tussen snelle groei en daarnaast focus op kwaliteit en wetgeving. “We zoeken naar de balans tussen de startup modus van snel en veel willen schakelen en tegelijkertijd een reality check vanuit compliance en techniek. Dat is een mooie uitdaging waar we met ons team voor staan.”