Experts waarschuwen voor AI bias in zorg

Een panel van deskundigen uit de psychologie, sociologie, informatica, overheid en andere disciplines publiceerden vorige week het rapport AI100 ‘Gathering Strength, Gathering Storms: The One Hundred Year Study on Artificial Intelligence’. Het rapport maakt onderdeel uit van een doorlopend project vanuit het Institute for Human-Centered Artificial Intelligence van de Stanford University. Het is inmiddels de tweede versie die beschikbaar is. Het rapport beoordeelt de ontwikkelingen in AI van de afgelopen vijf jaar, waaronder de trends binnen de gezondheidszorg.

Er zijn 14 vragen en antwoorden geformuleerd die de cruciale aspecten bij de ontwikkeling van AI belichten. Bijvoorbeeld over de vorderingen, uitdagingen, gevaren, effecten en de publieke perceptie. Volgens de onderzoekers is een kritiek keerpunt bereikt in de evolutie van kunstmatige intelligentie, ook wel KI of AI (artificial intelligence). Ze pleiten ervoor dat computerwetenschappers de samenwerking zoeken met deskundigen op het gebied van recht en sociale wetenschappen. Met name de afhankelijkheid van taalverwerking, computer vision en patroonherkenning in de maatschappij zien ze als beïnvloeding. Bijvoorbeeld binnen de gezondheidszorg in het medische diagnoseproces. Ze stellen dat dit een schaduwzijde heeft en risico’s oplevert, zoals algoritmische discriminatie en een gebrek aan representativiteit van de werkelijkheid.

Sociale en ethische gevolgen

Voorzitter van het panel, Michael Littman (professor in computerwetenschappen), zag in de laatste jaren een verschuiving van AI dat in onderzoekslaboratoria plaatsvond naar AI dat het dagelijkse leven van veel mensen beïnvloedt. Hij is onder de indruk van de technologische vooruitgang, maar hij ziet ook de sociale en ethische problemen door AI. Hij en zijn collega’s benadrukken het belang van wet- en regelgeving die veilige en verantwoorde innovaties toestaan. Ze zien specifiek het gevaar van feiten en conclusies die AI op basis van vooringenomenheid genereert en die het publiek kritiekloos accepteert. Met name in het rechtssysteem en de gezondheidszorg kan dat grote gevolgen hebben.

Als voorbeeld noemen de experts de toepassing van AI in de gepersonaliseerde gezondheidszorg. Ze stellen dat de huidige bedrijfsmodellen voor AI gebaseerde toepassingen zich neigen te richten op het bouwen van een enkel systeem dat veel consumenten of patiënten bedient. Bijvoorbeeld een model dat een achteruitgang van de gezondheid bij de patiënt voorspelt. Maar de systemen generaliseren op basis van hun trainingsdata. Zelfs een volgorde van klinische testen kan een model sterk beïnvloeden en uiteindelijk de nauwkeurigheid verminderen, zodra de praktijk verandert. De experts vinden dat artsen en IT beheerders niet goed genoeg zijn voorbereid bij de aanpak van deze problemen.

Raciale bias in AI model

Ondervertegenwoordigde bevolkingsgroepen zullen de dupe zijn, zo valt te lezen in het rapport. Deze groepen hebben minder toegang tot zorg en worden minder vaak ingezet bij klinisch onderzoek. Een voorbeeld is de Amerikaanse apotheekmanager en zorgverlener Optum. Het bedrijf kwam in 2019 in het nieuws toen uit uitgebreid onderzoek bleek dat er sprake was van raciale vooringenomenheid in het algoritme van Optum. Amerikaanse zorgsystemen gebruikten dit algoritme om te voorspelen welke patiënten een groter risico vormden en meer zorg nodig hadden. Dat risico was gebaseerd op de hoeveelheid uitgegeven zorgkosten per patiënt. Dat lag aanzienlijk lager bij Afro-Amerikanen. Deze groep werd onterecht als gezonder aangemerkt, terwijl ze gemiddeld genomen juist ongezonder bleken te zijn dan witte Amerikanen. Overigens beweerde Optum dat het algoritme met meer elementen werd gevoed en niet alleen de zorgkosten.

De experts van het AI rapport waarschuwen dat de kans op raciale bias in AI modellen significant groot is. Wanneer een algoritme getraind wordt met gekleurde en niet-representatieve informatie, dan zal de ongelijkheid tussen bevolkingsgroepen de komende jaren aanzienlijk toenemen. Zoals het rapport concludeert: ‘a machine learning algorithm is only as good as its data set.’

In de masterclass Kunstmatige intelligentie in de zorg komen onderwerpen als modellen en algoritmes, wet- en regelgeving, gebruik van data, privacy en ethiek allemaal aan bod in een twee-daagse, intensieve cursus. Leer van gastdocenten uit bedrijfsleven, wetenschap en de kliniek en neem een deep dive in de nieuwste technologie. Meer informatie en data over deze masterclass in 2021 en 2022.