Onderzoekers van UC Berkeley laten hedendaags discriminatie door een algoritme zien: Afro-Amerikaanse patiënten van een ziekenhuis ontvingen minder goede zorg dan blanke patiënten, door bias in een beslissingsondersteund algoritme. Vooringenomenheid in data is een reëel probleem, ook in Nederland.
Wat is het probleem? Een algoritme dat veel Amerikaanse zorgverleners gebruiken om te voorspellen welke patiënten extra medische zorg nodig hebben, trok blanke patiënten voor en verwees hen vaker door, naar medisch-specialistische zorg. Afro-Amerikaanse patiënten in datzelfde ziekenhuis kregen daardoor minder vaak zorg die zij, gezien hun medisch status of chronische aandoening, wél nodig hadden. Kern van het probleem is dat blanke patiënten vaker speciale behandelingen voor complexe aandoeningen zoals nierproblemen of diabetes toegewezen kregen door het algoritme dan patiënten met een Afro-Amerikaanse achtergrond.
Volgens berichtgeving in de Washington Post gaat het om een algoritme van het IT-systeem Optum, afkomstig van verzekeraar UnitedHealth. De onderzoekers in de studie concentreerden zich op één specifiek algoritme, maar zagen dezelfde bias en vooringenomenheid in tien van de meest gebruikte algoritmes in de Amerikaanse gezondheidszorg. Volgens hen worden die algoritmes gebruikt om zorg te alloceren voor zo’n 200 miljoen patiënten in de Verenigde Staten per jaar.
Etniciteit als categorie
De onderzoekers van UC Berkeley werkten samen met een academisch ziekenhuis in de Verenigde Staten om bijna 50.000 patiëntendossiers te analyseren. Uit die dataset blijkt dat blanke patiënten vaker hogere risicoscores krijgen, en daardoor vaker doorverwezen werden naar extra zorg en verpleging dan patiënten met een Afro-Amerikaanse achtergrond, die even ziek waren. Etniciteit of ras is geen factor in het besluitvorming van het algoritme – dat zou illegaal zijn – maar omdat het algoritme getraind werd met historische data, werd het verschil in zorgverlening tussen blank en donker ook een onderdeel van het voorspellingsmodel.
Die dossiers van 50.000 patiënten vormden de trainingsdata: het algoritme werd mede gevoed met data over zorgkosten in de periode 2013 tot 2015. Echter: zorgkosten zijn niet gelijk verspreid in de VS. Blanken hebben vaker toegang tot betere zorg dan andere etniciteiten. De studie benadrukt de risico's die inherent zijn aan het gebruik van historische data om machine learning algoritmen te trainen om vervolgens voorspellingen te doen. Maar bovenal laat dit onderzoek de valkuilen zien van het inzetten en het toewijzen van resources en zorg op aanbeveling van algoritmes. Met de opkomst van geautomatiseerde besluitvorming – algoritmes die (deels) zelfstandig besluiten kunnen nemen - spelen dit soort uitdagingen zich niet alleen af in de gezondheidszorg, maar ook bij sociale diensten en gemeentes, kredietinstanties en verzekeringen.
Zo worden zwarte vrouwen door gezichtsherkenningssoftware vaker aangezien voor een man en leiden discriminerende algoritmes mogelijk tot etnische profilering of uitsluiting van bepaalde groepen, terwijl een ‘sollicitatierobot’ van Amazon vrouwelijke kandidaten stelselmatig achterstelde.
Historische data
Het discriminerende algoritme werd na de studie aangepast: de onderzoekers werkten samen met Optum om de vooringenomenheid eruit te slopen. Het model voorspelt nu zowel de toekomstige zorgkosten en het aantal keren dat een chronische aandoening tot zorggebruik kan leiden, meldt Technology Review. Inderdaad, bias kan uit een algoritme worden gehaald. Maar dan moet je wel eerst weten dat jouw AI-systeem discrimineert en dat een dataset niet 'neutraal' is.
Tijdens de SmartHealth sessie over Artificial intelligentie op het Mobile Healthcare congres 2019 praten we u bij over bias en andere praktische bezwaren die onderzoekers en zorgprofessionals tegenkomen wanneer zij met kunstmatige intelligentie aan de slag gaan. De laatste tickets voor het Mobile Healthcare congres zijn beschikbaar via de website.
Op donderdag 13 en vrijdag 14 februari 2020 organiseert SmartHealth de tweedaagse masterclass Kunstmatige intelligentie in de zorg. Kom meer te weten over de inzet van AI-technologie door gastdocenten uit de wetenschap, zorgorganisaties en het bedrijfsleven. Geaccrediteerd met 12 ABAN punten.
Plaats een Reactie
Meepraten?Draag gerust bij!