Een AVG voor AI: Europese en nationale beleidsmakers willen regulering van kunstmatige intelligentie

De roep om regulering en wetgeving om burgers te beschermen tegen de onbedoelde effecten van kunstmatige intelligentie klinkt steeds luider. Net zoals de Europese gegevensverordening leidde tot nationale wetgeving in lidstaten, wordt er momenteel gewerkt aan een nieuwe Europese ontwerpverordening om privacy en burgerrechten te beschermen. Ook in de zorgsector is dat hard nodig, blijkt uit een aantal recente publicaties en een incident met een voorspellingsmodel van EPD-leverancier Epic.

Veel mensen zijn bezorgd dat het gebruik van artificiële intelligentie (AI) negatieve gevolgen kan hebben voor de maatschappij. Een computer of algoritme kent immers geen moraal: ontwerpers, ontwikkelaars en programmeurs moeten menselijke waarden zoals moraliteit, ethiek en toegankelijkheid meenemen in het ontwikkelen van software die zelflerend kan zijn, zoals voorspellingsmodellen die voorspellen of patiënten een bloedvergiftiging oplopen, of deep learning software die tumoren in MRI's herkent.

Om de maatschappelijke discussie rond artificiële intelligentie op gang te brengen, publiceert de Wetenschappelijke Raad voor Regeringsbeleid (WRR) deze week ook een nieuwe working paper, geschreven door prof.mr. Ernst Hirsch Ballin. Hij benadert de mensenrechten als ijkpunten van artificiële intelligentie. Volgens Hirsch Ballin is het van belang dat er - naast regulering - ook voor gezorgd dat het openbaar bestuur op een nieuwe manier van werken wordt afgestemd, en dat degenen die met nieuwe AI-toepassingen gaan werken, geschoold en getraind worden.

Morele waarden

Hoe zorgen we dat waarden als transparantie, vertrouwen, rechtvaardigheid, controle en moraliteit onderdeel worden van een maatschappij - en zorgsector - die steeds verder digitaliseert en automatiseert? Dat beleidsmakers en bestuurders, en wij als burgers, moeten meebeslissen over het ontwerp van technologieën als artificiële intelligentie, wordt pijnlijk duidelijk bij recente affaires zoals de kinderopvangtoeslagen. Technologie kan ondersteunend werken bij de uitvoering van beleid en publieke taken, maar kan ook tot vooroordelen, uitsluiting en discriminatie leiden. Er kunnen (ongemerkt) medisch ethische, morele, (culturele) normen en waarden in de data zitten die gebruikt worden als voedingsbron voor AI.

Het gevaar dat vooroordelen insluipen in de voorspellingen waarmee in systemen van artificiële intelligentie wordt gewerkt. Afro-Amerikaanse patiënten van een ziekenhuis ontvingen minder goede zorg dan blanke patiënten, door bias in een beslissingsondersteund algoritme. Kern van het probleem is dat blanke patiënten vaker speciale behandelingen voor complexe aandoeningen zoals nierproblemen of diabetes toegewezen kregen door het algoritme dan patiënten met een Afro-Amerikaanse achtergrond. Door te trainen met historische data, werd dit discriminerende effect voortgezet.

Ook een nieuw rapport van het Institute for Human-Centered Artificial Intelligence van de Stanford University benadrukt het belang van wet- en regelgeving die veilige en verantwoorde innovaties toestaan. Mede-auteur en professor in computerwetenschappen Michael Littman ziet specifiek het gevaar van feiten en conclusies die AI op basis van vooringenomenheid genereert en die het publiek kritiekloos accepteert. Met name in het rechtssysteem en de gezondheidszorg kan dat grote gevolgen hebben.

Epic's algoritmes

Of neem de recente nieuwsberichten over de AI-software die onderdeel is van het EPD van Epic, een van de grootste leveranciers van elektronische patiëntendossiers. Twee Amerikaanse artsen zijn kritisch op de snelheid waarmee een door Epic ontwikkeld voorspellingsmodel – de Detoriation Index – wordt verspreid en gebruikt bij de patiëntenzorg in Amerikaanse ziekenhuizen om te helpen bepalen welke patienten moeten worden ontslagen of opgenomen op de intensive care. Versneld door de Covid-19 crisis en de beperkte IC-capaciteit werd dit voorspellingsmodel op grote schaal ingezet, terwijl het niet onafhankelijk gevalideerd is en er nog nauwelijk peer-reviewed onderzoeken en artikelen gepubliceerd zijn. De inzet van een grotendeels ongetest algoritme in de klinische praktijk – dat door Epic wordt afgeschermd als proprietary technologie –  met minimaal begrip van de mogelijke onbedoelde gevolgen voor patiënten of clinici - roept een groot aantal problemen op, schrijven ze.

Epic is momenteel ook in het nieuws met het door hen ontwikkelde AI-voorspellingsmodel dat de kans op sepsis voorspelt. In dit model wordt als een van de variabelen gebruikt of patiënten antibiotica (een behandeling voor sepsis) voorgeschreven hebben gekregen. Hoewel die variabele helpt de nauwkeurigheid van het model te verbeteren volgens Epic, betekent het ook dat het model clinici vaak ‘waarschuwt’ voor iets dat ze al weten. Problematischer is dat het AI-model ook gebruik maakt van variabelen zoals burgerlijke staat en etniciteit van de patiënt, maar Epic controleerde de data en het model niet op vooringenomenheid tussen demografische groepen. Een AI-voorspellingsmodel kan nog steeds nuttig zijn, maar dit incident wijst op de noodzaak van een meer rigoureuze evaluatie voordat AI-modellen aan ziekenhuizen worden verkocht.

Ontwerpverordening: een AVG voor AI

Wetgeving loopt vrijwel nooit voor op de technologie. Wel is er in de Europese Commissie al enkele jaren veel aandacht voor nieuwe wetgeving die de rechter van burgers moet gaan beschermen, nu AI steeds vaker zijn intrede doet via consumentenproducten, zelfrijdende auto’s, de zorgsector, etc.

De Europese wetgeving rond data en priacy – de General Data Protection Regulation – leidde tot nationale wetgeving die per land kon verschillen. In Nederland werd deze GDPR verordering verankert in de Algemene verordening gegevensbescherming (avg), die toeziet op privacy- en consumentenbescherming.

In lijn met deze GDPR komt de Europese Commissie nu met een nieuwe ontwerpverordening over artificiële intelligentie. Juristen verwachten dat deze wetgeving pas rond op zijn vroegst in 2023, maar waarschijnlijker rond 2025 van kracht zal zijn. De wetgeving die nu in de maak is zal een kader bieden waarmee burgers beschermd worden en bedrijven en overheden beperkt worden in hoe zij AI en big data kunnen en mogen inzetten.

Een van de fundamentele uitgangspunten bij deze nieuwe wetgeving is dat er altijd een menselijke agent – ook wel providers en users genoemd – is die vaststelt met welk doel het systeem van artificiële intelligentie wordt ingericht en die dat systeem kan aansluiten op of afsluiten van de energie- en informatiebronnen zonder welke artificiële intelligentie niet kan werken. “Als een ai-systeem werkt op een manier die ons niet bevalt en zich zelfs losmaakt van menselijke instructies, kunnen we altijd nog de stekker uit het stopcontact trekken” schrijft Hirsch Ballin.

AI geen natuurfenomeen

In aanloop naar de nieuwe wetgeving zijn er al internationale en Europese adviesraden opgestart. De eu High Level Expert Group on Artifical Intelligence publiceerde in 2019 de Ethical guidelines for trustworthy ai. Belangrijke punten in de Ethics guidelines for trustworthy ai zijn onder andere menselijk toezicht, privacy, respect voor diversiteit, tegengaan van discriminatie, verantwoordelijkheid jegens toekomstige generaties, en fairness en accountability; deze punten moeten beoordeeld worden aan de hand van specifieke toetsingspunten in de richtlijnen.

AI is geen natuurfenomeen dat op ons afkomt. Net zoals met de opkomst van de personal computer in de jaren ’80 en de smartphone bepalen wij – beleidsmakers, ontwerpers, ontwikkelaars en consumenten – welke toepassingen nuttig of gewenst zijn. Ook kunstmatige intelligentie is geen natuurfenomeen, een externe kracht waar we geen invloed op kunnen uitoefenen. Integendeel: het is een nieuw stadium van door mensen bewerkstelligde technologische ontwikkeling, aldus Hirsch Ballin. “Wanneer wordt gezegd – zoals dat al zo vaak is gezegd – dat het ‘onontkoombaar’ is dat artificiële intelligentie in ons bestaan doordringt, klopt dat. Die uitspraak wekt echter de indruk dat artificiële intelligentie een of andere van buiten komende kracht is. Dat is niet het geval."

In de masterclass Kunstmatige intelligentie in de zorg komen onderwerpen als modellen en algoritmes, wet- en regelgeving, gebruik van data, privacy en ethiek allemaal aan bod in een twee-daagse, intensieve cursus. Leer van gastdocenten uit bedrijfsleven, wetenschap en de kliniek en neem een deep dive in de nieuwste technologie. Meer informatie en data over deze masterclass in 2021 en 2022.