De NOS zette gisteren een paar elementaire journalistieke principes overboord bij een verhaal over Zorgkaart Nederland, de reviewsite voor zorgaanbieders. "Zorgkaart Nederland, een van de paradepaardjes van de openheid over de kwaliteit van zorg, heeft eigenlijk geen enkel nut", opent het bericht. Wie zegt dat? "Dat blijkt uit een onderzoek dat vandaag gepresenteerd is op de website van het Nederlands Tijdschrift voor Geneeskunde", vervolgt de NOS.
Zeggen de onderzoekers in dat bewuste artikel nu echt dat de reviewsite "geen enkel nut heeft" heeft, of is dat een compacte maar onjuiste samenvatting van de journalist? Dat laatste natuurlijk, die onderzoekers zijn wel lekker tendentieus bezig, maar ze snappen ook wel dat ze veel te ver zouden gaan wanneer ze iets als volkomen waardeloos zouden neerzetten.
De vijf auteurs van het onderzoeksartikel gaan ZorgkaartNederland vanuit een ivoren toren van statistiek te lijf en komen tot de conclusie dat "ZorgkaartNederland.nl in haar huidige vorm niet voldoet als valide kwaliteitsinstrument voor de beoordeling van de kwaliteit van zorg van een medisch specialist". Dat claimt ZorgkaartNederland ook helemaal niet. Volgens de NPCF - uitgever van ZorgkaartNederland - laten de "de waarderingen van patiënten zien hoe mensen zorg ervaren." Of je dat nu een valide kwaliteitsinstrument voor specialisten vind, dat is een taaie discussie die al jaren woedt. Google bijvoorbeeld maar eens op Zichtbare Zorg of Kwaliteitsinstituut. De NPCF claimt in ieder geval niet een wetenschappelijk verantwoorde kwaliteitsmeting voor medisch specialisten te zijn. Minister Schippers, die de zorgkaart wat geld toestopt, gaat wat verder, maar dat kun je de NPCF niet toerekenen.
Het is dus nogal flauw om de Zorgkaart aan te pakken op een ambitie die veel breder is dan de feitelijke missie: zorgconsumenten een stem geven over hun ervaringen met hulpverleners.
Schermen met statistieken
De statistiek-tijgers hebben in hun artikel alle Zorgkaart beoordelingen geanalyseerd en komen tot de conclusie dat lang niet alle medische specialisten een beoordeling hebben, en dat van veel specialisten die wel een beoordeling hebben het minimum aantal van negen beoordelingen niet is gehaald. Dat gebruikt NPCF zelf als een ondergrens voor een valide beoordeling.
Booking.com is ook ooit ergens begonnen
Dus, zeggen de onderzoekers, zijn de cijfers van slechts 7,6% van alle specialisten valide. Je zou daarmee best kunnen concluderen dat dit nog niet representatief is (maar tegelijk beter dan niets). Booking.com is ook ooit ergens begonnen. Aan die reviews deugt ook van alles niet, maar er is wel duizend keer meer openheid over de kwaliteit van hotels en restaurants gekomen, omdat de consument een stem kreeg.
Conversie?
De auteurs slepen conversie-percentages van webwinkels (huh?) en het perfide effect van het promoten van zorgkaart door ziekenhuizen (jaja, dan krijg je bias) er bij de haren bij om hun punt te maken. Dat de NOS zich gedraagt alsof de lobbyisten van de dokters daar elke dag een fles Chablis afleveren is nog tot daar aan toe. Maar dat de onderzoekers met wat schijnbaar imposant cijfergekluts een conclusie trekken over een onderzoeksvraag die niet aansluit bij de werkelijkheid, dat is echt raar.
wellicht ook interessant
"... onderzoek tot nu toe wijst op een redelijke mate van betrouwbaarheid van het beeld dat voortkomt uit de beoordelingen.". Dat zei minister Schippers al in 2014 in antwoord op Kamervragen (https://zoek.officielebekendmakingen.nl/ah-tk-20132014-1284.html). Het is dus, althans volgens de minister, wel degelijk de bedoeling dat ZKN een betrouwbaar beeld zou geven van de kwaliteit van specialisten.
Schippers bedoelde dat er een correlatie leek te zijn tussen patientbeoordelingen en 'echte' kwaliteitscijfers. Zij was in 2014 niet de enige:
https://www.smarthealth.nl/2014/03/19/likes-sterftecijfers-online-reviews-wetenschap/
Schippers zegt letterlijk (vraag 5): "Het is aan patiënten zelf om te bepalen hoeveel waarde ze hechten aan de oordelen over zorgverleners op deze beoordelingswebsites". Dus ziet de minister deze beoordelingen duidelijk ook als (zij het niet-ideale) bron van informatie voor patiënten om artsen te beoordelen. Dat gaat dus verder dan 'een correlatie leek te zijn tussen patientbeoordelingen en 'echte' kwaliteitscijfers'. Uit het onderzoek dat de NTvG nu heeft gepubliceerd, blijkt echter duidelijk dat de representativiteit van de beoordelingen sterk te wensen overlaat ('selection bias'), waardoor de betrouwbaarheid van de beoordelingen erg twijfelachtig wordt. Ook in het onderzoek van Verhoef en Kool wordt die relativering gemaakt. ZKN kan dus niet of nauwelijks worden gezien als een serieuze bron van patiënteninformatie.
Zie ook het artikel van Aliëtte Jonkers over ZKN: http://www.sin-nl.org/doorgestoken-zorgkaart/
Wat een beetje jammer is dat Zorgkaart alleen toelaat dat reguliere zorgverleners er op mogen staan. Alternatieve therapeuten krijgen er geen plaatsje. Zo schets Zorgkaart een nogal eenzijdig beeld van de kwaliteit van zorgverleners in Nederland.