Discriminatie of premiedifferentiatie?

Rijk Mercuur is onderzoeker. Hij werkt bij het Lectoraat AI van de Hogeschool Utrecht en weet veel van algoritmes en data science. Hij is dit najaar een onderzoek gestart naar het verschil tussen discriminatie en gerechtvaardigde differentiatie. Samen met een aantal partners, waaronder het Verbond, zoekt hij naar handvatten hoe verzekeraars nog beter met discriminatie en algoritmes kunnen omgaan.

Relevant onderscheid

In een interview op de Hogeschool benadrukt hij dat het ‘te makkelijk’ is om te claimen dat alle discriminatie uit een algoritme moet worden verwijderd. “Zelflerende algoritmes zijn juist ontworpen om onderscheid te maken. Een relevant onderscheid wel te verstaan. Alleen als het verband onrechtmatig wordt gebruikt, kan er sprake zijn van discriminatie.”

Jij doet onderzoek naar discriminatie en het verschil met gerechtvaardigde premiedifferentiatie. Waarom? Wat intrigeert je?

“Een aantal dingen. De eerste is dat er vaak heel onzorgvuldig over discriminatie wordt gesproken. De een zegt dat alle premies gelijk moeten worden getrokken, zodat er geen sprake van discriminatie kan zijn, terwijl een ander juist vindt dat alles moet worden toegelaten. Beide zijn natuurlijk extremen en het antwoord zal ergens in het midden liggen. Een tweede punt is dat er veel angst heerst. Bijvoorbeeld bij de softwareontwikkelaars waarvan we juist willen dat zij innoveren. Ook verzekeraars willen alles graag netjes volgens de wet doen en zeker niet beticht worden van discriminatie. Kunnen we differentiëren of niet? Mogen we dat algoritme gebruiken om fraude op te sporen of krijgen we dan te maken met een kleine Toeslagenaffaire? De discussie leeft, ook intern bij verzekeraars. Wat mij opvalt, is dat er maatschappelijk en onderling veel onbegrip is. Een data scientist wil onderzoeken hoe het wel kan, maar veel managers weten niet hoe data science werkt. Management, toezichthouders en data scientists moeten elkaar beter leren begrijpen. Handvatten helpen daarbij en dat is dan ook het belangrijkste doel van mijn onderzoek. Ik wil verzekeraars een tool in handen geven, waardoor ze weten welk onderscheid tussen klanten te verantwoorden is en hoe ze dit dan beargumenteren.”

"Er is geen verzekeraar die mensen met een migratieachtergrond wil discrimineren, maar wat doe je als er meer schade valt in Kanaleneiland dan in een andere Utrechtse wijk?"

Algoritmes kunnen leiden tot discriminatie. Hoe werkt dat?

“Dat kan op veel verschillende manieren gebeuren. Als je slechte data invoert, het zogenoemde garbage in-garbage out, dan worden je vooroordelen vanzelf bevestigd. Het kan ook zijn dat alle data wel kloppen, maar de uitkomst niet gewenst is. Er is geen verzekeraar die mensen met een migratieachtergrond wil discrimineren, maar wat doe je als er meer schade valt in Kanaleneiland dan in een andere Utrechtse wijk? In Kanaleneiland wonen relatief veel mensen met een migratieachtergrond. Is het terecht als zij meer premie betalen, ook als het risico groter is, of is er dan sprake van discriminatie?”

In Engeland betalen blanken in ‘witte’ wijken minder premie dan donkere mensen in hun wijk, terwijl er in die witte wijk meer criminaliteit plaatsvindt. Dat is toch niet eerlijk?

“Dat voorbeeld kende ik niet, maar je hebt waarschijnlijk gelijk. Ik wil dat mensen zo min mogelijk de dupe zijn van verschillen waar ze zelf geen invloed op hebben, zoals hun huidskleur. Maar wat doen we als mensen met een getinte huidskleur gemiddeld minder schadevrije jaren hebben en daarom een hogere premie betalen? Gegeven het historisch racisme en het hedendaags institutioneel racisme ben ik zelf in dit geval voor het alsnog gelijktrekken van zulke premies, ook al maakt dat de risico-inschatting minder accuraat. Mijn onderzoek gaat over de vraag: waar ligt precies de grens en wat zijn de argumenten voor en tegen? Wanneer zijn de negatieve gevolgen van een risico-inschatting zo groot dat we deze niet eerlijk vinden? En zijn er manieren om het rendement van een verzekeraar even hoog te houden, terwijl we op een eerlijkere manier differentiëren?’

Wat is er mis met discriminatie?

Samen met Huib Aldewereld schreef Rijk Mercuur het artikel Wat is er mis met discriminatie? dat in het vaktijdschrift AG Connect is verschenen. Hun belangrijkste boodschap? Discriminatie hangt af van (morele) relevantie en proportionaliteit. Lees het artikel hier terug!

Wat moet er volgens jou in ons land gebeuren?

“We hebben een maatschappelijk debat nodig met begrip voor beide kanten van onderscheid maken. Het is onlosmakelijk verbonden met mens en algoritme, maar kan ook leiden tot onrechtvaardige verschillen. Welke verschillen vinden wij wel geoorloofd en welke niet? Als er in Kanaleneiland meer schade aan auto’s wordt toegebracht, vinden wij het dan oké als inwoners van die wijk meer premie betalen? Of moeten de premies gelijk zijn? Wanneer is er met andere woorden sprake van (te veel) oneerlijkheid?”

Zit het probleem alleen in de premie die wij moeten betalen?

“Nee, zeker niet. Discriminatie kan in alle algoritmes plaatsvinden. Het kan bijvoorbeeld ook in de algoritmes zitten die fraude moeten opsporen. Machine learning probeert constant verbanden uit data te trekken. Maar die data, en dus ook de algoritmes, zijn niet neutraal. Die data representeert namelijk niet-neutrale mensen en een niet-neutrale maatschappij. Kunstmatige intelligentie als ChatGPT neemt de vooroordelen over van de data waarop het wordt getraind, waaronder de vooroordelen van de mensen die op het internet schrijven. Het is echt naïef om te denken dat je ChatGPT zomaar kunt vertrouwen.”

"Het is echt naïef om te denken dat je ChatGPT zomaar kunt vertrouwen"

Heb jij voorbeelden van wel/geen discriminatie of wel/geen gerechtvaardigde differentiatie?

“Dan heb je het over grijze gebieden. Die zijn altijd lastig. Discriminatie op grond van geslacht of migratieachtergrond is bij wet verboden. Het grijze gebied zit meer op postcode of het type auto dat je rijdt. Je hoeft ook niet de intentie te hebben om te discrimineren, maar impliciet tref je snel een bepaalde groep. Waarom doe je wat je doet? Heb je daar een goede reden voor? Weet je het effect? En heb je iets geprobeerd om de verschillen te nivelleren? Als een verzekeraar op dat soort vragen antwoord weet te geven, dan heeft hij een sterk verhaal. Zeker met de AI Act die eraan komt, zullen de meeste verzekeraars allang met een strategie bezig zijn.”

Is het wel mogelijk om alle discriminatie uit algoritmes te halen?

“Het is niet mogelijk elk onderscheid uit een algoritme te halen, maar je kunt wel de meest discriminerende verbanden eruit halen. Als je alle verbanden verwijdert, betaalt iedereen dezelfde premie en is de kans dat een verzekerde fraudeert altijd even groot. Ik denk dat het vooral belangrijk is dat verzekeraars verantwoording afleggen over hun beleid en transparant zijn. Als we een heel eerlijk model willen maken, gaat dat te veel ten koste van het rendement. Zoals altijd zullen we op zoek moeten naar de gulden middenweg. De juiste balans tussen eerlijkheid en premiedifferentiatie. Ik hoop dat we tot een mooi stappenplan kunnen komen, liefst in de vorm van een dashboard dat de implicaties laat zien van elke keuze. Het belangrijkste dat ik wil met mijn onderzoek is dat verzekeraars zelf kunnen kiezen waar ze de accenten leggen. Ieder bedrijf moet voor zichzelf beredeneren wat gerechtvaardigd is.”