Overheden gebruiken op steeds grotere schaal algoritmes om te voorspellen wie ergens mee de fout in zal gaan, maar ook om te bepalen wat burgers nodig hebben, meldde de NOS gisteren. Iets waarbij een risico op discriminatie bestaat.
Maar ook buiten de overheid is dat risico er. Vrijwel alle zelfrijdende auto’s herkennen mensen met een donkere huidskleur bijvoorbeeld slechter dan mensen met een lichtere huidskleur. Dat is de opvallende conclusie van een recent onderzoek. En gevaarlijk bovendien, omdat auto’s hierdoor niet goed anticiperen op getinte voetgangers.
Opvallend, maar niet nieuw, vertelt Nieuws en Co-techwatcher Enaam Ahmed Ali. “We kunnen niet meer zonder kunstmatige intelligentie, maar die staat bol van de vooroordelen.”
Kunstmatige intelligentie is de manier waarop machines, software en apparaten zelfstandig problemen oplossen. Zij imiteren hierbij het menselijk denken. Om dit apparaten of software aan te leren, moet je ze trainen, door bijvoorbeeld heel veel foto’s te tonen, voor ze die zelf kunnen herkennen. Bekende voorbeelden die je daarvan nu al tegenkomt in het dagelijks leven zijn bijvoorbeeld virtuele assistenten zoals Siri, automatische chatbots van de klantenservice, een kraan, die aangaat als je zwaait of je telefoon, die suggesties doet voor wie er op je foto’s staan.
Maar het gaat verder, vertelt Enaam Ahmed Ali . Zo gebruiken banken het bijvoorbeeld om te beoordelen of je een krediet mag aanvragen. En in de VS worden er bijvoorbeeld ook al experimenteren gedaan met kunstmatige intelligentie in de rechtszaal. En dan worden die vooroordelen ineens echt problematisch.
Een bekend voorbeeld, waarbij je die vooroordelen terugziet komen, is bijvoorbeeld de vertaalfunctie van Google. Je kunt zelf het volgende experiment doen: typ she is a doctor, he is a nurse in en vertaal dit naar een onzijdige taal als het Turks of het Perzisch en vertaal weer terug. Ineens is hij de dokter en zij de verpleegster.
Ahmed Ali: “Google werkt er hard aan om dat te verhelpen.” In sommige gevallen geeft de vertaalservice dan nu ook twee opties aan. Maar hoe kan dit? Zowel bij de zelfrijdende auto’s als bij de vertaalopties ligt het aan de beschikbare data. En die zijn niet altijd representatief.
Ahmed Ali: “Dat zag je laatst ook heel goed bij de gezichtsherkenningstool van Amazon. Daaruit bleek dat zwarte vrouwen in 37 procent van de gevallen niet herkend werden als vrouw. Dat kwam door een gebrek aan diversiteit in de data.”
En waar de gevolgen bij een gezichtsherkenningsapp klein zijn, zijn ze groot in het geval van zelfrijdende auto’s. Ahmed Ali: “Die auto’s zien de zwarte mensen wel, maar herkennen ze niet in alle gevallen als mens. Voor de auto kan het bijvoorbeeld ook een boom of paal zijn. Het gevaar zit hem erin dat een boom of paal niet ineens oversteekt. De auto kan in dit geval dan een verkeerde en gevaarlijke beslissing nemen.”
En ook met woorden werkt dit zo. Als het gros van de data spreekt over mannelijke dokters, koppelt het algoritme van Google dat ook automatisch aan elkaar. Sommige bedrijven proberen kunstmatige intelligentie juist in te zetten om vooroordelen uit de weg te helpen, zoals bij het filteren van cv’s en motivatiebrieven.
Ahmed Ali: “Amazon bijvoorbeeld heeft bijvoorbeeld de optie man/vrouw uitgeschakeld met het idee dat de systemen daardoor ook meer vrouwen eruit gaan pikken. Maar wat je dan ziet is dat zo’n systeem nog wel aanslaat op woorden die mannen gebruiken om zichzelf te beschrijven. Vrouwen gebruiken vaak andere woorden.” En om die reden worden ook op die manier meer mannen dan vrouwen geselecteerd.
Uiteraard zien bedrijven dit ook, en proberen ze deze problemen op te lossen.
Zo biedt Google nu dus soms twee vertalingen aan, een mannelijke en een vrouwelijke. En er worden steeds vaker twee verschillende datasets gebruikt voor het trainen van systemen en het testen. Dat zorgt ervoor dat ze veel meer verschillen opmerken.
Maar dat is niet altijd eenvoudig. Algoritmes kunnen zichzelf ontwikkelen als ze meer verschillende data zien, maar soms kan het lang duren. Ahmed Ali: “Je kan het vergelijken met mensen, die ook al hun hele leven beïnvloed zijn door bepaalde maatschappelijke factoren, daar kun je ook niet in een klap alle vooroordelen bij wegnemen.”