In de Bits of Freedom podcast van deze week gaat het onder andere over het algoritme dat jarenlang door de Gemeente Rotterdam is gebruikt om te voorspellen wie van de bijstandsgerechtigden zou kunnen knoeien met hun uitkering ....

....Het algoritme bleek vol vooroordelen te zitten en richtte zich vooral op kwetsbare groepen, zoals vrouwen die geen Nederlands spreken en jonge alleenstaande moeders. Dit onderzoek van Follow the Money laat zien hoe dit soort algoritmes leiden tot discriminatie en stigmatisering.

Onze beleidsadviseur Nadia legt uit dat we een trend zien waarbij vrouwen van kleur, vaak moeders met een laag inkomen, een veel grotere kans maken om aan een fraudeonderzoek onderworpen te worden dan andere mensen. Dit kan als gevolg hebben dat deze groepen worden geproblematiseerd en soms zelfs gecriminaliseerd. Wat uniek is aan het onderzoek naar het algoritme dat door Rotterdam gebruikt werd, is dat er toegang is verkregen tot heel veel informatie, waaronder de technische informatie. Hiermee waren de onderzoekers in staat om het algoritme na te maken en te testen. Dat geeft veel inzicht in de werking van algoritmen en de onderliggende data, vertelt onze onderzoeker Joran.

Er is behoefte aan meer transparantie en beleid omtrent het gebruik van algoritmen. Zelflerende algoritmen moeten worden afgekaderd en er moet meer aandacht zijn voor (het gebrek aan) kwaliteit van de data die wordt gebruikt. De AI-verordening biedt kansen om de ontwikkelingen op het gebied van algoritmes beter te reguleren en de transparantie en verantwoording te vergroten, maar we zijn er nog niet, aldus Nadia.

Alles bij de bron; Bits-of-Freedom