De Public Interest Litigation Project (PILP) deed onderzoek naar de Top400. Dit is een programma waarmee de gemeente Amsterdam wil voorkomen dat jongeren en jongvolwassenen in de criminaliteit terecht komen. Het programma wordt geframed als een zorg- en beheersingsaanpak, waarbij allerlei publieke instellingen betrokken worden. Maar het lijkt er meer op dat jongeren worden gecriminaliseerd, soms nog voordat ze ook maar iets verkeerds hebben gedaan...

...Bij de Top400 werd Prokid+ gebruikt, een datamodel dat gebruikt wordt om jongeren te selecteren. Deze voorspellende identificatietool is ontwikkeld door de politie en is een vorm van predictive policing. Met predictive policing wordt op basis van historische gegevens voorspeld waar toekomstige criminaliteit zou kunnen plaatsvinden. In het geval van de Top400 wordt er echter gegeken naar de kans dat een specifieke jongere zich mogelijk schuldig zou kunnen maken aan criminaliteit.

Nu blijkt dat bij het gebruik van dit algoritme niet goed uitgelegd werd waarom iemand precies geselecteerd is. In sommige gevallen selecteerde het systeem jongeren zonder dat er sprake was van een noemenswaardig criminaliteitscomponent. Bovendien werd er bewust informatie achtergehouden in gesprekken met ouders. Zo mochten de naam van het algoritmisch systeem en de waarde van waarschijnlijkheid dat iemand een crimineel gedrag zou vertonen, niet gedeeld worden. En dat terwijl de impact enorm is voor de jongeren en hun gezinnen. Als je geselecteerd bent, krijg je namelijk voor twee jaar een regisseur toegewezen. Die periode kan vervolgens weer verlengd worden.

Samen met Pilp, Mamamess, Control Alt Delete en Fair Trails, roept Bits of Freedom de gemeente Amsterdam op tot het volgende:

  1. De politie en opsporingsautoriteiten mogen niet betrokken worden bij sociale dienstverlening en het leveren van zorg.
  2. Zolang de gemeente Amsterdam de bescherming van mensenrechten, gelijke behandeling, het recht op privacy en effectieve rechtsbescherming niet kan borgen, moet het stoppen met de Top400.
  3. De gemeente moet luisteren naar de ervaringen, behoeften en stemmen van de jongeren en hun ouders om gepaste zorg daarop af te stemmen.
  4. De politie moet stoppen met de ontwikkeling en het gebruik van ProKid+ en vergelijkbare predictive policing algoritmen.

Wij blijven ons inzetten voor een verbod op predictive policing in de AI-verordening. De Top400 is het zoveelste voorbeeld waaruit blijkt dat de beslissingen, die vaak niet of slecht uitlegbaar zijn, een enorme impact hebben op mensen. Door het gebrek aan transparantie en controleerbaarheid is het voor betrokkenen heel moeilijk om op basis van argumenten tot een andere beslissing te komen, of om een juridische procedure te beginnen.

Alles bij de bron; Bits-of-Freedom