Volgens Dimitri van den Meerssche moet het gerechtelijk verbod op de inzet van monitoringssysteem SyRI leiden tot een maatschappelijk debat over de grenzen van de digitale controlestaat...

...Het is een monumentale uitspraak die door experts in internationaal recht als globaal precedent wordt aanzien. SyRI is immers slechts een van vele overheidssystemen (binnen en buiten Nederland) die algoritmische risicomodellen, artificiële intelligentie en big data gebruiken in beslissingen. Beslissingen die een directe impact kunnen hebben op (vaak de meest kwetsbare) burgers.

De uitspraak moet daarom niet alleen worden toegejuicht maar ook als aanleiding worden gezien voor een kritisch maatschappelijk debat over de grenzen van de digitale controlestaat.

Systemen die zoals SyRI gebruik maken van algoritmen en datakoppeling voor het opstellen van risicomeldingen en het sturen van beslissingen, zijn fundamenteel onverenigbaar met verschillende democratische waarden...  Deze verregaande digitale inspectie is dus proactief: er gaat geen onderzoek vooraf aan het koppelen en interpreteren van privé-informatie die niet voor dit doel werd verschaft. Dit zet het vermoeden van onschuld op zijn kop en schaadt de vertrouwensrelatie tussen de staat en zijn burgers...

...Ten tweede zijn de algoritmen en risicomodellen die systemen zoals SyRI hanteren duidelijk onverenigbaar met het principe dat de staat op een transparante manier beslissingen moet nemen en daar ook verantwoording voor moet afleggen.

Dat het risicomodel gebruikt door SyRI geheim werd gehouden is uiteraard een flagrante schending van dit principe. Het probleem gaat echter veel dieper. Bepaalde types van artificiële intelligentie (waar de SyRIwet volgens de rechtbank ruimte voor biedt) zijn immers inherent ondoorgrondelijk. Het gebruik van deep learning, bijvoorbeeld, impliceert dat de logica en de factoren van besluitvorming constant evolueren op basis van algoritmische associaties die ook voor de ontwerpers van het systeem ondoorzichtig zijn...

....In Davos was premier Mark Rutte onlangs optimistisch over de eindeloze mogelijkheden van artificiële intelligentie. De neveneffecten kunnen worden ingeperkt, stelde hij, door goed onderwijs, nieuwe ‘standaarden’ en het ‘onafhankelijke denken van burgers’. Als de uitspraak van de rechtbank in Den Haag ons iets leert is het echter dat we ons niet redden met zulke vage politieke beloftes en perspectieven. Het kader voor politiek handelen is de rechtsstaat. Voor systemen als SyRI is daarin geen plaats.

Alles bij de bron; Parool