‘Jammer dat we gelijk hebben gekregen’, dacht onderzoeker Max Vetzo dit voorjaar toen de rechtbank in Den Haag het Systeem Risico Indicatie (SyRI) naar de prullenbak verwees. De jurist, verbonden aan de Universiteit Utrecht en mede-auteur van een bundel over algoritmes en grondrechten, ziet veel kansen voor algoritmes. Maar hij waarschuwde in het boek uit 2018 ook voor de gevaren van dergelijke risicomodellen. Ook de rechter oordeelde dat SyRI in strijd is met het Europees Verdrag voor de Rechten van de Mens. Het systeem zou de privacy schenden en onvoldoende inzichtelijk en controleerbaar zijn, waardoor de digitale beslisformule mogelijk discriminerende en stigmatiserende effecten zou hebben.
Een algoritme is een vooraf bepaalde set regels of stappen die een computer volgt. Data, zoals arbeidsgegevens, schuldenlastgegevens of identificerende gegevens uit de basisadministratie, zijn de ingrediënten van het algoritme. In het geval van SyRI werd op basis van deze gegevens een risicoprofiel aangemaakt voor uitkeringsfraudeurs. Verschillende gemeenten maakten gebruik van SyRI, waaronder Rotterdam, Capelle aan den IJssel en Eindhoven.  

Grondrecht
Volgens Vetzo is het lastig in het algemeen aan te geven welk grondrecht het meest onder druk staat in zaken als SyRI. En dat is tekenend voor algoritmes, die aan de basis liggen van tal van technologische ontwikkelingen als kunstmatige intelligentie (artificial intelligence, AI) en internet of things (IoT). ‘Vaak gaat het om een cluster van verschillende grondrechten: én gelijke behandeling, én privacy én het recht op een eerlijk proces. Je kunt daarbij niet zeggen: het een is erger dan het ander.’ Al deze aspecten zouden gemeenten in ogenschouw moeten nemen bij het gebruik van algoritmes, en niet alleen de voor de hand liggende privacy en gegevensbescherming.  

Suggesties voor raadsvragen
Ongeveer de helft van gemeenten werkt inmiddels met algoritmes, becijferde het CBS in 2018. Algoritmes voorspellen de leefbaarheid in wijken, het risico op kindermishandeling, de kans op woonfraude en wie vroegtijdig een opleiding zal staken. Volgens Laura de Vries, die voor het wetenschappelijk bureau van D66 onlangs het gebruik van algoritmes bij lokale overheden onderzocht, houden gemeenten bij een inventarisatie liever de kaarten op de borst. Dat is zorgelijk, zegt ze, omdat juist op het lokale niveau de beslissingen worden genomen die de levens van mensen fundamenteel raken, zoals over leerplicht, zorg en sociale zekerheid. 
Mensen denken ten onrechte dat digitalisering alleen een uitvoeringskwestie is, stelt De Vries. Maar het is ook een politieke aangelegenheid. ‘Algoritmes zijn niet neutraal, er liggen altijd waarden aan ten grondslag. Elke gekozen variabele – postcode, geslacht, etniciteit – heeft effect op de levens van mensen. Wie komt in aanmerking voor een traject voor uitstroom uit de bijstand? Welke ouder wordt preventief benaderd voor mogelijke kindermishandeling?’ Minstens zo belangrijk is wat er vervolgens met deze informatie gebeurt. ‘Ga je langs de deuren, stuur je een brief, op welke toon benader je mensen? Het zijn allemaal politieke keuzes.’

‘Het antwoord mag nooit zijn: omdat het algoritme het zei’

Achterstand
De Vries constateert bovendien een achterstand in kennis en expertise bij gemeenten. En waar deze er wel zijn, vooral bij de grotere gemeenten, gaat het vooral over statistiek en systemen. ‘Inzicht in de uitwerking op de sociale context blijft over de hele breedte achter’, zegt ze. 
Los van een gebrek aan overzicht hebben raadsleden volgens haar het gevoel dat ze de risico’s onvoldoende kunnen inschatten. Om beide problemen aan te pakken, geeft ze achterin haar rapport een tiental suggesties voor raadsvragen die de gevaren bespreekbaar maken. Maakt de gemeente gebruik van algoritmes? Schakelt ze daarvoor externe partijen in? Is de gemeente zich bewust van de ethische aspecten en worden deze meegewogen in de keuze van de leverancier?

Algoritmeregister
Ook inwoners hebben doorgaans weinig weet van de technologieën die sturing geven van beleid, vult Vetzo aan. Terwijl overheden die transparantie strikt genomen wel aan de burgers verschuldigd zijn. ‘Gemeenten zijn bij wet verplicht om te verantwoorden waarom ze een besluit hebben genomen, ook als dit gebeurt met de hulp van technologieën. Daarbij heeft het geen zin om de broncode te laten zien, het gaat erom dat ze in heldere taal inzichtelijk maken waarom keuzes zijn gemaakt. Niet alleen in de SyRI-zaak, ook in de stikstofuitspraak van 2017 heeft de bestuursrechter dit benadrukt.’ 
Een gemeente moet altijd kunnen uitleggen aan burgers en bedrijven hoe een besluit of beleid tot stand is gekomen, vindt ook wethouder Touria Meliani (GroenLinks) van Amsterdam. Zij heeft onder meer de Digitale Stad in portefeuille. Het antwoord mag dan nooit zijn ‘omdat het algoritme het zei’, laat ze weten. Inwoners moeten dus toegang hebben tot begrijpelijke en actuele informatie over hoe algoritmes invloed hebben op hun leven en op de besluiten van gemeenten. Vandaar dat de gemeente, samen met Helsinki als eerste ter wereld, alle gebruikte algoritmes openbaar maakt in een algoritmeregister.

Transparantie
Ook op andere gebieden streeft de gemeente naar transparantie. In een nieuwe modelverklaring voor de inkoop van algoritmes staat dat leveranciers inzicht moeten geven in de keuzes en afwegingen die zijn gemaakt. Samen met onder andere de VNG werkt Amsterdam daarnaast aan instrumenten die de controle op algoritmes moeten vereenvoudigen, waaronder een algoritmekader voor toezicht en toetsing. Ook de bezwaarprocedures worden onder de loep genomen. ‘Het is de bedoeling dat straks alle overheden die algoritmes inzetten deze instrumenten kunnen gebruiken.’

Verder staat Amsterdam aan de wieg van zogenoemde Fair Trade algoritmes: een praktische methode die ervoor moet zorgen dat de digitale beslisformules met zekerheid niet discrimineren. Meliani: ‘Er is nog meer onderzoek van de Universiteit van Amsterdam en het CBS nodig, maar de aanpak werkt.’ Een volgende stap is een algoritme ontwikkelen dat sociale ongelijkheid tegengaat. ‘In het Civic AI Lab werken vijf promovendi aan de toepassing van artificial intelligence op het gebied van onderwijs, welzijn, omgeving, mobiliteit en gezondheid.’ Mogelijk worden met deze ‘eerlijke modellen’ financiën straks anders verdeeld ‘om alle scholieren kans te geven op goed onderwijs en het juiste aanbod’. 

Effectief
De risico’s zijn voor andere gemeenten, zoals Uden, juist reden om af te zien van het gebruik van voorspellende algoritmes. Ze zouden meer problemen opleveren dan ze oplossen. Maar dat is zeker niet wat jurist Max Vetzo gemeenten adviseert. ‘De voordelen zijn te groot om kansen te laten liggen. Algoritmes zijn efficiënt, je kunt er dus als gemeente goede dingen mee doen. Zolang je je maar bewust bent van de risico’s. Niet alleen doen dus, maar ook goed nadenken.’
Uiteindelijk, zegt de onderzoeker, kunnen we leren van de grondrechtelijke uitglijder met SyRI. 
Laura de Vries is minder mild. ‘Het is al erg genoeg dat het systeem ethisch niet te verantwoorden was. Maar het bleek ook nog eens niet effectief. Als een algoritme én ineffectief én onethisch is, waarom zou je er dan aan beginnen?’ 

Ze heeft er een hard hoofd in dat de overheid leert van haar fouten. SyRI was nauwelijks door de staatssecretaris stopgezet, of het ministerie van Justitie en Veiligheid kwam met een wetsvoorstel voor een ‘Super SyRI’. Opnieuw een algoritmisch systeem voor fraudeopsporing waarbij instanties gegevens uitwisselen. De Vries: ‘Als dat maar goed gaat. Ik hoop dat ze van de vorige fout geleerd hebben en zich drie vragen stellen. Welk probleem gaat dit oplossen en waarom is dat nodig? Maar vooral: is dat ook wenselijk?’