Artificiële Intelligentie is op veel plekken het gesprek van de dag. Het afgelopen jaar zijn tal van strategieën, ethische kaders en rapporten gepubliceerd. Daarnaast is door de EU en het kabinet wetgeving aangekondigd en worden middelen vrijgemaakt voor aanzienlijke investeringen. Deze rapportage schetst de belangrijkste ontwikkelingen en bespreekt de meest relevante rapporten op het gebied van AI.

Narrow AI al dicht bij burgers

AI refereert aan systemen die intelligent gedrag vertonen door hun omgeving te analyseren, verzamelde data te interpreteren en op basis daarvan te bepalen welke actie het beste is om specifieke doelen te bereiken. Een snel opkomende vorm van AI is narrow-AI. Hier gaat het om systemen die gericht zijn op de uitvoering van één taak (zoals beeld- of spraakherkenning). Voorbeelden hiervan zijn virtuele assistenten (zoals Siri), persoonlijke aanbevelingssystemen (zoals ingezet door Netflix) en patroonherkenning in beelden (zoals ingezet door medici bij diagnose). Deze toepassingen werken vaak op basis van zelflerende algoritmen (machine learning) – beslisregels die door interpretaties van data tot stand komen. Narrow AI systemen dringen in hoog tempo door tot de gemiddelde huiskamer en werkvloer. De ontwikkeling van geavanceerdere Artificial General Intelligence systemen staat daarentegen nog in de kinderschoenen. Experts verschillen sterk van mening in hun verwachting of en op welk moment deze vorm van intelligentie wordt gerealiseerd. Dit rapport concentreert zich daarom op narrow-AI systemen.

Articifial Intelligence lijkt op veel vlakken nog ver af te staan van de gemiddelde gemeentelijke praktijk, maar ook gemeenten maken steeds meer gebruik van (zelflerende) algoritmen. Deze algoritmen hebben grote invloed op bewoners; ze helpen bijvoorbeeld door middel van fraudedetectie te bepalen of je recht hebt op een uitkering, of tot welke middelbare school je kinderen toegang hebben.

Europa en het Rijk

Vanuit de EU (1,5 miljard in 2018-2020) en het Rijk (1 miljard komende zeven jaar) wordt de komende tijd veel geld geïnvesteerd in AI. Dit vanuit de verwachting dat AI in vrijwel alle sectoren een transformerende werking zal hebben die processen efficiënter én effectiever maakt. Bovendien constateren zowel het kabinet als de Europese Commissie (EC) dat veel AI-gerelateerde technologieën een winner takes all-effect hebben, vergelijkbaar met platformdiensten als Amazon en Facebook of besturingssoftware als iOS en Android. Om de economische vruchten van AI te kunnen plukken, is het daarom belangrijk niet achter te lopen op andere landen (bijvoorbeeld de Verenigde Staten en China). Bovendien willen het kabinet en de EC invloed uitoefenen op de ontwikkeling van AI, zodat AI-toepassingen ethisch en volgens Nederlandse en Europese waarden ingezet kunnen worden.

 

---

Actueel: Systeem Risico Indicatie (SyRI)

SyRI werd door het ministerie van Sociale Zaken ter beschikking van gemeenten gesteld om onderzoek te doen naar misbruik van sociale voorzieningen. Een vijftal gemeenten heeft een verzoek ingediend voor een SyRI onderzoek. Daarmee is overigens geen enkele fraudeur ontmaskerd.

Op 5 februari 2020 oordeelde de Rechtbank Den Haag dat gebruik van het Systeem Risico Indicatie (SyRI) in strijd is met artikel 8 van het Europees Verdrag voor de Rechten voor de Mens (EVRM). Een historische uitspraak, die wereldwijd werd gevolgd en precedent schept op het gebied van AI-gebruik door overheden.

Artikel 8 van het EVRM beschermt het recht op respect voor het privéleven (privacy). Hoewel de rechtbank oordeelde dat het doel van SyRI – fraudebestrijding – legitiem is (omdat fraude het ‘economisch welzijn’ aantast en bovendien het vertrouwen in de overheid schaadt), is er geen sprake van fair balance, zoals artikel 8 van het EVRM vereist. Met andere woorden, SyRI vormt een disproportionele inbreuk op het privéleven om het doel te rechtvaardigen. Ook oordeelde de rechtbank dat de SyRI-wetgeving onvoldoende inzichtelijk en controleerbaar is.

---

 

Het Rijk en de EU hanteren grotendeels dezelfde strategie als het gaat om AI. Beiden investeren de komende jaren miljarden in deze specifieke technologie om via innovatie de economische en maatschappelijke kansen te benutten. Beiden stellen bovendien publieke waarden en mensenrechten centraal in de toepassing van AI, als alternatief voor de Amerikaanse en de Chinese strategie. Ze willen deze waarden en mensenrechten borgen door in eerste instantie richtlijnen te ontwikkelen en vervolgens ook wettelijke waarborgen te produceren. Namens het kabinet is het ministerie van JenV hiermee belast, de EC heeft hiervoor de High Level Expert Group on AI aangewezen. Het kabinet legt daarbij voorlopig de nadruk op specifieke vormen van data-analyse en algoritmen, namelijk profilering en gebiedsgebonden analyses. Ook de Europese Commissie kiest voor een risk-based approach, waarbij AI-toepassingen als ‘high risk’ worden aangemerkt als ze gelijktijdig aan twee voorwaarden voldoen:

• De AI-toepassing wordt ingezet in een sector waarin we kunnen verwachten dat significante risico’s zich voordoen, gegeven het karakter van de sector (bijvoorbeeld zorg, transport en energie);
• De AI-toepassing wordt in de sector op zo’n manier ingezet dat significante risico’s zich voordoen (bijvoorbeeld: de zorg is een risicosector, maar een fout in het planningssysteem voor afspraken leidt niet zo snel tot al te grote risico’s).

 

Vijf aandachtsgebieden: van wetgeving tot kennisongelijkheid

Grof gesteld zijn er in het huidige EU- en Rijksbeleid momenteel vijf aandachtgebieden:

1. ‘AI for Good’ - waarden, ethiek en juridisch

Europa zet in op AI die ten goede komt aan publieke waarden, onder het motto ‘AI for Good’. Dit resulteert in grote aandacht voor de ethische aspecten van AI. Die aandacht is er ook in Nederland, bij het kabinet en de departementen. Het Platform voor de Informatiesamenleving publiceerde hierover onlangs het essay ‘AI en Mensenrechten’. Dat beargumenteert overtuigend dat slechts onder strikte voorwaarden volstaan kan worden met ethische kaders. Als de ethische kaders niet aan die voorwaarden voldoen, dan moeten zulke kaders ook een juridisch gestalte hebben. In de Kamerbrieven hierover worden deze intenties om hier werk van te maken ook uitgesproken, maar we moeten er scherp op blijven letten dat de kaders voor AI inhoudelijk op de juiste manier worden gevormd, ook vanuit het perspectief van lokale overheden.

Het Wetenschappelijk Onderzoek- en Documentatiecentrum WODC maakte in opdracht van het Ministerie van Justitie en Veiligheid een rapport over de juridische aspecten van algoritmen. Daarin wordt geconcludeerd dat het Nederlandse rechtsstelsel op zichzelf toegerust is om met specifieke problematiek rondom algoritmen om te gaan. Tegelijkertijd wordt geconcludeerd dat de rechtsontwikkeling nog aan het begin staat. Hoewel er geen structurele knelpunten zijn aan te wijzen, zijn er wel verschillende knelpunten geïdentificeerd die raken aan concrete normtoepassing, aldus het WODC-rapport. Zo kunnen de strenge normen met betrekking tot het gebruik van bijzondere persoonsgegevens, zoals gegevens over etnische afkomst en seksualiteit, juist in de weg staan bij het detecteren van discriminerende effecten in algoritmen. Ook is niet duidelijk welke mate van menselijke betrokkenheid nodig is om beschermd te zijn tegen volledig geautomatiseerde individuele besluitvorming en om een beroep te kunnen doen op bijbehorende informatierechten.

Een eerste richtlijn van het kabinet is de Richtlijn voor toepassen van algoritmen door overheden van het ministerie van JenV. De VNG verricht een impactanalyses op deze richtlijn.

2. Toezicht op het gebruik van AI bij de overheid: eerlijk en transparant

Vanaf 2019 is een belangrijke discussie op gang gekomen over het toezicht op algoritmegebruik bij overheden. Er liggen taken bij de Autoriteit Persoonsgegevens (AP) en bij de Autoriteit Consument en Markt (ACM). Ook de Algemene Rekenkamer heeft aangegeven het gebruik van algoritmen door de rijksoverheid in kaart te gaan brengen en toetsen. De vraag is of we daar nog een specifieke AI-toezichthouder aan moeten toevoegen. Het Rathenau Instituut (Opwaarderen, 2017) adviseerde al om ‘de rol en positie van toezichthouders te versterken’. Na een artikel van de NOS in mei 2019 brandde de politieke discussie daarover los. Het in tech-vraagstukken gespecialiseerde advocatenkantoor Hooghiemstra en Partners heeft op aanvraag van het ministerie van BZK onderzoek gedaan naar toezicht op algoritmegebruik door de overheid. Hun conclusie is dat er eerst een evaluatie moet volgen, voordat er een specifieke toezichthouder wordt aangesteld. Verschillende politieke partijen pleiten inmiddels voor een aparte toezichthouder op AI, (zie ook de motie van D66-Kamerlid Kees Verhoeven), maar er zijn vooralsnog geen stappen in die richting gezet.

Het kabinet heeft in antwoord op de initiatiefnota ‘Grip op algoritmen’ bij de Kamerbrief van 20 april 2020 aangekondigd de volgende activiteiten uit te voeren ter verbetering van de normering van- en het toezicht op het gebruik van algoritmen door de overheid:

• De wijze waarop de toezichthoudende organisaties het structurele toezicht hebben ingericht wordt geïnventariseerd. Ook de manier waarop deze organisaties samenwerken wordt in kaart gebracht. De Auditdienst Rijk gaat een verkenning uitvoeren naar structurele audits naar het gebruik van algoritmen door de overheid;
• Evaluatie en aanscherping van de Richtlijnen voor het toepassen van algoritmen door overheden en verkenning van een mogelijke nadere wettelijke verplichting tot naleving van van deze richtlijnen;
• Ontwikkeling van een algoritme impact assessment, waarbij zoveel mogelijk aansluiting wordt gezocht bij bestaande assessments;
• Oplevering resultaten van het project ‘Calculemus-FLINT’, dat bestaat uit het uitwerken van een systematiek voor het op een transparante wijze ‘vertalen’ van wet- en regelgeving naar de uitvoeringspraktijk;
• Verkenning naar de mogelijkheid van (wettelijke) experimenteerruimte;
• Verkenning met overheidsorganisaties en wetenschappers naar de behoefte aan gezamenlijke definities en gedragen oplossingen op het terrein van AI en algoritmen en hoe die te ontwikkelen.

3. Lusten en lasten van platforms

Platforms en algoritmen zijn nauw met elkaar verbonden. De dienstverlening van bijvoorbeeld Google, LinkedIn, Facebook en AirBnB wordt aangedreven door algoritmen. Platforms spelen een steeds grotere rol in het maatschappelijke leven. Gemeenten zien hier zeker kansen in. Denk bijvoorbeeld aan platforms die deelmobiliteit mogelijk maken. Tegelijkertijd ervaren ze ook de ‘lasten’ veroorzaakt door platforms. Denk bijvoorbeeld aan de impact van AirBnB op het karakter van stedelijke gebieden.

De Europese Commissie wil met de Digital Services Act (DSA) de kaders aangeven voor het gebruik van online platforms in Europa. De DSA is vooral ingestoken vanuit een mededingings- en consumentenbeschermingsperspectief, maar de commissie stelt ook:

However, competition policy alone cannot address all the systemic problems that may arise in the platform eocnomy. Based on the single market logic, additional rules may be needed to ensure contestability, fairness and innovation and the possibility of market entry, as well as public interests that go beyond competition or economic considerations.
 

4. Publieke en politieke dialoog

In 2020 is AI definitief onderwerp geworden van het publieke en politieke debat. Zo nu en dan halen discussies over toezicht op algoritmen de media, met vele opiniestukken en columns als gevolg. De ophef rond het SyRI-algoritme is hier een goed voorbeeld van. Dat is een bestuurlijk zeer relevante ontwikkeling: gemeentebestuurders worden steeds meer aangesproken door inwoners, raadsleden en bedrijven als het gaat om het gebruik van algoritmen bij gemeentelijke beleids- en besluitvorming. In de vele strategieën en rapporten wordt dan ook het belang van het voeren van een maatschappelijke dialoog benadrukt. Immers, ook de gemiddelde inwoner moet kunnen meepraten over AI, als we deze ontwikkeling democratisch willen legitimeren.

5. Kennisverschil

Op het gebied van AI bestaat er een groot kennisverschil tussen de grote techbedrijven enerzijds en het MKB, overheden en inwoners anderzijds. Ter vergelijking: de EU gaf tussen 2014 en 2017 1,1 miljard uit aan AI-onderzoek, waar grote techbedrijven als Google alleen al in het jaar 2016 tussen de 20 en 30 miljard dollar spendeerden. Om ervoor te zorgen dat publieke waarden geborgd zijn in het gebruik van AI, hebben overheden meer kennis in huis nodig uit verschillende disciplines (beleidsmedewerker, jurist, data scientist, financieel specialist, etc.). Met deze kennis kunnen overheden hun eigen middelen bouwen en de markt reguleren.

Overzicht van de hoeveelheid AI-spelers (bedrijven en onderzoeksinstellingen) die wereldwijd per land gevestigd zijn. Voeg de 27 Europese landen samen en ze kunnen goed concurreren met de VS en China (ook al zal de EU met de Brexit veel spelers verliezen).
Bron: https://knowledge4policy.ec.europa.eu/ai-watch/topic/ai-landscape_en

 

Gemeenten: Principes voor de Digitale Samenleving, Digitale Agenda Gemeenten 2024 en speerpunten

De activiteiten van gemeenten en de VNG, sluiten goed aan bij de aandachtsgebieden die we zien bij de EU en het Rijk. Denk bijvoorbeeld aan de Principes voor de Digitale Samenleving, die vorig jaar in de BALV (Buitengewone Algemene Ledenvergadering) zijn vastgesteld, en de Digitale Agenda Gemeenten 2024 en de bijbehorende speerpunten.

We noemen drie voorbeelden:

• De drie belangrijkste sporen uit het Strategisch Actieplan Artificiële Intelligentie (SAPAI) van het kabinet sluiten nauw aan bij de drie doelstellingen in onze Digitale Agenda Gemeenten 2024, te weten mogelijk maken, kansen benutten en duiden en reflecteren.
• In het rapport van Hooghiemstra en Partners over het toezicht op algoritmegebruik bij de overheid wordt bijvoorbeeld expliciet gepleit voor een (eventueel wettelijk verankerde) experimenteerruimte voor algoritmen;
• De beweging richting ethische AI heeft grote raakvlakken met onze lobby voor een inclusieve digitale dienstverlening. De complexiteit van de keten kan hierin een belangrijke tekortkoming zijn. Het het ECP-essay ‘Toezicht met AI’ beschrijft dit in één van de casussen.

In gemeenteland zien we bovendien bewegingen in de ontwikkeling en toepassing van AI. Steeds meer gemeenten begeven zich op het pad van datagedreven werken, waarbij ook regelmatig slimme algoritmen worden gebruikt. Op dit moment lopen er verschillende AI-projecten bij gemeentelijke datalabs. Via Samen Organiseren en de Gezamenlijke Gemeentelijke Uitvoering (GGU) kunnen gemeenten leren van elkaars goede voorbeelden en experimenten.

Eén voorbeeld is het programma ‘AI met Impact’, een samenwerking van de VNG, het CBS, Code for NL en de gemeente Amsterdam. AI met Impact wordt gefinancierd door het innovatiefonds van het ministerie van BZK. De opzet van het programma is om in de praktijk kennis en ervaring op te bouwen over het verantwoordelijk ontwikkelen en toepassen van AI op gemeentelijke opgaven. Een team van gemeentelijke data scientists werkt bijvoorbeeld aan AI voor beeldherkenning, waarmee camera’s op auto’s van de gemeente vuilnis kunnen detecteren. Een ander team werkt aan een methode die voorkomt dat algoritmen discrimineren. Om kennis en ervaringen te delen, wordt er gebouwd aan een community en wordt er gekeken naar andere kansen die gemeenten kunnen helpen slim en verantwoord om te gaan met AI.

Tegelijkertijd sluiten ook gemeenten niet hun ogen voor de risico’s van data-analyses en algoritmen. Zij hebben de Principes voor de Digitale Samenleving omarmd met de bedoeling om deze zowel horizontaal uit te breiden naar andere onderwerpen (naast de digitalisering van de buitenruimte), als verticaal uit te breiden richting juridische instrumenten. Bovendien pleiten gemeenten voor meer samenhang en eenduidigheid in het stelsel van basisregistraties. De basisregistraties vormen namelijk belangrijke databronnen voor gemeenten. De kwaliteit van de data moet goed zijn, voordat ermee gewerkt kan worden.

 

---

Algoritmeregister Amsterdam

Sinds september beschikt Amsterdam over een openbaar Algoritmeregister. Het register biedt een overzicht van de algoritmes die de gemeente Amsterdam gebruikt bij gemeentelijke dienstverlening. Per algoritme wordt algemene informatie gedeeld over de bedoeling en werking van het algoritme, maar desgewenst ook gedetailleerde technische informatie. Het register is in ontwikkeling en omvat nu nog een beperkt aantal algoritmen. Meer informatie: https://algoritmeregister.amsterdam.nl/

---

 

Relevante aankomende wet- en regelgeving

Voor gemeenten is het belangrijk om een overzicht te hebben van relevante aankomende wet- en regelgeving op het gebied van AI. Er zijn drie niveaus waarop ontwikkelingen plaatsvinden:

• De Europese Commissie heeft het White Paper on AI gepubliceerd, waarin zij de volgende voorstellen doet voor regulering (deze voorstellen staan nu open voor consultatie):
  • Het maken van wettelijke voorwaarden voor ‘high risk’ AI-toepassingen. Deze voorwaarden zullen gericht zijn op de volgende belangrijke onderdelen:
    • Trainingsdata;
    • Data en archivering;
    • Informatievoorziening;
    • Robuustheid en nauwkeurigheid;
    • Menselijk toezicht;
    • Specifieke voorwaarden voor bepaalde AI-toepassingen, zoals de inzet van biometrische identificatie op afstand (bijvoorbeeld gezichtsherkenning).
  • Het verhelderen van het proces om verantwoording af te leggen. Dat betekent bijvoorbeeld dat de ontwikkelaar van AI verantwoordelijk is in de ontwikkelfase en de gebruiker van AI aansprakelijk is tijdens de gebruiksfase;
  • Het verplichten van een voorafgaande overeenstemmingstoets (conformity assessment) voor deze voorwaarden bij de inzet van ‘high risk’ AI-toepassingen;
  • Het instellen van een vrijwillig AI-keurmerk voor AI-toepassingen die niet ‘high risk’ zijn. Partijen kunnen dan de moeite nemen om vrijwillig aan de bovenstaande voorwaarden te voldoen, waarna ze ‘beloond’ worden met een AI-keurmerk;
  • Het aanbrengen van een Europese governance op het gebied van AI om samenwerking tussen nationale autoriteiten te bevorderen.
• Ook het Rijk komt met concrete wet- en regelgeving:
  • De ‘Richtlijnen voor het toepassen van algoritmes door overheden’. Deze richtlijnen gaan over:
    • Bewustzijn risico’s;
    • Uitlegbaarheid;
    • Gegevensherkenning;
    • Auditeerbaarheid;
    • Verantwoording;
    • Validatie;
    • Toetsbaarheid.
  • De aard van richtlijnen maakt dat zij geen dwingend karakter hebben. De Kamerbrief van de minister voor Rechtsbescherming van 8 oktober 2019 beschrijft echter op welke gebieden deze richtlijnen mogelijk worden vertaald naar wettelijke waarborgen. Het gaat daarbij om profilering en gebiedsgebonden analyses.
• Gemeenten hebben vorig jaar op de BALV de Principes voor de Digitale Samenleving aangenomen. Deze worden zowel horizontaal uitgebreid naar andere onderwerpen (naast de digitalisering van de buitenruimte), als verticaal uitgebreid richting juridische instrumenten. Gezien het belang van dataverzameling voor AI, zullen deze principes – en de daaruit voortkomende juridische instrumenten – zeker effect hebben op de werkwijzen van gemeenten.

Black Mirror, Rachel, Jack and Ashley Too (seizoen 5, aflevering 3 – 2019)

Deze aflevering van de dystopische sciencefiction anthologieserie Black Mirror gaat over de beroemde popster Ashley O, wiens gehele bewustzijn in kleine robotjes wordt ge-upload nadat zij in coma is geraakt. De aflevering gaat niet zozeer over de ethiek van postuum winst maken, maar heeft meer de lichte toon van een heist-film, waarin op een ingenieuze manier gestolen wordt. Naarmate AI zich steeds verder ontwikkelt, moet worden nagedacht over het idee van het digitaal uploaden van iemands geest en over een nieuwe ethische vraag: telt een digitale replica van iemands bewustzijn als een nieuw, levend individu?

Trends: ethiek van het digitaal kopiëren van iemands persoonlijkheid; AI.

 

De code van creativiteit: Hoe AI leert schrijven, schilderen en denken – Marcus du Sautoy

Zal een computer ooit een meesterwerk schilderen, een symfonie componeren of een prijswinnende roman schrijven? Mag een machine hopen ooit Rembrandt, Mozart of Shakespeare naar de kroon te steken? De stormachtige ontwikkelingen in kunstmatige intelligentie (AI) veranderen de wereld in rap tempo, en steeds meer menselijke taken worden net zo goed, of zelfs beter, door machines gedaan. Maar kunnen algoritmes ook concurreren met de krachtige menselijke creativiteit? Wat betekent het om creatief te zijn?

In dit boek onderzoekt Marcus du Sautoy de aard van creativiteit. Het resultaat is een fascinerende verkenning van zowel AI als de essentie van wat het betekent om een mens te zijn.

• ECP | Platform voor de Informatiesamenleving, Artificial Intelligence en mensenrechten: hoe ethische kaders elkaar versterken, 2019;
• ECP | Platform voor de Informatiesamenleving, Toezicht met algoritmen: vinger aan de pols, werk aan de winkel, ECP | Platform voor de Informatiesamenleving, 2019.
• Hooghiemstra & Partners, Onderzoek Toezicht op het gebruik van algoritmen door de overheid, prof. dr. Valerie Frissen, mr. dr. Marlies van Eck, mr. Thijs Drouen, 25 november 2019;
• Strategisch Actieplan AI (SAPAI) en bijbehorende Kamerbrieven Keijzer (EZK), Ollongren (BZK) en Dekker (JenV), 8 oktober 2019;
• Universiteit Utrecht, Algoritmes en grondrechten, 2018.
• Universiteit Utrecht (in opdracht van het WODC en op verzoek van het ministerie van Justitie en Veiligheid), Juridische Aspecten van algoritmen die besluiten nemen: een verkennend onderzoek, 2020.
• Van Dijck, José, Martijn de Waal en Thomas Poell. De Platformsamenleving: Strijd om publieke waarden in een online wereld (Amsterdam: Amsterdam University Press). 2016.
• Wetenschappelijke Raad voor het Regeringsbeleid, Internationaal AI-beleid: domme data, slimme computers en wijze mensen, Working Paper 34, Bennie Mols, 12 juni 2019;
• White Paper on Artificial Intelligence, Europese Commissie, 19 februari 2020;
• Kennisbank AI en Publieke Waarden: https://www.digitaleoverheid.nl/nieuws/kennisbank-ai-en-publieke-waarden-bundelt-kennis-over-impact-ai/.