De misdaadbestrijding in de Verenigde Staten is al jaren het toneel van misbruik van kunstmatige intelligentie. Zoals zal blijken, is dat niet alleen het gevolg van bias. In aflevering 11 liet ik zien waarom kunstmatige intelligentie een wezenlijk nieuwe vorm van het gebruik van computers is. Tot dan toe werden computers geprogrammeerd om bewerkingen uit te voeren, zoals structureren van gegevens en nemen van beslissingen. In het geval van kunstmatige intelligentie worden ze daartoe getraind[1]. Het blijven mensen die de instructies (algoritmen) ontwerpen en er verantwoordelijk voor zijn voor het resultaat, al is de manier waarop de computer de berekeningen uitvoert steeds vaker een ‘blackbox’.
Toepassingen van kunstmatige intelligentie bij de politie
Ervaren rechercheurs zijn van oudsher getraind om de ‘modus operandi’ van misdaden te vergelijken om zo daders op het spoor te komen. Vanwege het arbeidsintensieve karakter van de handmatige uitvoering daarvan, rees al vlug de vraag of computers daarbij behulpzaam konden zijn. Een eerste poging daartoe in 2012 in samenwerking met Het Massachusetts Institute of Technology resulteerde in het groeperen van misdaden uit het verleden tot clusters waarvan de kans groot was dat deze door dezelfde dader(s) begaan zijn. Bij het maken van de algoritme gold de intuïtie van ervaren politiemensen als vertrekpunt. Het resultaat is dat soms kon worden voorspeld waar en wanneer een inbreker mogelijk zou kunnen toeslaan, wat tot extra toezicht en een arrestatie leidde.
Deze eerste pogingen werden al snel verfijnd en opgepakt door commerciële bedrijven. De twee meest gebruikte technieken die eruit resulteerden zijn voorspellend politiewerk (PredPol) en gezichtsherkenning.
In het geval van voorspellend politiewerk krijgen patrouilles aanwijzingen in welke wijk of zelfs straat ze op een gegeven moment moeten patrouilleren omdat berekend is dat de kans op misdaden (vandalisme, inbraken, geweldpleging) dan het grootst is. Iedereen die zich ‘verdacht’ gedraagt loopt dan de kans te worden aangehouden. Gezichtsherkenning speelt daarbij een belangrijke rol.
Zowel voorspellend politiewerk als gezichtsherkenning zijn gebaseerd op een ‘leerset’ van tienduizenden ‘verdachte’ personen. Op een gegeven moment beschikte de politie in New York over een database van 42.000 personen. 66% daarvan was zwart, 31,7% Latino en slechts 1% was blank. Deze samenstelling heeft alles te maken met de werkwijze van de politie. Ofschoon drugsgebruik in steden in de VS in alle wijken voorkomt, richt de politie op basis van PredPol en soortgelijke systemen der aandacht op enkele wijken. Het is dan niet verwonderlijk dat daar dan ook de meeste aan drugs gerelateerde misdaden worden gerapporteerd en als gevolg daarvan de samenstelling van de database nog schever wordt.
In deze gevallen is ‘bias’ de oorzaak van het onethische effect van de toepassing van kunstmatige intelligentie. Algoritmes weerspiegelen altijd de aannames, zienswijzen en waarden van hun makers. Ze voorspellen geen toekomst, maar zorgen ervoor dat het verleden wordt gereproduceerd. Dit geldt overigens ook voor toepassingen buiten de politie[2]. De St. George Hospital Medical School in Londen heeft minstens een decennium lang buitenproportioneel veel blanke mannen in dienst genomen, omdat de leerset een afspiegeling was van de zittende staf. Ook het bekritiseerde Nederlandse Risico Indicatiesysteem gebruikt historische data over onder andere boetes, schulden, uitkeringen, onderwijs en inburgering om effectiever te zoeken naar mensen die uitkeringen of toeslagen misbruiken[3]. Dit is op zich niet verwerpelijk maar zou nooit mogen leiden tot het ‘automatisch’ beschuldigen zonder nader onderzoek en het uitsluiten van minder voor de hand liggende personen[4].
Het simpele feit fat de politie buiten proportioneel aanwezig is in vermeende hotspots en daar zeer gespitst is op elke vorm van verdacht gedrag, maakt dat het aantal confrontaties met gewelddadige afloop snel is toegenomen. Alleen al in 2017 leidde politieoptreden in de VS tot een ongekend aantal van 1100 slachtoffers, waarvan slechts een beperkt aantal blanken. Bovendien houdt de politie zich al tientallen jaren bezig met raciale profilering. Tussen 2004-2012 heeft de New Yorkse politie meer dan 4,4 miljoen inwoners gecontroleerd. Het leeuwendeel van deze checks resulteerde niet in verdere actie. In ongeveer 83% van de gevallen was de persoon zwart of Latino, hoewel de twee groepen samen goed zijn voor iets meer dan de helft van de bevolking.
Er is hierdoor een groeiend risico – althans in sommige landen waaronder de VS, dat de politie zelf een onevenredige bron van geweld wordt en een organisatie die delen van de bevolking onderdrukt[5]. Voor de meerderheid van de gekleurde burgers in de VS vertegenwoordigt de politie niet ‘het goede’, maar is zij onderdeel geworden van een vijandige staatsmacht[6].
In New York werd in 2017 een gemeentelijke bepaling aangenomen om het gebruik van kunstmatige intelligentie te reguleren, de Public Oversight of Surveillance Technology Act (POST)[7]. In tegenstelling tot vergelijkbare verordeningen in San Francisco en Oakland vereist de wet van New York City alleen dat de politie informatie beschikbaar stelt over de technologie die wordt ingezet.
Het Legal Defence and Educational Fund, een prominente burgerrechten-organisatie in de VS, drong er bij het stadsbestuur van New York op aan het gebruik van gegevens te verbieden die beschikbaar zijn gekomen ten gevolge van een discriminerend of bevooroordeeld handhavingsbeleid[8]. Deze wens is in juni 2019 ingewilligd en dit leidde ertoe dat het aantal personen dat is opgenomen in de database van 42.000 is teruggebracht naar 18.000. Het betrof alle personen die zonder concrete verdenking in het systeem waren opgenomen[9].
San Francisco, Portland en een reeks andere steden zijn een paar stappen verder gegaan en zij hebben het gebruik van gezichtsherkenningstechnologie door de politie en andere openbare instanties verbood[10]. Experts erkennen dat de kunstmatige intelligentie die aan gezichtsherkenningssystemen ten grondslag ligt nog steeds onnauwkeurig is, vooral als het gaat om het identificeren van de niet-blanke bevolking[11].
Voorbij bias
Er is inmiddels de nodige kennis over hoe bias in algoritmen voorkomen kan worden[12], maar in plaats van dat daarmee het probleem wordt opgelost, ontstaat er zicht op een veel dieperliggend probleem. Dit betreft de oorzaken van misdaad zelf en het inzicht dat de politie deze nooit kan wegnemen[13].
Criminaliteit en recidive hangt samen met ongelijkheid, armoede, slechte huisvesting, werkloosheid, alcohol- en drugsgebruik en onbehandelde psychische aandoeningen[14]. Dit zijn dan ook de belangrijkste kenmerken van buurten waar veel criminaliteit voorkomt. Bewoners van deze buurten kunnen hierdoor geen menswaardig leven leiden[15]. Het zijn stressoren die tevens de kwaliteit van de ouder-kindrelatie beïnvloeden: hechtingsproblemen, onvoldoende ouderlijk toezicht, ook op het gebruik van alcohol en drugs, gebrek aan discipline of een overmaat aan autoritair gedrag. Alles bij elkaar vergroten deze omstandigheden de kans dat jongeren te maken krijgen met criminaliteit en ze verminderen het vooruitzicht op een succesvolle carrière op school en elders.
De ultieme maatregelen om misdaad op langere termijn terug te dringen en veiligheid te verbeteren zijn: voldoende inkomen, adequate huisvesting, betaalbare kinderopvang, vooral voor ‘gebroken gezinnen’ en ongehuwde moeders en ruime mogelijkheden voor onderwijs aan meisjes. Maar ook aandacht voor jongeren die voor het eerst met criminaliteit in aanraking zijn gekomen om hen ervan te weerhouden opnieuw in de fout te gaan.
Dit lost de problemen op de korte termijn niet op. Een groot deel van degenen die de politie in de VS oppakt is verslaafd aan drugs of alcohol en is psychisch ernstig gestoord, kampt met ernstige problemen in de huiselijke omgeving – voor zover aanwezig – en heeft de hoop op een betere toekomst opgegeven. Vanuit dit inzicht heeft de politie in Johnson County in Kansas al jaren geleden hulp ingeroepen van hulpverleners in plaats van arrestanten meteen in de boeien te slaan. Deze aanpak is succesvol gebleken en trok de aandacht van het Witte Huis ten tijde van de regering van Obama. Lynn Overmann, werkzaam als senior-adviseur in het bureau van de chief technology officer is daarom het Data-Driven Justice initiative gestart. De directe aanleiding was dat de gevangenissen overvol zaten met ernstig gestoorde patiënten. Toevallig beschikte Johnson County over een geïntegreerd datasysteem waarin zowel criminaliteitsgegevens als gegevens over gezondheid zijn opgeslagen. In andere steden worden deze bewaard in onvergelijkbare datasilo’s. Samen met het University of Chicago Data Science for Social Good Programwerd met kunstmatige intelligentie een analyse gemaakt van een bestand van 127.000 personen om op basis van historische gegevens te achterhalen wie van de betrokkenen de komende maand de grootste kans had om te worden gearresteerd. Dit niet met de bedoeling om met voorspellende technieken een arrestatie te bespoedigen, maar om hen in plaats daarvan gerichte hulpverlening te bieden. Dit programma werd in een reeks steden opgepakt en in Miami leidde het tot 40% minder arrestaties en het sluiten van een gevangenis.
Wat leert dit voorbeeld? De opkomst van kunstmatige intelligentie deed Chris Anderson, hoofdredacteur van het tijdschrift Wire, uitroepen dat deze het einde van de theorie betekent. Hij kon niet meer ongelijk hebben! Theorie is nooit weggeweest, hooguit verdwenen uit het bewustzijn van degenen die met kunstmatige intelligentie werken. Ben Green drukt het kernachtig uit. The assumption is: we predicted crime here and you send in police. But what if you used data and sent in resources? (The smart enough city, p. 78).
Waar het om gaat is de vervanging van het dominante paradigma van het opsporen, berechten en opsluiten van criminelen door het paradigma van het tijdig vinden van potentiële daders en hen de hulp te geven die ze nodig hebben. Dat is nog goedkoper ook, zo blijkt. De noodzaak van het gebruik van kunstmatige intelligentie wordt er niet minder om, maar de training van de computers, inclusief de samenstelling van de trainingssets verandert wezenlijk. Aanbevolen wordt daarom om divers samengestelde teams zo’n trainingsprogramma te laten ontwerpen op basis van wetenschappelijk gefundeerde zienswijzen op het onderliggende probleem en deze taak niet bij de politie zelf te beleggen.
Dit artikel is een beknopte versie van een eerder artikel: De veilige stad[16] (september 2019), aangevuld met gegevens uit hoofdstuk 4 Machine learning’s social and political foundations uit het boek The smart enough city van Ben Green (2020).
[1] https://www.technologyreview.com/2021/10/22/1037179/ai-reinventing-computers/?truid=&utm_source=the_download&utm_medium=email&utm_campaign=the_download.unpaid.engagement&utm_term=&utm_content=10-27-2021&mc_cid=fb6d84b8ae&mc_eid=fdb8891aed
[2] https://www.verdict.co.uk/ethnic-data-bias/
[3] https://www.dropbox.com/s/qom95p4hwph1cie/Rathenau-Opwaarderen.pdf?dl=0
[4] https://www.dropbox.com/s/hdx3gwjx1rni3on/Rathenau-grip_op_algoritmische_besluitvorming_overheid_Rathenau_Instituut.pdf?dl=0
[5] https://medium.com/@avivash/what-drives-police-to-abuse-power-3d0ec6b4ecf5
[6] https://medium.com/@avivash/what-drives-police-to-abuse-power-3d0ec6b4ecf5
[7] https://en.wikipedia.org/wiki/Police_surveillance_in_New_York_City#Governance_/_Policy
[8] https://web.archive.org/web/20190608190638/https://www1.nyc.gov/assets/adstaskforce/downloads/pdf/ADS-Public-Forum-Comments-NAACP-LDF.pdf
[9] http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
[10] https://www.sfchronicle.com/politics/article/San-Francisco-bans-city-use-of-facial-recognition-13845370.php?psid=4m7j0
[11] http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
[12] https://standards.ieee.org/content/dam/ieee-standards/standards/web/documents/other/ead1e.pdf?utm_medium=undefined&utm_source=undefined&utm_campaign=undefined&utm_content=undefined&utm_term=undefined
[13] https://www.bocsar.nsw.gov.au/Documents/CJB/cjb54.pdf
[14] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3969807/
[15] https://medium.com/@bikomandelagray/when-poverty-becomes-criminality-4c712ac1334e
[16] https://hmjvandenbosch.com/2019/09/
Project 'De humane ruimte' 