De term ‘smart city’ duikt massaal op in verkiezingsprogramma’s. Slimme lantaarnpalen, social media meldkamers en zelflerende algoritmen beloven openbare ruimten efficiënter, groener en veiliger te maken. Mooie beloften maar moeten we ze ook geloven?
‘Living labs’ en ‘innovation hubs’ transformeren gemeenten in zelflerende computersystemen die doorlopend gevoed moeten worden met onze data. Terwijl we ons druk maken over randvoorwaarden zoals privacy, worden nergens de smart city-systemen zelf in twijfel getrokken.
Een smart city functioneert op basis van voorspellende algoritmen die beslissingen nemen. Deze algoritmen zijn niet transparant, kunnen verkeerde verbanden leggen en menselijke vooroordelen op grote schaal verspreiden. Steeds meer onderzoekers waarschuwen voor een blackbox-samenleving waar niemand meer weet op welke manier algoritmen besluiten nemen en op basis van welke data.
Om de samenleving daadwerkelijk veiliger en groener te maken, moeten we kritischer nadenken over de beslissingen die we aan algoritmen willen uitbesteden, voordat grote techbedrijven met uitsluitend een commercieel belang hiermee aan de haal gaan. Niet alleen in Toronto, maar ook in Nederland worden mensen steeds meer gereduceerd tot datamachines die door algoritmen worden aangepast aan de winstgevende datahandel van techbedrijven en economisch rendement van overheden.
Algoritmen bevatten vooroordelen en morele aannames
In de drukste uitgaansstraat van Eindhoven werkt de gemeente sinds 2014 met de politie en een aantal techbedrijven aan Stratumseind 2.0. Om de veiligheid te vergroten hangen overal slimme camera’s en sensoren die afwijkende bewegingen en geluiden registreren. Statistieken houden bij hoeveel bier er wordt geschonken, hoeveel afval er op straat ligt en waar de meeste auto’s geparkeerd staan. Ook social media-berichten worden gescreend: als het woord Stratumseind op Twitter verschijnt, wordt de tekst automatisch gecategoriseerd als ‘neutraal’, ‘positief’ of ‘negatief’.
Vervolgens wordt met alle verzamelde data en algoritmen bepaald of het risico op vechtpartijen is verhoogd. Maar hoe maakt het algoritme onderscheid tussen een schreeuwende agressor en iemand die schreeuwt omdat hij iemand kwijt is? En wie bepaalt wat het algoritme moet categoriseren als ‘afwijkende’ beweging of ‘negatief’ Twitterbericht?
Door menselijk gedrag te reduceren tot simpele ‘als dit, dan dat’-scripts en alleen het meetbare prioriteit te geven, verliezen we menselijke waarden en onderlinge verschillen uit het oog. Een van de grootste misverstanden over algoritmen is dat ze neutraal zijn en daardoor rechtvaardige beslissingen nemen. Met deze mythe rekent vooraanstaand wiskundige Cathy O’Neil af in haar bestseller Weapons of Math Destruction.
De kern van haar boodschap is dat algoritmen vooroordelen en morele aannames bevatten waar we ons onvoldoende van bewust zijn. Algoritmen zijn meningen verstopt in code die de suggestie wekken nauwkeurige en objectieve beslissingen te nemen. Ze kunnen een destructief effect hebben op de samenleving doordat ze ongelijkheid, vooroordelen en stereotypen vastleggen in systemen en op grote schaal verspreiden. Een voorbeeld is een algoritme dat op basis van risicoscores berekent hoe groot de kans is dat iemand terugvalt in crimineel gedrag. Met deze scores bepalen Amerikaanse rechters de lengte van gevangenisstraffen. Het algoritme blijkt voor niet-witte mensen stelselmatig een te hoog recidiverisico te berekenen. Niet omdat zij vaker terugvallen, maar omdat zij vaker staande worden gehouden, wat door het algoritme als recidive-indicator wordt meegenomen.
Wat we met auto’s doen kan vast ook met mensen
Nu we met algoritmen steeds meer complexe problemen als kwantificeerbaar beschouwen, slaat de hoogmoed toe. Zo wordt al nagedacht over algoritmen die zelfstandig een hele stad besturen. Volgens smart city-platform Future City Foundation staan we nog maar aan het begin en zal de smart city veranderen in een predictive city.
Een voorbeeld is het verkeer: algoritmen kunnen gegevens over weersomstandigheden, datum en andere factoren meewegen waardoor zij op voorhand verkeersstromen kunnen bijsturen. Wat we met auto’s doen, kan vast ook met mensen, is de verwachting. Als we onze buurten volhangen met sensoren, camera’s en smart meters kunnen ontwikkelaars zelflerende algoritmen bouwen die ons gedrag voorspelen en bijsturen.
Democratie of algocratie?
Voor het zover komt moeten we nadenken over de vraag welke beslissingen algoritmen voor ons mogen maken. In het beste geval wordt dit in samenspraak met burgers uitgedacht, maar in de praktijk worden deze keuzes vaak overgelaten aan softwareontwikkelaars die zich onvoldoende bewust zijn van de morele waarden die zij indirect in hun algoritmen bouwen.
Het gebrek aan bewustzijn komt niet alleen voort uit de mythe dat algoritmen neutraal zijn, maar ook uit een gebrek aan voorstellingsvermogen over hoe algoritmen in de praktijk gaan werken. Voorspellende algoritmen moeten rekening houden met verschillende variabelen, maar wie bepaalt welke variabelen relevant zijn en hoe deze te wegen?
Algoritmen zijn gericht op efficiënte uitkomsten maar vanuit maatschappelijk en cultureel oogpunt zijn dat niet altijd de meest wenselijke uitkomsten. Ontwikkelaars houden daar geen rekening mee omdat zij weinig kennis hebben over menselijk gedrag en het functioneren van de stad. Bestuurders die daar wel verstand van hebben weten op hun beurt weer niet hoe algoritmen werken en wat de valkuilen zijn.
Zo blijkt uit onderzoek van de Kafkabrigade dat algoritmische besluiten kunnen leiden tot allerlei onbedoelde gevolgen waardoor burgers ten onrechte kunnen worden uitgesloten van overheidsdiensten.
Vandaag mogen we kiezen welke partijen de komende jaren aan de knoppen van onze gemeenten draaien. We moeten ervoor waken dat er straks geen knoppen meer zijn om aan te draaien omdat de smart city-computer aan zijn eigen knoppen draait. Willen we onze gemeente verruilen voor een algocratie waar alleen nog computeralgoritmen de dienst uitmaken?
Siri Beerends is als cultuursocioloog werkzaam bij SETUP. Komend jaar ontwikkelt het Utrechtse MediaLab in samenwerking met artificiële intelligentie experts, vormgevers en kunstenaars Civil Weapons of Math Retaliation. Deze moeten de morele implicaties van algoritmische besluitvorming inzichtelijk maken en de macht van moraliserende algoritmen eerlijker verdelen. Zodat burgers niet alleen in bezwaar kunnen gaan tegen een besluit van een algoritme, maar deze ook kunnen inzetten voor hun eigen empowerment.
Foto: chuttersnap on Unsplash