Lacie Pound is een ambitieuze en hard werkende dertiger die behoorlijk houdt van pastelkleurige kleding. Nageltjes altijd keurig gelakt, haren strak naar achter gekamd, beetje te veel make-up. Ze is op en top Amerikaans: tegen iedereen om haar heen beleefd en aardig, maar altijd nét een beetje nep. (‘Hi! How are YOU today?’)
Lacie is de hoofdpersoon in een aflevering van de Netflix-serie Black Mirror. Ze woont in een fictieve wereld in de nabije toekomst waar iedereen gebruik maakt van een systeem dat een beetje het midden houdt tussen Instagram, Uber en TripAdvisor. Collega’s, vrienden, voorbijgangers: iedereen geeft elkaar met dit systeem een rating. Het beoordelingssysteem werkt via de smartphones van de inwoners, en via een soort slimme contactlenzen waarop iedereen elkaars gemiddelde beoordeling kan zien. Lacie heeft een gemiddelde score van 4,2: best oké, maar niet top.
In de fictieve wereld van Black Mirror beïnvloedt die score niet alleen iemands sociale klasse, maar wordt die ook gebruikt om te bepalen welke mensen er in bepaalde wijken mogen wonen, of ze vliegreizen kunnen boeken en welke banen er beschikbaar zijn. Dan komt er een geschenk uit de hemel voor Lacie, althans zo lijkt het. Een vriendin van vroeger, Naomi, vraagt haar om getuige te zijn op haar huwelijk en daar een speech te houden. Lacie kan haar geluk niet op, want Naomi ‘is’ een 4,8.
De hoogblonde Naomi wijst Lacie constant op de enorme verantwoordelijkheid die ze voor het huwelijk heeft. Ze post bovendien de hele tijd berichten op haar profiel waarop ze in ingewikkelde yogaposes gevouwen, borsten lekker omhoog geduwd, lippen getuit supergezonde en picture perfect bakjes yoghurt met granola en rode bessen zit te eten. Ze woont op een idyllisch privé-eiland waar ze een constante stroom foto’s van romantische zonsondergangen met haar aanstaande man (lang, donker en knap natuurlijk) deelt met iedereen die het maar wil weten. Hashtag #nofilter.
Lacie wordt daar niet bepaald rustiger van, en door de stress heeft ze een paar vervelende ontmoetingen met vreemden, collega’s en verkopers in winkels. Niks ernstigs, maar genoeg voor een aantal slechte beoordelingen, waardoor haar rating langzaam wegzakt tot onder de 4,2. Ze moet haar vlucht halen om naar de bruiloft van Naomi te komen, maar heeft vertraging onderweg waardoor ze de vlucht mist. Dit zorgt natuurlijk voor nog meer onrust, vooral als ze erachter komt dat ze bij haar luchtvaartmaatschappij minstens een 4,2 nodig heeft om op de volgende vlucht te mogen. De frustratie bereikt een kookpunt en ze maakt ruzie met de baliemedewerker. De beveiliging moet erbij komen, en ze krijgt nu zelfs strafpunten opgelegd waardoor haar rating steeds verder daalt, ze steeds zenuwachtiger raakt en alleen nog maar meer slechte ratings krijgt.
Uiteindelijk stort Lacie helemaal in, en reist ze al liftend naar de bruiloft (al het andere openbaar vervoer komt ze niet meer in door haar lage rating) om daar de boel te verstoren met een emotionele speech, haar mascara totaal uitgelopen en haar haar als een vogelnest op haar hoofd. Als de bruidegom de microfoon uit haar handen wil pakken, bedreigt ze hem met een mes. Haar score blijft kelderen. Lacie raakt volledig buiten zinnen en eindigt in de gevangenis. Ze bezwijkt onder de druk van het sociale-ratingsysteem. Black Mirror is sciencefiction, natuurlijk. Maar gaat het systeem uit de serie nou echt heel veel verder dan in het echt?
Kijk bijvoorbeeld naar het grootste bouwproject op dit moment in New York. De skeletten van de wolkenkrabbers in Hudson Yards, in het westen van Manhattan, zien er op het eerste gezicht niet anders uit dan de vele andere in de stad: veel blootliggend staal, enorme hijskranen en wegafzettingen. Maar hier wordt geen gewone wijk gebouwd. ‘We gaan met sensoren op elke hoek de luchtkwaliteit meten’, zegt Constantine Kontokosta, een van de directeuren van het project. ‘We gaan ook temperatuur, lichtniveaus en lawaai constant in kaart brengen.’
Hij doet er bij cusp, een instituut van New York University, onderzoek naar; de gegevens wil hij combineren met data van gemeentelijke klachtenlijnen, de sociale dienst, mogelijk ook energiebedrijven. Bovendien willen ze berichten op sociale media van bewoners monitoren om hun sentiment te meten, en locatiedata van hun mobiele telefoons bijhouden via wifinetwerken zodat ze kunnen zien hoe ze door de buurt bewegen.
Hudson Yards moet de eerste quantified community van de wereld worden: een wijk waar alles en iedereen op elk moment van de dag gemonitord wordt. De eerste bewoners trekken er inmiddels al in. ‘Voor het eerst kunnen we in real time een wijk analyseren’, zegt Kontokosta trots. Met de data kan het gemeentebestuur bijvoorbeeld snel ingrijpen bij geluidsoverlast, of meten wat het effect is van bepaalde beleidsmaatregelen.
Op termijn wil Kontokosta ook gegevens over lichaamsbeweging, gezondheid en gewicht van de wijkbewoners verzamelen, bijvoorbeeld met data uit smartphones of wearables zoals polsbandjes. ‘Geheel vrijwillig natuurlijk.’ En alle data worden geanonimiseerd opgeslagen, zo bezweert hij. Hudson Yards wordt een van de duurste buurten van de stad; de ontwikkelaars verwachten dat er veel vraag is naar zo’n gekwantificeerd leven in een big data-wijk.
Big data worden door andere overheden en bedrijven inmiddels ook gebruikt om sollicitanten te selecteren, verzekerden te beoordelen, aanslagen te voorkomen en politieke campagnes op af te stemmen. Als een algoritme een oordeel velt, zal het wel gebaseerd zijn op een kloppende berekening en neutrale feiten, wordt vaak gedacht. Maar die aanname is ronduit gevaarlijk, betoogt Harvard-wiskundige Cathy O’Neil in haar boek Weapons of Math Destruction. Neem haar voorbeeld van een Amerikaanse autoverzekeraar die op basis van kredietscores (inschattingen van iemands kredietwaardigheid) probeert te voorspellen hoeveel kans iemand heeft op een ongeluk, en daarop de hoogte van de premie baseert. In die kredietscores wordt de postcode verwerkt. En in postcodes zit, zeker in steden met ‘zwarte’ en ‘witte’ wijken, mogelijk ook informatie over huidskleur verwerkt. Huidskleur mag wettelijk niet worden meegewogen in het bepalen van premies, maar door het te verstoppen in algoritmes gebeurt dat via een omweg toch.
O’Neil waarschuwt dat door dit soort ondoorzichtige algoritmes discriminatie zal toenemen, economische ongelijkheid zal groeien en zelfs dat de democratie gevaar loopt. Want ook overheden gebruiken in toenemende mate algoritmes en datamodellen om beslissingen te nemen. ‘Het is zeer de vraag of we met big data de menselijke vooroordelen elimineren, of juist camoufleren met nieuwe technologie’, aldus O’Neil.
Nog een voorbeeld: in de VS, net als in Nederland, maakt de politie gebruik van big data om te bepalen waar ze moeten patrouilleren. Ook in dat soort technologieën (predictive policing genoemd) zitten mogelijk vooroordelen verstopt, die zichzelf bovendien versterken: als bepaalde wijken vaker worden gecontroleerd, stijgt daar het aantal staandehoudingen, al was het maar vanwege identificatieplicht. Omdat die staandehoudingen op zichzelf ook weer in veel modellen meewegen, gaan de agenten nog vaker patrouilleren, waardoor er een vicieuze cirkel ontstaat.
In westerse landen gaan overheden, aangespoord door databedrijven als Palantir en ibm, al ver met dataverzameling en algoritmische politie- en veiligheidsdiensten, maar in Azië, en vooral in Singapore, gaat het nog veel verder. Sinds 2009 heeft deze staat een uitgebreid systeem van dataverzameling opgetuigd, onder de naam Smart Nation. De Singaporese overheid verzamelt en analyseert data uit sensoren op straat, camera’s met gezichtsherkenning, sociale media en smartphones. Twee overheidsinstanties met orwelliaanse namen, het Risk Assessment and Horizon Scanning-programma (rahs) en het Centre for Strategic Futures, analyseren die data.
Om een beetje beter te begrijpen wat voor soort land Singapore is: technologietijdschrift Wired noemde het ooit ‘Disneyland met de doodstraf’, en dat is precies het gevoel dat je krijgt als je er rondloopt. Het is een supergoed georganiseerde en zeer welvarende stadstaat waarin de stad naadloos overloopt in een pretparkachtig strand in het zuiden en een gigantische dierentuin in het noorden. Straten zijn er blinkend schoon, mensen wachten keurig in de rij voor alles. Het land wordt al sinds 1959 met strakke hand bestuurd door de People’s Action Party, met een unieke mix van kapitalisme en strikte staatscontrole van burgers. Kauwgom kauwen is er verboden, als je wordt betrapt op water drinken in de trein of afval gooien op straat krijg je een boete van honderden euro’s.
En dat land loopt dus nu voorop als smart nation. Eén project van het rahs draait om het meten van het niveau van ‘nostalgische gevoelens’ onder de inwoners. Een groeiende groep Singaporezen verlangt terug naar de tijd waarin Singapore nog een veel rustiger stadstaat was zonder alle immigranten en grote bedrijven die er nu zitten. Sommige Singaporezen nemen daarom initiatieven voor meer parken in de stad, en spreken zich over hun onvrede uit op sociale media. ‘Maar nostalgie kan ook lelijke trekken krijgen’, volgens een rapport van het rahs uit 2014. ‘Het kan ontaarden in het afwijzen van de huidige situatie, en een isolerend nationalisme aanwakkeren. We verkennen mogelijkheden om deze nostalgie te kanaliseren op een manier die meer vooruitkijkt.’ De Singaporese overheid wil data over bewoners gebruiken om bepaalde sentimenten te meten, en te sturen. Technologie wordt op die manier door de overheid gebruikt om de grip op het persoonlijke leven van mensen te versterken.
Hoe het ‘kanaliseren’ van gedrag eruit kan zien blijkt verderop in Azië: in China. Eind 2015 lanceerde de communistische partij in dat land een uitgebreid systeem om met behulp van data de gehoorzaamheid van burgers aan het regime te stimuleren: sesame credits. Op basis van onder meer data over gedrag op sociale media en aankopen op websites krijgen burgers een ‘sociale kredietscore’ toegekend. Als je aankopen doet die passen bij de politieke lijn van de Partij, zoals werkschoenen of lokaal geproduceerde landbouwproducten, gaat je score omhoog. Als je stoute anime-stripboeken uit Japan koopt, daalt je score. Als je beelden op sociale media post van de protesten op het Plein van de Hemelse Vrede of al te kritisch bent op de ineenstorting van de aandelenbeurzen gaat je sesame credit omlaag. Maar wie een linkje deelt van het staatspersbureau over hoe goed het gaat met de economie krijgt bonuspunten.
Met sesame credits kunnen Chinezen makkelijker leningen afsluiten en krijgen ze sneller toegang tot overheidsdiensten. Volgens mediaberichten rondom de lancering van de kredietpunten overweegt de overheid ook negatieve maatregelen tegen mensen die zich online niet zo gedragen als de Partij wil, zoals lagere internetsnelheden voor mensen met een lage score of het uitsluiten van ongehoorzame burgers van bepaalde overheidsbanen. Het project is nu nog in de testfase, maar moet landelijk worden ingevoerd. De Chinese overheid werkt zo aan een supercomputer voor burgerlijke gehoorzaamheid. Black Mirror, iemand?
Ook wat dichter bij huis gebeuren al behoorlijk enge dingen wat betreft controle van burgers via de mobiel. Tijdens een protest in 2014 op het Maidan-plein in Kiev, de hoofdstad van Oekraïne, kregen demonstranten plots een sms: ‘Beste abonnee, u bent geregistreerd als deelnemer in een massale rel.’ En laten we ook vooral niet vergeten dat in Nederland door de nieuwe wet op de inlichtingendiensten die onlangs werd aangenomen overheden veel meer bevoegdheden krijgen om burgers af te tappen en rond te neuzen in hun privé-berichten.
Mede door ons massale gebruik van smartphones krijgen overheden en machtige bedrijven potentieel een ongekende hoeveelheid gegevens tot hun beschikking over burgers. Daarmee krijgen ze instrumenten in handen om hen op ingrijpende manieren te sturen, monitoren en manipuleren. Daarvoor waarschuwt ook Dirk Helbing, hoogleraar computationele sociologie aan de TU Delft en de Zwitserse eth in Zürich. Volgens Helbing leiden big data tot een nieuw soort totalitaire samenleving. ‘Ik ben zeer bezorgd. We komen steeds meer in een grote systeemcrisis terecht. Ik vrees op korte termijn misschien zelfs oorlog als bedrijven en overheden zo doorgaan als nu.’
Dat zijn grote woorden. Die zijn dan ook een handelsmerk van Helbing – naast zijn glimmende pakken en knalroze dassen. Hij neemt in het Duitse publieke debat over technologie vaker standpunten in die behoorlijk heftig klinken. Misbruik van big data en overheidssurveillance noemt hij bijvoorbeeld vaak ‘fascisme 2.0’. Hij publiceerde er onder meer over in Nature.
Waar komt Helbings zorg vandaan? ‘Bedrijven en overheden hebben de laatste jaren als gekken data verzameld, vanuit het idee dat we de wereld kunnen optimaliseren door ons van bovenaf in de gaten te houden. Maar door mondialisering en digitalisering is de wereld zó complex geworden dat dat helemaal niet kan.’ De misvatting achter massasurveillance en big data is: als je genoeg data hebt, verschijnt de waarheid vanzelf. Topmanagers en politici moeten doen wat de data ze vertellen. Dat is de ideologie die is verspreid door technologiebedrijven. We bouwen volgens Helbing ‘een soort supercomputer die ons vertelt wat we moeten doen. Een nieuw totalitair systeem. Een dictatuur van data.’
In de Verenigde Staten zijn proeven bezig met rechtspraak op basis van data over verdachten. Algoritmes voorspellen daar op basis van die data de kans op recidive, en de rechters baseren daar deels hun oordeel op. Dat is volgens hem een volledig verkeerde aanname over hoe de digitale maatschappij werkt. Die is namelijk veel te ingewikkeld om zomaar in kaart te brengen met het verzamelen en interpreteren van data met feilbare algoritmes en modellen. Wat er gebeurt in de digitale economie: alles en iedereen raakt met elkaar verbonden. Denk aan smartphones, sociale netwerken, slimme infrastructuur, elektriciteitsnetwerken, internet of things. Alles wordt op die manier ook afhankelijk van alles, er ontstaan ontelbare verbindingen: een gebeurtenis aan de ene kant van de wereld kan aan de andere kant razendsnel gevolgen hebben. De wereld wordt één groot netwerk.
Dat maakt de samenleving zo veel complexer dat beheersing van bovenaf door data te verzamelen en daarop beslissingen te baseren een illusie is. ‘We kunnen niet eens de verkeerslichten in een stad volledig optimaliseren, omdat die systemen al te complex zijn. Laat staan dat dat voor een hele maatschappij kan’, zegt Helbing. ‘Het idee dat je hele landen of steden op een goede manier zou kunnen optimaliseren met behulp van big data is absurd, absoluut absurd. Hoeveel data je ook verzamelt, de wereld is toch altijd ingewikkelder, dus ze bieden valse zekerheid.’
Het gevaar voor een grote crisis door deze obsessie met data komt volgens hem door het feit dat elk groot economisch tijdperk zijn eigen succesprincipes heeft. Eerst was er de landbouwmaatschappij, in de negentiende eeuw kwam de industriële samenleving, daarna de diensteneconomie. We zitten nu precies in de overgangsfase naar de digitale economie. Bij een nieuw economisch tijdperk hoort een nieuwe manier om de maatschappij te organiseren, een nieuw besturingssysteem. In de boerensamenleving moest iedereen zelf zien te overleven, in het industriële tijdperk bepaalden ondernemers grotendeels van onderaf, zonder overheidsbemoeienis, wat er gebeurde. Dat systeem leidde wel tot groei, maar er was geen aandacht voor armoede, werkloosheid en milieu.
De dienstenmaatschappij probeerde dat te repareren met regulering, administratie, optimalisatie van bovenaf. Grote internationale organisaties, toezichthouders en uitgebreide ambtenarenapparaten werden opgetuigd. Dat heeft lang goed gewerkt, maar is nu heel snel aan het falen. Want dat van bovenaf beheersen kan wel in een analoge wereld, maar niet meer in de complexe digitale wereld.
Volgens Helbing stemt de geschiedenis van grote systeemtransities niet gerust. De overgangen van boereneconomie naar industriële tijd, en van industriële tijd naar diensteneconomie, hebben geleid tot grote crises, revoluties en oorlogen. Het revolutiejaar 1848 en de maatschappelijke onrust rondom de Eerste Wereldoorlog in 1914 zijn daarvan voorbeelden. ‘Natuurlijk hadden die gebeurtenissen meer oorzaken, maar dat soort grote omwentelingen heeft zijn wortels in grote economische en technologische veranderingen. En we zijn nu op een punt dat we de transitie moeten maken, we moeten een grote stap zetten, anders gaat het weer fout.’ Volgens Helbing maakt de obsessie met big data dat de noodzakelijke transitie wordt tegengewerkt.
En meer denkers over technologie zien big data botsen met fundamentele waarden. Zoals de Israëlische hoogleraar geschiedenis Yuval Harari: hij publiceerde onlangs het boek Homo Deus, waarin hij een nieuwe opkomende ideologie signaleert die op gespannen voet staat met het liberale humanisme dat nu dominant is: het dataïsme. Harari plaatst het opkomende dataïsme in het perspectief van de dominante filosofische stromingen die we de afgelopen duizenden jaren aan ons voorbij hebben zien trekken. Duizenden jaren lang geloofden mensen dat de belangrijkste bron van autoriteit goddelijk was: goden bepaalden wat er gebeurde, goden waren de hoogste wezens en goden beschikten over het lot van mensen. Dat duurde vele millennia, totdat vanaf de Renaissance het humanisme, dat juist de mens centraal stelt, serieuze invloed begon te krijgen.
Een mooie samenvatting van de humanistische waarden is te vinden in het werk van de Franse filosoof Jean-Jacques Rousseau. Die schreef in zijn vertoog Emile in 1762: ‘Ik hoef alleen maar bij mezelf te rade te gaan over wat ik wil doen; over wat ik goed vind, over wat ik slecht vind.’ Vandaar dat liberale maatschappijen zo gericht zijn op individuele keuzevrijheid: wie kan beter bepalen wat goed voor mensen is dan mensen zelf?
Maar volgens Harari is dat aan het veranderen. Want door het geloof in data als ultieme bron van waarheid verschuift de focus van mensen naar technologie als plek waar de autoriteit vandaan moet komen. Als computers met behulp van data-analyse tot betere beslissingen kunnen komen dan mensen betekent dat een enorme verandering in het denken over de rol, de vrijheid en de autonomie van mensen. Als je de wereld ziet als een enorme verzameling data, als je mensen ziet als datapunten in een systeem, en als je constateert dat algoritmes veel nauwkeuriger en sneller oordelen kunnen vellen over die data, dan manoeuvreer je mensen en de vrije wil heel snel in filosofisch opzicht naar de zijlijn.
In smart cities, door smartphones en bij bedrijven als Google, Uber en Facebook zijn mensen al gereduceerd tot een digitaal profiel; een pixel op een enorm scherm waarin de bedrijven en overheden de complete mensheid in real time proberen te monitoren. ‘Ik weet niet precies waar ik in dit systeem precies sta, en ik weet niet hoe mijn data-bits zich verhouden tot de bits van de miljarden andere mensen die in deze supercomputer staan’, aldus Harari. ‘Ik heb ook helemaal geen tijd om dat uit te zoeken omdat ik te druk ben met het beantwoorden van mijn stroom e-mails. Deze niet-aflatende datarivier zorgt voor nieuwe uitvindingen en inzichten die niemand controleert, plant of zelfs ook maar begrijpt.’ Door mensen te reduceren tot datapunten die moeten worden geanalyseerd door een computer maak je hen automatisch voor een belangrijk deel overbodig.
Volgens Harari geloven mensen die dit dataïsme aanhangen dat als je maar genoeg data verzamelt en algoritmes maakt die slim genoeg zijn computers ons uiteindelijk veel beter zullen begrijpen dan we onszelf begrijpen. Die ideologie is inderdaad al behoorlijk zichtbaar bij de grote technologiebedrijven uit Silicon Valley. Neem de aanbevelingen van apps als Netflix: als je House of Cards uit hebt gekeken, zul je Black Mirror ook wel leuk vinden, voorspelt het algoritme op basis van kijkgedrag van miljoenen anderen. En vaak hebben de algoritmes nog gelijk ook.
Maar als we dit soort aanbevelingen al uitbesteden aan algoritmes, wat gaan we dan doen met de echt belangrijke beslissingen? Bijvoorbeeld als het gaat om klimaatverandering: dat is zo’n complex probleem dat mensen er zelf niet in slagen om er een goede oplossing voor te bedenken. Als computers, eventueel geholpen door kunstmatige intelligentie, er wel in slagen om oplossingen te berekenen: wat doen we dan? Het ligt voor de hand dat we die instructies dan gaan opvolgen, maar wat als die instructies tegen de belangen in gaan van een bepaalde groep mensen? Op het moment dat computers beleid gaan maken en beslissingen gaan nemen die nu nog door politici worden genomen, verliezen mensen hun autoriteit en als mensen hun autoriteit verliezen, slaat democratie eigenlijk nergens meer op, waarschuwt Harari. ‘Dan worden verkiezingen net zo overbodig als regendansen.’
Dit soort scenario’s over een einde aan persoonlijke vrijheden, de afschaffing van menselijke autonomie, de opkomst van nieuwe soorten totalitaire regimes en misschien zelfs wel oorlogen door het geloof in data klinken extreem, en misschien zijn ze dat ook wel. Het blijven toekomstvoorspellingen en dus koffiedik kijken. Maar wat echt opvallend is, is dat steeds meer zeer serieus te nemen onderzoekers en denkers met zulke sterke waarschuwingen komen. Technologiebedrijven en techno-optimisten uit Silicon Valley krijgen in toenemende mate kritiek op hun eenzijdige positieve houding tegenover de gevolgen van smartphones, algoritmes en big data. Data en algoritmische voorspellingen zijn handig, maar nooit perfect. Als we deze technologie op grote schaal gaan toepassen is een gezonde dosis (menselijk) gezond verstand op zijn plaats.
Maar het is zeer de vraag of het gezonde verstand de snelheid van veranderingen wel bij kan benen. Terwijl de discussies over de gevaren van blind geloof in data pas net loskomen, gaat het heel hard met smart cities en smart nations. Afgelopen januari presenteerden de Nederlandse grote steden een ambitieuze ‘Smart City Strategie’, waarin vooral dit zinnetje opvalt: ‘De steden willen experimenteerruimte bieden. In “living labs” wordt samengewerkt aan innovaties en stedelijke toepassingen.’ Steden zijn niet meer alleen plekken om fijn te wonen en werken, maar ook laboratoria om proefpersoon te zijn voor precies het soort systeem waar Lacie Pound in Black Mirror genadeloos aan onderdoor gaat.
Dit is een bewerkte tekst uit het boek Is daar iemand: Hoe de smartphone ons leven beheerst, van Wouter van Noort, dat deze week verschijnt bij uitgeverij Thomas Rap. Sommige passages stonden eerder in NRC Handelsblad
