Sterft de mensheid uit door AI? ‘Dat is sciencefiction’

Otto Barten zag in 2014 een TED talk die zijn wereldbeeld danig beïnvloedde. „Het was een lezing van de Zweedse futurist Anders Sandberg”, aldus Barten. „Daarin heeft Sandberg het over de toekomst van de mensheid. Een kernbegrip is ‘existential risk’: het risico dat de mensheid uitsterft, bijvoorbeeld door kunstmatige intelligentie die zich tegen de mens keert.”

De lezing, Humanity on the Edge of Extinction, was voor Barten een eye-opener. „Tot mijn verbazing was er helemaal geen maatschappelijk debat over dit onderwerp.” Daarom besloot hij in 2021 het Existential Risk Observatory op te richten, een Nederlandse ngo die aandacht vraagt voor het risico op het uitsterven van de mensheid door toekomstige AI (artificial intelligence, kunstmatige intelligentie). Dat doet Existential Risk Observatory onder meer door media-optredens, opiniestukken en het organiseren van debatten.

Existential Risk Observatory is ook nauw betrokken bij de petitie Control AI die deze maand door een groot aantal prominenten ondertekend werd. Onder hen (ex-)politici zoals Lodewijk Asscher, Boris van der Ham, Klaas Dijkhoff en Gert-Jan Segers. Maar ook schrijvers en opiniemakers zoals Maxim Februari, Rutger Bregman, Bas Heijne en Sander Schimmelpenninck.

„De opkomst van AI biedt kansen, maar brengt ook enorme risico’s met zich mee”, zo begint de tekst van de petitie. „Daarom doen wij een oproep aan de Nederlandse politiek: neem controle over ontwikkeling van AI. Zorg dat de mens bepaalt hoe een toekomst met AI eruitziet. Niet andersom.”

Veelbesproken open brief

In het rijtje „Initiatiefnemers” prijkt naast Bartens naam die van Ruben Dieleman, campagneleider van Existential Risk Observatory. De term ‘existentieel risico’ komt twee keer voor in de petitie, en dat was voor Marleen Stikker, techfilosoof en directeur van Waag Futurelab, de reden om haar niet te ondertekenen.

„Ik ben het met 80 procent eens, maar heb toch niet getekend, vanwege de term existentieel risico. Dat lijkt een onschuldig begrip, maar als je goed kijkt, zie je dat de petitie doorlinkt naar een website, pauseai.info. En daar zie je hoe het wordt uitgewerkt. Dit gaat over het uitsterven van de mensheid door AI in de toekomst. Daar is geen enkel wetenschappelijk bewijs voor. Je kunt het niet uitsluiten, maar dat geldt ook voor de verschrikkelijke sneeuwman. En het leidt af van concrete problemen in het heden zoals desinformatie en discriminatie door AI. Ik wil praten over mensenrechten, democratie en zelfbeschikking. Niet over het uitsterven van de menselijke soort.”

De website pauseai.info is opgericht door Joep Meindertsma, mede-initiatiefnemer van de petitie Control AI. Hier wordt de term ‘extinction’, anders dan in de petitie, expliciet genoemd. „We lopen het gevaar dat de mens uitsterft”, staat er, gevolgd door de oproep te stoppen met de ontwikkeling van „alle systemen die krachtiger zijn dan GPT-4 [de nieuwste versie van ChatGPT]”. Dat is precies waartoe ook de veelbesproken open brief eind maart van Future of Life Institute toe opriep, die onder meer door Elon Musk ondertekend werd. De oproep telde 23 woorden: „We roepen alle AI-labs op om voor een periode van ten minste zes maanden met onmiddellijke ingang de ontwikkeling van AI-systemen te pauzeren die krachtiger zijn dan GPT-4.”

Op 30 mei volgde een statement van 22 woorden van het Centre of AI Safety: „Het beperken van het risico van uitsterven door AI zou een wereldwijde prioriteit moeten zijn naast andere grote maatschappelijke risico’s als pandemieën en nucleaire oorlog.” De verklaring werd door vele AI-wetenschappers ondertekend, alsmede door prominenten uit de techindustrie zoals ceo Sam Altman van OpenAI, de maker van ChatGPT en beeldgenerator DALLE.

‘Sciencefiction script’

De Nederlandse petitie is anders: het is een oproep aan de Nederlandse politiek om de controle over AI niet langer aan de techindustrie over te laten, maar in eigen handen te nemen: „Neem een leidende rol in Europa en voer via EU-wetgeving hoogstaande regulering van AI-toepassingen door”, zo luidt de tekst.

Ook zou elk ministerie moeten onderzoeken „op welke gebieden AI fundamentele invloed zal uitoefenen” en in kaart moeten brengen „waar extra regelgeving nodig is om die invloed in goede banen te leiden”. Tevens wordt méér onderzoek naar de gevaren van AI bepleit, door het creëren van „300 voltijdsonderzoeksposities op de vakgebieden AI Safety, AI en rechtsstaat en existentieel risico”.

Wat verstaat Barten onder ‘existentieel risico’? „Existentieel risico gaat erover dat het voortbestaan van de mensheid op het spel staat. Het kan betekenen uitsterven, het ineenstorten van de beschaving of permanente dystopie. Maar kans op menselijk uitsterven is veel groter dan de kans op die andere twee scenario’s. Tussen existential risk en extinction zit wat mij betreft weinig lucht.”

Trouw-columnist en informaticus Ilyaz Nasrullah werd benaderd, maar weigerde de petitie te ondertekenen. „Die petitie valt eigenlijk uiteen in twee stukken. Enerzijds de toekomstige problemen op de korte termijn, anderzijds de existentiële risico’s. Ook ik ben bezorgd over de maatschappelijke problemen die ontstaan nu de techindustrie onaffe AI op de markt gooit. Maar er is geen technologisch pad naar AI dat een existentieel risico vormt voor de mensheid. Dat is een sciencefiction script.”

Het Existential Risk Observatory is gelieerd aan de beweging van effective altruism, zegt Nasrullah. „Die stellen zich de vraag: hoe kun je maximaal goed doen? En dan komen ze op het voorkomen van de uitroeiing van de mens, het hoogste denkbare goede doel.”

In 2021 presenteerde Barten zijn ngo op de website van effective altruism. Vooralsnog was Existential Risk Observatory ‘self-funded’, schreef hij destijds. „Inmiddels hebben we 3 fte, ik ben er een van”, zegt hij nu. „Dus ik werk fulltime voor Existential Risk Observatory. We worden deels gefinancierd door Maurice Schuurmans, een Nederlandse techmiljardair.”

Schaakpartij

Op de site van Existential Risk Observatory wordt „unaligned AI” als voornaamste risico aangemerkt: AI die niet doet wat de mens wil. Het risico op uitsterven daardoor in de komende 100 jaar is 10 procent, blijkt volgens Existential Risk Observatory uit onderzoek. Daarbij wordt verwezen naar een boek van Toby Ord, een van de grondleggers van effective altruism. Hij publiceerde in 2021 het boek The Precipice: Existential Risk and the Future of Humanity en is verbonden aan het Future of Humanity Institute in Oxford, dat onder meer door Elon Musk gefinancierd wordt.

Barten erkent dat zijn ngo gelieerd is aan de beweging van effective altruism. „Het verschil is: zij kijken vooral naar de technische oplossing. Hoe kun je zorgen dat AI blijft doen wat we als mensen willen? Wij willen vooral het maatschappelijke debat over existentieel risico aanzwengelen en willen dat er onafhankelijk wetenschappelijk onderzoek naar het onderwerp komt.”

De grote vraag is volgens Barten: wat gebeurt er als er AGI komt, Artificial General Intelligence, een vorm van AI die slimmer is dan de mens ? „Daar is nog weinig over nagedacht. Wij vinden net als organisaties zoals Waag Futurelab dat we de huidige AI kritisch moeten volgen, maar denken ook: wie controleert de toekomstige superintelligentie ?”

We weten niet hoe krachtig de AI van de toekomst zal zijn en of we die nog wel kunnen controleren, zegt Barten. „Een AI-systeem als ChatGPT blijft nu nog op de server waar we hem op hebben gezet. Maar in de toekomst kan AI zichzelf toegang gaan verschaffen tot andere locaties. Het kan banken gaan hacken, vliegtuigen of zelfs kernwapens. Ik zeg niet dat alle AI-systemen dat gaan doen, maar ook als het er maar een paar zijn, is het levensgevaarlijk.”

Een strijd tegen een AI-systeem dat slimmer is dan de mens kunnen we niet winnen, meent Barten. Hij vergelijkt het met een schaakpartij tegen een grootmeester als Magnus Carlsen. „Ik weet niet wat hij gaat doen, wat zijn volgende zet zal zijn, maar wel dat ik zal verliezen.”

Waar Stikker en Nasrullah het scenario van uitroeiing onwetenschappelijk noemen, verwijst Barten naar de AI-wetenschappers die eind mei de extinction-petitie van het Centre for AI Safety ondertekenden. „262 leidende AI-wetenschappers vinden dat risico kennelijk reëel. En inmiddels hebben ook VN-baas Guterres, het Witte Huis en de Britse premier Sunak het existentiële risico van AI erkend.”

Nasrullah ziet hierin vooral een succesvolle strategie van de techindustrie. „Je ziet echt een brede weigering bij alle organisaties die zich bezighouden met technologie en mensenrechten om dit soort petities te tekenen. In onze wereld kennen we de lobby van Existential Risk Observatory en effective altruists al veel langer. Er zit een lobby achter van de techindustrie om het gesprek over de gevaren van AI in het heden te ontlopen door de aandacht te verleggen naar de risico’s van een toekomstige superintelligentie.”

‘Kampenstrijd’

Nasrullah is niet de enige die er zo naar kijkt. Techtijdschrift MIT Technology Review wijdde er deze week een artikel aan: How existential risk became the biggest meme in AI. De strekking: techbedrijven verplaatsen de bezorgdheid over AI graag naar de verre toekomst, waarin hun huidige belangen niet in het geding zijn. „Als we praten over de verre toekomst, als we praten over mythologische risico’s, dan herformuleren we het probleem als een probleem dat bestaat in een fantasiewereld en de oplossingen kunnen dan ook alleen maar bestaan in die fantasiewereld ”, zegt Meredith Whittaker, oprichter van research-lab AI Now Institute, in het artikel. Met andere woorden : x-risk, zoals existentieel risico kortweg genoemd wordt, is een bliksemafleider die Big Tech gebruikt om aan regulering in het heden te ontsnappen.

Vindt Barten niet dat zijn verhaal afleidt van problemen met AI in het heden? „Nee, ik vind dat er plaats is om over beide te hebben. Ook over de actuele problemen zoals vooroordelen, discriminatie, dreigende werkloosheid, ongelijkheid, machtsconcentratie, desinformatie. Daar zijn wij ook bezorgd over. Daarom steunen we de EU AI Act en alleen al daaruit blijkt dat we geen verlengstuk van Big Tech zijn, want zij vinden de Europese regels te streng. Maar daarnaast willen we ook aandacht genereren voor AI-risico’s van de toekomst.”

Ook oud-Kamerlid Kees Verhoeven en voormalig VVD-campagnestrateeg Mark Thiessen behoren tot de initiatiefnemers van de petitie. „We hebben gesproken over de tekst”, zegt Stikker. „Zij zijn vooral bezorgd over de problemen in het nu, maar wilden ook de clubs van x-risk aan boord houden.”

Het gevolg daarvan is wel dat veel organisaties die zich bezighouden met technologie en mensenrechten zoals Bits of Freedom, Amnesty en Waag Futurelab de petitie niet ondertekend hebben. Verhoeven vindt dat jammer. „Er is een kampenstrijd ontstaan waar ik me geen onderdeel van voel”, aldus Verhoeven. „Mark Thiessen en ik zijn vooral bezorgd over actuele AI-problemen. Maar het leek ons prima zoveel mogelijk verschillende risico’s te benoemen. Wat de verschrikkelijke sneeuwman betreft: die leidt niet tot problemen in het heden. Dat doet AI wel. Dus die vergelijking gaat niet op.”

Hij is niet speciaal bezorgd over ‘existentieel risico’, zegt Verhoeven. „Maar ik kan het niet uitsluiten. We weten toch niet hoe AI zich zal ontwikkelen? Wat mij betreft kunnen verschillende zorgen naast elkaar staan. Ik vond: iedereen mag aansluiten.”

Essayist Maxim Februari, die veel schrijft over AI, besloot de petitie wél te ondertekenen. „Ik zou op zich liever de actuele problemen nuchter bespreken, zoals de gevolgen van AI voor het recht. Ik denk dat iedereen het verschillend gewogen heeft. Marleen Stikker en ik liggen niet ver uiteen. Maar het gaat erom: hoe krijg je het op de politieke agenda? Existentieel risico is niet iets waar ik me mee bezighoud. En ik zie ook de bezwaren. Maar dit wérkt kennelijk wel. Pers en politiek zijn nu eindelijk wakker geschud.”

Lees ook NRC praat je bij over kunstmatige intelligentie