Biden of toch weer Trump: klopt de voorspelling van de Amerikaanse peilingbureaus ditmaal wél?

‘Hillary Clinton heeft 91 procent kans om te winnen’, kopte The New York Times op de ochtend van de Amerikaanse presidentsverkiezingen in 2016. ‘Zelfs een grote fout in de peilingen zal niet meer genoeg zijn voor een overwinning van Trump’, stelde het bijgaande bericht vol zelfvertrouwen.

Oeps. Toen Trump tóch won, verloren media en verkiezingsstatistici over de hele wereld zich in uitgebreide zelfanalyse. ‘Hoe data ons in de steek lieten bij het voorspellen van een verkiezing’, ‘Kunnen de media weer bijkomen van deze verkiezing?’ De koppen waren glashelder: de voorspellingen hadden er vreselijk naast gezeten. 

Spoel door naar nu. Aan de vooravond van de volgende presidentsverkiezingen in de Verenigde Staten, loopt Trump opnieuw achter in de peilingen. Weekblad The Economist noemt het in zijn voorspelling ‘heel waarschijnlijk’ dat Joe Biden de komende verkiezing wint. Hij heeft een kans van grofweg 6 op 7. Fivethirtyeight van datajournalist Nate Silver is iets voorzichtiger, maar noemt Biden eveneens ‘favoriet’ voor de winst, met een nog altijd overtuigende winkans van 77 op 100.

Herhaalt de geschiedenis zich? Winst voor Trump is op basis van de voorspellingen niet uitgesloten, maar dat was vier jaar terug ook al het geval, schrijft Silver in een analyse. ‘We denken dat ons model het goed heeft gedaan in 2016. Hoewel het Hillary Clinton als favoriet noemde, kreeg Donald Trump zo’n 30 procent kans op winst.’

Dat klinkt misschien niet als veel, maar is het wel, zegt verkiezingsstatisticus Tom Louwerse (Universiteit Leiden), in Nederland onder meer bekend van de Peilingwijzer. ‘Als dat de kansen zijn op winst bij de staatsloterij, ga ik morgen een staatslot kopen’, zegt hij.

Moeilijker dan in Nederland

Verkiezingen voorspellen in de Verenigde Staten is complex. Zéker vergeleken met Nederland. De Peilingwijzer van Louwerse, bijvoorbeeld, neemt een gemiddelde van alle peilingen die door peilbureaus zijn uitgevoerd. Vervolgens worden die gecorrigeerd met zogeheten huiseffecten; peilers die iets hogere percentages dan gemiddeld voorspellen voor bijvoorbeeld PvdA of PVV, krijgen een correctie. Het omzetten naar zetels is in Nederland vervolgens relatief rechttoe, rechtaan.

Voor de Verenigde Staten is dat radicaal anders. Daar werkt men met het zogeheten kiesmannensysteem, waarbij elke deelstaat – Texas, Californië, Florida, enzovoort – een vooraf vastgestelde hoeveelheid kiesmannen levert. Daarbij geldt een ‘winner takes all’-principe. Wie een staat wint, ook al is dat met één stem verschil, krijgt álle kiesmannen van die staat. Wie uiteindelijk landelijk de meerderheid van alle kiesmannen wint (in totaal zijn er 538), wordt de volgende president.

Dat kan leiden tot uitslagen die in Nederland ondenkbaar zijn. Zo won Clinton in 2016 niet het presidentschap, maar had ze wél meer stemmen. Terwijl zij met overmacht won in dichtbevolkte staten als Californië, harkte Trump met kleinere marges uiteindelijk meer kiesmannen binnen. In zo’n systeem zeggen landelijke peilingen dus lang niet alles, peilingen in deelstaten zijn belangrijker. 

Bij de uiteindelijke uitslag zaten de peilingen er op landelijk niveau ook in 2016 slechts 1,1 procent naast. De winst van Clinton in de ‘popular vote’ werd zowel in de meeste peilingen als door modelleurs als FiveThirtyEight – die net als de Peilingwijzer van Louwerse afzonderlijke peilingen bundelen – correct voorspeld. Op staatsniveau ging het echter mis. ‘Met name in het Midwesten, in staten als Michigan en Wisconsin, verliep de stemming anders dan vooraf voorspeld.’ 

Volgens Louwerse gingen veel modelleurs destijds ten onterechte ervan uit dat peilingen in staten onafhankelijk zijn van elkaar. ‘In staten die dicht bij elkaar liggen en een soortgelijke bevolkingsopbouw kennen, lijkt de uitkomst op elkaar. Als je in één zo’n staat een peilingsfout hebt, is de kans groot dat je er ook in andere staten naast zit’, zegt hij. 

Dat werkt verkeerde voorspellingen in de hand. Ga ervan uit dat peilingsfouten onafhankelijk zijn, en het scenario dat Trump het in meerdere staten beter doet dan in de peilingen, is nogal extreem – alsof je meerdere keren achter elkaar 6 moet gooien met een dobbelsteen. ‘Maar als de afwijkingen in staten samenhangen, is zo’n scenario veel beter denkbaar’, zegt Louwerse. 

FiveThirtyEight hield in 2016 al rekening met wat in vakjargon ‘gecorreleerde peilingsfouten’ heet, wat deels het verschil met andere voorspellingen kan verklaren. Nu hebben ook andere modelleurs dat meegenomen in hun modellen. 

Dat wil niet zeggen dat voorspellingen voortaan altijd kloppen. Wie het huidige Economist-model toepast op de verkiezing van 2016, krijgt als uitkomst bijvoorbeeld nog steeds dat Clinton meer kans heeft om te winnen dan Trump. ‘Maar de modellen houden meer rekening met het feit dat Trump of Biden het in een reeks staten beter zou kunnen doen dan verwacht. Ze houden dus rekening met een breder scala aan mogelijke uitkomsten’, zegt Louwerse. 

Ook de losse peilingen hebben een verbeterslag gemaakt. Zo zijn peilers bijvoorbeeld beter gaan kijken naar onder meer het opleidingsniveau en het stemgedrag bij vorige verkiezingen van de mensen die ze benaderen voor hun onderzoek. Stel dat 30 procent van degenen die ze voor zo’n peiling spreken in 2016 op Trump stemde, terwijl hij in die staat toen 40 procent van de stemmen behaalde, dan is de bevraagde groep niet representatief. ‘Daar kun je dan nog deels voor corrigeren’, zegt Louwerse.

Bovendien, zegt hij, is iedereen voorzichtiger geworden. ‘Als je ziet hoe ver Biden al voor ligt in de peilingen en hoe relatief laag modelleurs als The Economist en FiveThirtyEight zijn kansen toch nog inschatten.’

Eén reden voor die toegenomen voorzichtigheid is dat de verkiezingen van 2020 weleens historisch onvoorspelbaar kunnen verlopen. Zo is het de eerste keer dat kiezers hun stem moeten uitbrengen tijdens een wereldwijde pandemie – iets dat stemmen lastiger maakt, al zijn er met opties om vroeg te stemmen (in sommige staten kun je nu al naar de stembus) en stemmen per post wel alternatieven mogelijk. 

Desondanks noopte de pandemie – en de politieke onrust – FiveThirtyEight ertoe ‘extra onzekerheid’ in hun model te stoppen. Daarbij is het de vraag of ze niet doorschieten. Hun model doet zijn voorspelling door de verkiezing duizenden keren te simuleren en te turven wie wint. ‘Door de grote onzekerheid die het model meeneemt, krijgt die simulatie nu soms wel gekke uitslagen’, zegt Louwerse. ‘Dan wint Biden bijvoorbeeld ineens New Jersey, maar verliest veel democratischer staten als Californië. Dat is niet realistisch.’

Academischer

Elk voorspellingsmodel begint met dezelfde ingrediënten. Ten eerste de beschikbare peilingen, zowel nationaal als per staat. Daarbij komen de uitkomsten van de vorige verkiezingen en belangrijke factoren, waarvan de belangrijkste de toestand van de economie en de waarderingscijfers van de zittende president zijn. Beide zijn historisch gezien belangrijke voorspellers van de uiteindelijke uitslag. 

Op die gegevens laat een modelleur vervolgens een statistische trukendoos los, die per model totaal andere elementen kan bevatten. FiveThirtyEight maakt bijvoorbeeld goede sier met hun uitgebreide database met beoordelingen van peilingsbureaus, cijfers die vertellen hoe goed de peilingen van die bureaus in het verleden presteerden. Peilingen van goede peilers wegen (veel) zwaarder dan die van slechte.

‘Het model van The Economist is wat academischer’, zegt Louwerse. Het wordt gemaakt door twee wetenschappers, baseert zich op inzichten uit vaktijdschriften en maakt de broncode van hun model openbaar zodat iedereen met kennis van zaken erin kan duiken. FiveThirtyEight doet dat niet. ‘Silver heeft wel een heel begrijpelijke publiekstoelichting geschreven, maar de exacte details blijven geheim. Zijn benadering is bovendien wat meer ad hoc, al weet hij alles steeds goed te onderbouwen.’

Volgens Louwerse is het vooraf onmogelijk te beoordelen wiens model beter is. ‘Je kunt wel testen op oude verkiezingen en zien welk model dan het best presteert, maar zeker bij deze verkiezing is het maar de vraag hoeveel dat nu echt zegt.’

Dit is immers pas de tweede verkiezing met Trump. Een kandidaat die, volgens vriend en vijand, niet bepaald voldoet aan het standaardplaatje van een politicus. ‘Trump is een populist, iemand die kiezers nog altijd beschouwen als outsider’, zegt Louwerse. ‘In hoeverre gaat voor hem dan op wat voor vorige zittende presidenten opging?’ Een model dat is getraind op oude verkiezingen, zit er dan misschien eerder naast.

Ongrondwettelijke capriolen

En dan is er ook nog eens alles dat je níét kunt voorspellen. Of zoals Silver schrijft in een disclaimer bij de uitleg van zijn voorspelling: ‘Ons model voorspelt de stemmen op verkiezingsdag. We gaan uit van redelijke pogingen om stemgerechtigde burgers te laten stemmen en om alle legaal uitgebrachte stemmen te tellen. Ons model houdt geen rekening met ongrondwettelijke capriolen van Trump of van anderen, zoals pogingen om stemmen per post niet te laten tellen.’ 

Dat zo’n toevoeging nodig is, noemt Louwerse een zorgwekkende ontwikkeling. Volgens hem verlopen de verkiezingen in de VS steeds minder via een neutrale standaard. ‘Denk alleen al aan de pogingen van vooral Republikeinen om zo veel mogelijk stemmen te weren – al zeggen ze zelf natuurlijk dat ze vooral fraude willen tegengaan’, zegt hij. Ook de Democraten zijn niet altijd even netjes. ‘Ze lijken zich er wel iets meer voor te schamen’, zegt Louwerse. En zo komt volgens hem in de VS de objectiviteit van de verkiezingen inmiddels in het geding. 

Die onzekerheid over een eerlijk verloop zal de komende weken nog als een spook rond de aanstaande verkiezingen blijven zweven. En dat maakt zelfs met keurige statistiek voorspelde uitslagen minder betrouwbaar. Louwerse: ‘Als mensen in peilingen zeggen te zullen stemmen is nu veel meer dan in het verleden de vraag: doen ze dat ook echt? En zo ja: wordt die stem eerlijk geteld? De garanties daarop staan nu onder druk.’