Waarom rammelt zo veel wetenschappelijk onderzoek? ‘De verleiding om met iets spectaculairs te komen, is groot’

De grootste schok voor Lex Bouter, hoogleraar methodologie en integriteit aan de Vrije Universiteit, kwam bij het zien van een studie in Nature uit 2012. Bijna 90 procent van het kankeronderzoek met proefdieren bleek geen stand te houden toen andere wetenschappers hetzelfde experiment herhaalden. Negentig procent! Ook andere vakgebieden scoren slecht bij dit soort replicatiestudies, blijkt keer op keer. Bouter: ‘Natuurlijk, als je een experiment een tweede keer doet, kan er af en toe een ander resultaat uitkomen. Maar dat zou de uitzondering moeten zijn, niet de regel.’ Maandag 15 april is Bouter te gast bij het Kenniscafé, de wetenschappelijke talkshow van onder meer de Volkskrant. De avond staat in het teken van wetenschappelijke uitglijders, en wat daarvan te leren valt.

Hoe is het mogelijk dat zoveel onderzoeksresultaten op drijfzand berusten?

‘Bijvoorbeeld door te werken met te weinig proefpersonen of proefdieren: dat is vragen om toevalstreffers. Een ander probleem is het zoeken naar spectaculaire verbanden in een enorme berg met onderzoeksgegevens. Stel je wilt weten of een bepaalde behandeling helpt bij de gemiddelde patiënt en je ontdekt dat dit niet zo blijkt te zijn. Balen. Maar nu zie je ineens dat de behandeling wel aanslaat bij patiënten met het sterrenbeeld Waterman, of bij blanke mannen. Bij dat sterrenbeeld snapt iedereen dat het toeval is, maar bij die blanke mannen valt nog wel een theorie te bedenken waarom het voor hen wel goed zou werken. Door in je publicatie de nadruk te leggen op die ene positieve uitkomst, kan de wetenschappelijke literatuur enorm vervuild raken met toevalstreffers. Wat ook niet meehelpt: grote wetenschappelijke tijdschriften zijn vooral geïnteresseerd in die spectaculaire positieve uitkomsten, en wetenschappers zijn voor hun carrière weer afhankelijk van die publicaties. Dus er is een prikkel om met opvallende resultaten naar buiten te treden. Voor je familie, voor je onderzoeksgroep, voor jezelf: de verleiding om met iets spectaculairs te komen, is groot. Te groot in het huidige beloningssysteem.’

Heeft u zelf wel eens een dubieus onderzoek de wereld in gestuurd?

‘Ja. Als ik de film van mijn wetenschappelijke carrière terugspoel, zie ik mezelf dingen doen die destijds normaal werden gevonden, maar die ik nu nooit meer zou doen. Nu is de gouden regel: leg voor je begint aan een experiment een uitgebreid onderzoeksprotocol met een tijdstempel vast op internet. Zo kan iedereen achteraf zien wat je van plan was. Destijds gebeurde dat zelden in mijn toenmalige vakgebied, waarbij we onder meer onderzoek deden naar de effectiviteit van medische behandelingen. Een onderzoeksprotocol kon je best een beetje bijstellen gedurende het experiment. Maar zo ga je dus ongemerkt allerlei toevalstreffers beoordelen als belangrijke onderzoeksresultaten.’

Gaat het de goede of slechte kant op met de kwaliteit van wetenschappelijk onderzoek?

‘Ik zie zeker positieve ontwikkelingen. Meer vakgebieden die erop hameren om eerst het onderzoeksprotocol in detail vast te leggen. Tijdschriften die onderzoeken pas publiceren nádat collega’s het experiment herhalen en hetzelfde resultaat vinden. Meer aandacht voor wetenschappelijke integriteit: alle promovendi van Nederland krijgen daar nu een cursus voor aangeboden. Maar er valt nog veel te winnen. Zo blijft het beloningssysteem gericht op spectaculaire resultaten gepubliceerd in toptijdschriften. En de wat oudere onderzoekers en begeleiders vinden vaak dat ze zo’n integriteitscursus niet nodig hebben. Terwijl ik denk: juist voor hen is het belangrijk. Begeleiders van onderzoekers bepalen in sterke mate de cultuur op de werkvloer. Mishandelen we hier onze data net zolang tot er een spannend resultaat uitkomt? Of is dat not done in onze groep?’

Kenniscafé: De foute avond, over missers in de wetenschap. 15 april, De Balie Amsterdam. Kaarten hier verkrijgbaar.