Fors meer geld nodig voor herhaalonderzoek

Voer een willekeurig onderzoek opnieuw uit, precies zoals het door het oorspronkelijke onderzoeksteam is gedaan, en er komt geregeld iets heel anders uit. Zie daar de replicatie­-crisis die een paar jaar geleden aan het licht kwam. De Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) laat vanmiddag in een rapport zien dat er veel moet gebeuren om dat tij te keren, waaronder veel meer subsidie om eerder onderzoek te herhalen.

Verandert er niets, dan blijf je onderzoeksresultaten houden waarvan je niet op aan kunt. Een voorbeeld is een studie uit 2010 naar een veelbelovend molecuul dat moest helpen om kankermedicijnen dieper in de tumor te krijgen. Toen een vermaarde vakgroep dat begin vorig jaar opnieuw deed, vonden ze helemaal niets. Of psychologisch onderzoek waaruit bleek dat eten van een klein bord sneller verzadigt dan eten van een groot bord. Het brein zou bij een kleiner bord denken dat er meer eten naar binnenging. Het stond jarenlang te boek als psychologisch feit, maar het hield geen stand toen het originele werk nog eens netjes werd overgedaan.

Meestal komt dat niet door fraude. Gevallen als psycholoog Diederik Stapel, die uit zijn functie werd gezet omdat hij onderzoeksgegevens fabriceerde, zijn een uitzondering. Veel vaker zit het probleem in een onderzoeksopzet die niet deugt, met te weinig proefpersonen of verkeerd gebruik van statistische methoden.

Zinloos

Voortborduren op die schijnverbanden is zinloos en kost veel geld en tijd. Wetenschapsfinancier NWO (Nederlandse Organisatie voor Wetenschappelijk Onderzoek) ziet dat ook in, en besloot in 2016 drie miljoen euro vrij te maken voor experimenteren met geldverdeling voor herhaalprojecten. Die drie miljoen komt uit het totale budget van 800 miljoen dat NWO jaarlijks te besteden heeft.

Johan Mackenbach, voorzitter van de KNAW-commissie die het rapport schreef, zegt dat dit hooguit een eerste begin is. “Je moet uiteindelijk toch denken aan 5 tot 10 procent van het totaal aan onderzoeksgeld.” Toch eist de KNAW niet van NWO dat het dat percentage vrijmaakt van haar 800 miljoen. Het gaat volgens Mackenbach om een algemeen percentage waar het totaal aan subsidieverstrekkers, waaronder Europese, gezamenlijk naartoe moet.

NWO wil eerst de resultaten van haar proef met de verdeling van die drie miljoen afwachten voor ze nadenkt over een hoger budget, aldus een woordvoerder. Die proef loopt tot medio volgend jaar. “Dan zullen we kijken of, en zo ja hoe het een vast onderdeel van onze programmering kan worden.” En dus hoeveel geld ervoor vrijkomt.

NWO zegt sinds september 2016 zo’n 85 geldaanvragen voor herhaalonderzoek te hebben gehad van onderzoekers. “Dat wijst op een duidelijke behoefte in het veld. We lopen hierin internationaal voorop.”

Beter trainen

Het probleem zit vooral in zogeheten empirisch onderzoek, waar wetenschappers iets proefondervindelijk proberen aan te tonen. Biomedisch onderzoek naar nieuwe medicijnen, of sociale wetenschappen als psychologie. Daarom moeten opleidingen hun studenten en promovendi uit die vakgebieden beter trainen, schrijft de KNAW-commissie. Onderzoekers in spe moeten weten waarom herhalen van andermans werk belangrijk is en hoe je te snel getrokken conclusies zelf kunt voorkomen door met een betere onderzoeksopzet te komen.

“De kwaliteit van het onderzoek moet omhoog”, zegt Mackenbach. “En als het originele onderzoek sterker is, zijn er ook minder herhaalstudies nodig.” Of Nederlands onderzoek vaker door de mand valt dan dat uit vergelijkbare landen, kan Mackenbach niet zeggen. “Daar zijn geen cijfers over.”

Oud onderzoek herhalen is niet ‘sexy’ voor wetenschappers. Liever komen ze met nieuwe bevindingen. Daarmee komen ze eerder in de hoog aangeschreven vakbladen, wat weer cruciaal is voor hun staat van verdienste. Maar volgens Mackenbach is bij hoofdredacteuren van die vakbladen steeds meer welwillendheid om ook herhaalonderzoek te publiceren. Zij zijn er ook bij gebaat: als een jaar na een grote doorbraak blijkt dat de conclusies geen standhouden, komt er ook een smet op hún naam. Wat helpt is dat landen als het Verenigd Koninkrijk en de Verenigde Staten vergelijkbare rapporten publiceren over het belang van herhaling.

Hoeveel onderzoek na herhaling zal sneuvelen, is niet op voorhand te zeggen. Af en toe schetsen verkennende studies een pessimistisch beeld. Van honderd herhaalde psychologiestudies bleven nog geen vier op de tien staan, bleek in 2013. In een oncologie-studie uit 2012 stond slechts 11 procent van 53 belangrijke werken na controle overeind. Te weinig proefdieren, verkeerde statistische analyses of menselijke fouten waren daar debet aan.