Zo is er nu het Social Sciences Replication Project (SSRP), waarin een grote groep psychologen wereldwijd experimenten herhaalt die eerder zijn gepubliceerd in toonaangevende wetenschappelijke tijdschriften. Want opzienbarende resultaten zijn leuk, maar zijn dat toevalstreffers geweest of zijn ze robuust?
De onderzoekers herhaalden de experimenten zoals gepubliceerd in 21 artikelen in Science en Nature. Dat deden ze met veel grotere groepen. Toch traden bij hun replicaties lang niet altijd de effecten op die eerder waren gerapporteerd. De resultaten van slechts 13 studies werden bevestigd. Dat is 62%. Maar het SSRP-team deed nog iets anders. Terwijl zij hun replicatiestudies uitvoerden, vroegen ze onwetende proefpersonen te voorspellen welke effecten bevestigd zouden worden. Deze proefpersonen zetten hun geld in op 63% van de gerapporteerde studies. En daarbij hadden ze het verbluffend vaak bij het rechte eind.
Wetenschapsjournalist Ed Yong schreef er een artikel over. De proefpersonen waren afgegaan op onderbuikgevoelens. Kleine onderzoeksgroepen, marginaal significante resultaten en sensationele uitkomsten hadden hen te denken gegeven. En terecht, blijkbaar.
Het SSRP is trouwens niet het enige grote project waarin psychologen hebben samengewerkt om studies te repliceren. Er zijn nog vijf andere van zulke projecten geweest. Alles bij elkaar werd slechts 46% van de eerder gepubliceerde resultaten bevestigd.
Als wetenschappers keuzes moeten maken welk onderzoek ze willen repliceren, doen ze er dus goed aan hun onderbuik te laten spreken. Bevindingen die te mooi lijken om waar te zijn, zijn dat meestal ook. (ID)
Bron: Yong, E. (2018). Online Bettors Can Sni Out Weak Psychology Studies. The Atlantic, Augustus 27th, 2018.
