Een dun laagje ijs

Dus zijn er ijsmeesters nodig die de bepalen hoe stevig het wetenschappelijke ijs is. Fraudeurs zoals Stapel en Smeesters zijn zeldzaam (al zal niemand met zekerheid stellen dat er geen gevallen bijkomen), maar slodderwetenschap komt beslist vaker voor: wetenschappers die over één nacht ijs gaan.
Dit heeft diverse redenen. Onderzoekers moeten scoren en voelen zich vaak deelnemer in een wedloop wie de meeste publicaties heeft. Ze zien zich daardoor gedwongen bochten af te snijden. Psychologen zijn vaak op zoek naar subtiele effecten maar draaien experimenten die niet krachtig genoeg zijn om die effecten te vinden. Heel vaak gebruikt men simpelweg te weinig proefpersonen. Amerikaanse psychologen toonden onlangs aan dat je minstens 46 proefpersonen nodig hebt om bewijs te vinden voor de stelling dat mannen zwaarder zijn dan vrouwen. In veel psychologische experimenten worden minder proefpersonen gebruikt, terwijl de effecten waar onderzoekers naar zoeken heel wat subtieler zijn dan het gewichtsverschil tussen mannen en vrouwen.
Waarom vinden die psychologen dan toch effecten? Ze kunnen geluk hebben; er is een significant effect, maar dit berust grotendeels op toeval. Ze kunnen meerdere experimenten draaien en alleen die met een significant effect rapporteren. Ze kunnen (voor het effect) onwelgevallige data elimineren. Ook kunnen psychologen net zolang doortesten tot ze een effect hebben of eerder stoppen wanneer ze toevallig al een effect hebben in plaats van het van te voren geplande aantal proefpersonen testen – allemaal voorbeelden van slodderwetenschap.
Op die manier verschijnen er allerlei vals-positieve bevindingen in de literatuur – een verraderlijk dun laagje ijs. En de hoeveelheid dun ijs wordt alleen maar groter, omdat nieuwe onderzoekjes verder gaan, al maar nieuwe laagjes dun ijs producerend in een nieuw deel van de vaart der psychologie, in plaats van de bestaande laag robuuster te maken.
En nu zitten we dus met hele stukken onbetrouwbaar ijs. Vandaar dat er ijsmeesters nodig zijn die testen hoe betrouwbaar de bevindingen zijn. En dus zijn er onderzoekers nodig die het werk van anderen willen reproduceren. Gelukkig komen er daar steeds meer van. Het Center for Open Science is hier een voorbeeld van. En het tijdschrijft Perspectives on Psychological Science nodigt onderzoekers uit om mee te doen aan grootschalige replicatiepogingen waarin één belangrijke bevinding wordt getoetst. Mijn collega’s en ik doen mee aan zo’n project. Toen ik laatst opzocht hoeveel andere groepen aan dit project meedoen, bleken maar liefst 29 groepen zich te hebben aangemeld! Die groepen komen uit de VS, Nieuw-Zeeland, Engeland, Canada, en dus ook uit Nederland. In een volgende column zal ik berichten over dit onderzoek.
Het lijkt er in ieder geval wel op dat er in de psychologie voorlopig geen gebrek meer is aan ijsmeesters. Nu maar afwachten hoe dik het ijs zal blijken te zijn.