Op 11 september 2001 betoogde Diederik Stapel tijdens zijn inaugurele rede dat de sociale psychologie wetenschappelijk hoog aangeslagen moet worden: ‘De natuurkunde mag zichzelf dan tot koning hebben gekroond, de sociale psychologie is de koningin.’
Dit beeld van de psychologische wetenschap als onfeilbare bron van kennis keert ook terug bij Nobelprijswinnaar Daniel Kahneman. In zijn bestseller Thinking, Fast and Slow uit 2011 prijst Kahneman het psychologisch onderzoek naar het fenomeen priming. Een beroemd voorbeeld van priming is dat mensen langzamer zouden gaan lopen nadat ze woorden hebben gelezen zoals ‘grijs’ en ‘rollator’; deze woorden activeren het concept ‘bejaarde’ en dat concept is op zijn beurt weer geassocieerd met langzamer lopen. Kahneman is danig onder de indruk van dit type onderzoek, maar in mijn ervaring kunnen wetenschappers vaak hun lachen niet inhouden als ze ermee worden geconfronteerd. Wellicht deelt Kahneman deze ervaring, want hij schrijft: ‘Wanneer ik priming experimenten bespreek dan reageert het publiek vaak met ongeloof (…) Maar het idee waar je je op moet richten is dat ongeloof geen optie is. De bevindingen zijn niet verzonnen, en het zijn geen statistische toevalstreffers. Je hebt geen andere keuze dan om te accepteren dat de conclusies van deze experimenten waar zijn’ (pp. 56-57, mijn vertaling).
Kritiek op de status quo werd destijds niet gewaardeerd. Toen een hoogleraar aan de Universiteit van Amsterdam ooit suggereerde dat bepaalde psychologische vakgebieden maar beter met een bulldozer gelijk gemaakt konden worden, werd hij weliswaar niet ontslagen, maar moest hij wel ten overstaan van zijn beledigde collega’s diep door het stof. Majesteitsschennis!
Ongeloof
Zelden in de geschiedenis van de wetenschap is hoogmoed voorafgegaan aan een meer plotselinge en meer beschamende val. Diederik Stapel bleek zijn hele academische carrière ongestraft gegevens te hebben verzonnen. En uit het volledige priming-hoofdstuk van Thinking, Fast and Slow is naar mijn weten nog geen enkel experiment succesvol gerepliceerd: ongeloof bleek dus wel degelijk een optie. In de huidige psychologische literatuur maakt de bulldozer, samen met de bazooka en de bommenwerper, inmiddels deel uit van een geaccepteerde reeks maatregelen om de geleden wetenschappelijk schade ongedaan te maken en het gedeukte vertrouwen te herstellen.
Hoe heeft dit allemaal kunnen gebeuren? Waarom is veel psychologisch onderzoek niet repliceerbaar? Houden psychologen zichzelf en elkaar voor de gek? En vooral: hoe moeten we nu verder, en hoe kan het beter? Wie een antwoord wil op deze prangende vragen, raad ik aan om het boek van cognitief neurowetenschapper Chris Chambers te lezen. Chambers, van origine Australiër en verbonden aan Cardiff University, is een man met een heilige missie: het bestrijden van de wetenschappelijke misstanden en vooroordelen die leiden tot betekenisloze resultaten, verwarde wetenschappers en een vervuilde literatuur.
In de eerste zeven hoofdstukken van zijn boek schetst Chambers in klare taal één voor één de verschillende doodzonden: bias, verborgen flexibiliteit, onbetrouwbaarheid, data hoarding, corrumpeerbaarheid, geslotenheid, en bonen tellen. Deze hoofdstukken zijn stuk voor stuk ontnuchterend, en soms zelfs deprimerend, maar mijn inziens verplichte kost voor de moderne psycholoog – en voor de moderne empirische wetenschapper in het algemeen.
Gelukkig is het boek zeker niet alleen een klaagzang. In hoofdstuk 8, ‘Verlossing’, doet Chambers namelijk een concreet, eenvoudig voorstel voor radicale verbetering: de ‘Registered Report’-formule. In een Registered Report dient de wetenschapper eerst bij een tijdschrift een gedetailleerd voorstel in voor een experiment. Dit voorstel, inclusief analyseplan, wordt vervolgens beoordeeld door collega’s (peer review). Als het plan – eventueel na aanpassing – uiteindelijk is goedgekeurd, krijgen de auteurs een ‘principle-acceptatie’. Daarna pas wordt het experiment daadwerkelijk uitgevoerd. Als de data van afdoende kwaliteit zijn en de analyse wordt uitgevoerd zoals gepland, dan wordt het artikel gepubliceerd, onafhankelijk van de resultaten of hun statistische significantie.
Hoop
De Registered Report-formule kent talloze voordelen: het elimineert publicatiebias, het elimineert hindsight bias (‘wijsheid achteraf’; zowel van de auteurs als de collega-beoordelaars), het waarborgt de zin van de statistische analyse, en het zorgt ervoor dat confirmatieve hypothesetoetsen scherp onderscheiden kunnen worden van exploratieve zoektochten, precies zoals het Adriaan de Groot (1914-2006), de vader des vaderlands van de methodologie, al voor de geest stond. Met andere woorden: de publicatie van een artikel wordt enkel bepaald door de kwaliteit van het uitgevoerde werk – de hypothese, het experimentele design – en niet door de uitkomst. Op deze wijze wordt voorkomen dat tijdschriften en auteurs bewust of onbewust de krenten uit de pap vissen en daarmee de lezer een rad voor ogen draaien. Sinds 2013 heeft Chris Chambers zijn Registered Reports onvermoeibaar onder de aandacht gebracht, en inmiddels bieden meer dan 140 tijdschriften (waaronder Nature: Human Behaviour) de formule aan.
Al met al is er dus reden tot hoop. Wellicht had Diederik Stapel toch gelijk en was de psychologie inderdaad de koningin van de wetenschap – maar dan de ijdele, hooghartige koningin uit het sprookje van Sneeuwwitje, eentje die links en rechts niet-repliceerbare appels uitdeelde. En, net als in het sprookje, was dit niet het einde, want mede door pre-registratieprins Chris Chambers is de psychologie ontwaakt uit haar lange sluimer. Inmiddels is de door Chambers zo gewenste cultuuromslag in volle gang; door schade en schande wijs geworden, speelt de psychologie op dit gebied nu een voortrekkersrol. En dat is iets om trots op te zijn.
