Nou, nee. Eigenlijk niet. Onder kantooruren wantrouw ik iedereen, inclusief mezelf. Deze onprettige eigenschap heb ik te danken aan de Engelse geleerde Francis Bacon (1561-1626). Bacon onderkende als eerste dat structurele vertekeningen in waarneming en redeneervermogen de kennisverwerving belemmeren. De mens neemt orde en regelmaat waar die er niet is, ziet overal bevestiging voor zijn theorieën, en is buitengewoon behendig in het wegredeneren van informatie die zijn favoriete hypothese ontkracht. Met andere woorden: Homo Sapiens is blind, dom en onbetrouwbaar.
De wetenschappelijke methode is een systematisch gevecht tegen dit menselijk tekort. Als de cliënt opknapt na psychotherapie, zal de therapeut te gemakkelijk concluderen dat ‘de behandeling aangeslagen is’, en daarom moet er een controlegroep bij. Als er iets onverwachts gebeurt hoor je meteen dat ‘dat geen toeval kan zijn’, en daarom is er statistiek nodig. Als de arts weet welke patiënten een pilletje kregen, zal zij juist bij die mensen verbetering waarnemen, en daarom hebben we dubbelblinde designs. Maar ook mét methodologie ziet de mens kans zichzelf te belazeren. Al p-hackend pikt hij de statistische krenten uit de pap, publiceert alleen studies die mooi uitkomen en schermt onderzoeksgegevens af. Zo is de wetenschap in de afgelopen decennia systematisch ondermijnd. De mens misleidde zichzelf met dezelfde methodiek die hem tegen zichzelf beschermen moest. Niemand zag het, want er waren toch experimentele designs, manipulatiechecks en statistische analyses? Dan zat het toch goed met de methodologie?
Niet dus. De fraude van Diederik Stapel en de paranormale onzin van Daryl Bem, die door de lage methodologische standaard in de psychologie zogenaamd helderziendheid aan kon tonen, maakten pijnlijk duidelijk hoe gemakkelijk het systeem te bespelen is. Inmiddels blijken zoveel resultaten niet te repliceren, dat de lesboeken herschreven moeten worden. Dat verbaast mij niets. Maar dat er spontaan een hele beweging zou ontstaan die zich inzet voor strengere methodologie, dát had ik niet verwacht. Nadat ik jarenlang aan een dood paard had staan sjorren, begon het tot mijn ontsteltenis uit zichzelf te rennen. De ene na de andere dataset werd geheranalyseerd, studie op studie gerepliceerd, de resultaten verschenen in Science. Plots was iedereen doordrongen van de ernst van de situatie: onderzoeksfinanciers verplichten onderzoekers nu hun data beschikbaar te stellen, tijdschriften belonen openheid met eervolle vermeldingen, men bouwt hele softwareomgevingen om transparanter onderzoek mogelijk te maken.
Maar ik ben er niet gerust op. Met replicaties en Bayesiaanse statistiek kan de mens zichzelf net zo goed foppen als met datamassage en p-waarden, want hij is nog even blind, dom, en onbetrouwbaar. Bovendien: de systeemproblemen zijn niet weg, want met mooie resultaten krijg je nog altijd gemakkelijker een aanstelling – hooguit is de definitie van ‘mooi’ veranderd.
Wantrouwen blijft noodzakelijk. Bacon verliest zijn relevantie nooit.
Foto: Peter Valckx