Ik herinner me nog goed hoe mijn eigen werk voor het eerst echt stevig bekritiseerd werd. Een onderzoeker mailde mijn collega’s en mij, en vertelde dat het eerste artikel waaraan ik had meegeschreven, te veel statistisch significante resultaten liet zien. Je zou zeggen dat het juist goed is als elke studie die je doet je hypothese bevestigt. Maar statistisch is dat, zeker met de kleine steekproefgroottes die we hadden gebruikt, bijzonder onwaarschijnlijk. De onderzoeker vertelde ons dat er niet-significante resultaten misten – analyses die we hadden gedaan, maar niet gerapporteerd, of ontbrekende studies, en publiceerde zijn analyses (over meerdere artikelen) in een tijdschrift.
Als onderzoeker ga je dan door de bekende vijf stadia van rouw. Ontkenning (‘Nee hoor, dat slaat nergens op’), Boosheid (‘Wat een eikel dat-ie dit doet!’), Onderhandelen (‘Maar, als hij deze toets ook zou meetellen, zijn onze resultaten niet meer zo onwaarschijnlijk’), Depressie (‘Wat een drama, hoe komt dit ooit nog goed?’) tot uiteindelijk Acceptatie (‘OK. Hij heeft een punt’).
We hadden inderdaad één studie, en meerdere toetsen, niet gerapporteerd.
De laatste tijd hoor ik steeds vaker dat andere wetenschappers dit soort kritiek ongepast vinden. Het is te aanvallend. Te persoonlijk. De meest recente verontwaardiging was over een statistiekprogramma, gemaakt door Michelle Nuijten en collega’s uit Tilburg2, dat automatisch mogelijke fouten in de data-analyse kon herkennen. De analyse van vijftigduizend artikelen werd openbaar gemaakt op https://pubpeer.com/, een website waar gepubliceerde artikelen besproken kunnen worden.
Dit is precies de publiekelijke democratische kritiek die De Groot zo belangrijk vond voor de wetenschap. Veel wetenschappers vonden deze actie echter ongepast. Te persoonlijk, te publiekelijk. Maar misschien moeten we ons onze fouten ook wel persoonlijk aantrekken. In mijn ervaring is het juist de persoonlijke kritiek die me aan het denken zette over wat ik fout deed. Ik voelde me een kneus. Dat was ik ook een beetje, besefte ik.
Tegenwoordig snij ik vier stadia af op weg naar acceptatie door al vooraf te accepteren dat ik af en toe fout zal zitten. Mijn doel is niet meer om alles perfect te doen. Dat lukt niemand. Mijn doel is wel om dingen steeds beter te doen. En dankzij de publiekelijke kritiek van een ander ben ik nu misschien nog steeds een kneus, maar wel een heel klein beetje minder.
- Groot, A. D. de. (1961). Methodologie. ’s Gravenhage: Mouton & Co.
- Nuijten, M.B., Hartgerink, C.H., Assen, M.A. Epskamp, S. & Wicherts, J.M. (2015). The prevalence of statistical reporting errors in psychology (1985–2013). Behavior Research Methods, 1–22.