Het ultieme doel van wetenschapsbeoefening is het verwerven van generaliseerbare, dat wil zeggen algemene kennis op basis van evidentie verkregen uit wetenschappelijk onderzoek. Het is informatief om te weten dat Coos, die als jongetje emotioneel mishandeld werd door zijn ouders, later een depressieve stoornis ontwikkelde en dat Anna een gegeneraliseerde angststoornis ontwikkelde als gevolg van seksueel misbruik in haar jeugd. Maar de meest relevante kennis, in wetenschappelijk opzicht, zou in dit voorbeeld zijn dat jeugdtrauma’s het risico verhogen op latere psychopathologie.
Om tot dergelijke algemene kennis te komen, is het noodzakelijk om de resultaten van verschillende onderzoeken naast elkaar te leggen, om zo tot een afgewogen oordeel te komen. En hier ontstaat een probleem dat in de psychologie prangend is: hoe resultaten te beoordelen gegeven het feit dat onderzoekers behoorlijk wat keuzevrijheid hebben bij de data-analyse?
Een gechargeerd voorbeeld met twee onderzoeken: in beide onderzoeken wordt een sterk verband gevonden tussen jeugdtrauma en latere psychopathologie. Maar: in het ene onderzoek zijn er behoorlijk wat respondenten die wel wilden meewerken aan het beantwoorden van vragen over jeugdtrauma maar weigerden om vragen over eventuele latere psychopathologie te beantwoorden. De onderzoekers besluiten om voor deze respondenten aan te nemen dat ze een diagnose hebben in de volwassenheid. In het tweede onderzoek is tevens neuroticisme gemeten wat mogelijk ook verband houdt met latere psychopathologie. De onderzoekers besluiten om deze variabele niet mee te nemen in de analyses.
Wat moeten we nu concluderen over de relatie ‘jeugdtrauma leidt tot latere psychopathologie’ op basis van deze twee onderzoeken? Beide vinden een sterk verband, maar dit verband is mogelijk geflatteerd. In het eerste onderzoek door het veronderstellen van een latere diagnose bij respondenten waarvan deze data miste; en in het tweede onderzoek door het weglaten van een derde variabele die mogelijk ook verband houdt met latere psychopathologie.
Jelte Wicherts en collega’s schreven eind vorig jaar een artikel waarin ze liefst 34 manieren beschrijven waarop onderzoekers – al dan niet bewust – de resultaten van hun onderzoek kunnen beïnvloeden waardoor het vergaren van algemene kennis bemoeilijkt wordt. Ik ben voorstander van wat meer regelgeving, dus bureaucratie, op dit vlak en sluit me derhalve van harte aan bij de aanbeveling van Wicherts en collega’s om hun artikel als een checklist te gebruiken bij het beoordelen van wetenschappelijke studies. Meer regels, minder vrijheid, maar wel grotere kans om tot echte kennis in de psychologische wetenschap te komen.
Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., van Aert, R. C. M., & van Assen, M. A. L. M. (2016). Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking. Frontiers in Psychology, 7, 1832. doi: 10.3389/fpsyg.2016.01832.
