Het ultieme doel van wetenschapsbeoefening is het verwerven van generaliseerbare, dat wil zeggen algemene kennis op basis van evidentie verkregen uit wetenschappelijk onderzoek. Het is informatief om te weten dat Coos, die als jongetje emotioneel mishandeld werd door zijn ouders, later een depressieve stoornis ontwikkelde en dat Anna een gegeneraliseerde angststoornis ontwikkelde als gevolg van seksueel misbruik in haar jeugd. Maar de meest relevante kennis, in wetenschappelijk opzicht, zou in dit voorbeeld zijn dat jeugdtrauma’s het risico verhogen op latere psychopathologie.
Om tot dergelijke algemene kennis te komen, is het noodzakelijk om de resultaten van verschillende onderzoeken naast elkaar te leggen, om zo tot een afgewogen oordeel te komen. En hier ontstaat een probleem dat in de psychologie prangend is: hoe resultaten te beoordelen gegeven het feit dat onderzoekers behoorlijk wat keuzevrijheid hebben bij de data-analyse?
Een gechargeerd voorbeeld met twee onderzoeken: in beide onderzoeken wordt een sterk verband gevonden tussen jeugdtrauma en latere psychopathologie. Maar: in het ene
