Nee dus. Recent onderzoek laat zien dat wetenschappers eenzelfde dataset op heel verschillende manieren kunnen analyseren. Je kunt bijvoorbeeld wel of niet controleren voor leeftijd van de scheidsrechter. Of voor zijn neiging überhaupt rode kaarten te geven. Of voor het aantal getinte voetballers dat aan wedstrijden meedoet. Al dit soort beslissingen is van belang. Ze kunnen tot heel verschillende resultaten leiden. Dat bleek wel uit het onderzoek. Van de negenentwintig teams die – onafhankelijk van elkaar – dezelfde dataset analyseerden, rolde er bij twintig een significant positief resultaat uit. De resterende negen teams vonden geen effect. Er werden dan ook heel verschillende covariaten in de analyses meegenomen. Bovendien lieten de onderzoekers op de dataset allemaal verschillende analyses los. Ook dit maakte uit, want de teams die logistische of Poisson-modellen gebruikten, vonden grotere effecten dan de teams die de data met lineaire technieken analyseerden.
Conclusie: wetenschappelijk onderzoek is nog steeds van waarde, mits onderzoekers hun beslissingen omtrent dataverzameling en data-analyse expliciteren. Alleen zo kunnen anderen de uitkomsten op hun merites beoordelen. Rest alleen nog wel de vraag waarom de huidskleur van de scheidsrechter niet in de analyses is opgenomen. Dat had wellicht weer heel andere resultaten opgeleverd. (ID).
Bron: Silberzahn, R. et al. (2018). Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results. Advances in Methods and Practices in Psychological Science, 1(3), 337-356. DOI: 10.1177/2515245917747646.
