Preregistratie – het leek zo’n goed idee. Psychologen leggen vooraf tot in detail hun onderzoek vast: hypothesen, te onderzoeken variabelen, operationalisaties, aantal respondenten, methode van dataverzameling, gebruik van statistische toetsen en nog zo wat. Door zulke zaken van tevoren kenbaar te maken is het makkelijker onderzoek te repliceren, worden álle – dus ook niet-significante – resultaten zichtbaar en komen onderzoekers niet in de verleiding toe te werken naar gewenste uitkomsten.
Maar preregistratie is makkelijker gezegd dan gedaan, blijkt uit een studie, uitgevoerd aan de KU Leuven. Van de 27 onderzoeken die tussen februari 2015 en november 2017 in Psychological Science waren gepubliceerd én gepreregistreerd, was er geen een volgens het oorspronkelijke plan uitgevoerd. Dat bleef bovendien onvermeld: in slechts 1 van de 27 artikelen verklaarden de auteurs dat ze van hun gepreregistreerde opzet waren afgeweken.
Dit gebrek aan transparantie vormt het grootste probleem, stellen de auteurs. Zo werd in tien onderzoeken een grotere of kleinere steekproef gehanteerd dan was gepreregistreerd, zonder nadere verklaring. Dit hoeft geen kwade opzet te zijn, maar kan wel te denken geven: zijn de onderzoekers langer doorgegaan met hun dataverzameling om zo tot de gewenste uitkomsten te komen? Of hebben ze tussendoor analyses gedaan en zijn ze voortijdig gestopt omdat ze de gewenste resultaten al hadden? Als afwijkingen van het oorspronkelijke plan niet worden toegelicht, weet je nog steeds niet wat je aan de resultaten hebt.
‘Disclose or die’ is daarom een van de aanbevelingen die de Leuvense onderzoekers geven. Die aanbeveling moet niet al te letterlijk worden genomen. Wel is duidelijk dat preregistratie geen panacee is.
Bron: Claesen, A. et al. (2019). Preregistration: Comparing Dream to Reality. PsyArXiv, 9 May 2019. https://doi.org/10.31234/osf.io/d8wex
