Liefst 72 wetenschappers (onder wie een groot aantal statistici en mathematisch psychologen) verbinden hun naam aan een opmerkelijk artikel waarvan de samenvatting welgeteld één zin beslaat. Vrij vertaald: ‘Wij stellen voor om nieuwe ontdekkingen pas statistisch significant te noemen als p<.005.’
De auteurs doen dit voorstel omdat resultaten van wetenschappelijk onderzoek vaak niet te repliceren zijn. Voorgangers hebben al op diverse oorzaken daarvan gewezen – denk aan de publicatiebias in tijdschriften, of de geringe power van studies, en nog zo wat. Maar de eenvoudigste verklaring ligt volgens deze groep auteurs aan de gehanteerde drempel als we over ‘significante effecten’ spreken. Die ligt nu bij de algemeen geaccepteerde p=.05. En dat is veel te laag, vinden ze. Bij zo’n lage drempel vind je namelijk een hoop vals-positieve uitkomsten, ook al zit het onderzoek verder nog zo goed in elkaar. En dat werkt non-repliceerbaarheid in de hand.
De wetenschappers zijn van mening dat de nieuwe criteria alleen voor nieuw onderzoek moeten gelden. Hun voorstel is overigens niet nieuw – eerdere onderzoekers hebben er ook al voor gepleit, maar waren roependen in de woestijn. Nu lijken de neuzen meer dezelfde kant op te staan. Tijd voor een significante verandering! (ID)
Bron: Benjamin, D.J. et al. (2017). Redefine Statistical Significance. Nature Human Behavior. PsyArXiv Preprints Added on: July 22, 2017. DOI: 10.17605/OSF.IO/MKY9J.
