Doe je een geraffineerd onderzoek maar zijn je resultaten niet significant, dan kun je het bij veel psychologietijdschriften schudden. Terwijl het toch aannemelijk is dat niet elke studie flitsende uitkomsten oplevert. Sterker, als meerdere onderzoeken op een bepaald gebied louter significante resultaten laten zien, is er een grote kans dat alle niet-significante resultaten in een diepe la zijn verdwenen.
Hoog tijd dus om ook niet-significante uitkomsten serieus te nemen, vinden Daniel Lakens en Alexander Etz. Deze psychologen laten zien dat bij herhaald onderzoek een mix van significante en niet-significante resultaten zeer waarschijnlijk is. En dat gemengde resultaten doorgaans de alternatieve hypothese juist ondersteunen. Althans, bij voldoende statistische power en een kleine kans op type-Ifouten. Bij een onderzoek zijn er immers vier uitkomsten: true positive (significante resultaten als de alternatieve hypothes (H1) waar is), true negative (geen significante resultaten als de nulhypothese (H0) waar is), false positive (significante resultaten terwijl H0 waar is) en false negative (geen significante resultaten terwijl H1 waar is). Bij een alpha van 5%, een power van 80% en evenveel kans dat H0 als H1 waar is, is de kans op true negatives het grootst (47,5%), gevolgd door de kans op true positives (40%). Zet je echter de kans op true negatives af tegen die op false negatives, en de kans op true positives tegen die op false negatives, dan heb je de grootste kans op true positives. En om dus de alternatieve hypothese terecht aan te nemen.
Stel je doet zes keer hetzelfde experiment, met een power van 80% en alpha van 5%. Drie keer leidt dat tot een significant resultaat, drie keer niet. De kans dat de alternatieve hypothese waar is, is dan ruim 97%. Niet-significante resultaten zijn dus niet het eind van de wereld. (ID)
Bron: Lakens, D. & Etz, A.J. (in press). Too true to be bad: When sets of studies with significant and non-significant findings are probably true. https://osf.io/preprints/psyarxiv/nnkg9
