U herinnert zich het vast nog van uw colleges statistiek: het onderscheidingsvermogen (de power) van een statistische toets drukt de kans uit om een nulhypothese terecht te verwerpen. Een power van minimaal .60 wordt wenselijk geacht in psychologisch onderzoek.
In het algemeen geldt dat studies met een grotere steekproef een hogere power hebben. En dat is nu net de makke van veel cognitief neurowetenschappelijk onderzoek, aldus de conclusie van een team van Britse en Amerikaanse psychologen op basis van een omvangrijke meta-analyse. Want het gros van dat onderzoek, dat de laatste dertig jaar een enorme vlucht heeft genomen, wordt mede vanwege de arbeidsintensiviteit en dure apparatuur met kleine steekproeven uitgevoerd. Volgens dit team van psychologen zouden de meeste cognitief neurowetenschappelijke studies een power hebben van .21, hetgeen impliceert dat veel echte effecten worden gemist. En hoe fancy dat onderzoek met moderne hersenscantechnieken doorgaans ook is, die kleine steekproeven maken de bevindingen een stuk minder betrouwbaar en repliceerbaar en de gevonden verbanden dus aanzienlijk spurieuzer.
‘Low statistical power is an endemic problem in neuroscience,’ stellen de onderzoekers dan ook. Ook de enorme keuze aan data-analysetechnieken binnen cognitief neurowetenschappelijk onderzoek stellen ze ter discussie. De psychologen eindigen hun artikel met een aantal suggesties, zoals het berekenen van de benodigde power voorafgaande aan het onderzoek en meer samenwerking tussen verschillende groepen onderzoekers, om zo steekproef groter te maken en daarmee de power te verhogen. (VB)
Bron: Button, K.S., Ioannidis, J.P.A., Mokrysz, C., Nosek, B.A., Flint, J. et al. (2013). Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, doi: 10.1038/nrn3475
