Kent u die mop van die dode zalm die volgens een hersenscan toch echt tekenen van leven vertoonde? Dat was geen grap. Met neuroimaging kun je alles uit je data krijgen wat je maar wilt, betoogde psycholoog én zalm-onderzoeker Craig Bennett al in 2009.
Anno 2020 hanteren neuro-onderzoekers nog steeds de meest uiteenlopende methoden bij de analyse van fMRI’s, met totaal verschillende uitkomsten tot gevolg. Dat blijkt uit een experiment, opgezet door een Israelische neurowetenschapper, Amerikaanse psycholoog en Britse statisticus, waaraan wereldwijd zeventig onafhankelijke onderzoeksteams deelnamen. Allemaal kregen ze exact dezelfde dataset, van 108 proefpersonen bij wie een fMRI was afgenomen, met daarbij de vraag of ze negen specifieke hypothesen wilden testen.
Geen twee teams analyseerden de data precies hetzelfde. Niet zo gek, als je weet dat er volgens een Amerikaanse psycholoog al bijna zevenduizend (!) rekenmethoden zijn om fMRI-gegevens mee te interpreteren. Wel was er over vier hypothesen grotendeels consensus. Zo vond 84% van de teams steun voor één hypothese, en was ruim 90% het erover eens dat drie andere hypothesen níet bevestigd werden. Maar over de resterende vijf hypothesen liepen de conclusies nogal uiteen.
Kan daarmee het hele fMRI-onderzoek daarmee de prullenbak in? Nee, zeggen de initiators van het experiment, maar open science is wel dringend noodzakelijk. Alleen door tot in detail alle stappen te delen die je in je analyses zet, wordt een experiment repliceerbaar. En dát is waar we het van moeten hebben – overigens niet alleen in neuro-onderzoek, maar in de hele wetenschap. (ID)
Bron: Botvinik-Nezer, R. et al. (2020). Variability in the analysis of a single neuroimaging dataset by many teams.°Nature, https://doi.org/10.1038/s41586-020-2314-9
Beeld: StepanKapl/shutterstock.com
