Op 9 juli jl. stond op de NRC-voorpagina een artikel over onderzoek naar ‘Gesjoemel in de wetenschap’: een op de twee wetenschappers zou weleens gesjoemeld hebben met onderzoeksresultaten’. Het krantenartikel was gebaseerd op onderzoeksrapporten (beschikbaar op een preprint server, dus nog niet door vakgenoten gereviewd) van de groep rond de VU-hoogleraar Lex Bouter. Ook Science Magazine stortte zich op de preprints (‘Landmark research integrity survey finds questionable practices are surprisingly common’).
Bestudering van de artikelen leerde mij dat van de 63778 benaderde academische onderzoekers er slechts 6813 een bruikbaar vragenformulier retourneerden. Voor Bouter is dat geen probleem, volgens zijn uitspraken in NRC Handelsblad: ‘Het responspercentage is vergelijkbaar met gelijksoortige studies in het buitenland, en in absolute aantallen is mij internationaal geen onderzoek naar dit onderwerp bekend dat groter is.’
Daar denk ik anders over: dat in ander onderzoek de representativiteit even belabberd is, kan bezwaarlijk als argument gelden voor de representativiteit van dit onderzoek. Verder deel ik niet het argument dat de in absolute aantallen grootste steekproef het meest representatief is. De conclusie (in NRC‑ en Science Magazine) dat in de laatste drie jaar een van de twee onderzoekers herhaaldelijk ten minste één van de door de auteurs onderscheiden QRP’s (afkorting voor questionable research practices) bedreef, geldt alleen voor de kleine, niet-representatieve steekproef waarover dit onderzoek gaat.
Het is ook nuttig te kijken naar wat in dit onderzoek verstaan wordt onder QRP’s. Ik bespreek hier niet alle elf uit de vragenlijst, maar wijs op enkele die er verbazingwekkend weinig frauduleus uitzien. Als je (als senior) slechte of bijna geen begeleiding verzorgt, dan is dat QRP 2. Maar gebrekkige begeleiding leidt niet noodzakelijk tot slecht, laat staan frauduleus onderzoek. Ook de QRP’s ‘slordig naar bronnen verwijzen’ (QRP 6), ‘negatieve uitkomsten niet opnieuw indienen voor publicatie’ (QRP 9), ‘selectief citeren’ (QRP 11) en ‘onvoldoende aandacht schenken aan apparatuur’ (QRP 1) kan je niet zonder meer gelijkstellen aan ‘gesjoemel’.
Op grond van deze QRP’s ‘sloppy science’ vaststellen, is ongerechtvaardigd. Immers: de empirische data uit publicaties kunnen uitstekend gepresenteerd en geanalyseerd zijn, ook als er ‘slordig’ naar bronnen wordt verwezen; negatieve uitkomsten niet opnieuw aanbieden voor publicatie en niet zelf kritisch naar beschikbare instrumentatie kijken, maar (mogelijk zeer terecht) vertrouwen op de kwaliteit van bestaande lab-voorzieningen, heeft met fraude niets te maken.
De communicatie rond dit onderzoek verraadt een zekere gretigheid: het verlangen ‘de’ wetenschap te typeren als frauduleus. Die gretigheid past in een klimaat van Trumpiaans denken over fake news. Dat verlangen wordt bevredigd door de communicatie over het onderzoek van Bouter c.s., leidend tot dalend publiek vertrouwen in de wetenschap. Dit lijkt mij het omgekeerde van het door de groep Bouter beoogde effect: ‘evidence based’ verbetering van wetenschappelijke integriteit, resulterend in verhoogd vertrouwen bij het publiek.
Ik stel voor aan de lijst van QRP’s toe te voegen: voortijdig (want voordat peer review heeft plaatsgevonden) resultaten publiek maken (QRP 12); in de publiekscommunicatie gerechtvaardigde relativeringen achterwege laten (QRP 13). Zulke QRP’s gelden ook voor integriteitsonderzoekers. Jezelf daarvan uitzonderen is QRP 14.