Artikelen / 03/12/2011

Fraude

Geen reacties
Lees verder
Maarten Derksen

Een hoogleraar die al meer dan zeven jaar in zijn eentje onderzoeksresultaten fabriceert zonder dat iemand het opmerkt. Niet alleen de hele (sociale) psychologie is verbijsterd en geschokt over deze affaire, maar de hele wetenschap. Daarnaast– zoals Maarten Derksen hieronder fijntjes opmerkt – grijpt jan en alleman de zaak ook nog eens aan om zijn eigen belangen te propageren. Een analyse van de ernst van deze zaak, de omvang, de schade, en de mogelijke oorzaken.

Het moet voor sociaal psychologen enorm frustrerend zijn dat jan en alleman de affaire Stapel aangrijpt om de eigen belangen, stokpaardjes en meningen vooruit te stuwen. Nwo wist zijn nieuwe Regeling Subsidieaanvragen, die al van 1 mei dit jaar dateert, in oktober nog op de voorpagina van nrc-Handelsblad te krijgen, door in te haken op Stapels fraude (Berkhout, 2011). Knaw-instituut dans sprong in op de affaire met de triomfantelijke constatering dat het nu duidelijk is dat psychologen meer aan datadelen moeten doen – bij dans bijvoorbeeld. De Groene Amsterdammer publiceerde een feature dat nog maar eens het ‘open deur’-gehalte van de sociale psychologie hekelde (Fogteloo & Thomas, 2011). En dan zijn er nog al die collega-psychologen die hun kans schoon zien
om hun opvattingen over hoe het anders en beter moet in de psychologie, weer eens te ventileren. Voor ik daartoe over ga, is het dan ook goed om eerst de vraag te stellen hoeveel je eigenlijk kunt ophangen aan deze ene affaire. Hoe relevant is Stapel?

Relevantie en prevalentie
Sommigen achten die relevantie nihil. Stapel is een uitzondering, een exces, niet representatief voor het vakgebied, want fraude is uiterst zeldzaam in de wetenschap, en ‘de pakkans is 100%’ (Willem Koops, ‘Diederik Stapel: rotte appel of een systeemfout?’, | dub, zonder datum). Om te beginnen met die laatste frase: het is op z’n best een onfalsifieerbare bewering (‘aan het einde der tijden zullen alle fraudeurs zijn geïdentificeerd’), maar in feite is het meer een bezwering dan een bewering. Het is een spreuk met een geruststellende klank, maar zonder empirische inhoud. Hoe zouden we kunnen weten dat alle fraudeurs uiteindelijk gepakt worden? Waar halen we de overtuiging vandaan dat er niet nog meer Stapels zijn geweest of nog zijn? Het is – ik aarzel om het uit te leggen – inherent moeilijk om met enige zekerheid uitspraken te doen over een fenomeen dat zijn best doet zich te verbergen.
Toch is er wel íets te zeggen over de prevalentie van fraude in de wetenschap. Je kunt onderzoekers een anonieme vragenlijst voorleggen waarin ze kunnen aangeven of ze ooit data hebben verzonnen of vervalst. De meta-analyse die Daniele Fanelli (2009) maakte van dit soort studies, laat zien dat zo’n twee procent van de onderzoekers ‘ja’ zegt op zo’n vraag, en Fanelli maakt aannemelijk dat we dat als ondergrens van de werkelijke prevalentie moeten opvatten. (Het percentage dat zich ooit heeft bezondigd aan ‘dubieuze praktijken’ zoals het bekende geknoei met uitbijters, ligt bovendien aanzienlijk hoger.) Is twee procent veel? Het lijkt mij zorgwekkend, maar anderen (Van Vugt, 2011) zien het als bewijs dat fraude zeldzaam is in de wetenschap. Er is ook geen onderzoek waaruit blijkt dat er in de sociale wetenschappen meer fraude voorkomt dan elders (Fanelli, 2009). Hoe dan ook maakt het in dit geval niet zoveel uit. De relevantie van het geval Stapel ligt niet in zijn representativiteit, maar juist in het excessieve karakter ervan. Het is met Stapel als met Tristan van der Vlis: één schietpartij in een winkelcentrum laat niet zien dat we allemaal moordenaars zijn, maar wel dat er eens goed gekeken zou moeten worden naar de manier waarop we vergunningen voor automatische wapens uitdelen. In dit geval: hoe heeft iemand, al is het er dan maar één, zo lang weg kunnen komen met het verzinnen en vervalsen van data?

Schade
De commentaren die over het geval Stapel zijn verschenen spreken dikwijls over schade: voor het aanzien van het vak en van de wetenschap als geheel, schade voor de carrière van Stapels voormalige aio’s en co-auteurs. Die gevaren zijn reëel en ernstig. Maar wat opvalt aan deze zaak is ook het gebrek aan schade, het feit dat gefingeerde onderzoeksresultaten blijkbaar geen kwaad kunnen – zolang de fraude niet uitkomt. Aangezien Stapel al minstens sinds 2004 fraudeerde (zie noot), moet de conclusie zijn dat de wetenschap prima functioneert terwijl er ondeugdelijke resultaten circuleren. Alsof het loze onderdelen van de machine zijn, tandwieltjes die bij nader inzien een louter decoratieve functie bezitten.
Misschien is het zo in alle wetenschapsgebieden. De wetenschap is geen efficiënte machine die louter verrassende feiten en baanbrekende theorieën produceert. We zijn geneigd om wetenschap te zien in termen van waar en onwaar, van ‘conjectures and refutations’ om met Karl Popper te spreken, maar in de praktijk is het grootste deel van de wetenschappelijke productie überhaupt niet interessant genoeg om te citeren, laat staan dat men zich bekommert over de vraag of het waar of onwaar is. Naar meer dan de helft van de artikelen in wetenschappelijke tijdschriften wordt nooit meer verwezen. Ze zijn opgeborgen in het grote archief van de wetenschap en niemand kijkt er meer naar om. Als die artikelen allemaal op fraude zouden berusten, was er dus niets aan de hand. Ze doen er gewoon niet toe. In het geval Stapel ligt het echter anders, want de artikelen uit zijn lange lijst publicaties werden veel geciteerd. Ze deden er dus wel toe, maar het maakte blijkbaar niet uit dat ze verzonnen waren.

Replicaties
Je zou denken dat dit iets te maken zou kunnen hebben met een gebrek aan replicatieonderzoek, maar toen ik dit enkele maanden terug in de krant had geopperd (Funnekotter & Berkhout, 2011), tikten enkele sociaal psychologen mij geërgerd op de vingers. Er wordt heel veel replicatie-onderzoek gedaan in de sociale psychologie! En als een resultaat bij herhaling niet repliceerbaar blijkt, dan raakt dat echt wel bekend in de sociaal-psychologische gemeenschap, en verliest men vanzelf het vertrouwen in het resultaat en de betreffende onderzoeker. Mislukte replicaties zijn helaas niet publicabel – er is immers geen significantie bereikt – maar op deze manier leiden ze de sociale psychologie toch verder op het pad naar de waarheid.
Hieruit spreekt een merkwaardige opvatting van wat replicatie is. Alsof het een vorm van toetsing betreft, die met de verwerping van een bewering ten einde komt. Doorgaans gaat het anders, zoals Harry Collins liet zien in zijn klassieke onderzoek naar replicatie in de wetenschap (Collins, 1992). Zolang een bepaald resultaat nog niet boven twijfel verheven is, is het falen van een poging tot replicatie ervan de aanzet tot discussie, en soms controverse, over de vraag waarom de replicatie niet is gelukt. Zat er een fout in het oorspronkelijke onderzoek? Of juist in het replicatie-onderzoek? Is er misschien een verborgen variabele in het spel? Subtiele verschillen in de wijze waarop de experimentele manipulaties gestalte krijgen? Of – het komt voor – heeft er iemand zitten knoeien met de data? Pas als de juistheid van een bepaald resultaat buiten kijf staat, wordt replicatie een test, maar dan van de vaardigheden van de onderzoeker: wie er niet in slaagt het resultaat te repliceren, heeft het niet goed gedaan.
In de wetenschap is het falen van replicaties dus meestal een aansporing tot verder onderzoek; het is het begin van een proces, niet het einde. Wie replicatie beschouwt als toets en niet wil leren van mislukte replicaties, is te veel gefixeerd op feiten, op significantie, op resultaten, en te weinig op de manier waarop die resultaten tot stand komen. Het gevaar is dan bovendien dat een van de mogelijke oorzaken van het mislukken van de replicaties – het oorspronkelijke onderzoek berustte op fraude – nooit ter tafel komt. Als het blijkbaar niet interessant is waarom iets niet repliceerbaar is, dan hoeft ook niemand de ongemakkelijke vraag te stellen of er misschien niet is geknoeid. En zo zou het dan kunnen gebeuren dat er her en der wordt getwijfeld aan de kwaliteit van iemands onderzoek, dat er zelfs mensen zijn die fraude vermoeden, maar dat het toch tien jaar duurt voor de fraudeur tegen de lamp loopt.

Verzonnen waarheid
Er is nog een andere mogelijkheid waarom het bedrog zo lang niet werd opgemerkt. Misschien waren de resultaten die Stapel verzon niet van echt te onderscheiden. In de reacties op de zaak Stapel heeft bij mijn weten niemand nog vertwijfeld uitgeroepen dat handboeken nu herschreven moeten worden en theorieën herzien. Stapels resultaten kunnen uit de sociale psychologie worden verwijderd, zonder dat het bouwwerk aan het wankelen wordt gebracht. Wat hij verzon sloot blijkbaar naadloos aan op de bestaande feiten en theorieën, of, en dat zou nog knapper zijn, hij wist de ontwikkelingen in zijn vakgebied perfect te voorspellen. Misschien waren de resultaten die hij claimde dus heel goed repliceerbaar, en had Stapel de droom van elke fraudeur in de wetenschap gerealiseerd: hij had de waarheid verzonnen.
Is zulke ‘ware fraude’ in de psychologie makkelijker dan in andere disciplines? Han Oud stelde in nrc Handelsblad dat de kans op fraude in de sociale wetenschap ‘vele malen’ groter is dan in de natuurwetenschap, omdat sociaal-wetenschappelijk onderzoek op steekproeven gebaseerd is. ‘[I]edere steekproef kent zijn eigen afwijkingen met als gevolg dat het uiterst moeilijk is om te bewijzen dat data zijn gemanipuleerd’ (Oud, 2011). Oud leidt hieruit af dat herhaalbaarheid in de psychologie ‘verwaarloosbaar’ is, maar het is volgens mij juist andersom. Als het acceptabel is, en zelfs te verwachten, dat resultaten binnen een ruime marge van elkaar verschillen, dan kan het ene onderzoek des te eerder gelden als replicatie van het andere. En als je dan als fraudeur maar in de goede richting zit, wordt het bedrog niet snel opgemerkt. Wie daarentegen te precies is, loopt tegen de lamp. Cyril Burt, bekend van zijn tweelingonderzoek naar de erfelijkheid van intelligentie, werd postuum ontmaskerd omdat zijn correlaties tot op drie cijfers achter de komma hetzelfde bleven, terwijl zijn steekproef groeide. Jan Hendrik Schön, voor zijn val een rijzende ster in de fysica, laadde verdenkingen op zich omdat de ruis in twee verschillende experimenten identiek was. Een goede fraudeur moet het juiste niveau van inexactheid in zijn veld van onderzoek treffen.
Misschien zijn de marges in de psychologie inderdaad wat ruimer dan in andere disciplines, maar ware fraude vereist toch diepgaande kennis van het vakgebied, een goed gevoel voor toekomstige ontwikkelingen, en voldoende flair met statistiek om datasets te fabriceren die je collega’s niet van echt kunnen onderscheiden. Makkelijk kan het niet zijn.

Publish or perish
Dit brengt me ten slotte op de vraag waarom. Is het voor iemand met zoveel talent werkelijk zo belangrijk om gegarandeerd publiceerbare resultaten te produceren dat het de moeite waard lijkt om zulke misdaden te begaan? In zijn spijtbetuiging (Stapel, 2011) schrijft Stapel dat ‘de druk om te scoren’ hem te veel is geworden. Het verontschuldigt zijn daden natuurlijk niet, maar dat de druk om te publiceren hoog is, is ontegenzeggelijk waar, en er zijn aanwijzingen dat die gevolgen kan hebben voor de kwaliteit van het onderzoek. Van Yperen et al. (2011) vonden een verband tussen competitiviteit en fraude bij werk, sport en studie. Fanelli (2010a) vond een opmerkelijke correlatie in de wetenschappelijke wereld: waar de concurrentie het grootst is, worden ook de meeste positieve resultaten gerapporteerd. Die resultaten zijn niet allemaal het product van fraude, maar het lijkt er wel op dat ‘publish or perish’ een zekere bias in de hand werkt. Als de armslag in de psychologie breder is dan in andere disciplines – in de psychologie worden sowieso verhoudingsgewijs meer positieve resultaten gerapporteerd dan in bijvoorbeeld de chemie (Fanelli, 2010b) – dan is het in het huidige competitieve onderzoeksklimaat nodig om extra waakzaam te zijn.

Dr. Maarten Derksen is als universitair docent verbonden aan basiseenheid Theorie & Geschiedenis van de Psychologie van de Rijksuniversiteit Groningen, Grote Kruisstraat 2/1, 9712 TS Groningen. E-mail: m.derksen@rug.nl.

Literatuur