Het rapport van de commissie-Levelt naar aanleiding van de fraude van Diederik Stapel heeft nogal wat stof doen opwaaien, met name onder sociaal psychologen. Volgens Ruud Abma illustreert het rapport bovenal dat sociaal psychologen in de spiegel moeten kijken. ‘Het is niet terecht om de commissie-Levelt verantwoordelijk te houden voor het huidige negatieve publieke imago van de sociale psychologie.’
De fraude van Diederik Stapel en het werk van de commissie-Levelt hebben in kringen van sociaal psychologen tot uiteenlopende reacties geleid. Sommigen zagen er aanleiding in de hand in eigen boezem te steken en te pleiten voor zorgvuldiger procedures in de voorbereiding en beoordeling van wetenschappelijke publicaties. Zo publiceerden vier Nederlandse hoogleraren Sociale Psychologie (Paul van Lange, Bram Buunk, Naomi Ellemers en Daniel Wigboldus) in september 2012 de notitie Sharpening scientific policy after Stapel, waarin zij concrete aanbevelingen doen om fraude in de psychologie en andere vakgebieden tegen te gaan. Ook de Associatie van Sociaal-Psychologische Onderzoekers (aspo) reageerde nuchter en zakelijk op de soms pijnlijke constateringen van de commissie (zie de website van ASPO).
De Utrechtse hoogleraar Wolfgang Stroebe daarentegen zag in het rapport van de commissie- Levelt allereerst een vileine aanval op de sociale psychologie als geheel, ja zelfs een belediging. In het digitale universiteitsblad van de Universiteit Utrecht publiceerde hij een open brief, waarin hij de commissie-Levelt beticht van een ‘breathtaking ignorance of the vast literature on scientific misconduct’, inclusief een recent artikel van hemzelf, Tom Postmes en Russell Spears (Stroebe et al., 2012) waarin veertig fraudegevallen op een rij worden gezet. Slechts vier daarvan kwamen uit de experimentele (sociale) psychologie. Je kunt twisten over de vraag of dat weinig of veel is, maar je kunt in ieder geval niet volhouden dat fraude alleen in de sociale psychologie voorkomt.
Stroebes open brief werd online gevolgd door een sliert reacties, merendeels van buitenlandse sociaal psychologen, waaruit kan worden opgemaakt dat sommigen het rapport van de commissie-Levelt met een rood waas voor de ogen gelezen (of zelfs niet gelezen) hebben. In dezelfde trant eiste de European Association of Social Psychology (easp) in een officiële verklaring op 8 december rectificatie van het rapport-Levelt. Naar haar oordeel had de commissie de affaire af moeten sluiten door inzicht te bieden in het proces waardoor Stapel data kon fabriceren en frauduleuze artikelen publiceren. In plaats daarvan heeft de commissie Levelt een heel vakgebied in diskrediet gebracht door te suggereren dat slodderwetenschap kenmerkend is voor de hele sociale psychologie, aldus de easp.
Verificatiebias
Is het rapport-Levelt inderdaad eenzijdig negatief over de sociale psychologie? Om te beginnen moet men zich realiseren dat de commissie in de eerste plaats tot taak had een case study te verrichten, een diepteanalyse van één geval: het onderzoekswerk van Diederik Stapel. De opdracht was niet om een systematische vergelijking van vakgebieden te maken met betrekking tot de frequentie van fraudegevallen. Een uitspraak als ‘de sociale psychologie telt meer fraudegevallen dan andere vakgebieden’ kon de commissie daarom niet doen. En dat heeft ze ook niet gedaan.
Wat deed ze wel? Ze bracht in kaart hoe vaak en op welke manieren hoogleraar Sociale Psychologie Stapel gefraudeerd heeft in de periode 1993-2011. Ze heeft ook onderzocht hoe deze fraude vrijwel onopgemerkt kon plaatsvinden, een verbazend feit, gegeven de grote hoeveelheid co-auteurs, reviewers en promotiecommissies die met de onderzoeksgegevens en -rapportages van Stapel geconfronteerd werden. Haar conclusie, op basis van de publicaties van Stapel en op basis van de interviews met co-auteurs en andere betrokkenen, was dat er rondom Stapel sprake was van een tamelijk losse omgang met methodologische principes.
De commissie duidde deze praktijken aan met de term ‘slodderwetenschap’. Daarbij was de belangrijkste steen des aanstoots de verificatiebias: experimenten zo opzetten en rapporteren dat het gewenste resultaat eruit komt. Bij zijn aanvaarding van de prestigieuze Jos Jaspars Award op 15 juli 1999 zei Diederik Stapel met zoveel woorden, ten overstaan van een internationaal gehoor van sociaal psychologen, dat dit zijn gewoonte was en ook dat hij een dergelijke praktijk absoluut niet problematisch vond: ‘We design an experiment and go to our lab to test our conjectures. And then what happens? Our experiment fails. We don’t find what we expected to find. Moreover, we find something we cannot explain. We tweak and fine-tune the experimental set-up until we find something we do comprehend, something that Works, something with a p-value smaller than .05. Champagne! Celebration! (…) My point is that whatever way we arrive at our theories and hypotheses, the experiments and tests we design are made to verify, not to falsify our conjectures’ (Stapel, 2000, p.6).
Als deze stellingname al tot protesten leidde in de wereld der sociaal psychologen, dan hebben die de door Levelt én Stapel beschreven praktijken niet veranderd. Zijn ze specifiek voor de sociale psychologie? Dat niet, maar ze zijn er verbreid genoeg om een waarschuwend woord te laten horen. De conclusies van de commissie over de verificatiebias in de psychologie worden ondersteund door meer representatief onderzoek van onder andere Daniele Fanelli (2010) en Leslie John et al. (2012). Ook een vooraanstaande Nederlandse sociaal psycholoog als Ap Dijksterhuis gaf in zijn reactie op het opiniestuk van Stroebe toe zich hieraan bezondigd te hebben: ‘There is no denying that a lot of researchers (yes, me too) engage(d) in some of these practices, and I’m glad to see that as a field, we seem to be changing. We have a lot to gain’ (www.dub.uu.nl, 18 dec. 2012).
Publicatiebias
Over de verificatiebias in sociaalpsychologische kring horen we Stroebe en de easp niet. Ze lijken ervan uit te gaan dat Stapel een uitzondering was, en dat je als co-auteur weerloos bent wanneer de hoofdonderzoeker op eigen houtje met data manipuleert. Wie gaat er nou vanuit dat zijn collega de boel belazert? De commissie-Levelt had makkelijk praten: die wist al dat er gefraudeerd was, reden voor Stroebe c.s. om de commissie wat sociaalpsychologische literatuur over hindsight bias aan te bevelen. Het ongemakkelijke gegeven dat de klokkenluiders promovendi van Stapel waren, en niet zijn meer ervaren collega’s, is hier kennelijk geen punt van overweging.
De verificatiebias hangt samen met een andere kwestie: publicatiebias. Levelt c.s. rapporteren een ‘voorkeur van tijdschriften voor mooie, bondige, aansprekende bevindingen’, ‘eventueel ten koste van de nodige wetenschappelijke zorgvuldigheid’ (p. 54-55). Reviewers en tijdschriften zouden er bij auteurs op aandringen vooral ‘leuke uitkomsten’ te presenteren, met weglating van saaie nuances en ‘mislukte’ experimenten. In dat patroon past de opmerking, gemaakt door diverse geïnterviewden, dat Stapel in theoretische zin weinig heeft bijgedragen aan de sociale psychologie. De daaropvolgende vraag van de commissie-Levelt of de ‘toptijdschriften’ waarin Stapel publiceerde zich wel ‘voldoende kritisch opstellen tegenover publicaties die niet essentieel bijdragen aan de theorievorming in het vakgebied’ (p.55) is zeer to the point, en niet af te doen met sneren naar de ‘sociale psychologie-bias’ van de commissie-Levelt.
Toch had de commissie- Levelt er goed aan gedaan op sommige punten explicieter te zijn. Levelt zei in interviews ‘dat er in Nederland een heleboel voortreffelijke sociaal psychologen rondlopen, van hoge kwaliteit’ (bijv. de Volkskrant, 29 nov. 2012). Op grond van het commissierapport moeten we dan veronderstellen dat deze voortreffelijke sociaal psychologen niet in de omgeving van Stapel verkeerden en geen publicaties of proefschriften uit zijn stal beoordeeld hebben. Het kan, maar zo uitgebreid is de sociaalpsychologische wereld in Nederland nu ook weer niet, dus hier is Levelt meer tweeslachtig en onduidelijker dan goed is. De mooie metafoor van het tegenstrijdige reisadvies die Joop van der Pligt gebruikt (zie elders in dit nummer) is inderdaad van toepassing.
Opmerkelijk is ook de titel van het rapport: ‘Falende wetenschap: De frauduleuze onderzoekspraktijken van sociaal-psycholoog Diederik Stapel’. Waarom is hier niet gekozen voor de term ‘psycholoog’ of ‘experimenteel-psycholoog’ Diederik Stapel? Pikant genoeg heeft Stapel zelf, lang voordat zijn naam besmet werd, hierover gepubliceerd. Naar aanleiding van de plagiaataffaire rond René Diekstra onderzocht hij in 1997 bij Nederlandse sociaalpsychologen in hoeverre het in de beoordeling van de affaire verschil maakt of je al dan niet in dezelfde (sub) discipline ondergebracht wordt als de plagiator. Vertaald naar het huidige geval: het is voor een experimenteel-psycholoog gemakkelijker je te distantiëren van Stapel als je hem expliciet onderbrengt in de categorie waar je zelf niet bij hoort (sociale psychologie) en moeilijker als je hem betitelt als experimenteelpsycholoog (Stapel, Koomen & Spears, 1999). Voor alle duidelijkheid: dit artikel van Stapel is door de commissie niet als frauduleus bestempeld!
Een lichte bias in de presentatie van sommige bevindingen valt het eindrapport van de commissie- Levelt niet te ontzeggen. Daardoor wordt het andere psychologen en sociale wetenschappers te gemakkelijk gemaakt zich ervan te distantiëren. Maar Stroebe en de easp maken het zich ook te gemakkelijk door alle aandacht te vestigen op de ‘smaad’ die de commissie zou plegen ten opzichte van de sociale psychologie, en tussen de regels door Stapel alle schuld te geven. Uit de soms onthutste toonzetting van het rapport valt op te maken dat Levelt c.s. liever hadden gezien dat alleen Stapel het kaf was. Nu dat niet het geval blijkt te zijn, lijken de sociaal psychologen die aandringen op zelfonderzoek naar het voorkomen van verificatiebias en publicatiebias en het belang van solide theorievorming meer het gelijk aan hun kant te hebben dan degenen die Levelt beschuldigen van besmeuring van hun vakgebied.
Ten slotte: het is niet terecht om de commissie-Levelt verantwoordelijk te houden voor het huidige negatieve publieke imago van de sociale psychologie. Zowel Stroebe (op www.dub. uu.nl) als Van der Pligt (dit nummer) stellen dat geknoei in andere wetenschappen niet wordt gevolgd door krachtige kritiek op co-auteurs en reviewers en meer algemeen op de onderzoeksomgeving. Dat klopt niet: leg het oor maar eens te luister in de geneeskunde rondom gewraakte artsen als Poldermans of Jansen Steur. Dat de geneeskunde als vakgebied dan niet in het openbaar wordt afgekraakt (en de sociale psychologie nu wel) zegt iets over het krediet dat de geneeskunde bij het publiek heeft (en de sociale psychologie kennelijk in veel mindere mate).
Die geloofwaardigheid terugwinnen kan alleen met goed en relevant onderzoek.
Over de auteur
Dr. Ruud Abma is verbonden aan de Faculteit Sociale Wetenschappen van de Universiteit Utrecht en redacteur van De Psycholoog.
E-mail: r.abma@uu.nl. Wilt u reageren? Reacties zien we graag tegemoet, via mail (redactie@psynip.nl) of op Twitter (@redactieDP).
Literatuur
- Fanelli, D. (2010) ‘Positive’ Results Increase Down the Hierarchy of the Sciences. PLoS ONE, 5(4). doi:doi:10.1371/ journal.pone.0010068
- John, L.K., G. Loewenstein & D. Prelec (2012) Measuring the prevalence of questionable research practices with incentives for truth-telling. Psychological Science, 23, 524-532.
- Lange, P.A.M. van, A.P. Buunk, N. Ellemers & D.H.J. Wigboldus (2012) Sharpening scientifi c policy after Stapel. http://www.sociale-psychologie.nl/wp-content/uploads/2012/10/ Van-Lange-et-al.-Sharpening-scientifi c-policy.pdf
- Stapel, D.A. (2000). Moving from fads and fashions to integration: Illustrations from knowledge accessibility research. European Bulletin of Social Psychology, 12, 4-27.
- Stapel, D. A. W. Koomen & R. Spears (1999) Framed and misfortuned: identity salience and the whiff of scandal. European Journal of Social Psychology, 29, 397-402.
- Stroebe, W. (2012). Belediging voor de sociale psychologie. DUB, 5 december 2012.
- Stroebe, W., T. Postmes & R. Spears (2012) Scientifi c misconduct and the myth of self-correction in science. Perspectives on psychological science, 7, 670-688.
