De Nederlandse psychologische onderzoekswereld is het laatste jaar opgeschrikt door twee fraudegevallen die in nationale en internationale media breed zijn uitgemeten. Een nieuwe manier van fraudedetectie, ontwikkeld door een Amerikaans statisticus, verhoogt de geloofwaardigheid van psychologisch onderzoek.
Uri Simonsohn, psycholoog en statisticus aan de University of Pennsylvania, kwam onlangs de fraude op het spoor van sociaal psycholoog Dirk Smeesters, hoogleraar consumentengedrag aan de Erasmus Universiteit Rotterdam. Zijn methode, waarmee hij ook andere fraudegevallen detecteerde, veronderstelt dat het vervalsen van data bijzonder moeilijk is. In de meeste gevallen leidt het vervalsen van data tot onderzoeksresultaten die té perfect zijn.
Elke steekproef bevat namelijk een bepaalde hoeveelheid statistische ‘ruis’: toevalsbevindingen die niet overeenkomen met de verwachtingen. Als je tweemaal tien willekeurige mannen van de straat haalt en de lengte van beide groepen meet, is de gemiddelde lengte van deze groepen waarschijnlijk niet aan elkaar gelijk en bovendien ook ongelijk aan de lengte van de gemiddelde Nederlandse man. Vervalste data kenmerken zich volgens Simonsohn nu juist door een statistisch meetbare afwezigheid van die ruis. Dat uit zich onder andere in gemiddelden en standaarddeviaties van ongerelateerde groepen proefpersonen die verdacht veel op elkaar lijken. Om in de analogie van lichaamslengte te blijven: de gemiddelde lengte van beide van de straat geplukte groepen lijkt veel te veel op elkaar, en is bovendien gelijk aan de gemiddelde lengte van Nederlandse mannen. Met computersimulaties kan berekend worden hoe onwaarschijnlijk dergelijke resultaten zijn.
Vanzelfsprekend is er ook kritiek op deze methode; die zou kunnen leiden tot valse beschuldigingen. Want ook Simonsohns model is gebaseerd op kansrekening; zijn methode kan dus één op de tienduizend keer een onderzoeker vals beschuldigen en daarmee zijn of haar carrière ruïneren. Daarom pleit de statisticus, door het blad Nature al gedoopt tot de ‘data-detective’, om zijn methode voorzichtig te gebruiken en alleen de alarmbel te luiden als in meerdere onderzoeken van dezelfde auteur onwaarschijnlijke data voorkomen. Ook pleit Simonsohn voor het standaard ter beschikking stellen van ruwe data. Dit kan de drempel voor het vervalsen van data verhogen. ‘Want,’ zo stelt hij, ‘momenteel hebben tijdschriften geen bescherming tegen fraude, onderzoekers kunnen bijzonder sterk in de verleiding komen hun data aan te passen, en tegelijkertijd hoopt iedereen dat die vervalsing niet plaatsvindt.’
Bronnen: Simonsohn, U. (2012, July 21). Just Post it: The Lesson from Two Cases of Fabricated Data Detected by Statistics Alone. Available at SSRN: http://ssrn. com/abstract=2114571 Enserink, M. (2012). Scientific ethics. Frauddetection tool could shake up psychology. Science, 337(6090), p. 21-22. doi: 10.1126/science. 337.6090.21 Yong, E. (2012). The data detective. Nature, 487, 18-19. doi:10.1038/487018a
