Tijdens zijn studententijd was Eric-Jan Wagenmakers fanatiek schaker. Op zijn feesten stond er altijd wel ergens een schaakbord en werd er geschaakt. Van meerdere kanten wordt het verhaal verteld over zijn trouwfeest waar hij druk aan het praten en dansen was, terwijl er ergens in de hoek iemand achter een schaakbord zat. Af en toe riep Wagenmakers een zet over zijn schouder en ging door met feesten. Hij won de partij.
Wagenmakers moet om de anekdote lachen. Dat zou zeker gebeurd kunnen zijn. Maar dat hij een goede schaker is, wil hij nuanceren. Want ‘goed’ is een relatief begrip. ‘Mijn schakende vrienden zijn gemiddeld genomen veel beter, een aantal is grootmeester. Ik heb waarschijnlijk minder talent dan zij, ik benaderde het schaken te wetenschappelijk en dook veel in de boeken, in plaats van dat ik speelde. Bovendien ben ik er te zenuwachtig voor. Om echt goed te schaken, moet je ijswater in je aderen hebben.’
Achteraf is Wagenmakers blij dat hij van schaken zijn broodwinning niet kon maken. ‘Schaken wordt slecht betaald. Maar erger: het is een eenzaam bestaan. Je zit veel in je kamertje partijen te bekijken en je speelt steeds tegen dezelfde mensen. En pas decennia later kom je erachter dat je een eenzame afslag hebt genomen.’ Eenzaamheid bekomt hem niet goed, hij is een sociaal wezen, het komt in zijn verhaal vaker terug.
‘Om echt goed te schaken, moet je ijswater in je aderen hebben’
Concrete psychologie
Nog altijd vindt Wagenmakers schaken ‘verslavend en fascinerend’, hij is dagelijks minstens een half uur bezig met iets dat aan schaken is gerelateerd. Toch noemt hij zich geen schaker meer. Hij werd wetenschapper en psycholoog. Aan het begin van zijn studie in Groningen, toen hij sociale en klinische psychologie volgde, brandde het vuur nog niet. Hij werd pas enthousiast toen hij in aanraking kwam met functieleer en neurowetenschappen. Dat was concreter, en misschien was het ook de stijl van lesgeven die hem aansprak en die de sport- en spelletjesman in hem wakker maakte. Hij vertelt enthousiast over de docent functieleer: ‘Hij las in rap tempo een dictaat voor, je moest je best doen om hem bij te houden met schrijven.’
Daarna werkte Wagenmakers mee aan onderzoek met EEG-metingen. Een bewerkelijke manier van onderzoek doen, zeker met die trage computers die destijds gebruikt werden, oordeelt hij nu. Hij stapte over naar experimentele psychologie. Zijn wetenschappelijke carrière begon echt bij Ritske de Jong, tegenwoordig hoogleraar Cognitieve Psychologie aan de Rijksuniversiteit Groningen. De Jong was bezig met een model voor informatieverwerking en deed interessante voorspellingen over de snelheid ervan.
Wagenmakers ging dat bij ouderen onderzoeken. Hij wilde weten welke beperkingen er konden optreden als mensen ouder worden, maar wel goed bij de pinken zijn, dus liet hij oud-hoogleraren naar het lab komen. Een inspirerende tijd. Wagenmakers ging naar Amsterdam om promotieonderzoek te doen bij Jeroen Raaijmakers (inmiddels emeritus-hoogleraar Cognitieve Psychologie aan de Universiteit van Amsterdam). Hij zou een wiskundig model ontwikkelen over het herkennen van woorden, maar raakte afgeleid door wat hij zijn ‘gloeilampenproject’ noemt. In een experimenteel onderzoek liet hij proefpersonen (onder andere) een gloeilamp zien, zodat die in het geheugen klaarlag. Daarna werd ofwel een gloeilamp of een object getoond dat op een gloeilamp leek, zoals een ballon en dan moesten ze aangeven welke van de twee ze hadden gezien. Wagenmakers: ‘Ik was benieuwd of mensen sneller gloeilamp zouden zeggen, ook als het om een ander object ging, of dat hun waarneming daadwerkelijk beter werd en ze dus sneller correct de gloeilamp zouden herkennen.’
Hij deed dit onderzoek bij verschillende stimuli en was er lekker mee bezig, toen hij een soort vaderlijke mail kreeg van Raaijmakers, die zijn teleurstelling uitsprak over het feit dat Wagenmakers het model niet had ontwikkeld. Hij had niet veel tijd meer, maar stortte zich erop en uiteindelijk lukte het toch nog om het model binnen de beschikbare tijd af te krijgen.
Eenzaam in Chicago
Na zijn promotie vertrok Wagenmakers naar Chicago om bij Roger Ratcliff, (hoogleraar Cognitieve Psychologie aan The Ohio State University) onderzoek te gaan doen naar reactietijdenmodellen. Ratcliff was een onderzoeker die hij erg bewonderde. Het was een zware periode, begrijpen we van mensen om hem heen. Zelf legt Wagenmakers uit dat het vooral de eenzaamheid was die hem parten speelde. ‘Ik had mijn hele sociale leven in Nederland achter me gelaten en zat alleen op een kamertje in Chicago; om op mijn werk te komen, moest ik een uur met de trein reizen. Die eenzaamheid valt niet te onderschatten.’
Werken voor Ratcliff was leerzaam, maar niet dankbaar. ‘Hij is niet voor niets een bekend psycholoog, je moest iets presteren. Nu heb ik geen problemen met hard werken, maar het was niet zo ontspannen als ik aan de UvA gewend was. Bovendien is er aan het begin van je wetenschappelijke carrière nog veel onzekerheid. Er is veel druk om te publiceren en mijn carrière kwam maar langzaam op gang. Dat zal onbewust hebben meegespeeld.’
Na de postdoc bij Ratcliff ging hij terug naar Nederland. In de VS kon hij niet blijven zonder werk. ‘Ik solliciteerde verschillende keren, maar werd het steeds net niet.’ Ook in Nederland bleef het moeizaam gaan. Hij vroeg een Veni-beurs aan, die hij niet kreeg. Vervolgens solliciteerde hij op een postdoc-plek – geen wereldbaan – en ook die kreeg hij niet. Toen schoot vriend en collega Han van der Maas (hoogleraar Psychologische Methodenleer en directeur Onderzoek van de afdeling Psychologie aan de UvA) hem te hulp. Hij schraapte overal en nergens geld vandaan en kon Wagenmakers voor een jaar aanstellen. Aan het eind van dat jaar vroeg Wagenmakers voor de tweede keer een Veni aan, die die werd wel toegekend. Vanaf dat moment is zijn loopbaan soepel verlopen.
Ondanks alle hobbels heeft hij nooit overwogen uit de wetenschap te stappen. Wagenmakers: ‘Sommigen klagen wel eens over het imposter syndrome, het gevoel dat je op een dag ontmaskerd wordt, omdat blijkt dat je de boel voor de gek hebt gehouden. Dat gevoel heb ik nooit gehad. Ik had altijd veel zelfvertrouwen. Vanaf het allereerste moment dat ik met onderzoek begon, wist ik dat dit precies aansloot bij alles wat ik leuk vind: lezen, schrijven, nadenken, de zendeling spelen. Ik had alleen nog ergens een baan nodig.’
Vruchtbare combinatie
Tekenend voor Wagenmakers is dat hij in zijn carrière een aantal keer een grote overstap heeft gemaakt. Hij begon met geheugenonderzoek, daarna werd hij experimenteel psycholoog, vervolgens ging hij zich als mathematisch psycholoog onder andere bezighouden met reactietijdenmodellen en uiteindelijk werd hij steeds meer methodoloog. Juist de combinatie van vakgebieden is vruchtbaar, want daardoor kan hij verschillende werelden bij elkaar brengen.
Na de Veni sleepte hij ook de Vidi- en vervolgens een Vici-subsidie binnen, voor dat laatste was hij betrekkelijk jong. Ook kreeg hij een ERC subsidie (prestigieuze subsidie van de Europese Unie). En hij wordt dus zeer veel geciteerd. Wat doet hij goed? ‘Door de subsidies heb ik een heel groot lab,’ verklaart Wagenmakers. ‘Ik heb hier zo’n twintig mensen rondlopen. Als die ieder jaar een bepaald aantal papers schrijven, dan gaat het snel. Daarnaast werk ik natuurlijk hard. Maar ook wat we doen trekt de aandacht. We hebben mazzel dat we op het juiste moment met de juiste dingen bezig waren. Als je als methodoloog een goed idee hebt van hetgeen waarmee de experimenteel psycholoog mee worstelt en je draagt er een oplossing voor aan, dan wordt je werk meer gelezen en geciteerd dan wanneer je bezig bent met de zoveelste minieme correctie op een ANOVA, zoals collega-methodologen nog wel eens doen.’
Daarnaast schreef hij artikelen over problemen die nogal wat stof hebben doen opwaaien. Neem bijvoorbeeld het artikel dat Wagenmakers schreef als reactie op een onderzoek naar pre-cognitie van sociaal psycholoog Daryl Bem (emeritus-hoogleraar aan de Cornell University). Bem dacht statistisch bewijs te hebben voor het bestaan van precognitie ofwel voor de aanname dat mensen de toekomst kunnen voorspellen. Voor wetenschappers was onmiddellijk duidelijk dat het fenomeen niet kan bestaan. Hoe was Bem dan toch in staat om er in negen experimenten evidentie voor aan te dragen? Wagenmakers en collega’s legden uit dat Bems resultaten minder indrukwekkend waren dan ze leken, omdat Bem de krenten uit de pap had gevist.3 Voor Wagenmakers was dit aanleiding na te gaan hoe het beter kan. ‘Ik bracht preregistratie naar voren, vooraf vertellen wat je denkt te gaan vinden. Adriaan de Groot bepleitte dit al eerder voor andere onderzoeken. Zo’n artikel levert veel citaties op.’
Profijt voor anderen
Behalve een inhoudelijke shift maakte hij nog een andere verandering door. Aanvankelijk interesseerden praktische toepassingen van zijn werk hem niet zo. Wagenmakers: ‘Het ultieme voorbeeld daarvan is schaken, want andere mensen hebben er niets aan dat jij schaakt. In het begin van mijn wetenschappelijke carrière hield het me ook niet bezig. Ook methodologen zijn voor zichzelf bezig; er worden heel wat methodologische bomen geveld in bossen waar nog nooit iemand geweest is.’ Maar voor Wagenmakers lag het inmiddels anders. ‘Als methodoloog ben ik steeds bezig met de vraag: hoe kunnen anderen profijt hebben van mijn werk? Binnen onze groep aan de UvA willen we niet alleen nieuwe methodologie ontwikkelen, maar er ook voor zorgen dat de gemiddelde onderzoeker er iets mee kan. En ook wekken we oude methodologie tot leven en wel op zo’n manier dat het bruikbaar wordt voor niet in methodologie gespecialiseerde onderzoekers.’
‘Af en toe lopen er mannen met stropdassen door de gangen, maar JASP is niet te koop’
Wat de aanleiding van deze verandering was, kan hij ook aanwijzen. ‘Aanvankelijk was ik veel bezig met het uiten van kritiek op hoe de klassieke statistiek binnen de psychologie gebruikt wordt. Maar na publicatie van weer een kritisch artikel over de p-waarde, ergens in 2006, reageerde een vriend met: “Leuk stuk, maar als je echt iets wilt bereiken, moet je niet alleen klagen, maar ook een concreet alternatief bieden.” Daar ben ik vervolgens mee begonnen. Ik maakte een vereenvoudigde versie van de geheugenmodellen van Ratcliff. Die modellen zijn heel goed, maar alleen een expert kan ermee werken. In de vereenvoudigde versie ervan hoef je slechts drie getalletjes in te vullen en dan krijg je belangrijke getallen terug. Zo kan iedereen ze gebruiken zonder eerst door allerlei methodologische hoepels te hoeven springen.’
Vanuit eenzelfde motivatie ontwikkelde Wagenmakers het gratis verkrijgbare statistiekprogramma JASP (Jeffreys’s Amazing Statistics Program, jasp-stats. org). Hierbij ging het hem vooral om de Bayesiaanse statistiek te promoten. ‘Ik gaf er presentaties over. Er zijn heel sterke argumenten voor gebruik van Bayesiaanse statistiek en men nam het ook wel van me aan, maar het is niet makkelijk uit te voeren. Binnen SPSS kun je snel even een klassieke test te doen, maar om een Bayesiaanse analyse te doen, moet je je statistisch bijna laten omscholen. Daarom wilde ik zoveel mogelijk praktische hordes verwijderen en zo een gelijk speelveld creëren tussen de klassieke en Bayesiaanse statistiek.’
Bayesiaanse statistiek is ‘gezond verstand uitgedrukt in getallen’, legt hij uit. ‘Je hebt een aantal rivaliserende hypotheses. De hypotheses die de data het best voorspellen stijgen in aannemelijkheid, terwijl de hypotheses die de data slecht voorspellen in aannemelijkheid dalen. Dat is anders dan de klassieke benadering die het niet over de aannemelijkheid van hypotheses heeft. Toch is dat wat wetenschappers in mijn optiek de hele tijd willen doen: door wat ik in mijn data heb gezien, wordt mijn hypothese aannemelijker. Dat kan alleen maar met de Bayesiaanse statistiek, dus wil ik wetenschappers het gereedschap geven dat aansluit bij wat ze doen. En dat is wat het statistiekprogramma JASP dus doet.’
Het programma is en blijft gratis. Af en toe lopen er mannen met stropdassen door de gangen die JASP willen opkopen, maar Wagenmakers gaat het niet verkopen. Lachend: JASP is niet alleen gratis, de code is openlijk beschikbaar, dus is het niet te verkopen. Voor ons is de uitdaging hoe we het in de lucht houden, aangezien ook wij het niet commercieel kunnen uitbaten.’
Wagenmakers noemt zichzelf een zendeling. Zijn vader was dominee, heeft hij dat van hem? ‘Ja, ja…’ zegt hij. ‘Dat zal ik wel van hem hebben, alleen heb ik de drang om het Baysiaanse evangelie te verkondigen.’ Zelf is Wagenmakers totaal niet gelovig. ‘Maar ik geloof wel in gezond verstand, in logisch redeneren. En ik geloof dat we binnen de wetenschap moeten proberen zoveel mogelijk negatieve invloeden uit te bannen, gevaren als hindsight bias – de tendens dat mensen gebeurtenissen die al hebben plaatsgevonden als voorspelbaarder beschouwen dan ze in feite waren voordat de gebeurtenissen plaatsvonden.’
Iets vergelijkbaars geldt voor de gevaren van confirmation bias – de neiging om op zoek te gaan naar bewijs van zaken die we geloven. Wagenmakers: ‘We moeten begrijpen dat we feilbaar zijn en we moeten ons daar tegen indekken. Mijn vader was heel gedreven en bezielend. Zo ben ik ook, maar dan op een ander vlak.’
Carrières op de schop
Wagenmakers roeit tegen de stroom in, trapt door zijn kritisch tegengeluid soms mensen op hun ziel en door een replicatieonderzoek dat de oorspronkelijke resultaten niet kan repliceren, gooit hij carrières overhoop. ‘Ik probeer het niet op de man te spelen,’ zegt hij. ‘Met hoge uitzondering gebeurt het wel eens, Bem was zo’n uitzondering. Maar ook bij hem legde ik de nadruk op de lessen die we eruit kunnen trekken en niet op de man zelf. Het is geen pretje als je tegen iemand zegt dat je zijn experiment gaat repliceren. Zo’n onderzoeker ziet dat – terecht – als een teken van wantrouwen. Als het goed gaat, wint hij er niet zoveel bij, maar gaat het mis, dan is dat heel vervelend. Sommige mensen reageren daar goed op, die stelden allerhande materiaal ter beschikking en gaven me adviezen. Er zijn er ook die boos worden.’ Hij snapt wel dat het lastig is als je levenswerk door replicatieonderzoek onderuit wordt gehaald en vast het samen met: ‘Dan ben je een deel van je leven bezig geweest met het adverteren van onzin. Dat moet je even wegslikken, dat begrijp ik ook wel.’
‘Als je een deel van je leven bent beziggeweest met het adverteren van onzin, dat moet je dat even wegslikken, dat begrijp ik ook wel’
De replicatiecrisis in de psychologie begon bij Diederik Stapel en Bem, maar is niet alleen toe te schrijven aan individuen, ook het systeem kan fouten veroorzaken. Wagenmakers probeert daarom vooral het systeem aan te pakken. ‘De meeste aandacht ging tot nu toe uit naar sociale psychologie,’ zegt Wagenmakers. ‘Op andere gebieden is nog niet veel replicatieonderzoek gedaan. Maar neem neurowetenschappen. Daar kosten experimenten veel geld en tijd. Als er niets uit een onderzoek komt dat twintigduizend euro gekost heeft, is dat een moeilijke boodschap. De druk om met resultaten te komen is dan groot. Ik ben nog geen onderzoek tegengekomen waar niets uitkomt en dat is raar. Omdat ook replicatie-experimenten duur zijn, zouden we het eerst op een andere manier kunnen proberen. We kunnen de duimschroeven aandraaien en bijvoorbeeld gaan pre-registreren. Ik voorspel dat er een enorme daling optreedt van spectaculaire resultaten. En als dat eenmaal zo is, ontkom je er niet aan terug te gaan naar de belangrijkste experimenten binnen het vakgebied.’
Felle discussie
Hij daagt uit, voert graag discussies en wil mensen overtuigen. Zijn collega’s zeggen dat hij daar fanatiek in is. Wagenmakers: ‘Als je een wetenschapper bent die niet van discussiëren houdt, dan weet ik niet of je het goede beroep hebt gekozen. Bovendien hoort felheid bij een discussie, als je makkelijk opgeeft, is het geen goeie discussie geweest.’
Is hij daarin wellicht fanatieker dan de gemiddelde wetenschapper? ‘Misschien kan ik niet tegen mijn verlies, geen enkele schaker kan tegen zijn verlies. Toch geef ik mijn ongelijk wel toe als het moet.’
Hij is fanatiek. Geobsedeerd door waar hij mee bezig is. Maar het is zeker niet altijd zwaarwichtig. Soms roept hij iets om de discussie uit te lokken. ‘Ik ben een spelletjesmens. Sommige mensen nemen zichzelf wel erg serieus. Ik vind dat je ook tegen een grapje moet kunnen. Voor mij is dat plagen vaak een teken van genegenheid, een manier om een leuk gesprek te hebben. Zelf kan ik er tegen. Nou goed, behalve als mensen domme dingen zeggen over iets dat ik heel serieus neem. Als iemand zijn literatuur niet bijhoudt en maar wat roept over de Bayesiaanse statistiek, dan kan ik daar inderdaad niet om lachen.’
Hij is een hele harder werker, werkte altijd en overal, ook tijdens vakanties, zeggen de mensen om hem heen. Inmiddels heeft hij kinderen, en daarom heeft hij een stapje terug gedaan. Want net als alles wat hij doet, wil hij kinderen opvoeden ook goed doen. ‘Ik werk minder dan voorheen, soms werk ik een heel weekend niet. Maar als je minder tijd hebt, word je wel efficiënter, heb ik gemerkt.’
Van zijn kinderen geniet hij. ‘Ze zijn leuk,’ zegt hij. ‘Nou ja… de jongste is nog zo jong, die lacht alleen nog maar. En die zegt alleen “mama”. Dat is wel teleurstellend. Ik heb niet gewonnen inderdaad, terwijl ik toch de hele tijd “papa, papa, papa” loop te zeggen.’
Mestkever
Waar zijn columns dit jaar in De Psycholoog over zullen gaan? Op het moment van dit gesprek weet hij het nog niet. Hij weet alleen dat hij het heel graag wilde. ‘Toen ik de vraag kreeg, zat ik met mijn vrouw op een terras Zwitserland. Ik zei tegen haar: “Dat lijkt me heel leuk om te doen. Maar wat moet ik, want ik ben methodoloog. Willen ze nu echt elf columns over methodologie?” Mijn vrouw antwoordde: “Als ze een mestkever vragen om elf columns te schrijven moeten ze niet raar opkijken als het elf keer over mest gaat”.’
Beeld: Peter Valckx
