Een e-mail van Daniel Kahneman aan zijn collega’s, waarin hij zijn zorgen uitte over de geloofwaardigheid van het priming-onderzoek, lekte uit naar onder meer Nature. Onder meer de Nijmeegse psycholoog Ap Dijksterhuis kreeg het zwaar te verduren omdat zijn priming-experimenten niet konden worden gerepliceerd. Hoe staat het nu met het onderzoek naar social priming? Iris Dijkstra ging op onderzoek uit. ‘Binnen de sociale psychologie in Nederland voltrekt zich een ware cultuuromslag.’
Het is alweer ruim een jaar geleden dat de bom barstte. Eind september 2012 stuurde Princeton-psycholoog prof.dr. Daniel Kahneman een e-mail aan vakgenoten die zich bezighielden met social priming. Er dreigt een treinramp, schreef de Nobelprijswinnaar: jullie onderzoeksgebied is niet geloofwaardig meer. Doe wat aan deze puinhoop, collega’s! In zijn brief refereerde Kahneman aan de fraudezaken die de sociale psychologie eerder op zijn kop hadden gezet. Zowel Diederik Stapel als Dirk Smeesters hadden zich met social priming beziggehouden. Verder noemde hij de algemene problemen die er zijn met replicatie, oftewel herhalingsonderzoek, en stelde hij dat experimenten niet altijd de fundamentele pijlers onder het vakgebied bevestigen. Tel daarbij op het filedrawer-probleem (de onwil van traditionele vaktijdschriften om replicaties te publiceren, zeker als daar niets spectaculairs uitkomt) en je weet niet meer wat je nog moet geloven. Redenen genoeg, kortom, voor Kahneman om aan de bel te trekken.
Wat moeten we denken van het onderzoek naar social priming? En: hoe moet het verder?
Teer punt
De term social priming verwijst naar het feit dat mensen onbewust signalen opvangen die hun gedrag beïnvloeden. Ze zien bijvoorbeeld in een flits het woord ‘bejaard’ voorbijkomen, en gaan daarna langzamer lopen. Of ze worden ‘geprimed’ met een woord als ‘hoogleraar’ en scoren vervolgens hoger op een intelligentietest. Die koppeling tussen waarneming en gedrag is bij social priming essentieel.
Er zijn ook andere soorten priming. Zo kan een slordig geschreven B ook worden gelezen als het getal 13. Proefpersonen die zijn geprimed met letters zien eerder een B, mensen die zijn geprimed met cijfers een 13. Hier is dus wat je waarneemt afhankelijk van wat je eerder hebt waargenomen. Dit wordt cognitieve priming genoemd.
Zo zijn er nog diverse andere priming-varianten. Over het bestaan van zúlke vormen van priming zijn wetenschappers het wel eens. Maar social priming? Oei, dat is een teer punt. Kahneman kan erover meepraten. Zijn e-mail, waarover Nature als eerste berichtte, veroorzaakte een schokgolf, zowel in de media als onder sociaal psychologen – de psychologen die zich het meest met social priming bezighouden. Terwijl Kahneman toch alleen zijn bezorgdheid had willen uiten, laat hij per e-mail weten. Hoewel hij de geadresseerden toestemming gaf zijn brief door te sturen naar iedereen voor wie deze relevant zou kunnen zijn, was het nooit zijn bedoeling dat de bewuste brief openbaar zou worden. ‘Ik had geen idee dat Nature hem ging publiceren. Ze hebben me er ook flink mee in verlegenheid gebracht. Als ik had voorzien dat die brief zou worden gelekt, dan zou ik me nooit in termen als “a train wreck looming” hebben uitgelaten. Dat was veel te stellig geformuleerd.’
Hij deed zijn beklag bij de hoofdredacteur. Die zou Kahnemans verweer publiceren, maar dat gebeurde nooit. Kahneman zegt nog altijd niet aan het bestaan van priming-effecten te twijfelen. Nee, ook niet aan het bestaan van social priming. ‘Ik zie geen enkel theoretisch argument om social van cognitieve priming te onderscheiden,’ schrijft hij. ‘Ik ben ervan overtuigd dat zulke effecten bestaan.’
Effectgedreven
Daar kijkt sociaal psycholoog dr. Daniël Lakens, universitair docent aan de Technische Universiteit Eindhoven, van op. ‘Natuurlijk pikken mensen signalen op, maar die zijn zo weer verdwenen. Een woord kan best een ander woord activeren, zoals bij cognitieve priming. Maar of het ook je gedrag beïnvloedt, en hoe dat dan werkt, dat is onduidelijk. Er is nog onvoldoende steun voor een theorie die de link tussen priming en gedrag kan verklaren.’
Het is een van de grootste bezwaren die hij tegen het vakgebied heeft. ‘Social priming is niet precies genoeg gedefinieerd om het ooit te bevestigen of te ontkennen. Het is vooral effectgedreven onderzoek, het idee erachter wordt vaak niet precies genoeg getest. Dát is het probleem. Je hebt geen flauw benul waardoor een effect wordt veroorzaakt en wat je eigenlijk aan het onderzoeken bent. Maar ach, je hebt een resultaat, het doet het goed in de kroeg, dus schrijf je het maar op. Waar in andere vakgebieden effecten heel precies bekeken worden, worden bij social priming vaak nieuwe effecten gepubliceerd in plaats van dat men bestaande effecten eens goed uitpluist.’
Als voorbeeld noemt Lakens het experiment dat de Amerikaanse sociaal psycholoog John Bargh in 1996 uitvoerde. Bargh is min of meer de grondlegger van het priming-onderzoek. Onlangs is bekend geworden dat aan hem de apa Distinguished Scientist Award 2014 is toegekend. Hij was ook degene die beweerde dat mensen langzamer gaan lopen als je ze primet met woorden als ‘oud’ en ‘sloom’. Zijn artikel hierover is intussen meer dan tweeduizend keer geciteerd. Terwijl niemand precies weet waarom Bargh vond wat hij vond.
Lakens: ‘Dat was nu zo’n effectgedreven experiment. Waaróm mensen nu precies langzamer gaan lopen is niet duidelijk. Het experiment is ook nauwelijks gerepliceerd. Maar dat weerhoudt mensen er niet van het eindeloos te citeren. Het wordt ook gezien als een van de pijlers van het social priming-onderzoek. Terwijl we dus niet eens weten wat er nu echt gebeurd is.’
Non-replicatie
Binnen het vakgebied social priming is inderdaad nog weinig herhalingsonderzoek uitgevoerd. Althans, directe replicaties zijn er nog niet zoveel; er zijn vooral zogenaamde ‘conceptuele’ replicaties gedaan. Dat wil zeggen dat onderzoekers nieuwe experimenten verzinnen die variaties op hetzelfde priming-thema zouden vormen.
Maar critici vegen met zulke replicaties de vloer aan. Methodoloog dr. Jelte Wicherts, universitair hoofddocent aan Tilburg University: ‘Je kunt er alleen dingen mee verifiëren, nooit falsificeren. Als er niks uit zo’n replicatie komt, dan ligt het aan de variatie op het thema. Komt er wel wat uit, dan is het blijkbaar mooi nieuws.’ Daarom moeten er veel meer directe replicaties komen, aldus Wicherts, en moet een theorie hard genoeg zijn om te kunnen zeggen: “Als dit niet uitkomt, dan is dat een groot probleem voor dit onderzoeksgebied.” ‘Zulke cruciale experimenten heb ik in het social-priming-onderzoek nog niet gezien.’
Toch vinden er ook in het social-priming-onderzoek directe replicaties plaats. Deze bevestigen niet altijd eerder gevonden effecten – maar dat komt in meer wetenschapsgebieden voor. Alleen hadden priming-onderzoekers zich wel wat bescheidener mogen opstellen, meent Lakens. ‘Ze zeggen nu: “We weten nog zo weinig, we zijn pas twintig jaar bezig.” Maar ze hebben die twintig jaar wel van de daken lopen schreeuwen wat social priming allemaal kon doen voor je en hoe belangrijk het was. Geef dan aan dat je echt geen idee hebt, of schrijf op wat we dan wel weten. Het is allemaal zo onduidelijk in dit vakgebied.’
Lakens vindt de oproep van Kahneman dan ook terecht en haalt zijn schouders op over de imagoschade die de uitgelekte mail van Kahneman heeft opgeleverd. ‘Het gaat er toch om dat we kennis vergaren? Het gaat toch niet om imago? Er is binnen het veld nu eenmaal wel iets te bespreken. Daar heeft Kahneman terecht op gewezen.’
Maar de Nijmeegse sociaal psycholoog prof. dr. Ap Dijksterhuis, die zich tot een jaar of tien geleden met social priming bezighield, is het daar niet mee eens. ‘Kahneman benoemt probemen die in de hele psychologie spelen, niet alleen in het vakgebied van social priming,’ zegt hij. Hij noemt de zogenaamde non-replicaties: herhalingingsexperimenten die een eerder gevonden effect niet bevestigen. Dijksterhuis: ‘Die worden wel erg uitvergroot als het om social priming gaat. Non-replicaties komen zo vaak voor – het is iets van alle tijden en alle deelgebieden in de psychologie. Het zijn ook niet die non-replicaties die het probleem vormen; het is de enorme aandacht ervoor die problematisch is.’
Zelf kwam Dijksterhuis het afgelopen jaar vanwege zo’n nonreplicatie onder vuur te liggen. Een groep Britse onderzoekers onder leiding van David Shanks deed een experiment uit 1995 van Dijksterhuis over, maar kon de effecten niet bevestigen. ‘A fresh blow for social psychology’ kopte Nature een paar dagen later. Om vervolgens te melden dat Nederland hiermee in verlegenheid brengt aangezien al twee andere sociaal psychologen in opspraak zijn geraakt. Dijksterhuis is er goed ziek van geweest. Het had weinig gescheeld of hij had ook niet aan dit artikel meegewerkt. ‘Er is al veel te veel over dit gedoe gezegd, ik was juist zo blij dat iedereen erover op leek te houden,’ mailt hij in eerste instantie.
‘Een hele rare, persoonlijke aanval,’ oordeelt ook Wicherts. ‘Een non-replicatie hoeft helemaal niet te betekenen dat er is gefraudeerd. Heel veel resultaten worden in volgende experimenten niet bevestigd.’
Sloppy science
Ook Wicherts denkt dat de problemen waar het social priming-onderzoek mee tobt in meer vakgebieden van de psychologie spelen. Hij doelt op dubieuze praktijken zoals het net zolang doorgaan met analyseren van data tot je een significant effect vindt, uitschieters uit je analyse halen als dat een beter resultaat geeft, of achteraf je hypothesen verzinnen. Dergelijk gedrag noemde de commissie- Levelt die de fraude van Stapel onderzocht sloppy science. Het zou volgens de commissie in de hele sociale psychologie de gewoonste zaak van de wereld zijn.
Maar Wicherts denkt dat wel meer psychologen er een potje van maken. In diverse artikelen toonde hij (al dan niet samen met collega’s) aan dat psychologen uit allerlei vakgebieden regelmatig miskleunen met hun rapportage, statistische analyses en conclusies. En hoe meer het artikel rammelt, hoe minder ze bereid zijn hun gegevens te delen.
Sloppy science is dus niet uniek voor social priming, zou je zeggen. Toch kijkt prof. dr. Rolf Zwaan, cognitief psycholoog aan de Erasmus Universiteit, daar anders tegenaan. Hij was voorzitter van de commissie die de fraude van Smeesters onderzocht. En Zwaan schrok van de artikelen die hij onder ogen kreeg. ‘De haren rezen me te berge. Het geringe aantal proefpersonen, de slordigheid waarmee alles was opgeschreven, het gebrek aan controle over de manipulaties … En dan vinden ze ook nog behoorlijk grote effecten. Ik snap niet hoe dat kan.’
Hij schreef een aantal pittige blogs over het wel, maar vooral het wee van het social priming-onderzoek. Zwaan is van mening dat er in dit veld problemen spelen die je elders minder ziet. ‘Wij bespreken zulke artikelen hier tweewekelijks met collega’s van verschillende afdelingen. Iedereen ziet de problemen, studenten ook. Kijk, dat er zulke papers geschreven worden, dat is één ding. Maar dat er ook nog mensen naar gekeken hebben en hebben gezegd “dit is goed, dit kan door voor publicatie”, dat vind ik verbijsterend.’
Smeesters verweer is Zwaan dan ook altijd bijgebleven. ‘Toen we hem confronteerden met de bizarre dingen die we in zijn artikelen waren tegengekomen, zei hij: “Dat doet iedereen hier zo.” Toen dacht ik nog: Dat zegt hij om zichzelf vrij te pleiten. Maar de keer daarop kwam hij met een stapel papers aan zo dik als een pak printerpapier en zei hij: “In deze artikelen doen ze precies hetzelfde.” We hebben dat verder niet bekeken, want dat viel buiten onze opdracht. Maar het is bij mij wel blijven hangen, we hebben het ook in ons eindrapport gezet. Ik denk dat er misschien wel iets in zit.’
Openheid
Zwaan vindt het bijzonder problematisch dat social primingonderzoekers niet alle details van hun experimenten vermelden in hun artikelen. Dat maakt het lastig onderzoek te repliceren. Maar bovenal kunnen onderzoekers zich op deze manier makkelijk verschuilen, vindt Zwaan. ‘Als je in een paper zegt: “We hebben bij veertig studenten die en die vragenlijst afgenomen” en iemand anders herhaalt het onderzoek maar vindt niks, dan kun je niet aankomen met: “Ja, maar wij testten ze in andere ruimtes.” Alsof dat ineens heel belangrijk is. Zo kun je achteraf altijd wel wat verzinnen. Als die testruimte echt zo belangrijk was, waarom staat dat dan niet in het artikel?’
Daniël Lakens is het met hem eens. ‘Ik vind een onderzoek geen wetenschap als het niet te repliceren is. Je moet iets kunnen repliceren, anders weet je niet dat het werkt. Of je moet kunnen voorspellen wannéér iets werkt – dan snap je het onderliggende mechanisme ook. Maar je moet dus wel in je artikel zetten wat precies van belang is. Daar kun je niet achteraf nog eens mee aankomen.’
Ook Ap Dijksterhuis kreeg het verwijt dat hij geen openheid van zaken gaf toen de groep die zijn experiment uit 1995 over wilde doen ernaar vroeg. Dijksterhuis noemt het ‘een beetje een onzinverhaal’. Hij vertelt hoe hij en nog een paar andere primingonderzoekers ‘nogal hijgerig’ werden uitgedaagd om met een paradigma te komen dat ze konden repliceren. ‘Ons verweer was dat er elke maand nieuwe papers over social priming uitkomen en dat ze die maar moesten gebruiken. Kahneman vond mijn experiment uit 1995 ook te oud, hij zei dat de sceptici beter hun tanden konden zetten in recent onderzoek. Later heeft een priming-onderzoeker zijn paradigma wel aangeboden, maar daar gingen de sceptici niet op in. Kahneman heeft hun toen gevraagd wat ze nu eigenlijk wilden, maar daar gaven ze geen antwoord op. Toen is de discussie doodgebloed.’
Handen ineen
Hoe moet het nu verder met het social priming-onderzoek? Rolf Zwaan oppert dat alle grote onderzoeken waar het vakgebied op stoelt systematisch zouden moeten worden overgedaan. ‘Zoals een ijsmeester nagaat hoe dik het ijs is waar iedereen op vertrouwt, zo moeten priming-onderzoekers nagaan hoe dik hún ondergrond eigenlijk is. Terug naar af dus; beroemde experimenten overdoen en nadenken over de theoretische basis ervan. Want hoe werkt het nou precies? Aan zowel replicatie als theorievorming zou wel wat meer mogen gebeuren.’
Kahneman vindt dat social priming-onderzoekers meer openheid van zaken moeten geven en meer moeten samenwerken. ‘Als onderzoeksgroepen elk hun sterkste resultaat selecteren, daarna elkaars experimenten overdoen en gezamenlijk met de resultaten naar buiten komen, dan hoeven ze zich niet individueel druk te maken over replicaties die eerdere resultaten niet bevestigen,’ mailt hij. ‘Je kunt namelijk nogal wat over je heen krijgen als een replicatie niet uitpakt zoals verwacht. Gezamenlijk optrekken kan je hiertegen beschermen.’
Ook Jelte Wicherts zou graag zien dat onderzoekers de handen ineenslaan. ‘Doe een experiment, herhaal dat in een paar landen, combineer de data en schrijf samen een artikel. Dan staan daar maar dertig auteurs boven – kan mij het schelen. Je weet dan wel hoe iets zit.’
De editors van tijdschriften zouden ook veel kritischer moeten zijn, vindt Wicherts. Zij moeten ervoor zorgen dat een artikel niet alleen een leuk verhaal is, maar vooral een accurate weergave van het experiment vormt. Ook preregistratie is van belang: van tevoren vastleggen wat je wilt onderzoeken, hoe je dat gaat doen, welke analyses je gaat uitvoeren. En vastleggen dat je de resultaten openbaar zult maken, ongeacht wat die resultaten zullen zijn.
Aan al deze punten wordt intussen hard gewerkt. Vriend en vijand zijn het erover eens dat zich binnen de sociale psychologie in Nederland een ware cultuuromslag voltrekt. Er is meer openheid, er wordt meer samengewerkt, er is meer aandacht voor replicatie, dataverzameling en -analyse, zowel binnen vakgroepen als op congressen en in tijdschriften. Daarmee loopt het vakgebied intussen voor de troepen uit. ‘De Nederlandse sociale psychologie trekt echt de kar nu,’ zegt Wicherts. ‘De aanleiding was misschien niet zo vrolijk, maar er zijn daardoor wel serieuze stappen gezet. Een hele prettige ontwikkeling.’
Ap Dijksterhuis baalt er dan ook van dat de media telkens weer beginnen over het gedonder in zijn vakgebied. ‘Daar ben ik helemaal klaar mee. Ik hoor het van collega’s ook, iedereen heeft er genoeg van. We willen vooruit. Er is sinds Kahneman al zoveel veranderd, de media moeten geen oude koeien uit de sloot blíjven halen.’
Over de auteur
Dr. Iris Dijkstra is psycholoog en journalist.
E-mail: iris@irisdijkstra.nl, website: Iris Dijkstra.
Bronnen
- http://www.nature.com/polopoly_fs/7.6716.1349271308!/suppinfoFile/Kahneman% 20Letter.pdf.
- http://rolfzwaan.blogspot.nl/
- Bargh,J.A., Chen, M. & Burrows, L. (1996). Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action. Journal of Personality and Social Psychology, 71, 230-244.
- Dijksterhuis, A. & Knippenberg, A. van (1998). The relation between perception and behavior or how to win a game of Trivial Pursuit. Journal of Personality and Social Psychology, 74, 865-877.
- Shanks DR, Newell BR, Lee EH, Balakrishnan D, Ekelund L et al. (2013) Priming Intelligent Behavior: An Elusive Phenomenon. PLoS ONE 8(4): e56515. doi:10.1371/journal. pone.0056515
