Wetenschap is op te vatten als een soort spel, een spel dat zo fair en zo transparant mogelijk gespeeld zou moeten worden. Volgens Jaap Murre zou het de psychologische wetenschap ten goede komen als tijdschriften een artikel niet accepteren op grond van de resultaten maar op basis van introductie en methode voordat het onderzoek heeft plaatsgevonden. Ingrid Kloosterman, Daniël Lakens en Marcel Veenman dienen hem van repliek.
De betrouwbaarheid van de bevindingen in ons vakgebied liggen de laatste tijd onder vuur. Terecht vind ik. Er is een internationale cultuur ontstaan in het psychologisch onderzoek waarin leuke vondsten en verrassende resultaten makkelijk in toptijdschriften komen, veel aandacht krijgen in de media en tot veel nieuw onderzoek leiden. Dit lijkt een prima ontwikkeling, maar deze kan uiteindelijk desastreus uitpakken voor de psychologie.
Veel van deze verassende en leuke bevindingen hebben namelijk zeer kleine effectgroottes. Dat is een technische manier om te zeggen dat die bevindingen eigenlijk onzin zijn, toevalstreffers, of zelfs foutjes. Onderzoekers die evidentie aandragen dat zo’n leuke vondst toch niet blijkt te kloppen, komen echter nauwelijks aan het woord. In de vakpers overleven onzinnige resultaten daarom heel lang. Dit veroorzaakt binnen de psychologie veel schade door ten onrechte uitgevoerd onderzoek, terwijl het buiten de psychologie bijdraagt aan het beeld van een vakgebied met een zwakke methodologie en vaak onduidelijke resultaten.
Braintraining
Stelt u zich de volgende hypothetische, helaas nogal realistische situatie voor. Een onderzoeker schrijft een aanvraag om een promovendus aan te stellen die onderzoek doet naar braintraining van het werkgeheugen. Tot zijn vreugde krijgt hij het geld, een slordige twee ton, en na een intensieve sollicitatieronde wordt een jonge, enthousiaste aio aangesteld. Onder zijn leiding begint promovenda Anima zich in te lezen in de literatuur over hersenoefeningen en samen besluiten ze voort te bouwen op een recent maar al veel geciteerd onderzoek van Gupta en Fujimora (2010*) waaruit zou blijken dat werkgeheugentraining het iq kan verhogen. Een eerste experiment wordt opgezet waarin de methode nauwgezet wordt gekopieerd, en er wordt een conditie toegevoegd om uit te zoeken of er verschillen zijn in training van het visuele versus verbale werkgeheugen.
De promovenda heeft ondertussen ook een oud paper van expertise-expert Ericsson en zijn collega Chase uit de jaren tachtig van de vorige eeuw gevonden (Ericsson & Chase, 1982). Dat artikel beschrijft dat een van hun proefpersonen week in week uit heeft getraind, net zo lang totdat hij zijn werkgeheugen voor cijfers (de zogeheten digit span) tot wel tachtig cijfers had opgerekt. Dit generaliseerde echter niet tot andere geheugentaken, zelfs niet tot andere werkgeheugentaken. Het knagende gevoel dat er ergens iets niet klopt, wordt sterker als zowel haar eerste als tweede experiment weinig oplevert. De proefpersonen worden wel beter op de werkgeheugentaken, maar hun iq-score neemt in geen enkele conditie toe. Ook als ze nog meer proefpersonen toevoegt en alle analyses nog eens met nonparametrische methoden uitvoert, blijven de resultaten heel duidelijk: geen significant effect op het iq.
Omdat er inmiddels twee jaar verstreken zijn met het langlopende en tijdrovende experiment schrijft ze een paper waarin ze haar nulresultaat rapporteert en stuurt het naar het vakblad Impact in Psychology. Na vier maanden ontvangt ze een heel negatieve beoordeling. Het stuk is afgewezen omdat het ‘niets nieuws’ biedt ten opzichte van het stuk van Gupta en Fujimora (2010). Ook zijn er grote twijfels of de gevolgde methode wel correct is; in het oorspronkelijke experiment werden immers sessies van vijftig minuten in plaats van twee keer 25 minuten met pauze gehanteerd. Het nulresultaat is daarom volgens de eerste reviewer van geen belang.
Als Anima haar resultaat op een congres presenteert, ontmoet ze andere onderzoekers die aan braintraining werken. Na enige biertjes blijkt dat iemand in de groep een onderzoeker van het lab van Gupta en Fujimora kent en dat deze beweert dat deze onderzoekers wel vijftien experimenten hadden gedraaid voordat ze resultaat boekten. De experimenten leken erg op elkaar en meestal kwam er weinig uit. Ook konden ze hun eigen resultaten niet repliceren. Anima kent ondertussen het paper vrijwel uit haar hoofd en weet zeker dat er niets over andere experimenten in staat. Iemand anders heeft gehoord van een groep uit Canada die er evenmin in was geslaagd om het resultaat te repliceren. Gaandeweg vormt zich bij Anima het beeld dat het onderzoek een toevalstreffer was die nooit gepubliceerd had mogen worden, in ieder geval niet zonder daarbij alle mislukte pogingen in detail te vermelden.
In de maanden daarna blijft ze haar paper opnieuw indienen bij andere vakbladen, steeds opnieuw wordt het afgewezen. Niet gelukte replicaties zijn vrijwel niet te publiceren in de psychologie. Ontgoocheld stopt Anima met haar onderzoek, ze gaat werken in de antiekzaak van haar vader.
Parapsychologie
Toen ik zelf nog jong en onbevangen was, volgde ik parapsychologische vakken in Utrecht. Ik leerde over telekinese, telepathie en precognitie en gaandeweg ontmoette ik ook alle onderzoekers die de kleine vakgroep Parapsychologie rijk was. Gek genoeg geloofde de helft van de onderzoekers zelf niet (meer) in het bestaan van paranormale fenomenen. Bij de parapsychologen leerde ik goed experimenteren, want de kwaliteit van onderzoek was zeer hoog. Veel wetenschappers vinden het hoogst onwaarschijnlijk dat paranormale fenomenen bestaan en dus moeten – volgens deze sceptici – alle resultaten daarom wel methodologische artefacten zijn. Om zich daar tegen te verdedigen, waren de parapsychologen in Utrecht heel zuiver in de leer geworden.
Om een voorbeeld te geven: optional stopping – stoppen zodra je denkt voldoende resultaat te hebben en niet pas als je alle geplande proefpersonen getest hebt – was niet aan de orde. Dus Henk Boerenkamp, die onderzoek deed naar de uitspraken van paragnosten, stopte niet voordat hij alle tienduizend geplande paragnostische uitspraken had verzameld, hoewel hij al vrij snel doorkreeg dat het uitermate onwaarschijnlijk was dat de hypothese verworpen kon worden dat paragnosten daadwerkelijk de geclaimde paranormale kennis hebben.
Verder was de vakgroep The European Journal of Parapsychology begonnen, een uniek internationaal vaktijdschrift dat geen papers accepteerde of afwees, maar onderzoeksvoorstellen. Je diende je onderzoeksvoorstel in en als je vraagstelling en methodologie goed waren, accepteerde het tijdschrift je onderzoek ongeacht de latere uitkomst. Je verplichtte je als onderzoeker overigens wel tot publicatie, ook als de uitkomst je niet zinde. Het doel hiervan was om het zogenaamde file drawer-effect tegen te gaan: negentien vergelijkbare (para-)psychologische studies produceren geen significant resultaat, leiden niet tot publicatie en belanden in de lades van diverse onderzoekers. Een twintigste studie is wel statistisch significant en wordt gepubliceerd. Je kunt alleen inschatten dat het een toevalstreffer is, als je de andere negentien studies kent. Maar die liggen helaas nog onbekend te zijn in diverse ‘file drawers’.
Zelf was ik gaandeweg steeds sceptischer geworden over het bestaan van de parapsychologsiche fenomenen, misschien aangestoken door sommige van de Utrechtse parapsychologen. Niettemin besloot ik met twee minder sceptische medestudenten een afstudeeronderzoek op te zetten naar de zogenaamde Ganzfeld-toestand. Proefpersonen zaten in een makkelijke stoel en kregen pingpongballetjes op hun ogen waarop een zwak licht scheen. Je zweeft dan voor je gevoel in een soort lichtgevende mist. Je hebt een koptelefoon op en hoort een zachte ruis. Bij zo’n uniforme stimulatie gaan sommige mensen na een tijdje spontaan hallucineren en veel mensen vangen telepathische signalen op van een ‘zender’ elders. Dit telepathische effect was in ieder geval eerder gerapporteerd en meerdere malen gerepliceerd in de parapsychologische literatuur. Op het onderzoek was echter methodologisch nog wel wat aan te merken, vonden wij, en als ambitieuze studenten besloten wij tot een ‘waterdichte’ replicatie.
Zo wist in ons experiment de proefleider zelf nooit of er wel of geen actieve ‘zender’ was en werden allerlei vormen van lekkage van informatie zoveel mogelijk uitgesloten. Immers, als ik als proefleider weet dat een ‘zender’ zich ergens zit te concentreren op een plaatje van de Eiffeltoren kan ik onbewust allerlei signalen afgeven die de proefpersoon kunnen beïnvloeden, zeker als deze op een gegeven moment moet kiezen uit vier plaatjes die het best passen bij zijn gedachten en gevoelens tijdens het experiment. Ook zetten we de methode op papier, diende die in bij het European Journal of Parapsychology, dat het onderzoek op basis van de motivatie en de methode accepteerde.
Helaas kwam er geen significant resultaat uit het onderzoek. Toen wij dit negatieve resultaat presenteerden op een parapsychologiecongres in Edinburgh, kregen we als verbaasde studenten die hun eerste presentatie hielden zowat de hele zaal over ons heen. Zo zou het onderzoek geen goede methode gehanteerd hebben omdat we de proefpersonen tijdens de Ganzfeld niet hadden laten verbaliseren. Dit was echter nooit eerder als essentieel in de gepubliceerde experimenten genoemd. De andere kritiek was van vergelijkbare aard en ongetwijfeld achterwege gebleven bij een positief resultaat. Vanwege het strikte acceptatiebeleid van het European Journal of Parapsychology werd het onderzoek echter toch gepubliceerd, ondanks het nuleffect.
Pioniers
Helaas is de vakgroep Parapsychologie tijdens een bezuinigingsronde in de jaren tachtig van de vorige eeuw opgeheven en bestaat ook het blad niet meer. Maar in mijn ogen waren het pioniers waar alle vaktijdschriften een voorbeeld aan kunnen nemen: besluit niet tot acceptatie op grond van resultaten in een paper, maar op basis van introductie en methode, voordat het onderzoek heeft plaatsgevonden. Daarmee voorkom je problemen met het publiceren van nulresultaten bij replicaties en beperk je ook de toepassingen van allerlei verleidelijke technieken om statistische significanties op te schroeven, zoals meer proefpersonen draaien, uit meerdere condities de meest significante kiezen (en de rest minder belangrijk maken of zelfs ‘vergeten’ te vermelden), creatief gaan variëren met soorten statistische tests, et cetera. Dit alles moet je van tevoren vastleggen en precies zo rapporteren als gepland. Alle variaties die je achteraf verzint worden post hoc vermeld.
Als het blad Impact in Psychology Anima’s experiment op voorhand had beoordeeld op methode en kwaliteit van vraagstelling en op grond daarvan had geaccepteerd, dan was er een goede onderzoeker behouden geweest voor de psychologie, was er geen twee ton belastinggeld vermorst en was er bijgedragen aan de correcte beeldvorming over een toevalstreffer die op oneigenlijke wijze in de literatuur terechtgekomen is en daar nog jarenlang het vakgebied van de psychologie blijft vervuilen. Een recent begin met een opruimactie is de website psychfiledrawer.org waar je replicaties kunt aanmelden en inzien en waar twintig papers genoemd worden waarvan de oprichters menen dat ze gerepliceerd moeten worden.
Het dweilen is begonnen. Nu die kraan nog dicht.
Over de auteur
Jaap Murre is hoogleraar theoretische neuropsychologie en verbonden aan de Programmagroep Brein en Cognitie van de Universiteit van Amsterdam. E-mail: j.m.j.murre@uva.nl.
Reactie Daniël Lakens – Toegankelijke voorspellingen vooraf bij elke studie
Jaap Murre bespreekt, terecht, enkele prangende problemen. We hebben momenteel gebrekkige kennis over hoe robuust onderzoeksresultaten in de psychologie zijn. De afgelopen jaren is het besef ontstaan dat de geloofwaardigheid van de psychologie hierdoor in het geding is, en dit besef geeft momentum aan het doorvoeren van veranderingen in hoe wetenschappers werken.
In veel opzichten kan ik me vinden in het voorstel om op basis van methode, niet op basis van significantie van de uitkomsten, artikelen te accepteren. Voor replicatieonderzoek is dit format uitstekend geschikt. Zelf ben ik (met Brian Nosek) editor van een speciale editie van het blad Social Psychology waarin onderzoekers directe replicaties van belangrijke resultaten binnen de sociale psychologie kunnen publiceren. De opzet is in lijn met het voorstel van Murre. Onderzoekers overleggen de methode (waarbij ze vooral moeten zorgen voor voldoende statistische kracht om het effect daadwerkelijk aan te tonen). Deze methode wordt door reviewers (onder wie de oorspronkelijke onderzoekers) gecontroleerd. En als de methode goed is bevonden, dan wordt het onderzoek geaccepteerd voor publicatie. De onderzoekers voeren het onderzoek dan uit, en rapporteren de uitkomsten – ongeacht statistische significantie.
Natuurlijk kunnen we niet elke methodologisch perfect uitgevoerde replicatie accepteren in onze tijdschriften. Het Open Science Framework is bezig met een artikel over het bepalen van de waarde van een replicatie: the replication value. Van belang is hoe vaak een artikel geciteerd en gerepliceerd is. Scheefgroei tussen deze twee factoren (een veel geciteerd artikel dat weinig is gerepliceerd) verhoogt de waarde van een directe replicatie. Hoe hoger de waarde, hoe beter het blad waar zo’n replicatie in zou horen te verschijnen.
Problematischer wordt het met onderzoek naar nieuwe effecten. Het publiceren van nuleffecten is daar niet altijd even interessant. Stel mijn nieuwe onderzoekshypothese is dat wanneer ik harder praat, mensen mijn argumenten meer geloofwaardig vinden. Het zou (voor zover ik weet) een volstrekt nieuw fenomeen laten zien. De editor van een toptijdschrift is enthousiast, de reviewers zien het ook wel zitten, en dus wordt mijn artikel alvast geaccepteerd. Ik ga aan de slag, en wat blijkt: ik vind een significant verschil tussen harde en zachte praters op geloofwaardigheid, maar in omgekeerde richting. Hoe harder ik praat, des te minder ik geloofd word. Wat nu? Moet ik nu echt een artikel schrijven waarin ik zeg dat er geen steun was voor mijn hypothese? Stel ik mijn hypothese bij? Doe ik de studie nog eens over? Of stuur ik beide studies op in een artikel over het onverwachte effect dat zachte sprekers geloofwaardiger zijn?
Er is een alternatief. In plaats van artikelen te accepteren op basis van hun methode, kunnen onderzoekers van tevoren hun voorspellingen voor elke studie die ze uitvoeren opschrijven op een plek die toegankelijk is voor reviewers en editors. Het is dan duidelijk hoeveel studies er door de onderzoekers gedraaid zijn (het file drawer-probleem is opgelost), en er kan niet meer gerommeld worden met de analyses nadat de data binnen zijn (behalve in exploratieve analyses, die zonder dat ze gerepliceerd worden, niet te veel waarde krijgen). Als je dan een studie opstuurt, kunnen reviewers zien hoe vaak je een studie gedaan hebt, en wat je vooraf voorspelde. Het voordeel is dat we niet met tijdschriften eindigen boordevol studies die door voortschrijdend inzicht achterhaald zijn op het moment dat ze gepubliceerd worden. In de medische wetenschappen wordt deze voorregistratie van experimenten al toegepast. De psychologie heeft alleen maar te winnen bij het doorvoeren van dit soort verbeteringen.
Over de auteur
Dr. Daniël Lakens is als universitair docent verbonden aan de Human Technology Interaction Group van de Technische Universiteit Eindhoven.
E-mail: D.Lakens@tue.nl.
Reactie Marcel Veenman – Een tijdschrift moet wél artikelen accepteren, zelfs wanneer er nuleffecten worden gerapporteerd
Laat ik helder zijn: ik ben het eens met Murre dat tijdschriften ook studies met nuleffecten zouden moeten rapporteren. Een protoypisch voorbeeld is de werking van medicijn X. In een studie blijkt medicijn X een sterk effect te hebben op het verlagen van de bloeddruk, maar in diverse andere studies niet. Mede onder invloed van de producent, wordt alleen de eerste studie gepubliceerd met een goede omzet als gevolg (en vertekening van onze kennis).
In de psychologie heeft de opdrachtgever minder invloed op de publicatie van onderzoeksresultaten. Onder invloed van de wetenschapsfilosoof Karl Popper (alleen significante verschillen tellen mee) leggen wij, psychologen, ons zelf deze beperking op. En toch doen wij onszelf daarmee tekort. Wij doen, bijvoorbeeld, onderzoek naar hoe samenwerkend leren de prestatie van individuele leerlingen kan verbeteren, soms met positieve effecten, soms ook met negatieve effecten. De laatste bevindingen worden om redenen van sociaal wenselijkheid nauwelijks gerapporteerd. Onterecht, want elders op deze wereld proberen wellicht diverse andere onderzoekers hetzelfde leereffect te bewerkstelligen, zonder kennis van eerder falen. Tot zover mijn pleidooi ten faveure van Murre.
Het beoordelen van onderzoeksvoorstellen voorafgaand aan publicatie biedt echter nauwelijks soelaas. Te vaak blijken omstandigheden van invloed te zijn op de uiteindelijke resultaten van een onderzoek. Achteraf blijken resultaten vaak te worden beperkt door de selectie van de onderzoeksgroep, de beschikbaarheid van participanten, de onderzoekssituering etc. Niets mis mee, maar niet alle onderzoeksresultaten zijn dus even relevant. Relevantie is het kernbegrip waar het volgens mij om draait bij het beoordelen van de publiceerbaarheid van resultaten.
Toen ik in 2005 aantrad als founding editor van Metacognition and Learning, een internationaal tijdschrift van Springer, nam ik mij voor om serieus te kijken naar ‘relevante’ nuleffecten. Niet helemaal verbazingwekkend werden er in de jaren daarna nauwelijks of geen papers aangeboden met nuleffecten. Zelfcensuur door onderzoekers, gewend aan publicatieperikelen, is een realistische verklaring. Het wordt pas publiceerbaar leuk wanneer je ‘echte’ verschillen vindt, zelfs wanneer je die verschillen niet hebt beoogd.
Waarom nu relevantie? Het is niet zo interessant aan te tonen dat neuspeuteren, om maar een willekeurig non-voorbeeld te noemen, wel of geen effect heeft op examencijfers. Het wordt pas echt interessant wanneer een verwacht effect, op grond van een gedegen theorie, uitblijft. Dat zet ons, onderzoekers, aan tot nadenken.
Om een recent voorbeeld uit eigen onderzoek te geven: aangenomen wordt dat hoogbegaafden ook vanzelfsprekend beter zijn in het metacognitief reguleren en sturen van hun gedrag (Sternberg, 1991). Uit ons onderzoek is echter gebleken dat de helft van de intellectueel hoogbegaafden (met een iq ≥ 130) zichzelf maar zeer pover meta-cognitief blijkt aan te sturen. In vervolgonderzoek vonden wij vervolgens een perfect nuleffect van het geven van metacognitieve hints tijdens het uitvoeren van een leertaak, ondanks dat wij konden zien dat leerlingen de hints serieus opvolgden. Einde verhaal zou je denken. Er moet echter een onderscheid worden gemaakt tussen leerlingen met een beschikbaarheidsdeficientie (de vaardigheid is geheel afwezig) en leerlingen met een productiedeficientie (de vaardigheid is er wel, maar wordt om een of andere reden niet toegepast). Het geven van metacognitieve hints zou een productiedeficientie volgens de onderzoeksliteratuur moeten opheffen, maar niet van invloed zijn op een beschikbaarheidsdeficientie, waarvoor uitgebreide training nodig is (Veenman, Imthorn & Kerseboom, 2000). Het nuleffect in bovengenoemd onderzoek laat in ieder geval zien dat intellectueel hoogbegaafden niet (uitsluitend) lijden aan een productiedeficientie. De alternatieve verklaring is dat zij, de helft van onze hoogbegaafde participanten, de metacognitieve vaardigheden van doelen stellen, plannen, zichzelf controleren en evalueren echt niet beheersen.
Conclusie is dat bij elk nuleffect dus een goed verhaal hoort. Editors van tijdschriften zouden meer ontvankelijk moeten zijn voor een goede theoretische onderbouwing van nuleffecten dan voor het uitblijven van significante resultaten.
Over de auteur
Marcel V.J. Veenman is als psycholoog verbonden aan de sectie Ontwikkelings- & Onderwijspsychologie van de Universiteit Leiden en is oprichter van het Instituut voor Metacognitie Onderzoek Hillegom.
E-mail: veenman@fsw.leidenuniv.nl.
Reactie Ingrid Kloosterman – Lessen uit de parapsychologie
In het voorstel van Jaap Murre om een voorbeeld uit de parapsychologie te volgen schuilt iets paradoxaals. Immers, wat voor goeds kan er voortkomen uit het navolgen van praktijken uit een omstreden onderzoeksgebied, dat niet alleen tegenwoordig nauwelijks meer iets voorstelt maar bovendien vaak juist wordt aangevoerd als het voorbeeld van dubieuze onderzoekspraktijken – in de vorm van de experimenten van Daryl Bem (2011)?
Wat de parapsychologie en de gehele psychologische wetenschap van nu gemeen hebben, is dat ze flink onder vuur liggen van de buitenwacht. Uit mijn onderzoek naar de geschiedenis van de Nederlandse parapsychologie blijkt dat parapsychologen zich vanaf het begin van de twintigste eeuw steeds vaker hebben moeten verdedigen tegen kritiek. Het is door voortdurende aanvallen van buitenaf – door zowel andere wetenschappers als de samenleving in haar geheel – dat parapsychologen voortdurend werden gedwongen de gangbare onderzoeksmethoden zo streng mogelijk te hanteren. Deze strijd van de parapsychologie is daarmee te beschouwen als een uitvergroting van de huidige vraagstukken in de psychologie.
Het ligt dan ook voor de hand te onderzoeken hoe een omstreden discipline als de parapsychologie in praktische zin is omgegaan met de voortdurende kritiek op het onderzoek. Hierbij moeten we echter niet uit het oog verliezen dat de parapsychologie gedurende haar hele geschiedenis een klein en marginaal veld is geweest. Dit maakte het goed mogelijk om artikelen te accepteren op basis van de onderzoeksopzet. Maar als we dat uitgangspunt gaan toepassen op de hedendaagse psycholo-gische wetenschap – zoals Murre voorstelt –, dan zouden er waarschijnlijk gigantische wachtlijsten voor publicatie ontstaan. Desalniettemin valt er veel voor te zeggen om de (vooraf vastgelegde) onderzoeksopzet van psychologische onderzoek een vast onderdeel te laten zijn van de review-procedure om daarmee de publicatiebias te verkleinen.
De huidige problemen in de psychologische wetenschap lijken evenwel vooral te huizen in een (te) kritiekloze houding. Het is hier dat de huidige psychologie lering zou kunnen trekken uit de parapsychologie, meer dan enkel in praktische zin. Murre schetst een beeld van agnostische parapsychologen in de jaren zeventig. Naast het feit dat het maar zeer de vraag is in hoeverre parapsychologen sceptisch stonden tegenover hun eigen onderzoeksobject, is zeer tekenend dat op de conferentie waarin Murre verhaalde over zijn replicatie van het Ganzfeld-experiment hij en zijn studiegenoten werden ‘gelyncht’. Tekenend omdat het laat zien dat de strenge methodologische houding van veel parapsychologen niet gestoeld was op zelfkritiek of zelfreflectie, maar voornamelijk voortkwam uit een reactie op kritiek van buitenaf.
De discussie over de onderzoeksmethoden zoals deze zich momenteel afspeelt binnen de psychologie is eveneens te duiden als behoorlijk reactief. Pas op het moment dat de Stapel-affaire zich ontspon of dat experimenten naar precognitie positief uitpakten en werden gepubliceerd in een gerenommeerd tijdschrift, zagen psychologen zich genoodzaakt onderzoek kritisch onder de loep te nemen. Om de huidige problemen binnen de psychologie werkelijk te kunnen oplossen is meer nodig dan enkel praktische oplossingen. Een reactieve houding ten opzichte van de geuite kritiek zou moeten worden aangevuld met een actieve houding.
Eén van de manieren om dit te bewerkstelligen is meer aandacht te schenken aan wetenschapsgeschiedenis en wetenschapsfilosofie binnen de psychologie. Met meer kennis van de geschiedenis van psychologisch onderzoek en meer begrip van basale wetenschapsfilosofische uitgangspunten wordt de kans kleiner dat psychologische onderzoekers zich verliezen in het produceren van leuke, maar slecht onderbouwde resultaten. Voor dergelijk onderzoek geldt in feite hetzelfde als waarmee de parapsychologen voortdurend om de oren werden geslagen: ‘Extraordinary claims require extraordinary evidence.’
Over de auteur
Ingrid Kloosterman is als promovendus verbonden aan de Universiteit Utrecht en doet onderzoek naar de geschiedenis van de Nederlandse parapsychologie. E-mail: i.e.kloosterman@uu.nl.
Literatuur
Literatuur Jaap Murre
- Ericsson, K. A., & Chase, W. G. (1982). Exceptional Memory: Extraordinary feats of memory can be matched or surpassed by people with average memories that have been improved by training. American Scientist, 70(6), 607-615. doi: 10.2307/27851732
- * Gupta en Fujimora (2010) is een gefi ngeerde referentie, met een verwijzing naar de vermaarde wetenschappelijke fraudeurs Gupta (in India) en Fujimora (in Japan).
Literatuur Marcel Veenman
- Sternberg, R.J. (1991). Metaphors of the mind. Conceptions of the nature of intelligence. New York: Cambridge UP.
- Veenman, M. V. J., Kerseboom, L. & Imthorn, C. (2000). Test anxiety and metacognitive skillfulness: Availability versus production defi ciencies. Anxiety, Stress, and Coping, 13, 391-412.
Literatuur Ingrid Kloosterman
- Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and aff ect. Journal of Personality and Social Psychology, 100, 407-425.
