Om de zes jaar worden de Nederlandse universiteiten gevisiteerd en het wetenschappelijk onderzoek beoordeeld. Uit het laatste visitatierapport, Research Review Psychology 2011, blijkt dat veel Nederlandse psychologie van wereldklasse is. Een gesprek met emeritushoogleraar Don Mellenbergh, die de laatste visitatiecommissie voorzat. ‘Er moet altijd ruimte zijn voor onderzoekers die tegendraads zijn, die iets totaal anders bedenken.’
In het voetbal zou zoiets onmogelijk zijn zonder dat er direct allerlei complottheorieën de kop opsteken, maar op 28 februari 2010 werd de Olympische ijshockeyfinale in Vancouver tussen Canada en de Verenigde Staten geleid door twee Canadese(!) scheidsrechters. Die zullen in hun hart vast hebben gehoopt dat hun thuisland Olympisch goud zou halen, maar met behulp van moderne technologische hulpmiddelen kweten deze scheidsrechters zich uiterst professioneel van hun taak – er was geen wanklank te horen.
Don Mellenbergh (1938), emeritus hoogleraar Psychologische Methodenleer aan de Universiteit van Amsterdam (uva) en lid van de Koninklijke Nederlandse Akademie van Wetenschappen (knaw), kan wel glimlachen als de parallel ter sprake komt. Vorig jaar was hij voorzitter van een door de Quality Assurance Netherlands Universities (quanu) uitgevoerde internationale visitatiecommissie die de kwaliteit van de Nederlandse wetenschappelijke psychologie tussen 2005 en 2010 moest beoordelen. Hij was de enige Nederlander in de commissie, die verder bestond uit zeven nog actieve hoogleraren. Bij de beoordeling van alle onderzoeksgroepen aan de uva, trok Mellenbergh zich evenwel terug. ‘Wij beoordelen als commissie alle onderzoeksgroepen inderdaad volgens vaststaande criteria. En natuurlijk zou ik het werk van bijvoorbeeld mijn eigen groep objectief als zo’n Canadese ijshockeyscheidsrechter kunnen beoordelen. Maar naar de buitenwereld toe is dat buitengewoon lastig te verkopen. Als mijn eigen groep en andere afdelingen hier goed worden beoordeeld en groepen en afdelingen in Groningen of Utrecht die vergelijkbaar onderzoek doen minder positief, heb je zo scheve ogen. Voor je het weet ligt het aan mij als voorzitter.’ Het is bij deze visitaties, waar universiteiten en onderzoeksgroepen met spanning naar uitkijken en waar universitaire beleidsmakers ook toekomstige reorganisaties op kunnen baseren, cruciaal dat elke schijn van belangenverstrengeling wordt vermeden, aldus Mellenbergh. ‘Het kan bijvoorbeeld zijn dat mijn medecommissieleden niet het achterste van hun tong durven laten zien als ik bij de beoordelingsgesprekken van mijn eigen onderzoeksgroep of universiteit zit. Of dat ze zich meer dan bij beoordelingen van andere onderzoeksgroepen louter in bedekte termen uitlaten. Dat moet je voorkomen. Bij dit soort beoordelingswerk is het dus het beste om je zoveel mogelijk buiten je eigen groep te houden.’
Visitatie
Om de zes jaar wordt onder auspiciën van de qanu de psychologie aan de Nederlandse universiteiten beoordeeld. De onafhankelijke visitatiecommissie doet dat volgens een standaardprotocol. Vier criteria staan daarin centraal: quality (kwaliteit), productivity (productiviteit), relevance (relevantie) en vitality & feasibility (veerkracht, toekomstvisie). Elk onderzoeksprogramma wordt op die vier criteria met een vijfpuntsschaal beoordeeld – een 5 staat voor excellent, een 4 voor very good, een 3 voor good, een 2 voor satisfactory en een 1 voor unsatisfactory.
Universiteiten moeten hun onderzoek onafhankelijk laten beoordelen maar zijn niet verplicht deel te nemen aan deze qanu-visitatie. Voor deze laatste visitatie zijn in totaal 46 academische onderzoeksprogramma’s beoordeeld die tussen 2005 en 2010 aan de universiteiten van Amsterdam (uva en vu), Groningen, Leiden, Maastricht, Utrecht, Twente en Tilburg zijn uitgevoerd – Nijmegen en Rotterdam deden niet mee. De verantwoordelijken van deze onderzoeksgroepen verschaften de visitatiecommissie zelfevaluaties, de vijf belangrijkste publicaties van de groep, publicatielijsten per medewerker, aantallen dissertaties, een sterkte- en zwakteanalyse en een bibliometrische citatieanalyse van het onderzoek. De citatieanalyse bleek nogal onbetrouwbaar en de commissie is zeer terughoudend geweest met het gebruik van deze analyse.
De visitatiecommissie baseerde op deze gegevens een eerste beoordeling, die als basis diende voor interviews met de leiders van de onderzoeksgroepen. Ook interviewde de commissie per universiteit een aantal door de commissie gekozen promovendi verspreid over de verschillende onderzoeksgroepen. Pas na alle interviews volgden de definitieve oordelen.
De kwaliteit en productiviteit van vrijwel al het Nederlandse psychologische onderzoek is internationaal gezien zeer hoog en draagt bovendien bij aan de oplossing van diverse maatschappelijke problemen, zo concludeerde de commissie onder leiding van Mellenbergh. Eén onderzoeksprogramma behaalde op alle criteria de maximale score: het vu-programma Genes, Behaviour and Health onder leiding van prof. dr. Dorret Boomsma. Het Groningse programma Developmental Processes van prof. dr. Paul van Geert scoorde relatief wat lager.
Lichte zorgen zijn er over het aantal dissertaties dat op tijd en succesvol wordt afgerond. Mellenbergh: ‘Er staat vier jaar voor een promotie, maar zo’n 85% van de promovendi doet er tussen de zes en zeven jaar. Dat is tamelijk lang, maar daar zitten ook promovendi bij die bijvoorbeeld een of twee kinderen hebben gekregen of het promoveren combineren met een onderwijsaanstelling. Mijn indruk is zeker niet dat het slecht gaat met promovendi, maar er ontbreekt een goed monitorsysteem zoals men dat bij bijvoorbeeld medicijnen wel kent.’
Maar de Nederlandse psychologie heeft in het algemeen weinig reden tot klagen, toch?
‘Klopt. De wetenschappelijke psychologie in Nederland behoort op alle deelgebieden tot de wereldtop. Onderzoekers publiceren in internationale toptijdschriften. Ze worden bovendien veel geciteerd en geregeld als keynote speakers op congressen uitgenodigd, sommigen halen grote onderzoekssubsidies van de Europese Unie binnen. Toch merken we wel dat universitair bestuurders de programma’s aan hun universiteit het liefst zo hoog mogelijk beoordeeld willen zien. Een score van 3 wordt toch eigenlijk als ongewenst gezien, dat moet minimaal een 4 zijn.
Voorstelbaar.
‘Jawel, maar een 3 is niet slecht. Beleidsmakers grijpen oordelen van visitatiecommissies vooral ook aan om organisatorische beslissingen door te voeren, bijvoorbeeld het opheffen van een bepaalde onderzoekslijn als resultaten tegenvallen. Wat voor beslissingen er op basis van dit rapport zullen worden genomen, weet ik nog niet. In de vorige visitatie was er evenmin reden tot klagen, alleen scoorde het a&o-onderzoek internationaal niet zo goed. Een beleidsmaatregel destijds is geweest om a&o-groepen op te heffen dan wel op te laten gaan in onderzoeksgroepen Sociale Psychologie. Terwijl de visitatiecommissie toen juist had gehoopt op versterking van de bestaande onderzoeksgroepen, mede ook omdat a&o een populaire afstudeerrichting is met gunstige toekomstperspectieven. Overigens zijn de nog overgebleven “pure” onderzoeksgroepen a&o aan de uva en in Utrecht in het huidige rapport uitstekend beoordeeld.’
Ik las in jullie rapport wel iets over de vrees dat A&O zal opgaan in management sciences en de (gedrags)economie.
‘Daar lijkt het inderdaad op. En dat is ook geen verbazingwekkende trend, net zomin als de groeiende kruisbestuiving tussen psychologie en biologie dat is. Nederland kende in de jaren zestig en zeventig door wijlen Adriaan de Groot een grote traditie in onderwijs- en schoolpsychologie. Die is tegenwoordig voor een belangrijk deel opgegaan in de onderwijskunde en pedagogiek. Ik ben een beetje bang dat a&o een zelfde lot staat te wachten. Persoonlijk betreur ik dat, Pieter Drenth had aan de vu in de laatste decennia van de vorige eeuw immers een mooie onderzoekstraditie op a&o-gebied opgebouwd.’
Een andere trend die jullie opmerken, is de toegenomen ‘neuroficatie’ van de psychologie.
‘Ja, en dat heeft me niet verbaasd. Wat wel opvalt, is dat die neuroficatie tot vrijwel alle subdisciplines is doorgedrongen. Het zijn niet alleen biologisch georiënteerde psychologen en psychofysiologen, ook sociaal psychologen, klinisch psychologen en ontwikkelingspsychologen doen in toenemende mate aan neuroscience.’
U loopt al lang mee in de psychologie. Is er onderzoek dat u echt heeft verrast? En dan bedoel ik niet in uw rol als formele beoordelaar, maar gewoon als psycholoog.
‘Eerlijk gezegd niet, en volgens mij was niemand uit deze visitatiecommissie echt verrast. Zelf houd ik erg van bèta-achtig georiënteerd onderzoek, ik vond het bijvoorbeeld prachtig om al die ingenieuze hersenscanners te zien. En hoewel de kwaliteit van het onderzoek in het algemeen dus uitstekend is, zijn er naar mijn smaak geen onderzoeksprogramma’s die er echt uitspringen. Er wordt best conformistisch onderzoek gedaan. Dat is veiliger, ook voor wat betreft formele standaardbeoordelingen door visitatiecommissies.’
Is dat conformisme een goede zaak?
‘Over het algemeen wel. Het goede ervan is dat Nederlandse onderzoekers op die manier meedoen met de top. Het nadeel is echter dat die top ook conformistisch is, het is ontzettend moeilijk om afwijkend onderzoek in de toptijdschriften gepubliceerd te krijgen. Er moet altijd ruimte zijn voor onderzoekers die tegendraads zijn, die iets totaal anders bedenken, vind ik. Binnen de methodenleer is dat misschien relatief makkelijker, methodologen zijn minder afhankelijk van apparatuur, zij zijn meer afhankelijk van goede ideeën. Het afhankelijk zijn van dure apparatuur beperkt in zekere zin ook. Die apparaten bepalen vaak het soort onderzoek dat je doet.’
U heeft in uw carrière de druk om te publiceren enorm zien veranderen. Hoe kijkt u daar tegen aan?
‘Ik ben gepromoveerd bij Adriaan de Groot. Van hem is de uitspraak: “Onderzoek dat niet is gepubliceerd, beschouw ik als niet gedaan”. Hij stimuleerde jonge medewerkers enorm om te publiceren, aanvankelijk vooral in het Nederlands. Vijfentwintig jaar geleden maakte ik voor het eerst deel uit van een visitatiecommissie. Sindsdien heb ik een enorme ommezwaai gezien richting internationaal publiceren. Als je tegenwoordig niet in internationale toptijdschriften publiceert, zou je niet meetellen. Er wordt bijna niet meer gekeken of het goed onderzoek is. Het moet in een toptijdschrift met een hoge impact komen, dat is het criterium. Want dan moet het wel goed onderzoek zijn. Als je de affaire-Stapel beschouwt, kun je dat toch moeilijk volhouden. De publicatiedruk kan ook te hoog worden opgevoerd.’
Diederik Stapel gaf als verklaring voor zijn fraude mede de hoge publicatiedruk aan. Is die druk echt zo hoog?
‘De publicatiedruk is wel te ver doorgeslagen, ja. Een jaar of tien terug was het toch wat aangenamer. Toen werd er ook internationaal gepubliceerd, maar de externe druk was minder. De sociale druk die onderzoekers zich nu opleggen voor wat betreft publicaties, gaat te ver. Maar dat is geen argument om te frauderen.’
Dat lees ik niet terug in jullie visitatierapport, terwijl jullie als visitatiecommissie toch juist in een positie zitten om de excessen van die publicatiecultuur aan de orde te stellen?
‘Dat is misschien wel zo. Maar leden van visitatiecommissies, zeker die leden die nog lang niet met emeritaat zijn, denken ook vaak in termen van zoveel mogelijk publicaties in toptijdschriften. Die ratrace is er gewoon, dat is niet te ontkennen. Het is evident dat onderzoekers moeten publiceren in goede tijdschriften. Maar naar mijn smaak wordt het wel overdreven, ik weet alleen niet goed hoe je die mentaliteit zou kunnen doorbreken.’
Het onderzoek van Stapel is niet meegenomen in jullie rapport.
‘Nee. Twee weken voordat wij in Tilburg onze visitatie zouden doen, werd duidelijk dat Stapel had gefraudeerd. We hebben toen als commissie een rigoureuze maatregel genomen en al het onderzoek waarop de naam Stapel voorkwam of promoties waarbij hij als eerste promotor betrokken was, buiten onze beoordeling gelaten. Dat gold eveneens voor het onderzoek dat hij nog in Groningen had gedaan. Ook de citatieanalyses zijn zonder zijn naam uitgevoerd.’
Het oordeel van de commissie-Levelt naar aanleiding van de affaire-Stapel loog er niet om. Niet alleen blijkt de omvang van de fraude van Stapel verbijsterend, ook de onderzoekspraktijken in de sociale psychologie in het algemeen zijn gehekeld. Onwelgevallige resultaten zouden bijvoorbeeld niet altijd worden gerapporteerd, uitbijters werden zonder vermelding uit steekproeven gelaten, als van de vier experimenten er slechts ééntje zoals verwacht uitkwam, werd alleen dat experiment in een artikel vermeld. Vielen die sloppy science-praktijken jullie als visitatiecommissie ook op?
‘Die hebben we niet opgemerkt. Visitatiecommissies zijn daartoe ook niet in staat. Er moet dan per publicatie worden nagegaan of deze onwaarschijnlijke resultaten bevat en vervolgens moet worden onderzocht of deze resultaten voortkomen uit ongeoorloofde handelingen. Dat zou maanden extra werk vergen. Er is nu een computerprogramma beschikbaar zodat onderzoek op onwaarschijnlijke resultaten sneller kan gaan, maar het blijft lastig.’
Onderschrijft u het oordeel van de commissie-Levelt dat de onderzoekcultuur binnen de sociale psychologie methodologisch te wensen overlaat?
‘Persoonlijk vind ik het terecht dat de commissie- Levelt de sociale psychologie heeft aangesproken op de aangetoonde ongeoorloofde praktijken. Ik sluit echter niet uit dat ook buiten de sociale psychologie dubieuze praktijken voorkomen.’
Onder leiding van KNAW-lid en socioloog prof. dr. Kees Schuyt verscheen in september 2012 het rapport Zorgvuldig en integer omgaan met onderzoeksgegevens. Bij de presentatie benadrukte Schuyt onder meer dat co-auteurs altijd medeverantwoordelijk zijn, het zijn niet alleen de lusten, ook de lasten. Hoe denkt u daar over?
‘Je bent als co-auteur inderdaad medeverantwoordelijk. Maar vergelijk het met een minster: die is ook verantwoordelijk maar kan onmogelijk alles controleren. Zo is het ook in de wetenschap. Je kunt onmogelijk alle data controleren, je moet erop kunnen vertrouwen dat daar niet mee wordt gesjoemeld. Maar Schuyt heeft gelijk dat je als co-auteur kunt worden aangesproken als er iets mis is met een artikel waarop ook jouw naam staat. Daarom ben ik er voorstander van dat er procedures komen om het gehele onderzoeksproces beter te controleren en te bewaken. Zo vind ik dat er voor experimenten heel duidelijke protocollen moeten komen zodat je niet achteraf met data(analyses) kunt goochelen. Vergelijk het met logboeken die in medicijnenonderzoek worden bijgehouden.’
Het ontwikkelingspsychologisch onderzoek werd minder goed beoordeeld. In een eerdere versie van jullie rapport kwam ook het historische en theoretische onderzoek van de groep van Trudy Dehue en Douwe Draaisma minder goed uit de verf. Het grote publiek zal zeker bij die laatste twee namen verbaasd zijn. Dehue en Draaisma zijn immers bestsellerauteurs.
‘Het programma Theory and History of Psychology is door het College van Bestuur van de Universiteit Groningen teruggetrokken uit de visitatie en officieel niet door ons beoordeeld. Ik mag er verder niks over zeggen, behalve dat de commissie nadrukkelijk haar waardering heeft uitgesproken voor de bijdrage die Dehue en Draaisma met onder meer hun boeken leveren aan een goed beeld van de psychologie bij een groot publiek. Het oordeel van de commissie over het onderzoek van Van Geert cum suis is eveneens betwijfeld, maar dat programma is uiteindelijk niet door het College teruggetrokken. Van Geert is heel lang een voorloper en vernieuwer geweest binnen de ontwikkelingspsychologie, maar de laatste jaren hebben we als commissie een stilstand geconstateerd in zijn onderzoekslijn. Mogelijk heeft dat met zijn aanstaande emeritaat te maken en dat het nog onduidelijk is wie hem gaat opvolgen.’
Het ene onderzoek is veel arbeidsintensiever dan het andere. Zijn al die verschillende onderzoeken wel zo zuiver met elkaar te vergelijken?
‘Ontwikkelingspsychologisch onderzoek is vaak longitudinaal, sociaal psychologen kunnen met vragenlijsten relatief snel onderzoek doen, methodologen kunnen vaak data simuleren of als co-auteur op diverse terreinen meedoen, cognitieve neurowetenschappers zijn erg afhankelijk van het soort apparatuur dat beschikbaar is. Natuurlijk moet met die verschillen rekening worden gehouden, en dat doen visitatiecommissies ook.’
De psychologie verschuift steeds meer richting biologie. Bestaat de psychologie over, zeg, tien jaar nog wel?
‘Zeker bestaat de psychologie dan nog. Toen Adriaan de Groot in 1961 met zijn invloedrijke boek Methodologie kwam, zou de psychologie geheel empirisch worden en zouden we alles te weten komen. Eind jaren zeventig, begin jaren tachtig was er sprake van een cognitieve revolutie die alles zou oplossen. Nu hebben we de neuroficatie. Een prachtige ontwikkeling, maar de verwachtingen zijn naar mijn idee wel wat overspannen. We zullen met al dat hersenonderzoek echt veel nieuwe kennis opdoen, maar we zullen ook ontdekken dat we niet alles kunnen oplossen wat we nu willen oplossen. Mijn voorspelling is dat er over een jaar of tien, twintig weer iets anders de toon zal bepalen binnen de psychologie.’
Dr. Vittorio Busato is psycholoog en publicist, hoofdredacteur van Mindopen en hoofdredacteur van De Psycholoog. E-mail: vittorio@psynip.nl, info@vittoriobusato.nl.
