Artikelen / 01/09/2017

Welke crisis?

Is de peer review in crisis?

Geen reacties
Lees verder
Onder de titel ‘Maatstaf in wetenschap is zelf ondermaats’ besteedde NRC Handelsblad (10/11 december 2016) in het katern Wetenschap aandacht aan de vermeende crisis in de peer review. De meeste personen die in de krant aan het woord kwamen, menen dat het systeem van peer review moet worden verbeterd of vervangen door iets anders. Volgens Klaas Sijtsma valt het met die crisis echter wel mee. ‘De reviewer dient een afstandelijke beoordelaar te zijn en niet een betrokken coauteur.’
Klaas Sijtsma

Peer review als probleem

Peer review houdt in dat tijdschriftredacties een ter publicatie aangeboden manuscript eerst laten beoordelen door experts, alvorens een beslissing over publicatie te nemen. In dit artikel wordt betoogd dat het met de vermeende crisis in de peer review wel meevalt. Het grootste verschil met enkele tientallen jaren geleden is dat er nu veel meer onderzoekers zijn en dat die samen enorm veel meer publiceren, en daar bovendien veel belang bij hebben. In plaats van zich op de peer review te concentreren, kan beter de kwaliteit van het onderzoek worden verbeterd. Een onderzoek is kwalitatief goed als de onderzochte vraagstelling origineel is, de gekozen methode de onderzoeker in staat stelt de vraagstelling te onderzoeken, de statistische methode adequaat is en de analyse van de gegevens correct is uitgevoerd, en de conclusies van het onderzoek te rechtvaardigen zijn.

De casus uit Nature

Onder de titel Wankele Waakhonden behandelt NRC Handelsblad een omstreden publicatie in Nature (Dong, Milholland & Vijg, 2016). De beschrijving van de casus is ingewikkeld, maar laat zien dat er in een reviewproces van alles kan gebeuren wat niet strookt met het ideaal van belangeloze experts die hun objectieve oordeel geven en een redactie die op basis hiervan een voor iedereen navolgbare en acceptabele beslissing neemt.

Het bewuste onderzoek gaat over de vraag of er een maximum is aan de leeftijd die de mens kan bereiken. De auteurs zijn geen uitgesproken experts en de reviewers zijn het niet met elkaar eens, vinden methodologie en statistische gegevensanalyse niet allemaal even belangrijk, beoordelen op basis van verschillende criteria en lijken zich nadrukkelijk te bemoeien met de revisie van het manuscript – waarbij een van de reviewers ook nog eens zijn eigen gegevens inbrengt en de auteurs uitlegt hoe ze de gegevens moeten analyseren. Deze reviewer wordt later in de publicatie bedankt. NRC Handelsblad beschouwt de reviewers als belanghebbend, omdat zij, mede op verzoek van de redactie van Nature, steeds nauwer bij het manuscript betrokken raken en hun eigen wetenschappelijke overtuigingen bij de beoordeling een rol laten spelen in plaats van een objectief oordeel te geven. De oorspronkelijke auteurs van het Nature-artikel beschouwen de reviewers vanwege hun vergaande bemoeienis eigenlijk als coauteurs. Een van de reviewers schrijft later een redactioneel commentaar dat hij het artikel ondersteunt, zonder dat duidelijk is dat hij ook reviewer is geweest.

Opmerkelijk is dat de redactie van Nature op basis van de reviews de eerste versie van het manuscript afwijst, maar later de auteurs alsnog vraagt een revisie ter publicatie aan te bieden. Na alle bemoeienis beoordelen de reviewers de revisie tamelijk oppervlakkig en besteden zij niet serieus aandacht aan de vele bijgevoegde grafieken. De redactie van Nature accepteert nu echter de revisie voor publicatie. Het artikel verscheen het afgelopen najaar in druk. NRC Handelsblad veronderstelt dat de redactie van Nature bij nader inzien vooral gevoelig was voor de aantrekkelijkheid van het onderwerp van het artikel – de vraag of de mens tegen een maximum leeftijd aanloopt lijkt vooral sexy te zijn – en te weinig let op de kwaliteit van het werk. Deze veronachtzaming van kwaliteit zou ook blijken uit het feit dat Nature de kwaliteit van de gebruikte statistiek van secundair belang acht en de reviewers hier expliciet op wijst.

Wat is peer review?

Wetenschappers proberen de resultaten van hun onderzoek te publiceren in vaktijdschriften, om zo hun collega’s te informeren over hun vorderingen en vondsten. Zo kan iedereen kennis nemen van de voortgang in een vakgebied, maar ook van de belangrijke thema’s en de voetangels en klemmen die moeten worden aangepakt en opgelost. Om in een tijdschrift te komen, stuurt de onderzoeker zijn/haar manuscript naar het tijdschrift en bepaalt de redactie van het tijdschrift of men het wil laten beoordelen op geschiktheid. Indien niet, dan wordt het manuscript afgewezen. Indien wel, dan vraagt de redactie meestal twee of drie deskundige collega’s op het betreffende vakgebied om onafhankelijk en anoniem voor elkaar en de auteur een beargumenteerd oordeel te geven over de kwaliteit van het onderzoek en het belang van de resultaten. Vaak is in dat proces ook de auteur anoniem. Meestal worden reviewers zo gekozen dat hun expertise en achtergrond variëren, om zo meer informatie over het manuscript te verkrijgen. Op basis van de oordelen neemt de redactie een besluit het artikel af te wijzen, te accepteren of de auteur te vragen het te reviseren. In het laatste geval neemt de redactie op basis van de review van de revisie alsnog een beslissing.

Doel van peer review

Over het doel van peer review wordt verschillend gedacht. Een opvatting is dat peer review de kwaliteit van het aangeboden manuscript zo mogelijk dient te verbeteren door de auteur hiervoor suggesties te doen. De reviewer denkt actief mee over het onderzoek en kan bijvoorbeeld vragen om een andere gegevensanalyse of aanvullende en geheel nieuwe experimenten, waardoor zelfs de vraagstelling van een onderzoek verandert.

Volgens een andere opvatting moet peer review controleren of het onderzoek origineel is, methodologisch en statistisch passend bij de vraagstelling, en of de conclusies op basis van de resultaten verantwoord zijn. Hier blijft de reviewer meer op afstand en accepteert hij dat het onderzoek niet van hem is. Hij hoeft het niet overal mee eens te zijn om toch een positief oordeel te kunnen vellen.
Scherp gesteld is de reviewer in de eerste opvatting medeauteur en in de tweede opvatting beoordelaar, dus betrokken versus afstandelijk.

Waarom een crisis?

De Nature-casus laat diverse aspecten van de vermeende crisis zien: Verschillende reviewers beoordelen manuscripten niet alleen volgens de aanwijzingen van het betreffende tijdschrift of volgens algemeen geldende en bekende richtlijnen, maar zij laten ook subjectieve criteria en belangen in hun oordeel meespelen. Een subjectief criterium is bijvoorbeeld een sterke persoonlijke voorkeur voor een bepaalde statistische methode zoals structural equation modeling. Daarmee kun je een theoretisch model toetsen dat de structuur specificeert tussen latente variabelen die door middel van observeerbare indicatoren zijn gemeten. Als deze voorkeur ertoe leidt dat men andere methoden niet meer accepteert, ook al zijn zij geschikt voor het beantwoorden van de onderzoeksvraag, dan leidt dat tot ongewenste, negatieve beoordelingen. Belangenverstrengeling is bijvoorbeeld het extra kritisch beoordelen van het werk van concurrenten, om op die wijze de concurrentie buiten de goede tijdschriften te houden. Overigens kan ook het tegengestelde gebeuren, dus het bevoordelen van manuscripten waarin juist wel structural equation models worden gebruikt en waarin het eigen onderzoek via de nieuwe resultaten van anderen wordt bevestigd.

NRC Handelsblad laat verder een oud-hoofdredacteur van British Medical Journal, Richard Smith, aan het woord. Smith experimenteert met alternatieve vormen van peer review waarvan enkele vormen kort worden besproken. Verder komt uitvoerig aan de orde dat er teveel manuscripten aan teveel tijdschriften worden aangeboden, waardoor er een tekort aan reviewers is ontstaan die het werk niet meer aankunnen. Gevolg is dat reviewers te weinig tijd aan manuscripten besteden en hun reviews slordig zijn. Daardoor worden er teveel slechte artikelen gepubliceerd.

Kanttekeningen

NRC Handelsblad stelt dat de crisis in de peer review zo ernstig is, dat de kwaliteit van de gepubliceerde artikelen eronder lijdt. Nieuwe review-procedures dienen er derhalve voor te zorgen dat de kwaliteit van de aangeboden manuscripten verbetert door de reviewers een actievere rol te laten spelen. In dit artikel wordt betoogd dat deze opvatting kan leiden tot een rolverwarring waarbij de reviewer officieus coauteur wordt, zodat onduidelijk is wie verantwoordelijk is voor het artikel.

Het systeem van peer review is robuust

Peer review is gebaseerd op een voor de hand liggend idee: vraag enkele deskundigen van wie bekend is dat ze vanuit verschillende invalshoeken naar het werk kunnen kijken om een mening. Er gaat vaak veel goed, maar spelbederf kan bijvoorbeeld optreden doordat reviewers tijdgebrek hebben, voorkeuren of belangen een rol laten spelen, of als redacteuren auteurs laten spartelen als de reviewers strijdige adviezen geven. Alternatieve vormen van peer review hebben deze problemen echter ook en voegen nog enkele toe. NRC Handelsblad noemt de variant waarbij de reviewrapporten op het Internet worden gepubliceerd en de auteur de kans krijgt om op basis van reacties daarop zijn ruwe versie van het manuscript aan te passen, totdat het goed genoeg is en een definitieve versie kan worden gepubliceerd. Het reviewproces vindt in alle openbaarheid plaats, zodat ongewenste zaken voorkomen kunnen worden (zie bijvoorbeeld de Nature-casus in NRC Handelsblad). Althans, dat is de verwachting.

Bij deze werkwijze zijn kanttekeningen te plaatsen. Zo is het de vraag of het zin heeft om naast een artikel ook allerlei halffabricaten op Internet te zetten, omdat het onduidelijk is of ze interessant zijn voor de toch al overbelaste lezer. Ook legt deze reviewvariant door de verregaande bemoeienis van de reviewers de verantwoordelijkheid onvoldoende bij de auteur. Wie moet worden aangesproken op het artikel? De reviewer verkeert ook nog eens in een machtspositie. De auteur wil graag publiceren en de reviewer kan eisen stellen en dus zijn wil aan de auteur opleggen, en die kan achteraf zeggen dat hij onder druk stond om zaken te doen die hij eigenlijk niet wilde. Dat is dan de keuze van de auteur, maar de machtsongelijkheid blijft.

Machtsongelijkheid is trouwens bij klassieke peer review ook reëel. Zo kunnen reviewers proberen om een auteur visies te laten verkondigen of methoden te gebruiken waar hij zelf niet voor had gekozen, terwijl zijn eigen keuzes correct waren. De ervaring leert dat de kans op publicatie afneemt als je niet doet wat de reviewers, en daarmee vaak ook de redacteur, willen. Daar zit dus een probleem omdat het de auteur onmogelijk wordt gemaakt een eigen, correcte benadering van een kwestie te volgen. Scherp gesteld wordt hier ingegrepen op de integriteit van de onderzoeker.

Er zijn ook andere modellen voor review. Richard Smith noemt het laten meekijken van niet-wetenschappers. Dat lijkt alleen zinvol als er voor een oordeel geen vakkennis nodig is. Niet genoemd wordt pre-registratie (Wagenmakers et al., 2012). Daarbij beoordeelt het tijdschrift eerst de opzet van het onderzoek en geeft na goedkeuring aan de auteur een garantie voor publicatie van het artikel, ongeacht de uitkomsten van het onderzoek. De pretentie is dat zo een onverantwoorde jacht op significante resultaten en het niet publiceren van niet-significante resultaten, die minder interessant worden gevonden, wordt voorkomen. Ruimtegebrek maakt een verdere bespreking van deze varianten onwenselijk. Gesteld kan worden dat elke variant problemen kent die te maken hebben met menselijke zwakheden en niet gemakkelijk te bestrijden zijn. Dit laat veel ruimte voor de klassieke peer review, vooral ook omdat het achterliggende idee even eenvoudig als overtuigend is: ‘Laten we Piet eens vragen, hij heeft er verstand van.’

Alle varianten van review kennen het probleem dat machtsongelijkheid ertoe kan leiden dat auteurs zich gedwongen zien om zaken te publiceren die ze liever niet hadden gepubliceerd. Als het aankomt op de onderwerpen die een tijdschrift publiceert en de kwaliteitscriteria die daarvoor gelden, is die machtsongelijkheid een gegeven: de redactie beslist. Maar dit veronderstelt ook dat er ruimte is voor de auteur. Reviewers en redactie dienen volgens algemeen geldende richtlijnen belangeloos hun werk te doen maar zijn geen coauteurs, terwijl de auteur verantwoordelijk is voor wat hij/zij publiceert. Vooral het laten van de verantwoordelijkheid bij de auteur impliceert een afstandelijke rol voor de reviewer. Dit betekent dat als een reviewer vindt dat het beoordeelde onderzoek anders had gemoeten, terwijl de gekozen methode de onderzoeksvraag wel beantwoordt, het advies over publiceren positief zou moeten zijn. Op basis van het gepubliceerde artikel kan vervolgens onder vakgenoten een discussie ontstaan en aanvullend onderzoek plaatsvinden en gepubliceerd worden, waarmee het eerste artikel bevestigd of gecorrigeerd wordt. Verder zijn het de redacteuren die sturing moeten geven, wat inhoudt dat als zij een manuscript laten reviseren, zij de auteurs houvast dienen te geven over de voorkeursrichting van de revisie. De auteur kan dan beslissen of hij/zij verder wil.

Het is lastig om minder te publiceren

Het publiceren van veel artikelen is een internationale trend waar vele partijen baat bij menen te hebben. Veel publiceren aangevuld met citatietellingen in high-impact tijdschriften is aantrekkelijk voor universiteiten (hogere internationale rankings) en individuele wetenschappers (heldere carrièremogelijkheden), maar ook voor uitgevers (meer tijdschriften) en overheden (sturing op beleid, financiering). Steeds meer mensen lijken het erover eens dat de lawine aan artikelen die elk jaar verschijnt wel wat kleiner mag. Maar vooralsnog is dit een zwak tegengeluid in de context van vele, positief gestemde belanghebbenden.

Een ander, weinig gehoord maar positief perspectief op veel publiceren is overigens dat iemand door veel onderzoek te doen een goede onderzoeker wordt, en door te publiceren leert te schrijven. Het idee dat je alleen echt belangrijke resultaten moet publiceren en de rest niet, is onrealistisch want gaat er vanuit dat je vooraf al weet wat wel en niet belangrijk is. Dat is vrijwel nooit het geval, omdat onderzoekers per definitie vaak in het duister tasten. Dit is inherent aan wetenschappelijk onderzoek.

Ook in de goede oude tijd werd er door individuen overigens al veel gepubliceerd. Einstein, bijvoorbeeld, publiceerde alleen al in de periode 1901-1922, zijn toptijd, 155 artikelen, boekbesprekingen, enzovoort (Küpper, 2002-2004). Een groot verschil met onze tijd is dat het aantal wetenschappers begin twintigste eeuw maar een fractie was van het huidige aantal (Van Berkel, 2008; Van Delft). Daarmee was ook het totale aantal publicaties maar een fractie van wat er nu gepubliceerd wordt.

Kwaliteit voorop, populaire onderwerpen mogen ook

Uiteraard moet de kwaliteit van het werk vooropstaan, maar wel moeten tijdschriften kunnen variëren in de mate waarin zij onderwerpen publiceren die een breed lezerspubliek aanspreken. Dat Nature er voor kiest een breed publiek aan te spreken met ‘populaire’ onderwerpen – gemakkelijk toegankelijk, goed te begrijpen, van evident maatschappelijk belang, soms zelfs spectaculair – is geen probleem, zolang de kwaliteit goed is. Veel onderzoek is overigens theoretisch, soms op het esoterische af, maar ook dat is geen bezwaar. Esoterie, in de zin van enkel bedoeld voor ingewijden, is typisch voor het grootste deel van de wetenschap, dat zich bevindt op de rand van bekend en onbekend en vaak over zaken gaat die nog nieuw, vaag en onbekend zijn en waarvan lang niet altijd duidelijk is of je er later iets aan zult hebben. Van doorslaggevend belang is dat de kwaliteit goed is.

Gebruik van statistiek kritisch beschouwen

De eis dat de kwaliteit van onderzoek goed is, maakt het onbegrijpelijk dat een tijdschrift als Nature methodenleer en statistiek zo stiefmoederlijk behandelt. Maar Nature is hierin niet uniek. Zo zijn er tijdschriften die de resultatensectie in een kleinere letter afdrukken dan de rest van het artikel (zie bijvoorbeeld Straat et al., 2013). Dit hoeft niets te betekenen maar suggereert wel dat het verhaal belangrijker wordt gevonden dan de gegevensverwerking waarmee dat verhaal onderbouwd wordt. Dat zou ongewenst zijn, want via de gegevens en de verwerking ervan wordt geprobeerd om de theorie een stapje verder te brengen, en dus is het cruciaal de suggestie te vermijden dat de resultaten een goed verhaal in de weg zouden kunnen staan. De resultaten bevestigen, nuanceren of verwerpen het verhaal, en zijn er zelf dus de harde kern van. Een verhaal dat empirisch gefundeerd is, is een goed verhaal.

Twee manieren om onderzoek te verbeteren

Men zou kunnen beweren dat reviewers die zich opstellen als afstandelijk beoordelaar minder bijdragen aan de kwaliteit van artikelen dan reviewers die zich als betrokken coauteur opstellen. Die mogelijkheid bestaat inderdaad en is het gevolg van het leggen van de verantwoordelijkheid voor het artikel bij de auteurs, maar betekent ook weer niet dat alles maar gepubliceerd moet worden. Integendeel, indien reviewers hun werk goed doen, blijven de meeste manuscripten waarin niet-origineel onderzoek wordt gerapporteerd, onderzoek gebaseerd op designfouten of onjuiste statistische analyses, en conclusies die niet sporen met de resultaten, in de bureaulade liggen. Door hun afstandelijke houding hebben deze reviewers echter wel een geringere invloed op de inhoud van het artikel, zodat de wetenschappelijke discussie in alle openheid na publicatie kan plaatsvinden. Goede artikelen zullen dan standhouden en slechte artikelen die door de mazen van de peer review zijn geglipt niet. Een treffend voorbeeld van de zelfreinigende werking van de wetenschappelijke discussie is de kritiek van Wagenmakers et al., (2011) op een onderzoek waarin werd getracht ondersteuning te vinden voor de stelling dat toekomstige gebeurtenissen met terugwerkende kracht reacties van mensen kunnen beïnvloeden.

Auteurs kunnen verder op twee manieren hun wetenschappelijk onderzoek verbeteren voordat zij het voor review aan een tijdschrift aanbieden. Kwaliteitsverbetering is dan de verantwoordelijkheid van de auteur en niet van de reviewer, die zich kan beperken tot het geven van een oordeel over originaliteit, methode, gegevensverwerking en conclusies. Gegeven een originele vraagstelling dient ten eerste de auteur ervoor te zorgen dat de gekozen methode, de statistische verwerking en de conclusies in orde zijn. Daarvoor kan hij statistisch advies vragen. Ten tweede dienen de gegevens die hij heeft gebruikt openbaar te zijn en dus voor iedereen toegankelijk en beschikbaar voor nadere analyse.

Statistisch advies

Een groot probleem van gegevensverwerking in psychologisch en ander onderzoek is dat het veelal wordt gedaan door onderzoekers die zich niet diepgaand bekwaamd hebben in de statistiek, het wel nodig hebben, en dus noodgedwongen statistiek erbij doen (Sijtsma, 2016a, b). Op zich doet iedereen zijn best, maar er gaat bij het gebruik van statistiek behalve veel goed ook veel fout. De moeilijkheid van statistiek wordt nogal eens onderschat. Behalve moeilijk is statistiek vaak tegen-intuïtief en gaan resultaten lijnrecht tegen de verwachting van de onderzoeker in. Zo realiseren velen zich niet dat bijvoorbeeld de kans dat minstens een nulhypothese wordt verworpen, gegeven dat alle nulhypothesen waar zijn, snel groter wordt dan de gekozen Type I fout van .05 als het aantal toetsen toeneemt: hoe groter het aantal toetsen, hoe groter het aantal significante resultaten, ook als er geen effecten zijn. Doordat onderzoekers op hun gegevens vaak vele hypothesen toetsen en achteraf niet meer weten hoe vaak ze hebben getoetst, kloppen de resultaten van correctie voor het aantal toetsen, indien al gebruikt, ook niet meer (zie ook Nuijten et al., 2016). Gevolg is dat vaak de echte Type I fout onbekend is, maar wel veel groter dan .05. Vele auteurs bespreken voorbeelden van de problematiek van de moeilijke en misleidende statistiek (Abelson, 1995; Campbell, 1974, 2002; Hand, 2014; Hubert & Wainer, 2013; Wainer, 2016).

Onderzoekers vinden statistiek moeilijk, maar moeten het gebruiken, en trekken op basis van hun intuïtie de verkeerde conclusies (Kahneman, 2011). Omdat je van onderzoekers niet kunt verwachten dat ze ook nog eens volleerde methodologen en statistici zijn, is de meest voor de hand liggende remedie tegen fouten een beroep te doen op de ervaring van een methodoloog of statisticus. Deze experts beschikken wel over de juiste intuïtie die door veel ervaring is gevoed. Die ervaring met de logica en de wiskunde van de statistiek en de valkuilen waar men zo gemakkelijk intrapt, is nodig om intuïtie op te bouwen, waardoor je alert bent als er gevaar dreigt, in dit geval een statistische valkuil. Zo is het correcte gebruik van statistische toetsen moeilijk en van betrouwbaarheidsintervallen nog moeilijker, hebben beide hun problemen (Morey et al.,2016; Wagenmakers, 2007) en vinden statistici het ook moeilijk (Kahneman, 2011; Salsburg, 2001).

Openbaarheid van gegevens

Gegevens zouden openbaar moeten worden gemaakt, hetzij als men een manuscript ter publicatie aan een tijdschrift aanbiedt zodat reviewers desgewenst resultaten kunnen controleren, maar zeker nadat het artikel gepubliceerd is zodat collega’s kunnen controleren of het artikel correct is. Zie https://opennessinitiative.org/the-initiative/, voor een initiatief van reviewers om openbaarheid van data te controleren. Te verwachten valt dat de wetenschap dat iedereen mee kan kijken onderzoekers voorzichtig maakt en tot uiterste zorgvuldigheid aanspoort, uiteraard voor zover zij dat al niet deden. Tegen openbaarmaking van gegevens wordt vaak ingebracht dat andere onderzoekers er met de buit vandoor kunnen gaan. Hiertegen zijn gemakkelijk oplossingen te bedenken (Sijtsma, 2016a). De openbaarheid van wetenschap vereist eenvoudig dat elke stap voor anderen controleerbaar is, een heilig principe waar niet aan getornd kan worden.

Tot slot

NRC Handelsblad suggereert dat de vermeende crisis in het review-proces kan worden bestreden als reviewers alle fouten uit ingediende manuscripten halen, zodat gepubliceerde artikelen foutloos zijn en de lezer er blind op kan vertrouwen. In dit artikel is echter betoogd dat de auteur zelf verantwoordelijk is voor goed werk en dat de reviewer een afstandelijke beoordelaar dient te zijn en niet een betrokken coauteur. De auteur kan de kwaliteit van zijn werk verbeteren door statistisch advies in te winnen en de gegevens openbaar te maken, zodat vreemde ogen kunnen dwingen en auteurs, indien zij dat al niet deden, hun uiterste best doen goed werk te publiceren. De Nature-casus laat zien dat reviewers het niet steeds met elkaar eens zijn, maar dan moet de redactie dus sturing geven, waarbij kwaliteit leidend is. Wat bij Nature in elk geval fout ging, was dat de reviewers zich teveel bemoeiden met de inhoud van het onderzoek, en de niet al te deskundige auteurs hun kant op dwongen. Een afstandelijker houding had eerder tot afwijzing kunnen leiden, mits de redactie nadrukkelijk ook op kwaliteit had gestuurd.

Conclusies

Enkele conclusies ter afsluiting:
– Doordat vele partijen belang hebben veel te publiceren, blijft het aantal publicaties groot.
– Peer review is in alle eenvoud uiterst redelijk;
– Tijdgebrek, slordigheid, voorkeuren, en belangen spelen bij peer review en ook bij andere beoordelingssystemen;
– Alternatieve beoordelingssystemen dienen wel serieus bestudeerd te worden;
– Reviewers zijn geen coauteurs; hun rol dient beperkt te zijn tot afstandelijke beoordelaar, terwijl redacteuren sturing dienen te geven aan het reviewproces;
– De kwaliteit van onderzoek kan worden bevorderd door openbaarheid van gegevens en vragen van statistisch advies.

De auteur dankt Paulette Flore, Michèle Nuijten en Jesper Tijmstra voor hun commentaar op het artikel.

Summary

PEER REVIEW IN CRISIS! WHAT CRISIS?
K. Sijtsma
The dutch newspaper NRC Handelsblad (December, 11th-12th, 2016) argued that peer reviewing is in crisis. Alleged causes are, among others, too many paper submissions causing a system congestion and reviewer subjectivity and conflict of interest in the outcome of the review process. Rather than aiming at alternative manuscript assessment systems that increase reviewer involvement, I expect data publication and soliciting timely statistical advice to improve article quality.

Literatuur

  • Abelson, R.P. (1995). Statistics as principled argument. Hillsdale, NJ: Lawrence Erlbaum.
  • Berkel, K. van (2008). De stem van de wetenschap. Geschiedenis van de Koninklijke Nederlandse Akademie van Wetenschappen. Deel 1, 1808-1914. Amsterdam: Uitgeverij Bert Bakker.
  • Campbell, S.K. (1974, 2002). Flaws and fallacies in statistical thinking. New York, NY: Dover Publications, Inc.
  • Delft, D. van (2005). Heike Kamerlingh Onnes. Een biografie. De man van het absolute nulpunt. Amsterdam: Uitgeverij Bert Bakker.
  • Dong, X., Milholland, B. & Vijg, J. (2016). Evidence for a limit to human lifespan. Nature, 538, 257-259. Volume: DOI: doi:10.1038/nature19793.
  • Hand, D. (2014). The improbability principle. Why coincidences, miracles and rare events happen every day. London, UK: Penguin Random House.
  • Hubert, L. & Wainer, H. (2013). A statistical guide for the ethically perplexed. CRC Press, Taylor & Francis Group, LLC.
  • Kahneman, D. (2011). Thinking, fast and slow. London: Penguin Books Ltd.
  • Küpper, H.-J. (2002-2004). Verzeichnis der wissenschaftlichen Publikationen Albert Einsteins von 1901-1922. Retrieved 25-12-16 from http://www.einstein-website.de/z_physics/AEWisPub-04.pdf.
  • Morey, R.D., Hoekstra, R., Rouder, J.N., Lee, M.D. & Wagenmakers, E.J. (2016). The fallacy of placing confidence in confidence intervals. Psychonomic Bulletin & Review, 23, 103-123.
  • Nuijten, M.B., Hartgerink, C.H.J., Van Assen, M.A.L.M., Epskamp, S. & Wicherts, J.M. (2016). The prevalence of statistical reporting errors in psychology (1985–2013). Behavior Research Methods, 48, 1205–1226.
  • Salsburg, D. (2001). The lady tasting tea. How statistics revolutionized science in the twentieth century. New York, NY: Holt and Company.
  • Sijtsma, K. (2016a). Heeft de psychologie replicatiestudies nodig? Raadpleeg eerst een methodoloog! De Psycholoog, 51(7/8), 34-41.
  • Sijtsma, K. (2016b). Playing with data—Or how to discourage questionable research practices and stimulate researchers to do things right. Psychometrika, 81, 1-15.
  • Straat, J.H., Van der Ark, L.A. & Sijtsma, K. (2013). Methodological artifacts in dimensionality assessment of the Hospital Anxiety and Depression Scale (HADS). Journal of Psychosomatic Research, 74, 116-121.
  • Wagenmakers, E.J. (2007). A practical solution to the pervasive problems of p values. Psychonomic Bulletin & Review, 14, 779-804.
  • Wagenmakers, E.J., Wetzels, R., Borsboom, D. & Van der Maas, H.L.J. (2011). Why psychologists must change the way they analyze their data: The case of Psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100, 426–432.
  • Wagenmakers, E.J., Wetzels, R., Borsboom, D., Van der Maas, H.L.J. & Kie-vit, R.A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science,7, 632-638.
  • Wainer, H. (2016). Truth or truthiness. Distinguishing fact from fiction by learning to think like a data scientist. New York, NY: Cambridge University Press.