Heeft de psychologie replicatiestudies nodig?

Raadpleeg eerst een methodoloog!
01/07/2016
Klaas Sijtsma
Geen reacties
De Psycholoog 2016-7-8 Cover
Issue 7

Samenvatting

DOES PSCHOLOGY NEED REPLICATION STUDIES ?
K. SIJTSMA
A dependable interpretation of research results requires a sample of replication studies rather than just two, but psychological research is better off when effect sizes are estimated in a large sample. Prior to this conclusion, I argue that methodology and statistics is too diffcult to practice on the side as most researchers do, thus leading to numerous derailments that tend to go unnoticed. Routinely soliciting expert advice from methodologists and statisticians will prevent many errors.

1126 Weergaven
2 Downloads
  • Samenvatting
  • 'Methodenleer en statistiek doe je er niet even bij'
  • Nepeffecten komen veel voor
  • Haast
  • Open Science Collaboration
  • Geen opzet, maar hebben onderzoekers dan niet door?
  • Over de interpretatie van replicatieonderzoek
  • Conclusies
  • Literatuurlijst
  • Over de auteur
Log in
Open Science Collaboration (2015) rapporteert de resultaten van replicatieonderzoeken van honderd eerder gepubliceerde onderzoeksresultaten uit vooral de cognitieve en sociale psychologie. Van deze resultaten waren 97 positief (significant, p<.05). Er werden dus effecten gerapporteerd, maar slechts 36% hiervan bleek bij replicatie ook positief te zijn. De Volkskrant en NRC uitten onmiddellijk hun zorg over de waarde van psychologisch onderzoek. Klaas Sijtsma over replicatiestudies en het raadplegen van methodologen.

De Tilburgse methodoloog Michèle Nuijten legde in de Volkskrant (5 september 2015)2021 helder uit hoe we zulke percentages moeten interpreteren. Zij riep terecht op tot het gebruik van grotere steekproeven en openbaarheid van onderzoeksdata om nepeffecten – dit zijn effecten die wel worden gevonden maar geheel te wijten zijn aan de toevallige samenstelling van de steekproef – te voorkomen. In dit artikel vraag ik aandacht voor een derde remedie: het bij onderzoek tijdig inschakelen van een methodoloog. Ik bespreek eerst dat methodenleer en statistiek voor veel onderzoekers te moeilijk zijn om ‘er even bij te doen’, en dat het daarom verstandig is een methodoloog in te schakelen. Vervolgens kom ik terug op het onderzoek van Open Science Collaboration (2015)13 en zal ik beargumenteren dat, hoe nuttig en goedbedoeld ook, dit onderzoek hooguit een eerste aanzet is.

‘Methodenleer en statistiek doe je er niet even bij’

Psychologen en andere onderzoekers hebben methodenleer en statistiek nodig

Literatuurlijst

  1. Abelson, R.P. (1995). Statistics as principled argument. Hillsdale, NJ: Elrbaum.
  2. Asendorpf, J.B. et al. (2013). Recommendations for increasing replicability in psychology. European Journal of Personality, 27, 108-119.
  3. Assen, M.A.L.M. van, Aert, R.C.M. & Wicherts, J.M. (2015). Meta-analysis using e­ ect size distributions of only statistically signifi cant studies. Psychological Methods, 20, 293-309.
  4. Bakker, M., Van Dijk, A. & Wicherts, J. M. (2012). The rules of the game called psychological science. Perspectives on Psychological Science, 7, 543-554.
  5. Busato, V.V. (2014). Van de geschiedenis leert men? Impact, publicatiedruk en fair play in de (psychologische) wetenschap. Ons Erfdeel, 4, 4-14.
  6. Groot, A.D. de (1961). Methodologie. Grondslagen van onderzoek en denken in de gedragswetenschappen. ’s Gravenhage: Mouton & Co.
  7. Hand, D. (2014). The improbability principle. Why coincidences, miracles and rare events happen every day. London, UK: Penguin Random House.
  8. Hu­ , D. (1954). How to lie with statistics. New York, London: Norton. Ioannidis, J.P.A. (2005). Why most published research fi ndings are false. PLoS Med 2(8):e124.
  9. John, L.K., Loewenstein, G. & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23, 524-532.
  10. Kadane, J.B., Schervish, M.J. & Seidenfeld, T. (1996). Reasoning to a foregone conclusion. Journal of the American Statistical Association, 91, 1228-1235.
  11. Kahneman, D. (2011). Thinking, fast and slow. London: Penguin Books Ltd. NRC Handelsblad (2015. Gedownload van http://www.nrc.nl/nieuws/2015/08/28/van-veel-psychologisch-onderzoek-blijft-weinig-overals-
    je-het-herhaalt/
  12. Nuijten, M.B., Van Assen, M.A.L.M., Veldkamp, C.L.S. & Wicherts, J.M. (2015). The replication paradox: Combining studies can decrease accuracy of e­ ect size estimates. Review of General Psychology, 19, 172–182.
  13. Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349 (6521), aac4716-1—aac4716-8.
  14. Pashler, H. & Wagenmakers, E.J. (2012). Editors’ introduction to the special section on replicability in psychological science: A crisis of confi dence? Perspectives on Psychological Science, 7, 528-530.
  15. Popper, K. (1935, 2002). The logic of scientifi c discovery. Abingdon, UK: Routledge.
  16. Tversky, A. & Kahneman, D. (1974). Judgment under uncertainty: heuristics and biases. Science, 185, 1124-1131.
  17. Ross, S.M. (1994). A fi rst course in probability (fourth edition). New York: McMillan.
  18. Sijtsma, K. (2016). Playing with data—Or how to discourage questionable research practices and stimulate researchers to do things right. Psychometrika, 81, 1-15.
  19. Simmons, J.P., Nelson, L D. & Simonsohn, U. (2011). False-positive psychology: Undisclosed fl exibility in data collection and analysis allows presenting anything as signifi cant. Psychological Science, 22, 1359-1366
  20. Volkskrant (2015). Gedownload van http://www.volkskrant.nl/binnenland/merendeel-psychologische-studies-lijkt-gebaseerd-op-drijfzand~a4130542/
  21. Volkskrant (2015). Gedownload van http://www.volkskrant.nl/wetenschap/de-psychologie-van-gebrekkig-onderzoek~a4135765/