Matige, milde en meedogenloze methoden

Over methodologisch goed onderzoek
02/03/2018
Jelte Wicherts
Geen reacties
De Psycholoog 2018-3 Cover
Issue 3
836 Weergaven
0 Downloads
  • Slecht onderzoek
    • Fout
  • Matig onderzoek
    • Wie, wat, waar, welke?
    • Café-praat
    • Hypnose
  • Middelmatig onderzoek
    • Wie, Wat, Waar, Welke?
  • Weet wat je meet
    • Prut
    • Dobbelen
  • Meedogenloos onderzoek
  • Literatuurlijst
  • Over de auteur
Log in
Hedendaagse methoden in de sociale en gedragswetenschappen zijn onrustbarend mild. Mogelijk bevat de literatuur meer onjuiste dan juiste conclusies. Mede daarom is volgens Jelte Wicherts ‘methodologisch meedogenloos onderzoek’ pas goed onderzoek. Zulk onderzoek is namelijk gebaseerd op methodes die de onderzoekshypothese ondersteunen als deze waar is, en laten geen spaan heel van die hypothese als die onhoudbaar blijkt. ‘De methodologische vinger raakt de zere plekken in het onderzoek, maar kan ook de juiste weg wijzen.’

Het methodologisch niveau van veel onderzoek in de sociale en gedragswetenschappen is te laag en het is mijn ambitie dit niveau te verhogen. Om mijn methodologische punt te verhelderen bespreek ik eerst slecht onderzoek, gevolgd door matig en middelmatig onderzoek, om te eindigen met goed onderzoek. Meedogenloos onderzoek noem ik dat. Dat is onderzoek met methodes die de onderzoekshypothese ondersteunen als deze waar is, maar geen spaan heel laten van de hypothese als deze om wat voor reden dan ook onwaar is. Zulk goed onderzoek is broodnodig in deze tijd van vergrijzing, alternatieve feiten, populisme en ongezonde scepsis over vaccinaties en klimaatverandering. In het leeuwendeel van het hedendaagse onderzoek ligt de empirische lat namelijk veel te laag. Meedogenloze methoden leggen die lat hoger, zodat we beter het kaf van het koren kunnen scheiden. Daarmee creëren we een sterkere basis voor vervolgonderzoek, versterken het vertrouwen in de wetenschap, en leveren betere kennis over het menselijk gedrag met meer nut voor

Literatuurlijst

  1. Bakker, M., van Dijk, A., & Wicherts, J. M. (2012). The rules of the game called psychological science. Perspectives on Psychological Science, 7, 543-554. doi: 10.1177/1745691612459060
  2. Bakker, M., & Wicherts, J. M. (2011). The (mis)reporting of statistical results in psychology journals. Behavior Research Methods, 43, 666-678. doi: 10.3758/s13428-011-0089-5
  3. Bakker, M., & Wicherts, J. M. (2014). Outlier removal, sum scores, and the inflation of the Type I error rate in independent samples t tests. The power of alternatives and recommendations. Psychological Methods, 19, 409-427. doi: 10.1037/met0000014
  4. Bem, D. J. (2000). Writing an empirical article. In R. J. Sternberg (Ed.), Guide to publishing in psychology journals. Cambridge, UK: Cambridge University Press.
  5. Chambers, C. D. (2013). Registered Reports: A new publishing initiative at Cortex. Cortex. doi: 10.1016/j.cortex.2012.12.016
  6. de Groot, A. D. (1956/2014). The meaning of “significance” for different types of research [translated and annotated by Eric-Jan Wagenmakers, Denny Borsboom, Josine Verhagen, Rogier Kievit, Marjan Bakker, Angelique Cramer, Dora Matzke, Don Mellenbergh, and Han L. J. van der Maas]. 1969. Acta Psychologica, 148, 188-194. doi: 10.1016/j.actpsy.2014.02.001
  7. de Groot, A. D. (1961). Methodologie. Grondslagen van onderzoek en denken in de gedragswetenschappen. ‘s Gravenhage: Mouton.
  8. Delgado, A. R., & Prieto, G. (2008). Stereotype threat as validity threat: The anxiety–sex–threat interaction. Intelligence, 36, 635-640. doi: 10.1016/j.intell.2008.01.008
  9. Epskamp, S., & Nuijten, M. B. (2015). statcheck: Extract statistics from articles and recompute p values. R package version 1.0.1. http://cran.r-project.org/package=statcheck
  10. Flore, P. C., Mulder, J., & Wicherts, J. M. (2017). The influence of gender stereotype threat on mathematics test scores of Dutch high school students: A registered report. Comprehensive Results in Social Psychology.
  11. Flore, P. C., & Wicherts, J. M. (2015). Does stereotype threat influence performance of girls in stereotyped domains? A meta-analysis. J Sch Psychol, 53, 25-44. doi: 10.1016/j.jsp.2014.10.002
  12. Hartgerink, C. H. J., Wicherts, J. M., & van Assen, M. A. L. M. (2016). The value of statistical tools to detect data fabrication. Research Ideas and Outcomes, 2, e8860. doi: 10.3897/rio.2.e8860
  13. Ioannidis, J. P. A. (2005). Why most published research fi ndings are false. PLOS Medicine, 2, e124. doi: 10.1371/journal.pmed.0020124
  14. John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth-telling. Psychological Science, 23, 524-532. doi: 10.1177/0956797611430953
  15. Kanazawa, S. (2004). General intelligence as a domain-specifi c adaptation. Psychological Review, 111, 512-523. doi: 10.1037/0033-295X.111.2.512
  16. Kanazawa, S. (2008). Temperature and evolutionary novelty as forces behind the evolution of general intelligence. Intelligence, 36, 99-108. doi: 10.1016/j.intell.2007.04.001
  17. Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2, 196-217.
  18. Levelt Committee, Noort Committee, & Drenth Committee. (2012). Flawed science: The fraudulent research practices of social psychologist Diederik Stapel. Tilburg, The Netherlands: Tilburg University.
  19. Lynn, R. (1991). Race differences in intelligence: A global perspective. Mankind Quarterly, 31, 255-296.
  20. Nuijten, M. B., Borghuis, J., Veldkamp, C. L. S., Alvarez, L. D., van Assen, M. A. L. M., & Wicherts, J. M. (2017). Journal Data Sharing Policies and Statistical Reporting Inconsistencies in Psychology. Retrieved from osf.io/preprints/psyarxiv/sgbta
  21. Nuijten, M. B., Hartgerink, C. H. J., van Assen, M. A. L. M., Epskamp, S., & Wicherts, J. M. (2016). The prevalence of statistical reporting errors in psychology (1985-2013). Behavior Research Methods, 48, 1205-1226. doi: 10.3758/s13428-015-0664-2
  22. Rosenthal, R. (1994). Science and ethics in conducting, analyzing, and reporting psychological research. Psychological Science, 5, 127-134.
  23. Shalvi, S., Dana, J., Handgraaf, M. J., & De Dreu, C. K. (2011). Justified ethicality: Observing desired counterfactuals modifi es ethical perceptions and behavior. Organizational Behavior and Human Decision Processes, 115, 181-190.
  24. Shalvi, S., Gino, F., Barkan, R., & Ayal, S. (2015). Self-Serving Justifications. Current Directions in Psychological Science, 24, 125-130. doi: 10.1177/0963721414553264
  25. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2012). A 21-word solution. Dialogue; The Official Newsletter of the Society for Personality and Social Psychology, 26, 4-7.
  26. Simonsohn, U., Nelson, L. D., & Simmons, J. P. (2014). p-curve and effect size. Correcting for publication bias using only significant results. Perspectives on Psychological Science, 9, 666-681. doi: 10.1177/1745691614553988
  27. Steegen, S., Tuerlinckx, F., Gelman, A., & Vanpaemel, W. (2016). Increasing Transparency through a Multiverse Analysis. Perspectives on Psychological Science, 11, 702-712. doi: 10.1177/1745691616658637
  28. Stricker, L. J., & Ward, W. C. (2004). Stereotype threat, inquiring about test takers’ ethnicity and sex, and standardized test performance. Journal of Applied Social Psychology, 34, 665-693.
  29. Templer, D. I., & Arikawa, H. (2006). Temperature, skin color, per capita income, and IQ: An international perspective. Intelligence, 34, 121-139. doi: 10.1016/j.intell.2005.04.002
  30. van Aert, R. C. M., Wicherts, J. M., & van Assen, M. A. L. M. (2016). Conducting meta-analyses based on p-values: Reservations and recommendations for applying p- uniform and p-curve. Perspectives on Psychological Science, 11, 713-729. doi: 10.1177/1745691616650874
  31. Vanpaemel, W., Vermorgen, M., Deriemaecker, L., & Storms, G. (2015). Are we wasting a good crisis? The availability of psychological research data after the storm. Collabra, 1, 1-5. doi: 10.1525/collabra.13
  32. Veldkamp, C. L. S. (2017). The human fallibility of scientists. Dealing with error and bias in academic research. Doctoral dissertation, Tilburg University.
  33. Veldkamp, C. L. S., Nuijten, M. B., Dominguez-Alvarez, L., van Assen, M. A. L. M., & Wicherts, J. M. (2014). Statistical Reporting Errors and Collaboration on Statistical Analyses in Psychological Science. PLOS ONE, 9, e114876. doi: 10.1371/journal.pone.0114876
  34. Wagenmakers, E. J., Wetzels, R., Borsboom, D., Maas, H. L. J. v. d., & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7, 632-638. doi: 10.1177/1745691612463078
  35. Wicherts, J. M. (2007). Group differences in intelligence test performance. Unpublished doctoral dissertation, University of Amsterdam.
  36. Wicherts, J. M., Bakker, M., & Molenaar, D. (2011). Willingness to share research data is related to the strength of the evidence and the quality of reporting of statistical results. PLoS ONE, 6, e26828. doi: 10.1371/ journal.pone.0026828
  37. Wicherts, J. M., Borsboom, D., & Dolan, C. V. (2010). Why national IQs do not support evolutionary theories of intelligence. Personality and Individual Differences, 48, 91-96. doi: 10.1016/j.paid.2009.05.028
  38. Wicherts, J. M., Borsboom, D., Kats, J., & Molenaar, D. (2006). The poor availability of psychological research data for reanalysis. American Psychologist, 61, 726-728. doi: 10.1037/0003-066X.61.7.726
  39. Wicherts, J. M., Dolan, C. V., Carlson, J. S., & van der Maas, H. L. J. (2010). Raven’s tests performance of Africans: Average performance, psychometric properties, and the Flynn Effect. Learning and Individual Differences, 20, 135-151. doi: 10.1016/j.lindif.2009.12.001
  40. Wicherts, J. M., Dolan, C. V., & van der Maas, H. L. J. (2010a). The dangers of unsystematic selection methods and the representativeness of 46 samples of African test-takers. Intelligence, 38, 30-37. doi: 10.1016/j. intell.2009.11.003
  41. Wicherts, J. M., Dolan, C. V., & van der Maas, H. L. J. (2010b). A systematic literature review of the average IQ of sub-Saharan Africans. Intelligence, 38, 1-20. doi: 10.1016/j.intell.2009.05.002
  42. Wicherts, J. M., Veldkamp, C. L., Augusteijn, H. E., Bakker, M., van Aert, R. C., & van Assen, M. A. (2016). Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking. Front Psychol, 7, 1832. doi: 10.3389/ fpsyg.2016.01832