Evidence-Based Mental Health in de opleiding tot GZ-psycholoog

Van Gezondheidszorg (GZ)-psychologen wordt verwacht dat zij in staat zijn tot het leveren en borgen van kwalitatief goede en efficiënte geestelijke zorg. Op basis van hun competentie profiel mag verwacht worden dat zij volgens de EBMH-principes werken, meer specifiek dat ze de zorg op wetenschappelijk verantwoorde wijze onderbouwen en dat zij wetenschappelijk gefundeerde psychologische kennis en professionele attitudes inzetten om te komen tot doelmatige diagnostiek, indicatiestelling en psychologische behandelinterventies. GZ-psychologen dienen op basis van dit competentie profiel dan ook de wetenschappelijke aspecten te onderkennen, kritisch te beschouwen, de kwaliteit te beoordelen en nieuwe wetenschappelijke inzichten op praktische toepasbaarheid te wegen (FGzPt, 2018). Van de opleidingsinstellingen wordt derhalve verwacht dat zij GZ-psychologen opleiden die volgens de laatste inzichten van de wetenschap werken en derhalve beschikken over EBHM-vaardigheden die toepasbaar zijn in klinische praktijk.

Het cursorisch onderwijs van GZ-psychologen in opleiding bevat dan ook les onderdelen over EBMH. In de lesmodule EBMH van RINO ZUID, leren opleidingsdeelnemers het belang van evidence-based werken, de verschillende niveaus van evidentie, aandachtspunten bij het interpreteren van wetenschappelijk onderzoek, hoe richtlijnen tot stand komen en in de praktijk gebruikt kunnen worden. De opleidingsdeelnemers worden getraind in het zoeken, lezen en begrijpen van wetenschappelijke literatuur op basis van de Critial Appraisal of a Topic (CAT) methode (Amelsvoort e.a., 2020). Een CAT is de manier om gericht voor één unieke client evidence-based de beste behandeling te selecteren (de Brouwer e.a., 2012). De psycholoog begint met de beschrijving van de eigen client en een specifieke klinische vraag met kenmerken van de client, interventie en uitkomstmaat. Op basis van die klinische vraag kunnen systematisch wetenschappelijke artikelen worden gezocht. Vervolgens wordt de gevonden literatuur systematisch kritisch beoordeeld en worden de resultaten geëxtraheerd en een conclusie getrokken wat betreft toepasbaarheid van het wetenschappelijke bewijs voor die éne unieke client.  Daarna wordt aan de deelnemers dezelfde PICO vraag in een Artificial Intelligence (AI) EBMH tool te stellen en te reflecteren op de verschillen tussen de eigen uitkomst en die van de AI tool.

Tot slot leren deelnemers hoe ze de effectiviteit van de in de CAT geselecteerde interventie in de klinische praktijk kunnen monitoren, middels een N=1 studie. In dit lesonderdeel ligt de nadruk op practice based evidence. In het N=1 lesonderdeel worden vaardigheden geleerd waarmee een opzet gemaakt kan worden een N=1 en hoe ROM gebruikt kan worden in de klinische praktijk. In dit onderdeel leert men hoe men kan toetsen of specifieke uit een behandelprotocol geselecteerde interventies effectief zijn bij een specifieke patiënt. Er bestaan tot dusver weinig richtlijnen over hoe deze evidence-based protocollen en behandelinterventies het beste gebruikt kunnen worden in de klinische praktijk. Van GZ-psychologen wordt echter verwacht dat ze protocollen en richtlijnen op maat toepassen op hun unieke patiënt, zonder dat deze protocollen aan evidence ‘verliezen’.  In de klinische praktijk is het vaak moeilijk om te beslissen welke specifieke technieken en behandelmethoden uitgevoerd dienen te worden.

Het aanleren van EBMH-vaardigheden voor het monitoren van de effecten van (gepersonaliseerde) interventies, bijvoorbeeld via gestandaardiseerde vragenlijsten, N=1- of case series-studies, of Routine Outcome Monitoring, kan bijdragen aan een hogere effectiviteit van behandelingen (Barkham e. a., 2023). Monitoring ondersteunt daarnaast tijdig bijsturen van trajecten, gezamenlijke besluitvorming, transparantie en verantwoording op teamniveau, professionele reflectie en verantwoorde innovatie. Nieuwe innovatieve toepassingen dienen altijd systematisch worden getoetst aan wetenschappelijke standaarden, waardoor modieuze toepassing, die in potentie kan resulteren in ineffectiviteit en inefficiëntie, zonder bewijs voorkomen kan worden (Maric, 2018). Gevalsbeschrijvingen van dergelijke studies dragen bij aan het op een laagdrempelige manier vergaren van evidentie voor de effectiviteit van (nieuwe) behandelmethoden, werkingsmechanismen en of reeds onderzochte behandelingen bij nieuwe doelgroepen ingezet kunnen worden (Maric, 2018).

Aangezien er nog geen evidentie is vergaard over de effectiviteit van deze lesmodule, was het doel van dit onderzoek om na te gaan in hoeverre deze module bijdraagt aan het verbeteren van de wetenschappelijke attitude van de opleidingsdeelnemers. Verwacht werd dat de module significant bijdroeg aan het verbeteren van de wetenschappelijke attitude, gemeten met de Vragenlijst Wetenschappelijke Attitude (van Helvert, 2020), die verschillende facetten van een wetenschappelijke attitude meet.

Methode

Design

Voor dit onderzoek werd gebruik gemaakt van een pre-post design. De voormeting vond plaats vóór start van de EBMH module, terwijl de nameting na afronding van de EBMH module werd uitgevoerd om veranderingen te evalueren. Alle deelnemers werden gevraagd om voor en na de module een vragenlijst in te vullen over de wetenschappelijke attitude.

Meetinstrument

De wetenschappelijke attitude werden gemeten met de Vragenlijst Wetenschappelijke Attitude (VWA) (Helvert, 2020) bestaande uit 33 items verdeeld over zes subschalen: 1) Wetenschappelijk onderzoek doen en op waarde schatten (7 items) – Meet bijdrage aan en waardering voor wetenschap. Voorbeeld: “Ik draag uit dat het belangrijk is om handelen wetenschappelijk te onderbouwen”. 2) Nieuwsgierigheid naar wetenschappelijke kennis (4 items) – Meet interesse in nieuwe ontwikkelingen. Voorbeeld: “Ik ben nieuwsgierig naar nieuwe innovaties op het gebied van behandeling en diagnostiek.” 3) Kritische opstelling (7 items) – Meet kritische houding t.o.v. niet-wetenschappelijk onderbouwd handelen. Voorbeeld: “Ik ben voorzichtig met het accepteren van verklaringen zonder wetenschappelijk bewijs.” 4) Zelfreflectie (5 items) – Meet kritische reflectie op eigen wetenschappelijk handelen. Voorbeeld: “Ik reflecteer vanuit nieuwe wetenschappelijke inzichten kritisch op mijn eigen handelen.” 5) Onderbouwd durven afwijken en innoveren (4 items) – Meet het onderbouwd afwijken van richtlijnen en bijdragen aan innovatie. Voorbeeld: “Als protocollen tekortschieten, baseer ik mijn behandelingen op literatuur.” 6) Actief delen van kennis en inzichten (6 items) – Meet mate van kennisdeling. Items worden gescoord op een 7-puntenschaal van ‘sterk mee oneens’ tot ‘sterk mee eens’. De interne consistentie van de totale vragenlijst bleek in de studie van Van Helvert (2020) goed (α = 0.84). De interne consistentie van de subschalen variëreerde in de studie van Van Helvert (2020) van α = 0.71 (Zelfreflectie) tot α = 0.80 (Kritische opstelling).

EBMH lesmodule

De aangeboden module betreft een begeleide e-learning module, waarin online leren afgewisseld wordt met ontmoetingen met docenten en groepsgenoten. Feedback op leeropdrachten wordt via een digitaal leerplatform gegeven. De module heeft als doel om deelnemers kennis en vaardigheden eigen te maken waarmee ze in staat zijn om: 1) Richtlijnen te interpreteren en te gebruiken in de klinische praktijk. 2) Informatie uit diverse relevante bronnen op wetenschappelijke relevantie, evidentie en kwaliteit te beoordelen. 3) Een CAT uit te voeren en 4) een N=1 studie op te zetten. De doelen van de EBMH module sluiten aan op de specifieke competenties van GZ-psychologen ten aanzien van wetenschappelijk handelen uit het competentieprofiel van GZ-psychologen.

Data Analyses

Een covariance pattern model analyse werd uitgevoerd met behulp van SPSS Statistics (versie 26; IBM, 2019). Dit model werd gebruikt om de variantie-covariantie structuur van herhaalde metingen over de tijd te modelleren, rekening houdend met mogelijke correlaties tussen observaties binnen proefpersonen. Op de voormeting ontbrak 11,8% van de gegevens, terwijl dit percentage op de nameting aanzienlijk hoger was, namelijk 39,9%. Dit had te maken met het feit dat het invullen van de metingen niet verplicht was. Bij het omgaan met ontbrekende waarden in de dataset werd gebruik gemaakt van multiple imputatie middels het Predictive Mean Matching (PMM) algoritme, op totaalscore en subschaal niveau, om bias en verminderde statistische power te minimaliseren. Ontbrekende resultaten kunnen met multiple imputatie worden verkregen, zelfs met grote percentages ontbrekende gegevens (tot 90%), mits de gegevens willekeurig ontbreken, wat in deze studie het geval was (Madley-Dowd et al., 2019). In totaal werden vijf imputatieronden uitgevoerd, resulterend in vijf complete datasets. Na de imputatie werden de datasets afzonderlijk geanalyseerd, waarna de resultaten samengevoegd werden volgens de richtlijnen van Rubin’s rules (Rubin, 1987). De afhankelijke variabele in het model was wetenschappelijk attitude, gemeten score op tijdstip twee. De onafhankelijke variabelen was tijd, die in het model werd opgenomen als vast effect. Er werd getest op compound symmetry, covariantiepatronen, waarbij een tweezijdig significantieniveau van .05 werd gehanteerd.

Resultaten

In totaal namen 366 psychologen in opleiding tot GZ-psycholoog deel aan de module Evidence-based Mental Health. Er namen 39 mannen deel (10,7%) en 327 vrouwen (89,3%). De gemiddelde leeftijd van de deelnemers was 34,43 jaar (Minimum = 27, Maximum = 60, SD=5.68). Tabel 1 toont de gemiddelden op meetmoment één en twee, de standaarddeviaties en Cronbach’s alphas van de vragenlijsten voor de volledige steekproef van 366 psychologen in opleiding tot GZ-psycholoog. De Cronbach’s alphas varieerden in deze studie van acceptabel (.73) tot goed (.93) voor de subschalen “Onderbouwd durven afwijken en innoveren” en de Totaalscore, respectievelijk.

Tabel 1
Descriptieve statistieken en interne consistentie van de subschalen

WOW = Wetenschappelijk onderzoek doen en op waarde schatten, NWK = Nieuwsgierigheid naar wetenschappelijke kennis, KO = Kritische opstelling, ZR = Zelfreflectie, OAI = Onderbouwd durven afwijken en innoveren, AD = Actief delen van kennis en inzichten.

Tabel 2 toont de resultaten van de covariance pattern model analyse. In deze studie zijn de effecten van tijd op verschillende subschalen onderzocht. Op alle subschalen werd een statistisch significant effect gevonden. Voor de subschaal wetenschappelijk onderzoek op waarde (WOW) schatten werd een geschatte tijdseffectwaarde van 26.30 gevonden (SD = 1.12), wat significant verschilde van nul, t(335)= 23.50, p <0.001. De subschaal nieuwsgierigheid naar wetenschappelijke kennis (NWK) toonde een significant tijdseffect van 1.92 (SD = 0.24), t(333)=8.15,p<0.001. Voor de subschaal kritische opstelling (KO) werd een geschatte tijdseffectwaarde van 5.11 (SD = 0.30) vastgesteld (t(333)= 17.34, p < 0.001). De subschaal zelfreflectie (ZR) liet een significant tijdseffect zien van 2.61 (SD = 0.26) (t(337)=9.89, p < .001). Voor de subschaal onderbouwd durven afwijken en innoveren (OAI) werd een significant tijdseffect van 3.81 (SD = 0.21) gevonden (t(339)=17.94, p <0.001). De subschaal actief delen van kennis en inzichten (AD) toonde een significant tijdseffect van 4.92 (SD = 0.28) ( t(336)=17.49, p < .001). Tot slot werd voor de totaalscore een significant geschatte tijdseffectwaarde van 7.95 (SD = 0.34) gevonden, t(336) = 23.48, p < .001). Deze bevindingen wijzen op substantiële en significante effecten van tijd op alle onderzochte subschalen en de totaalscore.

Tabel 2

Resultaten van het Covariance pattern model voor alle EBMH schalen

WOW = Wetenschappelijk onderzoek doen en op waarde schatten, NWK = Nieuwsgierigheid naar wetenschappelijke kennis, KO = Kritische opstelling, ZR = Zelfreflectie, OAI = Onderbouwd durven afwijken en innoveren, AD = Actief delen van kennis en inzichten.

Discussie

De resultaten van dit onderzoek tonen aan dat de module EBMH significante verbeteringen teweegbracht in de wetenschappelijke attitude van psychologen in opleiding tot GZ-psycholoog. Alle subschalen, evenals de totaalscore, lieten een statistisch significant tijdseffect zien, wat erop wijst dat de interventie bijdraagt aan het versterken van de kerncompetenties die essentieel zijn voor evidence-based werken in de klinische praktijk.

Opvallend is dat er na het volgen van de module EBMH een sterke toename is in de subjectieve ervaring van de vaardigheid om wetenschappelijk onderzoek kritisch op waarde te schatten. In de module wordt dan ook veel aandacht besteed aan dit aspect via hoorcolleges over niveaus van evidentie, totstandkoming van richtlijnen als ook vaardigheidstraining in het kritisch evalueren van wetenschappelijk onderzoek middels het maken van een eigen CAT. Dit suggereert dat de module bijzonder effectief is in het vergroten van de waardering voor en het gebruik van wetenschappelijke inzichten in de praktijk. Dit is een belangrijke uitkomst, aangezien deze vaardigheid een kerncomponent is van evidence-based werken en de basis vormt voor andere EMBH-vaardigheden. Ten aanzien van nieuwsgierigheid naar wetenschappelijke kennis en zelfreflectie werden significante effecten gevonden. Deze aspecten van de wetenschappelijke attitude zijn gerelateerd aan persoonlijke interesse en eerdere professionele ervaring, wat suggereert dat zelfs deze meer intrinsieke attitudes beïnvloed kunnen worden door een gerichte training. Het merendeel van de opleiding deelnemers heeft al veel praktijkervaring (gemiddeld zes jaar), de casuïstiek die ingebracht wordt door de deelnemers tijdens de module betreft casuïstiek waar men een persoonlijke vraag over heeft waardoor de CAT een hoog relevantie niveau heeft, wat mogelijk bijdraagt aan dit positieve resultaat. De resultaten op de subschalen kritische opstelling en actief delen van kennis en inzichten laten eveneens aanzienlijke verbeteringen zien. Dit benadrukt dat de module niet alleen gericht is op individuele kennisontwikkeling, maar ook bijdraagt aan een verbetering van het delen van inzichten en kritisch nadenken stimuleert, een vaardigheid die ook tijdens de lessen geoefend wordt aangezien er op verschillende momenten samengewerkt wordt. Het verbeteren van deze vaardigheden is essentieel om evidence-based werkwijzen binnen teams en organisaties te bevorderen.

De bevindingen sluiten aan bij eerdere onderzoeken naar evidence-based trainingen, waarin ook een positieve relatie werd gevonden tussen het volgen van dergelijke programma’s en het versterken van wetenschappelijke attitudes (Blalock et al., 2008; Hutschemaekers, 2010). Het huidige onderzoek vult deze literatuur aan door specifiek te kijken naar een modulaire aanpak waarbinnen verschillende facetten van evidence based werken aan bod kwamen, waaronder het kennen van niveaus van evidentie, de tot stand koming en toepassing van richtlijnen, het uitveren van een CAT en opzetten van een N=1. Bovendien is deze lesmodule erg praktijkgericht en worden digitale en fysieke leermethoden gecombineerd.

De adherentie aan richtlijnen door clinici blijft ook na het volgen van een EBMH module een punt van aandacht. Hoewel deze module duidelijke verbeteringen laat zien op de korte termijn (einde module), zijn structurele lange termijn veranderingen in organisaties en overtuigingen van professionals nodig om de adherentie aan evidence-based richtlijnen richting het streefniveau van 80-90% te brengen (Leentjens & Burger, 2008). De module richt zich naast het onderstrepen van het belang van adherentie aan richtlijnen ook hoe er evidence based gewerkt kan worden als de richtlijnen niet gevolgd kunnen worden, bijvoorbeeld als er nog geen richtlijn is of een richtlijn niet uitgevoerd kan worden bij een specifieke client omdat de client niet wil. De in de module getrainde vaardigheid om single-case design methoden toe te passen en daarmee resultaten te monitoren kunnen ondersteunen bij het toetsen of dergelijke afwijkingen van de richtlijnen effectief zijn bij een unieke client. Het is van belang dat de deelnemers een dergelijke vaardigheid consolideren en generaliseren in hun klinische dagdagelijkse praktijk. In hoeverre de module bijdraagt aan structurele toepassing en borging van een dergelijke wetenschappelijke werkwijze dient verder onderzocht te worden.

Naast EBHM speelt innovatie een cruciale rol in het verbeteren van de kwaliteit van zorg.  Er is nadrukkelijk ook een relatie tussen innovatie en EBMH. De gezondheidszorg evolueert voortdurend, gedreven door technologische vooruitgang, nieuwe wetenschappelijke inzichten en veranderende behoeften van patiënten. In dit kader biedt EBMH een fundament voor verantwoorde en effectieve innovatie. Door te werken volgens richtlijnen en het kritisch wetenschappelijk evalueren van nieuwe (innovatieve) interventies, kunnen zorgprofessionals bijdragen aan de introductie van innovatieve behandelmethoden die niet alleen wetenschappelijk onderbouwd zijn, maar ook aansluiten bij de behoeften en voorkeuren van patiënten en daarmee de kwaliteit van de zorg verder verbeteren. Deze EBMH module lijkt een eerste stap te zijn om dit proces bij opleidingsdeelnemers te stimuleren. Een belangrijk aspect van innovatie is immers het vermogen van professionals om onderbouwd af te wijken van bestaande richtlijnen wanneer deze onvoldoende aansluiten op complexe of unieke praktijksituaties en de effecten hiervan te monitoren. Dit vereist niet alleen een diepgaande kennis van de beschikbare evidentie, maar ook een open en vragende houding ten aanzien van nieuwe benaderingen. In de module wordt dan ook het belang benadrukt van het opzetten van N=1-studies, waarmee professionals experimentele interventies op kleine schaal kunnen evalueren. Dit ondersteunt een cultuur van voortdurende verbetering en innovatie binnen de klinische praktijk.

Een belangrijk methodologisch aandachtspunt is de hoge mate van ontbrekende data op de nameting (39,9%). Hoewel multiple imputatie een robuuste methode is om bias door ontbrekende waarden te minimaliseren (Madley-Dowd et al., 2019), blijft het mogelijk dat de resultaten enigszins vertekend zijn. Dit benadrukt de noodzaak om in toekomstig onderzoek de deelname aan zowel de voor- als nameting te verplichten. Daarnaast biedt het gebruik van een pre-post design met slechts twee meetmomenten beperkt inzicht in de duurzaamheid van de effecten. Langere follow-up metingen zijn nodig om te beoordelen of de verbeteringen in wetenschappelijke attitude en vaardigheden behouden blijven en daadwerkelijk toegepast worden in de klinische praktijk. Omdat deze studie geen controlegroep bevatte, kon niet nagegaan worden en daarmee uitgesloten worden andere factoren dan de module bij hebben gedragen aan de gevonden positieve resultaten. Het is noodzakelijk dat er vervolgonderzoek plaats vind met een controlegroep, bijvoorbeeld door de wetenschappelijk attitude te meten van een opleidingsgroep die de EBMH module nog niet heeft gevolgd tijdens een willekeurige andere module.

De resultaten benadrukken het belang van evidence-based onderwijsmodules in het curriculum van de GZ-opleiding. Het systematisch trainen van wetenschappelijke vaardigheden en attitudes draagt niet alleen bij aan de competentieontwikkeling van individuele professionals, maar heeft ook potentieel om de kwaliteit van zorg in bredere zin te verbeteren. Het succes van de module biedt een model dat ook toegepast kan worden in andere gezondheidszorgopleidingen. Het toepassen van EBMH vaardigheden dient echter niet beperkt te blijven tot een EBMH module, maar  terug te komen in alle lesmodules en in het praktijk deel van de GZ-opleiding. Hierbij is een belangrijke rol weggelegd voor werkbegeleiders, supervisoren en praktijkopleiders. In het nieuwe, nog te implementeren, landelijke GZ opleidingsplan wordt de toepassing van deze vaardigheden in klinische praktijk dan ook gestimuleerd middels de toevoeging van de CAT aan de praktijktoetsen. Een aanvullende aanbeveling is om in de opleidingen ook aandacht te besteden aan organisatorische interventies, zoals het bevorderen van een cultuur van evidence-based werken en het bieden van toepassen van ROM feedbacksystemen en het gebruik van AI tools ter ondersteuning van EBHM ,zoals evidence hunt, die het beoordelen van literatuur faciliteren.

De EBMH module heeft significante verbeteringen teweeggebracht in de wetenschappelijke attitude en vaardigheden van GZ-psychologen in opleiding. Hoewel de resultaten veelbelovend zijn, blijven aanvullende inspanningen nodig om de duurzaamheid van deze effecten te waarborgen en een bredere implementatie van evidence-based werken in de praktijk te realiseren. Toekomstig onderzoek zou zich moeten richten op of het volgen van een dergelijke module ook resulteert in het verbeteren van de adherentie aan richtlijnen en de implementatie en het monitoren van de effecten van innovatieve behandelmethoden in de klinische praktijk alsook het verder verkleinen van de kloof tussen wetenschap en praktijk in de gezondheidszorg. In aansluiting hierop werden in het Adaptieve Psychologische Vervolgopleidingen programma vijf inhoudelijke doorlopende leerlijnen bepaald, van de masterpsycholoog tot aan de klinisch psycholoog. Te weten: 1) Diagnostiek en indicatiestelling, 2) Behandeling, 3) Professionaliteit, 4) Leiderschap en innovatie, 5) Academisch werken en wetenschappelijk onderzoek. De doorlopende leerlijnen Academisch werken en wetenschappelijk onderzoek gaat hopelijk bijdragen aan het verminderen van deze kloof. Een dergelijke leerlijn draagt niet alleen bij aan de verduidelijking van begin- en eindniveaus van de competenties per opleiding (master-GZ, generalist, klinisch psycholoog en psychotherapeut), maar ook aan de competenties die binnen de betreffende opleidingen ontwikkeld dienen te worden. Daarnaast dragen duidelijke leerlijnen bij aan het optimaliseren van de aansluiting tussen de master- en de postmasteropleidingen, zowel in logistieke als inhoudelijke zin.

Referenties

1. Van Amelsvoort, L., de Brouwer, C., van Gool, C., Kant, I., Mesters, I., & Mommers, M. (2020). Critical Appraisal of a Topic: How to integrate patient characteristics and preferences with clinical expertise and external evidence. Maastricht University.
2. Andrews, G., Issakidis, C., Sanderson, K., e.a. (2004). Utilising survey data to inform public policy: comparison of the cost-effectiveness of treatment of ten mental disorders. The British Journal of Psychiatry, 184, 526-533.
3. Barkham, M., De Jong, K., Delgadillo, J., & Lutz, W. (2023). Routine outcome monitoring (ROM) and feedback: Research review and recommendations. Psychotherapy Research, 33(7), 841-855
4. Blalock, C. L., Lichtenstein, M. J., Owen, S., Pruski, L., Marshall, C., & Toepperwein, M. A. (2008). In pursuit of validity: A comprehensive review of science attitude instruments 1935-2005. International Journal of Science Education, 30(7), 961-977.
5. de Brouwer, Carin & Mommers, Monique & Gool, Christel & Kant, Ijmert & Ferreira, Isabel. (2012). Training Critical Appraisal of a Topic – An indispensable manual in the era of Evidence Based Medicine.
6. Eagly, A. H., & Chaiken, S. (1993). The psychology of attitudes. Harcourt Brace Jovanovich College Publishers.
7. Fishbein, M., & Ajzen, I. (2010). Predicting and Changing Behavior: The Reasoned Action Approach. New York: Taylor & Francis Group.
8. Fernandez, A., Haro, J. M., Martinez-Alonso, M., Demyttenaere, K., Brugha, T. S., Autonell, J., … & Alonso, J. (2007). Treatment adequacy for anxiety and depressive disorders in six European countries. The British Journal of Psychiatry, 190(2), 172-173.
9. FGzPt. (2018). Opleidingsplan GZ-Psycholoog. Verkregen op 20 december 2024, van https://www.fgzpt.nl/e2/site/fgzpt/custom/site/upload/file/pdf/besluiten_csgp/opleidings- plan_gz_herzien_2019_def.pdf
10. Van Helvert, L. (2020). Het Meten van Wetenschappelijke Attitude in het Postacademisch Onderwijs in de Geestelijke Gezondheidszorg.
11. Hutschemaekers, G. (2010). De psycholoog als scientist-practitioner. Psychologie en praktijk, 15-42.
12. IBM Corp. Released 2019. IBM SPSS Statistics for Mac, Version 26.0. Armonk, NY: IBM Corp
13. Kaasenbrood, A. J. A., Tiemens, B., & de Niet, G. (2010). Evidence-based werken in de GGZ: Methodisch werken als oplossing. Bohn Stafleu van Loghum.
14. Leentjens, A. F. G., & Burgers, J. S. (2008). Welke factoren zijn belangrijk bij succesvolle implementatie van richtlijnen?. Tijdschrift voor psychiatrie, (2008/6), 329-335.
15. Lilienfeld, S. O., Ritschel, L. A., Lynn, S. J., Cautin, R. L., & Latzman, R. D. (2013). Why many clinical psychologists are resistant to evidence-based practice: Root causes and constructive remedies. Clinical psychology review, 33(7), 883-900.
16. Madley-Dowd, P., Hughes, R., Tilling, K., & Heron, J. (2019). The proportion of missing data should not be used to guide decisions on multiple imputation. Journal of clinical epidemiology, 110, 63-73.
17. Maric, M. (2018).Single-case experimentele designs in cognitieve gedragstherapie. Tijdschrift voor Gedragstherapie, 2, 158-170.
18. Rubin, D. B. (1987). The calculation of posterior distributions by data augmentation: Comment: A noniterative sampling/importance resampling alternative to the data augmentation algorithm for creating a few imputations when fractions of missing information are modest: The SIR algorithm. Journal of the american statistical association, 82(398), 543-546