Evidentie voor ROM-feedback
Laten we beginnen met de eerste ‘misvatting’ die de auteurs naar voren brengen. Hafkenscheid en Van Os (2018) stellen dat voorstanders van ROM aangeven dat er onomstotelijk bewijs is voor de effectiviteit van ROM. Naar wij weten heeft niemand ooit zulke woorden in de mond genomen. De auteurs hebben gelijk als zij stellen dat ROM niet in alle situaties, bij alle groepen patiënten leidt tot betere behandeluitkomsten. Elke onderzoeker die zich bezighoudt met ROM is zich hiervan bewust. Dat Hafkenscheid en Van Os vervolgens concluderen dat het bewijs voor ROM in het Nederlands taalgebied pover is, is te kort door de bocht.
Ten eerste ontbreken er diverse onderzoeken in de tabel met in Nederland uitgevoerde studies. Twee onderzoeken die ontbreken, beide met steekproeven boven de vierhonderd participanten, laten aanzienlijk positievere resultaten zien ten aanzien van de effectiviteit van voortgangsfeedback op basis van ROM. Zo vonden De Jong et al. (2014) dat bij stagnerende behandelingen met een duur tot 35 weken het geven van feedback over de behandelvoortgang aan de therapeut een groot eect had (Cohen’s d=0.91) en een zeer groot effect wanneer zowel de therapeut als de patiënt feedback kregen (Cohen’s d=1.28). In De Jong et al. (in voorbereiding, reeds gepresenteerd op diverse landelijke congressen) werd overigens wel een algemeen effect gevonden van ROM-feedback; er werden twee vormen van ROM-feedback vergeleken met een controleconditie zonder feedback. De reguliere ROM-feedback (ruwe scores in een grafiek en informatie over klinische significantie) was significant effectiever dan geen feedback. Bij patiënten waar de behandeling stagneerde deed de feedback met clinical support tools, vergelijkbaar met het systeem van Lambert, het beter, vooral in een subgroep van meer complexe patiënten.
Ten tweede is het kunstmatig om alleen te focussen op onderzoek naar ROM dat in Nederland is uitgevoerd. Onderzoek is een wereldwijde aangelegenheid, waarbij onderzoekers pogen om elkaar aan te vullen. Het onderzoek in Nederland heeft onder diverse cliëntpopulaties plaatsgevonden die in het buitenland nog niet onderzocht waren. Het aangehaalde onderzoek van Van Oenen et al. (2016) onderzoekt bijvoorbeeld de effectiviteit van feedback bij een crisispopulatie.
Inmiddels weten we uit de internationale literatuur dat het er op lijkt dat deze vorm van ROM bij zwaardere cliëntpopulaties minder goed lijkt te werken (Davidson, Perry & Bell, 2014). Het aangehaalde onderzoek van Janse et al. (2017) vergelijkt twee vormen van ROM, een lager frequentere vorm van ROM en een sessie-voorsessie vorm van feedback. In een dergelijk design kunnen geen conclusies worden getrokken ten aanzien van de meerwaarde van ROM an sich. Wel bleek dat bij bepaalde patiënten de therapie- duur korter was en de efficiëntie van behandelingen werd verbeterd. In recent onderzoek uit Engeland in een vergelijkbare setting (waarbij ook twee vormen van ROM vergeleken werden) vond men een vergelijkbare toename in efficiëntie (Delgadillo et al., 2017). Inmiddels zijn er meer dan veertig onderzoeken gedaan naar de effectiviteit van ROM en werd in een recente meta-analyse gevonden dat er weliswaar een klein maar robuust effect werd gevonden (de Jong et al, in voorbereiding). ROM-feedback blijkt niet in alle gevallen of in alle situaties te werken. Wetenschap is voortdurend in beweging en een internationaal thema binnen het onderzoek naar ROM is de vraag voor welke cliënten het werkt en op welke wijze. Er is vooral onderzoek nodig naar de condities waaronder feedback werkt en de cliëntgroepen waarvoor ROM meerwaarde heeft, zoals Hafkenscheid en Van Os zelf ook concluderen (Gondek et al., 2016). Dit zijn empirische vragen die alleen beantwoord kunnen worden als er data wordt verzameld. Binnen Europa is het International Network Supporting Psychotherapy Innovations and Research into Effectiveness (INSPIRE) momenteel bezig met het vaststellen van nieuwe standaarden voor toekomstig onderzoek naar ROM en feedback.
Hafkenscheid en Van Os stellen dat de Nederlandse ROM met laagfrequente metingen en clinici die niet getraind zijn, schraal afsteekt tegen de Amerikaanse versie van het inzetten van ROM van Lambert. Dit zijn wij gedeeltelijk met hen eens. De therapeuten in het onderzoek van Lambert hebben echter ook vrij minimale training gehad in voortgangsfeedback, terwijl hun systeem veel complexer is dan het Nederlandse systeem. Belangrijker is dat we niet kunnen weten of de ‘Nederlandse’ ROM (voor zover die bestaat) effectief is of niet, omdat dat in die vorm niet in Nederland onderzocht is. Wel weten we dat in onderzoek van De Jong et al. (2012), waarbij eens per vijf sessies gemeten werd, ROM bij actief gebruik nog steeds de eectiviteit van de behandeling kan vergroten. In buitenlandse onderzoeken werd ROM ook regelmatig minder frequent ingezet dan elke sessie en werden wel degelijk positieve effecten van ROM gevonden (bijv. Berking, Orth, & Lutz, 2006; Lutz et al., 2011; Newnham, Hooke, & Page, 2010).
ROM-instrumenten meten uitkomsten
Een tweede ‘misvatting’ die Hafkenscheid en Van Os bespreken is dat ROM-instrumenten niet vanzelfsprekend als behandeluitkomsten geïnterpreteerd kunnen worden. Deze uitspraak is opmerkelijk te noemen, aangezien meetinstrumenten zoals de SCL-90, BSI en OQ-45 ook als uitkomstmaten worden gebruikt in een aanzienlijke hoeveelheid internationaal wetenschappelijk onderzoeken naar de effectiviteit van behandelinterventies. Wel is het zo dat deze instrumenten zich voornamelijk richten op symptoomreductie en het is zeker ook mogelijk dat ook andere meetdomeinen (bijv. kwaliteit van leven of functioneren op het werk) relevant zijn als uitkomst voor psychologische behandelingen.
Opmerkelijk genoeg richten Hafkenscheid en Van Os hun pijlen vooral op de kwaliteit van de OQ-45, terwijl dat nou juist een van de weinige instrumenten is die naast symptomen ook het functioneren in interpersoonlijke relaties en het functioneren in de sociale rol (werk en vrije tijd) meet. Symptoomreductie is desalniettemin voor veel patiënten een belangrijk doel: een depressieve patiënt wil uiteindelijk toch van zijn depressieve klachten af. Het gaat te ver om te stellen dat behandeluitkomsten op basis van symptoomreductie niet gemeten moeten worden. Wat wel zo is, is dat ROM-instrumenten in mindere mate het behandelproces meten. Wie daar meer over wil weten, moet inderdaad andere meetinstrumenten gebruiken. Procesgericht meten en meten van symptoomreductie hebben verschillende doelen en kunnen elkaar juist aanvullen.
De auteurs geven een voorbeeld van een sociaal fobische patiënt die voor het eerst zijn therapeut durft tegen te spreken, waarbij de resultaten op de ROM niet weergeven wat cliënt bereikt in zijn proces. Dit is een voorbeeld van een idiosyncratische behandeluitkomst, een behandeluitkomst die relevant is voor een individuele patiënt, maar niet noodzakelijkerwijs voor andere patiënten. Dat kan problematisch zijn bij de evaluatie van de behandeling. Stel dat dit tegenspreken van de behandelaar bij een andere sociaal fobische patiënt niet gebeurt, is die behandeling dan niet geslaagd? Dat kunnen we niet zomaar stellen. En wat nou als deze patiënt zijn behandelaar weliswaar durft tegen te spreken, maar op andere symptomen van zijn sociale fobie geen verbetering vertoont, spreken we dan nog steeds van behandelsucces?
Uiteraard is het wel belangrijk om oog te hebben voor individuele resultaten in de behandeling, maar het gaat te ver om dit de enige vorm van evaluatie te laten zijn. In de wetenschappelijk literatuur zijn er verschillende ontwikkelingen gaande waarbij geëxperimenteerd wordt met idiosyncratische behandeluitkomsten. Met computerized adaptive testing (CAT) worden bijvoorbeeld alleen die symptomen gemeten die voor die patiënt relevant zijn. Er zijn ook ROM-systemen waarbij de doelen van de individuele patiënt gemonitord worden (meestal naast symptoomreductie). Een andere ontwikkeling is het gebruik van idiosyncratische ROM-instrumenten waarbij een deel van het instrument gestandaardiseerd is en een deel bestaat uit vragen die voor die specifieke patiënt relevant zijn. Op dit moment zijn deze methoden van ROM nog in ontwikkeling en kan er nog niet met voldoende nauwkeurigheid herhaaldelijk worden gemeten.
Voorts bekritiseren Hafkenscheid en Van Os de bij ROM gebruikte meetinstrumenten op hun psychometrische eigenschappen. Hun voornaamste kritiek is dat de gevoeligheid van verandering van deze lijsten bij een te kleine groep patiënten is onderzocht. Interessant genoeg is er juist door de grote hoeveelheid verzamelde ROM-gegevens inmiddels beschikking over data van een aanzienlijke groep cliënten. De Beurs et al. (2012) toonden eerder al aan dat de binnen ROM gebruikte meetinstrumenten weliswaar verschillen in hun gevoeligheid voor verandering, maar dat alle instrumenten gevoelig zijn voor verandering.
Het is goed mogelijk om kritiek te hebben op ROM-instrumenten, aangezien geen enkel meetinstrument perfect is. Zelfs wanneer er in theorie een perfect instrument ontwikkeld zou worden, is het nog steeds niet mogelijk om in alle situaties valide te meten, bijvoorbeeld wanneer een patiënt de vragen niet begrijpt door een taalbarrière. Ook ogenschijnlijk objectieve metingen zoals hartslag en bloeddruk zijn onderhevig aan meetfouten. Zelfs de door auteurs aangehaalde ondubbelzinnig telbare percentages patiënten die sterven na maagkankeroperaties zijn niet honderd procent foutloos; als een patiënt bijvoorbeeld sterft na een operatie, maar ten gevolge van een reeds bestaande hartaandoening, dient deze dan wel of niet meegeteld te worden als sterfte ten gevolge van de maagoperatie? En wat is er eigenlijk mis met een subjectieve meting? Ons vak gaat bij uitstek over de eigen beleving van patiënten, dus waarom zouden we die niet meten? Ook in de somatische zorg hecht men steeds meer waarde aan de beleving van de patiënt naast medische evaluaties (Antunes, Harding & Higginson, 2013; Kotronoulas et al., 2014; Marshall, Haywood & Fitzpatrick, 2006). Dit is een belangrijke reden geweest voor de ontwikkeling van Patient-Reported Outcome Measurement (PROM).
Conclusie
Het artikel van Hafkenscheid en Van Os stelt een inhoudelijk verhaal te zijn, maar lijkt door het ontbreken van de bredere context van internationaal onderzoek naar ROM toch zeer selectief bepaalde wetenschappelijke resultaten te bespreken. Waarschijnlijker is echter dat zij met het stuk toch meer een politiek effect beogen – namelijk dat van het stoppen met ROM in Nederland. Het feit dat de auteurs hun ‘tegenstanders’ woorden in de mond leggen als dat ROM ‘onomstotelijk effectief’ zou zijn, doet dat vermoeden. Argumenten tegen hun visie worden weggezet als ‘ideologisch en retorisch’, zonder dat de auteurs hier werkelijke argumenten voor geven. Hiermee wordt de ruimte voor een vruchtbare discussie beperkt.
De auteurs stellen voor om volledig af te stappen van de bestaande ROM en deze compleet opnieuw in te richten. Wij vinden het jammer dat een voormalig enthousiast bepleiter van ROM als Hafkenscheid zich nu volledig tegen elke bestaande vorm van ROM gekeerd lijkt te hebben. De voorgestelde idiosyncratische vorm van ROM is behandelinhoudelijk mooi, maar heeft niet de mogelijkheid om bijvoorbeeld op basis van een database van vergelijkbare patiënten te beslissen wanneer de behandelaar dient in te grijpen in de behandeling. Behandelaars zijn doorgaans te optimistisch over het beloop van de behandeling en kunnen slecht inschatten wat het functioneren van de patiënt is, zonder hiervoor gebruik te maken van gestandaardiseerde meetinstrumenten (Hannan et al., 2005; Hatfield et al., 2010). We hebben binnen de psychologie ook een prachtige traditie omtrent het gebruik van gestandaardiseerde en genormeerde meetinstrumenten. Waarom zouden wij deze verwerpen als het gaat om het meten van behandeluitkomsten? Juist wanneer gebruik wordt gemaakt van expected recovery curves op basis waarvan de therapeut een signaal krijgt dat de behandeling stagneert, lijken betere resultaten gevonden te worden met ROM-feedback (Krägeloh et al., 2015). Interessant genoeg zijn er aanwijzingen dat juist behandelaars die gebruik maken van ROM-feedback als methode om beter te worden in hun vak effectievere therapeuten lijken te worden (Goldberg et al., 2016), terwijl de gemiddelde therapeut over tijd gemiddeld iets minder effectief wordt (Goldberg et al., 2016).
In onze beleving liggen de verschillen tussen voor- en tegenstanders van ROM juist op het vlak van het doel van ROM om de behandeling te ondersteunen vrij dicht bij elkaar. Het artikel van Hafkenscheid en Van Os lijkt daarmee te leiden tot onnodige polarisatie en wij vragen ons af wat de auteurs daarmee hopen te bereiken. Het is uiteraard belangrijk om kritisch te blijven en daarmee verdere ontwikkeling van ROM te stimuleren, maar de auteurs lijken zich nu tot missie te hebben gesteld om de huidige ROM compleet af te branden. Daarmee lopen zij overigens ook het risico om het draagvlak te verliezen voor een ROM die zij voorstellen. Het zou mooi zijn als de discussie rondom ROM zich meer zou kunnen verplaatsen naar constructieve feedback en samenwerking tussen de verschillende partijen om uiteindelijk tot een inhoudelijk steeds sterkere ROM te kunnen komen.
Reactie
De Jong en Janse hebben niet geheel ongelijk als zij onze kritische publicaties over ROM als ‘een offensief’ typeren. Voor hen lijkt dat geenszins een neutrale, laat staan een positieve typering. Wie ons stuk niet, maar hun emotioneel geladen reactie wel heeft gelezen, zou ten onrechte kunnen concluderen dat zij ons niet minder dan een regelrechte kruistocht tegen ROM toeschrijven. De Jong en Janse spreken de eerste auteur (Hafkenscheid) persoonlijk aan om hun teleurstelling over te brengen: hij zou zich van enthousiast bepleiter van ROM in het kamp van de a priori ‘tegenstanders’, waaronder zij de tweede auteur (Van Os) lijken te scharen, hebben laten trekken. Er is bij geen van ons tweeën sprake van standpuntverandering. Tien (Hafkenscheid, 2008*) en zes (Hafkenscheid, 2012*; Van Os et al., 2012*) jaar geleden lieten wij precies dezelfde waarschuwingen horen: met andere accenten en argumenten.
Zere plek
De Jong en Janse werpen ons voor de voeten dat wij ‘een inhoudelijk verhaal’ als dekmantel gebruiken om ‘een politiek effect’ te oogsten. Er zijn ergere verwijten denkbaar: beleidskeuzes dienen immers gebaseerd te zijn op inhoudelijke argumenten, in plaats van op ongefundeerde beweringen, zoals de veel gehoorde ‘ROM opent de black box van de ggz’. De Jong en Janse stellen zelf: ‘Belangrijker is dat we niet kunnen weten of de ‘Nederlandse’ ROM (voor zover die bestaat) effectief is of niet, omdat dat in die vorm niet in Nederland onderzocht is.’ Zij leggen de vinger op de zere plek: een systeem waaraan jaarlijks tientallen miljoenen euro’s worden gespendeerd moet door de behandelaar als effectief aan de patiënt worden verkocht, zonder dat de pretentie van effectiviteit inhoudelijk en empirisch kan worden waargemaakt.
Wij wijzen elke suggestie dat wij ons tegen routine monitoren richten resoluut van de hand. Op het gebied van de experience sampling (PsyMate) en het monitoren van tegenoverdrachtsreacties (Impact Message Inventory- Circumplex (IMI-C)) hebben wij uitgebreid onderzoek verricht.* Wij hebben diverse nieuwe onderzoeken in voorbereiding en in uitvoering. Deze onderzoeken richten zich op louter subjectieve metingen.
De Jong en Janse vergissen zich dus als zij suggereren dat wij weinig van subjectieve monitorinstrumenten zouden willen weten. Het gaat ons om de context waarin subjectieve oordelen worden gebruikt, alsmede om de validiteit van de conclusies die er uit worden afgeleid. De Jong en Janse beweren dat wij tegenkritiek wegzetten als ‘retorisch en ideologisch’, zonder werkelijk op de argumenten van pleitbezorgers voor handhaving van de nationale ROM in te gaan. Wij zouden het willen omkeren: tot op heden is het ons nooit gelukt om een inhoudelijke discussie aan te gaan, omdat pleitbezorgers die discussie meden en bleven hameren op de (nog niet waar gemaakte) beloften van de opgelegde nationale ROM. In dit verband verwijzen wij nogmaals naar bovenstaand citaat van henzelf: er valt empirisch weinig te verdedigen aan de opgelegde ROM.
Handschoen
Dat De Jong en Janse de handschoen wel oppakken, kunnen wij als zodanig waarderen. Wat ons echter teleurstelt, is dat zij vrijwel alle argumenten uit ons stuk ofwel uit hun verband trekken, ofwel laten liggen. Wij stellen dan ook enkele vragen aan De Jong en Janse:
- Waar halen zij vandaan dat wij verklaarde tegenstanders zijn van zelfrapportage of van het meten van klachtenreductie?
- Waar lezen zij dat we onze pijlen specifiek op de OQ-45 richten?
- Waaruit leiden zij af dat wij uitsluitend zouden willen varen op objectieve (telbare) informatiebronnen?
- Wat vinden zij van onze kritiek dat ‘sturend monitoren’ de deur wagenwijd openzet voor het vinden van de paaseieren die men zelf heeft verstopt, dus kan leiden tot geflatteerd gunstige uitkomsten aangaande de toegevoegde eectiviteit van ROM-feedback?
- Hoe kijken zij aan tegen onze kritiek dat de OQ-45 moeilijk een generiek instrument kan worden genoemd, wanneer de respondent verondersteld wordt een liefdespartner te hebben, seksueel actief te zijn, te werken?
- Zijn zij het met ons (on)eens dat betrouwbare verandering overschat wordt door homogeniteitscoë §ciënten te gebruiken, in plaats van test-hertestbetrouwbaarheden?
- Hoe zien zij ons pleidooi om behandeluitkomsten altijd vanuit meerdere perspectieven te meten?
We sluiten af met een laatste en meest prangende vraag: Hoe is wat hun betreft aan patiënten en behandelaars uit te leggen dat wetenschappelijk onderzoek heeft bewezen dat verplichte ROM de behandeleffectiviteit verhoogt, terwijl we dat – hun eigen citaat indachtig – helemaal niet weten?
Literatuur
- Antunes, B., Harding, R. & Higginson, I.J. (2014). Implementing patient-reported outcome measures in palliative care clinical practice: A systematic review of facilitators and barriers. Palliative Medicine, 28, 158-175. doi:10.1177/0269216313491619
- Berking, M., Orth, U. & Lutz, W. (2006). Wie effektiv sind systematische Rückmeldungen des Therapieverlaufs an den Therapeuten? Zeitschrift für Klinische Psychologie und Psychotherapie, 35 (1), 21-29. doi:10.1026/1616-3443.35.1.21
- Davidson, K., Perry, A. & Bell, L. (2015). Would continuous feedback of patient’s clinical outcomes to practitioners improve NHS psychological therapy services? Critical analysis and assessment of quality of existing studies. Psychology & Psychotherapy: Theory, Research and Practice, 88, 21-37. DOI: 10.1111/ papt.12032
- de Beurs, E., Barendregt, M., Flens, G., van Dijk, E., Huijbrechts, I. & Meerding, W. (2012). Equivalentie in responsiviteit van veel gebruikte zelfrapportage meetinstrumenten in de geestelijke gezondheidszorg. Maandblad voor de Geestelijke Volksgezondheid, 67, 259-264.
- de Jong, K., Conijn, J.M., Lutz, M.C., Gallagher, R.A.V. & Heij, M. (in preparation). Using progress feedback to improve outcomes and reduce drop-out: A multilevel meta-analysis.
- De Jong, K., Timman, R., Hakkaart-Van Roijen, L., Vermeulen, P., Kooiman, K. et al. (2014). The effect of outcome monitoring feedback to clinicians and patients in short and long-term psychotherapy: A randomized controlled trial. Psychotherapy Research, 24(6), 629-639. doi:10.1080/10503307.2013.871079
- Delgadillo, J., Overend, K., Lucock, M., Groom, M., Kirby, N. et al. (2017). Improving the efficiency of psychological treatment using outcome feedback technology. Behaviour research and therapy, 99 (Supplement C), 89-97. doi: 10.1016/j.brat.2017.09.011
- Goldberg, S.B., Babins-Wagner, R., Rousmaniere, T., Berzins, S., Hoyt, W.T. et al. (2016). Creating a climate for therapist improvement: A case study of an agency focused on outcomes and deliberate practice. Psychotherapy, 53 (3), 367- 375. doi:10.1037/pst0000060
- Goldberg, S.B., Rousmaniere, T., Miller, S.D., Whipple, J., Nielsen, S.L. et al. (2016). Do psychotherapists improve with time and experience? A longitudinal analysis of outcomes in a clinical setting. Journal of Counseling Psychology, 63 (1), 1-11. doi:10.1037/cou0000131
- Gondek, D., Edbrooke-Childs, J., Fink, E., Deighton, J. & Wolpert, M. (2016). Feedback from Outcome Measures and Treatment Effectiveness, Treatment Efficiency, and Collaborative Practice: A Systematic Review. Adm Policy Ment Health, 43 (3), 325-343. doi:10.1007/s10488-015-0710-5
- Hafkenscheid, A., & Van Os, J. (2018). Twee misvattingen over ROM. De Psycholoog, 53 (4), 34-44.
- Hannan, C., Lambert, M. J., Harmon, C., Nielsen, S. L., Smart, D. W., Shimokawa, K., & Sutton, S. W. (2005). A lab test and algorithms for identifying clients at risk for treatment failure. Journal of Clinical Psychology, 61 (2), 155-163. doi:10.1002/jclp.20108
- Hatfield, D., McCullough, L., Frantz, S.H. & Krieger, K. (2010). Do we know when our clients get worse? An investigation of therapists’ ability to detect negative client change. Clinical Psychology & Psychotherapy, 17 (1), 25-32. doi:10.1002/cpp.656
- Janse, P.D., De Jong, K., Van Dijk, M.K., Hutschemaekers, G.J.M. & Verbraak, M.J.P.M. (2017). Improving the e§ ciency of cognitive-behavioural therapy by using formal client feedback. Psychotherapy Research, 27 (5), 525-538. doi:10.108 0/10503307.2016.1152408
- Kotronoulas, G., Kearney, N., Maguire, R., Harrow, A., Di Domenico, D. et al. (2014). What Is the Value of the Routine Use of Patient-Reported Outcome Measures Toward Improvement of Patient Outcomes, Processes of Care, and Health Service Outcomes in Cancer Care? A Systematic Review of Controlled Trials. Journal of Clinical Oncology. doi:10.1200/jco.2013.53.5948
- Krägeloh, C.U., Czuba, K.J., Billington, D.R., Kersten, P. & Siegert, R.J. (2015). Using Feedback From Patient-Reported Outcome Measures in Mental Health Services: A Scoping Study and Typology. Psychiatric Services, 66(3), 224-241. doi:doi:10.1176/appi.ps.201400141
- Lutz, W., Boehnke, J.R., Köck, K. & Bittermann, A. (2011). Diagnostik und psychometrische Verlaufsrückmeldungen im Rahmen eines Modellprojektes zur Qualitätssicherung in der ambulanten Psychotherapie. Zeitschrift für Klinische Psychologie und Psychotherapie, 40, 283-297. doi:http://dx.doi. org/10.1026/1616-3443/a000125
- Marshall, S., Haywood, K. & Fitzpatrick, R. (2006). Impact of patient-reported outcome measures on routine practice: a structured review. Journal of Evaluation in Clinical Practice, 12(5), 559-568. doi:10.1111/j.1365-2753.2006.00650.x
- Newnham, E.A., Hooke, G.R. & Page, A.C. (2010). Progress monitoring and feedback in psychiatric care reduces depressive symptoms. Journal of affective disorders, 127(1-3), 139-146. http://dx.doi.org/10.1037/a0026143
- van Oenen, F.J., Schipper, S., Van, R., Schoevers, R., Visch, I., Peen J., & Dekker, J. (2016). Feedback-informed treatment in emergency psychiatry; a randomised controlled trial. BMC Psychiatry, 16 (1), 110. doi:10.1186/s12888-016-0811-z
