Transparantie in de ggz

Benchmarking op uitkomsten in de ggz-sector komt langzaam van de grond. De ggz loopt hierin weliswaar voorop op de somatische gezondheidszorg, maar de implementatie ervan gaat volgens Marc Verbraak nog te langzaam. Reden: het frequent en systematisch meten van behandeltrajecten wordt nog te weinig gestructureerd en geïntegreerd ingezet. Kim de Jong & Annet Nugter en Arno Goudsmit en Henk Kik reageren…

Cliënten willen steeds vaker weten waartoe hun behandelaars in staat zijn. Ze vragen om een toets van het handelen van behandelaars. Daarnaast zijn in tien jaar tijd de uitgaven in de geestelijke gezondheidszorg verdubbeld. Bijna dertig procent van de Rijksbegroting gaat nu al naar de gezondheidszorg. Tegelijkertijd vergrijst de Nederlandse bevolking, met een toenemende zorgvraag als gevolg. En verkeren we in economisch zware tijden. Allerlei redenen, van verschillende aard, om kritisch naar de gezondheidszorg in het algemeen en de geestelijke gezondheidszorg in het bijzonder te kijken.

Appels en peren
In algemene zin wordt de roep om doelmatige zorg (de best mogelijke zorg tegen aanvaardbare kosten), verantwoorde zorg (zorg die voldoet aan wetenschappelijke standaarden en richtlijnen) en transparante zorg (laten zien wat de zorg oplevert voor de cliënt), steeds luider. Transparantie over behandeluitkomsten is hierin een belangrijke sleutel. Door het vergelijken van uitkomstgegevens in de ggz kan van elkaar worden geleerd. Het bieden van deze transparantie zal helpen om zowel aan verantwoorde zorg als aan doelmatige zorg te werken.
Niet voor niets is daarom, onder andere naar aanleiding van het Bestuurlijk Akkoord Toekomst GGz 2013-2014 – op 18 juni 2012 ondertekend door het Landelijk Platform GGz, GGz Nederland, Zorgverzekeraars Nederland, de verschillende beroepsverenigingen waaronder het nip, en het ministerie van vws en waarin onder andere het belang van transparantie van prestaties benadrukt is – afgesproken om vanaf 2014 van minimaal vijftig procent van alle behandelde cliënten in de ggz een voor- en een nameting te hebben. De insteek hierbij is om eerst te komen tot een zo representatief mogelijke doorsnede van de behandelde cliënten, voordat tot een daadwerkelijke vergelijking op uitkomst kan worden overgegaan.
De ggz is zeer divers wat betreft cliënten en doelstellingen van behandeling. De hele ggz op één hoop gooien leidt tot onvergelijkbare uitkomsten en daarmee tot onzinnige conclusies. Hoewel het allemaal fruit is, kun je appels niet zomaar met peren vergelijken. Daarom gaat het in de afspraken naar aanleiding van het bestuurlijk akkoord in eerste instantie om het verzamelen van zoveel mogelijk gegevens, op basis waarvan vervolgens onderzocht kan worden wat de eventuele invloed is van zaken als selectieve nonrespons, case-mix verschillen tussen aanbieders en variëteit van meetinstrumenten en meetmomenten op de uitkomstgegevens.
Pas als benchmarken is ontwikkeld tot een methodiek die alle betrokken partijen beschouwen als valide, betekenisvol en bruikbaar, is vergelijken op uitkomsten echt mogelijk. Valide in de zin dat resultaten een zo juist mogelijke weergave van de werkelijkheid geven, betekenisvol in de zin dat zichtbaar wordt gemaakt wat er werkelijk toe doet en bruikbaar in de zin dat er onderscheidende informatie wordt geleverd, die uiteindelijk iedereen met belang bij de ggz helpt bij de zoektocht naar wat het best helpt voor wie. Maar voor die ontwikkeling is het noodzakelijk dat begonnen wordt met het verzamelen van gegevens – met meten dus. Vandaar de nadruk op die respons van minimaal vijftig procent in 2014.

Routine outcome measurement
De afspraken in het bestuurlijk akkoord komen echter onvoldoende snel van de grond. Over 2011 zou er van twintig procent van alle cliënten in de ggz een betrouwbare voor- en nameting beschikbaar moeten zijn. Over 2012 zou dat responspercentage dertig procent moeten zijn.
Wat echter blijkt, is dat in 2011 de hele sector uitkwam op een landelijk responspercentage van zeven procent. In 2012 was dat veertien procent. Dat betekent dat de targets nog niet gehaald worden, dat het meten van resultaten nog onvoldoende geïmplementeerd is. Tegelijk is ook vast te stellen dat in twee jaar tijd het responspercentage is verdubbeld én dat er ggzinstellingen zijn die al boven de dertig procent scoren. Zo scoort een instelling als Mentaal Beter 34%, een instelling als Arkin scoort 40%. Zij zetten stevig in op het meten van hun uitkomsten.

Drie definities
Zoals al gezegd: voordat de behandeluitkomsten goed kunnen worden vergeleken, moeten er eerst voldoende en representatieve gegevens beschikbaar zijn. Daarvoor moeten veel meer aanbieders minimaal boven de vijftig procent volledigheid gaan scoren.
De lage scores op de volledigheid van de data bij veel ggz-instellingen zijn te wijten aan het feit dat in de praktijk resultaten van veel behandelingen nog steeds onvoldoende zichtbaar zijn (waarmee overigens behandeltrajecten onnodig lang duren en daarmee onnodig kostbaar zijn, maar dat terzijde). Het routinematig meten van behandeluitkomsten is nog onvoldoende geïntegreerd in het dagelijkse werk van behandelaars. Veel zorgaanbieders zijn wel druk met Routine Outcome Measurement (ROM) aan de slag gegaan omdat ze naar buiten toe transparanter moeten zijn over wat hun behandelingen opleveren.
Maar daarbij hebben ze hun ROM-systemen zo opgezet dat de behandelaar er geen ‘last’ van heeft. Daarmee schiet ROM evenwel zijn doel voorbij. Sterker nog, het is een verkeerd gebruik van ROM. Maar dat hangt ook samen met de defi nitie van wat ROM is; daarvan zijn er namelijk drie:

Routine Outcome Measurement (ROMe*): uitkomsten van de behandeling vaststellen, met minimaal een begin- en een eindmeting, ter verantwoording en om te leren;
Routine Outcome Monitoring (ROMo): tijdens de behandeling geregeld meten om zo het verloop van de behandeling te volgen en het klinisch beleid in de behandeling op deze uitkomsten te baseren;
Routine Outcome Management (ROMa): het voeren en toetsen van behandelbeleid binnen afdelingen, tussen afdelingen of instellingen op basis van geaggregeerde uitkomsten (benchmarken).

Deze betekenissen worden vaak onzorgvuldig en door elkaar gebruikt. Het is echter mijn stelling dat ROM in alle drie de betekenissen binnen een instelling uiteindelijk op het niveau van de behandelaar geïmplementeerd dient te worden om een hoog responspercentage te krijgen.
Aan Routine Outcome Measurement (ROMe) doe je al als je steevast in iedere rapportage aan een verwijzer of opdrachtgever rapporteert wat de ernst van de problematiek (bij de intake) is en de uitkomst van de behandeling (bij tussentijdse rapportage of bij ontslag) vermeldt. Dus de behandelaar gebruikt het in al zijn inhoudelijke correspondentie, om zich zo te verantwoorden voor de stand van zaken rondom zijn cliënt.
Bij het toepassen van Routine Outcome Monitoring (ROMo) worden de uitkomsten nauwlettend gevolgd door zowel cliënt als behandelaar, om te zien of de behandeling adequaat is en er eventueel bijgestuurd moet worden. Dat betekent dus dat beide partijen hiermee actief aan de gang zijn. Dit impliceert ook dat er routinematig evaluatiemomenten worden gepland in de behandeling tussen behandelaar en cliënt (bijvoorbeeld om de vijf behandelzittingen), maar ook tussen de behandelaar en het team waarin hij of zij werkzaam is. Daarbij is het de behandelaar die bij de cliënt de psychologische thermometer afl eest en terugkoppelt.
Routine Outcome Management (ROMa) wordt toegepast wanneer in werkbegeleiding, teambesprekingen en beleidsvergaderingen wordt stilgestaan bij resultaten van behandelaars, teams en/of afdelingen, met als doel de zorg te verbeteren door te leren van vergelijkingen. Wie wil er niet beter worden? Daarvoor moet je wél weten waar je als behandelaar, team of afdeling staat, ook in vergelijking met andere partijen.

Besluit
De behandelaar wordt momenteel veelal ‘ontlast’, daarom meten ggz-instellingen onvoldoende en onvolledig. Metingen worden nu gestandaardiseerd en geautomatiseerd afgenomen – met enig geluk om de drie maanden maar meestal om het half jaar of na een jaar. Dat onttrekt zich vaak aan de verantwoordelijkheid en zelfs waarneming van de behandelaar. Voor het benchmarken zet men nog teveel alleen in op een beperkte variant van ROMe.
Instellingen gaan hoger scoren op responspercentage als ze zowel ROMe, ROMo als ROMa op het niveau van de behandelaar gaan implementeren. Dat het kan, blijkt uit de praktijk van Arkin, Mentaal Beter en HSK Groep – bij de laatste zijn ROMe, ROMo en ROMa als principes al ingevoerd; over 2012 is een responspercentage van 79 % gehaald.
Hoewel de ggz wat betreft die omvang van haar poging op benchmarken op uitkomsten voorloopt op de somatische zorg, kan de ggz nog wel een voorbeeld nemen aan het model van deze somatische zorg. Deze werkt meer via feitelijke stappen en is ook al meer evidence-based. Pas wanneer we de psyche van de mens wat minder holistisch durven te benaderen, behandelingen meer structureren en focussen (bijvoorbeeld met protocollen) en de behandelaar volledig inzicht geeft in de gehanteerde behandelmethode en behaalde uitkomsten, met binnen deze kaders uiteraard aandacht voor specifi eke kenmerken van de patiënt (zorg op maat), wordt de zorg veel transparanter. Zodra Stichting Benchmark GGZ (sBG), waar de zorgaanbieders hun behandeluitkomsten ter vergelijking aanleveren, voldoende gegevens ontvangt, wordt een benchmark met als doel de kwaliteit van de geestelijke gezondheidszorg te verbeteren een succes.

Over de auteur
Marc Verbraak is klinisch psycholoog, bijzonder hoogleraar Gezondheidspsychologie aan de Radboud Universiteit Nijmegen en inhoudelijk directeur van de HSK Groep. E-mail: m.verbraak@hsk.nl.

Henk Kik – ‘Materialiseren van psychische processen’
Onze huidige maatschappij kenmerkt zich door een heilig geloof in ‘meten is weten’. De afgelopen decennia is dit paradigma ook steeds meer omarmd door de ggz. Routine Outcome Monitoring (ROM) en het daaruit volgende benchmarken is de heilige graal. Eindelijk kunnen we, na honderd jaar blind te zijn geweest, zíen dat wat we doen mensen helpt.
Collega verbraak houdt een warm pleidooi voor benchmarking en introduceert in het voorbijgaan drie varianten van meten: ROME, ROMO en ROMA. ‘ROME’ is een term voor wat normaliter Routine Outcome Measurement wordt genoemd: een voor- en nameting. ‘ROMO’ staat voor Routine Outcome Monitoring, het routinematig volgen van veranderingen tijdens de behandeling. Met ‘ROMA’ wordt Routine Outcome Management bedoeld; het implementeren en faciliteren van ROM binnen een behandelafdeling. Die laatste variant duidt evenwel een beleidsstrategie aan en hoort als zodanig niet thuis in het behandelproces. Verbraak noemt niet de zogenaamde Outcome tracking, waarbij elke sessie gemeten wordt. De driedeling van de Jong en van ’t spijker (2013) doet dan ook meer recht aan de klinische praktijk: Routine Outcome Monitoring, Routine Outcome Measurement en Outcome Tracking.
Verbraak roept op om te streven naar optimale transparantie in behandelresultaat. Het stoort hem ook dat het meten van behandelresultaat nog onvoldoende geïmplementeerd is. De instelling met het hoogste responspercentage is zijn eigen zorgbedrijf; de HSK groep behaalde in 2012 een responspercentage van 79%.
Verbraak is vooringenomen naar alle zorgverleners die niet protocollair met hun lijdende patiënten omgaan. Suggestief is een zinsnede als: ‘de lage scores op de volledigheid van de data bij veel ggz-instellingen zijn te wijten aan het feit dat in de praktijk resultaten van veel behandelingen nog steeds onvoldoende zichtbaar zijn (waarmee overigens behandeltrajecten onnodig lang duren en daarmee onnodig kostbaar zijn, maar dat terzijde).’ Hier spreekt Verbraak zichzelf en de noodzaak van ROM tegen. Hoe kan hij weten wat de resultaten zijn van behandelingen ‘bij veel ggz-instellingen’ of dat behandelingen ‘onnodig lang duren’ als er in 2012 slechts een landelijk responspercentage van 14% was? Verbraak is een believer die wenst dat ‘we de psyche van de mens wat minder holistisch durven benaderen, behandelingen meer structureren en focussen (bijvoorbeeld met protocollen).’ Hiermee staat hij dicht bij het beschikbare instrumentarium van de basis- en gz-psycholoog, maar ver van de klinisch psycholoog en psychotherapeut die specialistische zorg leveren.
Het is een verworvenheid van de RINO-opleidingen tot psychotherapeut en klinisch psycholoog dat theoretische referentiekaders overstegen worden en de universele therapiefactoren, het proces en de werkrelatie alsmede de multidisciplinaire richtlijnen, de basis van psychotherapie vormen. Dat maakt ROM zinvol om therapieresultaat een objectiverende taal te geven, maar dat geldt niet voor alle overige vormen van meten.
Iedere zichzelf respecterende ggz-professional moet beseffen dat de gegevens die Stichting Benchmark GGZ (SBG) analyseert volledig vervreemd zijn van het specifieke behandelproces waarvan de statistische gegevens afkomstig zijn. Het collectieve maatschappelijke belang dat SBG en ook Verbraak voorstaat, is louter een economisch belang en mogelijk een statusbelang; het is geen professioneel geneeskundig belang (Kik, 2013). Voor dat belang van professionalisering van zorg is er de rijke traditie van wetenschappelijk onderzoek.
Verbraak laat zich in zijn pleidooi voor benchmarking inspireren door de taal van onze zorgverzekeraars. De zorguitgaven zijn te hoog. De zorg moet doelmatig, verantwoord en transparant worden. (Lees: de zorg moet kortdurend, protocollair en controleerbaar worden). Gezondheidszorg wordt in toenemende mate vooral gezien als kostenpost en als schadelast, mogelijk omdat de opbrengsten vooral indirect meetbaar zijn. ‘De opbrengsten van ons werk zijn veelal indirect in de zin dat het effect heeft op de kwaliteit van leven van onze patiënten, hun economische productiviteit, of hun vermogen om goed te functioneren als partner of ouder’ (beekman, 2013, p. 98).

Henk Kik is klinisch psycholoog en psychotherapeut (Persoon en Context). E-mail: L.H.Kik@kpnmail.nl.

Literatuur

Beekman, A. T. F. (2013). We doen het al… Discussie over de kosten in de GGZ. Maandblad Geestelijke Volksgezondheid, 68, 3, 98-101.
Jong, K. en Van ’t Spijker , A. (2013). Routine Outcome Monitoring: ‘Love it or leave it’? Tijdschrift voor Psychotherapie, 39, 3, 190-194.
Kik, L. H. (2013). Geen Routine Outcome Monitoring, wel Routine Outcome Measurement. Tijdschrift voor Psychotherapie, 39, 3, 198-200.

Dr. Arno Goudsmit – ‘Transparante kinderen in troebel water’
Pas wanneer we de psyche van de mens wat minder holistisch durven te benaderen …’ – hoera, eindelijk iemand die ons uitdaagt om te doen wat we nog niet durfden. Mensch, durf te leven met contextloze meetgegevens! Het einde van de middeleeuwen, omver die heiligenbeelden, die versteende idolen van een soft therapietijdperk. Nee, we willen voortaan concreetheid, meetbaarheid, contextvrijheid en laten we het woord maar eens lekker gebruiken: transparantie! George Orwell noemde het newspeak, het politieke hergebruik van woorden. ‘Transparantie’ als koosnaam voor de kwantificering van onduidelijke processen. Een triomf van positief denken (Ehrenreich, 2009)!
Onzin kan vele gedaanten aannemen, en het oneigenlijke gebruik van ROM-gegevens is daar één van. Marc Verbraak maakt, heel geestig, onderscheid tussen ROME en ROMO. Welnu, de denkfout bij Stichting Benchmark GGZ (SBG) zit bij het ROME-rommen, het blije hergebruik van interne feedbackgegevens voor externe vergelijking. ‘Echt nieuw in de ggz is het idee om uitkomstgegevens op groepsniveau te gebruiken (…) en zo de kwaliteit van die zorg te verbeteren in termen van effectiviteit, doelmatigheid en efficiëntie’ (SBG, 2013).
Wat zou daarvan het schadelijke effect kunnen zijn? Nog lang vóór enige financiële consequentie voelbaar wordt, zullen de concurrerende partijen al zijn gaan streven naar verhoging van hun ROM-cijfers. Is dat goed? Natuurlijk niet, want dan hebben we precies hetzelfde probleem als bij de CITO-toets: maximalisering van de scores, ten koste van de stof zelf.
Waar leidt dit zoal toe? Het beloont de diagnostische inflatie (Batstra & Frances, 2013), zodat zorgaanbieders hogere doch trivialere successcores zullen willen produceren, bij een voortdurende druk om lichtere problemen juist zwaarder te diagnosticeren. ‘Kijk, onze responspercentages overtreffen die van de buurman, net als onze niet-holistische behandelscores.’ Leve het scorebord van de grote ggz-quiz!
ROME-rommen werkt bovendien in het voordeel van protocollaire behandelingen, omdat die zich richten op aandoeningen die met de huidige meetinstrumenten het eenvoudigst en het best meetbaar zijn. Dat is geen groot bezwaar bij romo, wél als er (‘rome’-)vergelijkingen gemaakt gaan worden tussen werkwijzen waarvoor de gehanteerde meetinstrumenten in uiteenlopende mate geschikt zijn. en dat, terwijl er degelijkere manieren zijn voor het vergelijken van zorgaanbieders, zoals recidivecijfers (Goudsmit, 2102).
Een voorbeeldje? Recent beweerde een van de vooraanstaande ROM-deskundigen die ons land rijk is op een lezing dat de therapeutische crisis een ‘rationale’ was waarmee behandelaars een terugval van satisfactie, klachten of welbevinden probeerden recht te praten. Immers, enig nut van zo’n therapeutische crisis was uit de ROM-cijfers tot nu toe niet gebleken. Kijk, daar hebben we iets aan. als je eenmaal echt in ‘ROM-men’ gelooft, dan gebruik je het om je geloof ermee te bewijzen, inclusief de heiligheid van de geheel vernieuwde heiligenbeelden. Zo dadelijk ‘blijkt uit onderzoek’ dat therapeutische crises onnodig zijn, of niet bestaan. Jammer, want ze zijn wel mijn krachtigste behandelinstrument (abass et al., 2012).
Misschien moet de transparantie maar aanvangen bij de eigen vooronderstellingen van de ROM-geleerden. Zo bezien is Verbraaks bijdrage natuurlijk toe te juichen.

Dr. Arno Goudsmit is directeur van EDT Maastricht Psychotherapie.

Literatuur

Abbass, A., Town, J. & Driessen, E. (2012). Intensive Short-term Dynamic Psychotherapy: A systematic review and meta-analysis of outcome research. Harvard Review of Psychiatry, 20(2), 97-108.
Batstra, L. & Frances, A. (2013). Psychiatrische overdiagnostiek voorkomen zonder onderbehandeling te riskeren. De Psycholoog, 6, 10-17.
Ehrenreich, B. (2009). Bright-sided: How the Relentless Promotion of Positive Thinking Has Undermined America. New York: Metropolitan Books.
Goudsmit, A.L. (2012). Psychotherapie in Tijden van Administratie. Afgevinkte frustraties over de nieuwe gekte in de geestelijke gezondheidszorg. Amsterdam: SWP.
Stichting Benchmark GGZ (SBG), “SBG sponsort een leerstoel”, sbggz.nl/SBG-sponsort-een-leerstoel (SBG Nieuwsbrief 25, 28-6-2013)

Dr. Kim de Jong en dr. Annet Nugter – ‘De gespannen relatie tussen benchmarking en gebruik van ROM’
In zijn artikel over het tegenvallende tempo van de implementatie van ROM en benchmarking stelt Marc Verbraak dat de implementatie het beste lukt als ROM wordt geïntegreerd met de behandeling. Om vervolgens te suggereren dat het trage tempo wordt veroorzaakt door het feit dat de ggz probeert de ROM buiten de behandelaar om te organiseren. Het is niet duidelijk waarop Verbraak dit baseert. In meerdere ggz-instellingen is het juist de poging om ROM te integreren in de behandeling die de implementatie vertraagt. Dit is een van de redenen waarom sommige instellingen ROM laten uitvoeren door ‘ROM-verpleegkundigen’ of, zoals Arkin, overgaan op callcenters. Dit vergemakkelijkt de implementatie. Een belangrijke andere reden waarom de implementatie traag verloopt en waardoor zelfs goedlopende ROM-trajecten dreigen te stagneren is de benchmarking zelf en de manier waarop de gegevensverzameling is ingericht ten behoeve van de standaardisatie, namelijk door de koppeling met de diagnose behandel combinaties (DBC’s). het lijkt erop alsof hierbij vooral is uitgegaan van kortdurende ambulante behandelingen. Bij langere behandelingen vallen er veel metingen uit (bijv. Nugter, Keet & Dhondt, 2013), juist wanneer er een goede integratie is tussen metingen en de behandeling, omdat het verlengen van een DBC vrijwel nooit een natuurlijk evaluatiemoment in de behandeling is. Daarnaast is het interpreteren van de metingen gekoppeld aan DBC-trajecten ingewikkeld: denk aan een behandeling die een jaar en een maand heeft geduurd en uit twee DBC’s bestaat, waarvan de eerste een jaar duurt en de tweede een maand. Hoe kunnen de resultaten van deze twee DBC’s goed geïnterpreteerd worden? Kunnen we het staartje van deze behandeling vergelijken met het staartje van een andere behandeling? Alleen bij behandelingen die niet langer dan één DBC duren en waarin geen opname of crisis plaatsvindt, is de koppeling te begrijpen en interpreteren. Laat HSK, en ook mentaal beter, nou relatief veel van dat soort behandelingen hebben. Een extra complicerende factor in dit verhaal is dat de mate waarin behandelaars gebruik maken van ROM in sterk afhankelijk is van hun attitude (de Jong et al., 2012). Deze attitude wordt niet positief beïnvloed door de huidige nadruk op benchmarking in de ggz. Hoewel er frequent gemeten werd, bleek dat slechts de helft van de therapeuten gebruik maakte van deze metingen in de behandeling. In een nog niet gepubliceerd vervolgonderzoek bleek er veel behoefte aan training in het gebruik van de instrumenten. Opleidingen voorzien hier nog niet in. een probleem dat niet zomaar getackeld kan worden door het toepassen van ROME of ROMA. Tot slot het volgende. Op verschillende plekken wordt momenteel het gelijktijdig gebruik van ROM voor de behandeling en voor benchmarking ter discussie gesteld. Met de huidige nauwe betrokkenheid van verzekeraars krijgt benchmarking een afrekenend karakter. Het risico bestaat dat dit de ROM-metingen gaat beïnvloeden, waarmee de toepassing van ROM in de behandeling inhoudsloos wordt en benchmarking onbruikbaar. Dit is een grotere bedreiging van de transparantie van de ggz dan het trage tempo van de implementatie van ROM.

Dr. Kim de Jong is universitair docent aan de Universiteit Leiden, vakgroep Klinische, Gezondheids- en Neuropsychologie. E-mail: KJong@fsw.leidenuniv.nl.

Dr. Annet Nugter is hoofd afdeling Onderzoek & Monitoring GGz Noord-Holland-Noord.

Literatuur

Beekman, A. T. F. (2013). We doen het al… Discussie over de kosten in de GGZ. Maandblad Geestelijke Volksgezondheid, 68, 3, 98-101.
Jong, K. en Van ’t Spijker , A. (2013). Routine Outcome Monitoring: ‘Love it or leave it’? Tijdschrift voor Psychotherapie, 39, 3, 190-194.
Kik, L. H. (2013). Geen Routine Outcome Monitoring, wel Routine Outcome Measurement. Tijdschrift voor Psychotherapie, 39, 3, 198-200.
Abbass, A., Town, J. & Driessen, E. (2012). Intensive Short-term Dynamic Psychotherapy: A systematic review and meta-analysis of outcome research. Harvard Review of Psychiatry, 20(2), 97-108.
Batstra, L. & Frances, A. (2013). Psychiatrische overdiagnostiek voorkomen zonder onderbehandeling te riskeren. De Psycholoog, 6, 10-17.
Ehrenreich, B. (2009). Bright-sided: How the Relentless Promotion of Positive Thinking Has Undermined America. New York: Metropolitan Books.
Goudsmit, A.L. (2012). Psychotherapie in Tijden van Administratie. Afgevinkte frustraties over de nieuwe gekte in de geestelijke gezondheidszorg. Amsterdam: SWP.
Stichting Benchmark GGZ (SBG), “SBG sponsort een leerstoel”, www.sbggz. nl/SBG-sponsort-een-leerstoel (SBG Nieuwsbrief 25, 28-6-2013)
De Jong, K., Van Sluis, P., Nugter, M.A., Heiser, W.J. & Spinhoven, P. (2012). Understanding the diff erential impact of outcome monitoring: therapist variables that moderate feedback eff ects in a randomized clinical trial. Psychotherapy Research, 22, 464-474.
Nugter, A., Keet, R. & Dhondt, T. (2013). Reactie op ‘ROM: gedragsnorm of dwangmaatregel? Overwegingen bij het themanummer over routine outcome monitoring’. Tijdschrift voor Psychiatrie, 55, 307-308.