Terugval-preventie met E-health

Wordt het risico kleiner?
02/09/2016
Gemma Kok, Claudi Bockting
Geen reacties
De Psycholoog 2016-9 Cover
Issue 9

Samenvatting

PREVENTION OF DEPRESSIVE RELAPSE WITH E-HEALTH

G. KOK & C. BOCKTING

Could a preventive cognitive treatment as offered via the internet, with minimal therapist support and monitoring of mood (Mobile Cognitive Therapy) offer an effective and acceptable way of prevention of depressive relapse, and how much therapist support is used? Depression is a highly recurrent disorder. Ongoing monitoring and treatment is recommended to prevent relapse in patients that experienced previous episodes of depression. To increase the accessibility of care, E-health could be a potentially suitable way of treatment.

1776 Weergaven
3 Downloads
  • Samenvatting
  • Inleiding
  • Onderzoeksopzet en deelnemers
  • Resultaten
  • Besluit
  • Literatuurlijst
  • Over de auteur
Lees verder
Is een preventieve cognitieve behandeling via het internet (Mobiele Cognitieve Therapie) een effectieve en acceptabele manier van behandelen? En hoeveel ondersteuning door therapeuten wordt er gebruikt? Depressie wordt vaak gekenmerkt door het recidiverende karakter. Om het risico op terugval te verminderen, is continue monitoring en behandeling het advies voor mensen met eerdere depressieve episoden. Om de zorg voor hen toegankelijker te maken, kan E-health uitkomst bieden, stellen Gemma Kok en Claudi Bockting.

Inleiding

Het gebruik van E-health als aanvulling op het bestaande behandelaanbod biedt vele voordelen, waaronder de toename van toegankelijke zorg. De meeste instellingen bieden E-health aan als onderdeel van ‘blended’ behandeling. Dat houdt in dat reguliere face-to-face-afspraken gecombineerd worden met afspraken via internet of (mobiele) telefoon, of dat E-health ondersteund wordt door gesprekken via de telefoon, skype of e-mail. Uit diverse meta-analyses blijkt dat internetbehandelingen effectief zijn in het behandelen van onder andere angst, depressie en alcoholmisbruik (Andersson & Cuijpers, 2009; Richards & Richardson, 2012; Riper et al., 2011; Spek et al., 2007)23373945. Ook zijn de eerste resultaten van een psychologische behandeling aangeboden met behulp van een smartphone app positief (Ly et al., 2012; Ly et al., 2014)2930.

De meeste onderzoeken naar de effectiviteit van E-health, zijn uitgevoerd bij mensen met acute klachten zoals depressie en angst. Zo zijn er online programma’s gericht op management van bipolaire stoornissen (Barnes et al., 2007; Barnes et al., 2015)67, een online cognitieve gedragstherapie (CGT) terugval-preventieprogramma bij anorexia nervosa (Fichter et al., 2012)18, en bij obsessief compulsieve stoornissen (Andersson et al., 2014)4. Veel psychische aandoeningen, waaronder depressie, zijn echter terugkerend en/of chronisch van aard (Mueller et al., 1999; Paris, 2003; Penninx et al., 2011; Scholten et al., 2013; Burcusa & Iacono, 2007)1231333444. Zodoende is het van belang na herstel alert te blijven letten op signalen van mogelijke terugval, zoals een toename van depressieve symptomen. Het gebruik van E-health kan hiervoor een potentiële (kosten)effectieve methode zijn. Tot nu toe is er slechts één studie gedaan die het EECT van een online behandeling gericht op het voorkomen van depressieve terugval onderzocht bij mensen die gedeeltelijk hersteld waren van een depressie (Holländare et al., 2011; Holländare et al., 2013)2223. De onderzochte online CGT verminderde het risico op terugval over twee jaar in vergelijking tot een controlegroep.

In onderhavig artikel beschrijven we de kortetermijnresultaten van het gebruik van een online preventieve cognitieve therapie (CT), met geautomatiseerde stemmingscontrole via sms en e-mail en minimale ondersteuning door therapeuten (‘mobiele cognitieve therapie’) op het beloop van depressieve klachten drie maanden na herstel van ten minste twee voorgaande depressieve episoden. Deze gegevens zijn gebaseerd op studies gedaan in het kader van de ‘Doorbreek het ritme van depressiestudies’ (Bockting et al., 2011; Bockting, Kok et al., 2011; Kok, 2014).910112728 Daarnaast is er aandacht voor wat we tot nu toe weten (en nog niet weten) over ondersteuning door therapeuten en de implementatie van E-health.

Onderzoeksopzet en deelnemers

De Rijksuniversiteit Groningen heeft, in samenwerking met het Trimbos-instituut, een gerandomiseerde trial uitgevoerd naar de effectiviteit van mobiele CT. Deelnemers waren: a) tussen de 18 en 65 jaar oud; b) minstens twee maanden, maar niet langer dan twee jaar in herstel van minimaal twee voorgaande episoden van depressie, vastgesteld met het Gestructureerd Klinisch Interview voor de vaststelling van DSM-IV As-I Stoornissen (telefonisch afgenomen; SCID-I; (First, Spitzer, & Gibbon, 2001)1946, en een maximum score van 10 op de 17-item tellende Hamilton Rating Scale of Depression (HRSD17) ; Hamilton, 1960)21. Daarnaast hadden deelnemers beschikking over internet en beheersten zij de Nederlandse taal vloeiend. Deelnemers werden uitgesloten van het onderzoek als het volgende uit de SCID-I naar voren kwam: 1) een primaire angststoornis die behandeling behoefde; 2) manie of hypomanie, huidig of in het verleden; 3) huidig alcohol- en/of drugsmisbruik en 4) een psychose, huidig of in het verleden. Verder konden mensen niet deelnemen als zij recent behandeld waren met elektro-convulsie therapie (ECT) of een organisch psychosyndroom hadden.

Deelnemers werden geworven via huisartsen (VUmc), ggz-instellingen (Arkin Amsterdam en PsyQ Rotterdam) en advertenties in kranten, tijdschriften en internet. Mensen konden zelf hun gegevens verstrekken aan de onderzoekers, zodat er contact opgenomen kon worden voor een korte telefonische screening. Daarin werd onder meer gevraagd naar het aantal depressieve episoden, en of er momenteel sprake was van somberheid en/of interesseverlies. Als mensen geschikt leken voor deelname en nog geïnteresseerd waren, werd er een telefonisch interview afgenomen bestaande uit de SCID-I en de HRSD17. Op basis van dit interview werd besloten of iemand mee kon doen aan het onderzoek. Bij twijfel vond er overleg plaats met een klinisch psycholoog. Hiernaast werden er regelmatig consensusvergaderingen gehouden

De SCID-I is een veelgebruikt, valide en zeer betrouwbaar instrument om As I stoornissen zoals depressie vast te stellen (Williams et al., 1992)48. Een voorbeelditem uit de SCID-I is: ‘Gedurende de afgelopen maand is er een periode geweest waarin u zich het grootste gedeelte van de dag gedeprimeerd of down voelde, bijna elke dag?’

De HRSD17 is evenals de SCID-I een veelgebruikt instrument om depressie vast te stellen waardoor het goed mogelijk is onderzoeksresultaten met elkaar te vergelijken. Hoewel de interne betrouwbaarheid adequaat is, is de betrouwbaarheid minder goed (Bagby et al., 2004)5. Een voorbeeldvraag in de HRSD17 is: ‘Bent u de afgelopen tijd meer dan 1 kilo verloren?’

Deelnemers werden twee jaar gevolgd aan de hand van telefonische interviews met de SCID-I en HRSD17 en diverse vragenlijsten, waaronder de Nederlandse versie van de Inventory of Depressive Symptomatology (IDS-SR30, Rush et al., 1996)42. Na het invullen van de eerste vragenlijsten werden de deelnemers op basis van toeval ingedeeld in twee groepen: 1) mobiele CT in aanvulling op de gebruikelijke ontvangen zorg (dat kon verschillen tussen helemaal geen zorg, zorg via de huisarts of ggz) en 2) gebruikelijke zorg.

Inventory of depressive symptomatology
De gegevens van de IDS die werd afgenomen bij aanvang van de studie, na zes weken en na drie maanden, zijn gebruikt om het beloop van depressieve symptomen over drie maanden te onderzoeken. De IDS telt dertig vragen die beantwoord worden op een schaal van 0 (geen symptomen) tot 3 (bijna altijd last van het symptoom). Een score van 0-13 valt in de categorie ‘geen symptomen’, een score van 14-25 in de categorie ‘milde symptomen’, een score van 26-38 ‘matige symptomen’, een score van 39-48 in de categorie ‘ernstige symptomen’ en een score van 49 of hoger als zeer ernstige symptomen (Rush et al., 1996; Rush et al., 2003)43.

De betrouwbaarheid van de IDS in de huidige studie was goed (Cronbach alpha .87), en komt overeen met waarden gerapporteerd door Rush et al. (1986)41. Een voorbeelditem van de IDS is: Somber voelen: 0. Ik ben niet somber; 1. Ik ben minder dan de helft van de tijd somber; 2. Ik ben meer dan de helft van de tijd somber; 3. Ik ben bijna altijd somber.

Mobiele cognitieve therapie
Internationale richtlijnen voor de behandeling van depressie adviseren lange termijnmonitoring en ondersteuning na herstel van recidiverende depressie (American Psychiatric Association, 2010; National Institute for Health & Care Excellence, 2010)132. Mobiele CT is wellicht een (kosten)effectieve manier van terugvalpreventie, waarbij de toegankelijkheid van de behandeling vergroot kan worden en de tijd die therapeuten nodig hebben om ondersteuning te bieden verlaagd (Wright et al., 2005)49. In box 1 is weergegeven waaruit mobiele CT bestaat.

Naast de acht online lessen bevat mobiele CT een geautomatiseerde stemmingscontrole via sms en e-mail. Twee keer per maand kregen deelnemers de vraag aan te geven hoe hun stemming en interesses de afgelopen week waren op een schaal van 1 tot 10. Bij een score van 3 of lager kregen deelnemers automatisch een depressie-vragenlijst gemaild (Quick Inventory of Depressive Symptomatology; Rush et al., 2003). Dit is de verkorte versie van de IDS-SR30. Als uit deze vragenlijst een indicatie voor depressieve terugval (score >10) of gedachten aan de dood bleek, stuurde het systeem hier automatisch een bericht van naar de therapeut (en eveneens, omdat dit een onderzoek betrof, naar de onderzoeker). De onderzoeker nam dan contact op met de deelnemers zodat via een telefonisch interview met de HRSD17 (Hamilton, 1960) en de depressiesectie van de SCID-I (Spitzer et al., 1994) vastgesteld kon worden of er sprake was van depressieve terugval. Leek daar inderdaad sprake van, dan werd de deelnemer geadviseerd contact op te nemen met zijn huidige behandelaar of huisarts. Buiten het onderzoek zou er altijd een behandelaar gekoppeld moeten zijn aan deelnemers van dit programma zodat er direct contact opgenomen kan worden bij een dreigende terugval.

Mobiele CT werd aangeboden via de site www.depressievrij.nl van het Trimbos-instituut. Illustraties 1, 2 en 3 geven een idee van de lessen en stemmingscontrole.

Therapeutondersteuning
Iedere deelnemer die werd toegewezen aan de mobiele CT-conditie, werd gekoppeld aan een in C(G)T getrainde therapeut, die daarnaast ook een uit twee dagdelen bestaande training had gevolgd in het begeleiden van mobiele CT. Alle deelnemers werden benaderd voor twee telefonische contactmomenten met hun therapeut. Deze momenten waren van te voren ingepland rond les twee en les vijf, omdat uitval vaak plaatsvindt aan het begin van een behandeling (Eysenbach, 2005)16. Gingen deelnemers niet op de uitnodiging voor een contactmoment in, dan kregen ze maximaal vier herinneringen via e-mail of telefoon. De telefonische contactmomenten waren geprotocolleerd en gericht op de inhoud en het afronden van de acht lessen. Alle deelnemers konden hiernaast nog maximaal twee extra telefonische contacten met hun therapeut aanvragen. Verder mochten zij onbeperkt e-mailen met inhoudelijke vragen.

Resultaten

De groep mensen die doorgingen met reguliere zorg zoals gebruikelijk – dat wil zeggen: geen zorg, zorg bij huisarts of ggz – bestond uit 113 mensen. De groep deelnemers die naast reguliere zorg van start ging met mobiele CT, bestond uit 126 mensen. Deelnemers hadden een hoog aantal voorgaande depressieve episoden (mediaan=4) en waren gemiddeld acht maanden in remissie. Bij 47.6% van de mobiele CT-groep en bij 51.3% van de gebruikelijke zorggroep bestond de reguliere zorg uit behandeling met antidepressiva, bij 38.1% van de mobiele CT-groep en bij 37.2% van de gebruikelijke zorggroep bestond die uit helemaal geen behandeling en bij 21.4% van de mobiele CT-groep en bij 21.2% van de gebruikelijke zorggroep uit behandeling bij de ggz.

Gebruik van mobiele CT
Van de 126 mensen in de mobiele CT-groep, rondde 89.7% de eerste les af (n=113). Hiervan rondde 53.1% alle lessen af – wat overeenkomt met de 50-85% gevonden in andere gerandomiseerde trials naar op internetgebaseerde acute fasebehandelingen die eveneens ondersteund werden door therapeuten (bijv. Christensen, Griffiths & Farrer, 2009)14. De lessen werden door de deelnemers over het algemeen als (zeer) bruikbaar en gemakkelijk bestempeld. Per les waren de meeste deelnemers tussen de dertig en zestig minuten bezig.

Wat opvalt, is dat de gemiddelde tijd van ondersteuning door therapeuten per deelnemer in totaal (e-mail en telefoonondersteuning) slechts achttien minuten bedroeg. Dit is veel minder dan gevonden in andere studies, waar de gemiddelde tijd van ondersteuning van internetbehandelingen gericht op acute faseproblematiek tussen de 180-352 minuten lag (Carlbring et al., 2006; Klein et al., 2009)1326, of rond de 150 minuten bij een online CGT terugvalpreventieprogramma (Holländare et al., 2011). Hoewel iedere deelnemer uitgenodigd werd voor een tweede telefonische afspraak met de therapeut, maakte slechts 56.5% van de 113 deelnemers die de eerste les afgerond hadden hier gebruik van. Daarnaast stelde slechts 40.5% van de deelnemers vragen per e-mail.

Beloop van depressieve klachten
Bij deelnemers in de reguliere zorggroep (N=113) nam het niveau van depressieve symptomen, gemeten met de IDS-SR30, toe, vanaf de start van het onderzoek (baseline meting) tot drie maanden na afloop. Daarentegen namen de depressieve symptomen over drie maanden af bij deelnemers (N=126) die mobiele CT volgden (zie tabel 1 voor het beloop van depressieve symptomen in beide groepen). Vergeleken met de gebruikelijke zorggroep neemt de IDS-SR30 score in de mobiele CT-groep met -1.63 punten af per maand (t=-3.407, p=.001). Dit effect is onafhankelijk van het aantal voorgaande episoden of het type gebruikelijke zorg bij aanvang van de studie. Verder was er sprake van een dosis-respons-effect: des te meer lessen mensen hadden afgerond, des te groter het effect van mobiele CT.

E-health in de praktijk
Deze kortetermijnresultaten tonen aan dat het volgen van mobiele CT in aanvulling op reguliere zorg, tot een significante vermindering in depressieve symptomen leidt (over drie maanden), in vergelijking tot gebruikelijke zorg alleen. Zoals eerder genoemd waren alle deelnemers bij aanvang van de studie in herstel en het gemiddelde niveau van depressieve symptomen was erg laag. Echter, de aanwezigheid en fluctuaties in depressieve symptomen, hoe klein ook, zijn belangrijke voorspellers van terugval (American Psychiatric Association, 2010; Ten Doesschate et al., 2010; Bockting et al., 2015)47. Behandeling gericht op depressieve symptomen zou een gunstig effect op de lange termijn kunnen hebben (Guidi et al., 2011)20. Hoewel de resultaten op korte termijn van deze studie hoopgevend zijn, zullen we de resultaten op de lange termijn (12-24 maanden) moeten afwachten voordat er eventuele implementatie van mobiele CT in de praktijk kan plaatsvinden. Daarnaast is het bij dit onderzoek (en het merendeel van de onderzoeken naar E-health) de vraag of onderzoeksresultaten te generaliseren zijn naar de klinische praktijk. De meeste studies vonden plaats in een populatie waarvan het grootste deel van de mensen zichzelf heeft aangemeld voor deelname en slechts een klein deel is doorverwezen via huisartsen, ziekenhuizen of ggz-instellingen. Al representeren de cliënten in deze studie een diverse populatie in de eerste lijn (huisartszorg), basiszorg en specialistische ggz.

Ondersteuning
Ondersteuning van internetbehandelingen door therapeuten correleert met een hogere therapietrouw (Andersson, 2009; Christensen et al., 2009; Spek et al., 2007). In een recente meta-analyse naar therapietrouw bij internetbehandelingen zonder ondersteuning door therapeuten, was die trouw slechts 17% (Karyotaki et al., 2015)24. In onze studie vonden we een eerste indicatie dat ook met een lage tijdsinvestering van therapeuten (gemiddeld 18 minuten) de therapietrouw vergelijkbaar is met de therapietrouw in studies met een veel hogere mate van ondersteuning. Van belang hierbij is wel dat hier om een herstelde, weliswaar hoge risicogroep voor depressieve terugval ging die misschien minder ondersteuning nodig heeft. Wellicht is de benodigde hoeveelheid ondersteuning afhankelijk van de ernst van een probleem (Farrand & Woodford, 2013)17. Daarnaast zijn er recent sterke effecten gevonden van geautomatiseerde ondersteuning (Espie et al., 2012; Ritterband et al., 2009)1540. Wellicht dat geautomatiseerde stemmingscontrole via sms en e-mail al voldoende is om tot een goede therapietrouw en tot positieve behandeluitkomsten te leiden. Meer onderzoek is uiteraard nodig, met name onderzoek waarin diverse soorten ondersteuning direct met elkaar vergeleken worden.

Het kunnen verminderen van de therapeuttijd bij E-health, kan een kostenbesparing betekenen ten opzichte van face-to-face-behandelingen. Echter, uit recent onderzoek van Kenter et al. (2015)25 bleek dat het bij het aanbieden van blended behandelingen, het gebruik van E-health juist resulteerde in een langere behandelduur en hogere kosten dan bij een reguliere face-to-face-behandeling, zonder dat dit leidde tot een groter effect. Hoewel het gebruik van E-Health mogelijk niet de verwachte kostenbesparing oplevert, spelen de hoge kosten van ontwikkeling en technische ondersteuning en implementatieproblemen, waaronder de nieuwe rol van een behandelaar, wellicht ook een rol (Richards et al., 2006)36. Zo is er veel twijfel over de mogelijkheid tot het opbouwen van een therapeutische relatie bij een internetbehandeling (Becker & Jensen-Doss, 2013)8. Een goede opleiding van (toekomstige) therapeuten is daarom van groot belang. Onlangs zijn diverse universiteiten, waaronder die in Groningen en Utrecht, gestart met het aanbieden van lessen gericht op E-health. Daarnaast krijgt het onderwijs op dit gebied in het postdoctoraal onderwijs mondjesmaat vorm.

Mocht mobiele CT, of een andere behandeling, een (kosten)effectieve manier van behandeling blijken, dan zal een eventuele implementatie hiervan zorgvuldig uitgevoerd moeten worden. Nieuwe behandelingen zullen niet effectief zijn in de praktijk als ze niet goed geïmplementeerd worden (Powell, Proctor, & Glass, 2014)35. In lijn met wat Heleen Riper aangaf in een interview in het tijdschrift GZ-Psychologie en in haar oratie (Riper, 2015)38, zal dit nog veel onderzoek, organisatie en begeleiding vergen.

Besluit

E-health, waaronder mobiele CT, als aanvulling op bestaande therapieën, kan het behandelaanbod verbreden en de zelfredzaamheid van cliënten verhogen. Tevens kan de tijdsinvestering van therapeuten naar behoefte verlaagd worden. Uit ons onderzoek blijkt dat therapeuten ter ondersteuning van mobiele CT slechts achttien minuten nodig hadden. Of dit ook voor een hogere (kosten)effectiviteit zorgt dan bij reguliere preventieve CT is nog niet bekend. De korte termijnresultaten van mobiele CT bij depressie zijn hoopgevend, we zullen de twee jaar follow-up evenwel moeten afwachten om hier meer over te kunnen zeggen. Vele instellingen, de overheid en zorgverzekeraars propageren E-health als belangrijk onderdeel van het behandelaanbod. Er is daarom geïnvesteerd in de ontwikkeling van E-health. Desondanks wordt E-health in de geestelijke gezondheidszorg nog beperkt gebruikt. Meer kennis over het gebruik en het effect van ontwikkelde programma’s in de dagelijkse praktijk is nodig.

Onderhavig artikel is gebaseerd op de ‘Doorbreek het ritme van depressie studies’ dat onder meer uitmondde in het proefschrift Under pressure. Vulnerability and stress in recurrent depression and new technologies to prevent relapse, dat Gemma Kok op 29 september 2014 verdedigde aan de RUG. De auteurs danken alle cliënten in het onderzoek alsook alle deelnemende instellingen, Arkin, PsyQ (Amsterdam, Groningen en Rotterdam), de huisartsen van het Huisartsen Genootschap van het VUmc, het Trimbos-instituut. Alle therapeuten, met name Evelien van Valen, voor de ondersteuning van DepressieVRIJ. Tot slot alle honourstudenten, masterstudenten en onderzoekmedewerkers, met name Ellen Hendriks, Michelle van der Laan en Nicola Klein. Dit onderzoek is gesubsidieerd door ZonMw, programma: Disease management, chronische ziekten (project nummer: 300020014).

www.depressievrij.nl

Literatuurlijst

  1. American Psychiatric Association. (2010). Practice guideline for the treatment of patients with major depressive disorder, third edition. October, (152), 1170.
  2. Andersson, E., Steneby, S., Karlsson, K., Ljótsson, B., Hedman, E. et al. (2014). Long-term efficacy of Internet-based cognitive behavior therapy for obsessive–compulsive disorder with or without booster: A randomized controlled trial. Psychological Medicine, 44(13), 2877-2887.
  3. Andersson, G. (2009). Using the internet to provide cognitive behaviour therapy. Behaviour Research and Therapy, 47(3), 175-180.
  4. Andersson, G. & Cuijpers, P. (2009). Internet-Based and Other Computerized Psychological Treatments for Adult Depression: A Meta- Analysis. Cognitive Behaviour Therapy, 38(4), 196-205.
  5. Bagby, R.M., Ryder, A.G., Schuller, D.R. & Marshall, M.B. (2004). The Hamilton Depression Rating Scale: Has the Gold Standard Become a Lead Weight? The American Journal of Psychiatry, 161(12), 2163-2177.
  6. Barnes, C.W., Hadzi-Pavlovic, D., Wilhelm, K. & Mitchell, P.B. (2015). A web-based preventive intervention program for bipolar disorder: outcome of a 12-months randomized controlled trial. Journal of Affective Disorders, 174, 485-492.
  7. Barnes, C., Harvey, R., Mitchell, P., Smith, M. & Wilhelm, K. (2007). Evaluation of an online relapse prevention program for bipolar disorder: An overview of the aims and methodology of a randomized controlled trial. Disease Management & Health Outcomes, 15(4), 215-224.
  8. Becker, E.M. & Jensen-Doss, A. (2013). Computer-assisted therapies: Examination of therapist-level barriers to their use. Behavior Therapy, 44(4), 614-624.
  9. Bockting, C.L.H., Elgersma, H.J., Rijsbergen, G.D. van, Jonge, P. de, Ormel, J. et al. (2011). Disrupting the rhythm of depression: Design and protocol of a randomized controlled trial on preventing relapse using brief cognitive therapy with or without antidepressants. BMC Psychiatry, 11.
  10. Bockting, C.L.H., Kok, G.D., Smit, F., Valen, E. van, Schoevers, R. et al. (2011). Disrupting the rhythm of depression using mobile cognitive therapy for recurrent depression: Randomized controlled trial design and protocol. BMC Psychiatry, 11:12.
  11. Bockting, C., Hollon, S.D., Jarrett, R.B., Kuyken, W. & Dobson, K. (2015). A lifetime approach to major depressive disorder: The contributions of psychological interventions in preventing relapse and recurrence. Clinical Psychology Review, 41, 16-26.
  12. Burcusa, S.L. & Iacono, W.G. (2007). Risk for recurrence in depression. Clinical Psychology Review, 27(8), 959-985.
  13. Carlbring, P., Bohman, S., Brunt, S., Buhrman, M., Westling, B.E. et al. (2006). Remote treatment of panic disorder: A randomized trial of internet-based cognitive behavior therapy supplemented with telephone calls. The American Journal of Psychiatry, 163(12), 2119-2125.
  14. Christensen, H., Griffiths, K.M. & Farrer, L. (2009). Adherence in Internet intervention for anxiety and depression: Systematic review. Journal of Medical Internet Research, 11(2), 1-16.
  15. Espie, C.A., Kyle, S.D., Williams, C., Ong, J.C., Douglas, N.J. et al. (2012). A randomized, placebo-controlled trial of online cognitive behavioral therapy for chronic insomnia disorder delivered via an automated media-rich web application. Sleep: Journal of Sleep and Sleep Disorders Research, 35(6), 769-781.
  16. Eysenbach, G. (2005). The Law of Attrition. Journal of Medical Internet Research, 7(1), e11.
  17. Farrand, P. & Woodford, J. (2013). Impact of support on the e ectiveness of written cognitive behavioural self-help: A systematic review and meta-analysis of randomised controlled trials. Clinical Psychology Review, 33(1), 182-195.
  18. Fichter, M.M., Quadflieg, N., Nisslmüller, K., Lindner, S., Osen, B. et al. (2012). Does internet-based prevention reduce the risk of relapse for anorexia nervosa? Behaviour Research and Therapy, 50(3), 180-190.
  19. First, M., Spitzer, R.L. & Gibbon, M. (2001). Structural Clinical Interview for DSM-IV-TR Axis I Disorders, Research version patient edition with psychotic screen. New York: New York State Psychiatric Institute.
  20. Guidi, J., Fava, G.A., Fava, M. & Papakostas, G.I. (2011). Efficacy of the sequential integration of psychotherapy and pharmacotherapy in major depressive disorder: A preliminary meta-analysis. Psychological Medicine, 41(2), 321-331.
  21. Hamilton, M. (1960). A Rating Scale for Depression. Journal of Neurology, Neurosurgery & Psychiatry, 23, 56-61.
  22. Holländare, F., Anthony,A.S., Randestad, M., Tillfors, M., Carlbring, P. et al. (2013). Two-year outcome of internet-based relapse prevention for partially remitted depression. Behaviour Research and Therapy, 51(11), 719-722.
  23. Holländare, F., Johnsson, S., Randestad, M., Tillfors, M., Carlbring, P. et al. (2011). Randomized trial of Internet-based relapse prevention for partially remitted depression. Acta Psychiatrica Scandinavica, 124(4), 285-294.
  24. Karyotaki, E., Kleiboer, A., Smit, F., Turner, D. T., Pastor, A.M. et al. (2015). Predictors of treatment dropout in self-guided web-based interventions for depression: an ‘individual patient data’ meta-analysis. Psychological Medicine, 1-10.
  25. Kenter, R.M.F., van de Ven, P.M., Cuijpers, P., Koole, G., Niamat, S. et al. (2015). Costs and e ects of Internet cognitive behavioral treatment blended with face-to-face treatment: Results from a naturalistic study. Internet Interventions, 2(1), 77-83.
  26. Klein, B., Austin, D.W., Pier, C., Kiropoulos, L., Shandley, K. Mitchell, J. et al. (2009). Internet-based treatment for panic disorder: Does frequency of therapist contact make a di erence? Cognitive Behaviour Therapy, 38(2), 100-113.
  27. Kok, G. (2014). Under pressure: Vulnerability and stress in recurrent depression and new technologies to prevent relapse. University of Groningen.
  28. Kok, G., Bockting, C., Burger, H., Smit, F., & Riper, H. (2014). Mobile Cognitive Therapy: Adherence and acceptability of an online intervention in remitted recurrently depressed patients. Internet Interventions, 1(2), 65-73.
  29. Ly, K., Dahl, J., Carlbring, P., & Andersson, G. (2012). Development and initial evaluation of a smartphone application based on acceptance and commitment therapy. SpringerPlus, 1(1), 11.
  30. Ly, K., Trüschel, A., Jarl, L., Magnusson, S., Windahl, T. et al. (2014). Behavioural activation versus mindfulness-based guided self-help treatment administered through a smartphone application: a randomised controlled trial. BMJ Open, 4(1).
  31. Mueller, T.I., Leon, A.C., Keller, M.B., Solomon, D.A., Endicott, J., Coryell, W. et al. (1999). Recurrence after recovery from major depressive disorder during 15 years of observational follow-up. The American Journal of Psychiatry, 156(7), 1000-1006.
  32. National Institute for Health & Care Excellence. (2010). In National Institute for Health and Clinical Excellence Depression: The treatment and management of depression in adults (updated edition). National Clinical Practice Guideline 90. National Collaborating Centre for Mental Health. Great Britain: The British Psychological Society and The Royal College of Psychiatrists.
  33. Paris, J. (2003). Personality disorders over time: Precursors, course and outcome. Journal of Personality Disorders, 17(6), 479-488.
  34. Penninx, B.W.J.H., Nolen, W.A., Lamers, F., Zitman, F. G., Smit, J. H. et al. (2011). Two-year course of depressive and anxiety disorders: Results from the Netherlands Study of Depression and Anxiety (NESDA). Journal of A effective Disorders, 133(1-2), 76-85.
  35. Powell, B.J., Proctor, E.K. & Glass, J.E. (2014). A systematic review of strategies for implementing empirically supported mental health interventions. Research on Social Work Practice, 24(2), 192-212.
  36. Richards, D.A., Lankshear, A.J., Fletcher, J., Rogers, A., Barkham, M. et al. (2006). Developing a U.K. protocol for collaborative care: a qualitative study. General Hospital Psychiatry, 28(4), 296-305.
  37. Richards, D. & Richardson, T. (2012). Computer-based psychological treatments for depression: A systematic review and meta-analysis. Clinical Psychology Review, 32(4), 329-342.
  38. Riper, M. M. (2015). Spotify de GGZ: personaliseren, engageren en verbinden. Unpublished Oration, Vrije Universiteit Amsterdam, Amsterdam.
  39. Riper, H., Spek, V., Boon, B., Conijn, B., Kramer, J. et al. (2011). E ectiveness of E-self-help interventions for curbing adult problem drinking: A metaanalysis. Journal of Medical Internet Research, 13(2), 44-56.
  40. Ritterband, L.M., Thorndike, F.P., Cox, D.J., Kovatchev, B.P. & Gonder- Frederick, L. (2009). A behavior change model for Internet interventions. Annals of Behavioral Medicine, 38(1), 18-27.
  41. Rush, A.J., Giles, D.E., Schlesser, M.A., Fulton, C.L., Weissenburger, J. & Burns, C. (1986). The Inventory for Depressive Symptomatology (IDS): preliminary findings. Psychiatry Research, 18(1), 65-87.
  42. Rush, A.J., Gullion, C.M., Basco, M.R. & Jarrett, R.B. (1996). The Inventory of Depressive Symptomatology (IDS): Psychometric properties. Psychological Medicine: A Journal of Research in Psychiatry and the Allied Sciences, 26(3), 477-486.
  43. Rush, A.J., Trivedi, M.H., Ibrahim, H.M., Carmody, T.J., Arnow, B.A., Klein, D.N. et al. (2003). The 16-item Quick Inventory of Depressive Symptomatology (QIDS), clinician rating (QIDS-C), and self-report (QIDS-SR): A psychometric evaluation in patients with chronic major depression. Biological Psychiatry, 54(5), 573-583.
  44. Scholten, W.D., Batelaan, N.M., van Balkom, A.J.L.M., Penninx, B.W.J.H., Smit, J.H. et al. (2013). Recurrence of anxiety disorders and its predictors. Journal of Affective Disorders, 147(1-3), 180-185.
  45. Spek, V., Cuijpers, P., Nyklícek, I., Riper, H., Keyzer, J., & Pop, V. (2007). Internet-based cognitive behaviour therapy for symptoms of depression and anxiety: A meta-analysis. Psychological Medicine, 37(3), 319-328.
  46. Spitzer, R.L., Williams, J.B.W., Kroenke, K. & Linzer, M. (1994). Utility of a new procedure for diagnosing mental disorders in primary care: The PRIME-MD 1000 study. JAMA: Journal of the American Medical Association, 272(22), 1749-1756.
  47. ten Doesschate, M.C., Bockting, C.L.H., Koeter, M.W.J. & Schene, A.H. (2010). Prediction of recurrence in recurrent depression: A 5.5-year prospective study. Journal of Clinical Psychiatry, 71(8), 984-991.
  48. Williams, J.B., Gibbon, M., First, M.B., Spitzer, R. L., Davies, M. et al. (1992). The Structured Clinical Interview for DSM-III-R (SCID). II. Multisite test-retest reliability. Archives of General Psychiatry, 49(8), 630-636.
  49. Wright, J.H., Wright, A.S., Albano, A.M., Basco, M.R., Goldsmith, L. J. et al. (2005). Computer-Assisted Cognitive Therapy for Depression: Maintaining E± cacy While Reducing Therapist Time. The American Journal of Psychiatry, 162(6), 1158-1164.