De databank Effectieve Jeugdinterventies (www.jeugdinterventies.nl) bevat een groeiend aantal beoordeelde en erkende interventies die gericht zijn op het veilig en gezond opgroeien en opvoeden van jeugdigen. Denk aan programma’s om roken te ontmoedigen (bijv. ‘Actie Tegengif’), sociale en emotionele vaardigheden te verbeteren (bijv. ‘Kanjertraining, PAD’) of jongeren te ondersteunen bij hun seksuele ontwikkeling (bijv. ‘Lang Leve de Liefde’). Beroepskrachten in de preventiesector, het onderwijs, opvoedingsondersteuning, de jeugdhulp alsmede financiers van jeugdinterventies benutten deze databank om onafhankelijk beoordeelde interventies te selecteren voor hun beroepspraktijk.
De beoordeling van de effectiviteit en werkzaamheid van de interventies vindt plaats met vaststaande criteria en wordt uitgevoerd door onafhankelijke commissies. Organisaties die een interventie willen aanmelden voor erkenning, vullen hiertoe een interventiebeschrijving in waarin ze, middels het aandragen van wetenschappelijke (effect)studies, beargumenteren waarom hun interventie erkend zou moeten worden. De erkenningscommissie komt vervolgens tot één van de volgende beoordelingen: ‘goed beschreven’, ‘goed onderbouwd’ of ‘effectief’ – waarbij binnen deze laatste categorie onderscheid wordt gemaakt tussen ‘eerste aanwijzingen’, ‘goede aanwijzingen’ en ‘sterke aanwijzingen’ voor effectiviteit (zie figuur 1). Een uitgebreide beschrijving van alle beoordelingscriteria is te vinden in Van Dale et al. (2013).
De databank is voor zorgprofessionals en (onderzoeks-)financiers een steeds belangrijker instrument geworden. In 2014 werd de databank bekeken door 118.343 bezoekers – een stijging van 31% ten opzichte van het jaar daarvoor (Nederlands Jeugdinstituut, 2014)14. Gemeenten en andere financierders en afnemers van interventies worden gestimuleerd om de erkende effectieve interventies te gebruiken. Ook onderzoeksfinancierder ZonMW hecht veel waarde aan de databank. Zo verleent ZonMW regelmatig enkel onderzoeksubsidies naar interventies als deze binnen de databank zijn opgenomen.
Het is dus van groot belang dat de beoordeling van de interventies zorgvuldig en onafhankelijk gebeurt. De erkenningscommissie hanteert bij de beoordeling van het effect van interventies en voor hun eigen procedures, zoals gezegd, strenge criteria (Van Dale et al., 2013)22. Eén aspect lijkt echter vergeten: de mate van onafhankelijkheid van de auteurs van de effectonderzoeken die door de indieners worden aangedragen en waarop het oordeel van de erkenningscommissie wordt gebaseerd. Onderhavig artikel beschrijft in welke mate de Nederlandse onderzoeken die ten grondslag liggen aan de erkenningen, zijn uitgevoerd door volledig onafhankelijke onderzoekers. Waar dit niet het geval is, wordt nagegaan of een dergelijke, potentiële belangenverstrengeling staat aangegeven in de onderzoeksartikelen.
Afhankelijke onderzoekers
Er zijn verschillende aanwijzingen dat onderzoek uitgevoerd door niet-onafhankelijke onderzoekers tot positievere resultaten leidt dan onderzoek dat is uitgevoerd door onafhankelijke onderzoekers (Beelman & Lösel, 2006; Farrington & Welsh, 2003; Gorman & Conde, 2007; Perlis et al., 2005; Petrosino & Soydan, 2005; Reyno & McGrath, 2006; St Pierre et al., 2006; Valentine et al.., 2011; Wilson, Lipsey & Derzon, 2003)18111516172123. Deze afhankelijkheid wordt in verscheidende onderzoeken naar interventies tevens als verklaring voor de positievere resultaten gegeven. Daarbij zijn er twee soorten verklaringen. De eerste mogelijkheid is dat auteurs de onderzoeksresultaten bewust manipuleren, of tijdens het onderzoek (on)bewust keuzes maken die de kans op positieve interventie-effecten vergroten (cynical view). Veelal gaat het hierbij niet zozeer om fraude, als wel om het (on)bewust maken van een serie keuzes tijdens het onderzoek, die de resultaten ten goede komen. Denk hierbij aan het uitvoeren van meerdere analysetechnieken en het enkel rapporteren van de meest “gunstige’ techniek, focussen op gunstige bevindingen in subgroepen of het selectief rapporteren van gunstige uitkomstmaten. De tweede uitleg is dat de auteurs/interventie- ontwikkelaars zo goed op de hoogte zijn van de kenmerken en de theoretische onderbouwing van de interventie dat zij als geen ander weten hoe ze deze zo getrouw mogelijk kunnen implementeren (high fidelity view; Beelman & Lösel, 2006; Borman et al., 2003; Eisner, 2007; 2009; Farrington & Welsh, 2003; Gandhi et al., 2007; Holder, 2009; Littel, 2005; Smith & Glass, 1977; St. Pierre et al., 2005; Wilson, Lipsey & Derzon, 2003)2410121920. Echter: ongeacht welke verklaring juist is, beide verklaringen hebben gevolgen voor de voorspellende waarde van de gevonden effecten in de dagelijkse praktijk. In het geval van (on)bewuste manipulatie is dat duidelijk. Maar ook van de high fidelity view is bekend dat de resultaten lastig te repliceren zijn in de dagelijkse praktijk. Interventie-ontwikkelaars kunnen doorgaans niet bij iedere uitvoering van hun interventie aanwezig zijn om eenzelfde hoge mate van interventiegetrouwe implementatie te bereiken als ten tijde van het effectonderzoek. Het is een bekend gegeven dat interventies in de dagelijkse praktijk minder interventiegetrouw worden uitgevoerd (Elliot & Mihalic, 2004; Kendall & Southam-Gerrow, 1995; Petrosino & Soydan, 2005; Robinson, Berman & Neimeyer, 1990; Valentine et al., 2011)371318 en veelal minder effectief zijn dan interventies die onder meer gecontroleerde omstandigheden worden uitgevoerd (Chambless & Hollon, 1998; Elliot & Mihalic, 2004; Flay, e.a., 2005; Petrosino & Soydan, 2005; Valentine et al., 2011)9. De resultaten van interventieonderzoeken waarin de zeilen te veel zijn bijgezet om de interventie zo perfect mogelijk uit te voeren, zijn daarmee slechte voorspellers van interventie-effecten in de dagelijkse uitvoeringspraktijk van professionals.
Er zijn drie veelvoorkomende groepen afhankelijke onderzoekers: 1) de onderzoeker heeft de onderzochte interventie zelf ontwikkeld; 2) de onderzoeker is werkzaam binnen een instelling die een licentie of patent heeft op de onderzochte interventie, en 3) de onderzoeker heeft de interventie niet zelf ontwikkeld, maar is wel werkzaam in dezelfde instelling als de interventie-ontwikkelaar (Borman, et al., 2003; Chambless & Hollon, 1998; Eisner, 2009; Elliot & Mihalic, 2004; Eisner & Humphreys, 2012; Petrosino & Soydan, 2005; Valentine et al., 2011). Internationale studies (bijv. Eisner & Humphreys, 2012)56 laten zien dat het percentage publicaties waarbij de interventie-ontwikkelaar één van de auteurs is vaak voorkomt, oplopend tot percentages van 78% (Gorman & Conde, 2007). Dezelfde studie laat zien dat bij de helft van de 34 onderzochte interventies voor genotmiddelen of geweldspreventie de interventie-ontwikkelaar (veelal dus ook onderzoeker) tevens eigenaar of directeur is van de organisatie die de interventie verspreidt en daarmee duidelijk financiële belangen heeft (Gorman & Conde, 2007). Hoe deze percentages zich in Nederland verhouden, is onbekend.
Conflict of interest
Een manier om duidelijkheid te verschaffen over de dubbelrollen van auteurs is de verklaring die onderzoekers moeten afleggen als zij een artikel bij een wetenschappelijk tijdschrift indienen, het zogeheten ‘Conflict of Interest’, ‘Declaration of Interest’ of ‘Financial Disclosure’ statement. Hiermee wordt inzicht verschaft in potentiële belangenverstrengeling tussen primaire belangen in een onderzoek, zoals het accuraat, neutraal en valide uitvoeren van onderzoek, en secundaire belangen, zoals financiële belangen en behoefte aan professionele erkenning (Eisner, 2009). Hoewel de wijze waarop tijdschriften omgaan met potentiële belangenverstrengeling verschilt, is het vermelden ervan tegenwoordig regel.
Databank als kwaliteitsoordeel
Betrokkenheid van interventie-ontwikkelaars en licentiehouders is niet ongebruikelijk in effectonderzoek. Dat komt onder andere voort uit het feit dat interventies veelal eerst onder optimale omstandigheden worden onderzocht. Hierbij wordt een theoretisch concept of interventie onderzocht door de bedenkers ervan (efficacy studies). Pas in een latere fase worden de effecten van de interventie bestudeerd onder meer natuurgetrouwe condities (effectiveness studies), of tijdens de opschalingsfase waarin de uitvoering wordt gedaan onder dagelijkse uitvoeringsomstandigheden (dissemination studies; Flay, 2005). Alle drie typen van onderzoek hebben een belangrijke functie bij de ontwikkeling van interventies. Het is immers niet onverstandig om een theoretisch concept eerst op kleine schaal te toetsen op werkzaamheid, alvorens het idee om te zetten in interventiematerialen en op grote schaal te verspreiden. Dit neemt echter niet weg dat bij het beoordelen van een interventie door een erkenningscommissie de waarde van de verschillende typen onderzoek én de onafhankelijkheid van de onderzoekers zorgvuldig (mee)gewogen dienen te worden. Het doel van de databank is immers interventies te selecteren die onder normale omstandigheden in de dagelijkse praktijk een effect hebben op het gedrag van jongeren en hun opvoeders. Dit vraagt om een kritische beoordeling van de door indieners aangedragen bewijsvoering.
Dat de uitkomsten van onderzoek niet altijd zonder meer kunnen worden overgenomen, heeft Eisner (2007) al eens laten zien voor een onderzoek naar Triple P. Middels eenvoudige analysetechnieken en slechts gebruikmakend van de data die de auteurs hadden gepresenteerd in het onderzoeksrapport, kwam Eisner tot een compleet andere conclusie. De auteurs van het oorspronkelijke onderzoeksrapport claimden dat Triple P effectief was op een aantal variabelen; Eisner concludeerde evenwel dat er geen systematisch effect van de interventie was. Het verschil in bevindingen wijdde Eisner aan onheldere en ontoereikende analysetechnieken en zogeheten selective outcome reporting – ofwel het enkel publiceren van significant positieve interventie-effecten en het niet vermelden van niet significante testen van effect op uitkomstmaten.
Een kritische beschouwing van de door de onderzoekers aangedragen bewijzen is dus geen overbodig controlemechanisme. De beoordelingscommissie van de databank speelt hierbij een belangrijke rol.
Onderzoeksvragen
De basis van dit onderzoek betreft 26 interventies die door de erkenningscommissie erkend zijn als effectief volgens eerste, goede of sterke aanwijzingen van effectiviteit. Om als effectieve interventie erkend te worden, hebben de indieners (naast internationale onderzoeksartikelen) in totaal 86 Nederlandse onderzoekartikelen aangedragen in de interventiebeschrijving om hun betoog daarvoor kracht bij te zetten. Daartoe stellen we de volgende twee vragen:
1) In welk percentage van de Nederlandse onderzoeksartikelen zijn de auteurs volledig onafhankelijk?
2) In welk percentage van de Nederlandse onderzoeksartikelen staat in een statement een potentiële belangenverstrengeling correct aangegeven?
Methode
De dataset bestond uit onderzoeksartikelen die opgenomen waren in de beschrijvingen van alle 26 interventies die op 10 maart 2015 door de erkenningscommissie voor de databank Effectieve Jeugdinterventies erkend waren als effectief volgens eerste, goede of sterke aanwijzingen van effectiviteit. In dit onderzoek zijn enkel studies meegenomen die zijn uitgevoerd in de Nederlandse praktijk, ervan uitgaande dat deze studies het meeste voorspellend zijn voor de effecten van de interventie bij de Nederlandse jeugd. Deze selectiecriteria resulteerden in 86 artikelen behorende bij 26 interventies voor kinderen en adolescenten tot achttien jaar met verschillende doeleinden, doelgroepen en settings van uitvoering (zie tabel 1). Al deze onderzoeksartikelen zijn terug te vinden in de databankbeschrijvingen of op te vragen bij de auteurs.1 De dataset bestond uit 48 gepubliceerde onderzoeken (55,8%), achttien onderzoeksrapporten (20,9%), vier ongepubliceerde onderzoeken (4,7%), negen proefschriften (10,5%), vier Bachelor- of Masterthesissen (4,7%), één conceptversie van een artikel (1,2%) en twee hoofdstukken uit een boek (2,3%).
Dataverzameling
Om vast te stellen of de auteurs van de onderzoekartikelen onafhankelijk waren, is per onderzochte interventie nagegaan wie de ontwikkelaar(s) was of waren, voor welke organisatie hij of zij werkte(n) ten tijde van de ontwikkeling en welke organisaties een licentie of patent op de interventie had(den). Om dit te bepalen zijn verschillende bronnen geraadpleegd, waaronder de interventiebeschrijving, de onderzoeksartikelen die daarin aangedragen werden, andere wetenschappelijke artikelen, de websites van de interventies en andere bronnen op het internet zoals internationale interventiedatabanken. Dit proces is door twee personen onafhankelijk van elkaar uitgevoerd. Hun uitkomsten zijn met elkaar vergeleken; bij twijfel werd de zoektocht uitgebreid en/of is met de vermoedelijke ontwikkelaars en licentiehouders contact gezocht om de bevindingen te toetsen. Op basis hiervan is per interventie een lijst samengesteld met de namen van de ontwikkelaars van de interventies, de organisatie waarvoor zij werkten ten tijde van de ontwikkeling en de namen van de organisaties die een (Nederlandse) licentie of patent hebben op de interventie. De namen van deze personen en organisaties zijn vergeleken met de namen en organisaties van de auteurs zoals die op de onderzoeksartikelen staan. In de rapportage is onderscheid gemaakt tussen eerste auteurs en coauteurs. Bij achttien onderzoeksartikelen waren er geen coauteurs; derhalve is de n bij het aantal coauteurs lager dan 86, namelijk 68.
Variabelen
Interventie-ontwikkelaar
Om vast te stellen wie de ontwikkelaars van de interventies waren, werden diverse bronnen gebruikt zoals de ingediende interventiebeschrijvingen, de interventiematerialen (bijv. handboeken) en de websites van de interventies. Voor interventies die in het buitenland ontwikkeld waren, zijn zowel de oorspronkelijke ontwikkelaars als de Nederlandse doorontwikkelaars geregistreerd als interventie-ontwikkelaars. Dit was alleen het geval als de interventie ook daadwerkelijk aangepast en doorontwikkeld was voor de Nederlandse situatie. Indien de interventie enkel vertaald was werden de vertalers niet als interventie-ontwikkelaars gescoord.
Een andere mogelijkheid was dat uit het onderzoeksartikel bleek dat de auteurs van het artikel de interventie zelf ontwikkeld en voor het eerst onderzocht hadden. De ontwikkeling van een interventie begint immers veelal met de toetsing van een theoretisch concept. Daarbij is meestal nog geen (openbaar) interventiehandboek beschikbaar, maar staan de interventie en de onderzoeksresultaten wel beschreven in een wetenschappelijk artikel. In die gevallen zijn alle auteurs van dat specifieke artikel als interventieontwikkelaar gescoord.
Licentiehouder / Interventie-eigenaar
Een organisatie werd als licentiehouder of interventie-eigenaar geregistreerd als op basis van één van de zoekstrategieën uit de dataverzamelingsmethode kon worden vastgesteld dat een organisatie ofwel de eigenaar van de interventie was, ofwel een licentie had om de interventie in Nederland uit te voeren. Bij zes interventies kon niet achterhaald worden welke organisatie licentiehouder was.
Collega van de interventie-ontwikkelaar
Per onderzoeksartikel werd van iedere (co)auteur gecheckt of hij of zij een collega was van de interventie-ontwikkelaar. Om dat vast te stellen, werd via de zoekstrategieën uit de dataverzamelingsmethode uitgezocht voor welke organisatie de interventie-ontwikkelaar werkte ten tijde van de publicatie van het onderzoeksartikel.
Conflict of interest
De variabele conflict of interest werd in twee stappen gescoord. Allereerst werd gekeken of in het onderzoeksartikel een conflict of interest werd genoemd– dit was veelal te vinden in een aparte alinea met als kop ‘conflict of interest’, ‘declaration of interest’ of ‘financial disclosure’. Ontbrak een dergelijk statement, dan werd dit beschouwd als het statement: ‘geen conflict of interest’. Wanneer een statement wel aanwezig was, werd genoteerd welke auteurs een conflict of interest hadden als zijnde interventieontwikkelaar, licentiehouder of collega van de interventieontwikkelaar. Vervolgens werd gekeken of de informatie in het conflict of interest-statement overeenkwam met de door ons verzamelde data over de auteurs. Omdat het enkel in gepubliceerde onderzoeksartikelen gangbaar/verplicht is een conflict of interest te benoemen, zijn alleen de 48 gepubliceerde onderzoeksartikelen bekeken en niet de onderzoeksrapporten, ongepubliceerde onderzoeken en proefschriften.
Resultaten
Onafhankelijkheid auteurs
In 72 van de 86 artikelen (84%) was minimaal één (co)auteur afhankelijk; in 14 van de 86 artikelen (16%) waren alle (co)auteurs onafhankelijk (zie tabel 2). In 69% van de artikelen was minimaal één auteur tevens interventie-ontwikkelaar, in 46% van de artikelen was een (co)auteur betrokken die werkte voor een organisatie die een licentie op de interventie had of interventie-eigenaar was. En in 57% van de artikelen was er een (co)auteur betrokken die een collega was van de interventie-ontwikkelaar.
Tabel 3 laat zien dat afhankelijkheid van (co)auteurs voorkwam bij alle artikelen van interventies met sterke aanwijzingen van effectiviteit. In 80% van die gevallen was de interventie-ontwikkelaar betrokken bij de onderzoeksartikelen, in de helft van de artikelen was de licentiehouder (co)auteur van het onderzoeksartikel, en bij 70% was een collega van de interventie-ontwikkelaar betrokken.
Onafhankelijkheid auteurs naar interventie
In totaal 19 van de 26 kwaliteitsoordelen (73%) van de interventies in de databank zijn gebaseerd op enkel artikelen (in de Nederlandse setting) die zijn uitgevoerd door afhankelijke onderzoekers (zie tabel 4). Drie van de vijf interventies met eerste aanwijzingen van effectiviteit (60%) zijn gebaseerd op enkel afhankelijke artikelen in de Nederlandse setting. Dat is het geval bij 12 van de 17 interventies met goede aanwijzingen van effectiviteit (71%) en bij alle interventies met sterke aanwijzingen van effectiviteit (100%).
Conflict of interest
In totaal werd in 39 van de 48 gepubliceerde onderzoeken (81%) incorrecte informatie gegeven over een conflict of interest (zie tabel 5). Daarbij stond in 29 van de 48 artikelen (60%) geen ‘conflict of interest’-paragraaf terwijl er wel sprake was van een conflict of interest. In 10 van de 14 artikelen (71%) was er wel een conflict of interest statement (meestal met de mededeling dat er geen conflict was), maar bleek dit statement incorrect omdat er volgens onze gegevens wel een conflict of interest was. Bij vijf artikelen stond eveneens geen conflict of interest paragraaf, maar werd de informatie als correct gescoord aangezien er volgens onze data ook geen sprake was van een conflict of interest.
In 39 van de 43 artikelen (91%) waarvan minimaal één auteur afhankelijk was, werd incorrecte informatie over een conflict of interest gegeven, waarvan in 29 van de 43 artikelen (67%) geen conflict of interest werd benoemd terwijl dat er wel was. In 10 van de 14 artikelen (71%) werd een conflict of interest incorrect benoemd (veelal was er wel een conflict of interest, terwijl de auteurs verklaarden dat ze er geen hadden).
Discussie
In onderhavig onderzoek is bestudeerd in hoeverre Nederlandse studies naar interventies die als ‘effectief’ staan beoordeeld in de databank Effectieve Jeugdinterventies, zijn uitgevoerd door onafhankelijke onderzoekers. Daarnaast is gekeken in hoeverre een dergelijke belangenverstrengeling correct is aangegeven in de onderzoeksartikelen.
In slechts 16% van de onderzoeksartikelen waren alle auteurs volledig onafhankelijk. Dat wil zeggen dat ze niet de interventie ontwikkeld hadden, noch een collega waren van de interventie-ontwikkelaar, noch werkten voor de organisatie met een licentie of patent op de interventie. Dat is een opmerkelijk laag percentage, in het bijzonder omdat deze potentiële belangenverstrengeling slechts zelden (correct) stond beschreven in een conflict of interest-statement. Huidig onderzoek laat zien dat in 81% van de gepubliceerde artikelen geen conflict of interest beschreven stond, terwijl dat (hoogstwaarschijnlijk) wel had gemoeten; of er was wel een conflict of interest statement gegeven, maar werd daarin werd ten onrechte verklaard dat er geen potentiële belangenverstrengeling was. Kortom, veel van het onderzoek dat aangedragen wordt om de effectiviteit van interventies aan te tonen, valt in de categorie ‘Wij van WC-Eend’ zonder dat dit duidelijk is. Zoals in de inleiding betoogd is dit type onderzoek over het algemeen een slechte voorspeller voor het effect van een interventie in de dagelijkse praktijk. Dit is zorgelijk en verdient absoluut verbetering bij zowel onderzoekers, onderzoeksfinanciers, tijdschriften als de databank Effectieve Jeugdinterventies (en vermoedelijk ook andere interventiedatabanken). De databank Effectieve Jeugdinterventies is aangewezen om interventies aan te wijzen die in de dagelijks praktijk impact hebben op gezondheidsproblemen.
De databank is opgezet om professionals en financiers te helpen bij het kiezen van daadwerkelijk effectieve interventies. De databank vormt in die zin een extra schakel (lees: kwaliteitstoets) bij het interpreteren van effectonderzoek en het selecteren van interventies. Een complexe klus die veel expertise vereist en voor veel professionals niet haalbaar is in hun dagelijkse werk. De beoordelingscommissies bevelen we aan om meer oog te hebben voor de mate van onafhankelijkheid van de onderzoeken die door de indieners van de interventiebeschrijvingen worden aangedragen. Het is belangrijk dat de commissies zich in hun oordeel niet alleen laten leiden door de argumenten die de interventie-eigenaren aandragen, maar ook actief op zoek gaan naar tegenargumenten voor effectiviteit. Dit zou op meerdere manieren kunnen, maar gedacht kan worden aan de volgende praktische aanpassingen:
– Vraag aan de indieners van de interventiebeschrijvingen om aan te geven in hoeverre de aangedragen effectonderzoeken zijn uitgevoerd door onafhankelijke onderzoekers.
– Toets als commissie in hoeverre de verklaring van de indieners correct is; onderhavig onderzoek heeft immers laten zien dat het invullen van een conflict of statementparagraaf niet per definitie leidt tot een correcte verklaring.
– Vraag aan de indieners of er ook (niet gepubliceerde) onderzoeken zijn uitgevoerd die geen of een tegenovergesteld effect laten zien. – Maak aan de gebruikers van de databank inzichtelijker welke potentiële belangverstrengeling er is bij de verschillende onderzoeken en interventies.
Daarnaast adviseren we onderzoeksfinanciers zoals ZonMw om ook alert te zijn op eventuele belangenverstrengeling bij het verstrekken van subsidie naar effectonderzoeken. Maak de onafhankelijkheid van de onderzoekers een expliciet aandachtspunt bij de beoordelingscriteria. Zijn er voldoende waarborgen ingebouwd die ervoor zorgen dat de primaire belangen in een onderzoek, zoals het accuraat en neutraal uitvoeren van onderzoek, centraal staan en dat de secundaire belangen, zoals financiële belangen en professionele erkenning, zo min mogelijk een rol spelen? Is er in de onderzoeksgroep bijvoorbeeld ten minste één partij betrokken die geen belangen heeft bij positieve noch negatieve uitkomsten? Dat is zeker belangrijk als het gaat om interventies die reeds veel uitgevoerd worden. Om de effecten van interventies in de dagelijkse praktijk te kunnen voorspellen, is het immers niet alleen van belang om te toetsen of (een theorie achter) een interventie tot een positief effect kán leiden, maar om effectonderzoek uit te voeren waarin getoetst wordt of de effecten van de interventie ook daadwerkelijk stand houden in de dagelijkse praktijk. Te vaak nog lijkt het doel van effectonderzoek naar interventies in het sociale domein om aan te tonen dat de interventie werkt en worden alle zeilen bijgezet om dit aan te tonen. De resultaten die we derhalve daadwerkelijk denken te behalen bij de aanpak van gezondheidsproblemen zoals depressie, overgewicht of alcoholmisbruik wordt daarmee overschat.
Het is goed om te benadrukken dat in huidig onderzoek niet is bestudeerd in hoeverre er daadwerkelijk een invloed van de afhankelijkheid van de auteurs is op de resultaten van het onderzoek. Opvallend is wel dat alle artikelen die behoren bij interventies met het hoogste kwaliteitsoordeel van effectiviteit, enkel zijn gebaseerd op afhankelijke onderzoeken. Een mogelijk gevolg daarvan kan zijn dat de onderzoeksresultaten daardoor positief zijn en derhalve hoog scoren op de ladder van effectiviteit. Echter, dit valt op basis van de gebruikte data niet vast te stellen en vervolgonderzoek is nodig om te bepalen in hoeverre dit daadwerkelijk het geval is.
Het is eveneens goed te vermelden dat ons betoog niet gelezen dient te worden als motie van wantrouwen naar de auteurs van de onderzoeksartikelen. Ook binnen het Trimbos-instituut verrichten we effectonderzoek naar onze eigen interventies en publiceren we hierover in wetenschappelijke tijdschriften of dienen deze interventies in bij de databank. In sommige gevallen voeren we daarbij zelf de analyses en het onderzoek uit, in andere gevallen zijn we vooral betrokken om de implementatie van de interventie te realiseren. Betrokkenheid van ontwikkelaars en licentiehouders is veelal ook onvermijdelijk, maar dat neemt niet weg dat meer transparantie over ieders rol zeer gewenst is.
In dit onderzoek is verder evenmin rekening gehouden met de sterkte en het type belangen die een auteur of instelling heeft of zou kunnen hebben. De ene instelling zal meer belang hebben bij positieve resultaten dan een andere, omdat meer geld of tijd is geïnvesteerd in de ontwikkeling of verdiend kan worden met de verspreiding van de interventie. Verder dient het opgemerkt te worden dat in dit onderzoek enkel artikelen gebruikt zijn die gebaseerd zijn op Nederlandse effectstudies. Dit is gedaan omdat aangenomen mag worden dat onderzoeken in Nederland het meest voorspellend zijn voor het effect van de interventie in Nederland, maar laat daarmee onafhankelijke internationale onderzoeken buiten beschouwing bij de beschrijving van de resultaten.
Kortom, meer aandacht van de commissie voor de mate van onafhankelijkheid van de aangedragen studies bij de interventiebeschrijving is gewenst. Over de wijze waarop afhankelijkheid vervolgens meegewogen zou moeten worden bij het oordeel, is een ingewikkelde zaak omdat afhankelijkheid en belangenverstrengeling verschillende groottes kent. Transparantie over de afhankelijkheid bij de kwaliteitsoordelen moet als eerste stap wel haalbaar zijn. Daarnaast dient meer onafhankelijk interventieonderzoek gestimuleerd te worden.
Goossens is geen (co)auteur van de bestudeerde artikelen. Het Trimbos-instituut en andere medewerkers van dit instituut zijn wel als interventie-eigenaar, onderzoeker en/of interventie-ontwikkelaar betrokken bij de bestudeerde artikelen en interventies. Dit onderzoek is uitgevoerd met behulp van interne financiering van het Trimbos-instituut en zonder externe financiering.
