Lolotte Schimmel en Peter van Koppen (2017) presenteerden een onderzoek naar de kwaliteit van tests bij justitiabelen. Vanuit het Nederlands Instituut voor Forensische Psychiatrie en Psychologie (NIFP) is met veel belangstelling kennis genomen van het onderzoek. Zoals terecht door Schimmel en Van Koppen is opgemerkt, is een hoge kwaliteit van pro Justitia rapportages van groot belang, voor de justitiabele voor wie het onderzoek verstrekkende gevolgen kan hebben, maar ook omdat de uitslag van het onderzoek een bouwsteen is voor beslissingen in het strafproces.
Schimmel en Van Koppen komen met dit onderzoek op het moment dat de nieuwe Richtlijn ambulant forensisch psychologisch onderzoek en rapportage in het strafrecht – de vervanger van de best practice uit 2007 die in 2009 marginaal is aangepast – ter vaststelling bij de directie van het NIFP lag. Dit betekent dat Schimmel en Van Koppen voor een deel zijn uitgegaan van gedateerde informatie, omdat de richtlijn niet op alle punten hetzelfde aanbeveelt als de eerdere best practice. Graag reageren wij namens het NIFP met de bedoeling de zorgen over de gebruikte testen en de wijze van gebruik waar nodig te nuanceren en aan te geven hoe het NIFP met de uitkomsten van het onderzoek omgaat. We beginnen met een beschrijving hoe de psycholoog te werk gaat bij het verkrijgen van een beeld van de verdachte.
De rol van testgebruik in ambulant forensisch psychologisch onderzoek
Het onderzoek van Schimmel en Van Koppen (2017) richtte zich op het gebruik van tests in het onderzoek pro Justitia. Zij concluderen dat het juiste gebruik van tests die aan de kwaliteitseisen van de Commissie Testaangelegenheden Nederland (COTAN) voldoen te wensen overlaat. Daarbij geven zij aan dat dit direct gevolgen heeft voor de advisering aan de rechter. Het NIFP wil deze conclusie graag nuanceren.
Om een forensisch psychologisch onderzoek te verrichten ter advisering van de rechtspraak (pro Justitia onderzoek), maakt de psycholoog idealiter gebruik van zoveel mogelijk methoden en bronnen. Dit is conform inzichten uit wetenschappelijke onderzoek dat laat zien dat dit de validiteit van resultaten verhoogt (Meijer et al., 2001; Hopwood & Bornstein, 2014). Onontbeerlijk daarbij zijn uiteraard de bestudering van het dossier en de gesprekscontacten met de onderzochte. Daarnaast vormt het referentenonderzoek van personen uit de leefomgeving van de onderzochte, eventuele eerdere behandelaars of een huisarts een belangrijke pijler. Tot slot heeft de psycholoog de mogelijkheid om tests af te nemen. De resultaten van het testpsychologisch onderzoek zijn echter niet allesbepalend voor de resultaten van het pro Justitia onderzoek. Zij worden beschouwd in samenhang met de resultaten uit de andere bronnen om tot een advies te komen.
Dit neemt niet weg dat het belangrijk is het testpsychologisch onderzoek zo goed mogelijk uit te voeren om tot de best mogelijke resultaten te komen. In dit opzicht zijn de resultaten van Schimmel en Van Koppen (2017) waardevol. In het navolgende zal nader ingegaan worden op de vier aanbevelingen die Schimmel en Van Koppen doen op basis van de resultaten van hun onderzoek.
Verantwoording van de gebruikte tests
Schimmel en Van Koppen concluderen dat psychologen zelden een duidelijke reden geven voor hun keuzes voor tests. Zoals zij aangeven is dit wel de best practice. In de nieuwe richtlijn is wederom opgenomen dat er achter elk psychologisch rapport een bijlage hoort te worden opgenomen met een korte omschrijving van de gebruikte tests. Bovendien wordt aangegeven dat psychologen in hun testonderzoek moeten verantwoorden waarvoor de gebruikte tests zijn ingezet. Er moet worden aangegeven dat het bijvoorbeeld om intelligentietests gaat, tests om het (neuro)psychologische functioneren in kaart te brengen of om vragenlijsten die relevante persoonlijkheidseigenschappen in beeld brengen. Daarbij geldt dat het de gebruikersvriendelijkheid en leesbaarheid niet bevordert als per test uitvoerig wordt uitgelegd waarom deze wordt toegepast. Schimmel en Van Koppen (2017) maken niet duidelijk hoe uitgebreid en gedetailleerd zij de argumentatie voor de keuze van de test hadden willen zien in het rapport.
Kwaliteit psychologische tests volgens de COTAN
Schimmel en Van Koppen stellen dat in de helft van de pro Justitia onderzoeken tests worden gebruikt die niet door de COTAN als voldoende worden beoordeeld. Resultaten van deze tests zouden in het beste geval nietszeggend zijn en in het slechtste geval misleidend. Wij zijn van mening dat daarmee door de auteurs teveel waarde wordt gehecht aan de beoordeling van de COTAN.
Van de meest gangbare en in het forensisch psychologisch onderzoek gebruikte psychologische meet instrumenten zijn de psychometrische eigenschappen bekend. Deze eigenschappen worden gepubliceerd in de COTAN Deze baseert zich met name op validiteit van tests in de algemene psychologische praktijk. Bij voorkeur worden in het forensisch psychologisch onderzoek natuurlijk tests gebruikt die voldoen aan de kwaliteitscriteria van de COTAN Wat betreft forensische diagnostiek zijn er in sommige gevallen echter redenen om van deze standaard af te wijken.
Een belangrijk punt in het forensische veld is dat de onderzochte zich graag zo gunstig mogelijk wil presenteren en dientengevolge veel sociaal wenselijke antwoorden geeft of juist probleemgebieden uitvergroot, om zo het onderzoek te beïnvloeden (Spaans, 2016). Voor dit aspect wordt dan ook speciale alertheid gevraagd van de onderzoeker en de keuze van de vragenlijsten dient daarop afgestemd te worden. Enkele tests die een goede beoordeling in de COTAN krijgen, zijn niet meteen bruikbaar in de context van het onderzoek pro Justitia omdat zij soms erg gevoelig blijken voor manipulatie en er geen normen beschikbaar zijn voor de forensisch-psychiatrische populatie (Akkerman-Bouwsema, Biesbroek, Lancel & Gerlsma, 2015). Het is daarom voor psychologen belangrijk daarmee rekening te houden en soms uit te wijken naar instrumenten die in dit verband beter bruikbaar zijn.
Een aan bovenstaand probleem gerelateerd punt is dat relatief veel bruikbare tests om aspecten te onderzoeken die belangrijk zijn voor het pro Justitia onderzoek niet (langer) voldoen aan de gehanteerde criteria van de COTAN Vaak worden de normen als verouderd beschreven en daardoor als onvoldoende beoordeeld. Voor een deel ligt de oorzaak hiervoor in ontbrekend wetenschappelijk onderzoek, waarbij het kleine Nederlandse taalgebied maakt dat geen hernieuwd onderzoek wordt verricht waardoor de validiteit van de test ter discussie staat. Het belang van zulk onderzoek wordt te weinig onderkend, waardoor normen gemakkelijk verouderen. Het NIFP zou dan ook graag het wetenschappelijk onderzoek naar de verschillende tests uitgebreid zien worden. In de tussentijd beveelt de richtlijn forensische psychologen aan om zeker te kijken naar de betrouwbaarheid zoals weergegeven in de COTAN maar ook gebruik te maken van aanwezige recentere wetenschappelijke inzichten. Men kan daarbij denken aan tests, zoals de Shedler-Western Assessment Procedure (SWAP), waarvan de criteriumvaliditeit in Nederland onvoldoende is aangetoond, maar waar een goede internationale documentatie van beschikbaar is op basis van onderzoek in forensische populaties.
Naast recente wetenschappelijke bevindingen baseert de richtlijn zich ook op bruikbaarheid in het forensische veld. Er is namelijk sprake van een verschil tussen het klinisch gebruik van instrumenten en de bevindingen van de COTAN Het komt voor dat een instrument op bepaalde onderdelen als onvoldoende wordt beoordeeld door de COTAN Voor het klinisch gebruik gelden echter ook andere criteria, gebaseerd op interpretatie van de testresultaten tegen de achtergrond van alle andere informatie. In het forensische veld moeten testresultaten steeds tegen die achtergrond afgezet worden. Dit laatste wordt vaak niet meegenomen in validiteitsonderzoek, maar kan de validiteit van een instrument wel verhogen. Zo is er veel kritiek op de DSM-IV classificaties en zijn sommige ook geschrapt in de DSM-5, maar is deze toch gedeeltelijk bruikbaar gebleken in de klinische praktijk van de afgelopen jaren.
Samengevat: er zijn duidelijk redenen om toch over te gaan tot het gebruik van instrumenten die in de COTAN als niet voldoende worden beoordeeld, mits het gebruik voldoende kan worden onderbouwd, bijvoorbeeld op basis van recente(re) wetenschappelijke inzichten. Schimmel en Van Koppen geven evenwel terecht aan dat waar in de (oude) ‘best practice’ een instrument wordt aanbevolen dat geen of geen voldoende beoordeling in de COTAN heeft, wel moet worden aangegeven waarom het gebruik van dit instrument wordt aanbevolen en resultaten toch valide kunnen zijn. In de nieuwe richtlijn is hierin al deels voorzien en het COTAN is voornemens om de richtlijn op dit punt in 2018 nog eens goed onder de loep te nemen.
Wel of geen toezicht bij het invullen van vragenlijsten
Schimmel en Van Koppen geven aan dat psychologen tests meegeven aan verdachten om thuis in te vullen. Zij zijn van mening dat de resultaten van deze tests nihil zijn, omdat niet meer duidelijk is of de tests door de verdachte zelf dan wel door anderen zijn ingevuld.
Er zijn diverse praktische redenen om tests mee te geven aan verdachten, maar de belangrijkste is het beperkte aantal contactmomenten en de wens toch zoveel mogelijk informatie te vergaren. De richtlijn biedt ruimte aan forensisch psychologen om in bepaalde omstandigheden de keuze te maken om de tests wel degelijk mee te geven aan verdachten, conform ook de richtlijnen van het Nederlands Instituut van Psychologen (NIP). De richtlijn geeft daarbij wel aan dat de kwaliteit van de uitkomsten voorop moet staan en dat de rapporteur dus een zorgvuldige afweging dient te maken of het mogelijk is om de tests zonder toezicht door de verdachte te laten invullen. Een bijkomend voordeel van het meegeven van vragenlijsten is dat dit in bepaalde gevallen nuttige informatie kan opleveren over het zelforganiserend vermogen van een onderzochte. Bovendien worden testresultaten altijd afgezet tegen gegevens die verkregen worden uit andere bronnen.
Conclusie
Het forensisch psychologisch onderzoek is met veel bijkomende problemen omgeven in vergelijking met psychologisch onderzoek in de ggz. Juist omdat het ook tot verstrekkende gevolgen voor de onderzochte kan leiden, is het van groot belang dat deze onderzoeken gedegen en betrouwbaar uitgevoerd worden. Een wetenschappelijk onderzoek van Schimmel en Van Koppen (2017) naar een onderdeel daarvan, het testpsychologisch onderzoek, is waardevol. Het laat zien dat psychologen in rapporten goed moeten beargumenteren waarom zij bepaalde keuzes maken. Toch zijn er ook enkele kanttekeningen bij de conclusies van dit wetenschappelijk onderzoek te plaatsen.
Allereerst is testonderzoek niet hetzelfde als psychologisch (of pro Justitia) onderzoek. In het laatste geval worden de resultaten van verschillende bronnen, waaronder testonderzoek, beschouwd in onderlinge samenhang om tot een advies te komen. De suggestie van Schimmel en Van Koppen dat resultaten van tests die van onvoldoende kwaliteit zouden zijn direct invloed hebben op de kwaliteit van de conclusie, is te kort door de bocht.
Daarnaast is ook de conclusie dat het testonderzoek in rapporten door forensisch psychologen te wensen overlaat voorbarig. De suggestie dat testen alleen van waarde zijn als zij in de COTAN als voldoende worden beoordeeld is naar onze mening onjuist. De specifieke context van de pro Justitia setting, waarin manipulatie van verdachten een rol speelt, maakt dat veel testen die door de COTAN als voldoende worden beoordeeld niet bruikbaar zijn. Nederlands onderzoek in forensische populaties is meestal niet voorhanden en is geen criterium waarop de COTAN toetst. Tests die wel bruikbaar lijken in forensische context voldoen vaak niet aan de COTAN door verouderde normgroepen en/of het ontbreken van recent Nederlands onderzoek. Dit zijn redenen om de richtlijn niet alleen te baseren op de beoordeling in de COTAN maar ook op recentere internationale wetenschappelijke inzichten en klinische best practice. Schimmel en Van Koppen merken echter terecht op dat in deze gevallen door rapporterend psychologen wel moet worden aangegeven waarom het gebruik van specifieke instrumenten wordt aanbevolen of gebruikt en resultaten toch valide kunnen zijn. Een laatste punt is dat het meegeven van tests in bepaalde situaties volgens de nieuwe richtlijn wel mogelijk is.
Literatuur
- Algemene standaard testgebruik. (2010). Amsterdam: Nederlands Instituut van Psychologen (NIP).
- Gedragscode NRGD. (2015). Utrecht: Nederlands Register Gerechtelijke Deskundigen (NRGD).
- Hoogerwerf, R., Kordelaar, W. van, Pauw, J., Verheugt, T. & Woudenberg, I. van (2009). Best practice ambulant: Forensisch onderzoek en rapportage in het strafrecht voor volwassenen. Utrecht: Nederlands Instituut voor Forensische Psychiatrie en Psychologie.
- Koppen, P.J. van (2004). Paradoxen van deskundigen: Over de rol van experts in strafzaken. Deventer: Kluwer (oratie Maastricht).
- Koppen, P.J. van (2017). Het deskundigenbewijs van de rechtspsycholoog. In P. J. Van Koppen, J. W. De Keijser, R. Horselenberg & M. Jelicic (Eds.), Routes van het recht: Over de rechtspsychologie (pp. 439-459). Den Haag: Boom Juridisch.
- Schimmel, L.M.C. & Koppen, P.J. van (2017). Verdachten testen: Testgebruik in de forensische psychologie. De Psycholoog, 52, 34-42.
Reactie
Beter geen test dan een verdachte deskundige
Eerder constateerden wij dat forensisch psychologen in Nederland nogal eens – namelijk in 53% van de gevallen – gebruik maken van psychologische tests die niet door de COTAN zijn goedgekeurd (Schimmel & Van Koppen, 2017). Dat is zorgelijk en daarom is het goed dat het aandacht krijgt bij het NIFP, zoals blijkt uit de bijdrage van Van Woudenberg en collega’s. Gelukkig zien zij ook dat er een probleem is. Hun reactie roept niettemin op een drietal punten een repliek op.
Allereerst komen de auteurs met het beetje flauwe argument dat ons onderzoek deels verouderd is, omdat wij het testgebruik toetsen aan de best practice van 2009 (Hoogerwerf et al., 2009). Wij hadden daarvoor een reden, namelijk dat die best practice gold toen de onderzochte forensisch psychologische rapporten werden geschreven. Een nieuwere best practice was er ook niet. Sterker: die wordt vervangen door een richtlijn die pas is vastgesteld op 7 december 2017 en nu nog niet publiek beschikbaar is (wij moesten er speciaal om vragen). Ons onderzoek is voorlopig dus nog bijzonder actueel.
Faking bad
Substantiëler en ook principiëler is ons tweede punt: forensisch psychologen geven tests mee aan de onderzochte om zonder toezicht te maken, in de vertrouwde omgeving van de cel of thuis. Wij constateerden in ons onderzoek dat er meestal geen melding wordt gedaan door wie de tests zijn afgenomen, waar dat gebeurde en of tests zijn meegegeven. De tekst van de rapporten deed in zo’n 15% van de gevallen blijken of vermoeden dat de tests zijn meegegeven.
In de standaard van het NIP staat: ‘Er is voortdurend toezicht en/of begeleiding bij de afname van de psychodiagnostische instrumenten. Een uitzondering op deze vereiste geldt voor vragenlijsten, voor zover zelfstandige invulling de kwaliteit van de gegevens en van de beroepsrelatie niet aantast’ (Algemene standaard testgebruik, 2010, onder 3.2.f). De regel dat er voortdurend toezicht moet zijn bij afname van tests kent, zo geformuleerd, volgens het NIP een uitzondering: als het de kwaliteit van de verzamelde gegevens niet aantast. Ons komt het voor dat bij iemand die bijvoorbeeld een beroepskeuzetest doet het meegeven geen probleem is, want ook hij is geïnteresseerd in een zo correct mogelijk beeld van zichzelf. Maar de forensische populatie heeft juist, men zou haast zeggen per definitie, een groot belang bij onjuiste uitkomsten van de tests. Bij hen geldt in vrijwel alle gevallen faking good of juist faking bad, afhankelijk van de proceshouding. Dan is het voor de verdachte een zegen om met behulp van internet en anderen precies de gewenste beantwoording te kunnen geven op testvragen. Van Woudenberg en collega’s en daarmee het NIFP lijken daar niet moeilijk over te doen. Zij merken op ‘dat de kwaliteit van de uitkomsten voorop moet staan en dat de rapporteur dus een zorgvuldige afweging dient te maken of het mogelijk is om de tests zonder toezicht door de verdachte te laten invullen.’
Dat argument is loos omdat niet wordt uitgelegd hoe men de kwaliteit bij een meegegeven test kan bewaken. Dat kan ook helemaal niet. De reden waarom het NIFP er toch aan wil vasthouden, wordt wel duidelijk. Dat zijn ‘praktische redenen’ en het ‘beperkte aantal contactmomenten’ tussen psycholoog en verdachte. Daaraan wordt de kwaliteit opgeofferd. Het meegegeven van tests is in strijd met artikel II, lid 5 van de Gedragscode NRGD (Gedragscode NRGD, 2015). De rechter zou alleen een rapport van een forensisch psycholoog moeten aanvaarden als de omstandigheden van de testafname glashelder zijn en niet, zoals nu vaak het geval is, een beetje in het duister worden gehouden. Bij het meegeven van tests moet de rechter van de psycholoog een bijbehorende sluitende argumentatie eisen.
Misleidend
Ons derde punt heeft met hetzelfde artikel II,5 van de Gedragscode te maken. Daarin staat onder andere: ‘U maakt voor de uitvoering van de opdracht uitsluitend gebruik van geschikte methoden, apparatuur en materialen.’
De simpele vraag is of het testgebruik door Nederlandse forensisch psychologen voldoet aan die kwaliteitseis. Wij zijn het eens met Van Woudenberg en collega’s (2018) dat de COTAN-beoordeling van een test niet alles-zaligmakend is bij toepassing op de bijzondere forensische populatie. Ook door de COTAN goedgekeurde tests zijn niet altijd goed toepasbaar in het forensische veld of behoeven daar separate normscores. En tests die we graag in het forensische veld gebruiken, voldoen niet altijd aan COTAN-eisen. Nederland is nu eenmaal te klein om al die tests te onderzoeken en te normeren. Dus … Na dat woord zou je verwachten, indachtig artikel II.5, dat dan wordt afgezien van niet-deugende tests, van tests die niet deugen in de bijzondere forensische context en van tests met onbekende kwaliteiten. Die tests mogen van het NIFP echter gewoon worden gebruikt met het argument dat ze worden gebruikt tegen de achtergrond van andere informatie.
Dat laatste lijkt ons een open deur want standaard in elke klinische praktijk. Maar in die open deur is verborgen dat men gebruik maakt van materiaal dat niet goed, niet goed genoeg of slechts goed genoeg voor iets anders is. Dat wordt niet opgelost door dergelijke testresultaten in hetzelfde mandje met andere informatie te gooien. Het is gewoon in strijd met artikel II,5. En het kan onder omstandigheden nogal misleidend zijn. Omdat de beoordeling door de COTAN niet alles-zaligmakend is, zijn wij blij dat het NIFP zich voorneemt om onder de loep te nemen wanneer het gebruik van bepaalde tests wel valide kan zijn. Het is ook mooi dat de nieuwe best practice – nu richtlijn geheten – volgens Van Woudenberg en collega’s daarin deels voorziet. Er spreekt echter ook uit dat de richtlijnen tot op heden ontoereikend zijn.
Van elke gebruikte test moet duidelijk zijn dat deze valide is en toereikend voor het gebruik dat ervan wordt gemaakt. Van Woudenberg en collega’s willen, ook in de nieuwe richtlijnen, met die eis nogal soepel omgaan, veel te soepel naar de smaak van de Gedragscode. Aan hun redenering lijkt een wat bijzondere opvatting ten grondslag te liggen over de verhouding tussen rechter en getuigendeskundige en over de rol van de deskundige. Dat is de aanname dat de deskundige altijd de vraag van de rechter moet beantwoorden. Dat is een misvatting. De rechter schakelt de deskundige in omdat hij op grond van zijn deskundigheid iets kan bijdragen. Kan hij dat niet, dan moet hij de rechter ‘nee’ verkopen (Van Koppen, 2004, 2017). Dat geldt bijvoorbeeld als psychologen niet beschikken over geschikte en valide tests. Dat is vele malen beter en gewenster dan het leveren van resultaten die onbepaald zijn en wellicht misleidend. Het lijkt erop dat de neiging om altijd een antwoord te geven op de vraag van de rechter ten grondslag ligt aan gebruik van niet-deugende tests en tests met psychometrische kwaliteiten die onbepaald zijn. Dat is een beroepsattitude die juist door een instituut als het NIFP moet worden bestreden en in strijd is met de Gedragscode.
Liever geen test dan een deskundige die zich verdachte maakt van schending van de Gedragscode.
Literatuur
- Algemene standaard testgebruik. (2010). Amsterdam: Nederlands Instituut van Psychologen (NIP).
- Gedragscode NRGD. (2015). Utrecht: Nederlands Register Gerechtelijke Deskundigen (NRGD).
- Hoogerwerf, R., Kordelaar, W. van, Pauw, J., Verheugt, T. & Woudenberg, I. van (2009). Best practice ambulant: Forensisch onderzoek en rapportage in het strafrecht voor volwassenen. Utrecht: Nederlands Instituut voor Forensische Psychiatrie en Psychologie.
- Koppen, P.J. van (2004). Paradoxen van deskundigen: Over de rol van experts in strafzaken. Deventer: Kluwer (oratie Maastricht).
- Koppen, P.J. van (2017). Het deskundigenbewijs van de rechtspsycholoog. In P. J. Van Koppen, J. W. De Keijser, R. Horselenberg & M. Jelicic (Eds.), Routes van het recht: Over de rechtspsychologie (pp. 439-459). Den Haag: Boom Juridisch.
- Schimmel, L.M.C. & Koppen, P.J. van (2017). Verdachten testen: Testgebruik in de forensische psychologie. De Psycholoog, 52, 34-42.
