Rapporteren van Subtestscores in de Klinische Praktijk

Achterliggende theorie en klinische relevantie naast statistiek statistiek

Wat is de relevantie van uitkomstmaten van tests en hebben subtestscores toegevoegde waarde boven totaalscores? Het is de vraag of dit onderwerp louter vanuit statistisch perspectief bekeken moet worden. Bij het construeren van een test is namelijk de wetenschappelijke theorie uitgangspunt achter het te meten construct. Dit construct wordt via de theorie geoperationaliseerd, waarbij het meestal opgedeeld wordt in meerdere domeinen (subtests of subschalen) van vaardigheden of gedragingen die ook gebaseerd moeten zijn op de theorie. Per domein worden vervolgens items ontwikkeld om aan respondenten reacties uit te lokken die een indicatie geven van de te meten eigenschap.

Tijdens het onderzoek moet vooral gekeken of de items per domein hetzelfde deelconstruct meten (betrouwbaarheid) en de domeinen het gewenste construct (validiteit). Statistiek dient als verantwoording voor hoe het concept wordt gemeten, maar is niet bepalend voor de te onderscheiden domeinen. Zoals bijvoorbeeld in de BDI-II-nl-handleiding (Beck, Steer & Brown, 1996) aangegeven ‘levert de analyse een op theoretische gronden zeer plausibele drie-factorstructuur op’. Een zeer hoge samenhang tussen domeinen, het niet kunnen onderscheiden van domeinen in factoranalyse of het niet vertonen van unieke variantie betekent echter niet dat een bepaald domein weggelaten kan worden, of dat het niet zinvol is over meerdere domeinen apart te rapporteren. Het kan immers best zijn dat de domeinen in bepaalde populaties zeer hoog correleren en geen unieke variantie vertonen, maar in andere populaties lager correleren en wel unieke variantie vertonen. Zo is het zeer waarschijnlijk dat er in gezonde populaties een zeer hoge samenhang is, maar in klinische populaties niet. Het belang van de onderscheiden domeinen komt voort uit de theorie en mag nooit alleen op statistiek berusten.

Een belangrijke vraag is daarnaast of het klinisch relevant is om meerdere domeinen te rapporteren, aangezien de totaalscore altijd de meest betrouwbare en valide score van de test is. Die vraag moet de testgebruiker beantwoorden, die kan het best bepalen welke informatie nodig is om een hypothese of behandelvraag te beantwoorden. Voor dat doel zijn soms specifieke uitkomstmaten nodig. Zoals in de BDI-II-nl-hand leiding wordt opgemerkt: ‘De dimensies zijn hoog onderling gecorreleerd, hetgeen gebruik van de totaalscores als algemene index voor depressieve symptomen rechtvaardigt. In sommige omstandigheden of populaties kan het gebruik van de drie subschalen echter zinvolle extra informatie opleveren, bijvoorbeeld bij onderzoek met patiënten in een algemeen ziekenhuis of bij onderzoek naar de effecten van psychotherapie versus farmacotherapie’ (Beck et al., 1996).

Wij merken dat gebruikers zoveel mogelijk informatie uit een test willen halen en zoveel mogelijk vergelijkingen willen maken, teneinde uitspraken te doen die lang niet altijd door hypotheses of behandelvragen zijn ingegeven. Deze trend komt voort uit het verkorten van de tijd voor diagnostiek. Daarnaast wordt de wens naar gedetailleerde informatie voor bijvoorbeeld behandeling of ROM (Routine Outcome Monitoring) alsmaar groter. Daarom worden er in de praktijk soms slechts enkele subtests afgenomen om uitspraken over cliënten op te baseren en hypothesen mee te staven. Dit is ongewenst, hier zijn subtetsts niet voor bedoeld.

Testgebruikers moeten zich ervan bewust zijn waarom ze subtestscores beschouwen en welke hypotheses ze daarmee toetsen, en of deze hypotheses niet betrouwbaarder beantwoord kunnen worden met alleen de totaalscore. Ook bewustzijn ten aanzien van meetfouten moet vergroot worden; hoe meer scores er gerapporteerd worden en hoe meer vergelijkingen er worden gedaan, des te groter de kans op toevalligheden en onbetrouwbaarheden. (Bij) scholing en verdieping op het gebied van testtheorie is ook voor ervaren testgebruikers een pre. Gebruik en interpretatie van een test (ook van subtestscores) blijft de verantwoordelijkheid van de gebruiker. Een betrouwbare en valide test ontwikkelen, mogelijkheden van interpretatie weergeven, maar ook zeker het wijzen op beperkingen blijft de verantwoordelijkheid van de testauteur.

Joëlle Dek, MSc, is Senior Product Developer Educational Psychology, Research & Development bij Pearson Assessment and Information BV. E-mail: Joelle.dek@pearson.com.

• Beck, A.T., Steer, R.A. & Brown, G.K. (1996). BDI-II-NL Handleiding. Amsterdam: Pearson Assessment and Information B.V. (Nederlandse vertaling en bewerking: A.J.W. van der Does.)

Geen zorgen

Als klinisch psycholoog ben ik werkzaam bij PsyQ. We streven er binnen PsyQ naar Routine Outcome Measurement (ROM) te integreren in de behandeling en centraal te stellen bij het maken van behandelbeleid en doorontwikkeling van de zorg. Wij gebruiken ROM-data als sturingsinformatie voor directie, specialismeleiders en leidinggevenden om de kwaliteit van zorg te verbeteren. De behandelaren gebruiken deze gegevens in hun behandelingen. Voor het bepalen van de ernst van de klachten, het bijstellen van het behandelbeleid en het op tijd stoppen van behandelingen is ROM een nuttig hulpmiddel gebleken.

In de benchmark-rapportagemodule van de Stichting Benchmark ggz (SBG) worden van de ROM ook behandeleffecten getoond. Er wordt daarbij vooralsnog gebruik gemaakt van generieke vragenlijsten. Vanuit de ggz is de wens geuit daaraan ook de ROM van specifieke vragenlijsten toe te voegen. Om de scores op de verschillende meetinstrumenten te vergelijken zet SBG de score op een meetinstrument om naar een standaardscore: een genormaliseerde T-score. Het behandeleffect (per DBC-traject of zorgtraject) wordt vervolgens gedefinieerd als het verschil tussen de T-score bij voormeting en nameting (Delta T=Δ2). Tijdens onze intakeprocedure worden de MINI Plus (de Nederlandse versie van een internationaal gebruikt neuropsychiatrisch interview) en de Standard Assessment of Personality – Abbreviated Scale (sapas) afgenomen. Daarnaast vullen patiënten, veelal thuis, een generieke en specifieke vragenlijst in. Met name de antwoorden van een patiënt op onze generieke vragenlijst, de Korte Klachten Lijst (KKL), gebruik ik in het vervolggesprek waarin de DSM-classificatie en de behandeling besproken worden.

Zo kan het zijn dat ik bij een patiënt met hypochondrie bespreek dat zij aangeeft angstklachten te hebben op de KKL, met daarnaast lichamelijke klachten, een verslaving (roken), wat somber en prikkelbaar is en aangeeft lichte concentratieproblemen te hebben. In het gesprek bespreek ik dan een hypothese over de rol die de klachten op elkaar kunnen hebben en aangrijpingspunten voor de behandeling. Daarbij realiseer ik mij dat haar KKL-score ‘depressiviteit’ geen klinische depressie weergeeft, aangezien zij op de MINI Plus heeft aangegeven wel te kunnen genieten en geen last te hebben van interesseverlies.
In het licht van mijn werkzaamheden in de patiëntenzorg herken ik mij dan ook weinig in de bezwaren die Meijer en collega’s uiten om voorzichtig te zijn met subtestscores.

Dr. Saskia van Es is klinisch psycholoog en specialismeleider Somatiek & psyche bij PsyQ Amsterdam. E-mail: saskia.vanes@psyq.nl.