Het onbehagen van de COTAN

In De Psycholoog 2025-1 stond een artikel van Willem Koops et al over de toekomst van de de Commissie Testaangelegenheden Nederland (COTAN). Daar staat veel behartenswaar­digs in, maar de analyse van de stappen die gemaakt moeten worden is onvolle­dig. En als problemen onvoldoende in kaart zijn gebracht, kan dat een duurza­me oplossing in de weg zitten.

In een notitie van Evers & Hofstee (2004)¹ heeft de COTAN uiteengezet wat haar beoordelingsbeleid is. Een van de uit­gangspunten van de COTAN, in elk geval destijds, is de rechtszekerheid van produ­centen van tests. Testconstructie is een traject van jaren en is kostbaar. Een test­constructeur begint een dergelijk traject in de verwachting dat er desgewenst een COTAN-oordeel volgt.

Ferme bewering

Door niet nader gespecificeerde ‘uitdagin­gen’ voert de COTAN deze taak ‘tijdelijk’ niet meer uit. Dat zorgt voor problemen. Sommige tests moeten van een COTAN-be­oordeling zijn voorzien om toegelaten te worden voor gebruik, bijvoorbeeld een indicatiestelling voor speciaal onderwijs. Testaanbieders kunnen dergelijke tests nu niet effectief op de markt brengen.

Een door Koops c.s. geclaimd uitgangs­punt van de COTAN is onafhankelijkheid: ‘Van inspraak over de inhoud van de be­oordeling of de opstelling van de richtlij­nen kan daarom geen sprake zijn, in het bijzonder niet van belanghebbenden met commerciële belangen”. Dat is een ferme bewering, maar maakt de COTAN dat ook waar? De samenstelling van de COTAN is volgens het artikel als volgt: één vertegen­woordiger van elke universitaire oplei­ding psychologie, vertegenwoordigers uit de secties en kamers van het NIP en niet nader gespecificeerde experts. Kijken we op de website van de COTAN, dan blijken twee COTAN-leden te werken bij organi­saties met commerciële belangen op het gebied van psychologische tests².

Een opvallend detail hierbij is dat een test van een van deze aanbieders op de lijst staat van toegestane instrumenten voor indicatiestelling leerwegondersteunend onderwijs en praktijkonderwijs van het ministerie van Onderwijs, Cultuur en We­tenschap. Om op deze lijst te komen, moet een test door de COTAN positief be­oordeeld zijn. Hier is dus duidelijk sprake van dubbele petten en mogelijk oneerlij­ke concurrentie. Het zou zo maar kunnen zijn dat de De COTAN en het NIP zich hier­mee op glad ijs hebben begeven.

In het artikel staat verder dat de COTAN overweegt niet alleen maar door auteurs of uitgevers zelf aangereikte instrumen­ten te beoordelen. Was dat dan de werk­wijze? Ik kan mij herinneren dat toen ik bij een test-uitgever werkte en een vra­genlijst had klaargemaakt voor publica­tie, ik een telefoontje kreeg van de staf­medewerker van de COTAN met de vraag of de materialen gestuurd konden wor­den. In dit kader is een citaat van Arne Evers (2004) relevant: ‘Er wordt wel eens gedacht dat de COTAN alleen dié tests be­oordeelt die ter beoordeling worden aan­geboden. Dit is niet juist. De COTAN voert een actief beleid en beoordeelt in princi­pe alle tests die voor opname in de Docu­mentatie van tests en testresearch in aan­merking komen.’³ Kennelijk is men nadien afgestapt van het actief benaderen van aanbieders en zat men geduldig te wachten op wat er vrijwillig wordt opge­stuurd. Een aantal aanbieders is daar ove­rigens mee gestopt: niet meer zo relevant en het proces duurt eindeloos. Het is maar de vraag of deze aanbieders geneigd zijn om dat weer te gaan doen, zelfs op verzoek.

Toegenomen detailkritiek

In het artikel wordt aangestipt dat de toe­lichtingen bij de boordelingen langer en technischer zijn geworden en dat ze niet uitblinken in leesbaarheid. Dat is zo. Laat ik dat concreet maken. Een relatief recen­te toelichting had een omvang van onge­veer 4.500 woorden, en dat voor een handleiding van rond de 12.000 woorden. Er waren zelfs opmerkingen op zinsni­veau. Met andere woorden: men zou kun­nen spreken van een zekere pietluttig­heid. De toelichting bij een vorige editie van deze vragenlijst was minder dan dui­zend woorden. De COTAN is in de loop der tijd duidelijk bureaucratischer geworden.

Op basis van input van de beoordelaars worden beoordelingen en toelichtingen opgesteld door twee eindredacteuren (een junior en een senior). Naar eigen zeggen betreft dat vijftien tot twintig tests per jaar, nog geen twee per maand. De werkdruk lijkt mij niet bijzonder hoog. Nou hebben die eindredacteuren ook nog andere taken, zoals vermeld in het artikel van Koops c.s., maar de beoordelingen lij­ken mij toch de kerntaak van eindredac­teuren. Publicaties, lezingen en internati­onale betrokkenheid zijn taken die kunnen prima worden uitgevoerd door de COTAN-leden.

Beoordelingen hebben kennelijk geen prioriteit, die liggen al anderhalf jaar stil. Wat hebben de eindredacteur(en) in die tijd eigenlijk gedaan?

Het artikel van Koops c.s. is tamelijk on­evenwichtig, Aan het einde staat onder het kopje ‘Toekomst’ bijvoorbeeld dat ‘het combineren van testscores het best kan worden gedaan met vaste gewichten’. Dat kan zo zijn, maar hoe leidt een dergelijke aanbeveling tot een duurzame toekomst van de COTAN?

Dit is illustratief voor de huidige stand van zaken bij de COTAN. Men kondigt een koerswijziging aan met betrekking tot de selectie van te beoordelen tests, terwijl men er kennelijk niet van op de hoogte is dat enkele jaren geleden de markt nog proactief in de gaten werd gehouden, de toelichtingen van de beoordelingen door hun toegenomen detailkritiek minder re­levant zijn geworden en testbeoordelin­gen sowieso geen prioriteit meer hebben.

Koops c.s eindigen niet echt met een con­clusie, afgezien van de nauwelijks onder­bouwde bewering dat de COTAN functio­neert als ‘de belangrijkste verbindende schakel (…) tussen praktiserende psycho­logen en onderzoekers’. Ik zou een lans willen breken voor het belang van testuit­gevers: zij zijn niet louter het doorgeefluik voor wat ontwikkeld wordt, maar nemen vaak ook het initiatief voor ontwikkelings­projecten en financieren die dan ook. Ze werken hierbij intensief samen met on­derzoekers binnen en buiten de universiteiten.

Wat betreft de toekomst van de COTAN is in mijn ogen de belangrijkste passage in het artikel de uitgesproken wens dat er geld van (bijvoorbeeld) een ministerie zou moeten komen. Voor het NIP is deze hele bureaucratische molen kennelijk te kostbaar geworden. Ik zou zeggen: bekijk eerst de werkwijze, open een charmeof­fensief richting auteurs en uitgevers, wees transparanter, efficiënter en be­trouwbaarder. Van het allergrootste be­lang is het stellen van prioriteiten, anders dreigt voor de COTAN overbodigheid. Maar dan wel gefinancierd door een ministerie.

Ik wens de COTAN veel succes en het ministerie veel wijsheid!

Referenties

1. Wim Hofstee en Arne Evers (2004), Testauteurs, -uitgevers, -gebruikers en hun COTAN
2. Op instigatie van de huidige COTAN-voorzitter staan in dit artikel geen namen, behalve van auteurs van het artikel in De Psycholoog 2025-1.
3. Beoordelingssysteem voor de Kwaliteit van Tests,© COTAN, 2004

Beeld: Shutterstock