Rens van de Schoot is methodoloog en daarom komen veel onderzoekers bij hem langs met een lastige statistiekvragen. Zo ook Nancy van Loey, onderzoeker van de Vereniging Samenwerkende Brandwondencentra Nederland (VSBN) in Beverwijk. Zij doet onderzoek naar de psychosociale problemen van kinderen en hun ouders na het oplopen van brandwonden, vanaf het moment van binnenkomst in het brandwondencentrum tot twee jaar erna. Lijden deze kinderen aan een posttraumatische stressstoornis (PTSS)? Hoe ontwikkelen ze zich vervolgens? Hoe vergaat het hun ouders? Belangrijke vragen, maar Van Loey had een relatief kleine groep kinderen, want – gelukkig – zijn er niet heel veel kinderen die ernstige brandwonden oplopen. In vergelijkbare gevallen, als de dataset te klein is om de onderzoeksvraag te kunnen beantwoorden, wordt het onderzoek soms gestopt of wordt de onderzoeksvraag versimpeld. Van de Schoot vond beide onwenselijk. Dus vroeg hij zich af: is daar niets te op te vinden? Hier moest iets nieuws worden bedacht, want met de statistiek die al op de plank lag, zou het niet gaan.
In dit geval zijn er in de brandwondencentra nog andere bronnen met informatie. Er zijn experts die veel weten over zulke kinderen, zoals de nazorgverpleegkundigen en de psychologen die met de kinderen en hun ouders praten. Zou het niet mogelijk zijn die informatie mee te nemen? Van de Schoot: ‘Toen deze puzzelstukjes in elkaar schoven, kreeg ik het idee dat dit een leuk project zou zijn voor een Vidi. Het gaat om zogeheten expert-felicitatie, een methode die veel in de bètahoek wordt gebruikt. Maar bij bèta-onderzoek gaat het om harde gegevens, bij sociale wetenschappen zijn de data veel zachter. Want wat is PTSS precies? En hoezo wordt de score 40 gegeven? Is het geen 39,5 of 42? Het gaat om inschattingen, daarom wilden we ook de onzekerheid van de uitspraken in kaart brengen.’
Voor het brandwondenonderzoek bedacht hij methodes om informatie aan de experts te ‘ontlokken’. Brandwondenverpleegkundigen en psychologen werden geïnterviewd en vervolgens is er een app ontwikkeld om de informatie mee te verzamelen. Van de Schoot: ‘We vragen de verpleegkundigen na te gaan wat voor kinderen ze in het verleden hebben gehad en hoe die zich door de tijd heen hebben ontwikkeld. We vragen onder meer naar PTSS, bijvoorbeeld: “Denk terug aan de kinderen die je hebt behandeld. Wat verwacht je net na het oplopen van de brandwonden? En hoe zit dat een jaar later? Hoeveel kinderen zitten er op hetzelfde niveau, hoeveel zijn gedaald, hoeveel gestegen? En hoe zeker of on zeker ben je daarover?”’
Die informatie konden we combineren met de andere data, vervolgt Van de Schoot. ‘Dat gebeurt niet één-op-één, er zit een statistisch model tussen, maar daarna hadden we meer informatie dan alleen de geobserveerde data. Dan is toepassing van Bayesiaanse statistiek zeer relevant. Bij klassieke statistiek kijk je naar de data, maar bij Bayesiaanse statistiek kijk je juist ook naar voorkennis, en die combineer je met de data uit je onderzoek. Die voorkennis kan bijvoorbeeld gaan om gegevens uit een wetenschappelijk artikel. Maar in mijn Vidi maak ik gebruik van expertkennis. Dat is het vernieuwende ervan. Door gebruik te maken van slimme apps is de informatie van de experts te verzamelen en via een statische bewerking rechtstreeks met de dataset te combineren.’
Bij klassieke statistiek kijk je naar de data, maar bij Bayesiaanse statistiek kijk je juist ook naar voorkennis
Centrale eindtoets
Een ander voorbeeld dat Van de Schoot en zijn team uitwerkten, gaat om de centrale eindtoets binnen het basisonderwijs. Elk kind uit groep acht doet een centrale eindtoets, wat feitelijk één meetpunt per kind is. Ook daar zijn experts die over informatie beschikken: de docenten. De uitspraak van een docent over een kind kun je ook zien als datapunt, zegt Van de Schoot ‘We zijn bezig om apps te ontwikkelen die docenten kunnen gebruiken om hun uitspraken over de verwachtingen van plaatsing op de middelbare school beter te maken. Daartoe vragen we groep-achtdocenten, bijvoorbeeld een week voor de afname van de centrale eindtoets, hoe ze denken dat hun leerlingen scoren. Daarnaast vragen we hoe zeker ze daarvan zijn. Een docent kan zeggen: “Dat kind scoort zeker bij de hoogste vijf procent.” Of: “Het hangt ervan af, als het goed gaat, kan hij bij de hoogste tien procent eindigen, maar hij kan ook zomaar onderaan terechtkomen.” Hierover hebben we afgelopen voorjaar een artikel gepubliceerd in De Psycholoog.1 Dat artikel heeft nogal wat stof doen opwaaien. Er is naar aanleiding van dat artikel veel gebeurd, en inmiddels gaan we echt kijken of we dit in de praktijk kunnen brengen in samenwerking met Cito. Want de combinatie van de toetsscores en de voorspelling van de docent over een leerling vooraf, zou in een genuanceerder advies resulteren.’
Het was trouwens nog even spannend, zegt Van de Schoot. ‘Want de minister wilde het aanvankelijk omdraaien: eerst de toets, dan de uitspraak van de docent. Maar dan zeg je tegen de docent: deze leerling krijgt havoadvies, wat denk jij? Dat klopt niet, dan kan de docent zich door deze uitslag laten beïnvloeden. Hij moet juist de uitspraak doen op basis van zijn ervaring, de informatie in het leerlingvolgsysteem, en op basis van wat andere begeleiders zeggen. En vervolgens moet de docent kunnen aangeven hoe zeker hij van die uitspraak is. Dan voegt het iets toe aan die toetsuitslag.’
De onzekerheid in kaart brengen, dat is eigenlijk de kern van de methode. Van de Schoot: ‘Het resultaat van mijn Vidi-onderzoek is concreet en ook theoretisch.’
Op 21 januari spreek Van de Schoot zijn oratie Machines vervangen wetenschappers uit.
Beeld: David van Dam
