Weer later onderhielden we een onregelmatige email correspondentie, waarin de afstand steeds kleiner werd (“Ik ben gewoon je oudere broer”, zo zei hij eens). En nu is hij er niet meer (in levenden lijve althans). Bij zijn afscheid in 2000 is er een liber amicorum samengesteld. Uit dit boek een hoofdstukje van mijn hand. Het gaat over beoordelen, maar met een knipoog. Een beoordeling door een voormalig student c.q. promovendus van een groot leermeester…
W.K.B. (Hofstee) is een van de beste leermeesters die ik ooit gehad heb. Ik heb er nog altijd spijt van dat ik niet bij Persoonlijkheidsleer ben afgestudeerd. WKB staat echter ook voor Weten, Kennen en Beoordelen. Zijn recentste boek Principia (beter bekend als Principes van beoordeling) is daarvan een zuivere illustratie: schrijf over een onderwerp waar je een boel van Weet, waarbij je Kennis kan toevoegen en doe het over een belangrijk onderwerp (Beoordelen). Wat ik van dit boek geleerd heb is: hoe meer beoordelaars, hoe beter het resultaat. Maar er is wel een asymptotische nutsfunctie: het toevoegen van meer en meer beoordelaars levert steeds minder meerwaarde op. Onderstaand een voorbeeld waarbij WKB zelf het onderwerp van beoordeling is.
Ik schat dat dit de enige keer is dat ik als B1 over WKB (als P) in opdracht van de afscheidscommissie A mag oordelen. Toen het verzoek door A gedaan werd, was mijn eerste gevoel er een van euforie. Welke promovendus wordt ooit in de gelegenheid gesteld iets op papier (!) over zijn promotor/goeroe/opvoeder te zetten? Mijn tweede gevoel was twijfel. A had mij weliswaar bevoegd verklaard iets over P te zeggen, maar hoe moest ik dit nu doen? Een verzoek aan A een topassessment door een even topbureau over P te laten uitvoeren werd met het oog op de kosten (4000 Euro) afgewezen. Hoe moest ik nu aan mijn gewapend oordeel over P komen? Ik besloot P een self assessment te laten uitvoeren met behulp van de OPQ2. Meteen stuitte ik op problemen, niet direct van de kant van P, maar wel indirect door hem veroorzaakt via Principia. Op pagina 87 las ik:
“Persoonlijkheidsvragenlijsten, ingevuld door de persoon zelf, worden toegepast in beoordelingscontexten (selectie, toelating). Zelfbeoordelingen bestaan niet echt.”
De oplossing lag voor de hand. Niet alleen P, maar ook A en B vulden de vragenlijst in. Daarnaast vroeg ik een ex-student van P ook mee te doen. Deze persoon vervulde daarmee de rol van E (Expert). In onderstaande tabel een rapportage van deze vorm van multi-rater-assessment (de Koninklijke Weg, volgens WKB). De getallen in de tabel staan voor stens (gemiddelde 5,5), gebaseerd op een Nederlandse steekproef van professionals & managers van zo’n 4000 personen. De betrouwbaarheid van de schalen is niet lager dan 0.65 (Cronbach’s alpha). De rechterkolom is de gemiddelde score van de beoordelaars A, B en E. De gemiddelde interrater-reliability uitgedrukt als correlatie is 0.61.
Tabel 1. The WKB Personality Structure
Figuur 1. De WKB persoonlijkheid volgens hemzelf en anderen
De correlatiematrix tussen de vier beoordelaars wordt in Tabel 2 weergegeven.
Tabel 2. Interrater correlaties
De overeenstemming tussen de vier beoordelaars is verbluffend hoog. WKB zelf noemt een correlatie tussen twee beoordelaars van 0.25 gangbaar. Hier zijn de correlaties stukken hoger. De zelfbeoordelingen van P wijken wel op een aantal plaatsen wat af van die van de overige beoordelaars (zie Tabel 1). In de matrix in Tabel 2 is ook een (fysieke) afstandstendens te ontwaren: hoe dichter de beoordelaar bij P staat (volgorde A, B, E), hoe sterker deze met P overeenstemt (zie kolom 1 in Tabel 2). Dit lijkt een kwestie van representativiteit van de gedragssamples. A verkeert wellicht in een betere positie om het gedrag van P waar te nemen.
Alle beoordelaars samen zien WKB als iemand met de volgende gedragsvoorkeuren: Abstract, Rationeel, Onaangedaan, Onafhankelijk, Vindingrijk en Kritisch. Lagere scores zijn er op Hechting aan anderen, Democratisch gehalte, Praktische inslag (hoezo “theorie”) en fysieke Energie. Het profiel van een studeerkamergeleerde. Prachtig toch?
In een selectie-context vraag je je dan af: zou je een dergelijke kandidaat aanstellen als hoogleraar? Uiteraard zou het antwoord bevestigend moeten zijn. Een echte hoogleraar moet niet alleen in intellectueel opzicht de beste van de klas zijn, maar moet bovendien bovenstaande gedragsvoorkeuren vertonen.
Vraag is echter hoe het met het huidige professor profiel gesteld is. Zou je dan niet eerder iemand aanstellen die gericht is op Overtuigen, Mensen, Competitie en Ambitie? Iemand die geld kan binnen halen, iemand die een onderzoeksschool wenst te vestigen en ten koste van alles in het buitenland bekend wil staan als ‘outstanding’. De kwestie hierachter is hoe je Academia ziet. Anno 2000 lijkt Academia een organisatie die op output gestuurd wordt: hoe meer doctorandi, promovendi en artikelen er geproduceerd worden, hoe beter het is. Dit ongeacht de kwaliteit van het geleverde product: als het maar veel is!
Wat betekent dit alles voor persoon P als kandidaat voor de Positie van Professor Persoonlijkheidsleer aan de Rijks Universiteit Groningen?
Sorry WKB, op grond van gedegen (multi-rater) assessment, zou je anno nu zijn afgewezen voor de post van hoogleraar!
Bron
Schoonman, W. (2000). Opgenomen in het Liber Amicorum bij het emeritaat van prof. dr. W.K.B. Hofstee. Samenstelling prof. dr. Douwe Draaisma (2000).
Foto: Herman Wouters
