Persoonlijkheidsbeoordeling in de praktijk

Appendix

De vraag of zelfoordelen meer dan wel minder overeenstemmen met die van anderen dan hun oordelen onderling, is op het eerste gezicht eenvoudig te beantwoorden: bereken correlaties tussen beoordelaars over beoordeelden. Maar in de eerste plaats is die aanpak statistisch gezien wat onzuiver. De anderen zijn voor iedere beoordeelde verschillend. Nu kan men dit bezwaar eventueel nog afdoen als een fijnzinnigheid, maar in de tweede plaats is de correlatie hier geen goede maat voor overeenstemming. Zelf en anderen hanteren systematisch verschillende gemiddelden en standaarddeviaties in hun beoordelingen. Zelfoordelen plegen wat minder uitgesproken te zijn, wat leidt tot lagere standaarddeviaties en, aangezien de beoordelingen overwegend in sociaal wenselijke richting zijn, tot lagere scores in dat opzicht. Bijgevolg zou de correlatie tussen zelf en ander perfect kunnen zijn, terwijl de (absolute) overeenstemming dat niet is.

We hanteerden daarom maten voor absolute overeenstemming per beoordeelde. Een maat is de gemiddelde absolute afstand van een beoordelaar tot de andere. Als bijvoorbeeld de vijf beoordelaars, met zelf voorop, op een vijfpuntschaal als volgt oordelen:
3 2 3 4 5
dan zijn hun gemiddelde afstanden tot de overige vier:
1 1.75 1 1.25 2

De vier anderen hebben gemiddeld een afstand van 1.5, zodat zelf hier .5 beter scoort dan de anderen. Een vereenvoudigde maat is: verdeel 1 punt tussen de beoordelaars die op de mediaan scoren. In het bovenstaande voorbeeld:
-5 0 -5 0 0

De berekeningen werden uitgevoerd op itemniveau, dus 100 maal voor elk van de 182 beoordeelden; de resultaten werden gemiddeld over de 18200 uitkomsten (die uiteraard niet statistisch onafhankelijk zijn).

De einduitkomst voor de afstanden-analyse was .0184 (op een vijfpuntschaal dus) in het voordeel van zelf. Een analyse met 500 bootstrapsamples resulteert in een 95% bootstrappercentieleninterval (een redelijke benadering voor een 95% betrouwbaarheidsinterval) tussen .007 en .032

De medianen-analyse geeft eveneens een zeer nipte overwinning voor zelf te zien: het gemiddeld aantal punten is .2065 (bij een verwachting van .2000), met een 95% bootstrappercentieleninterval tussen .201 en .212.