Het toevoegen van een situatie aan items op persoonlijkheidsvragenlijsten lijkt een betere voorspelling te geven voor prestaties, stelt Djurre Holtrop. Persoonlijkheid op het werk staat al ongeveer honderd jaar in de belangstelling van psychologisch onderzoek (Schneider, 2007). Vooral in de jaren tachtig van de vorige eeuw won onderzoek naar persoonlijkheid aan populariteit. Het bekende Big Five-persoonlijkheidsmodel heeft destijds een stempel gedrukt op veel onderzoek dat hierna volgde. Volgens dit model heeft iedereen – in meer of mindere mate – vijf relatief stabiele persoonlijkheidstrekken: Extraversie, Vriendelijkheid, Consciëntieusheid, Emotionele stabiliteit en Openheid voor ervaringen (bijv. Hofstee, De Raad & Goldberg, 1992)5. Sindsdien was het Big Five-persoonlijkheidsmodel de algemeen geaccepteerde conceptualisatie van persoonlijkheid in de wetenschap en de praktijk. Het afgelopen decennium is evenwel een herzien persoonlijkheidsmodel in opkomst: het Big Five-persoonlijkheidsmodel, ook weleens het zes factor-model van persoonlijkheid genoemd (Lee & Ashton, 2004)9. Dit model gaat ervan uit dat mensen zes stabiele en onafhankelijke persoonlijkheidstrekken bezitten die elk uit vier facetten bestaan (zie kader 1).
Het grootste verschil, ten opzichte van de Big Five, is dat het Big Five-model ook de dimensie Integriteit omvat. Het ontbreken van deze dimensie was een voornaam punt van kritiek op de Big Five (bijv. Schneider, 2007). Deze nieuwe dimensie beschrijft hoe bescheiden, oprecht, eerlijk en niet hebzuchtig iemand is. Verder verschillen de dimensies Verdraagzaamheid en Emotionaliteit iets van hun Big Five-varianten (Vriendelijkheid en Emotionele Stabiliteit). Het gedeelte dat gerelateerd is aan sentimentaliteit en sensitiviteit is van Big Five Vriendelijkheid naar Big Five Emotionaliteit verplaatst en het gedeelte dat gerelateerd is aan boosheid en opvliegendheid is van Big Five Emotionele stabiliteit naar Big Five Vriendelijkheid verplaatst.
De zes kenmerken van het Big Five-model liggen ten grondslag aan gedrag en daaruit voortvloeiende prestaties. Meerdere onderzoeken hebben inmiddels laten zien dat vooral Consciëntieusheid voorspellend is voor werkprestaties (bijv. Schmidt & Hunter, 1997)14 en studieprestaties (bijv. Poropat, 2009) in alle beroepsrichtingen. Dit betekent dat – in het algemeen – consciëntieuze personen beter presteren. De voorspellende waarde van andere persoonlijkheidstrekken voor prestaties lijkt af te hangen van iemands functie. Bijvoorbeeld, Extraversie lijkt gerelateerd aan de prestaties van politieagenten en verkopers. Persoonlijkheid voorspelt ook andere belangrijke organisatie- en studie-uitkomsten. Voor een aantal van deze uitkomsten blijkt Integriteit een belangrijke voorspeller te zijn, zoals contraproductief gedrag (bijv. Lee, Ashton & De Vries, 2005)10 en het helpen van collega’s (bijv. Bourdage et al., 2012)1. Door de rol van Integriteit bij het voorspellen van dergelijke belangrijke studie- en werkuitkomsten onderscheidt het Hexaco-persoonlijkheidsmodel zich juist van het Big Five-model.
Situationele persoonlijkheid
Hoewel persoonlijkheidskenmerken een belangrijke rol spelen bij het voorspellen van gedrag dat uiteindelijk tot prestaties leidt, wordt gedrag niet alleen bepaald door persoonlijkheid. Gedrag wordt juist gevormd door de interactie tussen iemands persoonlijkheid en de situatie waarin iemand zich bevindt (Mischel & Shoda, 1995)12. Denk aan een persoon die op zijn werk de administratie zorgvuldig bijhoudt, maar thuis een enorme sloddervos is. Deze persoon vertoont op het werk dus veel consciëntieus gedrag en thuis juist weinig consciëntieus gedrag.
Om iemands karakter te onderzoeken worden in een persoonlijkheidsvragenlijst vaak algemene stellingen (items) gebruikt zoals ‘Ik stel hoge eisen aan mijzelf’. Kandidaten kunnen bij deze items aangeven in hoeverre die stellingen op hen van toepassing zijn. De interactie tussen persoonlijkheid en situaties kan worden verwerkt in een persoonlijkheidsvragenlijst middels contextualisatie. Dat is een methode waarbij een situatie (ook wel Frame-of-Reference) wordt toegevoegd aan een voorheen situatie-loze (algemene) persoonlijkheidsvragenlijst (bv. Schmit et al., 1995)15.
Contextualisatie van een persoonlijkheidsvragenlijst kan op drie manieren worden uitgevoerd. Het eenvoudigst is om (1) een deelnemer te instrueren aan een bepaalde situatie te denken tijdens het invullen. Dit is de meest zwakke vorm van contextualisatie en biedt geen garantie dat iemand zich aan deze instructies houdt. Het is ook mogelijk om (2) aan alle items in een vragenlijst een tag toe te voegen, zoals ‘op school’ of ‘op het werk’. Dit is de meest gebruikte vorm van contextualisatie voor onderzoek. Ten slotte is het ook mogelijk om (3) een item volledig te contextualiseren. Elk item in een bestaande vragenlijst wordt dan vertaald naar de gewenste context aan de hand van voorbeelden van praktijkexperts – zie kader 2 voor een paar voorbeelden van contextualisatie.
De gedachte achter contextualisatie is dat persoonlijkheid (gedrag) binnen een bepaalde situatie prestaties binnen dezelfde situatie beter voorspelt dan persoonlijkheid in het algemeen. Deze toegenomen voorspellende waarde wordt het contextualisatie-effect of Frame-of-Reference effect genoemd. Bijvoorbeeld, persoonlijkheid op het werk geeft een betere voorspelling van werkprestaties dan algemene persoonlijkheid. Dit komt omdat deelnemers bij algemene persoonlijkheidsmetingen ook gedragingen rapporteren in niet-relevante situaties (Lievens et al., 2008)11 zoals thuis, op school of met vrienden. Lievens en collega’s vonden overigens ook dat de voorspellende waarde van een gecontextualiseerde vragenlijst – vanwege dezelfde redenen – afneemt voor prestaties of gedrag buiten de toegevoegde situatie.
Onderzoek
Dat gecontextualiseerde vragenlijsten een hogere voorspellende waarde hebben, is bevestigd door een meta-analytische studie (Shaffer & Postlethwaite, 2012)16 die de resultaten van zestien studies samenvatte. Het was op dit punt alleen nog niet duidelijk welke methode van contextualisatie de voorkeur verdient – reden voor mij en collega’s om dat nader te onderzoeken.
Aan de hand van drie verschillende studies hebben we onderzocht of het beter is om met behulp van een tag of volledig te contextualiseren (Holtrop, 2016)6. Het uiteindelijke doel was te bepalen welke vorm van contextualisatie (1) de grootste voorspellende waarde voor prestatie en contraproductief studiegedrag en (2) de meest positieve deelnemersreacties oplevert. Bij aanvang van deze studies verwachtten we dat de getagde persoonlijkheidsvragenlijst positievere resultaten zou opleveren dan de algemene persoonlijkheidsvragenlijst in termen van voorspellende waarde en deelnemersreacties. Daarnaast verwachtten we dat de volledig gecontextualiseerde vragenlijst nog positievere resultaten zou opleveren.
In het eerste onderzoek hebben 531 hogeschoolstudenten een algemene, getagde en volledig gecontextualiseerde persoonlijkheidsvragenlijst ingevuld. Er zijn twee verschillende algemene persoonlijkheidsvragenlijsten als basis gebruikt voor de gecontextualiseerde vragenlijsten: de Multicultural Personality Test (MPT-BS; NOA, 2009)13 en de Big Five-Personality Inventory Revised (De Vries, Ashton & Lee, 2009)3. Door de principes van contextualisatie met twee verschillende persoonlijkheidsvragenlijsten te testen, zijn de bevindingen makkelijker te generaliseren naar andere persoonlijkheidsvragenlijsten.
Beide vragenlijsten meten persoonlijkheid volgens het zes-factor model van persoonlijkheid. Van beide vragenlijsten werden een getagde en een volledig gecontextualiseerde versie ontwikkeld. Bij de getagde vragenlijst werd achter elk algemeen item ‘op school’ toegevoegd. Bij de volledig gecontextualiseerde vragenlijst werd elk algemeen item volledig veranderd, zodat het zo goed mogelijk aansloot bij de situatie van een student. De volledig gecontextualiseerde vragenlijsten werden in vijf stappen ontwikkeld die staan beschreven in tabel 1.
In het tweede onderzoek hebben 139 apothekersassistenten een algemene, getagde en volledig gecontextualiseerde persoonlijkheidsvragenlijst (HEXACO-PI-R; De Vries et al., 2009) ingevuld. Voor de getagde vragenlijst werd achter elk item ‘op het werk’ toegevoegd. De volledig gecontextualiseerde vragenlijst werd grotendeels ontworpen volgens de stappen uit het eerste onderzoek. In de eerste stap van het ontwerpproces werden apothekersassistentes en apothekers ingezet als ervaringsdeskundigen. Bijvoorbeeld: het item ‘Ik verricht zo min mogelijk werk, maar net genoeg om rond te komen’ werd veranderd in ‘Ik doe net genoeg, zodat mijn apotheker mij niet aanspreekt op mijn werk’. Het item ‘Ik haal me soms problemen op de hals omdat ik slordig ben’ werd veranderd in ‘Soms maak ik fouten met recepten, omdat ik slordig ben’.
In het derde onderzoek hebben 326 studenten van vier verschillende hogescholen alleen de algemene en de volledig gecontextualiseerde persoonlijkheidsvragenlijst uit het eerste onderzoek ingevuld (MPT-BS; NOA, 2009).
Resultaten
Wat betreft de voorspellende waarde van gecontextualiseerde vragenlijsten vallen vier resultaten op. Allereerst bleek Consciëntieusheid in alle drie de studies een belangrijke voorspeller van studie- en werkprestatie. Integriteit bleek een belangrijke (negatieve) voorspeller van contraproductief studiegedrag. Deze bevindingen komen overeen met eerder onderzoek naar de voorspellende waarde van algemene persoonlijkheid. Ten tweede bevestigden de twee studies met de hogeschoolstudenten het eerder vastgestelde contextualisatie-effect (bijv. Shaffer & Postlethwaite, 2012) dat gecontextualiseerde vragenlijsten een hogere voorspellende waarde hebben dan algemene persoonlijkheidsvragenlijsten. Ten derde bleek bij de eerste studie dat volledige contextualisatie een iets hogere voorspellende waarde oplevert dan het toevoegen van alleen een tag. Ten vierde – en tegengesteld aan de tweede en derde bevinding – was er geen toegevoegde voorspellende waarde van contextualisatie in de studie met apothekersassistentes. Sterker, de algemene persoonlijkheidsvragenlijst had in deze studie een hogere voorspellende waarde dan de gecontextualiseerde vragenlijsten. De gevonden correlaties staan in tabel 2.
Contextualisatie lijkt dus niet altijd de voorspellende waarde te verhogen. Terwijl contextualisatie voor de hogeschoolstudenten de voorspellende waarde verhoogde, werd deze lager voor de apothekersassistentes. Mogelijk dat dit verklaard kan worden doordat bij de apothekersassistenten de gecontextualiseerde persoonlijkheidsvragenlijst misschien ‘wenselijk’ werkgedrag heeft gemeten. Juist in een setting waarbij het heel belangrijk is om precieze handelingen volgens een strikt protocol uit te voeren, beperkt contextualisatie misschien voorspellende waarde van persoonlijkheid doordat de spreiding, die nodig is om voorspellingen mee te doen, afneemt. Het is voor apothekersassistentes bijvoorbeeld bijna onmogelijk om niet het protocol te volgen (dus niet consciëntieus te handelen) bij het verzamelen en overhandigen van medicijnen. Dit idee wordt ondersteund doordat de apothekersassistentes inderdaad minder variatie in consciëntieus gedrag vertoonden op de gecontextualiseerde vragenlijsten dan op de algemene persoonlijkheidsvragenlijst. Mogelijk heeft contextualisatie dus niet het gewenste e¤ect in zeer gereguleerde (werk)situaties.
Het contextualisatie-effect bij diverse groepen
In de derde studie is ook gekeken naar de voorspellende waarde voor de afzonderlijke groepen autochtone en niet-westerse allochtone studenten. Er zijn namelijk aanwijzingen dat persoonlijkheidsvragenlijsten een lagere voorspellende waarde (ook wel differentiële predictieve validiteit) kunnen hebben voor etnische minderheden (bijv. De Vries, Born & De Vries, 2012)2. In studie drie is onderzocht of contextualisatie deze lagere voorspellende waarde voor niet-westerse allochtone studenten zou kunnen verminderen. Onze verwachting was dat verschillende etnische groepen andere situaties gebruikten tijdens het invullen van een algemene persoonlijkheidsvragenlijst. Zo verwachtten wij dat de autochtone meerderheid vaker een situatie gebruikt die relevant is voor de uitkomst (bijv. schoolsituatie voor studieprestatie) en de niet-westerse allochtone groepen vaker een situatie gebruiken die niet relevant is voor de uitkomst (bijv. thuissituatie voor studieprestatie). Deelnemers kunnen bij een gecontextualiseerde vragenlijst niet zelf de situatie kiezen, daardoor hadden wij verwacht dat de voorspellende waarde van deze vragenlijsten gelijker zou zijn tussen etnische groepen.
Uit de resultaten van de derde studie blijkt dat persoonlijkheidsvragenlijsten inderdaad een lagere voorspellende waarde hebben voor niet-westerse allochtone kandidaten, maar dat dit niet wordt verholpen door een vragenlijst te contextualiseren. Wij vonden geen voorspellende waarde voor zowel de algemene als volledig gecontextualiseerde persoonlijkheidsvragenlijst van de prestatie van niet-westerse allochtone studenten ten opzichte van autochtone studenten. Contextualisatie lost de di¤erentiële predictieve validiteit van persoonlijkheidsvragenlijsten dus niet op.
Een alternatieve verklaring voor de verschillende voorspellende waarde van persoonlijkheidsvragenlijsten is dat niet-westerse allochtone minderheden mogelijk een andere responsestijl hebben om vragenlijsten te beantwoorden. Deze gedachte wordt gesteund door de bevinding dat Consciëntieusheid bij niet-westerse allochtone studenten wel sterk correleerde met hun zelf-gerapporteerde gemiddelde cijfer (algemene persoonlijkheid r=.36, p<.01; gecontextualiseerd r=.40, p<.01). Tussen zelf-gerapporteerde persoonlijkheid en een zelf-gerapporteerde prestatie was dus wel een middelsterk significant verband. Een belangrijke implicatie is dat onderzoeken die zelf-gerapporteerde prestaties gebruiken dus de differentiële predictieve validiteit van persoonlijkheid voor niet-westerse allochtone groepen kunnen onderschatten. Hierdoor kunnen instrumenten onterecht worden bestempeld als uniform voorspellend. Bij de validatie van meetinstrumenten moet er dus naar worden gestreefd om zo objectief mogelijke metingen van prestaties te gebruiken.
Contextualisatie en deelnemersreacties
Naast de toegevoegde voorspellende waarde van gecontextualiseerde persoonlijkheidsvragenlijsten is het ook belangrijk dat deelnemers de resultaten accepteren. Als deelnemers het nut van een vragenlijst niet inzien, is er meer kans op bezwaren en dat de deelnemers zich negatief uitlaten over de organisatie die de vragenlijst gebruikt. Bij alle drie de onderzoeken naar contextualisatie is daarom aan de deelnemers na elke vragenlijst gevraagd (1) hoe leuk ze de vragenlijst vonden, (2) of de vragenlijst relevant leek voor hun positie (indruksvaliditeit) en (3) of ze de vragenlijst voorspellend vonden voor hun prestaties (waargenomen predictieve validiteit).
Over het geheel genomen werden alle vragenlijsten bovengemiddeld beoordeeld op alle drie de deelnemersreacties. De gecontextualiseerde vragenlijsten werden beide iets hoger beoordeeld op indruksvaliditeit en waargenomen predicatieve validiteit. Deelnemers vonden de gecontextualiseerde vragenlijsten zelf dus iets relevanter en beter voorspellend voor hun rol. Ten slotte vonden de deelnemers de getagde vragenlijst veruit het minst leuk om in te vullen. Dit is geen verrassende bevinding aangezien deze vragenlijst heel repetitief dezelfde tag gebruikt. Over het geheel genomen ontving de volledig gecontextualiseerde vragenlijst de meest positieve reacties van deelnemers.
Conclusie
Concluderend lijkt het van toegevoegde waarde om persoonlijkheidsvragenlijsten volledig te contextualiseren. Allereerst lijkt de voorspelling van prestatie (iets) te verbeteren, zeker als we eerder onderzoek ook in overweging nemen. Het onderzoek met de apothekersassistentes laat echter duidelijk zien dat contextualisatie in bepaalde situaties ook een afname in voorspellende waarde kan veroorzaken. Het is dus belangrijk om niet alleen bij het ontwerpen van een gecontextualiseerde vragenlijst gestructureerd te werk te gaan, maar ook om de effecten telkens te testen. Contextualisatie is mogelijk geen geschikte methode voor situaties waarin gedrag wordt bepaald door strenge protocollen of zeer sterke normen. In dat geval wordt misschien gemeten hoe iemand zich ‘dient te gedragen’.
Daarnaast vinden deelnemers volledig gecontextualiseerde vragenlijsten relevanter en beter voorspellend. In de praktijk raden wij het niet aan om getagde vragenlijsten te gebruiken. Deelnemers lijken die vragenlijsten aanzienlijk minder leuk te vinden en de toegevoegde voorspellende waarde is kleiner of even groot als die van volledig gecontextualiseerde vragenlijsten.
Om een volledig gecontextualiseerde persoonlijkheidsvragenlijst te ontwerpen, hadden wij ongeveer 65 uur nodig (exclusief betrouwbaarheids- en validiteitsonderzoek en het opbouwen van een normgroep). De kleine toegevoegde voorspellende waarde van volledig gecontextualiseerde persoonlijkheidsvragenlijsten ten opzichte van algemene vragenlijsten lijkt hierdoor misschien niet de moeite waard. De tijdsinvestering per deelnemer is echter relatief gering als de toegevoegde situatie van toepassing is op een grote groep kandidaten. Volledig gecontextualiseerde vragenlijsten worden ook meer indruksvalide gevonden door deelnemers. Hierdoor neemt de weerstand tegen een assessment of selectie wellicht af.
De reeks beschreven onderzoeken hebben een assessment en selectie achtergrond. De invalshoek van de huidige onderzoeken was om prestatie beter te kunnen voorspellen in een werk- of studiecontext. Prestatie is slechts één van de vele uitkomstmaten waarin psychologen geïnteresseerd zijn. Andere gebieden in de psychologie kunnen contextualisatie wellicht ook toepassen op andere uitkomsten of op andere typen vragenlijsten. Bijvoorbeeld: stress in de thuiscontext zou beter verklaard kunnen worden met een situationele persoonlijkheidsvragenlijst gericht op de thuissituatie dan met een algemene vragenlijst. Verder is het principe van contextualisatie waarschijnlijk ook toe te passen op andere typen generieke zelf-rapportagevragenlijsten, zoals waardenof competentievragenlijsten. Het is in dergelijke gevallen wel belangrijk om te beseffen dat de relevantie voor andere situaties afneemt. Als de voorkeur uitgaat naar een holistische benadering dan is een situationele vragenlijst uiteraard juist niet geschikt.
Samengevat kunnen volledig gecontextualiseerde persoonlijkheidsvragenlijsten een passende oplossing bieden als de prestatie van een grote groep deelnemers moet worden voorspeld en als er veel waarde wordt gehecht aan de deelnemersreacties. Hoewel volledig gecontextualiseerde persoonlijkheidsvragenlijsten afgeleid zijn van bestaande algemene vragenlijsten, blijft het van belang de effecten van de veranderingen nauwkeurig te testen. Bij dergelijk onderzoek moet gestreefd worden om zo objectief mogelijke uitkomsten te gebruiken omdat differentiële validiteit kan worden gemist bij het gebruik van zelf-gerapporteerde prestaties.
Dit artikel is gebaseerd op zijn proefschrift (Holtrop, 2016) dat hij op 17 mei 2016 met succes verdedigde aan de Vrije Universiteit Amsterdam. Zijn promotoren waren prof. dr. Marise Born, prof. dr. Reinout de Vries en dr. Remko van den Berg en het onderzoek was gefinancierd door stichting NOA. Het volledige proefschrift kan worden gedownload op http://dare.ubvu.vu.nl/handle/1871/54398.
