Voer voor psychologen

Het longitudinal internet studies for the social sciences panel
05/05/2017
Bert Bakker, Peter van der Velden, Roza Meuleman, Esmah Lahlah, Johan van Wilsem, Rik Crutzen
Geen reacties
De Psycholoog 2017-5 Cover
Issue 5

Samenvatting

THE LISS-PANEL: FOOD FOR PSYCHOLOGISTS P. VAN DER VELDEN, J. VAN WILSEM, B. BAKKER, R. CRUTZEN, R. MEULEMAN & E. LAHLAH The aim of the present article is to provide insight into the characteristics and scientifi c opportunities of the Dutch Longitudinal Internet Studies for the Social Sciences-panel (LISS)-panel), operated by CentERdata (Tilburg, The Netherlands). This panel, started in 2007, is based on a random sample drawn from the population register by Statistics Netherlands, and consists of about 8000 individuals. Participants are frequently invited to complete online surveys, i.e. the so called Core studies on for instance health, personality, work and values, and all other cross-sectional and longitudinal studies (totalling about 200). The LISS-panel is an Open Access facility: researchers can acquire free access to all data from CentERdata. To illustrate the opportunities, five different studies are presented on predictors and effects of PTSD-symptoms, manifestations of nationalist attitudes and the role of parents, relationships between personality and voting behaviour, risk factors for internet crime, and the effects of reminders on non-response.

1798 Weergaven
1 Downloads
  • Samenvatting
  • Inleiding
  • Achtergronden
  • Werving deelnemers
  • Open en free-access
  • Core-studies LISS-panel
  • Voorbeelden studies
    • 1.Posttraumatische stresssymptomen: predictoren en gevolgen
    • 2.Nationalistische houdingen en gedragingen
    • 3.Samenhang persoonlijkheid en stemkeuze voor een populistische partij
    • 4.Internet-criminaliteit: risicoprofielen
    • 5.Onderzoek naar onderzoek
  • Tot slot
  • Literatuurlijst
  • Over de auteur
Lees verder
In 2007 is het longitudinale-panel gestart (N ~ 8.000), gebaseerd op een representatieve streekproef uit de Nederlandse bevolking. Ze omvat jaarlijkse Core-studies, variërend van studies naar gezondheid tot studies naar politieke voorkeuren. Daarnaast zijn ruim tweehonderd andere crosssectionele en longitudinale studies bij dit panel uitgevoerd. Alle data zijn kosteloos te gebruiken. Peter van der Velden en collega’s schetsen de rijkdom aan onderzoeksmogelijkheden aan de hand van vijf empirische studies.

Inleiding

Het Longitudinal Internet Studies for the Social Sciences (LISS)- panel bestaat uit een grote random steekproef uit de Nederlandse bevolking (N ~ 8.000). Ze bevat free-access longitudinale data bestaande uit jaarlijkse metingen vanaf 2007 over bijvoorbeeld gezondheid, persoonlijkheid, werk, gezin, sociale contacten, arbeid, normen en waarden. Naast deze jaarlijkse metingen zijn er inmiddels ruim tweehonderd separate cross-sectionele en longitudinale metingen bij de gehele steekproef, of delen ervan, uitgevoerd. Deze laatste studies gaan bijvoorbeeld over cyber-crime, alcoholgebruik, coping, gezondheidspreventie en de rol van online health informatie voor mensen met gezondheidsangst. Verder zijn alle data over alle onderzoeken en alle jaren eenvoudig met elkaar en aan mogelijk eigen (toekomstig) onderzoek met dit longitudinale panel te koppelen.

Naast de inhoudelijke rijkdom en diversiteit, omvang, representativiteit, hoge respons en het prospectieve karakter, voorziet het free-access karakter van dit panel ook in de toegenomen behoefte aan transparantie en reproduceerbaarheid van wetenschappelijke studies (vgl. Peters, Abraham & Crutzen, 2012; Silberzahn & Uhlmann, 2015; Open Science Collaboration, 2015)3133. Dat is een forse stap richting full disclosure, waarbij naast de data ook de vragenlijsten en ander materiaal beschikbaar zijn. Daarbij laten we de praktische voordelen voor onderzoekers met betrekking tot het normale veldwerk en datamanagement gemakshalve nu even buiten beschouwing.

Doel van deze bijdrage is inzicht te verschaffen in de unieke mogelijkheden van het LISS-panel voor psychologen en andere sociale wetenschappers. Daartoe worden onder meer vijf geheel verschillende wetenschappelijke studies beschreven, inclusief achtergrond en uitkomsten, die zijn gebaseerd op de (longitudinale) onderzoeksgegevens van dit panel. Gestart wordt met een beknopte schets van de achtergronden van dit panel en studies die daarmee zijn en worden verricht.

Achtergronden

Het LISS-panel is opgebouwd, wordt beheerd en verder ontwikkeld door CentERdata (Tilburg; Scherpenzeel & Das, 2011)34. Alvorens verder in te gaan op de mogelijkheden van het LISS-panel voor psychologen en andere sociale wetenschappers, eerst een korte achtergrondschets van het LISS-panel.

Het LISS-panel is het centrale onderdeel van het MESS-project (Advanced Multi-Disciplinary Facility for Measurement and Experimentation in the Social Sciences). Dit project werd in 2006 door de Nederlandse overheid, als één van de vijf grootschalige infrastructuren voor wetenschappelijk onderzoek, van financiering voorzien. MESS is een faciliteit voor geavanceerde online dataverzameling, nieuwe meetinstrumenten en de inzet van innovatieve technologie. Het LISS-panel waar het in dit artikel om gaat, is het centrale element van deze faciliteit. Het is een internetpanel bestaande uit (ongeveer) vijfduizend huishoudens en circa achtduizend individuen.

Werving deelnemers

Sinds het begin van deze eeuw is het gebruik van internet als interviewmodus in surveys steeds populairder geworden vanwege de snelheid van dataverzameling tegen relatief lage kosten (Couper, 2008). Maar: deze surveys zijn vaak gebaseerd op ondeugdelijke steekproefkaders. Iedereen die wenst deel te nemen aan het onderzoek kan zichzelf aanmelden – waardoor de kans op vertekeningen toeneemt. Bovendien is het beschikken over een computer met internet vaak een vereiste om überhaupt te kunnen deelnemen.

Voor de werving van leden van het LISS-panel is door het Centraal Bureau voor de Statistiek (CBS) een random steekproef getrokken uit het populatieregister. Personen die niet in de originele steekproef zaten, kunnen dus niet meedoen; er is dus geen zelfselectie mogelijk. Personen in de steekproef zijn via traditionele methoden benaderd: telefonisch of face-to-face. Aan het einde van een kort wervingsinterview is gevraagd of men bereid is om deel te nemen aan het panel. Bij de opbouw van het LISS-panel was de respons op het wervingsinterview 75%; van de respondenten was 84% bereid deel te nemen aan het panel (cumulatief 63%). Uiteindelijk neemt, na afronding van de wervingsfase in 2008, 48% van de oorspronkelijke totale bruto steekproef deel aan het panel (Scherpenzeel & Das, 2011). Mensen zonder computer of internet krijgen apparatuur in bruikleen en een breedbandverbinding om mee te kunnen doen aan de maandelijkse vragenlijsten.

Voor deelname aan deze vragenlijsten ontvangen de panelleden een vergoeding. Dit stimuleert de response (vgl. Göritz, 2006; Millar & Dillman, 2011)1528, heeft een positief effect op de representativiteit en datakwaliteit (Mack et al., 1998)25 en verlaagt de uitval (Scherpenzeel & Toepoel, 2012; Singer & Kulka, 2002)3637. Scherpenzeel & Bethlehem (2011) hebben de representativiteit uitvoerig bestudeerd en vergeleken met populatiecijfers van het CBS, een omvangrijke Computer Assisted Personal Interview (CAPI)-studie (Nationaal Kiezersonderzoek 2006), een online survey (21minuten.nl) en met negentien andere online panels. Het LISS-panel kwam dicht in de buurt bij de traditionele (CAPI)survey en was veel beter dan de andere genoemde surveys en online panels. Na de werving in 2007/2008 zijn er nog verschillende (gestratificeerde) verversingssteekproeven aan het LISS-panel toegevoegd (op basis van kans-steekproeven die door het CBS uit het populatieregister zijn getrokken). Hierdoor zijn de vertekeningen deels ‘gerepareerd’. Op verzoek van onderzoekers kunnen ‘gewichten’ worden berekend omdat bij weging de doelvariabele van belang is.

Open en free-access

Het meest krachtige element van de infrastructuur is de openheid. Alle verzamelde data, ook de gebruikte vragenlijsten en steekproefgegevens, zijn beschikbaar via een geavanceerd data-archief (www.lissdata.nl/dataarchive). Toegang tot het archief is gratis voor wetenschappelijk, beleidsmatig en maatschappelijk relevant – dat wil zeggen: niet-commercieel – onderzoek en wordt verleend na ondertekening van een gebruikersverklaring. Voor verdere details zie: www.lissdata.nl/lissdata/access-data.

Het is mogelijk om (tegen betaling) bij het LISS-panel nieuwe data te verzamelen en deze te koppelen aan beschikbare data in het archief. Tevens behoort koppeling aan nationale administratieve bestanden, beschikbaar via het CBS, tot de mogelijkheden.

Core-studies LISS-panel

In samenwerking met (internationale) experts op verschillende terreinen binnen de mens- en maatschappijwetenschappen is in 2007 een kernvragenlijst opgesteld, bestaande uit verschillende modulen (Core-studies genoemd). Deze kernvragenlijst wordt jaarlijks herhaald. De eerste meting is uitgevoerd tussen november 2007 en juni 2008.

In tabel 1 is een beknopt overzicht opgenomen van de jaarlijks afgenomen modulen van de kernvragenlijst en belangrijkste onderwerpen ervan (in 2014 en 2015 heeft voor een aantal surveys een verschuiving van maand plaatsgevonden: zie documentatie op www.lissdata.nl/dataarchive). Jaarlijks is er sprake van ongeveer 10% uitval van deelnemende panelleden. De respons per studie is telkens vrij hoog, circa 70-80%.

Voorbeelden studies

Voor een compleet overzicht van de beschikbare variabelen en metadata, inclusief die van de circa tweehonderd andere studies (Assembled-studies genoemd), verwijzen wij naar het eerdergenoemde data-archief. Demografische gegevens worden continu bijgewerkt en vormen dus onderdeel van historische datareeksen. Om verder inzicht te geven in de wetenschappelijke mogelijkheden van het -panel, volgen nu vijf concrete voorbeelden.

1.Posttraumatische stresssymptomen: predictoren en gevolgen

Veel cross-sectioneel en longitudinaal onderzoek op het gebied van posttraumatische stress-symptomen (PTSS) is, om begrijpelijke redenen, uitgevoerd na de potentieel traumatische gebeurtenis. Onderzoek naar de invloed van mogelijke risicofactoren van vóór deze gebeurtenis is daarom veelal gebaseerd op retrospectieve informatie die mogelijk gekleurd is door PTSS ten tijde van het onderzoek (vgl. DiGangi et al., 2013)10. Idealiter zou onderzoek naar bijvoorbeeld de invloed van persoonlijkheidsfactoren op posttraumatische stresssymptomen en functioneren, dus prospectief van aard moeten zijn.

In 2012 zijn bij het gehele LISS-panel drie surveys (april, augustus, december) uitgevoerd in het kader van een longitudinale studie naar ‘Trauma en zelfredzaamheid’ (zie in het data-archief assembled studies, nummer 116). De jaarlijkse surveys over persoonlijkheidsfactoren (Big Five, International Personality Item Pool (IPIP), Goldberg et al., 2006)17 boden de unieke kans om a) de prospectieve invloed ervan op bijvoorbeeld PTSS en trauma-gerelateerde zelfredzaamheid te onderzoeken en met name b) te onderzoeken of het moment waarop persoonlijkheidsfactoren zijn onderzocht vóór de potentieel traumatische gebeurtenissen van invloed is op de relaties tussen beide (Bosmans & Van der Velden, 2015, Bosmans, Knaap & van der Velden, 2015)56. Alleen wat het eerste punt betreft, is een zeer klein aantal studies bij burgerslachto’ers voorhanden (DiGangi et al., 2013). De resultaten toonden dat de invloed van pre-event persoonlijkheid beperkt was en nauwelijks afhing van het moment van meting.

Wat de gevolgen van PTSS betreft, speelt een geheel ander vraagstuk voor onderzoekers en ethische toetsingscommissies. Het betreft de mogelijke belasting van trauma-onderzoek voor de deelnemers van wie een deel getraumatiseerd is/kan zijn. Dit heeft onmiddellijke consequenties voor het voorgenomen onderzoek: moet het daarom vooraf worden beoordeeld door een Medische Ethische Toetsingscommissie (METC)? Bestaand onderzoek gaf echter geen inzicht in hoeverre trauma-onderzoek meer of minder belastend is dan onderzoek naar bijvoorbeeld persoonlijkheid of politieke normen en waarden (niet METC-plichtig). Evenmin was bekend in hoeverre de ervaren belasting van dergelijke niet-trauma onderzoeken voorspelt hoe belastend traumaonderzoek wordt ervaren (vgl. Newman & Kaloupek, 2004, 2009; Omerov et al., 2013)2930.

Iedere survey bij het LISS-panel wordt echter afgesloten met vijf vragen over de ervaren belasting van de betreffende survey. Daardoor kon voor het eerst worden onderzocht of trauma-onderzoeken meer belastend zijn dan andere onderzoeken, en welke factoren (waaronder PTSS en persoonlijkheidsfactoren) de ervaren belasting van traumaonderzoek verklaren (Van der Velden, Bosmans & Scherpenzeel, 2013; Van der Velden et al., 2015)353839. Globale uitkomst was dat de belasting van (trauma-)onderzoek niet of nauwelijks samenhangt met de aard ervan.

2.Nationalistische houdingen en gedragingen

Zelfs in de hedendaagse, geglobaliseerde wereld blijven naties een belangrijke bron van identificatie voor veel mensen. Een positieve houding ten opzichte van de nationale-in-group is niet alleen gerelateerd aan een sterkere cohesie binnen de eigen groep, maar kan tevens samenhangen met meer negatieve houdingen ten opzichte van de-out-group. Hoewel eerder onderzoek inzichtelijk heeft gemaakt in hoeverre nationalistische houdingen samenhangen met verschillende attitudes, is er relatief weinig empirisch onderzoek naar de gedragsuitingen van nationalistische houdingen. Er is weinig bekend over uitingen van nationalistische houdingen in het alledaagse leven, zoals door middel van participatie in nationale feestdagen en herdenkingen (Fox & Miller-Idriss, 2008; Meuleman & Lubbers, 2013)26 of door middel van consumptie van nationale cultuur – als symbool voor nationale identiteit (Edensor, 2002)11. Het LISS-panel (2011, 2013, 2014) biedt de mogelijkheid te onderzoeken in hoeverre nationalistische houdingen gerelateerd zijn aan dergelijke gedragingen.

Het panel biedt namelijk uitgebreide gegevens over a) chauvinisme (i.e. liefde voor het eigen land en de nationale-in-group, gecombineerd met gevoelens van nationale superioriteit in vergelijking met andere landen), b) maatschappelijk patriottisme (i.e. trots zijn op de democratie van het eigen land, de politieke invloed, economische prestaties, sociale zekerheid en de eerlijke en gelijke behandeling van alle groepen in de samenleving) en c) cultureel patriottisme (i.e. trots zijn op de nationale geschiedenis en prestaties op het gebied van sport, kunst en literatuur). Verder biedt het LISS-panel data over participatie in nationale dagen, over de betekenis die mensen geven aan deze dagen, over de consumptie van nationale en buitenlandse muziek, literatuur en films, en over deelname aan diverse vrijetijdsbestedingen (zoals televisie, musea, theater). Tot slot bevat het panel informatie over ouderlijk opleidingsniveau en sociale klasse, ouderlijke consumptie van nationale cultuur, elitaire en populaire cultuur, en participatie in nationale vieringen waardoor de socialiserende rol van ouders onderzocht kan worden. Gebaseerd op deze data laten Meuleman, Lubbers & Verkuyten (2017)27 bijvoorbeeld zien dat individuen van wie de ouders tijdens de opvoeding meer nationale gedragingen vertoonden, meer nationalistische houdingen aanhangen en meer nationale cultuur consumeren.

Studies naar gedragsuitingen van etnische en nationale identificatie zijn bijzonder relevant wanneer deze gerelateerd kunnen worden aan de sociaal-culturele integratie van etnische minderheden. Van oktober 2010 tot december 2014 is naast het LISS-panel een immigranten-panel operationeel geweest bestaande uit 2400 respondenten, van wie 1700 van niet-Nederlandse afkomst. Dit panel (LISS immigrant-panel, 2013, 2014)2223, biedt naast onderwerpen uit de Core- studies, unieke informatie over etnische en nationale identificatie van immigranten, over hun participatie in nationale feestdagen en herdenkingen (e.g. Coopmans, Lubbers & Meuleman, 2015)8 en hun consumptie van muziek en literatuur uit Nederland, buitenland en land van herkomst (e.g. Bekhuis & Lubbers, 2013)4. Het LISS-panel maakt het dus mogelijk om nationalistische houdingen en gedragingen onder autochtonen en immigranten in Nederland uitgebreider en nauwkeuriger te onderzoeken.

3.Samenhang persoonlijkheid en stemkeuze voor een populistische partij

Welke relatie bestaat er tussen de persoonlijkheidsfactor ‘meegaandheid’ en stemkeuze voor een populistische partij in nationale verkiezingen (in dit geval de Partij voor de Vrijheid (PVV) in Nederland)? Deze wetenschappelijke vraag vergt ongewoon onderzoek: een combinatie van psychologisch onderzoek naar persoonlijkheidsfactoren enerzijds en politicologisch onderzoek naar partij-voorkeuren anderzijds. Voor een betrouwbare beantwoording van deze vraag is verder een representatieve onderzoeksgroep nodig, waarvan mogelijk 10% PVV zal stemmen (bij de laatste Tweede Kamer in 2012 verkiezen behaalde de PVV vijftien van de 150 zetels). Daarmee vallen studenten, waarmee door universitaire onderzoekers veelvuldig onderzoek wordt gedaan, als potentiele onderzoeksgroep dus af.

Om een goede afspiegeling van de kiezers in een land in een onderzoeksgroep te krijgen – en dus ook voldoende kiezers voor een populistische partij – is het aan te raden gebruik te maken van survey-respondenten afkomstig uit een aselecte steekproef. Gebruik van deze samples is echter erg kostbaar en onderzoekers proberen daarom de kosten te beperken door zo min mogelijk vragen te stellen. Met andere woorden: onderzoekers worden vanwege de kosten gedwongen om zeer korte meetinstrumenten te gebruiken. In verkiezingsstudies met probability-samples in bijvoorbeeld Engeland (Fieldhouse et al., 2016)13 en de Verenigde Staten (ANES, 2012)1, worden persoonlijkheidskenmerken daarom gemeten met twee vragen per persoonlijkheidskenmerk (Gosling, Rentfrow & Swann, 2003)18. Het nadeel van deze korte meetinstrumenten is dat de betrouwbaarheid en validiteit onder druk staan (Bakker & Lelkes, 2016; Credé et al., 2012)29.

Door het LISS-panel te gebruiken ontstond de unieke mogelijkheid om een betrouwbare en valide meting van persoonlijkheid te hebben in een sample die een goede afspiegeling is van de Nederlandse bevolking. Voor deze studie zijn twee Core-studies (zie tabel 1) van het panel gebruikt, namelijk één over ‘Politiek en Waarden’ en één over ‘Persoonlijkheid’. De persoonlijkheidsfactor meegaandheid behoort tot de bekende Big Five (gemeten met 10 items; IPIP, Goldberg et al., 2006). Omdat het LISS-panel ook informatie bevat over opleidingsniveau, leeftijd, sekse en opvattingen van respondenten ten opzichte van sociale en economische thema’s, kon de mogelijke invloed van deze factoren op de stemkeuze meegenomen worden in de statistische analyses. Daardoor kan zoveel als mogelijk worden uitgesloten dat de samenhang tussen meegaandheid en stemkeuze voor een populistische partij, mede verklaard kan worden door deze factoren.

Kortgezegd bleek uit het onderzoek dat mensen die laag scoren op meegaandheid een grotere kans hebben om op een populistische partij te stemmen. Het gebruik van de LISS-panel data heeft zeker geholpen om de studie te publiceren in de European Journal of Political Research (Bakker, Rooduijn, & Schumacher, 2016)3.

4.Internet-criminaliteit: risicoprofielen

Wie wordt er op internet slachtoffer van criminaliteit zoals hacking, oplichting, identiteitsfraude en dreigmailtjes? Met de opkomst van internet wordt steeds belangrijker te begrijpen wie hiermee te maken krijgen en uiteraard ook wat eraan te doen valt. In hoeverre heeft dat te maken met bijvoorbeeld het normale internetgebruik, koopgedrag op internet of met impulsiviteit? Naast deze mogelijke risicoprofielen speelt de vraag wat de gevolgen ervan zijn. Te denken valt aan reacties of gedrag van slachtoffers op het gebied van aangifte en na ontvangst van schadevergoeding (Van Wilsem, Van der Meulen & Kunst, 2013; Van Wilsem & Paulissen, 2015). Voor dit doel zijn inmiddels in 2008, 2010, 2012, 2014 en 2016 bij het gehele LISS-panel surveys over deze onderwerpen afgenomen (zie in het data-archief assembled studies, nummer 13; Paulissen & Van Wilsem, 2015; Van Wilsem, 2011; 2013a; 2013b)40414344. Daar blijkt bijvoorbeeld uit dat van ieder afzonderlijk delict –gehackt worden, online oplichting, online bedreiging, identiteitsfraude – twee tot drie procent aangeeft dit te hebben meegemaakt gedurende het afgelopen jaar.

Wat de risicoprofielen betreft: uit de analyses bleek dat disfunctionele impulsiviteit beduidend vaker voorkwam bij slachtoffers van online oplichting – het niet geleverd krijgen van een online besteld product – in vergelijking met internetgebruikers die hier geen slachtoffer van werden (Van Wilsem, 2013b). Een deel van deze relatie is indirect: impulsieve mensen zijn meer online en kopen ook meer spullen online. In die zin ondervinden zij meer blootstelling aan riskante situaties. Maar ook na correctie hiervoor behield impulsiviteit een duidelijke directe relatie met slachtofferschap van online oplichting. Dit wijst erop dat deze groep in riskante situaties ook andere keuzes maakt – die dus vaker slecht uitpakken. Ook voor online bedreiging en gehackt worden kwamen directe effecten van impulsiviteit naar voren die duiden op risicoverhoging. Slachtofferschap van identiteitsfraude bleek echter een interessante uitzondering: meer en minder impulsieve mensen bleken even vaak slachtoffer daarvan (Paulissen & Van Wilsem, 2015)32.

Voor de toekomst zijn er verschillende plannen voor onderzoek naar online slachtofferschap, zoals over de gevolgen van slachtofferschap. Passen mensen hun gedrag aan om risico’s in de toekomst te voorkomen? Of zien we dat impulsiviteit daar een remmende werking in heeft en dat slachtofferschap daarom vaak opnieuw voorkomt? Daarnaast is het interessant te kijken naar de rol van andere persoonlijkheidsfactoren, zoals de Big Five. Door de slachtoffergegevens te koppelen aan de persoonlijkheidsgegevens kunnen weer nieuwe vragen worden gesteld: speelt bijvoorbeeld extraversie een rol bij wie er online wordt bedreigd en wie niet? Is neuroticisme een voorspeller voor slachtofferschap van online oplichting? En spelen deze persoonlijkheidsfactoren mogelijk ook een rol bij identiteitsfraude?

Het LISS-panel heeft op het terrein van online slachtofferschap al veel interessante inzichten opgeleverd en zal dat in de toekomst ook blijven doen.

5.Onderzoek naar onderzoek

Het LISS-panel biedt ook de mogelijkheid om onderzoek naar onderzoek te doen. Meer specifiek: onderzoek naar methodologische aspecten omtrent vragenlijstonderzoek. Non-respons bij vragenlijsten, bijvoorbeeld, kan een impact hebben op de validiteit van een studie. Net als bij regulier (‘offline’) onderzoek is het ook bij online vragenlijstonderzoek van belang om verschillende methoden te gebruiken om de responseratio te verhogen (Cook, Heath & Thompson, 2000)7. Een veelgebruikte techniek is het sturen van een reminder, hetgeen een positief effect heeft op de responseratio (Edwards et al., 2009)12. Deze techniek wordt in een online context veelal geoperationaliseerd door het sturen van een e-mail. In vergelijking met een reminder via andere kanalen (bijvoorbeeld per brief of telefonisch), verschilt e-mail in bijvoorbeeld directheid, lay-out en het gemak van openen alsmede negeren.

Binnen de context van het LISS-panel was het mogelijk om te bestuderen wat de impact van een e-mail reminder op de responseratio is. Belangrijker nog is de mogelijkheid om ook andere methodologische aspecten omtrent vragenlijstonderzoek nader te bestuderen. Naast responseratio is bijvoorbeeld ook het volledige afmaken van de vragenlijst van belang (i.e. retentie). Zelfs als deelnemers voortijdig stoppen met het onderzoek bieden de meta-data die beschikbaar zijn in online onderzoek de mogelijkheid om te zien waar deelnemers precies afhaken. Dit kan bijvoorbeeld duiden op een onduidelijke of ongewenste vraag vanuit het oogpunt van de deelnemer. Maar het kan ook antwoord geven op vragen of deelnemers die meedoen naar aanleiding van een reminder eerder geneigd zijn om af te haken. Of verschilt de kwaliteit van de data van deze deelnemers wellicht van respondenten die meteen deelnemen (zonder herinnerd te hoeven worden)?

Om een antwoord te krijgen op zulke vragen hebben wij een meta-analytische benadering gekozen om 38 studies die deels uitgevoerd waren binnen de context van het -panel tegen het licht te houden (Göritz & Crutzen, 2012)16. De resultaten in een notendop: reminders hebben een positief effect op de responseratio, maar men betaalt een kleine prijs in termen van retentie (uitval). Er waren echter geen verschillen in twee indicatoren van datakwaliteit: het overslaan van items en non-differentatie in antwoorden (bijvoorbeeld ‘straightlining’ bij matrixvragen).

Het LISS-panel is dus zeer geschikt om inzicht te krijgen in meer algemene vragen omtrent validiteit van studies in een online context.

Tot slot

Doel van dit artikel was inzicht te geven in de rijke onderzoeksmogelijkheden die het longitudinale LISS-panel biedt voor psychologen en andere sociale wetenschappers. Vanwege deze rijkdom zijn de voorbeelden illustratief maar zeker niet uitputtend. De omvang van de longitudinale data van alle studies samen, is daarvoor simpelweg te groot. In tabel 2 zijn de belangrijkste karakteristieken van de Corestudies kort weergegeven.

Het feit dat het panel is gebaseerd op een random steekproef uit de Nederlandse bevolking ondervangt veel problemen in het kader van de generaliseerbaarheid1 van onderzoeksresultaten naar de gehele volwassen bevolking. Hetzelfde geldt voor studies onder subpopulaties onder bijvoorbeeld ouderen en mannen. Voor onderzoek gericht op specifieke groepen zoals medewerkers van organisatie A, cliënten of patiënten van instelling B, of onderzoek naar specifieke onderwerpen zoals de effectiviteit van interventie C of de arbeidsontwikkeling van mensen met psychische stoornis D, is het LISS-panel (vooralsnog) niet bruikbaar. De data in het LISS zijn (vooralsnog voornamelijk) gebaseerd op zelfrapportage-vragenlijsten en niet op interviews, observaties of biologische/medische gegevens. Het is in dit kader dan ook zeer verleidelijk om bijvoorbeeld te speculeren over de verdere mogelijkheden die de bekende Netherlands Mental Health Survey and Incidence Study (NEMESIS)-studie (De Graaf, Ten Have & Van Dorsselaer, 2010)20 had geboden (of een mogelijk vervolg daarop) als deze was uitgevoerd met het LISS-panel.

Wat betreft de toekomst beperkt het LISS-panel zich echter niet alleen tot reguliere cross-sectionele en longitudinale surveys. Voor het testen van nieuwe meetinstrumenten en de inzet van nieuwe technologie is het LISS-panel eveneens uitermate geschikt. Zo is recentelijk geëxperimenteerd met de inzet van geavanceerde weegschalen voor het meten van gewicht en vetpercentage (Kooreman & Scherpenzeel, 2014)21. Minstens zo belangwekkend in dit kader zijn de experimenten met het gebruik van mobiele telefoons voor het meten van tijdsbesteding en verplaatsingsgedrag (Scherpenzeel & Fernee, 2013; Geurs, Thomas, Bijlsma & Douhou, 2015)14. De LISS-infrastructuur is dermate flexibel dat nieuwe technologische ontwikkelingen eenvoudig en snel kunnen worden geïmplementeerd. Te denken valt aan webcams voor eye-tracking, geavanceerde apparatuur voor het meten van biomarkers zoals bloeddruk en glucose, en apparatuur die de naleving van het innemen van medicijnen monitort. De genoemde koppelingsmogelijkheden met CBS-data openen eveneens nieuwe (en ongekende) onderzoeksmogelijkheden.

Deze mogelijkheden en ontwikkelingen wijzen op wat genoemd zou kunnen worden een ‘veranderend onderzoekslandschap’. In vroegere jaren werd voor een onderzoeksvraag binnen de psychologie en verwante wetenschappen traditioneel een passend onderzoeksdesign (waaronder onderzoeksinstrumenten en steekproeftrekking) ontwikkeld of werd een onderzoeksvraag juist min of meer terzijde geschoven vanwege de enorme kosten van het passende onderzoeksdesign. De hierboven beschreven studies bijvoorbeeld zouden, indien separaat uitgevoerd, vrijwel onbetaalbaar zijn. Door panels zoals het LISS-panel vindt in zekere zin een kanteling/ aanvulling plaats binnen het hiervoor geschetste ‘traditionele’ onderzoekslandschap (vgl. Big data & Data Science). Onderzoeksvragen sturen niet langer eenzijdig het onderzoeksdesign: de beschikbare en groeiende data gaan vermoedelijk in toenemende mate onderzoeksvragen ‘beantwoordbaar’ maken en mogelijk theorievorming verbreden doordat verschillende onderzoeksthema’s gekoppeld kunnen worden. Te verwachten valt daarom dat het inzetten van onderzoeks-creativiteit een nieuwe wending zal krijgen: hoe kan deze creativiteit worden benut om te ‘ontdekken’ welke onderzoeksvragen met bestaande data beantwoord kunnen worden, data die mogelijk vanuit andere onderzoeksthema’s zijn verzameld?

De drie surveys over potentieel traumatische ervaringen uit het eerste voorbeeld zijn ontwikkeld in samenwerking met dr. Mark Bosmans (Tilburg University). Het onderzoek uit het derde voorbeeld is uitgevoerd in samenwerking met dr. Gijs Schumacher (Universiteit van Amsterdam) en dr. Matthijs Rooduijn (Universiteit Utrecht). Het onderzoek uit het vijfde voorbeeld is uitgevoerd in samenwerking met prof. dr. Anja Göritz (Albert-Ludwigs-Universität Freiburg, Duitsland).

Literatuurlijst

  1. ANES (2012). User’s guide and codebook for the ANES 2012 time series codebook. Ann Arbor, MI and Palo Alto, CA: The University of Michigan and Stanford University.
  2. Bakker, B.N. & Lelkes, Y. (2016). Selling ourselves short? How abbreviated measures of personality change the way we think about personality and politics. Working Paper.
  3. Bakker, B.N., Rooduijn, M. & Schumacher, G. (2016). The psychological roots of populist voting: Evidence from the United States, the Netherlands and Germany. European Journal of Political Research, 55, 302–320.
  4. Bekhuis, H. & Lubbers, M. (2013). Recente migranten in Nederland en de herkomst van de door hen beluisterde muziek en bekeken fi lms. Tijdschrift voor de Sociologie, 3-4, 250-269.
  5. Bosmans, M.W.G. & Velden, P.G. van der (2015). Longitudinal interplay between posttraumatic stress symptoms and coping self-effacacy: A four-wave prospective study. Social Science & Medicine, 134, 23-29.
  6. Bosmans, M.W.G., Knaap, L.M. & Velden & P.G. van der. (2015). Personality Traits as Predictors of Trauma-Related Coping Self-Effacacy: A Three-Wave Prospective Study. Personality and Individual Differences, 76, 44-48.
  7. Cook, C., Heath, F., & Thompson, R. (2000). A meta-analysis of response rates in web- or Internet-based surveys. Educational and Psychological Measurement, 60, 821–836.
  8. Coopmans, M., Lubbers, M. & Meuleman, R. (2015). To whom do national days matter? A comparison of national belonging across generations and ethnic groups in the Netherlands. Ethnic and Racial Studies, 38, 2037-2054.
  9. Credé, M., Harms, P., Niehorster, S. & Gaye-Valentine, A. (2012). An evaluation of the consequences of using short measures of the big fi ve personality traits. Journal of Personality and Social Psychology, 102, 874–888.
  10. DiGangi, J.A., Gomez, D., Mendoza, L., Jason, L.A., Keys, C.B. & Koenen, K.C. (2013). Pretrauma risk factors for posttraumatic stress disorder: a systematic review of the literature. Clinical Psychology Review, 33, 728-744.
  11. Edensor, T. (2002). National Identity, Popular Culture and Everyday Life. Berg, Oxford/New York.
  12. Edwards, P. J., Roberts, I., Clarke, M. J., DiGuiseppi, C., Wentz, R. et al. (2009). Methods to increase response to postal and electronic questionnaires. Cochrane Database of Systematic Reviews.
  13. Fieldhouse, E., Green, J., Evans, G., Schmitt, H. & Van der Eijk, C. (2016). British Election Study Internet Panel Wave 6. Fox, J. & Miller-Idriss, C. (2008). Everyday nationhood. Ethnicities, 8, 536-563.
  14. Geurs, K.T., Thomas, T., Bijlsma, M. & Douhou, S. (2015). Automatic trip and mode detection with MoveSmarter: first results from the Dutch Mobile Mobility Panel. Transportation Research Procedia, 11, 247-262.
  15. Göritz, A.S. (2006). Incentives in Web studies: Methodological issues and a review. International Journal of Internet Science, 1(1), 58-70.
  16. Göritz, A.S. & Crutzen, R. (2012). Reminders in web-based data collection: increasing response rates at the price of retention? American Journal of Evaluation, 33, 240–250.
  17. Goldberg, L.R., Johnson, J.A., Eber, H.W., Hogan, R., Ashton, M.C. et al. (2006). The international personality item pool and the future of public-domain personality measures. Journal of Research in Personality, 40(1), 84–96.
  18. Gosling, S.D., Rentfrow, P.J. & Swann, W.B. (2003). A very brief measure of the big-fi ve personality domains. Journal of Research in Personality, 37(6), 504–528.
  19. Göritz, A.S. & Crutzen, R. (2012). Reminders in web-based data collection: increasing response rates at the price of retention? American Journal of Evaluation, 33, 240–250.
  20. Graaf, R. de, Have, M. ten & Dorsselaer, S. van (2010). The Netherlands Mental Health Survey and Incidence Study-2 (NEMESIS-2): Design and methods. International Journal of Methods in Psychiatric Research, 193, 125-141.
  21. Kooreman, P. & Scherpenzeel, A. (2014). High frequency body mass measurement, feedback, and health behaviors. Economics & Human Biology, 14, 141-53.
  22. LISS Immigrant-panel (2013). Migrants National Identifi cation and the National Dimension of Cultural Consumption. Longitudinal Internet Studies for the Social sciences panel administered by Centerdata, Tilburg.
  23. LISS Immigrant-panel (2014). Freedom and Liberation Day in the Netherlands. Longitudinal Internet Studies for the Social sciences panel administered by Centerdata, Tilburg.
  24. LISS-panel (2011, 2013). Nationalism and the national dimension of cultural consumption, Wave 1 and 2. Longitudinal Internet Studies for the Social sciences panel administered by CentERdata, Tilburg. LISS-panel (2014). Freedom and Liberation Day in the Netherlands. Longitudinal Internet Studies for the Social sciences panel administered by CentERdata, Tilburg.
  25. Mack, S., Huggins, V., Keathley, D. & Sunduckchi, M. (1998). Do monetary incentives improve response rates in the survey of income and program participation? Proceedings of the Section of Survey Research Methods. American Statistical Association.
  26. Meuleman, R. & Lubbers, M. (2013). Manifestations of nationalist attitudes: domestic music listening, participation in national celebrations, and far right voting. European Sociological Review, 29, 1214-1225.
  27. Meuleman, R., Lubbers, M. & Verkuyten, M. (2017). The consumption of domestic versus foreign fi lms, books and music: the role of parents and nationalist attitudes. Journal of Consumer Culture. Advanced online publication. DOI: 10.1177/1469540516648372.
  28. Millar, M.M. & Dillman, D.A. (2011). Improving response to Web and mixed-mode surveys. Public Opinion Quarterly, 75(2), 249-269. Newman, E. & Kaloupek, D.G. (2004). The risks and benefi ts of participating in trauma-focused research studies. Journal of Traumatic Stress, 17, 383–394.
  29. Newman, E. & Kaloupek, D.G. (2009). Overview of research addressing ethical dimensions of participation in traumatic stress studies: autonomy and benefi cence. Journal of Traumatic Stress, 22, 595–602.
  30. Omerov, P., Steineck, G., Dyregrov, K., Runeson, B. & Nyberg, U. (2013). The ethics of doing nothing. Suicide-bereavement and research: Ethical and methodological considerations. Psychological Medicine, 44, 3409- 3420.
  31. Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349, DOI: 10.1126/science.aac4716.
  32. Paulissen, L. & Wilsem, J. van (2015). Dat heeft iemand anders gedaan! Een studie naar slachto’ erschap en modus operandi van identiteitsfraude in Nederland. (Politiewetenschap nr. 82). Apeldoorn: Stapel & de Koning.
  33. Peters, G.J.Y., Abraham, C. & Crutzen, R. (2012). Full disclosure: doing behavioural science necessitates sharing. The European Health Psychologist, 14, 77-84.
  34. Scherpenzeel, A. & Das, M. (2011). True Longitudinal and Probability- Based Internet Panels: Evidence from the Netherlands, In: Social and Behavioral Research and the Internet: Advances in Applied Methods and Research Strategies (eds. Das, M, P. Ester, and L. Kaczmirek), New York: Taylor & Francis, pp. 77-104.
  35. Scherpenzeel, A. & Fernee, H. (2013). New and Emerging Methods. The smartphone in survey research: experiments for time use data. The Survey Statistician, 67, 19-25.
  36. Scherpenzeel, A. & Toepoel, V. (2012). Recruiting a probability sample for an online panel: E’ ects of contact mode, incentives, and information. Public Opinion Quarterly, 76(3), 470-490. Silberzahn. R. & Uhlmann, E.L. (2015). Many hands make tight work. Nature, 526, 189-191.
  37. Singer, E. & Kulka, R.A. (2002). Paying respondents for survey participation. In: Studies of Welfare Populations: Data Collection and Research Issues (eds. Ver Ploeg, M., M.A. Mo tt & C.F. Citro), Committee on National Statistics, National Research Council.
  38. Velden, P.G. van der Velden, Bosmans, M.W.G. & Scherpenzeel, A.C. (2013). The burden of research on trauma for respondents: A prospective and comparative study on respondents evaluations and predictors. PLOSONE, 8(10): e77266. doi:10.1371/journal.pone.0077266.
  39. Velden, P.G. van der, Bosmans, M.W.G., Bouman, T., Keijser, J. de, Kleber, R. & Schut, H. (2015). De belasting van longitudinaal trauma-onderzoek: een prospectieve studie naar veronderstelde en onvermoede voorspellers. De Psycholoog, 44-54.
  40. Wilsem, J. van (2013a). Hacking and Harassment—Do They Have Something in Common? Comparing Risk Factors for Online Victimization. Journal of Contemporary Criminal Justice, 29, 437-453.
  41. Wilsem, J. van (2013b) ‘Bought it, but Never Got it’. Assessing Risk Factors for Online Consumer Fraud Victimization. European Sociological Review, 29, 168-178.
  42. Wilsem, J. van (2011). Worlds tied together? Online and non-domestic routine activities and their impact on digital and traditional threat victimization. European Journal of Criminology, 8(2), 115-127.
  43. Wilsem, J. van, Paulissen & L. (2015). ‘Moral hazard’ onder slachto’ ers van identiteitsfraude? De relatie tussen schadevergoeding bij onterechte bankafschrijvingen en riskant internetgedrag. Proces, tijdschrift voor strafrechtspleging 94(2), 129-139.
  44. Wilsem, J. van, Meulen, N.S. van der & Kunst, M.J.J. (2013). Je geld kwijt, en dan? Financiële schade bij slachto’ erschap van identiteitsfraude. Tijdschrift voor Criminologie, 55, 360-374.