You are on page 1of 77

Methoden van wetenschappelijk onderzoek

Les 1 – Inleiding + niet-wetenschappelijke methoden

Waarom een vak methoden?

• Ik wil psycholoog worden, geen onderzoeker/wetenschapper!


• Maar: wetenschap is simpelweg de techniek die psychologen gebruiken om informatie te verzamelen en
interessante vragen te beantwoorden
• Indien je geïnteresseerd bent in menselijk gedrag, moet je ook geïnteresseerd zijn in de methoden die
gebruikt worden om menselijk gedrag te bestuderen
• Kennis over menselijk gedrag → hoe weet men dat?
• De meeste kennis die we hebben over menselijk gedrag kwam tot stand op basis van wetenschappelijke
onderzoeksmethoden
• Dus, hoewel niet ieder van jullie zélf onderzoek zal uitvoeren, zullen jullie allemaal gebruikmaken van
psychologische kennis

• Kritische denkers! Iedere psycholoog moet kennisclaims kritisch kunnen beoordelen! Kunnen
evalueren van hoe kennis tot stand is gekomen = cruciaal

• Wat is kennis?
o Wikipedia: “Kennis is dat wat geweten en toegepast wordt door de mens of door de
maatschappij als geheel, veel van de menselijke activiteit vereist specifieke kennis, ervaring
en vaardigheid”
o Gezond verstand VS wetenschappelijke kennis → verschillen in HOE de kennis tot stand
kwam (i.e., methode)

• Psychologen moeten interessante vragen kunnen beantwoorden


• Psychologen moeten de methode die gebruikt werd om interessante vragen te beantwoorden, om tot
kennisclaims te komen, kritisch kunnen evalueren
• Een vak methoden is dus cruciaal in onze opleiding!

• Hoe kunnen we interessante vragen beantwoorden?


• Op basis van niet-wetenschappelijke methoden
• Op basis van de wetenschappelijke methode

Niet-wetenschappelijke methoden om kennis te vergaren

Vasthoudendheid (tenacity)
• We accepteren informatie als waar, omdat het altijd al zo geweest is of omdat bijgeloof de informatie
ondersteunt
Gebaseerd op gewoonte of bijgeloof
• We geloven iets omdat we het altijd al geloofd hebben, clichés
(e.g., “tegengestelden trekken elkaar aan”)
• of omdat bepaalde overtuigingen worden voorgesteld als feiten
(e.g., “een spiegel breken levert 7 jaar ongeluk op”)

MAAR: info kan foutief zijn en het corrigeren is zeer moeilijk

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 1


Intuïtie
• We accepteren informatie als waar, omdat dit “juist aanvoelt”
Gebaseerd op buikgevoel, voorgevoel of instinct
• Snelle manier om vragen te beantwoorden
• Vaak gebruikt als we over geen enkele info beschikken
• Ethische vraagstukken of morele dilemma’s worden vaak opgelost met de methode van intuïtie
• E.g., “ik voel aan dat mijn vriend een slechte dag heeft”

MAAR: geen enkele manier om accurate en foutieve info te onderscheiden

Autoriteit
• We accepteren informatie als waar, omdat de informatie afkomstig is van een expert rond dat
onderwerp

Gebaseerd op vertrouwen in een autoriteit, expert

• Consulteren van een expert, het werk lezen van een expert, “Google it”, boeken, TV, internet, etc.
• Vaak een prima startpunt om kennis te vergaren, snel en makkelijk
• Omvat ook de methode van geloof: blind vertrouwen in een autoriteitsfiguur waardoor we diens info
accepteren zonder twijfel of toetsing

MAAR: levert niet altijd accurate info op: experts kunnen gebiast zijn, info kan een subjectieve opinie
reflecteren, expertise wordt gegeneraliseerd naar andere domeinen, de expertise wordt niet in vraag
gesteld, expert is niet echt een expert

Rationalisme

Antwoorden zoeken door logisch te redeneren

• We vertrekken van een set gekende feiten of assumpties (= premissen) en gebruiken logica om tot
een conclusie of antwoord te komen

• Voorbeeld:
Premissen − Een angstaanjagende ervaring met een hond veroorzaakt angst
voor honden in de toekomst
− Amy heeft angst voor honden

Logische conclusie − Dus, Amy heeft een angstaanjagende ervaring met een hond gehad

• Indien de premissen waar zijn en de gehanteerde logica is correct, dan is de conclusie sowieso correct
• Let op: de rationale methode start pas NA de premissen
• Geen info verzameld, geen observaties, geen evidentie, etc.
• Vaak gebruikt om alternatieven logisch af te wegen, zonder alle mogelijkheden ook daadwerkelijk uit te
proberen (e.g., op de dag van een examen is je auto stuk: wat zijn mogelijke alternatieven om tijdig op
het examen te geraken?)

MAAR: Alles valt of staat bij de juistheid van de premissen (e.g., een angstaanjagende ervaring met een
hond veroorzaakt angst voor honden in de toekomst)

• Alles valt of staat bij de juistheid van het logisch redeneren, maar we zijn niet zo goed in logisch
redeneren

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 2


Empirie
• Antwoorden zoeken door directe observatie of directe sensorische ervaring
• “Alle kennis wordt verworven door de zintuigen”
• E.g., “in de zomer is het warmer dan in de winter”
• Veel antwoorden zijn beschikbaar door de wereld rond ons te observeren

MAAR:

• Onze waarneming en interpretatie van de wereld rond ons zijn niet altijd correct
• Sensorische ervaring kan ons misleiden (e.g., visuele illusies)
• Invloed van voorkennis, verwachtingen, gevoelens, overtuigingen op perceptie
• Misinterpretatie van sensorische ervaring
• Kost tijd: met de empirische methode ga je bij een probleem verschillende oplossingen uitproberen (
→ rationele methode) = trial-and-error
• Kan gevaarlijk zijn (e.g., zijn deze paddenstoelen eetbaar of giftig?)

Overzicht: Niet-wetenschappelijke methoden

• Vasthoudendheid Niet-kritische technieken, nuttig voor het snel


(tenacity) beantwoorden van vragen die geen belangrijke
• Intuïtie consequenties hebben indien een fout antwoord
• Autoriteit geaccepteerd wordt

• Rationalisme Stellen meer eisen aan de info en antwoorden die


• Empirie ze produceren. Cruciale componenten van de
wetenschappelijke methode

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 3


Les 2 – Wetenschappelijke methode + empirische cirkel (1)

Wetenschappelijke methode

• = Manier om kennis te vergaren waarbij specifieke vragen geformuleerd worden en er vervolgens


systematisch naar antwoorden gezocht wordt
• Bevat verschillende elementen van de niet-wetenschappelijke methoden
• Deze combinatie tracht de beperkingen van individuele methoden te vermijden
• Doel = zo accuraat mogelijke antwoorden bekomen

• Bevat verschillende stappen:

STAP 1: • OBSERVATIE van gedrag of andere fenomenen


• Trekt je aandacht, roept vragen op
• Vaak informeel, natuurlijk, niet gepland, niet systematisch
Observatie • Direct of indirect
• Voorb: Stephens, Atkins & Kingston (2009) merkten op dat ze vloeken telkens ze
pijn ervaren
• Vaak worden de observaties gegeneraliseerd → inductie: op basis van enkele
observaties wordt een algemene conclusie bereikt
• Voorb: vloeken is een gebruikelijke, bijna universele, reactie op pijn

STAP 2: • Identificatie van variabelen die geassocieerd zijn met je observatie


• Variabelen: karakteristieken of condities die variëren binnen en/of tussen
Hypothese verschillende personen (e.g., leeftijd, gezondheidstoestand, persoonlijkheid,
vormen intelligentie, etc.)
• Je observaties kunnen beïnvloed worden door verschillende variabelen en deze
kunnen de observatie (deels) verklaren
• Voorb: de geobserveerde relatie tussen pijn en vloeken kan beïnvloed worden
door verschillende andere variabelen (acute versus chronische pijn, alleen of in
aanwezigheid van anderen, persoonlijkheid, etc.)

• Selecteer één van de mogelijke verklaringen voor de observatie die je gaat


evalueren in een wetenschappelijke studie = HYPOTHESE
• Bevat een beschrijving/verklaring van een relatie tussen variabelen
• Andere mogelijke verklaringen worden niet ontkend, maar (voorlopig) niet
opgenomen
• Geen definitieve verklaring, maar een mogelijke, voorlopige verklaring die
getest en kritisch geëvalueerd moet worden
• Voorb: vloeken is een gebruikelijke reactie op pijn omdat het vloeken de ervaring
van pijn wijzigt en de ervaren intensiteit van de pijn vermindert

STAP 3: • Hypothese toepassen op een specifieke, observeerbare situatie


• Eén hypothese kan aanleiding geven tot verschillende predicties
Predicties • Elke predictie verwijst naar een specifieke situatie/gebeurtenis die kan gemeten
vormen en geobserveerd worden
• Predicties moeten toetsbaar zijn: het moet mogelijk zijn om de predictie te
ondersteunen of weerleggen obv observaties
• We vormen predicties op basis van deductie: op basis van een algemene
stelling bereiken we conclusies over specifieke voorbeelden
• Deductie is een logisch proces (rationele methode)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 4


• Voorbeeld:
Hypothese voorb: vloeken is een gebruikelijke reactie op pijn omdat het vloeken
de ervaring van pijn wijzigt en de ervaren intensiteit van de pijn vermindert

- Predictie 1: participanten zouden minder responsief moeten zijn voor pijn


wanneer ze vloeken dan wanneer ze niet vloeken
- Predictie 2: participanten zouden een verhoogde pijntolerantie moeten hebben
wanneer ze vloeken dan wanneer ze niet vloeken

STAP 4: • EVALUEER de predictie obv systematische, geplande observatie (empirische


methode)
Evaluatie van • Hier vindt het eigenlijke onderzoek of dataverzameling plaats
predictie door • Doel = faire en niet-gebiaste test van de onderzoekshypothese door te
de empirische observeren of de predictie correct is
methode • Los van subjectieve interpretatie en verwachtingen
• Voorb: participanten moesten een hand in ijskoud water onderdompelen en er
werd gemeten hoe lang ze dit konden volhouden (pijn tolerantie). In één conditie
herhaalden de participanten een vloekwoord en in de andere conditie
herhaalden ze een neutraal woord

STAP 5: • Gebruik de observaties om de hypothese te ONDERSTEUNEN,


WEERLEGGEN of HERSPECIFIËREN
• Vergelijk observaties met predicties gebaseerd op hypothese
Weerlegging / • Terug naar STAP 2: hypothesevorming
ondersteuning/ • Voorb: sommige participanten vertoonden inderdaad een langere pijn
herspecifiëren tolerantie wanneer ze vloekten, maar sommigen vertoonden dit niet →
van predictie andere variabelen moeten in rekening gebracht worden (persoonlijkheid,
neiging tot vloeken, etc.)

🡳 🡳 🡳 🡳 🡳
• Serie van stappen die steeds opnieuw doorlopen worden
• Observatie → hypothese → predictie → observatie → hypothese → etc.
• Circulair proces

• Drie belangrijke principes van de wetenschappelijke methode:


1. Wetenschap is empirisch: we zoeken antwoorden obv gestructureerde en systematische
observaties
▪ Observaties zijn zo gestructureerd dat ze duidelijke ondersteuning of weerleging van de
hypothese bieden
▪ Observaties zijn systematisch in de zin dat ze uitgevoerd worden in een set van condities
zodat we onze vraag accuraat kunnen beantwoorden

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 5


2. Wetenschap is openbaar: de observaties zijn beschikbaar voor de evaluaties van anderen (e.g.,
andere wetenschappers)
▪ Anderen moeten exact hetzelfde stap-voor-stap proces kunnen herhalen = replicatie
▪ Verzekert verifieerbaarheid van observaties
▪ Hoe? Publicaties in wetenschappelijke tijdschriften, presentaties op wetenschappelijke
congressen, open data (zie later)
▪ Peer review
▪ Vergt een gedetailleerde beschrijving van de methode (cf. master thesis)
▪ Laat toe om observaties te repliceren en zo bevindingen te bevestigen (of weerleggen)

3. Wetenschap is objectief
▪ De overtuigingen en biases van de onderzoeker mogen geen invloed hebben op de
resultaten van de studie
▪ Geloof in een bepaalde theorie, verwachtingen over het resultaat van een studie
▪ Soms gebruiken we daarom blinde procedures, waarbij de onderzoekers die de
observaties verzamelen blind zijn voor de details van de studie

• Wetenschap versus pseudowetenschap


o Ontbreken van empirische evidentie (e.g., astrologie, aromatherapie)
o Geen toetsbare en weerlegbare hypotheses (evidentie tegen de theorie wordt genegeerd)
o Gebaseerd op subjectief bewijs (“handpicking” van succesverhalen)
o Stagneert, blijft onveranderd door de jaren heen
o Niet gegrond in vorig onderzoek

Overzicht: Wetenschappelijke methode

Proces: Observatie → hypothese → predictie → observatie → hypothese → etc.

Criteria: empirisch, openbaar en objectief

De empirische cyclus

• = onderzoeksproces , manier waarop de wetenschappelijke methode toegepast wordt om een


interessante vraag te beantwoorden
• Van algemeen idee tot dataverzameling tot interpretatie van resultaten
• Verschillende stappen waarbij je als onderzoeker bij elke stap beslissingen moet nemen
• Elke beslissing heeft voor- en nadelen
• Dit is het “geraamte” voor de rest van wat we het 1 e semester nog zullen behandelen

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 6


De empirische cyclus:

• Bevat verschillende stappen:

STAP 1: • Ontwikkelen van een onderzoeksidee, een interessante vraag


• Selecteren van een algemeen thema (e.g., angst, pijn, aandacht, geheugen,
Onderzoeks- management stijlen, etc.)
idee • Review van de wetenschappelijke literatuur
ontwikkelen • Vertrek van intrinsieke interesse!
• Dit algemeen startpunt zal verder evolueren tijdens het raadplegen van
literatuur tot een specifieke onderzoeksvraag
• Tijdens dit proces zal je ook kennis verwerven omtrent de variabelen die
binnen dit thema onderzocht worden en hoe ze gerelateerd zijn aan elkaar

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 7


STAP 2 • Op basis van jouw onderzoeksvraag en de relevante wetenschappelijke
Hypothese literatuur (onderbouwd!) een hypothese vormen
vormen • Geeft een voorlopig antwoord op de onderzoeksvraag

STAP 3: • Bepaal hoe je jouw variabelen zal definiëren en meten


• Zo dat je ze kan meten adhv empirische observatie
Variabelen • Kan gebaseerd zijn op wetenschappelijke literatuur
bepalen • Voorb: hoe gaan we pijnintensiteit definiëren en meten (e.g., pijntolerantie
gebruiken door te meten hoe lang participanten hun hand in ijskoud water
kunnen houden)? Wat is intense pijn en milde pijn? Hoe gaan we vloeken
meten? Etc.
• Eens de variabelen gedefinieerd zijn: hypothese vertalen in predictie(s)
• Hou rekening met je participanten (STAP 4)

STAP 4: • Identificeer de participanten (deelnemers) voor de studie


• Wie? In- en exclusie (effect op generaliseerbaarheid)
Participanten • Hoeveel? Sample size berekening, power
uitkiezen • Hoe/waar recruteren?
• Ethisch omgaan met participanten!

STAP 5: • Selecteer een onderzoeksstrategie


• Algemene aanpak om je hypothese te evalueren
Onderzoeks- • Experiment, survey, case study, etc.
strategie • Bepaald door:
bepalen • Het type vraag: verschillende vragen vergen soms verschillende
onderzoeksstrategieën
Voorb: leidt vloeken tot een hogere pijntolerantie VS leidt vloeken tot een
subjectieve vermindering van pijn
• Ethiek en andere beperkingen (e.g., beschikbare apparatuur)

STAP 6: • selecteer een onderzoeksdesign: specifieke methodes en procedures


Onderzoeks- E.g., welke condities ga je nodig hebben? Observatie op 1 moment of
design bepalen herhaaldelijk? Binnen-groep of tussen-groep design? Etc.

STAP 7: • Voer de studie uit: dataverzameling: in groep of individueel? In welke


Data- omgeving? Implementeer alle vorige beslissingen!
verzameling
STAP 8: • Evalueer de data obv statistische methodes (zie vakken statistiek)
Data-analyse
STAP 9: • Rapporteer de resultaten: openbaar! Wetenschappelijk artikel, maar ook data
Rapporteren bijvoorbeeld openbaar delen → studie wordt deel van de “general knowledge
base” en anderen kunnen de procedure repliceren of weerleggen (psychologie:
APA style)

STAP 10: • Verfijn of herformuleer je onderzoeksidee


Herevalueer • Onderzoek genereert vaak meer vragen dan dat het beantwoordt
onderzoeksidee • Hypothese bevestigd:
en hypothese • Onderzoek de grenzen van het resultaat (geldt dit nog steeds voor een andere
doelgroep? Geldt dit nog steeds als ik een bijkomende variabele in het design
opneem?)
• Verfijn de originele onderzoeksvraag: Wat veroorzaakt mijn resultaat? Wat is
het onderliggende mechanisme? (Waarom ipv Wat)
• Hypothese weerlegd (“negatieve resultaten”): premissen bijstellen

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 8


Hypothese formuleren: empirische cyclus, stap 2

• Op basis van je interessante vraag


• Voorlopig antwoord op de vraag
• De resultaten van een empirische studie zullen de hypothese ondersteunen of weerleggen

• Wat is een goede hypothese?


Logisch • Hypothese moet een logische conclusie zijn van een logisch argument:
o Argument: (= premissen)
▪ Academisch succes wordt sterk gewaardeerd en gerespecteerd in
de gemeenschap door ouders en leerkrachten
▪ Gewaardeerd en gerespecteerd worden door anderen draagt bij
tot sterker gevoel van eigenwaarde

o Logische conclusie: (= hypothese)


▪ Hogere niveaus van academisch succes zullen gerelateerd zijn aan
sterker gevoel van eigenwaarde

toetsbaar • Alle variabelen, gebeurtenissen en individuen betrokken in een hypothese moeten


geobserveerd en gemeten kunnen worden
• Geen hypotheses over imaginaire of hypothetische situaties
• Het gaat om echte situaties, echte gebeurtenissen, echte individuen

Weerlegbaar • Het moet mogelijk zijn om onderzoeksresultaten te bekomen die omgekeerd zijn
aan de hypothese
• Falsifieerbaar
• Hypothesen waarvan het onmogelijk is om aan te tonen dat ze foutief zijn, zijn
niet geschikt voor de wetenschappelijke methode
• Oppassen met waardeoordelen, morele of religieuze zaken, hypothetische
situaties
• Maar: ook deze thema’s kunnen onderzocht worden zolang er een toetsbare en
weerlegbare hypothese wordt geformuleerd

positief • De hypothese is “positief” geformuleerd


• Bevat een stelling over het bestaan/aanwezigheid van iets (e.g., het bestaan van
een relatie, een verschil, een effect)
• Geen hypotheses over de afwezigheid van iets (geen relatie, geen verschil, geen
effect) → niet toetsbaar!

BESLUIT 1
• Onderzoek start met interessante ideeën
• Wij gebruiken de wetenschappelijke methode om ze te beantwoorden
• Een onderzoeksproces volgt de empirische cyclus
• Onderzoek is nooit “af”, onderzoek levert geen finale antwoorden
• Elke onderzoeksvraag kan uitgedaagd worden

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 9


Les 3 – Variabelen definiëren (empirische cyclus, stap 3)

• Variabele= kenmerken of condities die veranderen voor verschillende individuen of situaties

• Mogelijke doelen = impact van variabele(n) op andere variabele(n) meten of nagaan groepen
individuen verschillen mbt bepaalde variabele(n)

• Voorbeelden:
o effect van therapie op depressieve symptomen, verschil in job satisfactie van arbeiders VS
bedienden in een bedrijf,
o effect van onderwijsstijl op schools presteren
o invloed van alcohol op rijgedrag
o verschil in reactietijd op makkelijke versus moeilijke taak

• Onafhankelijke variabele of predictor (X)


o De verwachte oorzaak
o De voorspellende/verklarende variabele
o Variabele die gemanipuleerd wordt (in experimenten)

• Afhankelijke variabele of outcome (Y)


o Het verwachte effect
o De variabele die voorspeld/verklaard wordt
o Variabele die gemeten wordt, niet gemanipuleerd (in experimenten)

SPSS
Hypothese: Meer uren wiskunde gevolgd in het secundair onderwijs voorspelt
hogere scores op Statistiek I bij studenten
→ Variabelen gedefinieerd!
→ Stel: steekproef van 10 studenten (N = 10), we meten onze variabelen
→ Hoe ziet de datastructuur er dan uit?
→ SPSS video

Constructen en operationele definities:


• Concrete variabelen (e.g., lengte, leeftijd, uren wiskunde, score op statistiek): makkelijk te definiëren,
direct observeerbaar, eenvoudig te meten
• Abstracte variabelen (e.g., motivatie, persoonlijkheid, leerstijl): niet direct observeerbaar, complexer om
te meten
→ Voorb.: een intelligent kind presteert slecht op school omdat ze “lage motivatie” heeft
→ Wat is motivatie? Hoe meten we dat? Hoe weten we dat dat “laag” is?
• In de psychologie zullen veel variabelen hypothetische entiteiten zijn die we creëren op basis van
theorie en speculatie = constructen

• Theorie = set stellingen over mechanismen onderliggend aan een bepaald gedrag. Een theorie
organiseert en integreert verschillende observaties rond dit gedrag en de relatie met andere variabelen.
Een goede theorie genereert predicties over het gedrag

• Constructen = hypothetische entiteiten die het gedrag in een theorie helpen verklaren en voorspellen

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 10


• Constructen kunnen vaak niet direct geobserveerd worden, maar we kunnen de factoren die het
construct beïnvloeden (externe stimuli) en het gedrag dat door het construct beïnvloed wordt (extern
gedrag) meten
• Externe stimuli → construct → extern gedrag
o Voorbeeld: Beloning (meetbaar) → motivatie → prestatie (meetbaar)

• DUS: we gaan de constructen indirect meten adhv de externe stimuli en gedragingen die ermee
verbonden zijn!

• Operationele definitie = procedure om indirect variabelen te meten en definiëren die niet direct
meetbaar zijn. Specifieert een manier om extern, observeerbaar gedrag te meten en gebruikt vervolgens
dit gedrag als definitie en meting van het hypothetisch construct

Toepassing: Intelligentie → hypothetisch construct, niet direct observeerbaar/meetbaar!

• MAAR: Intelligentie zal extern gedrag beïnvloeden dat wél observeerbaar/meetbaar is (e.g.,
prestatie op taken)
• IQ test: meet extern gedrag, nl. antwoorden op vragen
• We gebruiken de IQ test als operationele definitie van intelligentie: er bestaat een procedure om
de test af te nemen en te scoren, en we gebruiken de geobserveerde score als definitie en
meting van “intelligentie”
• Eigenlijk meet IQ-test dus “intelligent GEDRAG”, maar we gebruiken de score om “intelligentie”
te meten en definiëren

• IQ-test om intelligentie te “operationaliseren”

• Andere voorbeelden:
o Persoonlijkheidstest om extraversie te operationaliseren
o Aantal woorden van een lijst onthouden om lange termijn geheugen te operationaliseren
o Examen om kennis te operationaliseren

• Vaak verschillende operationaliseringen mogelijk: honger kunnen we operationaliseren adhv “aantal uur
niet gegeten” of “aantal gram voedsel gegeten”

• Hoe je constructen gaat operationaliseren is een belangrijke keuze!

• LET OP!
o Operationaliseringen zijn NIET hetzelfde als het construct zelf!
o We meten externe manifestaties, gedrag waarvan we HOPEN dat die een goede indicator zijn
van de onderliggende constructen
o Kwaliteit van de operationele definities en van de metingen die ze opleveren zijn dus cruciaal
o Voorb: examen om kennis te operationaliseren, maar wat als student die dag ziek/vermoeid is?
o Probleem: operationele definities kunnen belangrijke componenten van een construct missen
OF bijkomende componenten meten die geen deel zijn van het construct

• Hoe kom je tot een operationele definitie?


o Consulteer vorig onderzoek: hoe werd een bepaald construct gemeten?
o Wees kritisch! Was dit een goede operationalisering en meting? Er zijn altijd andere procedures
mogelijk!

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 11


o Geen juist/fout, maar je moet heel wat beslissingen maken om te beslissen hoe je je variabelen
gaat meten!

Validiteit en betrouwbaarheid:
o Hoe komen we tot een goede methode om variabelen te meten?
o Hoe komen we tot goede operationele definities en metingen?
o Hoe goed is een meting? Hoe goed is een (meet)procedure?

• 2 algemene criteria:
o Validiteit
o Betrouwbaarheid

o Hoe? Door de consistentie van de relatie/verband tussen 2 verschillende


metingen te demonstreren

• Hoe kunnen we de consistentie tussen 2 metingen nagaan?


• Scatter plot
o Plot relaties tussen metingen/variabelen
o Plot de score van elke individu op één meting/variabele tov diens score op
de andere meting/variabele

• Correlatie
Covxy ∑ni=1(xi-x̅)(yi-y̅)
o r= =
sx sy (N-1)sx sy
o Varieert tussen -1 (perfect negatieve relatie) en +1 (perfecte positieve
relatie)
o 0 = geen relatie

Validiteit • Meet onze meting wat het beoogt te meten?


• Meet IQ-test echt intelligentie? Is een IQ-test een valide meting van
intelligentie?

Verschillende soorten validiteit


• Indruksvaliditeit (“face validity”)
o Lijkt het erop dat de meting meet wat het beoogt te meten?
o ‘Face value’, oppervlakkig
o Subjectieve beoordeling

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 12


o Voorb: gewicht meten adhv een weegschaal heeft hoge face validity

• Concurrente validiteit
o Vaak gebruikt voor nieuwe meettechnieken
o Zijn de scores die we bekomen met de nieuwe meting direct
gerelateerd aan de scores doe we bekomen met een gekende, reeds
gevalideerde methode?

o Voorb: nieuwe IQ test meet echt intelligentie, aangezien de scores op


de nieuwe test individuen op dezelfde manier differentiëren dan de
scores op een standaard IQ-test

• Predictieve validiteit
o Aangetoond wanneer de metingen van een construct accuraat het
gedrag voorspellen (op basis van een theorie)
o Kan de meting voorspellen wat het volgens de theorie moet kunnen
voorspellen?

o Voorb: meting om kinderen die risico hebben op ontwikkelen


dyscalculie al vroeg te identificeren. Later nagaan hoe accuraat de
voorspelling was

• Construct validiteit
o Gedraagt onze meting zich zoals we verwachten dat het construct
zich gedraagt (op basis van wetenschappelijke literatuur)

o Voorb: je hebt een meting voor agressie. Uit vorig onderzoek weten we
dat agressie gerelateerd is aan de buitentemperatuur → hangt onze
meting ook samen met temperatuur?
o Nooit absoluut!

• Convergente validiteit
o Verschillende metingen van hetzelfde construct convergeren,
produceren sterk gerelateerde scores

• Divergente validiteit
o Metingen van verschillende constructen zijn weinig of niet
gerelateerd aan elkaar
o Het construct dat we meten overlapt niet met andere constructen

→ Vaak combinatie van convergente en divergente validiteit!

betrouwbaarheid • Een meetprocedure is betrouwbaar wanneer ze (bijna) identieke resultaten


oplevert wanneer ze herhaaldelijk gebruikt wordt om hetzelfde individu onder
dezelfde condities/omstandigheden te meten

• Consistentie van de metingen bekomen met een specifieke meetprocedure


o Gemeten score = Ware score + Fout

• De fout component varieert van de ene meting naar de andere

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 13


• Over een groot aantal metingen heen moet de som van de fouten = 0
• Indien fout component klein en de scores over verschillende metingen heen
dus vrij consistent, zijn de metingen betrouwbaar
• Wat als de fout component groot is?
o Voorb: reactietijd
o Hoe snel je een kleur benoemt zal erg schommelen van trial tot trial
o Effect van dagdromen, aandacht, etc.

• Fout is groot, dus lage betrouwbaarheid!


• Oplossing? Reactietijd niet 1 keer meten, maar heel vaak (i.e., heel veel “trials”)
en het gemiddelde over de trials gebruiken als meer stabiele maat voor
reactietijd

• Fout kan uit verschillende bronnen komen:


o Proefleider (“Observer”): verwachtingen, menselijk oordeel
o Omgeving: omstandigheden waarin individu gemeten wordt zijn nooit
identiek (e.g., tijdstip, seizoen, belichting, etc.)
o Participant: participanten veranderen tussen metingen (e.g., focus,
aandacht, honger, nachtrust, gezondheidstoestand, etc.)

• Types betrouwbaarheid:
o Test-hertest betrouwbaarheid: in hoeverre geeft dezelfde
meetprocedure dezelfde resultaten bij dezelfde groep participanten op
verschillende tijdstippen? E.g., correlatie tussen scores op moment 1 en
scores op moment 2

o Interbeoordelaarsovereenstemming: in hoeverre geeft dezelfde


meetprocedure dezelfde resultaten bij dezelfde groep participanten
gemeten door verschillende beoordelaars/proefleiders? E.g., correlatie
tussen scores van beoordelaar 1 en scores van beoordelaar 2

o Interne consistentie: in hoeverre is er consistentie tussen vragen/items


die samen 1 construct meten? E.g., split-half betrouwbaarheid: items in 2
delen splitsen en correlatie tussen de scores op beide helften berekenen

Relatie tussen validiteit en betrouwbaarheid


• Betrouwbaarheid is een voorwaarde voor validiteit: een meetprocedure kan nooit valide zijn als
ze niet betrouwbaar is
o Voorb: IQ-test meting 1 = 75, IQ-test meting 2 = 160

→ onbetrouwbaar, maar deze metingen zijn geen goede operationalisering van intelligentie
→ niet valide

• Een meting hoeft niet valide te zijn om betrouwbaar te kunnen zijn


o Voorb: intelligentie operationaliseren adhv lengte: uiteraard niet valide, maar wel betrouwbaar
(scores zullen zeer consistent zijn over metingen heen)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 14


Meetschalen

• Meten = procedure om individuen toe te wijzen aan categorieën


• Set van categorieën = meetschaal
• Type meetschaal hangt af van de relatie die er bestaat tussen de categorieën waaruit de meetschaal
bestaat en de informatie die elke meting oplevert
• 4 meetschalen

Nominaal • Categorieën = kwalitatieve (geen kwantitatieve) verschillen binnen de gemeten


variabele
• Categorieën hebben verschillende namen, maar geen systematische
samenhang tussen de categorieën
• Laat enkel toe om na te gaan of individuen gelijk zijn of verschillend (gelijkheid)

• MAAR:
o zegt niets over de richting van verschillen tussen individuen (geen
meer/minder uitspraken)
o zegt niets over de grootte van de verschillen tussen individuen

• Voorb.: geslacht, beroep, studierichting, diersoort, hobby's, etc.

Ordinaal • Categorieën hebben verschillende namen en zijn georganiseerd in een


geordende reeks
• Er bestaat dus een directionele relatie tussen de categorieën
• Laat enkel toe om na te gaan of individuen gelijk zijn of verschillend én wat de
richting is van verschillen tussen individuen (meer/minder uitspraken; orde)

• MAAR:
o zegt niets over de grootte van de verschillen tussen individuen

• Voorb.: opleidingsniveau, kledingmaat, afstudeergraad (voldoende,


onderscheiding, etc.)

Interval • Categorieën zijn sequentieel georganiseerd én alle categorieën hebben


dezelfde grootte
• Meetschaal bestaat dus uit een serie van identieke intervallen (cf. meetlat)
• Het is dus mogelijk om de afstand tussen 2 punten op de schaal te bepalen en
dus iets te zeggen over de grootte van de verschillen (verhouding van verschil)
tussen individuen
• Gelijke intervallen op de meetschaal representeren gelijke verschillen in de
gemeten variabele

• MAAR:
o geen absoluut nulpunt, nulpunt is arbitrair, duidt niet de afwezigheid
van de gemeten variabele aan (e.g., 0° ≠ geen temperatuur)

• Voorb.: temperatuur (39° VS 37° is identiek aan 25° VS 23°)

Ratio • Idem als interval meetschaal, maar absoluut, niet-arbitrair nulpunt


• Nulpunt duidt de afwezigheid van de gemeten variabele aan
• Betekent dat we de afstand tot 0 kunnen berekenen (i.e., absolute hoeveelheid
van de variabele)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 15


• Laat ons toe om metingen te vergelijking in ratio’s (verhouding)

• Voorb: een score van 10/20 is de helft van een score van 20/20 op een examen
• Voorb: score op examen, hoeveelheden in liter/meter, lengte, gewicht, reactietijd

Verschil tussen ratio- en intervalmeetschaal:


• LET OP: welke meetschaal je variabele heeft hangt ook af van de keuzes die jij als onderzoeker maakt!
→ keuze van het nulpunt

• Voorb:
Interval Ratio
• Gewicht in kg waarbij 0 = gemiddelde • Gewicht in kg waarbij 0kg = geen gewicht →
gewicht van de leeftijdsgroep → interval (een ratio (een baby van 5 kg weegt dubbel
baby die +5kg meer weegt dan het zoveel als een baby van 2.5kg)
gemiddelde weegt niet dubbel zoveel als een
baby van +2.5kg)

o In beide gevallen is 5 wel 2.5 meer dan 2.5! Beide meetniveaus kunnen dus uitspraak doen over
de afstanden tussen metingen, maar enkel ratio niveau laat interpretatie in ratio’s toe

o Afstanden meten is meestal belangrijker dan ratio’s meten, waardoor het onderscheid tussen
deze 2 meetniveaus weinig praktische relevantie heeft

• LET OP: soms is het niet duidelijk tot welke meetschaal een meting behoort!
o Voorb: IQ?
▪ Lijkt interval meetschaal te hebben
▪ MAAR: is het verschil tussen IQ 85 en IQ 86 (1 IQ punt) gelijk het verschil tussen IQ 145
en IQ 146 (1 IQ punt) → is 1 punt over de hele schaal identiek?

o Voorb: Beoordelingsschalen

1 2 3 4 5
helemaal niet akkoord – eerder niet akkoord – neutraal – eerder akkoord – helemaal akkoord

▪ MAAR: is de afstand tussen 1-2 identiek aan de afstand tussen 4-5?

• Oplossing? Onderzoek behandelt dit soort ambigue variabelen als interval meetniveau

Gevolgen van meetschalen:


• Verschillen tussen meetschalen kan enorme gevolgen hebben!
• Impact op de interpretatie van de scores
o Hypothese: A is verschillend van B (gelijkheid) → alle meetniveaus OK
o Hypothese: A is meer dan B (orde) → nominale meetschaal is niet mogelijk!
o Hypothese: A is 5 meer dan B (verhouding van verschil) → nominale en ordinale meetschaal zijn
niet mogelijk!
• Interval/ratio meetschalen laten toe om meer complexe berekeningen uit te voeren (berekenen
gemiddelden, varianties, etc.)
→ Keuze van de meetschaal hangt af van wat je wil meten, hypothese!

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 16


Meetmodaliteiten
• Voorbeeld: angst voor spinnen → hoe construct meten?
o Zelfrapportage: hoe angstig voelt u zich bij het zien van een spin?
o Fysiologie: hartslag meten tijdens het bekijken van een filmpje van een spin
o Gedrag: vragen aan participanten spin aan te raken

• Voor we dus een operationele definitie kunnen ontwikkelen voor het construct, moeten we eerst
bepalen welke externe expressie we gaan gebruiken om het te definiëren/meten

Zelfrapportage • Ja/nee vraag, beoordelingsschaal, vragenlijst, etc.


• Voordeel:
o directe manier om het construct te bevragen, individu als expert over
zichzelf

• Nadeel:
o subjectief, sociale wenselijkheid, invloed van
proefleider/instructies/omgeving, verstoorde antwoorden op gevoelige
vragen, etc.
o impact op validiteit!

Fysiologie • Reacties van het lichaam als manifestaties van een onderliggend construct
• Angst → verhoogde hartslag en zweten (kan je meten adhv huidgeleiding)
• Voorbeelden : EEG, fMRI, PET, pupil dilation, etc.

• Voordeel:
o zeer objectief
• Nadeel:
o apparatuur nodig, kan leiden tot artificiële context
o Wat met validiteit? Veel fysiologische responsen zijn gelinkt aan
verschillende constructen (e.g., verhoogde hartslag → angst, arousal,
inspanning, etc.)
→ Meten deze metingen wel wat ze beogen te meten?

Gedragsmaten • Constructen tonen zich vaak in gedrag dat observaarbaar en meetbaar is


o Voorb: reactietijd, aantal woorden correct herinnerd, prestatie op IQ-test, etc.
• Gedrag kan ook het construct zelf zijn en dus direct observeerbaar/meetbaar (e.g.,
storend gedrag in de klas bij meisjes VS jongens)
• Voordeel:
o Zeer breed! Veel keuzemogelijkheden afhankelijk van de precieze situatie,
hypothese, etc.
• Nadeel:
o kan tijdelijk of situationeel bepaald zijn
→ meerdere gedragsmaten combineren

Besluit 2:
• rekening houden met validiteit, betrouwbaarheid, meetschaal, meetmodaliteit
• Verschillende andere factoren moeten ook in rekening worden gebracht!
• Goede beslissingen nemen rond deze factoren verhoogt de kans op het ontwikkelen van een goede
wetenschappelijke studie

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 17


Andere aspecten van meten:

Multipele • Meerdere metingen om een construct te meten


metingen • Voorb: om het effect van angsttraining te meten bevragen we zelfgerapporteerde
angst én meten we de hartslag
• Voordeel:
o verhoogt validiteit
• Nadeel:
o statistische analyses worden complexer, metingen kunnen elkaar
tegengespreken (e.g., wat als zelfgerapporteerde angst daalt maar hartslag
niet?)

Sensitiviteit • Metingen moeten sensitief genoeg zijn om het type en de grootte van de
verwachte veranderingen op te pikken
o kan men de meting wel waarnemen?
o Zeker indien de verwachte veranderingen klein/subtiel zijn

• Range effects (ceiling/floor effects): de scores zijn geclusterd aan één uiteinde
van de meting

• Voorb: participanten leggen een taak af die zo makkelijk is dat ze gemiddeld slechts
1.2% fouten maken
→ weinig ruimte voor verbetering, dus we gaan veranderingen in accuraatheid
niet kunnen oppikken met deze taak
• Voorb: depressietest bij gezonde mensen: antwoorden zullen rond de 0 liggen
→ dit zegt natuurlijk niets

• Oplossing: piloteer je studie! Test je studie eerst uit op een kleine steekproef van
representatieve individuen (= pilootstudie)

Artefacten ▪ = externe factor die de metingen kan beïnvloeden of vertekenen


▪ Bedreigt de validiteit en betrouwbaarheid van de metingen
− Proefleider bias (observer/experimenter bias):
verwachtingen kunnen metingen intentioneel of niet-
intentioneel beïnvloeden (e.g., manier waarop instructies
worden gegeven, omgang met participant)

▪ Oplossing:
gestandaardiseerde procedures (vaste instructies, scripts,
persoonlijk contact minimaliseren, single/double blinde
experimenten)

▪ Vraagkarakteristieken (“Demand characteristics”) en participant


reactiviteit
− Participanten die weten dat ze geobserveerd/gemeten
worden kunnen onverwacht reageren

− De onderzoeksomgeving geeft vaak cues


(vraagkarakteristieken) die suggereren wat het
doel/hypothese is van de studie en welk gedrag gepast is of
verwacht wordt

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 18


− Invloed op metingen! Deelname aan een studie “verlangt”
van de participant dat hij/zij meewerkt en instructies volgt,
zelfs als dat indruist tegen gebruikelijk gedrag
− gevaar voor validiteit en betrouwbaarheid

▪ 4 verschillende subject rollen:


− Good subject rol: trachten om gedrag te stellen dat de
hypothese van de proefleider bevestigt

− Negative subject rol: trachten om gedrag te stellen dat de


hypothese van de proefleider ontkracht

− Apprehensive subject rol: trachten zich sociaal wenselijk te


gedragen in plaats van waarheidsgetrouw

− Faithful subject rol: volgen de instructies trouw op en laten


zich niet beïnvloeden door hun vermoedens omtrent de
hypothese van de studie

▪ Vooral een probleem in laboratorium studies, omdat participanten


er zich hier heel bewust van zijn dat ze deelnemen aan een studie

▪ Soms minder een probleem in veldstudies, waar participanten


geobserveerd/gemeten worden in hun natuurlijke omgeving
waardoor ze minder reactief zijn

▪ Andere oplossing: misleiding (deception), maar vergt ethische


reflectie

▪ Stel de participant gerust dat zijn/haar deelname anoniem en


vertrouwelijk is en moedig aan om eerlijke antwoorden te geven
(“reassure and relax”)

Conclusie 3:
• Keuze van de meetprocedure omvat verschillende beslissingen
• Elke beslissing heeft implicaties voor de resultaten van de studie
• Weeg dus alle opties goed af wanneer je zelf een studie ontwikkelt of wanneer je kritisch de methoden
van anderen leest (e.g., in wetenschappelijke literatuur)
• Beste startpunt om een methode te selecteren = vorig onderzoek die deze constructen/variabelen
gemeten hebben!
• Veel gebruikte procedures (e.g., vragenlijsten) zijn reeds beoordeeld op betrouwbaarheid en validiteit
• Selecteer metingen die voldoende sensitiviteit hebben, geschikte meetschaal, etc.

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 19


Les 4 – Participanten bepalen (empirische cyclus, stap 4)

Steekproeftrekking
• Hypothese: adolescenten vertonen vaker risicovol gedrag dan volwassenen
• We willen uitspraken kunnen doen over de gehele POPULATIE van adolescenten
• Populatie = gehele groep waarin we geïnteresseerd zijn
o (e.g., alle mensen, alle adolescenten, alle leerkrachten in Vlaanderen)

• MAAR: we kunnen niet alle adolescenten meten! We hebben geen toegang tot de totale populatie
• Oplossing: we verzamelen data van een steekproef en we veralgemenen de bevindingen naar de hele
populatie

• Steekproef: subset van individuen uit de populatie die de populatie representeert in een studie

• Als we uitspraken willen doen over de populatie adhv een steekproef, dan moet deze steekproef
representatief zijn voor de populatie!
• De steeproef moet dezelfde karakteristieken hebben dan de populatie

• Voorbeeld:
o Hypothese: kinderen uit de lagere school lezen graag
o Steekproef: kinderen uit 3 scholen buiten de stad
o Kunnen we de bevindingen van deze studie dan veralgemenen naar ALLE Vlaamse lagere
schoolkinderen?

• Indien de steekproef andere karakteristieken heeft dan de populatie (e.g., sneller, ouder, slimmer)
= steekproef BIAS
o Steekproef bias kan toevallig ontstaan
o Steekproef bias is vaak het gevolg van selectiebias → individuen worden geselecteerd op een
manier die de kans vergroot op het verkrijgen van een gebiaste steekproef
o Voorbeeld:
▪ Populatie waarover we uitspraak willen doen = volwassenen
▪ Steekproef: universiteitsstudenten, Facebook gebruikers
▪ Zijn dit representatieve steekproeven?
▪ Selectiebias komt vaak voort uit de procedure die gebruikt wordt om participanten te
selecteren

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 20


• Grote populatie (N) → kleinere steekproef (n)

• Hoe groot moet de steekproef zijn om representatief te zijn? = steekproefgrootte of sample size (n)
o Geen eenvoudig antwoord
o Algemeen: “hoe groter de steekproef, hoe accurater deze de populatie representeert”
o MAAR: ook een zeer grote steekproef kan gebiast zijn!
o Baseer je op wetenschappelijke literatuur over gelijkaardige studies
o Bereken n (cf. online calculator G*Power)

• Het “trekken” van een steekproef uit de populatie = steekproeftrekking of sampling


• Doel is steeds om een representatieve steekproef te trekken uit een populatie

• Twee categorieën van methoden van steekproeftrekking


o Probability sampling
o Nonprobability sampling

Probability sampling

• De kans (“probability”) om een specifiek individu te selecteren is gekend en kan berekend worden
• E.g.: N = 100, dan heeft elke individu 1/100 kans om geselecteerd te worden

• 3 voorwaarden:
o De exacte grootte van de populatie is gekend en het moet (theoretisch) mogelijk zijn om alle
individuen op te lijsten
o Elk individu in de populatie heeft een gespecifieerde kans om geselecteerd te worden
o Selectie moet een random proces zijn gebaseerd op de kansen

• Random proces:
o Produceert een uitkomst uit een set van mogelijke uitkomsten
o De uitkomst moet elke keer opnieuw onvoorspelbaar zijn
o Elke mogelijke uitkomst moet een gelijke kans hebben om op te treden

o Methoden:

Simple random • Elk individu in de populatie heeft evenveel kans om geselecteerd te worden
sampling • Elke selectie is onafhankelijk van de andere selecties → de selectie van één
individu heeft geen invloed op de kans om een ander individu te kiezen

• 3 stappen:
1. Definieer de populatie
2. Lijst alle leden van de populatie op
3. Gebruik een random proces om individuen uit de lijst te selecteren

• Twee methoden van random steeproeftrekking:


o Met teruglegging: individu dat geselecteerd wordt voor de steekproef
wordt als deel van de steekproef genoteerd, en dan teruggelegd in de
populatie

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 21


→ Garandeert dat de kans om geselecteerd te worden identiek
blijft doorheen het selectieproces
→ Kansen blijven constant (e.g., 1/100), waardoor
onafhankelijkheid van de selecties verzekerd is

o Zonder teruglegging: individu dat geselecteerd wordt voor de


steekproef wordt als deel van de steekproef genoteerd, en dan
verwijderd uit de populatie
→ Garandeert dat geen enkel individu meer dan 1 keer in de
steekproef voorkomt

→ Maar: bij elke verwijdering van een individu, veranderen de


kansen (e.g., 1/100, 1/99, 1/98, etc.) waardoor de selecties niet
onafhankelijk zijn

• Let op: kans bepaalt elke selectie


o Bij vele selecties levert dit een representatieve steekproef op
▪ 1000 keer munt opgooien: gemiddeld 50% kop en 50% munt
▪ 1000 mensen uit populatie trekken: ongeveer helft mannen en
helft vrouwen

o MAAR: bij slechts enkele selecties is het mogelijk dat de steekproef


niet representatief is
• slechts 5 keer munt opgooien: 5 keer kop is mogelijk (hoewel
onwaarschijnlijk)
• 10 mensen uit populatie trekken: steekproef met 10 mannen is
mogelijk

o Oplossing: bijkomende restricties opleggen (zie methoden 3 en 4)

Systematische • Gelijkaardig aan simple random sampling


sampling • Startpunt = random → zelfde procedure als simple random sampling om 1e
individu te selecteren
• Nadien: geen random proces meer om andere individuen uit de populatie te
selecteren → elk kde individu wordt geselecteerd
• k = N/n

• Voorbeeld:
o N = 100
o n = 25
o k = 100/25 = 4 → elk 4e individu wordt geselecteerd

Voorbeeld in Excel:

• Minder random
• Garandeert hoge mate van representativiteit

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 22


Gestratificeerde • Populatie bestaat vaak uit subgroepen (“strata”)
random sampling • Representatieve steekproef betekent vaak dat we willen garanderen dat elk
van de subgroepen adequaat vertegenwoordigd is in de steekproef

• 3 stappen:
o Identificeer de subgroepen
o Selecteer random steekproeven van vergelijkbare grootte uit elk van
deze subgroepen (n1 ≈ n2 ≈ n3 ≈ …)
o Combineer de subgroep steekproeven tot 1 steekproef
= gestratificeerde random steekproef

• Nuttig wanneer je groepen uit de populatie wil bestuderen en vergelijken

• Voorbeeld:
o Hypothese: mannelijke 1e bachelor Psychologie studenten presteren
beter op Statistiek I examen dan vrouwelijke 1 e bachelor Psychologie
studenten
o Simple random sampling: kans is groot dat we meer vrouwen dan
mannen in onze steekproef gaan hebben
o Oplossing: gestratificeerde random sampling om een steekproef te
bekomen met evenveel mannen en vrouwen

• Nadelen:
o Vertekend beeld van de populatie (cf. voorb hierboven)
o Elk individu uit de populatie heeft niet meer evenveel kans om
geselecteerd te worden (cf. voorb hierboven) ≠ random

Proportionele • Garandeert dat samenstelling steekproef overeenstemt met samenstelling


gestratificeerde populatie
random sampling
• 4 stappen:
1. Identificeer de subgroepen
2. Identificeer welke proportie van de populatie correspondeert met elke
subgroep
3. Selecteer random steekproeven uit elk van deze subgroepen die de
proporties respecteren van de populatie
4. Combineer de subgroep steekproeven tot 1 steekproef
= proportionele gestratificeerde random steekproef

• Voordeel: representativiteit van de populatie aanwezig


• MAAR: arbeidsintensief en subgroepen beschrijven en vergelijking soms niet
meer mogelijk

Cluster sampling • Groepen selecteren ipv individuen

• Voorbeeld: in plaats van 300 lagere schoolkinderen random te selecteren, 10


klassen selecteren met telkens 30 kinderen

• Voordeel: Snel en eenvoudig grote steekproef bekomen, metingen in groep


ipv individueel
• MAAR: onafhankelijkheid?

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 23


Nonprobability sampling

• De kans om een specifiek individu te selecteren is NIET gekend


• De grootte van de populatie niet gekend is en het is dus niet mogelijk om alle individuen op te lijsten
• De methode van selectie is gebiast, waardoor de kans op het verkrijgen van een gebiaste steekproef
groter is

• Doel = representativiteit zo veel mogelijk behouden en bias zo veel mogelijk vermijden

• Methoden:

Convenience • Vaak gebruikt in de psychologie


sampling • “Convenience”: we gebruiken de steekproef waar we toegang toe hebben, die
bereid zijn deel te nemen, etc.

• Voorbeeld: studenten die deelnemen aan experimenten voor course credit,


kinderen uit lokale school
• Oproep om deel te nemen aan survey → wie antwoordt hierop? Representatief?

• Vereist geen kennis van de hele populatie, gebruikt geen random proces

• Nadeel: Kans op steekproef bias is groot


• Voordeel: snel, goedkoop, minder tijdsintensief dan probability sampling

• Hoewel geen garantie op representatieve steekproeven, strategieën om bias zo


veel mogelijk te vermijden
o Convenience sample trachten zo representatief mogelijk te houden,
brede doorsnede (leeftijd, geslacht, etc.): studenten KU Leuven ≈
studenten UGent
o Let op met locaties met unieke, ongebruikelijke karakteristieken (e.g.,
scholen in stad VS platteland)
o Rapporteer grondig hoe de steekproef tot stand kwam zodat iedereen
de representativiteit kan beoordelen!

Quota sampling • Cf. gestratificeerde sampling, maar NIET random


• Methode om ervoor te zorgen dat subgroepen in gelijke mate gerepresenteerd
zijn in een convenience steekproef
• Quota zetten op het aantal individuen dat geselecteerd moet worden uit elke
subgroep

• Voorbeeld:
o Convenience sample = eerste 30 kinderen uit het 1e leerjaar die bereid
zijn deel te nemen
o Maar: quota van 15 meisjes en 15 jongens (quota jongens bereikt: geen
bijkomende jongens geselecteerd)

• Ook proportionele quota sampling (match populatie proporties) en


technieken van systematische- en cluster sampling gebruiken

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 24


Conclusie 4:
• Doel = representatieve steekproef trekken uit de populatie en uitspraken doen over die populatie adhv
een steekproef
• Steekproeftrekking is onderhevig aan bias
• Verschillende methoden met voor- en nadelen

Overzicht:
POPULATIE (N)

STEEKPROEF/SAMPLE (n)
Simple random sampling

Populatie bekend?
Systematische sampling ja nee
Convenience sampling
Gestratificieerde random
sampling
Probability sampling Nonprobability sampling

Quota sampling
Proportineel
gestratificieerde random
sampling

Cluster sampling

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 25


Les 5 – Onderzoeksstrategieën en validiteit (empirische cyclus, stap 5)

Onderzoeksstrategieën

Inleiding
1. Hoeveel uren spenderen studenten aan studeren?
2. Wat is het verband tussen uur waarop je ‘s morgens opstaat en academische prestatie?
3. Veroorzaakt het maken van lesnotities op een laptop slechtere studieresultaten dan het gebruik van pen
en papier?
→ 1 breed thema, 3 verschillende onderzoeksvragen, verschillende doelen, verschillende aanpak
om ze te beantwoorden
→ Verschillende onderzoeksstrategieën
→ 1 variabele beschrijven → beschrijvend onderzoek
→ (niet-oorzakelijke) relatie tussen 2 variabelen → correlationeel onderzoek
→ oorzakelijk verband tussen 2 variabelen → experimenteel onderzoek

Onderzoeksstrategieën

• Onderzoeksstrategie = algemene aanpak en doel van een onderzoek


• Hangt af van de onderzoeksvraag die je wil beantwoorden en het antwoord dat je hoopt te vinden

• 5 onderzoeksstrategieën:

Beschrijvend • Onderzoekt/beschrijft individuele variabelen


• Wat is de status van individuele variabelen voor een groep individuen?
• Voorb: hoeveel uur slapen adolescenten gemiddeld? Wat is het gemiddelde loon
van arbeiders? Hoeveel % studenten ontbijt ‘s morgens?
• 1 variabele meten en gemiddelde, %, proportie, etc. berekenen

Correlationeel • Onderzoekt relaties tussen variabelen


• Relatie/verband = verandering in de ene variabele gaat gepaard met een
verandering in de andere variabele

• Voorb: is er een verband tussen aantal uur slaap en performantie?

o 2 variabelen: ontwaak uur (X) en punten op school (Y)


o Mogelijke verbanden afhankelijk van meetniveau

Voorstellingen:

a) Nominaal/ordinaal
→ staafdiagram

b) Positief lineair verband


c) Negatief lineair verband
d) (positief) Curvilineair verband
→ Interval/Ratio + Scatter Plot

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 26


• Correlationele onderzoeksstrategie
o We meten de 2 variabelen voor elk individu
o De 2 variabelen hebben minstens interval meetschaal
o Beschrijft de relatie, heeft niet als doel om de relatie te verklaren

o Voorb: een relatie tussen ontwaak uur en score wil NIET zeggen dat vroeg
opstaan betere scores VEROORZAAKT!

• Geen causale uitspraken!

Voor de volgende strategieën:


• Vergelijken van 2 of meer groepen van scores, condities
• 1 van de variabelen differentieert de groepen/condities (“grouping variable”)

Experimenteel • Doel: oorzaak-gevolg vragen over de relatie tussen 2 variabelen


beantwoorden
• Causale uitspraken!

• Voorb: zorgt meer fysieke activiteit voor minder ervaren stress? Veroorzaakt
cognitieve gedragstherapie (CGT) voor een vermindering van symptomen bij
fobieën? Zorgt een situatie waar 2 taken tegelijk moeten uitgevoerd worden voor
tragere reactietijden?

• Vaak worden condities gecreëerd die vergeleken worden: weinig VS veel fysieke
activiteit, groep mét CGT versus groep zonder, conditie met 2 taken VS conditie
met 1 taak

• Individuen worden dan toegewezen aan de condities, de afhankelijke variabele


wordt gemeten (i.e., stress, symptomen, reactietijden) en vergeleken tussen de
condities

• Zeer strenge controle is nodig om de oorzaak-gevolg relatie niet-ambigu aan te


kunnen tonen!

Quasi- • Doel: oorzaak-gevolg vragen over de relatie tussen 2 variabelen


experimenteel beantwoorden
o MAAR: kan nooit niet-ambigu aangetoond worden!
o Bevat altijd fout wat een absolute duiding van de oorzaak-gevolg relatie
verhindert

• Voorb: geen gematchte groepen (e.g., therapie groep is ook gemotiveerder dan de
controle groep → gevonden effecten te wijten aan therapie of motivatie?)

• Bijna, maar niet helemaal experimenteel

Non- • Wil een relatie aantonen tussen variabelen, maar beoogt niet om de relatie te
experimenteel verklaren

• Geen causale uitspraken

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 27


• Voorb: is er een verschil tussen verbale vaardigheden bij jongens en meisjes (NIET:
wat veroorzaakt dit verschil?)

• Vergelijkt condities zoals (quasi-)experimentele onderzoeksstrategie, maar zonder


de rigoureuze controle

Verschil tussen correlationeel en non-experimenteel:


• Doel = idem, beperkingen = idem
• Correlationeel: we meten 2 variabelen voor elk individu
• Experimenteel: we meten 2 condities/groepen en vergelijken ze voor een bepaalde
variabele
→ Verschillende datastructuur!

→ datastructuur correlationeel
• Voor iedere persoon twee
variabelen weergeven: het uur
waarop ze opstaan + score op 20

→ datastructuur non-experimenteel
• Iedere persoon door twee
condities laten lopen (vroeg en
laat) en voor elke conditie de
score op 20 bepalen

• Onderzoeksstrategie = algemene aanpak en doel van een onderzoek


o Hangt af van de onderzoeksvraag die je wil beantwoorden en het antwoord dat je hoopt
te vinden

• Onderzoeksdesign = algemeen plan om de onderzoeksstrategie toe te passen


o Bepaalt of je een groep of individu zal onderzoeken, of je vergelijkingen wil maken
tussen of binnen groepen, hoeveel variabelen je zal opnemen in de studie

• Onderzoeksprocedure = gedetailleerd stap-voor-stap plan van hoe je de studie zal uitvoeren

Validiteit

Inleiding
• Eerder gezien: meet onze meting wat het moet meten?

• Nu: meet onze STUDIE wat ze beoogde te meten?


→ manier om de kwaliteit van de studie te beoordelen

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 28


Externe en interne validiteit

Externe validiteit • Kunnen de resultaten van de studie gegeneraliseerd worden (bijv. naar andere
populaties, andere settings, andere momenten, andere metingen, andere
karakteristieken)?
• Houden de bevindingen ook stand buiten deze specifieke studie?
• Elke karakteristiek van de studie die de mogelijkheid om de resultaten te
generaliseren beperkt, is een bedreiging van de externe validiteit
o Voorb: studie enkel bij 50-jarige mannen → kunnen we de resultaten ook
generaliseren naar vrouwen en andere leeftijdsgroepen?
o In dit geval bedreigt de beperkt range van de participant karakteristieken
de externe validiteit van de studie

• Minstens 3 soorten van generalisatie, elk met bedreigingen voor de externe


validiteit:
o Generalisatie van de steekproef naar de populatie: zie Les 4 (steekpoef
moet representatief zijn)

o Generalisatie van de ene studie naar een andere: elke studie is uniek,
maar doel is dat resultaten van een studie ook bekomen zullen worden
met een gelijkaardige studie (e.g., studie 2 jaar later opnieuw doen met
andere vergelijkbare groep participanten, studie opnieuw doen op een
andere locatie, studie opnieuw doen met een andere meting van het
construct, etc.)

o Generalisatie van een studie naar een “real-world” situatie: vaak


worden studies uitgevoerd in gecontroleerde omgeving: zijn deze
resultaten generaliseerbaar naar de echte wereld? (e.g., labo situatie VS
klas)

Interne validiteit • Is de verklaring van de resultaten de enige mogelijke verklaring?


• Zijn er andere variabelen/factoren die een alternatieve verklaring voor de
resultaten bieden? → bedreiging van de interne validiteit!

• Voorb: Pre-test depressieve symptomen → 3 weken therapie → post-test


depressieve symptomen
o Daling in symptomen → therapie werkt!
o MAAR: tijdens pre-test regenachtig weer, tijdens post-test zonnig weer
o “Het weer” is hier een bedreiging van de interne validiteit

Bedreigingen voor de validiteit


• Wees je bewust van mogelijke bedreigingen van validiteit bij het plannen van de studie en anticipeer
erop!
• Voeg elementen toe aan je onderzoeksdesign die de bedreigingen voor de validiteit minimaliseren of
elimineren vóór de eigenlijke afname van de studie!

• MAAR: het is onmogelijk om alle mogelijke bronnen van bedreiging te elimineren → maak beslissingen
over welke bedreigingen voor jouw studie het belangrijkst zijn
o Kritische denker: gebruik je kennis over bedreigingen van validiteit om de kwaliteit van andere
studies te evalueren

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 29


Bedreigingen van de externe validiteit

Categorie 1: • Selectiebias: zie Les 3, steekproef is niet representatief voor de populatie (cf.
convenience sampling)
generaliseren over
participanten • Studenten Meest “convenient”, maar generaliseerbaar? Hebben
• Vrijwilliger bias specifieke karakteristieken die verschillen van
algemene populatie

• Participant karakteristieken: participanten moeten divers genoeg zijn


(geslacht, leeftijd, ras, socio-economische status, etc.)

• Cross-diersoort generalisatie: generaliseren van dieren naar mensen, maar


parallellen en discrepanties omtrent onderzocht construct in acht nemen

Categorie 2: • Novelty effect: deelname aan wetenschappelijke studie is meestal nieuw,


opwindend, beangstigend → leidt tot ander gedrag dan in “gewone” situaties
Generaliseren over
kenmerken van • Multiple treatment interference: bij participanten die deelnemen aan een
een studie serie van condities (“treatments”) kan de ervaring met een vorige conditie een
effect hebben op deelname aan de volgende conditie (vermoeidheid,
leereffecten) die er niet zouden zijn bij een eerste deelname

• Proefleider karakteristieken: kunnen de resultaten gegeneraliseerd worden


naar andere proefleiders? (e.g., kenmerken van vriendelijkheid/vijandigheid)

Categorie 3: • Sensitisatie: de meting zelf verandert de participant waardoor die zich anders
gedraagt → verhoogt bewustzijn
Generaliseren over o Voorb: pre-test, dagboekstudie zelf maakt participant sensitief voor eigen
kenmerken van gedrag/attitudes → effect op “treatment” → generaliseerbaar?
een meting
• Generaliseerbaarheid over verschillende mogelijke metingen van
variabelen: variabele kan op verschillende manieren gedefinieerd en gemeten
worden (cf. angst) → generaliseren resultaten bekomen met één meting ook
naar andere?

• Meetmoment: wanneer worden de scores/resultaten van de participanten


verzameld?

o Voorb: Stoppen met roken programma: effect meten meteen na


programma → generaliseerbaar indien gemeten na 6 maanden?
o Voorb: effect van achtergrondmuziek op prestatie bij lagere
schoolkinderen: rustige muziek leidde tot een betere prestatie op een
rekentaak dan geen muziek

▪ Er worden 2 variabelen bestudeerd


▪ MAAR: elke studie omvat nog heel veel andere variabelen (e.g.,
IQ, persoonlijkheid, geslacht, vaardigheden, tijd van de test,
weersomstandigheden, etc.) → in deze variabelen zijn we NIET
geïnteresseerd, maar ze zijn wél variabelen in de studie

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 30


= bijkomende (“extraneous”) variabelen: deel van de studie, maar
worden niet direct onderzocht

• Soms kan een bijkomende variabele de resultaten beïnvloeden of vertekenen


• De geobserveerde relatie tussen 2 variabelen wordt artificieel veroorzaakt door
de bijkomende variabele
o Voorb1: conditie met rustige muziek werd eerst afgenomen en dan werd
de muziek uitgezet om de conditie zonder muziek af te nemen →
prestatie wordt slechter

▪ MAAR: effect van vermoeidheid ipv muziek? → foutieve


interpretatie!

o Voorb2: conditie met rustige muziek werd in de ochtend afgenomen en de


conditie zonder muziek in de namiddag → prestatie wordt slechter
▪ MAAR: effect van moment ipv muziek? → foutieve interpretatie!
• = storende (“confouding”) variabelen

Bedreigingen van de interne validiteit

• Voorb: effect van achtergrondmuziek op prestatie bij lagere schoolkinderen: rustige muziek leidde tot een
betere prestatie op een rekentaak dan geen muziek
o Er worden 2 variabelen bestudeerd
o MAAR: elke studie omvat nog heel veel andere variabelen (e.g., IQ, persoonlijkheid, geslacht,
vaardigheden, tijd van de test, weersomstandigheden, etc.) → in deze variabelen zijn we NIET
geïnteresseerd, maar ze zijn wél variabelen in de studie
o = bijkomende (“extraneous”) variabelen: deel van de studie, maar worden niet direct
onderzocht

• Soms kan een bijkomende variabele de resultaten beïnvloeden of vertekenen


• De geobserveerde relatie tussen 2 variabelen wordt artificieel veroorzaakt door de bijkomende variabele
o Voorb1: conditie met rustige muziek werd eerst afgenomen en dan werd de muziek uitgezet om de
conditie zonder muziek af te nemen → prestatie wordt slechter
▪ MAAR: effect van vermoeidheid ipv muziek? → foutieve interpretatie!

o Voorb2: conditie met rustige muziek werd in de ochtend afgenomen en de conditie zonder muziek
in de namiddag → prestatie wordt slechter
▪ MAAR: effect van moment ipv muziek? → foutieve interpretatie!

o = storende (“confouding”) variabelen


= bijkomende variabele die systematisch verandert samen met de 2 bestudeerde variabelen en
een alternatieve verklaring biedt voor de geobserveerde relatie tussen de 2 variabelen
▪ Bedreiging van de interne validiteit!
▪ Zorg ervoor dat een bijkomende variabele geen confouding variabele kan worden! Niet
eenvoudig!

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 31


▪ 3 categorieën confouding variabelen:
o Omgevingsvariabelen
o Participant variabelen
o Tijdsgerelateerde variabelen

Omgevings- • algemene bedreiging van interne validiteit voor alle studies


variabelen: o Variabelen in de omgeving (grootte kamer, geslacht proefleider,
weersomstandigheden, etc.)
o Voorb1: Eén conditie gemeten in een lichte, ruime kamer en de andere
conditie in een donkere, kleine kamer → type kamer kan verschil tussen
condities veroorzaken (alternatieve verklaring)

o Voorb2: smaaktest Coca-cola VS Pepsi: Coca-cola steeds in glas A


en Pepsi steeds in glas B. Resultaat: A is lekkerder dan B
Indien participanten systematisch een voorkeur hebben voor de
vorm van glas A → type glas wordt confouding variabele en kan
verschil in smaak verklaren!

Participant • bedreiging van interne validiteit voor studies die groepen vergelijken
variabelen o Voorb: geslacht, leeftijd, lengte, gewicht, IQ, persoonlijkheid, etc.

• Individuele verschillen: participanten verschillen op een brede range


karakteristieken
o Indien verschillende groepen gemeten voor elke conditie → vermijd
consistente verschillen tussen de groepen voor participant
karakteristieken

o Voorb: verschil tussen meditatie-groep en yoga-groep op


zelfgerapporteerde stress.
MAAR: groepmeditiatie consistent jonger dan groepyoga
→ leeftijd wordt hier confouding variabele en biedt alternatieve
verklaring
(verschil in stress te wijten aan yoga/meditatie OF verschil in leeftijd)

Tijdsgerelateerde • bedreiging van interne validiteit voor studies die één groep vergelijken over de
variabelen tijd
o Alle participanten doorlopen alle condities → metingen vergelijken die
verzameld zijn op verschillende momenten

o Voorb: conditie mét muziek op maandag, conditie zonder muziek op


vrijdag

o “Muziek” verandert van dag tot dag, MAAR: deze metingen verschillen
ook van elkaar wat betreft tijdsgerelateerde variabelen (e.g.,
weersomstandigheden, gemoedstoestand, gezondheid, vermoeidheid,
leereffecten, etc.)

o Kunnen optreden als confouding variabelen

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 32


Meer over interne en externe validiteit
• Doel wetenschappelijke studie = maximaliseren interne en externe validiteit
o We willen zeker zijn dat de resultaten van een studie waar zijn, en dat deze waarheid zich verder
uitstrekt dan de huidige studie met zijn specifieke participanten, condities en procedures

o Maar: geen enkele studie is perfect, vaak trade-off tussen interne en externe validiteit en
validiteit maximaliseren is vaak een balanceeroefening

• Afhankelijk van onderzoeksdesign (zie verder)

• Enkele algemene beperkingen op validiteit:

1. Interne en externe validiteit balanceren


o Max interne validiteit → confounders elimineren/minimaliseren → strikt gecontroleerde,
artificiële onderzoeksomgeving → niet langer generaliseerbaar naar “echte” wereld →
externe validiteit daalt
o Max externe validiteit → onderzoeksomgeving die de “echte” wereld goed nabootst →
veel oncontroleerbare variabelen → veel mogelijke confounders → interne validiteit daalt
o Trade-off! Doel studie bepaalt welke validiteit belangrijkste is

2. Artefacten: bedreiging voor interne én externe validiteit


o Artefacten = externe factor die de metingen kan beïnvloeden of vertekenen
o Bedreigen de validiteit en betrouwbaarheid van metingen en als gevolg dus de interne en
externe validiteit van de hele studie

o Cf. proefleider bias


→ bedreigt externe validiteit: resultaten kunnen specifiek zijn voor deze proefleider
→ bedreigt interne validiteit: resultaten kunnen gevolg zijn van de invloed van de
proefleider

o Cf. vraagkarakteristieken en participant reactiviteit


→ bedreigt externe validiteit: resultaten bekomen onder vraagkarakteristieken kunnen
mogelijks niet generaliseerbaar zijn naar situatie waar karakteristieken anders zijn
→ bedreigt interne validiteit: resultaten kunnen gevolg zijn van participant reactiviteit

3. Validiteit en individuele onderzoeksstrategieën


o Beschrijvende, correlationele, non-experimentele studies bestuderen variabelen in
natuurlijke omgeving → goede externe validiteit
o Experimentele studies gebruiken rigoureuze controle → goede interne validiteit
o Quasi-experimentele studies bevinden zich ergens in het midden

Conclusie 5:
• Verschillende onderzoeksstrategieën → komen in de volgende lessen één voor één aan bod
• Centraal bij de keuze van een strategie en design = (externe en interne) validiteit
• Verschillende bedreigingen voor validiteit

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 33


Les 6 – Experimentele onderzoeksstrategie

Oorzaak-gevolg relaties
• Doel experimentele onderzoeksstrategie = oorzaak-gevolg relaties tussen 2 variabelen demonsteren
• Mogelijkheid uitsluiten dat het om toevallige relatie gaat
• Hoe? Uitvoeren van een experiment dat aantoont dat veranderingen in de ene variabele direct
verantwoordelijk zijn voor het veroorzaken van veranderingen in de andere variabele

• Experimentele studie moet 4 basiselementen bevatten:


o Manipulatie: één van de variabelen wordt gemanipuleerd door zijn waarde te veranderen zodat
er 2 of meer condities ontstaan
o Meting: de andere variabele wordt gemeten voor een groep participanten om een set van
scores te krijgen voor elke conditie
o Vergelijking: de scores worden vergeleken tussen de condities. Consistente verschillen tussen
de condities ondersteunen dat de manipulatie de veranderingen in de scores veroorzaakt heeft
o Controle: alle andere variabelen worden gecontroleerd om zeker te zijn dat ze de onderzochte
variabelen niet beïnvloeden

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 34


o Voorbeeld: om de relatie tussen gewelddadige videospellen en agressief gedrag na te gaan wordt
een steekproef van 19 jongens van 10 jaar random verdeeld over 2 condities: de ene groep speelt
een gewelddadig videospel, de andere een niet-gewelddadig videospel. Nadien mogen ze vrij
spelen en worden de jongens uit beide condities gemonitord op agressief gedrag.
− Manipulatie: gewelddadigheid van videospel wordt gemanipuleerd zodat er 2 condities
ontstaan: gewelddadig of niet-gewelddadig
− Meting: agressief gedrag wordt gemeten voor een groep participanten om een meting voor
agressief gedrag te krijgen voor elke conditie
− Vergelijking: het agressief gedrag wordt vergeleken tussen de condities. Jongens in de
gewelddadige videospel conditie vertoonden meer agressie dan de jongens in de niet-
gewelddadige conditie
− Controle: beide groepen bestonden uit participanten van hetzelfde geslacht en leeftijd en
werden random aan de 2 condities toegewezen

Terminologie:
• Onafhankelijke variabele = veroorzakend, variabele die gemanipuleerd wordt (ook wel “grouping
variable”).
De manipulatie creëert verschillende condities. Elke conditie bevat 1 specifieke waarde van de
gemanipuleerde variabele
De condities vormen de niveaus van de onafhankelijke variabele

• Afhankelijke variabele = wordt veroorzaakt, variabele die gemeten wordt in elke conditie

• Bijkomende (“extraneous”) variabelen = alle andere variabelen

• Opgelet:
o In psychologie: veranderingen in 1 variabele ~ veranderingen in vele gerelateerde variabelen
→ moeilijk om causale relatie tussen 2 variabelen bloot te leggen

o Cruciaal om in experiment de specifieke variabelen te scheiden en isoleren

o Toevallig ipv causaal: derde-variabele probleem → relatie tussen 2 variabelen ≠ causale relatie.
Mogelijk is een 3e variabele verantwoordelijk voor de geobserveerde relatie (e.g.: gewicht –
rekenvaardigheid)

o Probleem van directionaliteit: wat veroorzaakt wat? (e.g., agressief gedrag – gewelddadige
videospellen)
→ Problemen die aangepakt moeten worden in een experiment voor er oorzaak-gevolg
relaties kunnen gedemonstreerd worden

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 35


Specifieke lementen van de experimentele onderzoeksstrategie:

Manipulatie • Identificeren van de specifieke waarden van de onafhankelijke variabele die je wil
bestuderen (e.g., gewelddadig VS niet-gewelddadig videospel)
• Creëren van een set condities die corresponderen met deze waarden (e.g., conditie
waarin kinderen gewelddadig videospel spelen en een conditie waar kinderen een
niet-gewelddadig videospel spelen)
• Dus, de onafhankelijke variabele verandert van de ene conditie naar de andere

• Waarom doen we dit?


o Doel 1: RICHTING van de relatie bepalen
▪ Manipuleer een variabele en onderzoek of een andere variabele
beïnvloed wordt door deze manipulatie
▪ Laat toe om te bepalen wat oorzaak is en wat gevolg
▪ Lost probleem van directionaliteit op
▪ Voorb: relatie depressie – insomnia → slaap manipuleren

o Doel 2: invloed van andere variabelen controleren


▪ Actief O.V. manipuleren ipv passief O.V. meten
→ zelf verantwoordelijk voor het effect op de A.V.
▪ Indien zelf verantwoordelijk voor veranderingen in onafh var, zekerheid
dat deze veranderingen niet door een 3e variabele veroorzaakt worden
▪ Lost (deels) probleem van derde-variabele op

Controle • Geobserveerde relatie tussen O.V. en A.V. mag niet beïnvloed worden door andere
variabelen
• Alle storende (confouding) variabelen uitsluiten → alle alternatieve verklaringen voor
de geobserveerde veranderingen uitsluiten
• Hier: alle variabelen die samen variëren met de onafh var en potentieel een invloed
hebben op de afh var

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 36


• Maar: er zijn toch duizenden variabelen die mogelijk een invloed uitoefenen (e.g.,
humeur, dag van de week, seizoen, weer, vermoeidheid, kamertemperatuur, etc.)

• LET OP: niet elke bijkomende variabele is een storende (confounding) variabele!
o Een variabele is enkel een storende variabele als het een effect heeft op de afh
var
o Een variabele is enkel een storende variabele als het systematisch mee varieert
met de onafh var (variabelen die random variëren vormen geen bedreiging)

Bijkomende variabelen controleren

• Stap 1: identificeer de set bijkomende variabelen die potentieel een storende


variabele kunnen zijn en dus een bedreiging vormen

• Stap 2: controleer voor deze variabelen → 3 methoden:


o Variabele constant houden
▪ Door een variabele constant te houden doorheen het experiment
elimineer je diens effect
▪ Variabelen die niet variëren kunnen geen effect hebben, zijn idem voor
elke observatie
▪ In experimenten worden omgevingsfactoren vaak constant gehouden
en dus gecontroleerd

▪ Kan ook met range ipv volledig constant


▪ Voorb: steeds zelfde kamer, zelfde moment van de dag, zelfde
proefleider, zelfde leeftijd participanten, range van IQ scores tussen 100-
110
▪ Voordeel: interne validiteit versterken
▪ MAAR: beperkt externe validiteit!

o Matching
▪ Niveaus van de bijkomende variabele matchen over condities heen
− Voorb: participanten in 2 condities matchen op leeftijd (e.g.,
gemiddelde leeftijd idem in condities, leeftijd range idem in
condities), geslacht (evenveel mannen en vrouwen in condities)

▪ Ook gebruikt om omgevingsfactoren te controleren


− Voorb: 2 verschillende kamers: helft van elke conditie meten in
de ene kamer, andere helft in de andere

▪ Ook gebruikt tijdsgerelateerde factoren te controleren


− Voorb: 50% participanten krijgt eerst conditie 1 en dan conditie
2, de andere 50% krijgt de omgekeerde volgorde
= contrabalanceren

o Randomiseren
▪ = meer passieve methode
▪ Verstoort elke systematische relatie tussen de bijkomende variabele en
de onafh var, waardoor de bijkomende var geen storende var kan
worden

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 37


▪ Random proces (cf. Les 4)
− Voorb: participanten random toewijzen aan de condities →
doordat de toewijzing random is, kunnen we ervan uitgaan dat
de participant karakteristieken (leeftijd, geslacht, IQ, etc.) óók
random verdeeld zijn over de condities heen en dus niet
systematisch gaan variëren tussen de condities

▪ Ook gebruikt om omgevingsfactoren te controleren (e.g., welke


conditie op welk moment afgenomen wordt)

▪ Voordeel: laat toe om vele bijkomende variabelen tegelijk te


controleren

▪ Nadeel: biedt geen garantie dat de bijkomende variabelen écht


gecontroleerd zijn, gebeurt op basis van kans

− Voorb: nog steeds mogelijk dat conditie 1 veel meer mannen


bevat dat conditie 2

Vooral probleem bij kleine steekproeven


Minder geschikt om te gebruiken voor duidelijk bedreigende
bijkomende variabelen! → methode 1 of 2

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 38


Datastructuur en controle
• Voorbeeld: effect van taak moeilijkheid op de accuraatheid op een werkgeheugentaak, controle voor IQ
(invloed op werkgeheugen)

o A.V. = Accuraatheid
o O.V. = moeilijkheid
o Confoundig = IQ

Wat kunnen we dan doen om invloed van IQ te beperken?


1. Variabelen constant houden 2. Matching 3. Randomisering
Bijvoorbeeld: random verdelen
Bijvoorbeeld: Bijvoorbeeld: evenveel hoge als van hoog en laag IQ over beide
IQ laag houden lage in IQ’s in beide condities condities

Controlegroep

• Experiment = vergelijken → vergelijken observaties op afh var over verschillende niveaus van onafh var
• Of nog: condities/groepen vergelijken
• Soms: slechts 1 conditie van belang → vergelijken met een “baseline” of controle conditie
→ Vergelijken van een experimentele conditie (mét “behandeling”) met een controle of baseline
conditie (zonder “behandeling”)
→ Optioneel (→ bijkomende var controleren)

→ 2 categorieën

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 39


Geen- • participanten in deze conditie krijgen niet de “behandeling” die bestudeerd wordt
behandeling = baseline waarmee de conditie mét behandeling vergeleken wordt
controle
condities • Voorb: conditie mét medicatie VS conditie zonder medicatie, conditie mét
assertiviteitstraining VS conditie zonder training

• Onafh var: 2 niveaus (met en zonder)

Placebo • Placebo = niet-werkzame stof/medicatie die een effect teweegbrengt omdat de


controle participant een effect verwacht (= placebo-effect)
condities:
• Verschil tussen experimentele en controle conditie: is ons effect toe te schrijven aan
de behandeling of aan het placebo-effect?

• Toevoegen placebo controle conditie aan het experiment → participanten krijgen


placebo ipv “echte” behandeling
o Placebo VS experimentele conditie: effect van echte behandeling
o Placebo VS geen-behandeling controle conditie: grootte placebo-effect

Manipulatiechecks

• Vooral van belang om:


o Succes na te gaan van manipulaties die de participant beïnvloeden (e.g., als we frustratie
manipuleren, is die manipulatie dan ook echt succesvol geweest?)
o Na te gaan of participanten subtiele manipulaties hebben opgemerkt (e.g., effect van glimlachen
VS niet glimlachen proefleider)
o Na te gaan of participanten geloven in de effectiviteit van een placebo bij experimenten met een
placebo conditie (en niet de indruk hadden dat ze misleid werden)
o Na te gaan of een studie die een “echte wereld” situatie wil simuleren succesvol was

• Experiment bevat steeds een manipulatie van de onafhankelijke variabelen


• Manipulatie check = bijkomende meting om na te gaan hoe de participanten de manipulatie
waarnemen en interpreteren of om het succes van de manipulatie na te gaan
• 2 manieren:
o Expliciete meting van de onafh var (e.g., gemoedstoestand manipuleren adhv mood induction
→ meting van gemoedstoestand om na te gaan of manipulatie succesvol was)

o Vragenlijst die peilt naar perceptie/interpretatie participanten van de manipulatie (e.g., Wat
denk je dat het doel was? Merkte je op dat…?)

Externe validiteit

• Probleem: experiment wil hoge interne validiteit


• Experiment: vaak in een artificiële, gecontroleerde omgeving, labo setting
• Interne validiteit ↑, externe validiteit ↓
• Wat als we oorzaak-gevolg verklaringen voor gedrag in “real-world” situaties willen zoeken?

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 40


• Experimentele omgeving zo realistisch mogelijk maken
o simulatie (Vb.: Stanford Prison Experiment)
o veldstudies: Brown, Flint, & Fuqua (2014): verkoop van 5 snack automaten op universiteits-
campus monitoren, nadien rode stickers op ongezonde voeding en groene stickers op gezonde
voeding → verkoop items met groene sticker nam toe

o Vaak gevolgen voor interne validiteit (minder controle)

Conclusie 6:
• Oorzaak-gevolg relaties
• Centraal = manipulatie en controle
• Invloed van mogelijke storende variabelen elimineren
• Soms zijn controle condities en manipulatie checks nodig
• Om externe validiteit te verhogen kunnen simulaties of veldstudies gebruikt worden

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 41


Les 7 – Experimentele designs: tussen- en binnen-subject designs

Inleiding: experimentele onderzoeksstrategie (cfr. Les 6)

• Onderzoeksstrategie = algemene aanpak en doel van een onderzoek


o Hangt af van de onderzoeksvraag die je wil beantwoorden en het antwoord dat je hoopt
te vinden
• Onderzoeksdesign = algemeen plan om de onderzoeksstrategie toe te passen
o Bepaalt of je een groep of individu zal onderzoeken, of je vergelijkingen wil maken
tussen of binnen groepen, hoeveel variabelen je zal opnemen in de studie
• Onderzoeksprocedure = gedetailleerd stap-voor-stap plan van hoe je de studie zal uitvoeren

• Doel experimentele onderzoeksstrategie = oorzaak-gevolg relaties tussen 2 variabelen demonsteren


• 4 basiselementen: manipulatie, meting, vergelijking, controle
• Experiment = vergelijken: observaties op een A.V. vergelijken tussen verschillende condities (niveaus
O.V.) → zijn er systematische verschillen tussen de condities?

• Twee onderzoeksDESIGNS om groepen van scores/condities te vergelijken in een experiment


o Tussen-subject design: elke groep van scores wordt verkregen van een verschillende groep
participanten → elke conditie wordt afgenomen van een verschillende groep participanten

o Binnen subject design: de verschillende groepen van scores worden verkregen van dezelfde
groep participanten → dezelfde groep participanten doorloopt alle condities

Tussen-subject design

Karakteristieken

• Vergelijkt verschillende groepen participanten


• Experiment:
o Een O.A. wordt gemanipuleerd zodat er
verschillende condities ontstaan

o Een verschillende groep participanten


wordt toegewezen aan elke conditie

o De A.V. wordt voor elke participant


gemeten

o De verschillen tussen de groepen wordt


geanalyseerd

• Elke participant heeft slechts 1 score, elke score


komt van een aparte, unieke participant
→ onafhankelijke scores

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 42


• Voorbeeld: is er een verschil in effectiviteit tussen 2 onderwijsmethoden → 2 verschillende groepen
individuen worden gebruikt, één voor elke methode

• Voordelen:
o Elke score is onafhankelijk van de andere scores
→ onafhankelijke metingen (“independent measures”)
→ elke participant wordt slechts 1 keer gemeten
→ een score wordt dus niet beïnvloed door factoren zoals leereffecten, vermoeidheid bij het
doorlopen van meerdere condities, etc.
o Kan gebruikt worden voor brede range onderzoeksvragen, altijd beschikbaar voor een
experiment waar je 2 of meer condities wil vergelijken

• Nadelen:
o Vereist grote steekproef (n): stijgend aantal naar aantal condities
o Onderhevig aan individuele verschillen

Individuele verschillen
• Elke score komt van een uniek individu, met persoonlijke karakteristieken die verschillen van alle andere
participanten
• Individuele verschillen = set persoonlijke karakteristieken die verschillen van de ene tot de andere
participant (e.g., geslacht, leeftijd, opleiding, persoonlijkheid, IQ, etc.)
• Meestal beschouwd als bijkomende (extraneous) variabelen

• MAAR:
o Individuele verschillen kunnen storende (confouding) variabelen worden (e.g., conditie 1 ouder,
sneller, slimmer, etc. dan conditie 2)
o Ze veroorzaken variabiliteit in de scores die patronen in de data kunnen maskeren

Individuele verschillen van confounders


• Groepen moeten zo gelijkaardig mogelijk zijn, behalve wat betreft de onafh var die de condities
differentieert

• Merk op: probleem specifiek voor tussen-subject designs


• Indien karakteristieken van de participanten in de ene conditie verschillen van die in de andere conditie
→ bedreiging interne validiteit (cf. Les 5)!

• 2 bronnen van confouding:


o Participant variabelen, individuele verschillen
o Omgevingsvariabelen (zie Les 5)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 43


• Algemeen: Hoe potentieel storende variabelen controleren
→ zie Les 6: variabele constant houden, matching, randomiseren

• MAAR: in tussen-subject designs ook verschillen tussen de groepen beperken:


o Op dezelfde manier gecreëerd: hoe participanten verkregen worden zo veel mogelijk idem
voor elke groep
o Gelijke behandeling: behalve de condities die gemanipuleerd worden in het experiment
moeten de groepen gelijke ervaringen ondergaan
o Samengesteld uit equivalente individuen: de karakteristieken van de participanten in de
verschillende groepen moeten zo gelijkend mogelijk zijn

• Hoe kunnen we verschillen tussen de groepen bij de start van het experiment beperken? Zelfde
methoden voor de algemene controle van confounders (cf. Les 6)
o Randomiseren: random toewijzing aan de groepen/condities
→ indien n gelijk in elke groep: restricted random toewijzing)

o Matching om te verzekeren dat groepen equivalent zijn voor wat betreft potentiële confounder

o Variabele constant houden zodat potentiële confounder geëlimineerd wordt

Individuele verschillen kunnen grote variabiliteit veroorzaken

• Spreiding:
o Variantie (cf. Statistiek I): gemiddelde spreiding
n
1
s2x = ∑ (xi -𝑥̅ )²
n
i=1

• Grote variantie = grote verschillen tussen de individuele scores

• Individuele verschillen kunnen een invloed hebben op de variantie en aldus op de interpretatie van de
resultaten

• Voorbeeld:
o 2 populaties, één met kleine variantie (A) en één met grote variantie (B)
o Random steekproef van n = 20 uit elke populatie
o Random verdeling van elke steekproef in 2 groepen van n = 10:
▪ Groep 1 = controleconditie, geen effect op de scores van de participanten
▪ Groep 2 = experimentele conditie, effect op de scores van de participanten= +10 punten

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 44


→ Voorbeeld: Populatie A (kleine s²)

→ Voorbeeld: Populatie B (grotere s²)

• DOEL:
o Variantie in de scores TUSSEN groepen maximaliseren (= effect van onze manipulatie)
o Variantie in de scores BINNEN groepen minimaliseren (= individuele verschillen)

• Hoe kunnen we de binnen-groep variantie minimaliseren?


o Gestandaardiseerde procedures en setting gebruiken
o Individuele verschillen beperken (enkel: variabele constant houden)
o Steekproefgrootte (n): grote steekproef verkleint variantie (cf. formule)

o Opmerking: matching en randomisatie hebben geen effect op binnen-groep variantie, enkel op


verkleinen verschillen tussen groepen

Andere bedreigingen van de interne validiteit


• Differential attritution
o Interne validiteit bedreigt wanneer er een ongelijke uitval is tussen de verschillende condities
o Aantal drop-outs moet gelijk blijven tussen de verschillende condities

• Communicatie tussen groepen kan enkele problemen met zich meebrengen:


o Diffusion = verspreiding van informatie van experimentele condities naar controle condities
▪ Beperkt het verschil tussen beide

o Compensatory equalization = De controle conditie wil dezelfde behandeling als de


experimentele conditie
▪ Meestal in klinische studies
▪ Kans op andere gedragingen, dus controlegroep ≠ neutraal

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 45


o Compensatory rivalry = Personen in de controleconditie streven naar een hogere performantie
om gelijk te staan met de prestaties van de experimentele conditie
▪ Controleconditie ≠ neutraal
▪ Verschillen tussen beide zullen kleiner worden (of groter bij verkeerde inschatting)

o Resentful demoralization = personen in de controleconditie zijn minder gemotiveerd omdat ze


niet de superieure conditie zijn
▪ Effecten van de experimentele conditie zullen groter lijken dan ze echt zijn

Binnen-subject design

Karakteristieken

• Vergelijkt twee of meer condities door dezelfde groep participanten te meten in elk van de condities
van het experiment

• Elke participant doorloopt alle condities (i.e., repeated measures design)


o Sequentieel: de ene conditie na de andere in verschillende sessies
o Parallel: alle condities zitten vervat in 1 experimentele sessie

• Voorbeeld 1: is er een verschil in ervaren pijn als je vloekt of niet → groep mag eerst niet vloeken bij pijn
(conditie 1), na een pauze moet dezelfde groep wél vloeken (conditie 2)

• Voorbeeld 2: is reactietijd sneller op makkelijke dan moeilijke trials → 1 groep participanten krijgt in 1
experimentele sessie een mix van makkelijke en moeilijke trials

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 46


Bedreigingen van de interne validiteit

• 2 bronnen van confounding (zie Les 5)


o Omgevingsvariabelen (e.g. verschillende proefleiders per conditie)

o Tijdsgerelateerde variabelen (enkel bij sequentiële design!)


▪ Enkel indien condities op verschillende tijdstippen afgenomen worden!
▪ In interval tussen 1e en laatste meting kunnen participanten door verschillende factoren
beïnvloed worden, naast de O.A. → deze bijkomende variabelen kunnen storende
variabelen worden

▪ 5 tijdsgerelateerde bedreigingen: history, maturatie, instrumentatie, statistische regressie


(regession toward the mean), orde effecten

History • Gebeurtenissen in de omgeving die veranderen over de tijd en die mogelijk de


ene conditie anders beïnvloeden dan de andere(n)

• Moet effect hebben op voldoende participanten zodat het de algemene


prestatie van de groep beïnvloedt

• Voorb: computerstoring, brandalarm tussen conditie 1 en 2


waardoor de groep participanten afgeleid is

Maturatie • Fysiologische of psychologische veranderingen bij de participanten tijdens de


studie en die mogelijk de ene conditie anders beïnvloeden dan de andere(n)

• Voorb: als 2 condities ver uit elkaar liggen in tijd kan het zijn dat de
participanten “veranderd” zijn, vooral bij kleine kinderen en ouderen

Instrumentatie • Veranderingen in de meetinstrumenten tijdens de studie en die mogelijk de


ene conditie anders beïnvloeden dan de andere(n)
• Komt vooral voor bij gedragsobservatie → subjectieve interpretatie,
veranderende criteria

• Voorb: agressief gedrag bij kinderen wekelijks observeren: criteria voor


observatie veranderen waardoor zelfde gedrag soms anders beoordeeld wordt

Statistische • Wiskundig fenomeen waar extreme scores (hoog of laag) op één meting de
regressie neiging hebben minder extreem te zijn bij een 2e meting
• Extreme metingen neigen meer naar het gemiddelde als de meetprocedure
(= regression herhaald wordt
toward the mean) • Combinatie stabiele (e.g., kennis, vaardigheden) en onstabiele factoren (e.g.,
kans) → stabiele factoren blijven constant over metingen, maar onstabiele
factoren variëren

• Voorb: zeer hoge score op 1e examen (combinatie sterke kennis + veel geluk), op
2e examen waarschijnlijk lagere score (sterke kennis idem, maar geluk varieert)

• Vooral probleem als participanten geselecteerd worden obv extreme scores


tijdens conditie 1 (verschil in prestatie op conditie 2 effect van O.V. of
statistische regressie?)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 47


Orde effecten • Ervaring van getest/gemeten te worden in conditie 1 heeft een invloed op
scores van participanten in conditie 2

• Algemene ervaring van getest/gemeten te worden in conditie 1 heeft invloed


op scores in conditie 2: progressive error
o Voorb: leereffecten, vermoeidheid

• Een specifieke conditie leidt tot verandering in een daaropvolgende conditie:


carry-over effecten
o Voorb: strategie aanleren in conditie 1, blijven gebruiken in conditie
2

• Illustratie van orde effecten als confounder


o n = 8, 2 condities
(a) Original Scores (a) Original Scores
with No Order Effect: with No Order Effect:
o Hypothese: geen verschil Treatment I Treatment II
tussen de 2 condities
20 21
(gemiddelde score conditie 1
23 23
= gemiddelde score conditie
2) 25 23

19 20

o Lichte schommelingen zijn te 17 16


wijten aan de foutenmarge
14 14

Mean = 20 Mean = 20

o Stel: participanten namen


(b) Modified Scores (b) Modified Scores
eerst deel aan conditie 1 en with a 5-Point Order with a 5-Point Order
nadien aan conditie 2 Effect: Treatment I Effect: Treatment II

20 26 (21 + 5)
o Stel: deelname aan conditie 1 23 28 (23 + 5)
leidde tot een leereffect
25 28 (23 + 5)
waardoor de participanten in
19 25 (20 + 5)
conditie 2 5 punten beter
scoren dan normaal 17 21 (16 + 5)

14 19 (14 + 5)
o Deze verbetering wordt NIET Mean = 20 Mean = 25
veroorzaakt door onze
manipulatie (verschil conditie 1 en 2), maar door het orde effect!

o Orde effect varieert systematisch met de condities (onafh var)


→ confounder!

o Gemiddelde in conditie 2 is nu 5 punten hoger dan conditie 1


→ leidt tot foutieve conclusies!!!

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 48


Omgaan met tijdsgerelateerde bedreigingen

• Zelfde methoden om om te gaan met omgevingsvariabelen: matching, randomiseren, variabele


constant houden
• MAAR: tijdsgerelateerde factoren vergen nieuwe technieken

Tijd controleren • Veel bedreigingen specifiek voor studies waar condities ver uit elkaar liggen in
tijd
• Indien 3 condities gemeten in 1 sessie van 45 min: weinig effect van
tijdsgerelateerde factoren
• Tijd tussen condities verkorten
• MAAR: kans op orde effecten stijgt (e.g., vermoeidheid, leereffecten)!

Ga over op een • A priori kennis over de te verwachten tijdsgerelateerde effecten (e.g., mogelijke
tussen-subject leereffecten, vermoeidheid)
design • Soms zijn orde effecten zeer sterk → binnen-subject design vermijden

• Voorb: verschil tussen 2 leesmethoden bij kinderen → binnen-subject design geen


goede optie (ervaring leesmethode 1 kan je niet uitwissen, blijft bestaan, je kan
niet meer van 0 beginnen)

Contrabalanceren • Verschillende participanten ondergaan de verschillende condities in


verschillende volgordes

• Voorb: 2 condities: 50% van participanten eerst Conditie 1, 50% eerst Conditie 2

• Condities zijn zo gematcht/gebalanceerd qua tijd


• Verstoort de systematische relatie tussen tijd en de orde van de condities
→ elimineert mogelijke tijdsgerelateerde confounders

• Doel: elke mogelijke volgorde van condities wordt gebruikt met gelijke n

• Dit impliceert toch verschillende groepen? Ja, maar alle participanten doorlopen
ALLE condities

• Voorbeeld
Situatie A Situatie B
• Binnen-subject experiment (n = 8), 2 • Stel: deelname aan eerste conditie leidde
condities tot een leereffect waardoor de
• Eerste 4 participanten krijgen eerst participanten in hun tweede conditie 5
conditie 1 en nadien conditie 2, Laatste 4 punten beter scoren dan normaal
omgekeerd volgorde
• Resultaten: verschil van 6 punten tussen • MAAR: vanwege contrabalancering speelt
condities 1 en 2 dit orde effect voor 4 participanten in
Conditie 1 én voor 4 participanten in
Conditie 2
• Orde effecten worden dus gelijk verdeeld
(gebalanceerd) over de condities
• Effect op individuele scores en
gemiddelden, maar NIET op gemiddelde
verschillen tussen condities!
• Bedreiging interne validiteit geëlimineerd

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 49


• Orde effecten worden dus gelijk verdeeld (gebalanceerd) over de condities
• Effect op individuele scores en gemiddelden, maar NIET op gemiddelde
verschillen tussen condities!

• Bedreiging interne validiteit geëlimineerd

Beperkingen van Contrabalanceren

• Orde effecten worden niet geëlimineerd en hebben wél nog een invloed op absolute gemiddelden

• Contrabalanceren voegt orde effecten toe aan sommige participanten in een conditie maar niet aan
anderen uit dezelfde conditie → binnen-conditie variantie stijgt → kan effecten maskeren

• Orde effecten zijn niet altijd symmetrisch (e.g., ene conditie vermoeiender dan andere)
→ contrabalanceren zorgt niet meer voor gebalanceerde orde effecten

• Volledige contrabalancering: alle mogelijke volgorders worden gebruikt


o Waarom? Soms kunnen bepaalde mini-sequenties unieke orde effecten veroorzaken (e.g.,
specifieke volgorde conditie 2 – conditie 3 → carry-over op volgende conditie)

o Om al deze effecten te neutraliseren: volledige contrabalancering nodig


o MAAR: loopt snel op!
▪ k condities: 𝑘! = 𝑘(𝑘 − 1)(𝑘 − 2)(𝑘 − 3) … (1)
− 4 condities = 4×3×2×1 = 24 mogelijke ordes
− 6 condities: 720 mogelijke ordes (en dus minstens n = 720)

• Oplossing: partiële contrabalancering → elke conditie komt 1 keer voor als eerste, 1 keer als tweede,
etc.
o Voorbeeld bij 4 condities: ABCD, CADB, BDAC en DCBA
o Welke ordes kiezen? Voorbeeld: creëer een Latin square: A B C D
▪ Zet de condities in volgorde op de bovenste rij (ABCD) D A B C
▪ Voor de volgende rij, schuif alle letters 1 positie op en C D A B
verplaats de laatste letter naar de eerste plaats (DABC) D C D A
▪ Etc.
o Latin square = matrix met k x k elementen waar elk element exact 1 keer voorkomt per rij en per
kolom

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 50


Voor- en nadelen van binnen-subject design

• Voordelen binnen-subject design:


o Kleinere steekproef (n) nodig
o Elimineert alle problemen die veroorzaakt worden door individuele verschillen in tussen-subject
designs
▪ Er zijn geen individuele verschillen meer tussen condities (er is maar 1 groep
participanten) → verschillen tussen condities meten zonder invloed individuele
verschillen
▪ Elke participant komt voor in elke conditie
→ elke participant treedt op als zijn/haar eigen controle/baseline
→ maakt het mogelijk om de variantie die veroorzaakt wordt door individuele verschillen
te meten en te elimineren → binnengroepvariantie daalt
→ effecten veroorzaakt door O.A. beter bloot te leggen (betere tussengroepsvariantie)
→ dit design heeft meer “power” (meer kans om effecten te detecteren)

• Nadelen binnen-subject design:


o Bedreiging interne validiteit door potentiële tijdsgerelateerde confounders
o Drop-out: omdat participanten vaak herhaaldelijk gemeten worden op verschillende momenten,
grotere kans op drop-out (“participant attrition”) + sterkere vrijwilliger bias (~externe validiteit)

Keuze tussen binnen- en tussen-subject design

• Keuze op basis van:


1. Individuele verschillen
2. Tijdsgerelateerde factoren
3. Steekproefgrootte

• Matched-subjects design: verschillende groepen participanten, maar elke participant in conditie 1 is


één-op-één gematcht met een participant uit conditie 2 obv relevante variabelen
→ geen identieke, maar wel equivalente participanten in elke conditie
→ Tracht nadelen van tussen-subject (indiv verschillen) én binnen-subject (tijdsgerelateerde
confounders) te vermijden, maar kan nooit binnen-subject design evenaren

• Verschil in datastructuur:

Tussen-subject design Binnen-subject design

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 51


Les 8 – Non- en quasi- experimentele strategieën en designs

Non- en Quasi-experimentele onderzoeksstrategieën

• Soms niet mogelijk om aan rigoureuze vereisten van experiment te voldoen

Non-experimenteel: Quasi-experimenteel:
• Nog steeds vergelijken van scores van 2 of • Poging om bedreigingen interne validiteit te
meer groepen of condities verkleinen
• Maar aan min. 1 vereiste van experiment niet • Bijna, maar niet helemaal een experiment
voldaan
• Altijd een of andere storende variabele
(confounder) die interne validiteit bedreigt,
maar integraal deel is van het design en niet
verwijderd kan worden
• Deze studies kunnen geen niet-ambigue
oorzaak-gevolg relaties blootleggen
• Geen poging om bedreigingen interne validiteit
te verkleinen

• Gelijkenissen en verschillen tussen quasi- en non-experimenteel en het experiment


o Algemene structuur lijkt erg op experiment
▪ Creëren van condities/groepen
▪ in experiment worden condities gecreëerd op basis van manipulatie O.A.

o HIER: groepen/condities gecreëerd obv:


▪ specifieke participant variabele → tussen-subject designs
▪ tijd (pre en post meting) → binnen-subject designs
▪ Een niet-gemanipuleerde variabele bepaalt de condities!

o Voorbeeld:
▪ Experiment: groep die “gewone” nachtrust kreeg vergelijken met groep die slaapdeprivatie
ontving = manipulatie bepaalt groepen
▪ Non/Quasi-experiment: groep goede slapers vergelijken met groep insomnia patiënten =
bestaand kenmerk bepaalt groepen

Experiment Quasi- of non-experimenteel

Binnen-subject design Tussen-subject design

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 52


Tussen-subject design

• = niet-equivalente groep designs


o Doel experiment (cf. Les 7): creëren van equivalente groepen (random toewijzing, matching)
→ actief controleren wie aan welke groep wordt toegewezen
o Nu: groepen bestaan al (geen random toewijzing of matching mogelijk)
→ geen controle over wie aan welke groep wordt toegewezen
o Geen garantie dat groepen equivalent zijn!

• Algemene structuur:

o MAAR: inherente bedreiging van interne validiteit aanwezig


→ geen zuivere causale uitspraken meer mogelijk!

▪ Individuele verschillen (cf. Les 7) tussen de groepen vormen in deze designs ALTIJD een
bedreiging!

− Voorbeeld: goede slapers VS insomnia patiënten, mannen VS vrouwen, oudere VS


jongere volwassenen, etc.

▪ → Kans dat deze groepen verschillen mbt andere factoren (en dus potentiële
confounders) is reëel!

• 3 voorbeelden van niet-equivalente groep designs:


1. Differentiële onderzoeksdesign Non-experimenteel
2. Posttest-only niet-equivalente controle → geen poging tot vermijden van confouders
groep design
3. Pretest-posttest niet-equivalente controle Quasi-experimenteel
groep design

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 53


Differentiële • Individuele verschillen zijn primaire focus
onderzoeksdesign • Vergelijkt bestaande groepen obv specifiek kenmerk, zonder manipulatie
• Groepen creëren op basis van een specifiek individueel verschil (e.g., geslacht,
leeftijd) → hoe wordt gedrag of prestatie beïnvloed door geslachtsverschillen,
leeftijdsverschillen, etc.?

• Voorbeeld: zelfwaarde scores vergelijken tussen kinderen in 1-ouder VS 2-ouder


gezinnen

Posttest-only niet- • Niet-equivalente controle groep design: effect van “behandeling”


equivalente toegediend aan experimentele groep tov controle groep zonder behandeling
controle groep
design • MAAR: groepen (experimentele en controle conditie) gecreëerd obv
bestaande groepen, geen random toewijzing

• Groepen zijn dus niet equivalent

• Posttest-only: experimentele groep krijgt eerst behandeling (X) en wordt


nadien gemeten/geobserveerd (O) en vergeleken met controle groep die
enkel gemeten/geobserveerd wordt (O)
o X O (experimentele groep)
o O (niet-equivalente controle groep)

• Voorbeeld: effect van parken op aantal sociale interacties in een buurt →


vergelijken buurt mét nieuw park en buurt zonder park m.b.t. aantal interacties
tijdens 1 week (gemeten via observatie)
o Niet-equivalente groepen (geen random toewijzing, maar obv
kenmerk)
o Experimentele groep mét behandeling en controle groep zonder
behandeling worden vergeleken (→ differentiële onderzoeksdesign)
o Enkel post-meting (parken zijn er al)

• Doel = causale uitspraken (park veroorzaakt meer sociale interacties)


• MAAR: design biedt geen bescherming tegen individuele verschillen als
mogelijke confounders (e.g., buurten zullen verschillen op verschillende andere
vlakken) → geen niet-ambigue oorzaak-gevolg uitspraken!

Pretest-posttest • Kleine modificatie van posttest-only design → toevoegen pre-test!


niet-equivalente • Veel sterker design!
controle groep
design • Pretest-Posttest: experimentele en controle groep worden eerst
gemeten/geobserveerd (O), experimentele groep krijgt dan behandeling (X)
en nadien worden beide groepen opnieuw gemeten/geobserveerd (O) en
vergeleken
o O X O (experimentele groep)
o O O (niet-equivalente controle groep)

• Laat toe om effect van individuele verschillen (en dus bedreiging interne
validiteit) te reduceren! → van non-experimenteel naar quasi-experimenteel
o Pre-test meting laat toe om na te gaan of groepen VOOR de
behandeling reeds verschilden

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 54


o Geen verschil tussen groepen bij pre-meting (bijv. gemiddelde leeftijd,
proportie mannen/vrouwen, etc. idem) → groepen zijn gelijkaardig

o Groepen idem bij pre-meting maar verschillend bij post-meting →


meer vertrouwen dat behandeling een effect had (enige evidentie voor
oorzaak-gevolg relaties)!

o LET OP: enkel mogelijk voor enkele variabelen, dus geen volledige
controle individuele verschillen!

o LET OP: ook tijdsgerelateerde variabelen kunnen verschillen tussen de


groepen (cf. Les 7)

Binnen-subject design

• = Pre-post designs
• Serie observaties over de tijd van één groep participanten
• Zelfde groep participanten wordt gemeten voor en na een behandeling of gebeurtenis
• Metingen voor en na worden vergeleken om invloed van behandeling of gebeurtenis te evalueren
• Géén controlegroep

Pretest-posttest niet-equivalente controle


Pre -post design
groep design
Tussen-subject design Binnen-subject design
Omvat 2 groepen participanten: experimentele en Omvat 1 groep participanten (géén controle groep)
controle groep
Vergelijkt experimentele groep met controle groep Vergelijkt pre-scores met post-scores

• Individuele verschillen vormen geen probleem (zelfde groep participanten wordt herhaaldelijk gemeten)
• MAAR: tijdsgerelateerde variabelen bedreigen interne validiteit!
• History, maturatie, instrumentatie, statistische regressie (regession toward the mean), orde effecten (cf.
Les 7)
• Contrabalanceren niet mogelijk (pre-test komt steeds voor de post-test)
▪ → experimenteel binnen-subject design (cf. Les 7)

• Onderscheid:

Pretest-posttest • Meest eenvoudige versie:


design o O X O
• Elke participant binnen de enige groep participanten wordt één keer gemeten
voor behandeling en één keer na behandeling
• Geen poging om bedreigingen van interne validiteit te controleren, geen
oorzaak-gevolg conclusies mogelijk

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 55


Time-series • Modificatie pre-post design: serie van observaties
design o O O O X O O O

• Veel sterker design!


• Elke participant binnen de enige groep participanten wordt verschillende keren
gemeten voor behandeling en verschillende keren na behandeling
• Ook gebruikt voor “single cases” (1 participant of 1 organisatie)

• Opmerking: “behandeling” kan zowel een manipulatie zijn van onderzoeker (e.g.,
meten bloeddruk voor en na relaxatie training) of niet (e.g., meten welbevinden
voor en na aardbeving)

• Reduceert bedreigingen van interne validiteit


o Serie pre-test observaties kan trends blootleggen de reeds bestonden
voor behandeling (cf. mogelijke confounders) → leereffecten, effect van
vermoeidheid, maturatie, instrumentatie, etc.
▪ Geen trends aanwezig in de pre-metingen: redelijk zeker dat
potentiële bedreigingen van interne validiteit geen invloed
hebben op de participanten

o Let op met history effecten die perfect samenvallen met behandeling!


(e.g., start behandeling voor depressie valt samen met drastische
verandering in weersomstandigheden)

• Serie post-test observaties kan trends blootleggen na de behandeling

→ resultaten stijgen aan vast tempo


doorheen de tijd

→ behandeling werkt niet echt, maar is


gevolg van bijvoorbeeld leereffecten

Designs voor ontwikkelingsonderzoek

• Bestuderen veranderingen in gedrag die gerelateerd zijn aan leeftijd


• Onderzoeken verband leeftijd en andere variabelen

• Voorb.: hoe veranderen taalvaardigheden met leeftijd (of: hoe ontwikkelen taalvaardigheden)?

• 2 types designs:
o Cross-sectioneel design voor ontwikkelingsonderzoek (tussen-subject design)
o Longitudinaal design voor ontwikkelingsonderzoek (binnen-subject design)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 56


Cross-sectioneel • = tussen-subject design, nl. niet-equivalente groep design
design voor • Verschillende groep participanten voor elke leeftijd die men wil vergelijken
ontwikkelings- • Afhankelijke variabele wordt op 1 moment gemeten voor elke groep
onderzoek • Groepen worden vergeleken om na te gaan of er leeftijdsverschillen zijn mbt
A.V.
• Groepen worden niet ingedeeld obv manipulatie onafh var, maar obv
bestaande participant variabele (leeftijd)
• Geen random toewijzing (groepen bepaald door leeftijd)

• Voordelen:
o Snel: effect van leeftijd zonder te wachten tot participanten ouder
worden
o Geen lange-termijn samenwerking onderzoeker-participant nodig
(minder drop-out, kosten, etc.)

• Nadelen:
o Geen uitspraken over hoe een individuele participant ontwikkelt
o Groepen die verschillen in leeftijd verschillen waarschijnlijk ook mbt
andere variabelen
▪ cohorte- of generatie-effecten: omgevingsfactoren die
mogelijks verantwoordelijk zijn voor verschillen tussen de
groepen ipv leeftijd (i.e., mogelijke confounders)
− Cohorte = gelijke generatie

▪ Vooral effect als leeftijdsgroepen verder uit elkaar liggen

Longitudinaal • = binnen-subject design


design voor • 1 groep participanten wordt gemeten doorheen de tijd (maanden/jaren)
ontwikkelings- • Afhankelijke variabele wordt op verschillende momenten gemeten
onderzoek
• Meetmomenten worden vergeleken om na te gaan of de afh var ontwikkelt
over leeftijd
• = pretest-posttest design, maar zonder “behandeling” (behandeling = leeftijd)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 57


• Voordelen:
o Uitspraken over hoe een individuele participant ontwikkelt
o Geen cohorte-effecten

• Nadelen:
o Zeer tijdsintensief, duur
o Grote kans op drop-out (gevaar voor interne validiteit)
o Herhaaldelijke metingen van zelfde participanten → orde-effecten (cf.
Les 7)

Conclusie 7:
• In de Psychologie is het vaak niet mogelijk om aan de rigoureuze vereisten van een experiment (cf. Les 6
en 7) te beantwoorden
→ Non- of quasi experimentele strategieën
• Bevat steeds een bedreiging voor de interne validiteit die niet volledig kan uitgesloten worden → Geen
niet-ambigue causale uitspraken
• Quasi-experimentele studies trachten bedreigingen interne validiteit te controleren, non-experimentele
studies doen dat niet
• Lijken erg op echte experimenten: vergelijken van groepen/condities
• MAAR: condities niet gecreëerd obv manipulatie onafh var, maar obv bestaande karakteristiek of tijd
• Tussen-subject (niet-equivalente groep) en binnen-subject (pre-post) designs

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 58


Les 9 – Factoriële designs

Inleiding

• Tot nu toe: relatief eenvoudige designs (Hoofdstukken 8-10)


• MAAR: vaak heeft een interessante vraag een meer complex design nodig

• Voorbeeld:

o Deze studie: 2 onafhankelijke variabelen die de condities bepalen (→ vorige lessen)
▪ Geslacht (2 niveaus: man of vrouw)
▪ Videospel gewelddadigheid (2 niveaus: gewelddadig of niet-gewelddadig)

o Op basis hiervan: 4 condities


o Dit laat toe om na te gaan hoe agressief gedrag beïnvloed wordt door 2 variabelen die samen
optreden
= Factorieel design (hier: 2-factor design)

• Factorieel design omvat meerdere onafhankelijke variabelen (“factoren”)

• Laat ons toe om meer complexe situaties te bestuderen waar meerdere O.V. SAMEN een invloed
hebben op een A.V.
o Voordeel: Meer realistisch dan 1 factor in isolatie te bestuderen: gedrag wordt meestal bepaald
door meerdere factoren tegelijk

• Factorieel design is mogelijk voor


o experimentele studies → alle O.V. worden gemanipuleerd
o non- of quasi-experimentele studies (cf. voorbeeld slide 12) → minstens één O.V. wordt niet
gemanipuleerd (e.g., geslacht, leeftijd)

o Voorbeeld:

Op papier On screen
Fixed Time Exam scores for a group of Exam scores for a group of
participants who studied participants who studied
text presented on paper for text presented on screen
a fixed time. for a fixed time.
Self- Exam scores for a group of Exam scores for a group of
regulated participants who studied participants who studied
Time text presented on paper for text presented on screen
a self-regulated time. for a self-regulated time.

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 59


o 2 × 2 design → 2 factoren (= onafh var) met elk 2 niveaus
▪ Factor A met 2 niveaus (e.g., modaliteit van materiaal: papier of PC)
▪ Factor B met 2 niveaus (e.g., controle over studietijd: fixed of self-regulated)

o Aantal condities = product van de niveaus van elke factor (hier: 2 × 2 = 4)


▪ Papier, fixed studietijd
▪ Papier, self-regulated studietijd
▪ PC, fixed studietijd
▪ PC, self-regulated studietijd

• Waarom geen 2 aparte studies waar telkens 1 van deze O.V. gemanipuleerd wordt?
o Factorieel design laat toe om na te gaan hoe elke individuele factor het gedrag beïnvloedt
= hoofdeffecten)

o MAAR het laat ook toe om na te gaan hoe de factoren SAMEN het gedrag beïnvloeden
= interactie

Hoofdeffecten en interactie

• In het geval van een 2-factor design, bevatten de data 3 bronnen van informatie:
o Wat is het effect van factor A op de afh var?
o Wat is het effect van factor B op de afh var?
o Wat is het effect van factoren A en B SAMEN op de afh var?

• Voorbeeld:

Stap 1: Gemiddelden per conditie bereken


Stap 2: Marginale gemiddelden
→ = de gemiddelde score van de som
van de gemiddelden

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 60


Stap 3: Hoofdeffecten bepalen • Hoofdeffect van modaliteit materiaal (papier
of PC) op score examen: vergelijk de gemiddelde
score op “papier” condities met de gemiddelde
score op “PC” condities (i.e., marginale
gemiddelden):

Mpapier = 20 en MPC = 16

• Hoofdeffect van controle over studietijd (fixed


of self-regulated) op score examen: vergelijk de
gemiddelde score op “fixed” condities met de
gemiddelde score op “self-regulated” condities
(i.e., marginale gemiddelden):

Mfixed = 20 en Mself-regulated = 16

→ Tendens van betere score op examen na studeren


op papier dan met PC (Opmerking: is dit een “echt”
verschil? Is dit verschil significant? → statistische toets
nodig!)

Stap 4: Plot de tabel

Stap 5: Hoofdeffect bepalen

Stap 6: Is er interactie?
o Nee: de lijnen lopen parallel, dus geen interactie
o Indien de lijnen convergeren/divergeren van of naar elkaar → wel een interactie

• LET OP! De aanwezigheid van een interactie kan de interpretatie van de hoofdeffecten vertekenen!

• Indien een statistische analyse aangeeft dat er een significante interactie aanwezig is, kan je de
hoofdeffecten niet langer eenduidig interpreteren!

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 61


• In het geval van een 2-factor design, bevatten de data 3 bronnen van informatie:
o Wat is het effect van factor A op de afh var?
o Wat is het effect van factor B op de afh var?
o Wat is het effect van factoren A en B SAMEN op de afh var?

• Deze effecten zijn onafhankelijk en dus kunnen alle combinaties van hoofd- en interactie-effecten
voorkomen

• Hoe kan je a.d.h.v. een tabel een interactie aflezen?

→ Conditiegemiddelden bepalen de interactie

• Types van factoriële designs


1. Tussen-subject designs
Mixed designs
2. Binnen-subject designs
3. Experimentele onderzoeksstrategie
4. Non- of quasi-experimentele onderzoeksstrategie Gecombineerde strategieën

• Factorieel design laat toe om verschillende onderzoeksstrategieën én verschillende onderzoeksdesigns


te mengen!

• Zo een brede range aan mogelijke onderzoeksvragen bestuderen

• LET OP: alle voor- en nadelen van deze designs/strategieën blijven bestaan (e.g., bedreigingen interne
validiteit)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 62


• Voorbeeld: Mixed design

o Experimenteel design:
→ alles wordt gemanipuleerd
o 2x2 factorieel design
o Mixed design
▪ Binnen-subject factor: soort foto
▪ Tussen-subject factor: medicatie

o Interactie: emotie wordt afgevlakt door medicatie

Nog een ander type:

5. Pretest-Postest controle groep designs (cf. Les 8):


• Experimentele en controle groep worden eerst gemeten/geobserveerd (O), experimentele
groep krijgt dan behandeling (X) en nadien worden beide groepen opnieuw
gemeten/geobserveerd (O) en vergeleken
O X O (experimentele groep)
O O (niet-equivalente controle groep)

= 2-factor mixed design: 1 tussen-subject factor (exp groep VS controle groep) en 1 binnen-
subject factor (pretest-posttest)

6. Hogere-orde factoriële designs


• Voorbeeld: 3-factor design om academische prestatie te onderzoeken voor 2 verschillende
lesmethoden waar studenten random aan worden toegewezen (factor A), voor studenten
met hoog versus laag IQ (= factor B) en voor 1 e bachelor versus 2e bachelor versus 3e
bachelor studenten (= factor C)

o Hoe ziet dit design er dan uit?


→ 2×2×3 tussen-subject, gecombineerd factorieel design

o Drie hoofdeffecten (A, B en C), drie 2-wegs interacties (A×B, A×C, B×C) en één 3-
wegs interactie (A×B×C)
− de 2 lesmethoden zijn even effectief voor laag en hoog IQ voor 1 e bachelor (geen
A×B), maar niet voor 2e en 3e bachelor (wel A×B) → A×B×C

Toepassingen van factorieel design


• repliceren van een voorgaand onderzoek
o onderzoeken of er geen andere factor in het spel zit

• Variantie in tussen-subject design verminderen

• Orde-effecten blootleggen:
o Orde als 2de factor gebruiken
▪ Geen orde-effecten: er is geen interactie
▪ Symmetrische orde-effecten: er is interactie, maar altijd op dezelfde manier
▪ Non-symmetrische orde-effecten: er is interactie, maar steeds verschillend

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 63


Les 10 – Correlationele en Beschrijvende onderzoeksstrategieën

Correlationele onderzoeksstrategie

Inleiding

• DOEL correlationele onderzoeksstrategie = onderzoeken en beschrijven van de relaties/verbanden


tussen variabelen
o We willen deze relaties/verbanden NIET verklaren, geen causale uitspraken
o Geen poging tot controle of manipulatie van variabelen

• DATA = 2/meer metingen, 1 voor elke variabele waarin we geïnteresseerd zijn

• Elke participant (of “bron”) heeft een meting voor elk van de variabelen

• Metingen kunnen in een labo omgeving verzameld worden OF in natuurlijke omgeving

• We METEN de variabelen en die metingen worden dan onderzocht om na te gaan of er consistente


patronen of verbanden aanwezig zijn en hoe sterk deze zijn

• Voorbeeld: is er een verband tussen tijd doorgebracht op Facebook en GPA (i.e., Grade Point Average) bij
studenten?

• → Experiment: geen controle, geen manipulatie


• → Differentiële onderzoeksdesign: onderzoeksvraag = identiek!

Correlationeel Differentieel
= Gelijke soort onderzoeksvraag
o aantonen verband tussen 2 variabelen door o aantonen verband tussen 2 variabelen door
beide te meten voor elke participant en te een verschil aan te tonen tussen 2 groepen
zoeken naar patronen in de paren van scores → 1 variabele wordt gebruikt om groepen
→ Focus = relatie tussen variabelen (e.g., van participanten te definiëren en dan
verband tussen geslacht en empathie?) wordt een 2e variabele gemeten om een
score te krijgen voor elke groep

→ Focus = verschil tussen groepen (e.g.,


verschil tussen mannen en vrouwen wat
betreft empathie?)

Toepassen:

1. Voorspellen • = als 2 variabelen consistent gerelateerd zijn, kan je kennis over de ene
variabele gebruiken om de andere te voorspellen!

• Voorbeeld: IQ kind en IQ ouder vertonen een consistente positieve relatie, dus


als je de ene kent, kan je de andere voorspellen

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 64


• LET OP: bij deze strategie zijn beide variabelen equivalent, maar toch gaan
we vaak afh var (”criterion variable”) en onafh var (“predictor”) definiëren

• Vaak is het duidelijk uit het opzet welke var de afh is en welke de onafh

• Voorbeeld: IQ ouder (onafh var) voorspelt IQ kind (afh var)

• Als we deze strategie niet gebruiken om te voorspellen, gebruiken we de


labels “afh var” en “onafh var” vaak om resp. de relatief ongekende, complexe
var en de gekende var aan te duiden

2. Betrouwbaarheid Cfr. Les 3


en validiteit
3. Theorieën • veel theorieën maken assumpties over verbanden tussen variabelen
evalueren

Voor- en nadelen
• Voordelen:
o Kan variabelen identificeren en verbanden tussen variabelen blootleggen
o Toepasbaar wanneer we variabelen niet kunnen manipuleren en een experiment dus niet
mogelijk is (e.g., ethiek or vooraf bestaande karakteristieken)
o Omdat we niet manipuleren/controleren kunnen we fenomenen bestuderen zoals ze natuurlijk
bestaan → hogere externe validiteit!

• Nadelen:
o Geen oorzaak-gevolg verbanden, geen verklaringen voor verbanden
o Lagere interne validiteit → 2 problemen
▪ 3e variabele probleem (cf. Les 6)
− Verband tussen 2 variabelen betekent niet noodzakelijk een DIRECT verband
− Een 3e variabele kan altijd het verband tussen de 2 variabelen bepalen

▪ Het probleem van directionaliteit (cf. Les 6)


− Veranderingen in de ene variabele gaan gepaard met veranderingen in de andere
variabele
− MAAR: laat NIET toe om te bepalen wat oorzaak is en wat gevolg
− VOORSPELLEN ≠ VEROORZAKEN!

Meerdere variabelen

• Vaak interesse in verband tussen MEERDERE variabelen


o Voorbeeld: verband tussen academisch succes en IQ, motivatie, geslacht, etc.

• 1 A.V. wordt voorspeld door / hangt samen met een set O.V.

• Variabele toevoegen aan analyse om te controleren voor de invloed van deze (potentieel storende)
variabele op het verband waarin men geïnteresseerd is: voorspelt A nog steeds B als de invloed van C
reeds in rekening werd gebracht?

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 65


Beschrijvende onderzoeksstrategie

Inleiding
• DOEL = fenomeen beschrijven
• Beschrijft de huidige toestand van een specifieke variabele of gedrag
o Geen verbanden/relaties tussen variabelen, geen gedrag verklaren, geen oorzakelijke
uitspraken
o (set van) Variabele(n) METEN zoals ze natuurlijk optreden: elke aparte variabele wordt
beschreven (geen verbanden)

• 3 beschrijvende onderzoeksdesigns:
o Observationeel design
o Survey design
o Case study design

Observationeel design

• Voorbeeld: Marshmallow test


o Observeren en systematisch optekenen van gedrag van individuen om dit gedrag te beschrijven
o Hier: “delayed gratification” (Mischel et al., 1972)

• Observatie kan als meettechniek gebruik worden in verschillende andere designs


o Maar het kan ook een design op zich zijn als de observatie louter gebruikt wordt om een
fenomeen te beschrijven!

• Gedragsobservatie: directe observatie en systematisch optekenen van gedrag, meestal zoals het
optreedt in een natuurlijke situatie

• 2 meetproblemen:
o Gedrag mag niet verstoord/vertekend worden door de aanwezigheid van de observator
→ impact op vraagkarakteristieken en reactiviteit (cf. Les 3)

Oplossing: observator verbergen (ethiek?), habituatie

o Observatie omvat steeds een zeker subjectieve interpretatie door de observator


→ impact op betrouwbaarheid metingen (cf. Les 3)

Oplossing: gebruik goed gedefinieerde categorieën om gedrag op te tekenen, gebruik goed


getrainde observators, gebruik meerdere observators (bereken interbeoordelaars-
overeenstemming)

• Observaties kwantificeren: observaties omzetten in numerieke scores die gebruikt worden om het
fenomeen te beschrijven
o Frequentie: tellen hoe vaak het gedrag voorkomt tijdens een welbepaalde observatieperiode
(e.g., kind vertoonde 3 agressieve gedragingen tijdens periode van 30 min)

o Duur: hoeveel tijd een participant besteedt aan het gedrag tijdens een welbepaalde
observatieperiode (e.g., kind speelde 18 minuten alleen tijdens periode van 30 min)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 66


o Interval: observatieperiode in intervallen opdelen en registreren of gedrag wel/niet voorkomt in
elk interval (e.g., periode van 30 min opdelen in 30 intervallen van 1 min; kind speelde in groep
tijdens 12 van de intervallen)

• Observaties optekenen: observaties omzetten in numerieke scores die gebruikt worden om het
fenomeen te beschrijven
o Bij complexe situaties (meerdere participanten en/of meerdere gedragingen tegelijk): opname
maken (ethiek!)
o Gebruik een steekproef van de mogelijke observaties ipv alles te proberen op te tekenen
= sampling

▪ Time sampling: observeren tijdens 1 interval, dan interval pauzeren om alles op te


tekenen, etc.

▪ Event sampling: focus op 1 type gedrag tijdens 1 interval, dan focus op ander gedrag
tijdens 2e interval, etc.

▪ Individual sampling: focus op 1 participant tijdens 1 interval, andere participant tijdens


2e interval, etc.

• Zelfde technieken kunnen gebruikt worden in situaties zonder directe observatie (cf. handboek):
o Inhoudsanalyse: gedrag/gebeurtenissen meten in media (boeken, film, etc.)
o Archief onderzoek: historische documenten/archieven bestuderen om gedrag/gebeurtenissen
te meten die in het verleden plaatsvonden

Types observaties:

Niet-participerende • DOEL = onderzoeker observeert gedrag in natuurlijke setting en neemt niet


observatie deel, buitenstaander, komt niet tussen
→ Hoge externe validiteit, inzicht in real-life gedrag

→ MAAR: tijdsintensief (wachten tot gedrag zich voordoet), onderzoeker


mag gedrag niet verstoren/beïnvloeden

Participerende • DOEL = onderzoeker mengt zich onder de participanten om hun gedrag te


observatie observeren, interactie met participanten

• Extreem voorbeeld: “On being sane in insane places” (Rosenhan, 1973)


→ Hoge externe validiteit, wanneer niet-participerende observatie niet
mogelijk is, uniek perspectief van observator door ervaringen te delen
met participanten

• → MAAR: tijdsintensief, potentieel gevaarlijk voor observator, interactie kan


gedrag verstoren/beïnvloeden, minder objectiviteit

Gestructureerde • DOEL = onderzoeker creëert setting die observatie van specifiek gedrag
observatie faciliteert
→ Voorbeeld: conservatie experimenten Piaget: onderzoeker legt
probleem voor aan kind en observeert hoe kind het oplost

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 67


→ Geen natuurlijke setting, meestal labo setting

→ Compromis tussen niet-participerende observatie en (veld) experiment


→ Sneller, maar minder natuurlijke omgeving → effect op externe validiteit

Sterktes en zwakten van de verschillende observatie

Design Strenghts Weakness


Naturalistic Behavior observed in the real world Time-consuming
observation Useful for nonmanipulated behaviors Potential for observer influence
Actual behaviors observed and Potential for subjective interpretation
recorded
Participant When natural observation is impossible Time-consuming
observation Get information not accessible Potential for loss of objectivity
otherwise Increased chance for observer influence
Participation gives unique perspective
Contrived Do not have to wait for a behavior to Less natural
observation occur

Survey design

• Surveys of vragenlijsten worden vaak gebruikt in de psychologie


o Laat toe om snel grote hoeveelheden data te verzamelen omtrent attitudes, opinies, voorkeuren,
gedragingen, demografische gegevens, etc. → flexibel!

• Zelf-gerapporteerde data (“self-report”)


o In plaats van te observeren, vragen we het gewoon aan de participant

• Surveys kunnen gebruikt worden in verschillende onderzoeksdesigns (correlationeel, experiment, non-


of quasi-experiment, etc.)
o Maar het kan ook een design op zich zijn wanneer een survey wordt gebruikt om een
beschrijving te geven van een bepaalde groep individuen = survey onderzoeksdesign

• DOEL = accuraat beeld krijgen van een groep individuen

• Voorbeeld: alcoholgebruik in scholen → hoe vaak drinken leerlingen? Hoeveel? Waar en wanneer? Welke
attitudes hebben ze tov alcohol? Etc.

• Survey omvat vaak vragen naar demografische gegevens (e.g., leeftijd, geslacht, beroep, inkomen, SES,
naam, etc)

• 4 belangrijke aspecten:
o Survey vragen ontwikkelen
o Vragen zo organiseren zodat survey goed opgebouwd is
o Selectieproces om exact te bepalen wie wel/niet zal deelnemen (representatieve steekproef!)
o Bepalen hoe de survey uitgevoerd zal worden (pen-en-papier, online, etc.)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 68


• Types van vragen
o Verschillende types vragen leiden tot verschillende types antwoorden
o Bepalen hoeveel vrijheid participant heeft (heel gerestricteerd of heel open)
o Vraagstelling kan bias induceren
o Invloed op types statistische analyses en interpretatie (cf. meetniveau)
o 3 types: open vragen, gerestricteerde vragen, beoordelingsschalen (“rating scales”)

Open vragen • DOEL = bepaalt het onderwerp en geeft participant vrijheid om in eigen woorden
te antwoorden

• Voorbeeld: wat zijn volgens jou de meest bepalende factoren in de keuze van een
opleiding?

• Voordelen: biedt participant de meeste flexibiliteit, weinig restricties, grote kans


dat echte gedachten/opinies worden blootgelegd

• Nadelen: verschillende participanten kunnen de vraag anders benaderen


waardoor antwoorden moeilijk te vergelijken en samen te vatten zijn, moeilijk te
analyseren met standaard statistische analyses, afhankelijk van hoe goed een
participant mening kan neerschrijven

Gerestricteerde • DOEL = participant krijgt beperkt aantal antwoordmogelijkheden (cf. multiple


vragen choice) en moet (vaak) het alternatief aanduiden dat het meest gepast, meest
correct is

• Voorbeeld: wat is volgens jou de meest bepalende factor in de keuze van een
opleiding?
a) Interesse c) Keuze van vrienden
b) Praktische overwegingen d) Beroepsmogelijkheden

• Makkelijk samen te vatten en te analyseren (proportie, %)

Beoordelings- • DOEL = participant selecteert een numerieke waarde op een vaste schaal om
schalen (“rating mate van instemming/akkoord aan te geven
scales”
• Voorbeeld: Beroepsmogelijkheden is de meest bepalende factor in de keuze van
een opleiding
a) Helemaal mee eens d) Niet mee eens
b) Mee eens e) Helemaal niet mee eens
c) Noch eens, noch oneens

• Likert schaal (hier: 5-punts Likert schaal)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 69


• Gelijke afstanden tussen de antwoordmogelijkheden

• Vaak beschouwd als interval meetniveau

• Gebruik voldoende categorieën (5-10): participanten vermijden vaak de extreme


uiteinden (waardoor je 2 categorieën “verliest”)

• Gebruik labels (zeker van eindpunten en centrale categorie)

• LET OP: als participanten een reeks vragen krijgen met dezelfde
beoordelingsschaal, hebben ze de neiging om vaak dezelfde respons te
gebruiken = “response set”
o E.g., noch eens, noch oneens → is men echt neutraal of wou men snel klaar
zijn?
o E.g., altijd “eens”, behalve bij extreme onenigheid

• Oplossing: gebruik een mix van positieve en negatieve stellingen


→ pas formulering aan
o E.g., “als ik pijn voel ben ik bang dat het zal blijven duren” EN “als ik pijn
voel maak ik me niet meteen ongerust”

o Dwingt participanten om de hele schaal te gebruiken en niet te vervallen


in een response set

• Beschouwd als interval → standaard statistische analyses mogelijk

• Makkelijk te begrijpen en in te vullen voor participanten

• Niet gedwongen in ja/nee, alles-of-niets antwoorden

• Voordeel: Snel veel data verzamelen

• Survey samenstellen
o Hoe de vragen organiseren om een coherente survey te krijgen?
o Enkele algemene richtlijnen (niet exhaustief):
▪ Demografische vragen op het einde (vaak saai, dus afhaken beperken + invloed hiervan
op andere vragen beperken)
▪ Gevoelige vragen, vragen die schaamte of ongemak kunnen veroorzaken in het midden
van de survey
▪ Vragen rond eenzelfde thema of met een zelfde format (e.g., beoordelingsschalen)
groeperen
▪ Verzorg de lay-out, duidelijke instructies
▪ Pas taalgebruik aan aan de beoogde participanten (e.g., kinderen)

• Selecteer relevante en representatieve steekproef


o Doel = generaliseren (zie les 4)
o Kan externe validiteit bedreigen (zie ook Les 5)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 70


o Bijkomende bezorgdheden in survey design:
▪ Vragen enkel relevant voor kleine subset van algemene populatie (e.g., vragen over
kinderopvang) → hoe ga je relevante participanten werven? (i.e., ouders met kleine
kinderen)
▪ Vragen gericht op brede doorsnede van populatie (e.g., politieke attitudes) → beperk
range steekproef niet te sterk (e.g., enkel studenten)
▪ Tracht een goede steekproef te selecteren waarvoor de survey relevant is!

• Survey afnemen
Internet • Via link op website, via e-mail
• Online survey snel (en gratis) aan te maken met open source software (e.g.,
LimeSurvey), grote groep potentiële respondenten bereiken
• MAAR: selectiebias (e.g., social media): wie vult de survey uiteindelijk in?
Representatieve sample? (= nonresponse bias)
Post • Participanten vullen op eigen tempo in, niet bedreigend
• MAAR: kostprijs (printen en versturen), lage response rate, selectiebias
Telefoon • Zeer tijdrovend, enkel voor korte surveys, let op voor interviewer bias
Persoonlijk • Meest efficiënt, kan in groep verlopen, hoge response rate (vrijwilligers komen naar
afgesproken moment en krijgen dan pas survey)
• MAAR: let op met interviewer bias (bij individuele afname), vrijwilligersbias

• Voor- en nadelen van surveyafnames:


o + flexibel!
o - Lage response rates en nonresponse bias
o - Zelf-rapportage: kwaliteit survey hangt af van accuraatheid en eerlijkheid participanten →
vatbaar voor vertekening, sociale wenselijkheid, info achterhouden, gebrek aan kennis over
thema survey, etc.

Survey type Strenghts Weakness


Internet surveys • Efficient to administer to a large • Initial expense for site
numberof participants • Sample may not be representative
• Access to large number of • Cannot control composition of the
individuals with common sample
characteristics
• Survey can be individualized based
on participant's responses
Mail surveys • Convenient and anonymous • Can be expensive
• Nonthreatening to participants • Low response rate and nonresponse
• Easy to administer bias
• Unsure exactly who completes the
survey
Telephone surveys • Can be conducted from home or • Time-consuming
office • Potential for interviewer bias
• Participants can stay at home or
office
In-person surveys Efficient to administer with groups, Time-consuming, with individual
100% response rate, and flexible interviews, and risk of interviewer bias
(groups or individual interviews)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 71


Case study

• Psychologie: vaak bestuderen we groepen, maar soms zijn we meer geïnteresseerd in individueel
gedrag dan “gemiddeld” gedrag van een groep

• Voorbeeld: in klinische psychologie zijn resultaten omtrent één individuele cliënt soms relevanter dan
resultaten gemiddeld over een groep diverse individuen

• Case study design: gedetailleerde studie en beschrijving van een enkel individu (of heel kleine groep).
• Kan experiment (cf. Hoofdstuk 14), interviews, observaties, surveys, etc. zijn
• Groepsstudies negeren het belang van het individu

• Toepassingen:
o Zeldzame fenomenen en klinische gevalsstudies → voorbeeld: dissociatieve identiteitsstoornis
(DSM V; the three faces of Eve), hersenbeschadiging (H.M.)
o Succesvolle applicatie van nieuwe therapieën

• Voordelen:
o Zeer gedetailleerd → kan nieuwe relevante variabelen detecteren die bijdragen aan een
outcome en zo hypotheses genereren, theorieën beïnvloeden
o Kan aantonen waarom gangbare behandelingen in specifieke gevallen niet/extreem werkzaam
zijn

• Nadelen:
o Beschrijvend, geen poging om onderliggende mechanismen te identificeren
o Beperkte interne validiteit (steeds alternatieve verklaringen mogelijk)
o Beperkte externe validiteit (moeilijk te generaliseren)
o Onderzoekersbias (interpretatie), selectiebias (welke cases worden gerapporteerd?)

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 72


Les 11 – Open science

Inleiding

p-value

• p = probability
• H0: geen effect
• HA: wel een effect
• p-value:
• ervan uitgaande dat H0 klopt…
• …de kans om de huidige resultaten of extremer te verkrijgen
• p < .05:
• significant resultaat
• verwerp H0, accepteer HA
• happy scientist

Publiceren?
• Wetenschap stuurt de klinische praktijk
• Wetenschap:
o Openbaar
o Repliceerbaar

• Wetenschap is cyclisch
• Wetenschap is samenwerken
• “To publish or to perish”: publiceren = status

Closed acces Open acces


• Artikel achter paywall • Gratis te raadplegen voor
• Eigendom uitgever iedereen!
• KU Leuven • Eigendom auteurs
abonnementskosten • Publicatie fee
€9.000.000 per jaar
• Belastinggeld voor
wetenschappelijk onderzoek
Vlaanderen 2017:
€350.253.851

Open science
• Open access:
o vrije toegang tot wetenschappelijke artikelen
• Open data:
o vrije toegang tot data
• Open source:
o vrije toegang tot software
• Open methodology:
o vrije toegang tot methoden (bv. scripts gebruikt voor analyses)
• Open peer review:
o vrije toegang tot review proces en identiteit reviewers

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 73


Waarom open science (vaak misgaat)?

Fraude

• Voorbeeld:
“Meisjes die naar sexy vrouwen kijken, presteren slechter in wiskunde omdat ze het geportretteerde
vrouwbeeld automatisch overnemen: ze gaan zich sexier, afhankelijker, zorgzamer, maar niet slimmer
gedragen.”

• “In een rommelige omgeving, bijvoorbeeld met afval, discrimineren mensen vaker.”
• Data gefabriceerd: > 50 studies
• Onthuld door junior onderzoekers (o.a. PhD student)

Specifieke
• Fraude in de empirische cyclus Publiceren hypotheses
o Fraude bij gegevensverzameling opstellen
o Fraude bij data interpretatie

Data Studie
interpreteren ontwerpen
• Oplossing met open science
o Repliceren (= een studie exact herhalen)
o Pre-registration / registered report Data
analyseren, Data
o Open data hypotheses verzamelen
o Open methode testen
o → Een open wetenschappelijke cultuur!

Bias
• Confirmation bias (weglaten van tegenwerkende informatie)
• Harking
o = Hypothesizing After Results are Known
o hypothesen aanpassen na verkregen data

• Replicatie
o Onderzoek dat niets nieuws brengt, wordt niet snel gepubliceerd
→ dus niet vaak een publicatie van een replicatie

• Verborden flexibiliteit
o P-hacking → methode aanpassen om resultaat te beïnvloeding

Uitbreiding van de cyclus:

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 74


Open science in de praktijk

Inleiding

• Vijf pijlers van Open Science • Doel


o Open Access o Transparantie
▪ Green (pre-print of post-print) o Beperken van fouten
▪ Gold o Bevordert repliceerbaarheid
o Open Data ➔ o Verhogen geloofwaardigheid
o Open Source o Verhogen herbruikbaarheid
o Open Methodology o Verbeteren efficiëntie onderzoeker
o Open Peer Review

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 75


Les 12 – Kwantitatieve en kwalitatieve methoden

Case 1: kwantitatief → kwalitatief

• Vragenlijsten hebben vaak een onderliggende structuur, subschalen (= latente structuur)


o Voorb: State-Trait Anxiety Inventory (STAI; Spielberger et al.)
→ 2 subschalen (toestandsangst en angstdispositie) → 40 items, 20 items per subschaal

• Factoranalyse kan gebruikt worden om die onderliggende structuur bloot te leggen

o Doel = onderliggende structuur nagaan van een nieuwe vragenlijst (Pain Solutions
Questionnaire of PaSol; De Vlieger et al., 2006), ontwikkeld om manieren waarop pijnpatiënten
omgaan met hun pijn te meten

o 14 items, 7-puntenschaal (0=helemaal niet van toepassing – 6=sterk van toepassing)


o Meet verschillende mogelijke oplossingen voor de pijn (voorb.: “Ik probeer alles om van mijn pijn af
te geraken”)

o Factoranalyse werd uitgevoerd → kwantitatieve methode!


o Resultaat = Factor matrix
o Welke items horen bij elkaar? 14 items van de vragenlijst groeperen in een kleiner aantal
factoren

▪ Factor 1: items 1, 4, 5, 14, 22


▪ Factor 2: items 13, 17, 19, 20
▪ Factor 3: items 12, 23
▪ Factor 4: items 7, 9, 16

o We hebben nu een kwantitatieve oplossing!


▪ Maar wat betekent dit???
▪ Zonder interpretatie is deze kwantitatieve oplossing nutteloos! → kwalitatieve methode

▪ Voorbeeld: Factor 1 = items 1, 4, 5, 14, 22 → check de inhoud van deze items


− 1: Even when I have severe pain, I still find my life meaningful
− 4: Even when I have severe pain I can see a way out
− 5: I try to live with my pain
− 14: I try to make the best of my life, despite the pain
− 22: I don’t let the pain get in my way
− → DUS: “Meaningfulness of Life Despite Pain” (= subschaal benoemen)

▪ Idem voor andere factoren:


− Factor 2: Solving Pain
− Factor 3: Belief in a Solution
− Factor 4: Acceptance of the Insolubility of Pain

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 76


▪ 14 items ondergebracht in 4 betekenisvolle subschalen via factoranalyse
▪ Theorie, interpretatie overstijgt statistiek (indien kwantitatieve oplossing niet geduid
kan worden, theoretisch niet zinvol is → nutteloos!)

Case 2: Kwalitatieve → kwantitatief

• Stuyck et al. (in prep): onderzoeken hoe oplossingen van problemen die worden gevonden met een Aha!
Moment verschillen van oplossingen gevonden met analyse (stap-voor-stap proces)
o 70-tal woordpuzzels oplossen (max. 25 s)

o Participanten geven na elke oplossing aan of ze de puzzel hebben opgelost met Aha of met
analyse
→ Verschillen Aha oplossingen van analyse oplossingen in reactietijd, accuraatheid, ervaren
vertrouwen, ervaren moeilijkheid, etc.?
= kwantitatieve studie

o MAAR: geen info over HOE mensen de puzzels exact oplossen → eerst kwalitatief bevragen!

Samenvatting « methoden van wetenschappelijk onderzoek, deel 1 » | 77

You might also like