Statistiek bachelor proef

Eenweg ANOVA
Eenweg ANOVA= maar 1 categorische variabele en 1 continue variabele (numerieke)

 In een eenrichtingsvariantieanalyse of een eenrichtings-ANOVA-model kunnen de

gemiddelden van een willekeurig aantal groepen, die elk een normale verdeling met
dezelfde variantie volgen, worden vergeleken.
We willen dus bepalen of de variabiliteit in de gegevens voornamelijk voortkomt uit
variabiliteit binnen groepen of echt kan worden toegeschreven aan variabiliteit tussen
groepen.

Stel dat er k groepen zijn met ni waarnemingen in de ide groep.

De jde waarneming in de i-de groep (dus binnen de groep) wordt aangeduid met yij.

Laten we uitgaan van het volgende model:

- µ staat voor het onderliggende gemiddelde van alle groepen samen (algemeen
gemiddelde)
- (alfa)i vertegenwoordigt het verschil tussen het gemiddelde van de i-de groep en het
totale gemiddelde.
- eij staat voor willekeurige fout over het gemiddelde µ+ alfai uit de i-de groep voor een
individuele waarneming uit de i-de groep

Met de gemiddelde responsvariabele voor de i-de groep aangeduid met 𝑦 ̅i, en de

gemiddelde responsvariabele over alle groepen met 𝑦 ̿.

(yij – 𝑦 ̅i) staat voor de afwijking van een individuele waarneming van het groepsgemiddelde
voor die waarneming en is een indicatie van variabiliteit binnen de groep.
(𝑦 ̅i – 𝑦 ̿) staat voor de afwijking van een groepsgemiddelde van het algemene gemiddelde en
is een indicatie van variabiliteit tussen groepen.
Voorbeeld 1

In het algemeen, als de variabiliteit tussen groepen groot is en de variabiliteit binnen de

groep klein, dan wordt H0 (alle groepsgemiddelden zijn hetzelfde) verworpen en worden de
onderliggende groepsgemiddelden significant verschillend verklaard.

Er wordt een algemeen gemiddelde weergegeven met de stippellijn en we zien ook dat elk
gemiddelde Y-streep vrij hard afwijkt van dat gemiddelde van dat algemeen gemiddelde
 dus we zeggen dat dat de “between groep variability” is vrij groot.

Als we kijken binnen elk groepje liggen de bolletjes vrij dicht op elkaar, weinig spreiding
binnen in een groep
 dus de “within groep variability” is vrij klein

Dit is een ideaal geval  DIT WILLEN WE

Heel gemakkelijk om H0 hypothese te verwerpen, want binnenin de groep is er weinig
verschil, maar tussen de groepen is er heel groot verschil
Voorbeeld 2

Omgekeerd, als de variabiliteit tussen groepen klein is en de variabiliteit binnen de groep

groot, dan wordt H0, de hypothese dat de onderliggende groepsgemiddelden hetzelfde zijn,
aanvaard.
DUS H0 niet verwerpen!

Totale som van kwadraten = binnen som van kwadraten + tussen som van kwadraten

Totaal SS = Binnen SS + Tussen SS

With significance level , test:
H0: αi = 0 for all i vs. H1: at least one αi  0

Consider the test statistic: F = Between MS/Within MS

with F ~ Fk-1, n-k distribution under H0

Compute: f = between ms/within ms

Conclude: f > Fk-1, n-k, 1- then reject H0

f ≤ Fk-1, n-k, 1- then accept H0

The exact p-value: p = Pr(Fk-1, n-k > f)

F-verdeling

Heeft rechter staart dat veel langer is dan zijn linker staartje  de vorm van deze verdeling
noemen we rechts scheef of positief vertekent (zeker niet symmetrisch zoals T-verdeling)
We werken met het 95ste percentiel= kritieke waarde= waarde waarvoor 95% van de waarde
kleiner is en 5% is groter

Dus kritieke waarde altijd zoeken  rechts= verwerpen H0  er is en significant verschil

Of P-waarde aanpak= kans dat F-verdeling een nog extreemere waarde aanneemt dan de
waarde die je bekomt op basis van je steekproef wanneer H0 hypothese waar is
 als deze kans klein is (kleienr dan alfa= 0,05)  geloven we niet en verwerpen we de H0
hypothese

Voorbeeld
Post-hoc analysis in One-Way ANOVA

Minst significante verschil (LSD)-methode: t-tests voor de vergelijking van alle paren van
groepen
pas op voor het "meervoudige vergelijkingsprobleem"  betekent als we heel veel testen
tegelijkertijd deot kan het zijn dat we pertoeval een aantal testen significant aanduiden
terwijl ze dat niet zijn

The standard error= is de standaarddeviatie gedeeld door wortel n

Resultaat

T-test doen

 zeer interessant resultaat omdat het aantoont dat de longfunctie van passieve rokers
significant slechter is dan die van niet-rokers en in wezen dezelfde is als die van niet-
inhalerende en lichte rokers (≤ l/2 pakje sigaretten per dag).

LSD= Least significant difference= het kleinste verschil dat toch significant is.
Hoe? Kritieke waarde zoeken, een T zoeken bij n-k  opzoeken in Rstudio of in tabel
In Rstudio: QT(p=0,975,1044 (DF))  waarde van 1,9622
Dus als T voorbij of groter is dan 1,9622 dan zeggen we dat het significant is.

Maar waarom LSD genoemd?  we hebben bv twee groepen (rokers en niet rokers) en die
hebben een verschil van bv 0,48. Dit is groot genoeg, maar hoe weten we dat? Wat is het
kleinste verschil dat toch nog significant is
 kritieke waarde dat wordt overschreden moet vermenigvuldigd worden met wortel en
van zodra deze T groter is dan 1,96 is het significant!
Vergelijkingen van specifieke groepen in One-Way ANOVA of alleen een t-test met twee
steekproeven?

Een veel voorkomende fout bij het uitvoeren van de t-test bij het vergelijken van twee
groepen in eenrichtings-ANOVA is om alleen de steekproefvarianties van deze twee groepen
te gebruiken in plaats van van alle k-groepen om σ² te schatten. Als de steekproefvarianties
van slechts twee groepen worden gebruikt, worden verschillende schattingen van σ²
verkregen voor elk paar beschouwde groepen, wat niet redelijk is omdat wordt aangenomen
dat alle groepen dezelfde onderliggende variantie σ² hebben.

Bovendien zal de schatting van σ² verkregen door alle k groepen te gebruiken nauwkeuriger
zijn dan die verkregen door het gebruik van twee groepen, omdat de schatting van de
variantie gebaseerd zal zijn op meer informatie. Dit is het belangrijkste voordeel van het
uitvoeren van de t-tests in het kader van een one-way ANOVA in plaats van het doen van
verschillende two-sample t-tests.

Als er echter reden is om aan te nemen dat niet alle groepen dezelfde onderliggende
variantie (σ²) hebben, moet de eenweg-ANOVA niet worden uitgevoerd en moeten in plaats
daarvan twee-steekproeven t-tests op basis van paren van groepen worden gebruikt.
Vergelijkingen van specifieke groepen in One-Way ANOVA of alleen een t-test met twee
steekproeven?

Probleem met meerdere vergelijkingen

Als er een groot aantal groepen is en elk paar groepen wordt vergeleken met behulp van de
t-test, die "meerdere vergelijkingen" wordt genoemd, dan zullen waarschijnlijk enkele
significante verschillen toevallig worden gevonden.
Dus het gelijktijdig uitvoeren van meerdere tests vergroot de kans dat een van de
nulhypothesen ten onrechte wordt verworpen en er bij toeval een verschil tussen 2 groepen
wordt ontdekt dat er niet echt is (type I-fout).

 De one-way ANOVA toetst of de groepen afkomstig zijn van eenzelfde verdeling met een
gezamenlijk gemiddelde of van verschillende verdeling met een eigen gemiddelde. Voer een
post-hoc toets uit om te bepalen welke groepen significant verschillen. De post-hoc toetsen
voeren meestal een correctie voor de p-waarden uit, omdat er meerdere toetsen
tegelijkertijd worden gebruikt. Meerdere toetsen tegelijkertijd uitvoeren verhoogt de kans
dat een van de nulhypotheses onterecht wordt verworpen en er bij toeval een verband
wordt ontdekt dat er niet is (type I fout).
Er zijn meerdere post-hoc toetsen. De keuze voor een toets hangt onder andere af van het
wel of niet schenden van de assumptie van homogeniteit van varianties:
* Gebruik de Tukey Honestly Significant Difference post-hoc toets bij gelijke variantie. 16
* Gebruik de Games-Howell post-hoc toets bij ongelijke variantie. 17
Hoe dit "probleem met meerdere vergelijkingen" te corrigeren?
 Bonferroni-correctie: gebruik 𝛼/𝑐 als significantieniveau voor het uitvoeren van c aantal
tests
Tukey Eerlijk Aanzienlijk Verschil post-hoctest (='TukeyHSD'): beperkt het familiegewijze
foutenpercentage, wat de kans is dat er ten minste één fout wordt gemaakt bij een reeks
tests.
Vele andere manieren…

Vermogensanalyses en steekproefomvangberekening
= de kans dat je de nulhypothese gaat verwerpen wanneer je ze mag verwerpen
 maar je bent nooit zeker want je bent populatie niveau aant vergelijken op basis van een
steekproef
 Power is de kans dat de nulhypothese wordt verworpen terwijl deze in feite onwaar is.

Power is de kans op het maken van een juiste beslissing (om de nulhypothese te verwerpen)
wanneer de nulhypothese onwaar is.

Power is de kans dat een statistische test een effect oppikt dat echt aanwezig is.

Power is de kans op het vermijden van een Type II-fout (= ): (kans dat je H0 als waar ziet
terwijl je wel zou mogen verwerpen)

power = 1 -  = Pr (verwerping van H0|H1 waar) (kans dat je H0 verwerpen wanneer je het
mag verwerpen)

Er bestaan formules om:

- Bereken de vereiste steekproefomvang om een bepaald vermogen te bereiken
- Bereken de kracht van een test bij een gegeven steekproefomvang

Er zijn schattingen van de werkelijke gemiddelden en standaarddeviaties nodig (bijvoorbeeld

uit een pilotstudie)!

Power is de kans dat een bepaald verschil wordt gebruikt in een populatie. Bijvoorbeeld het
verschil in levensverwachting tussen een groep rokers en een groep niet-rokers. In een
analytische vergelijkende studie bepalen we van groepen dezelfde (nulhypothesen) van
verschillend (alternatieve hypothese). Hierbij kunnen we twee typen fouten maken: een
type I fout (α, alpha) en een type II fout (β, bèta). Bij een type I fout verwerpen we tien
werkwijze de nulhypothese (foutpositief, false positive). Bij een type II fout accepteren we
ten bezwaar de nulhypothese. De kracht van een studie is 1 - β. Dit is dus 1 min de kans op
het tien methode accepteren van de nulhypothese. Grof gezegd is het de kans om een
werkelijk effect in de populatie op te pikken in een studie.

Voor de bachelorproef, zeg dan dat de macht hoog kan zijn bij grote verschillen maar dat dit
niet altijd zo is
Nakijken van de voorwaarden voor ANOVA
1) Normaliteit
2) Homogeniteit= gelijkheid van varianties

Om een valide toetsresultaat te bereiken moet de data aan een aantal voorwaarden
voldoen. Controleer of de steekproef aan de volgende assumpties voldoet: normaliteit,
homogeniteit van varianties en onafhankelijkheid.

De one-way ANOVA is een robuuste toets: als er niet voldaan is aan de assumptie van
normaliteit of homogeniteit van varianties, dan kan de one-way ANOVA in bepaalde gevallen
nog steeds uitgevoerd en geïnterpreteerd worden.2 Hierdoor kan het wel zijn dat de toets
minder onderscheidend vermogen heeft, dan wanneer de assumpties niet geschonden
worden.3, 4 Als er grote afwijkingen zijn van normaliteit of homogeniteit van varianties, is
de Kruskal-Wallis toets een alternatief voor de one-way ANOVA.5, 6

Normaliteit
= ANOVA vergelijk het gemiddeldes van verschillende groepen. We hebben hier maar 1
categorische variabelen en aantal groepen in die categorie. We eisen dat er normaliteit is
binnen elke groep, de gegevens moeten normaal verdeelt zijn

- Controleer de data visueel met een histogram, een boxplot of een Q-Q plot.
 visueel bekijken met histogram, boxplot of QQ plot visueel bekijken en kijken dus dat ze
normaal verdelt zijn

- Toets of de data normaal verdeeld zijn met de Kolmogorov-Smirnov test of bij een
kleinere bewegende (n < 50) met de Shapiro-Wilk test.
 via een test: nagaan of gegevens normaal verdeelt zijn. Kleinere steekproeven wel beter
met shapiro-wilk test.

De assumptie van normaliteit houdt bij de one-way ANOVA in dat de afhankelijke variabele
normaal verdeeld is voor elke groep. Controleer de assumptie van normaliteit voor elke
groep met de volgende stappen:

1. Controleer de data visueel met een histogram, een boxplot of een Q-Q plot.

2. Toets of de data normaal verdeeld zijn met de Kolmogorov-Smirnov test of bij een kleinere
steekproef (n < 50) met de Shapiro-Wilk test.7,  8

De eerste stap heeft als doel een goede indruk te krijgen van de verdeling van de steekproef.
In de tweede stap wordt de assumptie van normaliteit getoetst. De statistische toets laat
zien of de verdeling van de observaties van een groep voldoet aan de assumptie van
normaliteit. Voor alle groepen moet er voldaan zijn aan de assumptie van normaliteit.
Als er niet voldaan is aan normaliteit, is het transformeren van de data een optie. 9 Een
andere optie is het gebruik van de nonparametrische Kruskal-Wallis toets waar normaliteit
geen assumptie is.10 De one-way ANOVA is echter ook een robuuste toets ten opzichte van
de assumptie van normaliteit. Als elke groep een aantal observaties (n) heeft dat groter dan
100 is, ga er dan vanuit dat de one-way ANOVA robuust genoeg is om uit te voeren zonder
dat de afhankelijke variabele een normale verdeling volgt.
En zeg hen dat de shapiro wilk test voor kleine steekproeven (zoals in de bachproef) soms te
snel zegt dat het normaal verdeeld is, maar dat het eigenlijk niet zo is (anderzijds is de
shapiro wilk ook niet goed voor al te grote samplkes want dan zegt die dat het niet normaal
verdeeld is terwijl het wel is omdat je dan zelfs de CLT kan toepassen)

voorbeeld

Curve moet gelijken op standaard normaal verdeling  visueel eventuele afwijkingen van
normaliteit waarnemen

Boxplot  hoe zijn de gegevens verspreid/ verdeelt

De 3de is de meest symmetrische  box zelfs ligt in midden van de wiskers en de dikke lijn
ligt ook meer in het midden
QQ plot= quantaal quantaal plot
 je gaat quantielen van steekproef vergelijken met quantielen van steekproef
De punten die je ziet liggen op rechte  hoe meer deze afwijken hoe slechter de normaliteit
Normaliteit is dus een voorwaarde voor ANOVA

Shapiro-wilk test

Hierme verkrijg je een P-waarde

 is deze kleiner dan 0,05 = het is NIET normaal verdeelt
 is de waarde niet kleiner dan 0,05 dan is de test oke, dan zegt de H0 hypothese dat het
normaal verdeelt is en moeten we het niet verwerpen

Homogeniteit

= nagaan of de verschillende groepen die we vergelijken of deze dezelfde variantie hebben

of zelfde spreiding hebben  kan je ook testen via barlett.test

p-waarde mag NIET kleiner zijn dan 0,05  dan is het oke en is de voorwaarde van
homogeniteit ook oke
Tweeweg ANOVA
= er komt een tweede categrische variabele bij (bv gelacht)  voor elke nieuwe categorische
variabele hebben we een factor
En de niveaus binnen zo een categorische variabele noemt level

Tweerichtings-ANOVA-test wordt gebruikt om gelijktijdig het effect van twee categorische of

groeperingsvariabelen (A en B) op een responsvariabele te evalueren.
De groeperingsvariabelen worden ook wel factoren genoemd. De verschillende categorieën
(groepen) van een factor worden niveaus genoemd. Het aantal niveaus kan per factor
verschillen. De niveaucombinaties van factoren worden cel genoemd.
Wanneer de steekproefomvang binnen cellen gelijk is, hebben we het zogenaamde
gebalanceerde ontwerp. In dit geval kan de standaard two-way ANOVA-test worden
toegepast.

Als de steekproefomvang binnen elk niveau van de onafhankelijke variabelen niet hetzelfde
is (in het geval van ongebalanceerde ontwerpen), moet de ANOVA-test anders worden
uitgevoerd.

Niet het hierboven gemonteerde model wordt additief model genoemd. Het gaat ervan uit
dat de twee factorvariabelen onafhankelijk zijn. Als u denkt dat deze twee variabelen
kunnen samenwerken om een synergetisch effect te creëren, vervangt u het plusteken (+)
door een asterisk (*), als volgt:
Het is te zien dat de twee belangrijkste effecten (supp en dosis) statistisch significant zijn,
evenals hun interactie.
Merk op dat in de situatie waarin de interactie niet significant is, u het additieve model moet
gebruiken.

In de ANOVA-test geeft een significante p-waarde aan dat sommige groepsgemiddelden

verschillend zijn, maar we weten niet welke paren groepen verschillen.
Het is mogelijk om meerdere paarsgewijze vergelijkingen uit te voeren om te bepalen of het
gemiddelde verschil tussen specifieke paren van groepen statistisch significant is.
Omdat de ANOVA-test significant is, kunnen we Tukey HSD (Tukey Honest Significant
Differences) berekenen voor het uitvoeren van meerdere paarsgewijze vergelijkingen tussen
de gemiddelden van groepen.
 Er zijn 2 x 3 =
6 “cells”

Aantal
combinaties
van 2 uit 6 =
15 testen

T-waatrde gaan bekijken

Tweerichtings-ANOVA, zoals alle ANOVA-tests, gaat ervan uit dat de waarnemingen binnen
elke cel normaal verdeeld zijn en gelijke varianties hebben.
Controleer voor elke cel of subgroep de normaliteit van de gegevens
Controleer de homogeniteit van de verschillen tussen de verschillende cellen/subgroepen
met bartlett.test.

Volgend jaar: relatieie tot “lineaire regressie”: werken met “residuals”

De residuen versus past-plot wordt gebruikt om de homogeniteit van varianties te
controleren. In de onderstaande grafiek zijn er geen duidelijke relaties tussen residuen en
aangepaste waarden (het gemiddelde van elke groep), wat goed is. We kunnen dus de
homogeniteit van varianties aannemen.
Normaliteitsplot van de residuen. In de onderstaande grafiek zijn de kwantielen van de
residuen uitgezet tegen de kwantielen van de normale verdeling. Er wordt ook een
referentielijn van 45 graden uitgezet.
De normale waarschijnlijkheidsplot van residuen wordt gebruikt om de aanname te
verifiëren dat de residuen normaal verdeeld zijn.
De normale waarschijnlijkheidsplot van de residuen moet ongeveer een rechte lijn volgen