ANOVA Analiza varijanse

Student t-test

Student t-test testiranje razlike izmeu srednjih

vrednosti 2 grupe podataka
H0 : 1 = 2
H1 : 1 2
= 0,05 (nivo znaajnosti testa)
0,05 (5%) verovatnoa da se odbaci ispravna
nulta hipoteza
greka

tip I odbacivanje ispravne nulte hipoteze

greka tip II prihvatanje neispravne nulte hipoteze

Student t-test

Testiranje razlike izmeu srednjih vrednosti vie grupa

podataka
potrebno izvoenje t-testa vie puta

Koliko je potrebno t-testova?

3 grupe podataka: A, B i C 3 t-testa
poreenja: A:B, A:C i B:C
4 grupe podataka: A, B, C i D 6 t-testova
poreenja: A:B, A:C, A:D, B:C, B:D i C:D

Student t-test

3 grupe podataka: A, B i C 3 t-testa

mogui zakljuci
A:B A vee od B (p < 0,05)
A:C A nije razliito od C (p > 0,05)
B:C B nije razliito od C (p > 0,05)

Pitanje: ako je A > B, i A = C, kako je B = C ?

Razlog:
korienje razliitih varijansi za razliita poreenja
izvoenje tri poreenja na istim podacima

Istovremeno izvoenje vie t-testova

Kod izvoenja vie t-testova javlja se Familywise error

rate problem (FWER)
FWER verovatnoa da se neispravno odbaci
najmanje jedna nulta hipoteza u grupi poreenja
FWER = 1 (1 )k
nivo znaajnosti testa
k broj t-testova
Za 6 t-testova:
FWER = 1 (1 0,05)6 = 1 0,735 = 0,265 = 27%
27% verovatnoe da napravimo najmanje jednu
greku tip I

Analiza varijanse - ANOVA

Analiza varijanse omoguava istovremeno testiranje

razlika izmeu vie srednjih vrednosti

Ispituje se efekat jedne ili vie nezavisnih kategorikih

varijabli (faktora) na zavisnu kontinuiranu varijablu
Jedan faktor uticaja jednofaktorska ANOVA
Primer: ispitivanje efekta razliitih tretmana na nivo krvnog

pritiska

Vie faktora uticaja viefaktorska ANOVA

(multipla ANOVA MANOVA)
Primer: ispitivanje efekta pola i razliitih tretmana na nivo

krvnog pritiska

Svaki faktor uticaja ima vie nivoa (kategorija)

6

Terminologija

Faktori (prediktori)
imaju vie nivoa / grupa / tretmana - m

Broj replikata / jedinica / subjekata) unutar svake grupe n

Ukupan broj replikata N

Vrednost svakog pojedinanog replikata - x

Jednofaktorska ANOVA - osnovna ideja

Uporeivanje dva tipa varijacije da bi se ocenila razlika

izmeu srednjih vrednosti

Baza za poreenje je odnos varijansi

Zato ANOVA?

Test baziran na varijansama je osetljiviji nego test

baziran na srednjim vrednostima

ANOVA ima manji rizik za greku tip I

ANOVA ima manji rizik za greku tip II

Jednofaktorska ANOVA - osnovna ideja

Razdvajanje varijacije
Varijacija izmeu grupa
varijacija (razlika) izmeu srednjih vrednosti koja je
posledica uticaja uzorka i uticaja faktora koji se
ispituje (ako postoji)
objanjiva varijacija

Varijacija unutar grupa

varijacija koja je posledica uticaja uzorka
neobjanjiva varijacija

Ukupna varijacija
zbir varijacije izmeu grupa i varijacije unutar grupa
9

Jednofaktorska ANOVA pretpostavke za test

Pretpostavke za test
Populacije su nezavisne
definie

se dizajnom studije

Populacije su normalno distribuirane

proverava

Homogenost varijansi (homosedastinost) - Populacije

imaju jednake varijanse
za

se tip raspodele za svaku grupu

proveru se koriste razliiti testovi

Eksperimentalne jedinice su sluajno odabrane

randomizacija

Podaci su izraeni intervalnom ili skalom odnosa

10

Jednofaktorska ANOVA pretpostavke za test

Homogenost varijansi
1. Levene test (H0: varijanse su jednake) - SPSS
2. Odnos varijansi (najvea/najmanja):
Odnos varijansi mora da bude 2

Kada varijanse nisu homogene potrebna je

transformacija podataka
Plot log(SD) vs log(mean)
Izrauna se nagib b
b=2: 1/Y
b=1: log(Y)
b=0.5: Y

Tabela sa podacima jednofaktorska ANOVA

Nivoi faktora (grupe)
Replikati

srednja vrednost
grupe
populacione
srednje vrednosti

...

x11

x21

x31

...

xi1

x12

x22

x32

...

xi2

...

...

...

...

...

x1n

x2n

x3n

...

xin

x1

x2

x3

...

xi

...

12

Varijansa
2

xi x

2
Sd

N 1

xi x

N1

N 1

Varijansa

Suma kvadrata odstupanja od srednje

vrednosti (suma kvadrata, SK)

Broj stepena slobode

13

Ukupna varijacija

SK tot x1,1 x x1,2 x x i,n x

SK tot x i ,n x

grupa 1

grupa 2

grupa 3

14

Varijacija izmeu grupa

2 n2 x 2 x2 ni xi x 2
2
SK ig ni x i x
SK ig n1 x1 x

x3
x2

x1

grupa 1

grupa 2

grupa 3

15

Varijacija unutar grupa

SK ug x1,1 x12 x1,2 x12 xi,n xi 2
SK ug

x
i,n i

x3
x2

x1

grupa 1

grupa 2

grupa 3

16

Varijanse

varijansa izmeu grupa

Vig

SK ig
m 1
SK ug

varijansa unutar grupa

Vug

ukupna varijansa

SK tot
Vtot
N 1

Nm

17

Jednofaktorska ANOVA F test

Vig
Vug

Stepeni slobode
Vig df1 = m 1
Vug df2 = N m
m

= broj grupa
N = ukupan broj podataka u svim grupama zajedno
18

Kritine vrednosti F
Ako su srednje vrednosti jednake,
F =Vig/Vug 1

odbacuje se H0

Odbacuje se H0 samo za veliko F

prihvata se H0

F, df1, df2
Uvek jednostrani test!

19

Primer 1
Ispitivanje toksinog delovanja leka na tri tipa elija
Prikazano je vreme (u danima) posle koga je ostalo 50% elija

tip A
1,2
1,5
1,7
1,8
1,6
1,4
9,2

tip B
1,5
1,4
1,3
1,6
1,8
1,4
9,0

tip C
2,0
1,8
1,7
2,2
1,9
2,1
11,7

xsr

1,53

1,50

1,95

x2

14,34

13,66

22,99

vreme
(dani)

20

Jednofaktorska ANOVA - hipoteze

H0: A = B = C

Sve populacione srednje vrednosti su jednake

Faktor uticaja nema efekta

H1: A B C

H1: A B = C A
H1: A B C = A
H1: A = B C A

H1: - nisu sve jednake

Najmanje 1 srednja vrednost je razliita

Postoji efekat faktora uticaja

21

Jednofaktorska ANOVA
H0 : 1 2 3
H1 : Nisu sve jednake

Sve srednje vrednosti su jednake:

Nulta hipoteza je ispravna
(nema efekta faktora uticaja)

1 2 3

Jednofaktorska ANOVA
H0 : 1 2 3
H1 : Nisu sve jednake
Najmanje jedna srednja vrednost je razliita:
Nulta hipoteza nije ispravna
(postoji efekat faktora uticaja)

ili

1 2 3

1 2 3

Primer 1
2,2

2,0

xC

dani

1,8

1,6

x
xA

xB

1,4

1,2
A

B
tip

24

ANOVA - izrazi za izraunavanje

x Nx
V
N 1
2

suma kvadrata odstupanja od

srednje vrednosti - SK
broj stepena slobode - df
2

x
2
2
2
SK x N (x) x N
N
2

x
x 2 N

N2

x
x 2

25

ANOVA - izrazi za izraunavanje

1.

x 2
C
N

2. SK tot x 2 C
3. SK ig

2
2
2

x 1
x 2
x i

....
C

n1

n2

ni

4. SK ug SK tot SK ig

26

Primer 1

1.

(9,2 9,0 11,7) 2

894,01
C

49,667222
18
18

2.

SK tot (14,34 13,66 22,99 ) C 50,99 C 1,322778

9,2 2 9,0 2 11,7 2

C 50,421667 - C 0,754445
6
6
6

3.

SK ig

4.

SK ug 1,322778 0,754445 0,568333

27

ANOVA - sumarna tabela

varijacija

suma kvadrata

df

varijansa

izmeu grupa

SKig

m-1

Vig = SKig /(m-1)

unutar grupa

SKug

N-m

Vug = SKug /(N-m)

ukupno

SKtot

N-1

gde su: m broj grupa; N ukupan broj podataka (u svim

grupama zajedno)

Vig
Vug

kritina vrednost F za df1 = m-1 i df2 = N-m

28

Primer 1
varijacija

SK

izmedju grupa

0,7544

0,3772

unutar grupa

0,5684

15

0,0379

ukupno

1,3228

17

0,3772
F
9,953
0,0379
F0,05 = 3,68 za df1 = 2 i df2 = 15
Nulta hipoteza se ne prihvata, negde
postoji razlika izmeu srednjih vrednosti !

3,68

29

Tablica za F - raspodelu

30

Pair-wise comparison

Traenje znaajne razlike izmeu srednjih vrednosti

Broj poreenja za k grupa: k (k - 1)/2
3 grupe: 3 (3 1)/2 = 3
4 grupe: 4 (4 1)/2 = 6
5 grupa: 5 (5 1)/2 = 10
Izbor metode zavisi od broja poreenja

Preporuke:
Mali broj podataka u grupi (< 5): Bonferroni
Poreenje svih grupa sa jednom (npr. kontrolnom):
Dunnett
Poreenje svake grupe sa svakom: Tukey

Primer 1 Tukey test

D Sx Q

n6

Sx

Q 3,67

Vug
n

Sx

1
n
N

m 1

n2
N

0,03789
0,07947
6

D 0,07947 3,67 0,292

32

Tablica Q-vrednosti

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

2
18,0
6,09
4,50
3,93
3,61
3,46
3,34
3,26
3,20
3,15
3,11
3,08
3,06
3,03
3,01
3,00
2,98

3
26,7
8,28
5,88
5,00
4,54
4,34
4,16
4,04
3,95
3,88
3,82
3,77
3,73
3,70
3,67
3,65
3,62

4
32,8
9,80
6,83
5,76
5,18
4,90
4,68
4,53
4,42
4,33
4,26
4,20
4,15
4,11
4,08
4,05
4,02

5
37,2
10,89
7,51
6,31
5,64
5,31
5,06
4,89
4,76
4,66
4,58
4,51
4,46
4,41
4,37
4,34
4,31

broj grupa
6
40,5
11,73
8,04
6,73
5,99
5,63
5,35
5,17
5,02
4,91
4,82
4,75
4,69
4,64
4,59
4,56
4,52

7
73,1
12,43
8,47
7,06
6,28
5,89
5,59
5,40
5,24
5,12
5,03
4,95
4,88
4,83
4,78
4,74
4,70

8
45,4
43,03
8,85
7,35
6,52
6,12
5,80
5,60
5,43
5,30
5,20
5,12
5,05
4,99
4,94
4,90
4,86

9
47,3
13,54
9,18
7,60
6,74
6,32
5,99
5,77
5,60
5,46
5,35
5,27
5,19
5,13
5,08
5,03
4,99

10
49,1
13,99
9,46
7,83
6,93
6,49
6,15
5,92
5,74
5,60
5,49
5,40
5,32
5,25
5,20
5,15
5,11

33

Primer 1 Tukey test

Hipoteza
H0 : A = B
H0 : A = C
H0 : B = C

Razlika
1,53 1,50 = 0,03
1,53 1,95 = |0,42|
1,50 1,95 = |0,45|

x A xB

Statistiki zakljuak
0,03 < 0,29 H0 se prihvata
0,42 > 0,29 H0 se odbacuje
0,45 > 0,29 H0 se odbacuje

x A x C xB x C

f(x)

AB

x
34

Primer 1 u MS Excel-u

Tools, Data Analysis, Anova: Single Factors

Input Y-range: obeleiti sve grupe zajedno sa nazivima
podaci se unose u sledeem obliku
tip A

tip B

tip C

1,2

1,5

2,0

1,5

1,4

1,8

1,7

1,3

1,7

1,8

1,6

2,2

1,6

1,8

1,9

1,4

1,4

2,1

oznaiti polje Labels in first row

oznaiti polje Output range i postaviti kursor na polje u Worksheetu
gde treba da se pojavi izvetaj
OK
35

Primer 1- Izvetaj u MS Excel-u

Odnos varijansi:
0,0467/0,032 = 1,46
Varijanse su homogene!

Anova: Single Factor

SUMMARY
Groups
tip A
tip B
tip C
ANOVA
Source of
Variation
Between Groups
Within Groups
Total

Count
6
6
6

Sum
9,2
9,0
11,7

Average
1,533
1,500
1,950

Variance
0,0467
0,0320
0,0350

SS
0,754444
0,568333
1,322778

df
2
15
17

MS
0,3772
0,0379

F
9,956

P-value
0,0018

F crit
3,682

Nulta hipoteza se ne prihvata, negde postoji razlika izmeu

srednjih vrednosti !
Tukey test by hand!
36

Primer 1 u SPSS-u
Podaci se unose u jednu kolonu sa
oznakom grupe u drugoj koloni
Analyze
Compare means
One-Way ANOVA

dani
1,2
1,5
1,7
1,8
1,6
1,4
1,5
1,4
1,3
1,6
1,8
1,4
2,0
1,8
1,7
2,2
1,9
2,1

tip
elija
A
A
A
A
A
A
B
B
B
B
B
B
C
C
C
C
C
C
37

Primer 1 u SPSS-u

Options
Oznaiti:
Descriptive
Homogeneity-ofvariance
Means plot
Continue

Post Hoc
Oznaiti:
Tukey
Continue

OK

Primer 1 - Izvetaj u SPSS

Des criptives
DANI

N
1
2
3
Total

6
6
6
18

Mean
1,533
1,500
1,950
1,661

Std. Deviation
,216
,179
,187
,279

Std. Error
8,819E-02
7,303E-02
7,638E-02
6,575E-02

95% Conf idence Interval f or

Mean
Low er Bound Upper Bound
1,307
1,760
1,312
1,688
1,754
2,146
1,522
1,800

Minimum
1,2
1,3
1,7
1,2

Max imum
1,8
1,8
2,2
2,2

Tes t of Homogene ity of Variance s

DANI
Levene
Statistic
,156

df 1

df 2
2

15

Sig.
,857

39

Primer 1 - Izvetaj u SPSS

ANOVA
DANI

Betw een Groups

Within Groups
Total

Sum of
Squares
,754
,568
1,323

df
2
15
17

Mean Square
,377
3,789E-02

F
9,956

Sig.
,002

Multiple Com parisons

Dependent V ariable: DA NI
Tukey HSD

(I) TIP_CELI
1
2
3

(J) TIP_CELI
2
3
1
3
1
2

Mean
Dif f erence
(I-J)
3,333E-02
-,417*
-3,333E-02
-,450*
,417*
,450*

Std. Error
,112
,112
,112
,112
,112
,112

*. The mean dif f erenc e is s ignif icant at the .05 lev el.

Sig.
,953
,006
,953
,003
,006
,003

95% Conf idence Interval

Low er Bound Upper Bound
-,259
,325
-,709
-,125
-,325
,259
-,742
-,158
,125
,709
,158
,742