Uvod u statističko učenje

Statističko učenje

Multidisciplinarnost područja – razvoja i primjene

- pozvani predavači
- seminari

Teme 15.03.2005.

Proširenje tema iz uvoda u statističke metode:

- Neparametarska statistika
- ANOVA
- Regresija

17.03.2004. 1/22
 Uvod u statističko učenje

2 test

Neparametarski test

Koristi se za dvije kategorije testova:

 Testiranje ponašanja po distribuciji ( engl. goodness of fit )
 Testiranje nezavisnosti klasifikacija: kontigencijske tablice (engl.
contigency tables)

H0 dvije kvalitativne populacijske varijable su nezavisne

RxS tablice očekivana, teorijska

2 =  (fobs- fizracunata)2 / fizracunata

PUŠAČI NEPUŠAČI total

MUŠKARCI 110 90 200
ŽENE 104 96 200
total 214 186 400

Teorijske (očekivane) frekvencije

PUŠAČI NEPUŠAČI total

MUŠKARCI 107= 93 200
(214*200/400)
ŽENE 107 93 200
total 214 186 400

17.03.2004. 2/22
 Uvod u statističko učenje

2 = (110-107)2/107 + (104-107)2/107 +(90-93)/93 +(96-93)/93 =

0.084 + 0.084 + 0.097 + 0.097 = 0.362

Broj stupnjeva slobode = (R-1)(S-1) za tablicu RxS

2 x 2 Table (Irisdat.sta)
Column 1Column 2 Row
Totals
Frequencies, row 1 110 90 200
Percent of total 27,500% 22,500%50,000%
Frequencies, row 2 104 96 200
Percent of total 26,000% 24,000%50,000%
Column totals 214 186 400
Percent of total 53,500% 46,500%
Chi-square (df=1) ,36 p= ,5475
V-square (df=1) ,36 p= ,5480
Yates corrected Chi-square ,25 p= ,6162
Phi-square ,00090
Fisher exact p, one-tailed p= ,3081
two-tailed p= ,6163
McNemar Chi-square (A/D) ,82 p= ,3651
Chi-square (B/C) ,87 p= ,3506

Primjer 2:
Muškarci preferiraju novu formulu 41 od 50.
Žene preferiraju novu formulu 27 od 50. (Statistica example)
2 x 2 Table (Irisdat.sta)
Column 1Column 2 Row
Totals
Frequencies, row 1 41 9 50
Percent of total 41,000% 9,000%50,000%
Frequencies, row 2 27 23 50
Percent of total 27,000% 23,000%50,000%
Column totals 68 32 100
Percent of total 68,000% 32,000%
Chi-square (df=1) 9,01 p= ,0027
V-square (df=1) 8,92 p= ,0028
Yates corrected Chi-square 7,77 p= ,0053
Phi-square ,09007
Fisher exact p, one-tailed p= ,0025
two-tailed p= ,0049
McNemar Chi-square (A/D) 4,52 p= ,0336
Chi-square (B/C) 8,03 p= ,0046

17.03.2004. 3/22
 Uvod u statističko učenje

ANOVA
(ANALIZA VARIJANCE , ANalisys Of VAriance)

R.A. Fisher

Svrha:
 Nalaženje faktora koji najviše utječu na model (primjer
regresija)
 Reducira se na testiranje razlike između srednjih vrijednosti više
uzoraka.
 U principu uzorci nisu nezavisni i dobiveni su dizajnom
eksperimenta (kada se kontrolira vrijednost faktora)

2 populacije ANOVA  t-test

Zašto se ne testira nizom t-testova?

1. broj testova n(n-1)/2

2. nivo značajnosti se automatski povećava:
=0.01 za pojedinačni test, vjerojatnost izbjegavanja pogreške je
0.99 pa je vjerojatnost izbjegavanja pogreške  jest (1-)k za k
testova. Vjerojatnost  u k testova je 1-(1-)k što je za k=10 iznosi
0.364

3. Individualni testovi nisu nezavisni jedan od drugog

4. Individualni testovi mogu proizvesti kontradiktoran rezultat (sve su
srednje vrijednosti jednake, jedan test odbacuje hipotezu)

Testiranje x pomoću usporedbom varijanci!

Varijanca je suma kvadrata devijacija podataka od njihove srednje

vrijednosti SS (sum of squares) podijeljena s (n-1).

17.03.2004. 4/22
 Uvod u statističko učenje

VARIJANCA MOŽE BITI PARTICIONIRANA!

TOTALNA VARIJABILNOST SSTOTAL =

VARIJABILNOST UNUTAR GRUPA SSERROR (ILI RESIDUAL) +
VARIJABILNOST IZMEĐU GRUPA SS(EFFECT)

Particioniranje varijance:

Grupa 1 Grupa 2
O1 3 6
O2 2 7
O3 1 5
x 2 6
SS 2 2
Ukupna x 4
Total SS 28

Uoči: SS koji se temelji na varijabilnosti unutar grupa (2) je znatno

manje nego ukupana varijabilnost (28).
Razlog te razlike leži u različitosti srednjih vrijednosti grupa!

SS (TOTAL) = SS (unutar grupa) + SS(zbog varijabilnosti sred.vr.)

Slučajne oscilacije - ERROR variance (due to random error),

(neobjašnjena varijabilnost)
SS (unutar grupa) = 2 + 2 = 4

SS Effect, SS(zbog varijabilnosti sred.vr.) = 28 – (2+2) = 24

(varijabilnost zbog efekta)

TOTALNA
17.03.2004. 5/22
 Uvod u statističko učenje

Univariate Results for Each DV (S

Sigma-restricted parameterization
Effective hypothesis decompositio
GENERAL
Degr. Vof
ar1Var1Var1Var1
EffectFreedom
SS MS F p
Intercept196,00000
96,00000
96,00000
0,000608
"Var2" 124,00000
24,00000
24,00000
0,008050
Error 4 4,00000
1,00000
Total 528,00000

Objašnjena varijabilnost
Mnoge stat. procedure koriste omjer Nebjašnjena varijabilnost

Varijabiln ost izmedju grupa Mean Square Effect MS Effect

tj.
Varijabiln ost unutar grupa Mean Square Error MS Error

H0 nema razlike između grupa

Čak i kada vrijedi H0 očekujemo manje razlike u očekivanjima između

grupa, ali procijenjene varijance između grupa i unutar grupa trebaju
biti jednake.

F test – da li se omjer varijanci bitno razlikuje od 1.

17.03.2004. 6/22
 Uvod u statističko učenje

 n broj elemenata, k broj grupa (uzoraka)

 i indeks podatka u uzorku(grupi)
 j je indeks grupe
F (n-k, k-1)

VAŽNO: pretpostavke ANOVE:

 Podaci su normalno distribuirani
 Varijance uzoraka su jednake
Testiranje jednakosti varijanci: Barlett, Cochran

17.03.2004. 7/22
 Uvod u statističko učenje

ANOVA I REGRESIJA

ANOVA je moćni postupak za analizu kvalitete regresijskog modela.

VARIJANCA unutar modela može se particionirati, a zatim se ti
dijelovi stavljaju u odnos tako otkrivajući činjenice o modelu!

ANOVA služi i za provjeru modela (goodness (or lack) of fit)

TOTALNA VARIJABILNOST SSTOTAL =

VARIJABILNOST REZIDUALA (POGREŠKE-ERROR) SSRESIDUAL/ERROR +
VARIJABILNOST OBJAŠNJENA REG. MODELOM SSREG

SSTOTAL   ( yi  y ) 2  SS ERROR  SS REGRESSION   ( yi  yˆ i ) 2   ( yˆ i  y ) 2

17.03.2004. 8/22
 Uvod u statističko učenje

VIŠESTRUKI REGRESIJSKI MODEL

(engl. Multiple Linear Regression)

History Lesson

Sir Francis Galton, in his 1885 Presidential address before the anthropology section
of the British Association for the Advancement of Science (Stigler, 1986), described a study he
had made that compared the heights of children with the heights of their parents. He examined
the heights of parents and their grown children, perhaps to gain some insight into what degree
height is an inherited characteristic. He published his results in a paper, "Regression Towards
Mediocrity In Hereditary Stature," (Galton, F. (1886)).
Figure A shows a JMP scatterplot of Galton's original data. The right-hand plot is his attempt to
summarize the data and fit a line. He multiplied the womens' heights by 1.08 to make them
comparable to mens' heights and defined the parent's height as the average of the two parents.
He defined ranges of parents' heights and calculated the mean child's height for each range. Then
he drew a straight line that went through the means as best he could.

He thought he had made a discovery when he found that the heights of the
children tended to be more moderate than the heights of their parents. For
example, if parents were very tall the children tended to be tall but shorter than
their parents. If parents were very short the children tended to be short but taller
than their parents were. This discovery he called "regression to the mean," with
the word "regression" meaning to come back to.

However, Galton's original regression concept considered the variance of both

variables, as does orthogonal regression, which is discussed later. Unfortunately,
the word "regression" later became synonomous with the least squares method,
which assumes the X values are fixed.

17.03.2004. 9/22
 Uvod u statističko učenje

Linearna regresija

Podaci sakupljeni mjerenjem, promatranjem, zanima nas odnos

između mjerenih varijabli -> oblikujemo model.

Najčešće je taj model linearna funkcija – pravac, ali ne mora biti i isti
se postupak može primijeniti sve dok je model linearan (!).

Y=ax + b

Y=a + bx + cx2
Linearan model je onaj koji je linearan u parametrima koji se
procjenjuju – odnos između varijabli to ne mora biti!

Crtamo dijagram raspršenja - scatter diagram

(Pogledati animaciju RUVL Regression by eye)

Često transformiramo varijable da bi odnos između njih bio linearan

Primjer: logY = a logx + b

(RUVL , podaci MOLD, sqrt, square)

17.03.2004. 10/22
 Uvod u statističko učenje

Problem ekstremnih vrijednosti (outliers)

(Coimbra, leverege effect)

Regresijski model je onaj s pomoću kojeg procjenjujemo vrijednost

jedne varijable na temelju druge.

Yˆi  a  bX i

Yˆi  Yi
jest rezidual, devijacija ili pogreška koja nastaje kada
predviđamo Y u zavisnosti od X.

Reziduali predstavljaju onaj dio varijabilnosti koji nije moguće

objasniti modelom.
Reziduali se moraju pažljivo provjeriti jer oni odražavaju ispunjavanje
pretpostavki modela – najbolje grafički (posebno za male uzorke kada
numerički postupci nisu odgovarajući)

17.03.2004. 11/22
 Uvod u statističko učenje

(analiza reziduala - animacija linearna regresija - uvid u zadovoljavanje pretpostavki - grafički )

Najbolja krivulja (best fit) regresijske funkcije može se dobiti

min  (Yˆi  Yi ) 2
minimiziranjem sume kvadrata pogreške i
.
Od svih krivulja koje aproksimiraju neki skup točaka krivulja sa
min  (Yˆi  Yi ) 2
svojstvom i
naziva se
LEAST SQUARE REGRESSION CURVE

(Uoči: ako zamjenimo x s y dobit ćemo drugačiju krivulju!)

Da li se best fit može dobiti na drugi način ? Zašto baš min SS?

17.03.2004. 12/22
 Uvod u statističko učenje

Mjera korisnosti modela – koeficijent determinacije R2

(goodness of fit)

Mjeri proporciju varijance zavisne varijable oko njezine srednje

vrijednosti koja je objašnjena prediktorskim (zavisnim) varijablama.

0 < R2 < 1

Veći R znači veću snagu modela u objašnjavanju regresijske funkcije i

dakle, bolju predikciju zavisne varijable.
Osnovna ideja: izračunati redukciju pogreške predikcije kada je
informacija koju osigurava nezavisna varijabla uključena u model.

SSTOTAL   ( yi  y ) 2  SS ERROR  SS REGRESSION   ( yi  yˆ i ) 2   ( yˆ i  y ) 2

17.03.2004. 13/22
 Uvod u statističko učenje

1. Ako nema x u modelu, tj. nema doprinosa x-a predikciji y onda je

najbolji pogodak srednja vrijednost y

2. Ako sada uključimo informacije s kojom x predviđa y, pogreška

je reducirana. S obzirom da regresijska funkcija predstavlja najbolji
opis podataka (best fit) pogreška je
n
SS error   ( yi  yˆ i ) 2 model
i 1

 R2 je relativno smanjenje pogreške kada je informacija o X

uključena u model

17.03.2004. 14/22
 Uvod u statističko učenje

SS REG SSTOT  SS ERR

R2  
SSTOT SSTOT

 To je količina varijacije Y objašnjena s X.

 Za jednostavnu linearnu regresiju koeficijent

determinacije jest kvadrat korelacijskog koeficijenta
između X i Y.

(Pogledati animaciju RUVL Komponente r2)

Izvod normalnih jednadžbi ………….

Izvod za y = ax + bx2 …………………

17.03.2004. 15/22
 Uvod u statističko učenje

Pretpostavke za jednostavnu linearnu i multiplu regresiju:

 Odnos između x i y je linearan (uoči razliku između ne-linearne i

krivolinijske asocijacije  može biti transformirana).
 Sve varijable su nezavisne, nema korelacije s bilo kojom trećom
varijablom.
 Za svaki X, vrijednosti Y su distribuirani normalno
 Za svaki X, Y distribucija ima istu varijancu. ( homoscedastic
data). HOMOSCEDASTIC data – slučajna pogreška je normalno
distribuirana – često narušena pretpostavka!

To se grafički provjerava crtanjem pogreške u odnosu na signal

bez pogreške.

17.03.2004. 16/22
 Uvod u statističko učenje

Vrlo često nije zadovoljeno posebno kada podaci pokrivaju široki

rang. Inače se kaže da su podaci heteroscedatic – slučajna
pogreška (rezidual) zavisi od jačine signala, veličine nezavisne
varijable.

17.03.2004. 17/22
 Uvod u statističko učenje

17.03.2004. 18/22
 Uvod u statističko učenje

VIŠE NEZAVISNIH VARIJABLI

(Francis Galton, 1886.)

Slična jednostavnoj linearnoj regresiji osim što je više ulaznih

(nezavisnih) varijabli

y = a0 + a1 x1 + a2 x2 + …… + ak xk + 

 je ERROR ili RESIDUAL s očekivanjem 0.

 Jednadžba određuje hiperravninu u k-dim prostoru (k broj

varijabli)
 a0, a1, ……an određeni tako da je suma kvadrata pogreške je
minimalna
 Važno: pretpostavke iste kao i u običnoj linearnoj regresiji!
 Za analizu model služimo se ANOVA tablicom

Neke napomene za interpretaciju:

 Za k = 1 jednostavna linearna regresija

 F-ratio testira nultu hipotezu da su svi koeficijenti nezavisnih
varijabli 0 tj.
H0 a0 = a1 = ……= an = 0

F(k, n-k-1)
F se odnosi prema r2 (godness to of fit):

17.03.2004. 19/22
 Uvod u statističko učenje

r 2 ( n  k  1)
F
(1  r 2 )k

 SSRES je procjena varijabilnosti duž regresijske linije i koristi se

za nalaženje procijenjene standardne pogreške pojedinih
regresijskih koeficijenata ai. Procjena standardne pogreške je
distribuirana kao t(n-k-1). Interval pouzdanosti je dan s
+/- t(/2, n-k-1)s(ai)

 Ako su dvije nezavisne varijable izrazito korelirane, teško je

procijeniti regresijske koeficijente i dobivene vrijednosti
koeficijenata ne reflektiraju stvarne ovisnosti. (važno: outlieri
mogu značajno utjecati na kolinearnost!)

17.03.2004. 20/22
 Uvod u statističko učenje

RAČUNANJE JEDINSTVENE I DIJELJENE VARIJANCE IZMEĐU

NEZAVISNIH VARIJABLI

Temelj za procjenu svih regresijskih odnosa je korelacija između

nezavisne varijable i zavisnih varijabli.

Korelacija je osnova za oblikovanje regresijske varijate procjenom

regresijskih koeficijenata za za svaku nezavisnu varijablu koja
maksimizira predviđanje zavisne varijable.

Za slučaj Y = a X1 + a0 postotak objašnjene varijabilnosti zavisne

varijable je kvadrat korelacije

Y X1

Za slučaj više nezavisnih varijabli potrebno je razmotriti postojanje

korelacije između nezavisnih varijabli jer one dijele nešto prediktivne
moći. Stoga se direktna korelacija zavisna i nezavisna varijable ne
može uzeti u obzir.

Parcijalni korelacijski koeficijent je korelacija Xi i Yi kada su

utjecaji drugih nezavisnih varijabli uklonjeni.
Semiparcijalni koeficijent se razlikuje od gornjeg jer predstavlja
korelaciju Xi i Yi kada su efekti drugih nezivisnih varijabli uklonjeni
samo iz Xi.
Koristi se za identifikaciju varijable koje imaju najveću inkrementalnu
prediktivnu moć.
Kvadrat daje jedinstvenu varijancu objašnjenu s nezavisnom
varijablom.

17.03.2004. 21/22
 Uvod u statističko učenje

Y1
d

c
a
b
X2
X1

17.03.2004. 22/22