REGRESIJSKA ANALIZA

Ispitivanje ovisnosti jedne zavisne

(regresand) varijable o jednoj (ili vie)
nezavisnih (regresorskih) varijabli s
ciljem da se utvrdi analitiki izraz takve
povezanosti (model).

Osnova regresijske analize je regresijskih
model.

Regresijski model - algebarski model kojim se
analitiki izraava statistilki odnos meu
pojavama.

Model: - deterministiki (funkcionalan)
- statistiki (stohastiki).

Deterministiki model - za svaku vrijednost
nezavisne varijable X jednoznano je
odreena vrijednost zavisne varijable Y.


X f Y =
Statistiki model - vrijednost zavisne
varijable Y nije jednoznano odreena za
zadanu vrijednost nezavisne varijable X.



pri emu je :

- funkcionalna (deterministika)
komponenta
e stohastika varijabla koja predouje
nesistematske utjecaje na zavisnu
varijablu.

e X f Y + =
( ) X f
Korelacijska analiza - metode
utvrivanja pokazatelja jakosti i smjera
statistikih veza meu pojavama.

Regresijski model koji sadri jednu zavisnu,
(Y) i jednu nezavisnu varijablu (X) je model
jednostavne regresije, a model koji sadri
jednu zavisnu i dvije ili vie nezavisnih
varijabli je model viestruke (multiple)
regresije.

Model jednostavne regresije:


Model viestruke (multiple) regresije:

e X f Y + =
e X ,... X ,... X , X f Y
k j 2 1
+ =
Deskriptivno statistika analiza
regresijskog modela: - procjena nepoznatih
parametara i utvrivanje drugih statistiko-
analitikih veliina. Dobiveni rezultati slue
iskljuivo za opis danih podataka i ne
generaliziraju se.

Inferencijalno statistika analiza: -
procjena parametara i testiranje hipoteze o
parametrima.

Regresijska dijagnostika: - ispitivanje
kakvoe dobivenbih rezultata, odnosno
provjera teorijskih pretpostavki na kojima
poivaju primijenjene metode analize.



Empirijske vrijednosti:

n i 2 1
x ,... x ,... x , x : X
n i 2 1
y ,... y ,... y , y : Y
JEDNOSTAVNA LINEARNA REGRESIJA
dijagrama rasipanja
( ) ( ) ( ) ( )
n n i i
y x y x y x y x , ...., , , ...., , , , ,
2 2 1 1
Vano je ne raspariti vrijednosti varijable X
i Y (ne ih ureivati po veliini)!

Iz dijagrama rasipanja se moe zakljuiti o:

- postojanju odnosno nepostojanju
povezanosti pojave
- obliku veze
- smjeru i jakosti veze.


Model jednostavne linearne regresije

Model populacije:
n ... , 2 , 1 i e x y
i i i
= + + = | o
Model uzorka s procijenjenim
parametrima:
i i i
e x

y + + = | o
i i
x

y | o + =
i i i
e y y + =
) x

( y e y y e
i i i i i i
| o + = =
i
e - i-to rezidualno odstupanje, odnosno
procijena nepoznate vrijednosti varijabel e.

Parametri se procjenjuju metodom najmanjih
kvadrata. Metoda polazi od minimalne sume
kvadrata rezidualnih odstupanja

=
n
1 i
2
i
e min


= = =
= =
= +
= +
n
1 i
i i
n
1 i
2
i
n
1 i
i
n
1 i
i
n
1 i
i
y x x

x
y x

n
| o
| o
Sustav normalnih jednadbi:
x

y ,
x n x
y x n y x

n
1 i
2 2
i
n
1 i
i i
| o | =

=
=
n ,... 2 , 1 i , x

y
i i
= + = | o
Procjenitelji parametara
Jednadba s procijenjenim
parametrima
Interpretacija:

konstantni lan : regresijska vrijednost
zavisne varijable ako je nezavisna varijabla
jednaka nuli.

- regresijski koeficijent: prosjena linearna
promjena (poveanje ili smanjenje ovisno o
predznaku koeficijenta) zavisne varijable za
jedinino poveanje nezavisne varijable ili
linearna promjena regresijske vrijednosti
zavisne varijable za jedinino poveanje
nezavisne varijable.

o
|

Analiza modela jednostavne linearne regresije
obuhvaa:

1. procjenu nepoznatih parametara (nakon
formiranog dijagrama rasipanja na kojem
je uoeno postojanje linearne veze)

2. ocjenu reprezentativnosti regresijekog
modela ( procjene pokazatelja
reprezentativnosti modela: procjena
varijance regresije, procjena standardne
devijacije regresije)



Analiza modela jednostavne linearne
regresije obuhvaa:

3. utvrivanje ostalih statitiko-analitikih
pokazatelja
4. izraunavanje elemenata jednadbe
analize varijance, testiranje hipoteza o
parametrima u regresijskom modelu i
ispitivanje ispunjenja polaznih pretpostavki
u modelu (regresijska dijagnostika)

5. ako model zadovoljava definirane
zahtjeve, koristi se u prognostike svrhe.

Primjer 12.25.
Godina Per capita osobna
potronja
Per capita
raspoloivi
dohodak
Y X
1970. 3277 3665
1971. 3355 3752
1972. 3511 3860
1973. 3623 4080
1974. 3566 4009
1975. 3609 4051
1976. 3774 4158
1977. 3924 4280
1978. 4057 4441
1979. 4121 4512
1980. 4093 4487
1981. 4131 4561
1982. 4146 4555
1983. 4303 4670
1984. 4490 4941
Status varijabli u modelu

Y per capita osobna potronja (stalne cijene, u
dolarima 1972. g.))
X per capita raspoloivi dohodak (stalne cijene, u
dolarima 1972. g.))

3000
3200
3400
3600
3800
4000
4200
4400
4600
3500 3700 3900 4100 4300 4500 4700 4900 5100
p
o
t
r
o

n
j
a

dohodak
Dijagram rasipanja
x

y ,
x n x
y x n y x

n
1 i
2 2
i
n
1 i
i i
| o | =

=
=
Coefficients
Intercept -343,7103331
X Variable 1 0,986155618
i i
x 99 , 0 7 , 343 y + =
Ispis obrade u programu EXCEL
SUMMARY OUTPUT
Regression Statistics
Multiple R 0,995547746
R Square 0,991115314
Adjusted R Square 0,990431877
Standard Error 35,49040933
Observations 15
ANOVA
df SS MS F Significance F
Regression 1 1826616,934 1826617 1450,19186 1,01036E-14
Residual 13 16374,39901 1259,569
Total 14 1842991,333
Coefficients
Standard
Error t Stat P-value Lower 95%
Upper
95%
Intercept -343,7103331 110,906805 -3,09909 0,008461553 -583,3099179 -104,111
X Variable 1 0,986155618 0,025896002 38,08138 1,01036E-14 0,930210707 1,042101

Koristei regresijsku jednadbu s
procjenjenim parametrima, izraunavaju
se regresijske vrijednosti tako da se
u jednadbu s procjenjenim parametrima
redom uvrtavaju pripadajue vrijednosti
nezavisne varijable

Iz svojstava regresijske jednadbe slijedi:


i
y
i
x
0 ) y y ( e
y y
n
1 i
i i
n
1 i
i
n
1 i
i
n
1 i
i
= =
=


= =
= =
..... .....
100

100

100

2
2 2
, 2 2 2 2
1
1 1
, 1 1 1 1
,
=

= = =
=

= = =

= =
y
y y
e y y e
y
y y
e y y e
y
y y
e y y e
rel
rel
i
i i
rel i i i i
RESIDUAL OUTPUT
Observation Predicted Y Residuals
Y X
1 3270,55 6,45 3277 3665
2 3356,35 -1,35 3355 3752
3 3462,85 48,15 3511 3860
4 3679,80 -56,80 3623 4080
5 3609,79 -43,79 3566 4009
6 3651,21 -42,21 3609 4051
7 3756,72 17,28 3774 4158
8 3877,04 46,96 3924 4280
9 4035,81 21,19 4057 4441
10 4105,82 15,18 4121 4512
11 4081,17 11,83 4093 4487
12 4154,15 -23,15 4131 4561
13 4148,23 -2,23 4146 4555
14 4261,64 41,36 4303 4670
15 4528,88 -38,88 4490 4941
ukupno 57980,00 0,00 57980
Ispis obrade u programu EXCEL
Jednadba analize varijance



= = =
+ =
n
1 i
2
i i
n
1 i
2
i
n
1 i
2
i
y y y y y y
Jednadba analize varijance


Jednadba analize varijance


Jednadba analize varijance


Jednadba analize varijance


ANOVA
df SS MS F
Significance
F
Regression 1 1826616,934 1826617 1450,19186 1,01036E-14
Residual 13 16374,39901 1259,569
Total 14 1842991,333
Ispis obrade u programu EXCEL

Reprezentativnost regresijskog modela mjeri
se varijancom, standardnom devijacijom i
koeficijentom varijacije regresije, odnosno u
inferencijalno-statistikom pristupu utvruju se:

- procjena varijance regresije
- procjena standardne devijacije regresije
- procjena koeficijenta varijacije regresije.

Regresijski pravac u smislu prosjeka opisuje
odnos Y i X, stoga treba ocijeniti njegovu
reprezentativnost.



Procjenitelj varijance regresije:





Procjenitelj standardne devijacije
regresije
(procijenitelj standardne pogreke
regresije):

) 1 k ( n
SR
) 1 k ( n
y y

n
1 i
2
i i
2
+
=
+

=

=
o
2
o o =
Procijenitelj koeficijenta varijacije
regresije:

100
y

=
o
Regresijski model je dobar ako su mu
procjene standardne devijacije i koeficijenta
varijacije male.


Koeficijent determinacije









Korigirani koeficijent determinacije
2 2 2
2
N
1 i
2
i
N
1 i
2
i
2
r 1
ST
SR
A
ST
SR
1 r
1 r 0
ST
SP
y y
y y
r
= = =
s s =

=
=
) 1 (
) 1 (
1
1
2 2
r
k n
n
r
+

=
koeficijent linearne korelacije
1 r 1 r r
2
s s =
Predznak koeficijenta korelacije jednak
je predznaku |

=
=
=
= =
n
1 i
i i 11
i
n
1 i
i 11
y x y x
n
1
y y x x
n
1
Y , X cov

|
.
|

\
|

|
.
|

\
|

= =

= =
=
n
1 i
2 2
i
n
1 i
2 2
i
n
1 i
i i
y x
11
y n y x n x
y x n y x
r
o o

y x
n
1 i
i i
y
x
n
y x n y x
r

r
o o o
o
|

=

= =
Predznak koeficijenta korelacije
jednak je predznaku procjenjenog
parametra .


|

Regression Statistics
Multiple R 0,995547746
R Square 0,991115314
Adjusted R Square 0,990431877
Standard Error 35,49040933
Observations 15
Napomena:
Ako se povezuju rang varijable, rauna
se koeficijent korelacije ranga
(Spearmanov koeficijent korelacije).

Procjene parametara u modelu
jednostavne linearne regresije

- provode se kao procjene jednim brojem i
procjene intervalom (uz odreenu
pouzdanost procjene)

Ranije pokazane procjene parametara
su procjene jednim brojem.

| o

i
Ako uzorak potjee iz normalno
distribuiranog osnovnog skupa i ako su
ispunjene navedene pretpostavke o
regresijskom modelu, tada je sampling
distribucija regresijskih koeficijenata
normalnog oblika s oekivanom vrijednosti
i standardnom devijacijom jednakoj
standardnoj pogreci procjene .

|
|
o

o | | o |
o o o o o
|

o o
=
|
.
|

\
|
+ < <
=
|
.
|

\
|
+ < <
1 z

P
1 z z P

2
Procjena parametara intervalom
o | | o |
o o o o o
|

o o
=
|
.
|

\
|
+ < <
=
|
.
|

\
|
+ < <
1 t

P
1 t t P

2
- standardna pogreka procjene
(standardna devijacija sampling distribucije
konstantnih lanova),





- standardna pogreka procjene
(standardna devijacija sampling distribucije
regresijskih koeficijenata).

o
o

|
o

=
=

=
n
1 i
2
i
n
1 i
2
i

x x n
x
o o
o

=

=
n
1 i
2 2
i

x n x
o
o
|
Coefficients Lower 95% Upper 95%
Intercept -343,7103 -583,3099 -104,1107
X Variable 1 0,9862 0,9302 1,0421
Ispis obrade u programu EXCEL
o | | o |
o o o o o
|

o o
=
|
.
|

\
|
+ < <
=
|
.
|

\
|
+ < <
1 t

P
1 t t P

2
) 1 k ( n
2
t
+

Intervalna procjena i procjena jednim brojem

prognostike vrijednosti zavisne varijable
za pretpostavljenu vrijednost nezavisne
varijable.

+ + =
+ =
=
|
.
|

\
|
+ < <
n
1 i
2 2
i
2
f
y
f f
y
2
f f y
2
f
x n x
x x
n
1
1
x

y
1 t y Y t y P
f
f f
o o
| o
o o

Testiranje hipoteza u modelu
jednostavne linearne regresije

Test hipoteze o znaajnosti parametara
uz nezavisnu varijablu (test hipoteze o
znaajnosti prisutnosti varijable X u
modelu

i i i 1
i i 0
e x y ...... H
e y ...... H
+ + =
+ =
| o
o
0 ...... H
0 ...... H
1
0
=
=
|
|
ili
Empirijski t-omjer
|
o
| |

t

=
Ispis obrade u programu EXCEL
SUMMARY OUTPUT
Regression Statistics
Multiple R 0,995547746
R Square 0,991115314
Adjusted R Square 0,990431877
Standard Error 35,49040933
Observations 15
ANOVA
df SS MS F Significance F
Regression 1 1826616,934 1826617 1450,19186 1,01036E-14
Residual 13 16374,39901 1259,569
Total 14 1842991,333
Coefficients
Standard
Error t Stat P-value Lower 95%
Upper
95%
Intercept -343,7103331 110,906805 -3,09909 0,008461553 -583,3099179 -104,111
X Variable 1 0,986155618 0,025896002 38,08138 1,01036E-14 0,930210707 1,042101
= = =
|
o
|

t
= =
+ 13
025 . 0
) 1 k ( n
2
t t

0 ...... H
0 ...... H
1
0
=
=
|
|
2
o
Podruje odbacivanja
nulte hipoteze
2
o
t
Podruje odbacivanja
nulte hipoteze
Podruje neodbacivanja
nulte hipoteze
2
o
2
o
t 0
Odluka:

p-vrijednost:
0 ...... H
0 ...... H
1
0
>
s
|
|
= = =
|
o
|

t
= =
+ 13
05 . 0
) 1 k ( n
2
t t

Odluka:

p-vrijednost:
Empirijska razina signifikantnosti (p-vrijednost)

o
t
Test se moe provesti i kao F-test
(vidi tabelu ANOVA, empirijski F-omjer)

Empirijski F-omjer se usporeuje s teorijskom
vrijednosti F-disribucije za odabranu razinu
signifikantnosti i broj stupnjeva slobode
(k; n-(k+1)). Nulta hipoteza se prihvaa ako
je empirijski F-omjer manji od teorijskog i
obrnuto.

Ispis obrade u programu EXCEL
SUMMARY OUTPUT
Regression Statistics
Multiple R 0,995547746
R Square 0,991115314
Adjusted R Square 0,990431877
Standard Error 35,49040933
Observations 15
ANOVA
df SS MS F Significance F
Regression 1 1826616,934 1826617 1450,19186 1,01036E-14
Residual 13 16374,39901 1259,569
Total 14 1842991,333
Coefficients
Standard
Error t Stat P-value Lower 95%
Upper
95%
Intercept -343,7103331 110,906805 -3,09909 0,008461553 -583,3099179 -104,111
X Variable 1 0,986155618 0,025896002 38,08138 1,01036E-14 0,930210707 1,042101
= =
+
=
) 1 k ( n
SR
k
SP
F
2
2
r 1
r )) 1 k ( n (
F

+
=
Empirijski F-omjer
| | | |
= =
+ 13 ; 1
05 . 0
) 1 k ( n ; k
F F
o
F
f(F)
Podruje odbacivanja
nulte hipoteze
o
Podruje neodbacivanja
nulte hipoteze
2 1
df ; df
F
o
) 1 k ( n df
k df
2
1
+ =
=
Odluka:

p-vrijednost: