A kapcsolatvizsglat elemi eszkzei

1. Kovariancia:

konometria

Cov (X,Y ) =

2. Variancia:

Var (X) = Cov (X, X)

3. Szrs (standard deviation):

4. Standardizls:

Kpletek

1 n
(Xi X )(Yi Y )
n i=1

sd (X ) = Var (X )

X = (X X ) / sd (X )
Cov (X,Y )
rXY = Cov (X ,Y ) =
sd (X ) sd (Y )

5. Lineris korrelci:
6. Regresszi a vrhat rtkre:

Y = a + b X
YbX

Elad: Hajdu Ott

Regresszis vltozk terminolgia

Y eredmnyvltoz

Independent

Explained

Explanatory

Predictand

Predictor

Regressand

Regressor

Response

Stimulus

Outcome

Covariate

Endogenous

Exogenous

Elad: Hajdu Ott

Az adatgenerl folyamat (hipotzis):

Yi = 0 + 1X i 1 + ... + k X ik + ui


Expected : Ex

Regresszis koefficiensek:

0 : intercept tengelymetszet, const.

j : parcilis coeff . = dEx / dX j
Eltrsvltoz:
3

ui =Yi Ex

Elad: Hajdu Ott

p-value: t(Degree of Freedom) - eloszlsnl

Ordinary Least Squares: OLS

Probability-value,
Significance value,
Tail-probability

1. Lineris predictor:

Yi = 0 + 1X i 1 + ... + k X ik
2. Rezidulis hats:

Lineris regresszi

X magyarz vltoz

Dependent

Cov/VarX

Elad: Hajdu Ott

5%-os dntsi (szignifikancia) szinten,

Nagymints esetben

ui = Yi Yi

3. Error Sum of Squares:

n

SSE = i =1 ui2 min

Elad: Hajdu Ott

-1.96 = Cut-value

Elad: Hajdu Ott

Cut-value = 1.96

Illeszkeds

Pontbecslsek

1. Intercept_only (null) modell elrejelzse:

Yi | = Y SSE Null =
0

(Y

i =1

1. Konstans tag (intercept):

Y ) = SST

xj

2. Parcilis meredeksg:

Cov (X,Y )
1
1,2,...,k = CovXX CovXY b2vltozs =
Var (X )

2. Szaturlt (perfect) modell elrejelzse:

Yi| , ,..., = Yi
1

SSESzat . = 0

3. Parcilis elaszticits:

dY Xj Xj
El (Y, Xj ) =
= j
dXj Y
Y

3. Relatv tvolsg a null (res) modelltl:

R2 =

SST SSE
SSR
=
SST
SST
7

j ) / se (j ) ~ tnk

4. Vrhat Y | X 95% CI:

2. Sklzssal:

tj = j /se (j )

A tnyezk helyettestse, hozadka

3. Xj volumenhozadka %:
4. Volumenhozadk:

j = 1,2,...,k

R2 = rY2,Y = j rY ,X j
Xj

r r r
Z = YZ YX2 XZ
1 rXZ

Elad: Hajdu Ott

10

Paramterek lineris kombincija

H 0 : (cq +1q +1 + cq +2 q +2 + ... + cq +m q +m ) =

Hajl = Htj /Htl

sy

1. Hipotzis:

Htj = dY /dXj

El Y, Xj

xj

r r r
X = YX YZ2 XZ ,
1 rXZ

Elad: Hajdu Ott

2. Helyettestsi hatrarny:

j = j

sx

4. Hromvltozs Y.X,Z esetben:

Yx t.975 se (Yx )

1. Xj hatrtermelkenysge:

Y = j X j + u

3. Tbbszrs determinci:

j t.975 se ( j )

3. Koefficiens 95% CI:

1. OLS alkalmazsval:

1. A koefficiens mintavteli eloszlsa:

2. Parcilis t-teszt: H0: j = 0

Elad: Hajdu Ott

Standardizlt koefficiensek

Mintavteli kvetkeztetsek

= XX XY
0,1,2,...,k

4. Szimultn becsls:

Elad: Hajdu Ott

Y = 0 + j X j

2. t-statisztika:

tn k 1 =

El (Y, X )

(c

q +1 q +1

+ cq +2 q +2 + ... + cq +m q +m )

se (cq +1q +1 + cq +2 q +2 + ... + cq +m q +m )

Xj

Elad: Hajdu Ott

11

Elad: Hajdu Ott

12

Modellszelekci

Vltozbevons
1. Xj vltoz tolerancija:

1. Hibacskkens:
n

(Y Y ) (Y Y )
i =1





= (Yi Y )
i =1


 


i =1

SST
=ESSNull

2. A koefficiens variancija:

SSE

var (j ) =

SSR
=Hibacskkens

SST SSE
SSE SSR
= 1
=
SST
SST SST

Elad: Hajdu Ott

2 =

13

2
i =1 Xij

1
Tj

SSE
n k 1

Elad: Hajdu Ott

Multikollinearits: a torzts tja

14

Wald- (nested) modellszelekci

H 0 : q +1 = q +2 = ... = q +m = 0

1. Munka totlis hatsa:

Y =1 + m Munka +u
2. M direkt hatsa:

Y = 1 + m M +tTke +v
3. M indirekt hatsa:

2
n

3. A kzs variancia becslse:

2. Relatv hibacskkens:

R2 =

Tj = 1 Rj2

T = 1 +mM +w

F =

4. Direkt + indirekt hats:

(SSE

SSE ) m

SSE (n k 1)

(R

)
(1 R ) (n k 1)
2

R02 m

m =m +mt
Elad: Hajdu Ott

15

Elad: Hajdu Ott

Specilis hipotzisek

Koefficiensek egyezse
1. Hipotzis:

16

1. Varianciaanalzis (ANOVA):

H0 : Befektetett .Eszkz = ForgEszkz

H 0 : 1 = 2 = ... = k = 0

F=

2. Szktett modell:
2. Parcilis F-teszt:
H 0 : j = 0

EszkzB +EszkzF =Eszkz (B +F)

3. Hipotzis: H 0 : Befektetett .Eszkz = ForgEszkz
4. Szktett modell:
Elad: Hajdu Ott

Eszkz (F B)
17

Fj =

R2 k

(1 R ) (n k 1)
2

R2 R02

(1 R ) (n k 1)
2

= t j2

Parcilis determinci:
t j2
R 2 R 02
2
rYX
=
=
X
.
j
1 R 02
t j2 + (n k 1)
Elad: Hajdu Ott

18

Modellszelekcis kritriumok

Lagrange-Multipliktor teszt

OLS alap formulk

Korriglt R2:
Akaike:

2
adjusted

AIC =

Schwarz:

n 1
= 1 1R
max
n k 1

SSE
e
n

H 0 : q +1 = q +2 = ... = q +m = 0
uH m2 = n R 2u
0

2(k +1)

SSE
SBC =
n
n

H0

|Regressed _ on _ H 1

min


  

k +1
n

  
1  

min

Hannan-Quinn: HQC = ESS (ln n )2(k +1)/n min

n

Elad: Hajdu Ott

19

Elad: Hajdu Ott

Interakcik

Kvadratikus hats

1. Marginlis hatsok:
Fogyaszts = 1 + L|J Ltszm + J |LJvedelem + u

1. Indul modell:

Y = 1 + K Kor + J |K Jv + u

2. Kor-ban kvadratikus modell:

2. Marginlis hats (linearitsi hipotzis):

Ltszm|J = l + Jvedelem,

20

Jvedelem|L = j + Ltszm

3. Vltozjban nemlineris, interakcis modell:

Y = 1 +1Kor +2Kor2 +J|KJv

3. Becslt hatrfogyaszts:

1 + 22Kor

Y = 1 + l L + (L J ) + jJ
Elad: Hajdu Ott

21

1. Kutatsi modell: Y = + ' X + u

i
0
i
i

H0 : i2 = 2

2. Feltevs a hiba-variancira:
i2 = 0 + ' Xi
3. Homoszkedaszticitsi hipotzis:
H0 : = 0

ui =Yi Yi | (X : Jvedelem, Ltszm)

3. White - teszt segdregresszija:


u2 = 0 + 1J + 2L + 3J 2 + 4L2 + 5 (J * L ) R 2
4. R2 tesztelse:

Elad: Hajdu Ott

22

Breusch Pagan - Godfrey teszt

Heteroszkedaszticits
1. Nullhipotzis:
2. Reziduum:

Elad: Hajdu Ott

Chik2 = nR2
23

ui2
= 0 + ' Xi + vi
Mean(ui2 )
5. LM - Tesztstatisztika:
1
2m = SSRSegdregresszi
Nagymints, normalits
2
4. Segdregresszi:

Elad: Hajdu Ott

24

REgression Specification Error Test

RESET

A heteroszkedaszticits kezelse
1. Generalized Least Squares (GLS)
A paramterbecsls megvltozik:

1. H0: Helyes a lineris modellspecifikci:

Y = 0 + 1Jvedelem

Yi
pred .(u

2
i

2. Wald-teszt segdregresszija:

0 +
1J +
2Y2 +
3Y3 +
4Y4 + v
Y =

Xi
pred .(ui2 )

2. Korriglt standard hibk szmtsa

Vltozatlan paramterbecsls mellett

3. R2 - nvekmny tesztelse:

H0 : 2 = 3 = 4 = 0
Elad: Hajdu Ott

25

Elad: Hajdu Ott

Nominlis magyarz vltoz

Strukturlis trs
1. Ktvltozs kapcsolat:

Dummy-kdols:
Indiktor Csoport Ref_A Ref_B Ref_C
DA DB DC
DB DC DA DC DA DB
1 0 0
A
0 0 1 0 1 0
0 1 0
B
1 0 0 0 0 1
0 0 1
C
0 1 0 1 0 0

0 = +ADA +BDB
3. Csoporthats a meredeksgre:

1 = + ADA + BDB

4. Tesztels (2_csoport ~ Chow-teszt):

Y = ADA +BDB +CDC +u

Referencia_C:

Y =C +(A C ) DA +(B C ) DB +u
Elad: Hajdu Ott

27

Kontraszt magyarz vltozk

a kvadratikus trendtl:

550

500

450

400

350

300

250

200
1993Q1
1995Q1
1997Q1
1999Q1
2001Q1
2003Q1
2005Q1
1994Q1
1996Q1
1998Q1
2000Q1
2002Q1
2004Q1

Elad: Hajdu Ott

28

X={A,B,C} Z={F,N}
X*Z
KA KB
KF
KA*KF KB*KF
1
0
1
1
0
1
0
-1
-1
0
0
1
1
0
1
0
1
-1
0
-1
-1
-1
1
-1
-1
-1
-1
-1
1
1

2. Dummy vltozkkal: -1 helyre 0 kerl:

Y = + 1T + 2T 2 + S1K1 + S2K2 + S3K3 + u

S4 = (S1 + S2 + S3 ),

Elad: Hajdu Ott

1. Kontraszt vltozkkal:

600

Munkanlkli, Ezer f

Szezonlis eltrsek

H0 : A =B =A =B = 0
ADA +
BDB +
X +
A (DA * X) +
B (DB * X)
Y =+

Nominlis vltozk interakcija

Hazai munkanlklisg, 1993:1 - 2005:3

Kategria-kdols:

H0 :Y = 0 +1X +u

2. Csoporthats a tengelymetszetre:

Valamennyi indiktorral magyarzva:

Negyedv K1 K2 K3
1 0 0
1.
0 1 0
2.
0 0 1
3.
-1 -1 -1
4.

26

id _ proxy : T = 1,2,..., n(51)

29

Elad: Hajdu Ott

30

Log-log modell

Conjoint regresszi: Y=Utility

1.

Termkjellemzk s szintjeik:

Xr = {x1, x2,..., x p } ,
X2},

1. Cobb-Douglas termelsi modell:

Z mrka = {z1, z2,..., zm }

2. Konstans elaszticits:

Z={D1, D2,...Dm-1}, stb.

2.

Vltozk: X={X,

3.

Az i. kombinci pl.: x1, z2, melynek Y haszna a regresszi

szerint:

El (Y , M ) =
3. Linearizls:

Yi = 1 + XXi + ZZi = 1 +UiX +UiZ

X

4.

Az X jellemz fontossga:
Relatv fontossg:

RIMPX =

Elad: Hajdu Ott

31

Elad: Hajdu Ott

Log-lin (exponencilis) modell

2. Nvekedsi rta:

Y = e1 +2X+u

e 1 +2 (X +1)+u = Y e 2

3. Paramterbecsls:

d lnY 1 dY
=
dX
Y dX

33

1. Keresleti (Kiadsi) Modell:

Y =1 +j

2. Paramterrtelmezs:

dY 2

dY
= 2 =
dT T
100 100dT /T
3. Elaszticits:

2 T 2
=
TY Y

Elad: Hajdu Ott

Jvedelem

Y =e

+u

34

1 +2D

(3 +4D )

2. Lineris becsls:

El (Y,J ) = j2 = j
J Y
JY

3. Paramterrtelmezs:

El (Y,T) =

1. Rtegzett Y (kiadsi) szint (2 rteg, D={0,1}):

2. HatrKiads, Elaszticits:

Elad: Hajdu Ott

Y = 1 + 2 lnTerlet + u

Rtegzett log-log modell

Reciprok modell

dY
= 2
dJ
J

1. Laksr:

dY X
= 2X
dX Y

Elad: Hajdu Ott

32

Lin log modell

lnY =1 +2X +u

4. Pillanatnyi nvekedsi tem: 2 =

5. Elaszticits:

lnY =ln1 +m lnM +t lnT +v

cm +t m + t (<=>)1

IMPX
IMPX + IMPZ

1. A jvedelem alakulsa:

dY M
= m
dM Y

4. Volumenhozadk:

IMPX = maxUiX minUiX

i

5.

m
t
Y = 1M unka
Tke

lnY = ln
1 +2D +3 lnJ +4D * lnJ +v
3. Rtegszerinti jvedelemrugalmassg:

3 + 4D

Y 1
35

Elad: Hajdu Ott

36

Kvantilis (Quantile) regresszi

Medin LAD regresszi

1. Abszolt minimum tulajdonsg, null-modell:
n

Y Medin min
i =1 i
2. Least Absolute Deviation regresszi:

min
X i
 i =1 abs Yi 

Medin |X i
2
n
3. Versus OLS:
2
i=1 (Yi tlag ) min

min
X i
 i =1 Yi 

tlag |X i

1. Heteroszkedaszticits mellett hatsosabb mint az OLS

2. Outlier tekintetben robusztus
Elad: Hajdu Ott

1. A kvantilis Tau rendje: 0 < < 1

2. Vlaszfggvny a kvantilistl vett d eltrsre:
d | d 0
(d ) =
( 1) d | d < 0

3. Slyozott LAD regresszi:

min
 i =1 Yi X i

Q |Xi

4. Als decilis plda:

0.1 d | d > 0
0.1 Yi Xi =

0.9 d | d 0
d

5. Megrizzk az eloszls extrm szleinek informciit

37

Elad: Hajdu Ott

Ktcsoportos Bayes-klasszifikci
normalits mellett

Bayes - klasszifikci
Posterior valsznsg a G csoportra:

PG|X =

PG LX |G

G = 1,2,..., m

P L
g

g =1

38

PCsd| X =

X |g

PCs LX Csd

ahol
Pg : a g csoport (felttel nlkli) priorvalsznsge
LX|g : az X pont (feltteles) likelihoodja a gcsoportban
Elad: Hajdu Ott

PCs LX Csd +PM LX Mkd

39

Elad: Hajdu Ott

ML paramterbecsls

Klasszifikcis fggvnyek normalits mellett

1.

Az ismeretlen Theta paramterre:

1. Likelihood:
n

Log(Prior*Likelihood) = C(X):

2
1
= lnPriorg ln(2) ln g g2
2
2g

g
+ ling (X) = 2 X = C1X
g
+ quadg (X) =

2.

Posteriorok:

Elad: Hajdu Ott

1 2
2
X = C2X
22g
CG ( X )

PG|X = e

L() = i =1 Pr Y = Yi | max

Cg ( X ) = ln ( Priorg ) + ln ( Lg norm ) =
constg

40

Cg ( X )

/ g=1 e
m

1.

Log(Likelihood):

2.

A score:

u =

d ln L()
d

2.

Fisher informci:

Var ( u ) = I

3.

Informcis hatr:

1
Var
I

( G = 1,2,..., m)
41

ln L(P )

Elad: Hajdu Ott

( )

42

ML tesztelvek

Logisztikus regresszi: Y={0,1}

H0: Theta = Theta0

1. Likelihood arny:
=

1. Feltteles valsznsg:

LR = 2 ln L ln L Chi 2 m

PX =

2. Wald:

W = 1 0

) I ( )

( )
1

3. Score (LM):
Score = u0 I 01u 0 =

/I

(u )

Chi 2 m

I0

PX
P /Q
odds X
= X X =
PX + QX 1+PX /QX 1 + odds X

oddsX =e1 +X

2. Odds-modell:
3.
ahol
4. Elrejelzs:

1 + X = logit ( PX )

PX > C Y=1

Chi 2 m

e1 +( X +1) = odds X e

5. Odds-Ratio:

OR
Elad: Hajdu Ott

43

Elad: Hajdu Ott

44

Klasszifikcis Mtrix
Observed
1
0

Binris logit
1. Minta-likelihood:

Predicted
1
N11
N01

i =1

0
N10
N00

2. Nested modellek:

H0 : q+1 = q+2 = ... = q+m = 0

3. Likelihood-arny (LR) teszt:

Chi2m = 2 ln (L0 / L1 ) = 2 ln L0 2 ln L1

Gain(Loss) = a*N11 + b*N10 + c*N01 + d*N00

Elad: Hajdu Ott

4. Pseudo R2:

45

1. Az n elem vletlen, fggetlen minta

likelihoodja: L(P ) = P n1 (1 P )n0 max

R2 =

(2 ln Lres ) (2 ln LTrgyi )
(2 ln Lres )

Elad: Hajdu Ott

Intercept only logit-modell ML becslse

46

Probit-regresszi
Vlaszfggvny: Csdhelyzet = + Adssg + u
Szeparls:
Csd = 1 | Csdhelyzet > 0

2. A Log(Likelihood) derivltja:
d ln L(P) n1
n
n nP
n
= 0 = 1
= 0 PML = 1
dP
P 1 P P (1 P )
n
3. A trivilis (konstans P) logit-modell:

Csd = 0 | Csdhelyzet 0

Feltteles valsznsg:
+ Adssg
Pr (Csd = 1) =

A minta likelihoodja:

Pr(Csd = 1) Pr (Csd = 0) max

n1
1
=
n
1 + e ML
Elad: Hajdu Ott

L (, ) = PiYiQi1Yi max

Csd=1

47

Elad: Hajdu Ott

Csd=0

48

Ordinlis regresszi

Multinomilis Logit Regresszi

kategrik: g = 1,2,,m_csd

1. Kumulatv valsznsg:
2. Kategria-valsznsg:

1. A g_odds az m referencia kategria bzisban:

oddsX (g / m) = e

g +g X

g = 1,2,...,G,..., m

1. Kategrik:

| oddsX (m / m) = 1

2. A feltteles valsznsg:

PG|X =

Pr (g = G) = Pr (g G) Pr (g G 1)

2. Y* Ltens Index-fggvny: Csd = Nyer + Ads +

1
2

oddsX (G / m)





m1

1. Cut-values:

g=1

2. Kumulatv valsznsg:

Ordinlis Logit regresszi

Elad: Hajdu Ott

50

2. A Poisson eloszls szerint :

Pr (g G) =

X =e+X
Y

oddsals / fels
1 + oddsals / fels

Pr(Y | X ) =

(X ) e

Y!

3. ML paramterbecsls:
n

Kategria-valsznsg:

L (, ) = Pr(Yi ) max

Pr (g = G ) = Pr (g G ) Pr (g G 1)
Elad: Hajdu Ott

51

Tobit-regresszi

i =1

Elad: Hajdu Ott

52

Mintaszelekcis (Heckit) - regresszi

1. Tobit-modell:

1. Tobit II modell: Hztartsok sajt gpkocsi hasznlata:

+ X + u | X > 0
Y =
0
|X 0

Yi* : Ht _tignyKmi = 1 + Fenntart.Ktgi + i

si* : SajtGpk.Ignyi = 2 + 1Jvedelemi + 2iHztarts + i

2. ML paramterbecsls:

2. Megfigyelsi szably:
2

1 Y ( + X i )
i

1
e
2
i =1
n
0 X i

max

j =1

L (, , ) =

Elad: Hajdu Ott

1. Y feltteles vrhat rtke (Y|X):

oddsa/f =e g

Kumulatv valsznsg:

Poisson-regresszi: Y = {0,1,2,...}

proporcionlis Logit modell

Odds (als : fels):

Pr Csd g = Pr g X

i =1

49

L () = Pr (Yi = yi ) max
Elad: Hajdu Ott

Csd : 1 < 2 < ... < g < ... < m1

1 + oddsX (g / m)

3. A Likelihood fggvny:

Pr (g G)

| si >0
Y
Yi = i
0,missing,egyb

| si 0

3. Di dummy: Van/Nincs sajt

1. D=1 szelektlja a nem cenzorlt van sajt gpkocsi eseteket

2. D magyarzott a Jvedelem s Igny jellemzk ltal
53

Elad: Hajdu Ott

54

Mintaszelekcis (Heckit) - becsls

1. Feltteles fggetlensg hipotzise:
1 : t _ Kmi = 1 + Fenntart.Ktgi + i
i
2 : Dummyi = 2 + 1Jvedelemi + 2Hztartsi +
i + i
3 : ahol : i =
i + i
4 : t _ Kmi = 1 + Fenntart.Ktgi +
2. Becslsi eljrs:
1. ML egylpses szimultn 4) optimlsn
2. Heckit ktlpses:
1.
2.

Etha-becslse probit regresszival 2) alapjn

Km OLS becslse 4) alapjn

Elad: Hajdu Ott

55

10