Anlisis de Regresin Lineal

Javier Aparicio
Divisin de Estudios Polticos, CIDE
javier.aparicio@cide.edu
Noviembre 2010

Anlisis de regresin lineal

1. Ajustar una regresin lineal:

Yi a bX i

2. Estimar los parmetros: a y b

3. Interpretacin del intercepto a
y la pendiente b
4. Bondad de ajuste
5. Pruebas de hiptesis

Scatterplot

Modelo lineal E(Y|X)

Modelo de probabilidad conjunta

PIBMercosur PIBUruguay?

2 2 .8

23

gdpuy
2 3 .2 2 3 .4

2 3 .6

2 3 .8

Relation between GDP in Mercosur and GDP in Uruguay

26.8

27

27.2

gdpmerco

27.4

27.6

27.8

1. Ajustando una regresin lineal

Modelo probabilstico

Modelo poblacional:
Modelo muestral:
Modelo estimado:

La diferencia ente
n

Yi X i i
Yi a bX i ui

Yi a bX i

es el error estimado:

Y y Y

SSE [Yi Yi ] 2 [Yi a bX i ] 2

La lnea de
i mejor
1
i 1 la SSE: queremos que el
ajuste minimiza
modelo explique la mayor proporcin de la varianza de Y.

2. Estimacin por Mnimos Cuadrados

Ordinarios (OLS) min(SSE)
Estimando el intercepto a:
n

SSE [Yi a bX i ]2
i 1

n
SSE
2 [Yi a bX i ] 0
a
i 1
2 Yi 2na 2b X i 0 an Yi b X

a Y bX

2. Estimacin por Mnimos Cuadrados

Ordinarios (OLS) min(SSE)
Estimando la pendiente b:
n

SSE [Yi a bX i ]
i 1

n
SSE
2 [Yi a bX i ] X i 0
b
i 1

... y al despejar b resulta en :

[ X X ][Y Y ]
b
[ X X ]
i

2. Estimacin de a y b: ejemplo
Supongamos que queremos verificar la prediccin de Mundell-Fleming sobre el
efecto del PIB del resto del mundo en una economa pequea como Uruguay.
Year

GDPmerco (X)

GDPuy (Y)

(Xi-Xbar)

1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
Sum
Mean

27.126
27.162
27.248
27.422
27.602
27.686
27.736
27.722
27.433
27.519
27.388
302.04
27.459

23.139
23.278
23.430
23.582
23.683
23.744
23.801
23.831
23.764
23.723
23.644
259.62
23.602

-0.333
-0.296
-0.210
-0.036
0.143
0.228
0.277
0.264
-0.025
0.060
-0.071
0.00

(Yi-Ybar) [Xi-Xbar][Yi-Ybar] (Yi-Ybar)2

-0.463
-0.324
-0.172
-0.020
0.081
0.143
0.199
0.229
0.162
0.121
0.043
0.00

[ X X ][Y Y ] 0.447
b

0.947
0.472
[ X X ]
i

a Y bX 23.602 (0.947) 27.459 2.391

0.154
0.096
0.036
0.001
0.012
0.032
0.055
0.060
-0.004
0.007
-0.003
0.45

0.214
0.105
0.030
0.000
0.007
0.020
0.040
0.053
0.026
0.015
0.002
0.51

(Xi-Xbar)2
0.111
0.088
0.044
0.001
0.021
0.052
0.077
0.069
0.001
0.004
0.005
0.47

Yi a bX i
GDPUY i 2.391 0.947GDPMerco i

2. Estimacin de a y b:
Supongamos que queremos verificar la prediccin de Mundell-Fleming sobre el
efecto del PIB del resto del mundo en una economa pequea como Uruguay.

[ X X ][Y Y ]

[ X X ]
i

0.447
0.947
0.472

a Y bX 23.602 (0.947) 27.459 2.391

Yi a bX i
GDPUY i 2.391 0.947GDPMerco i

gdpuy/Linear prediction
23
23.5

24

Relation between GDP in Mercosur and GDP in Uruguay

22.5

GDPUY i 2.391 0.947GDPMerco i

26.8

27

27.2
gdpuy

gdpmerco

27.4

Linear prediction

27.6

27.8

3. Interpretando los coeficientes

a : es el intercepto

b : es la pendiente

GDPUY i 2.391 0.947GDPMerco i

Interpretacin:
-2.391: nivel esperado del GDP de Uruguay
independientemente del GDP de Mercosur, en logartmo (no
muy importante aqu).
0.947: efecto marginal de una unidad adicional de GDP en
Mercosur en el GDP de Uruguay

Relacin positiva, como lo predice la teora de

Mundell-Fleming.

4. Bondad de ajuste
Mientras mayor es la
proporcin de la
varianza de Y
explicada por el
modelo, mayor ser la
bondad de ajuste del
modelo (R2)

24

Relation between GDP in Mercosur and GDP in Uruguay

gdpuy/Linear prediction
23
23.5

SSR [Yi Y ] 2

[Y Y ]
i

22.5

SSE

SST [Yi Y ] 2

26.8

27

27.2
gdpuy

gdpmerco

27.4

Linear prediction

SST : Sum of Squares Total

SSR : Sum of Squres explained by Regression
SSE : Sum of Squares Error

27.6

27.8

SSR
SSE
R
1
SST
SST
2

4. Bondad de ajuste: ejemplo

Year

GDPmerco (X)

GDPuy (Y)

(Xi-Xbar)

1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
Sum
Mean

27.126
27.162
27.248
27.422
27.602
27.686
27.736
27.722
27.433
27.519
27.388
302.04
27.459

23.139
23.278
23.430
23.582
23.683
23.744
23.801
23.831
23.764
23.723
23.644
259.62
23.602

-0.333
-0.296
-0.210
-0.036
0.143
0.228
0.277
0.264
-0.025
0.060
-0.071
0.00

SST
(Yi-Ybar) [Xi-Xbar][Yi-Ybar] (Yi-Ybar)2
-0.463
-0.324
-0.172
-0.020
0.081
0.143
0.199
0.229
0.162
0.121
0.043
0.00

Interpretacin:
82.8% de la variacin del GDP en
Uruguay se puede explicar por la
variacin en el GDP de Mercosur
(excluyendo Uruguay)

0.154
0.096
0.036
0.001
0.012
0.032
0.055
0.060
-0.004
0.007
-0.003
0.447

SSE
(Yi-Yhat)2

0.111
0.088
0.044
0.001
0.021
0.052
0.077
0.069
0.001
0.004
0.005
0.472

0.022
0.002
0.001
0.000
0.003
0.005
0.004
0.000
0.034
0.004
0.012
0.088

0.214
0.105
0.030
0.000
0.007
0.020
0.040
0.053
0.026
0.015
0.002
0.51

SSE [Y Y ]

[Yi Y ]2 0.51

SST

SSR
R2

(Xi-Xbar)2

[Yi

0.088

Y ]2

SSR
SSE
0.088
1
1
0.828
SST
SST
0.51

5. Pruebas de hiptesis /
significancia de los coeficientes
Cmo hacer inferencias sobre la relacin poblacional
entre X y Y? Pruebas de hiptesis.
H 0: 0
H A: 0
b
t
Estadstico t de Student:
s b
Si t > t* (valor estmado > valor crtico), rechazamos la H0 y
concluimos que es signficativamente diferente de cero.
Para calcular t, necesitamos el error estndar de
SSE
sb

[ X

X ]2

n2

[ X

X ]2

MSE

5. Significancia estadstica:
ejemplo
H 0: 0
H A: 0
sb

[ X

X]

SSE
n2

[ X

b
0.947 0
t

6.58
s b
0.144

t* / 2, n 2 t 0*.025,9

X]

0.088
0.099
9

0.144
0.687
0.472

Dado que t>t*, rechazamos la

hiptesis nula y concluimos que
es significativamente distinta
2.685 de 0: el GDP en Mercosur afecta
el GDP en Uruguay.