Análisis de regresión con datos

de corte transversal
El Modelo de Regresión Simple

y = b0 + b1x + u

Econmetría - FCE - UNNE 1

2.2 Definición del MLS

En el modelo de regresión lineal simple,

donde y = b0 + b1x + u, nos referimos
típicamente a y como:
 Variable Dependiente, o
 Variable de Respuesta, o
 Variable Explicada, o
 Regresando

Econmetría - FCE - UNNE 2

Terminología utilizada, (continuación)
En el modelo de regresión lineal de y sobre
x, nos referimos típicamente a x como:
 Variable Independiente, o
 Variable de Control, o
 Variable Explicativa, o
 Regresor, o
 Co-variable

Econmetría - FCE - UNNE 3

Significado de “Modelo”,
“Lineal” y “Simple”
Simple
y = b0 + b1x + u

Múltiple
y = b0 + b1x1 + b2x2 + . . . bkxk + u
El modelo de regresión lineal múltiple se
estudia en el capitulo 3.

Econmetría - FCE - UNNE 4

Significado de “Modelo”,
“Lineal” y “Simple”
Lineal en los parámetros, no en las
variables.
y = b0 + b1x + u
Por lo tanto el modelo siguiente también es
lineal (en este contexto)
y = b0 + b1x2 + u

Econmetría - FCE - UNNE 5

Significado de “Modelo”,
“Lineal” y “Simple”
Una función se dice lineal en, por ejemplo,
el parámetro β1 si β1 aparece elevado solo a
la primera potencia y además no está
multiplicado o dividido por otro parámetro
(por ejemplo, β1β2, β2/β1, etc.).

Econmetría - FCE - UNNE 6

Significado de “Modelo”,
“Lineal” y “Simple”

Econmetría - FCE - UNNE 7

Significado de “Modelo”,
“Lineal” y “Simple”
Modelos como herramientas de análisis.
El investigador elige que modelo usar para
analizar un problema especifico o responder una
pregunta particular. O crea su propio modelo.
Los modelos no son buenos o malos; son útiles o
no.
El modelo de regresión lineal (múltiple) es muy
útil por varias razones.

Econmetría - FCE - UNNE 8

Significado de “Modelo”,
“Lineal” y “Simple”

Ejemplos de modelos lineales

rendimiento = b0 + b1fertilizante + u

salario = b0 + b1educ + u

La linealidad de estas ecuaciones implica que todo

cambio de x en una unidad tiene siempre el mismo
efecto sobre y, sin importar el valor inicial de x.

Econmetría - FCE - UNNE 9

Un supuesto importante
El valor promedio de u, el término de error,
es igual a cero en la población. Esto es,
E(u) = 0
Este no es un supuesto muy restrictivo, ya
que siempre podemos usar b0 para
normalizar E(u) a 0, donde b0 es el
promedio de los factores inobservables en la
población. Nota: resolver ejercicio 2.2.

Econmetría - FCE - UNNE 10

Esperanza Condicional Cero
Necesitamos hacer un supuesto crucial
acerca de cómo u y x están relacionadas:
E(u|x) = E(u) = 0, lo que implica que
E(y|x) = b0 + b1x
Más adelante se entenderá porqué este
supuesto es importante para interpretar el
modelo y para derivar propiedades
estadísticas importantes de los estimadores.

Econmetría - FCE - UNNE 11

E(y|x) como una función lineal de x, donde para cada
valor de x, la distribución de y está centrada en E(y|x)
y
f(y)

. E(y|x) = b + b x
0 1
.

x1 x2
Econmetría - FCE - UNNE 12
E(y|x) como una función lineal de x, donde para cada
valor de x, la distribución de y está centrada en E(y|x)
y
f(y)

. E(y|x) = b + b x
0 1
.

x1 x2
Econmetría - FCE - UNNE 13
2.3 Mínimos Cuadrados Ordinarios

La idea básica de la regresión es estimar los

parámetros poblacionales usando la muestra
Dada una muestra aleatoria de tamaño n de
la población {(xi,yi): i=1, …,n}, podemos
escribir cada observación de la muestra
como
yi = b0 + b1xi + ui

Econmetría - FCE - UNNE 14

Línea de regresión poblacional, puntos de datos
muestrales y sus términos de error asociados
y E(y|x) = b0 + b1x
y4 .{
u4

y3 .} u3
y2 u2 {.

y1 .} u1

x1 x2 x3 x4 x
Econmetría - FCE - UNNE 15
Derivación de los estimadores MCO
Para derivar los estimadores MCO
debemos notar que nuestro supuesto
principal de que E(u|x) = E(u) = 0 también
implica que
Cov(x,u) = E(xu) = 0

Por qué? Recordemos de estadística básica

que Cov(X,Y) = E(XY) – E(X)E(Y)

Econmetría - FCE - UNNE 16

Derivación de MCO (continuación)
Podemos escribir estas 2 restricciones solo
en términos de x, y, b0 y b1 , entonces, dado
que u = y – b0 – b1x tenemos que
E(y – b0 – b1x) = 0
E[x(y – b0 – b1x)] = 0

Estas condiciones son restricciones sobre

dos momentos de la población

Econmetría - FCE - UNNE 17

Derivación de MCO usando MM
La estimación por método de momentos
(MM) implica imponer a los momentos
muestrales las restricciones de los momentos
poblacionales

Un ejemplo de este método es la estimación

de E(x), la media de la población, a través
de la media aritmética de la muestra

Econmetría - FCE - UNNE 18

Mas sobre derivación de MCO
Lo que haremos es elegir valores de los
parámetros que nos aseguren que las versiones
muestrales de nuestras restricciones poblacionales
se cumplan
Las versiones muestrales son:
1 n

n  yi  bˆ0  bˆ1 xi  0
i 1

1 n

n  xi yi  bˆ0  bˆ1 xi  0
i 1

Econmetría - FCE - UNNE 19
Mas sobre derivación de MCO
Dada la definición de media muestral, y las
propiedades de la sumatoria, podemos reescribir
la primera condición para obtener el estimador
de la ordenada al origen

y  bˆ0  bˆ1 x ,
o
bˆ0  y  bˆ1 x

Econmetría - FCE - UNNE 20

Mas sobre derivación de MCO
Reemplazando en la segunda condición

   
n

 i i
x
i 1
y  y  ˆ x  bˆ x  0
b1 1 i

n n
x 
 i iy  y   ˆ
b1  xi  xi  x 
i 1 i 1
n n

 xi  x  yi  y   b1  xi  x 
ˆ 2

i 1 i 1

Econmetría - FCE - UNNE 21

La pendiente estimada por MCO
Despejando la pendiente
n

 x  x  y i i  y
bˆ1  i 1
n

 x  x 
2
i
i 1
n

 x  x  0
2
siendo i
i 1

Econmetría - FCE - UNNE 22

Resumen de la estimación de la
pendiente

El estimador MCO de la pendiente es igual a

la covarianza muestral entre x y y dividida por
la varianza muestral de x
Si x y y están correlacionadas positivamente,
la pendiente será positiva
Si x y y están correlacionadas negativamente,
la pendiente será negativa
Notar que es necesario que x tenga
variabilidad en la muestra
Econmetría - FCE - UNNE 23
Mas sobre MCO
Intuitivamente, MCO consiste en ajustar una línea
a través de los puntos muestrales de tal forma que
la suma de los residuos al cuadrado sea tan
pequeña como fuese posible, de allí el término
“mínimos cuadrados”
El residuo, û, es un estimador del término de
error, u, y es la diferencia entre la línea ajustada
(o función de regresión muestral) y el punto de la
muestra

Econmetría - FCE - UNNE 24

Línea de regresión muestral, puntos de datos
muestrales y los términos de error estimados
y
y4 .
û4 {
yˆ  bˆ0  bˆ1 x
y3 .} û3
y2 û2 { .

} û1
y1 .
x1 x2 x3 x4 x
Econmetría - FCE - UNNE 25
Derivación alternativa
Dada la idea intuitiva de ajustar una línea,
podemos establecer ahora un problema formal de
minimización
Esto es, queremos elegir los parámetros de tal
forma que se minimice la siguiente expresión:

 
n n

 uˆi    yi  bˆ0  bˆ1 xi

2 2

i 1 i 1

Econmetría - FCE - UNNE 26

Derivación alternativa (continuación)
Resolviendo el problema de minimización para
los dos parámetros, obtenemos las condiciones de
primer orden siguientes, las cuales son las mismas
que las restricciones que impusimos
anteriormente, pero multiplicadas por n

 
n

 y
i 1
 ˆ
b
i 0  ˆ x 0
b 1 i

 
n

 i i 0 1i
x y
i 1
 ˆ  bˆ x  0
b
Econmetría - FCE - UNNE 27
2.4 Propiedades algebraicas de los
estimadores MCO

1. La suma de los residuos de MCO es cero,

por lo tanto, el promedio de los mismos es
igual a cero
2. La covarianza muestral entre el regresor y
los residuos de MCO es igual a cero
3. La línea de regresión de MCO siempre
pasa por la media de la muestra

Econmetría - FCE - UNNE 28

Matemáticamente
n

n  uˆ i
1.  uˆi  0 y por lo tanto,
i 1
i 1
n
0
n
2.  x uˆ
i 1
i i 0

3. y  bˆ0  bˆ1 x

Econmetría - FCE - UNNE 29

Descomposición de la varianza
Podemos ver a cada observació n como compuesta
de una parte explicada, y otra parte no explicada,
yi  yˆ i  uˆi Luego definimos lo siguiente :
  y  y  : suma total de cuadrados (STC)
2
i

  yˆ  y  : suma explicada de cuadrados (SEC)

2
i

 uˆ : suma de residuos al cuadrado (SRC)

2
i

Luego tenemos que STC  SEC  SRC

Econmetría - FCE - UNNE 30
Prueba de que STC = SEC+SRC

  y  y     y  yˆ    yˆ  y 
2 2
i i i i

  uˆ   yˆ  y 
2
i i

  uˆ  2 uˆ  yˆ  y     yˆ  y 
2 2
i i i i

 SRC  2 uˆ  yˆ  y   SEC
i i

pero sabemos que  uˆ  yˆ  y   0 i i

Econmetría - FCE - UNNE 31

Bondad del ajuste
Cómo podemos medir cuán bien se ajusta a
los datos la línea de regresión estimada?
Podemos computar la proporción de la
suma de cuadrados totales (STC) que es
explicada por el modelo, a esta medida la
llamamos la R-cuadrada de la regresión o
“coeficiente de determinación”:
R2 = SEC/STC = 1 – SRC/STC

Econmetría - FCE - UNNE 32

Propiedades estadísticas de los
estimadores MCO
Supuestos de Gauss-Markov (G-M)
1. El modelo poblacional es lineal en los parámetros:
y = b0 + b1x + u
2. Tenemos a disposición una muestra aleatoria de
tamaño n, {(xi, yi): i=1, 2, …, n}, extraída de la
población. Por lo que podemos escribir el modelo
para cada observación muestral como
yi = b0 + b1xi + ui
3. Suponemos E(u|x) = 0 y por lo tanto E(ui|xi) = 0
4. Suponemos que hay variación muestral en las xi
Econmetría - FCE - UNNE 33
Insesgamiento
Para analizar el insesgamiento del estimador,
necesitamos reescribirlo en términos del
parámetro poblacional
Comenzamos reescribiendo la fórmula como

 x  x  y
bˆ1  i
2
i
, donde
s x

s   xi  x 
2 2
x

Econmetría - FCE - UNNE 34

Insesgamiento
Operamos con el numerador
 x  x y  x  x b  b x  u  
i i i 0 1 i i

 x  x b   x  x b x   x  x  u 
i 0 i 1 i i i

b  x  x   b  x  x  x   x  x  u
0 i 1 i i i i

Dado que :
 x  x   0 y  x  x x   x  x 
2
i i i i

Econmetría - FCE - UNNE 35

Insesgamiento

Entonces, el numerador queda

b s   xi  x  ui , luego
2
1 x

 x  x  u
bˆ1  b1  i
2
i

s x

Econmetría - FCE - UNNE 36

Insesgamiento

hacemos d i  xi  x , tal que

 1 
b i  b1   2  d i ui , luego
ˆ
 sx 

 
ˆ
E b1  b1  
 1 
2  d i E ui   b1
 sx 

Econmetría - FCE - UNNE 37

Resumiendo insesgamieto
Los estimadores MCO de b1 y b0 son insesgados
La prueba de insesgamiento depende de los 4
supuestos de G-M – si cualquier supuesto se viola,
los MCO no son necesariamente insesgados
Recordar que insesgamiento es una propiedad del
estimador – en una muestra dada podemos estar
“cerca” o “lejos” del verdadero parámetro

Econmetría - FCE - UNNE 38

Varianza de los estimadores MCO
Hasta ahora lo que sabemos es que la
distribución muestral del estimador está
centrada alrededor del verdadero parámetro
Pero queremos saber cuán dispersa es esta
distribución
Es mucho mas fácil analizar esta varianza si
establecemos un supuesto adicional
Suponemos Var(u|x) = s2 (Homocedasticidad)
Econmetría - FCE - UNNE 39
Varianza de MCO (continuación)
Var(u|x) = E(u2|x)-[E(u|x)]2
E(u|x) = 0  s2 = E(u2|x) = E(u2) = Var(u)
Entonces s2 es también la varianza no
condicional, llamada “varianza del error”
s, la raíz cuadrada de la varianza del error,
es la desviación estándar (o típica) del error
Así tenemos:
E(y|x)=b0 + b1x y Var(y|x) = s2
Econmetría - FCE - UNNE 40
El caso Homocedástico
y
f(y|x)

. E(y|x) = b + b x
0 1
.

x1 x2 x
Econmetría - FCE - UNNE 41
 El caso Heterocedástico
f(y|x)

.
. E(y|x) = b0 + b1x

.
x1 x2 x3 x
Econmetría - FCE - UNNE 42
Varianza de MCO (continuación)
ˆ     1 
Var b1  Var  b1  

2   d i ui 
 
  sx  
2 2

2  Var  d i ui   
 1   1 

 sx 
2
 sx 
 i Var ui 
d 2

2 2
 1   1 
 2
 sx 
 d s  s  sx2 
i
2 2 2
 i
d 2

 
2
 1  2 s2 ˆ
s 
2
2  sx  2  Var b1
 sx  sx
Econmetría - FCE - UNNE 43
Varianza de MCO (resumen)
A mayor varianza del error, s2, mayor
varianza del estimador de la pendiente
A mayor variablilidad en las xi, menor la
varianza del estimador de la pendiente
Un mayor tamaño de la muestra hace
disminuir la varianza del estimador de la
pendiente
Problema: s2 es desconocida

Econmetría - FCE - UNNE 44

Un estimador para s2

No conocemos el valor de s2, porque no

observamos los términos de error ui

Pero lo que sí conocemos son los residuos

de MCO, ûi

Podemos usar los residuos ûi para construir

un estimador de s2

Econmetría - FCE - UNNE 45

Un estimador para s (continuación)
2

uˆi  yi  bˆ0  bˆ1 xi

 b 0  b1 xi  ui   bˆ0  bˆ1 xi
 0 0  
 u  bˆ  b  bˆ  b x
i 1 1  i

Luego, un estimador insesgado de s 2 es

i  SRC / n  2 
1
sˆ 
2

n  2  ˆ
u 2

Econmetría - FCE - UNNE 46

Un estimador para s (continuac.)
2

s  s  Error estándar, estimador del deu 

ˆ ˆ 2

 
notar que de bˆ1  s
sx
si sustituimos sˆ por s tenemos el error
estándar de bˆ ,1

  
ee bˆ1  sˆ /  xi  x 
2

1
2

Econmetría - FCE - UNNE 47