Estadística I

Tema 5. Teoría de la regresión

Carmen Trueba Salas

Lorena Remuzgo Pérez
Vanesa Jordá Gil
José María Sarabia Alegría
DPTO. DE ECONOMÍA

Este tema se publica bajo Licencia:

Creative Commons BY-NC-SA 4.0
 Estadística I
Tema 5. Teoría de la regresión

Introducción
La teoría de la regresión tiene por objeto definir la estructura de
dependencia que mejor explique el comportamiento de una variable
(dependiente o explicada) en función de otra (independiente o explicativa).

Dependencia funcional. Existe una función matemática que expresa los

valores de Y en función de los valores de X de forma exacta.

Dependencia estadística. La relación entre las variables X e Y es

aproximada de modo que incluye un término aleatorio que no es posible
modelizar.
y = a + bx.
Estadística I
Tema 5. Teoría de la regresión

Recta de regresión de Y sobre X

y = a + bx.
Ilustración gráfica
Y
10
Valor
observado
8 yi

6
Yˆ = a + bX
Error
ei yi = yˆ i ⇒ ei = 0
4
ŷi
Valor
2
ajustado

0 X
0 4 8 12 16 20
xi
 Estadística I
Tema 5. Teoría de la regresión

Recta de regresión de Y sobre X

Derivación analítica
a = y − bx ,
S XY
b= 2
.
SX

De la sustitución de estos valores en la recta y = a + bx., obtenemos la

recta de regresión de Y sobre X:

S XY
y − y = 2 ( x − x ),
SX
 Estadística I
Tema 5. Teoría de la regresión

Propiedades del ajuste

1. La media de los residuos es cero: e = 0.

2. La media de los valores ajustados es igual a la media de los valores
observados: yˆ = y.
3. La covarianza entre la variable dependiente y el error es cero: SYe = 0.
4. La covarianza entre la variable ajustada y el error es cero: SYˆe = 0.
5. La varianza de la variable dependiente se descompone del siguiente
modo
SY2 = S e2 + SY2ˆ .
 Estadística I
Tema 5. Teoría de la regresión

Recta de regresión de X sobre Y

Derivación analítica
a ' = x − by ,
S XY
b' = 2
.
SY
Sustituyendo estos valores en la recta x = a'+b' y se obtiene:
S XY
x−x = ( y − y ),
S Y2
 Estadística I
Tema 5. Teoría de la regresión

Relaciones entre las rectas

• Las dos rectas de cortan en el punto ( x , y ).

• Las pendientes de las dos rectas (b y b’) tienen el mismo signo que a su
vez es igual al signo del coeficiente de correlación lineal (rXY ).
SY S
• Se cumple la relación: b=r , b' = r X .
SX SY
• El producto de los coeficientes de regresión es igual al coeficiente de
determinación.
• En los casos en los que tenemos correlación perfecta ( rXY = 1, rXY = −1),
las rectas de regresión coinciden.
• rXY = 0, si y = y x = x.
 Estadística I
Tema 5. Teoría de la regresión

Medias de bondad de ajuste

2
S XY
R 2
= 2 2
S X ⋅ SY
XY

• Si R XY = 1, el ajuste es perfecto.
2

• Si RXY está cercano a uno, la recta de regresión lineal se ajusta de forma

2

adecuada a la nube de puntos.

• Si RXY está cercano cero el ajuste es pobre.
2

• Si R XY = 0, la recta de regresión no se ajusta en absoluto a la nube de

2

puntos.
 Estadística I
Tema 5. Teoría de la regresión

Ajustes no lineales

Modelo no lineal Transformación Modelo lineal y ' = b0 + b1 x'

y = ae bx y = log y; x' = x b0 = log a ; b1 = b
y = ax b y = log y; x' = log x b0 = log a ; b1 = b
1 1
y= y= ; x' = x b0 = a ; b1 = b
a + bx y
 Estadística I
Tema 5. Teoría de la regresión

Predicción

La predicción de Y para X = x0 es:

S XY
y* = y + 2
( x0 − x ).
SX

La predicción de X para Y = y0 viene dada por:

S XY
x* = x + 2
( y 0 − y ).
SY