ANALISIS DE REGRESION

LINEAL Y MULTIPLE
Docente:
Mercedes Aida Osorio Maza
mosorio@uni.edu.pe
SEMANA 2
2014 - II
TEORIA
TEMAS A DESARROLLAR
 Análisis de Regresión Lineal Simple;
Coeficiente de determinación, Coeficiente
de correlación.
 Análisis de Regresión Polinomial de 1er y
2do grado.
 Regresión Lineal Múltiple.
 Regresión Lineal Múltiple con 2 variables
independientes.

ANÁLISIS DE REGRESIÓN
Consiste en emplear métodos estadísticos que determinen
matemáticamente un modelo de la curva que más se ajusta a
los datos.
Es decir: y =
Donde:
y = variable dependiente
x = variable independiente
f = función
Para elegir la relación funcional que más se ajusta a los
datos lo 1ro que debemos hacer es el diagrama de
dispersión.
) (xi
f
DIAGRAMA DE DISPERSIÓN
Es la gráfica de los valores (x
i
, y
i
) este diagrama permite
visualizar la tendencia que siguen los puntos ya sea lineal,
exponencial, etc.




Otros diagramas de dispersión:




En base a la tendencia que siguen los datos nosotros
analizamos los diferentes tipos de regresión.




3.- ANALISIS DE REGRESION POTENCIAL
2.- ANALISIS DE REGRESION EXPONENCIAL
4.- ANALISIS DE REGRESIÓN POLINOMIAL

5.-ANALISIS DE REGRESIÓN LINEAL MÚLTIPLE

1.- ANÁLISIS DE REGRESIÓN LINEAL
1.- ANÁLISIS DE REGRESIÓN LINEAL
Es aquel análisis cuando la relación entre “x” e “y” es de
tipo lineal.
Matemáticamente el modelo será:




i i i
Bx A y e + + =
Donde:





Error
es Coeficient B A,
ente indenpendi Variable x
e dependient Variable y
i
i
i
= e
=
=
=
Si tenemos un diagrama de dispersión lineal y si asumimos
un modelo de estimación de la forma:




Tendremos:





i i
bx a y
ˆ
+ =

i
e
l) Poblaciona (Modelo Bx A y
i i
e + + =
Muestral) (Modelo bx a y
ˆ
i i
+ =
Para que el modelo estimado este muy próximo al modelo
real, nosotros debemos minimizar el error.




Tomando una observación el error será
 Luego la recta que mejor se ajusta será aquella que
minimice la suma cuadrado del error:




1 1 1
y
ˆ
y ÷ = c
( ) min. y
ˆ
y
2
i i
2
i
= ÷ = e
Es decir:





( ) ( ) ( ) ( )
¿
=
÷ = ÷ + ÷ + ÷ = e
n
1 i
2
i i
2
i i
2
2 2
2
1 1
2
i
y
ˆ
y y
ˆ
y ........ .......... y
ˆ
y y
ˆ
y
 Para hallar los estimadores “a” y “b” que hagan mínimo el
error se estimara de:





} Normales Ecuaciones 0
b
0
a
2
i
2
i
=
c
e c
. =
c
e c
Obtenemos las Ecuaciones Normales:



x b na y
n
1 i
i
n
1 i
i ¿ ¿
= =
+ =
1 era Ecuación Normal





2 da Ecuación Normal





¿ ¿ ¿
= = =
= + =
n
1 i
n
1 i
2
i i
n
1 i
i i
0 x b x a y x
2.- ANÁLISIS DE REGRESIÓN EXPONENCIAL
Cuando el diagrama de dispersión se nos presenta en la
siguiente forma:



El modelo será linealizado tomando logaritmo natural y/o
función logaritmo.



x * b * a y*
xlnb lna lny
ab y
x
+ =
+ =
=
      
La estimación de a* y b* se halla igual que la regresión
lineal simple de las ecuaciones:



normales Ecuaciones
x * b x * a xy*
x * b * na y*
2
i i
i
¦
)
¦
`
¹
+ =
+ =
¿ ¿ ¿
¿ ¿
La regresión exponencial se presenta en muchos problemas
de Física, Química Economía. Etc.



3.- ANÁLISIS DE REGRESIÓN POTENCIAL
Si se presenta un modelo la manera de linealizarlo es
mediante ln y/o log.


Las ecuaciones serán:



¿ ¿ ¿
¿ ¿
+ =
+ =
2 *
i i
*
i
*
i
*
i
*
i
x b x * a y x
x * b * na y
blnx lna lny
) ln(ax lny
b
+ =
=
COEFICIENTE DE DETERMINACIÓN (r
2
)
Es aquella medida conocida también como coeficiente de
bondad de ajuste ya que indica en que porcentaje se ajusta
la línea de regresión al conjuntos de datos.


( )
( )
i i i
i
2
i
2
i 2
bx a y
ˆ
modelo al base en estimado Valor y
ˆ
observado Valor y

y - y
y - y
ˆ
r
+ = =
=
=
¿
¿
x" variable" la por explicada y" " de variacion la %de el Mide r
2
=
Gráficamente:


Gráficamente el coeficiente de determinación se observa:


Se sabe:



Estimado Valor y
ˆ
Observado Valor y
i
i
=
=
i i i
i i
i i
y
ˆ
y
. y promedio al respecto con y de desviación y - y
ˆ
. y promedio al respecto con y Desviación y - y
÷ = e
=
=
Luego:



( ) ( )
Error S.C. Regresión S.C. al S.Cuad.Tot
. y - y
ˆ
y - y
2
i
2
i
2
i
+ = ¬
e + =
¿ ¿ ¿
Coeficiente de No Determinación (1 – r
2
)
Nos indica el % porcentaje de la variación de y que no
depende de la variación de “x”, su variación se debe a los
factores aleatorios.



Coeficiente de Correlación (r)
Mide el grado de asociación entre “x” e “y”.
En la regresión múltiple:




ntes Independie 2Variables
2
y.12
r
4.- ANÁLISIS DE REGRESIÓN POLINOMIAL
Se aplica cuando en el diagrama de dispersión los puntos no
siguen una tendencia lineal sino una tendencia curva. Ya sea
de 2do grado, 3ro grado, etc.



i
3
3
2
2 1 o i
........ .......... x B x B x B B y e + + + + =
Luego:


min
n
1 i
2
i
= e
¿
=
Nos genera estimadores que minimicen la suma cuadrado
del error.


Para poder hallar los parámetros:


Aplicaremos el criterio de los mínimos cuadráticos:


etc. ......, ,......... B
ˆ
, B
ˆ
, B
ˆ
2 1 o
0
B
o
2
i
=
c
e c
¿
Luego obtendremos:


Normales Ecuaciones
yx ........ x B
ˆ
x B
ˆ
x B
ˆ
yx .......... x B
ˆ
x B
ˆ
x B
ˆ
y ...... .......... x B
ˆ
x B
ˆ
n B
ˆ
2 4
2
3
1
2
0
3
2
2
1 0
2
2 1 0
¦
¦
)
¦
¦
`
¹
= + + +
= + + +
= + + +
¿ ¿ ¿ ¿
¿ ¿ ¿ ¿
¿ ¿ ¿
nte) sucesivame (Así
4.1) REGRESIÓN POLINOMIAL (2do Grado)
Gráficamente:


Expresando matricialmente tenemos:



yx x B
ˆ
x B
ˆ
x B
ˆ
yx x B
ˆ
x B
ˆ
x B
ˆ
y x B
ˆ
x B
ˆ
n B
ˆ
2 4
2
3
1
2
0
3
2
2
1 0
2
2 1 0
¦
¦
)
¦
¦
`
¹
= + +
= + +
= + +
¿ ¿ ¿ ¿
¿ ¿ ¿ ¿
¿ ¿ ¿
Normales Ecuaciones las de
hallan se B
ˆ
, B
ˆ
, B
ˆ
s estimadore Los
2 1 0
Del modelo:


Matricialmente será:


Luego:


Ejemplo (n = 4)


i
2
i 2 i 1 o i
x B
ˆ
x B
ˆ
B
ˆ
y e + + + =
(
(
(
(
¸
(

¸

e
e
e
e
+
(
(
(
¸
(

¸

(
(
(
(
(
¸
(

¸

=
(
(
(
(
¸
(

¸

i
i
i
i
2
1
0
2
4 4
2
3 3
2
2 2
2
1 1
4
3
2
1
B
ˆ
B
ˆ
B
ˆ
x x 1
x x 1
x x 1
x x 1
y
y
y
y
i i i
i i
y
ˆ
y
B
ˆ
x y
e + =
e + =
Para poder hallar los parámetros, aplicamos el método de los
mínimos cuadrados.


( ) ( )
0
Bi
B
ˆ
x y B
ˆ
x y
0
B
i
2
1
=
c
÷
'
÷ c
¬ =
c
e c
¿
( )
( ) ( ) y x x x B
ˆ
y x B
ˆ
x x
1
' '
= ¬
'
=
'
÷
B
ˆ
x y B
ˆ
x y
Si : NOTA
i i i i
÷ = e ¬ e + =
Hallamos (x’x) y (x’y)


( )
(
(
(
¸
(

¸

=
'
¿ ¿ ¿
¿ ¿ ¿
¿ ¿
4
i
3
i
2
i
3
i
2
i i
2
i i
x x x
x x x
x x n
x x
El vector de coeficiente será:

El modelo matricial será:


( )
(
(
(
¸
(

¸

=
'
¿
¿
¿
i i
i i
i
y x
y x
y
2
y x
( ) ( )
(
(
(
¸
(

¸

=
' '
=
÷
2
1
0
1
ˆ
ˆ
ˆ
y x x x B
ˆ
B
B
B
2
i 2 i 1 o i i
x B
ˆ
x B
ˆ
B
ˆ
y
ˆ
y/o B
ˆ
x y
ˆ
+ + = =
5.- ANÁLISIS DE REGRESIÓN
LINEAL MULTIPLE
Sean x
1
, x
2
, ..................., x
P
, p variables independientes, y
una variable aleatoria que depende de las “k” variables
independientes.
El método matemático de regresión lineal múltiple es:



i p p 3 3 2 2 1 1 0 i
x .......B .......... X B x B x B B y e + + + + + =
El problema al igual que en la regresión lineal es estimar los
parámetros:


P 2 1 0
B
ˆ
.... ,......... B
ˆ
, B
ˆ
, B
ˆ
Esto se halla minimizando la suma cuadrado del error

¿
= e min.
2
i
Si:

( ) ( )
¿ ¿ ¿
= = =
÷ ÷ ÷ = ÷ ¬ e =
n
i
n
i 1
2
p p 2 2 1 1 0 i
1
2
i i
n
1 i
x B
ˆ
........ x B
ˆ
x B
ˆ
B
ˆ
y y
ˆ
y i Q
Luego:

0.
B
Q
k
=
c
c
Nos dará estimadores mínimos cuadrados

|
|
.
|

\
|
=
c
c
=
c
c
.......... 0,........
B
Q
0,
B
Q
2 1
5.1) REGRESIÓN LINEAL MULTIPLE
(2 Variables Independientes)
Si:

( ) ( )
¿ ¿ ¿
= = =
÷ ÷ ÷ = ÷ = e =
n
1 i
n
1 i
2
2 2 1 1 0 i
2
i i
n
1 i
2
I
x B
ˆ
x B
ˆ
B
ˆ
y y
ˆ
y Q
Luego las ecuaciones normales son:

¿ ¿ ¿ ¿
¿ ¿ ¿ ¿
¿ ¿ ¿
= + +
= + +
= + +
i 2
2
2 2 2 1 1 2 0
i 1 2 1 2
2
1 1 1 0
i 2 2 1 1 0
y x x B
ˆ
x x B
ˆ
x B
ˆ
y x x x B
ˆ
x B
ˆ
x B
ˆ
y x B
ˆ
x B
ˆ
B
ˆ
n
Expresando matricialmente :


Ejemplo (n = 4)


i i i
xB y e + =
(
(
(
(
¸
(

¸

e
e
e
e
+
(
(
(
¸
(

¸

(
(
(
(
¸
(

¸

=
(
(
(
(
¸
(

¸

4
3
2
1
2
1
0
24 14
23 13
22 12
21 11
4
3
2
1
B
ˆ
B
ˆ
B
ˆ
x x 1
x x 1
x x 1
x x 1
y
y
y
y

Luego:


4 24 2 14 1 0 4
3 23 2 13 1 0 3
2 22 2 2 1 1 0 2
1 21 2 11 1 0 1
x B
ˆ
x B
ˆ
B
ˆ
y
x B
ˆ
x B
ˆ
B
ˆ
y
x B
ˆ
x B
ˆ
B
ˆ
y
x B
ˆ
x B
ˆ
B
ˆ
y
e + + + =
e + + + =
e + + + =
e + + + =
Los valores de se hallan de:


i
B
ˆ
i
i
B c
c
¿
2
c
( ) ( )
0
2
=
c
÷
'
÷ c
=
c
c
¿
i i
i
B
xB y xB y
B
c
Luego:


( )
( ) ( ) y x x x B
ˆ
y x B
ˆ
x x
1
' '
= ¬
'
=
'
÷
Hallamos(x’x)


(
(
(
(
(
¸
(

¸

=
(
(
(
¸
(

¸

=
'
2
24 14
2
23 13
2
22 12
2
21 11
2
24
2
23
2
22
2
21
14 13 12 11
x x 1
x x 1
x x 1
x x 1
x
x x x x
x x x x
1 1 1 1
x
Luego:


( )
(
(
(
(
(
(
(
¸
(

¸

=
'
¿ ¿ ¿
¿ ¿ ¿
¿ ¿
= = =
= = =
= =
n
1 i
2i
n
1 i
2i 1i
n
1 i
2i
n
1 i
2i 1i
n
1 i
1i
2
n
1 i
1i
n
1 i
2i
n
1 i
1i
x x x x
x x x x
x x n
x x
(
(
(
(
¸
(

¸

=
(
(
(
¸
(

¸

=
'
4
3
2
1
2
24
2
23
2
22
2
21
14 13 12 11
y
y
y
y
y
x x x x
x x x x
1 1 1 1
x
Luego:


( )
(
(
(
¸
(

¸

=
'
¿
¿
¿
i
2
2i
i 1i
i
y x
y x
y
y x
Entonces:


( ) ( )
  
) cofactores o y / Jordan - Gauss (Metodo
Inversa. Matriz
1
i
y x x x B
ˆ
' '
=
÷
Coeficiente de determinación en la regresión lineal múltiple

( )
( )
¿
¿
=
=
÷
÷
=
n
1 i
i
n
1 i
i
2
y.12
2 y y
2 y y
ˆ
r
Observado Valor y
Estimado) (Modelo x B
ˆ
x B
ˆ
B
ˆ
y
ˆ
i
2 2 1 1 0 i
=
+ + =
y = -3631.x + 14.04
R² = 0.940
y = -5E+12x
4
+ 5E+10x
3
- 2E+08x
2
+ 45703x - 321.3
R² = 0.941
y = 191.2e
-1386x
R² = 0.879
1
1.5
2
2.5
3
3.5
4
4.5
0.0026 0.0027 0.0028 0.0029 0.003 0.0031 0.0032 0.0033 0.0034 0.0035 0.0036
L
N
(
P
)
1/T
DIAGRAMA DE DISPERSIÓN (Ln(P) VS 1/T))
Series1
Lineal (Series1)
Polinómica (Series1)
Exponencial (Series1)
0
0.15 0.17
0.2
0.4
0.7
1.1
1.8
3
5
7
y = 0.004x
2
- 3.196x + 546.3
R² = 0.975
y = 0.000x
3
- 0.114x
2
+ 39.08x - 4444.
R² = 0.998
-1
0
1
2
3
4
5
6
7
8
325 335 345 355 365 375 385
P
r
e
s
i
ó
n
(
P
)
Temperatura(T)
DIAGRAMA DE DISPERSIÓN CUADRATICA
Series1
Polinómica (Series1)
Polinómica (Series1)
VIDEO INTRODUCTORIO DE ANÁLISIS DE
REGRESIÓN LINEAL Y MÚLTIPLE
VIDEO DE RESOLUCIÓN DE EJERCICIOS DE
ANÁLISIS DE REGRESIÓN LINEAL Y
MÚLTIPLE