You are on page 1of 26

ANÁLISIS DE REGRESIÓN LINEAL

Diego Fernando Lemus Polanı́a
Curso Estadı́stica II
Candidato M.s.C en Estadı́stica
dflemus@unalmed.edu.co
Facultad de Ciencias - Escuela de Estadı́stica
Universidad Nacional de Colombia
Sede Medellı́n

Enero 2011

2

Información General del Curso
Forma de evaluación: Parciales

Primer parcial: Regresión Lineal Simple 20 % Fecha:

Segundo parcial: Regresión Lineal Múltiple 20 % Fecha:

Tercer parcial: Regresión lineal Múltiple - Parte II 20 % Fecha:

Cuarto parcial: Introducción al Muestreo 20 % Fecha:

Forma de evaluación: Trabajos

Primer Trabajo: Regresión Lineal Multiple 10 % Fecha:

Segundo Trabajo: Introducción al Muestreo 10 % Fecha:

entonces: P i. Forma Cuadrática: Si α es un vector n × 1. Si A ∈ ℜn×n . entonces se dice que A es simetrica-idempotente si es a la vez simetrica e idempotente. A′ A = A−1 A = I = AA′ = AA−1 vii. i. Una matriz A ∈ ℜn×n es ortogonal si A′ = A−1 . Si A ∈ ℜn×n .1. v.e si. ix.e α ∈ ℜn y A ∈ ℜn×n . ii. Si A es simetrica-idempotente. Matriz definida positiva y semidefinida positiva: Una matriz A ∈ ℜn×n se dice que es: i) Definida Positiva. Si A ∈ ℜn×n . ∀α ∈ ℜn x. Si A ∈ ℜn×k . entonces se dice que A es simetrica si A′ = A. i. i. entonces se dice que A es idempotente si A2 = A iv. ∀α ∈ ℜn ii) Semidefinida-Positiva si α′ Aα ≥ 0. si α′ Aα > 0. (AB)′ = B ′ A′ . vi. A′ = A = A2 .Capı́tulo 1 MODELO DE REGRESIÓN LINEAL MÚLTIPLE 1. entonces a la función: P P n n αAα = i j aij yi yj se le llama forma cuadratica .e si. la traspuesta de un producto es igual al producto de las traspuesta. entonces (I − A) tambien es simetrica-idempotente. Nociones preliminares en teorı́a matricial i. tra(A) = ni=1 aii 3 . iii.

1)  .4 CAPÍTULO 1. µn y varianzas dadas por σ12 . . . xii. xi. iii.. tra(aA + bB) = atra(A) + btra(B).   (1. E(Yn )]′ = [µ1 . Un vector aleatorio es simplemente un vector formado por variables aleatorias. σ22 . µ2 . . Yn ]′ es un vector aleatorio con vector de medias dado por: µY = E[Y ] = [E(Y1 ). tra(ABC) = tra(CAB). . . Si A es idempotente. como X = X(X ′ X)−1 (X ′ X) luego se tiene que: [X1 | X2 ] = X(X ′ X)−1 X ′ [X1 | X2 ] de donde X1 = X(X ′ X)−1 X ′ X1 y X2 = X(X ′ X)−1 X ′ X2 similarmente: ′ ′ ′ ′ X1 = X1 (X ′ X)−1 X ′ y X2 = X2 (X ′ X)−1 X ′ 1. Y = [Y1 .  σn1 σn2 ··· σnn n×n Observe que el vector de medias asociado a un vector aleatorio es simplemente el vector formado por las medias de cada elemento del vector. MODELO DE REGRESIÓN LINEAL MÚLTIPLE ii. . . . ··· .. .. . tra(AB) = tra(BA) con AB posibles de efectuar. Si Xn×p : es una matriz que esta particionada de la siguiente forma X = [X1 | X2 ] entonces. .1. Yn variables aleatorias con valores esperados (medias) dados por µ1 . µn ]′ y matriz de varianzas . Vectores aleatorios Sean Y1 .covarianzas dada por:   σ11 σ12 ··· σ1n    σ21 σ22 ··· σ2n  ΣY = V ar(Y ) =   . . n. E(Y2 ). . 2. . Por otra parte se puede deducir que σij = σji (lo . . . σn2 . Yj ] = E[(Yi − µi )(Yj − µj )] con i. . Por lo tanto. Nociones preliminares relacionadas con vectores de variables aleatorias Para facilitar la notación y el desarrollo de algunas pruebas se utiliza con frecuencia una escritura del modelo en forma matricial.1. . . . . j = 1. . . Por definición la covarianza entre las variables Yi e Yj esta dado por: σij = COV [Yi . . iv. µ2 . . . la cual requiere establecer algunas definiciones que se presentan a continuación. . entonces el Rango(A) = tra(A). . Y2 . . Y2 . . .

pero si A es simétrica ⇒ = 2AY Algunas propiedades de Valor Esperado y Varianza de un Vector Aleatorio Sea Y un vector aleatorio de dimensión (n × 1) con vector de medias µY de dimensión (n × 1) y matriz de varianzas . Sea A una matriz de constantes de dimensión (m × n) y b un vector de dimensión (n × 1) de constantes. con cada Yi   .   (1.2)  .  σ1n σ2n · · · σn2 n×n En resumen. E[b′ Y ] = b′ E[Y ] = b′ µY ii.        Y  m variable aleatoria. es decir Y = . entonces: i. . .. Si Z = Y ′ Y ⇒ ∂Y = ∂Y = 2Y ∂Z ∂(β ′ AY ) iii. . la matriz de varianzas-covarianzas asociada a un vector aleatorio es una matriz cuadrada y simétrica de orden igual al tamaño del vector aleatorio donde la diagonal principal contiene las varianzas asociadas a cada elemento del vector y por fuera de la diagonal están las covarianzas entre pares de elementos del vector aleatorio. entonces: ∂Z ∂(β ′ Y ) i. Si Z = β ′ Y ⇒ ∂Y = ∂Y = β ∂Z ∂(Y ′ Y ) ii. β ∈ ℜm y Ym×1 es un vector de variables.1.. Si Z = β ′ AY ⇒ ∂Y = ∂Y = A′ β ∂Z ∂(Y ′ AY ) iv. E[AY ] = AE[Y ] = AµY . Algunas Propiedades de Derivadas Vectoriales o Matriciales     Y1        Y2  Si A ∈ ℜm×m .1. ··· . Si Z = Y ′ AY ⇒ ∂Y = ∂Y = AY + A′ Y ..covarianzas de la siguiente manera:   σ12 σ12 · · · σ1n    σ12 σ22 · · · σ2n  ΣY =  .covarianzas no singular ΣY de dimensión (n × n). NOCIONES PRELIMINARES EN TEORÍA MATRICIAL 5 cual implica que ΣY es una matriz simétrica) y σii = σi2 (los elementos en la diagonal principal de ΣY corresponden a las varianzas de las variables Yi ). Por tanto podemos escribir la matriz de varianzas ..

entonces V ar[AY ] = σ 2 AA′ v. Si A es idempotente y de rango p. Modelo de Regresión Lineal Múltiple (MRLM) Considere el caso en el cual se desea modelar la variabilidad total de una variable respuesta de interés.1. entonces la forma cuadrática U = X ′ AX y W son independientes si BV A = 0 Nota: Si V = σ 2 I. cada variable predictora aporta información independiente de las demás predictoras presentes en el modelo (hasta cierto grado. Y . y U una forma cuadrática definida por: U = X ′ AX. Sea V = σ 2 I. Suponemos en principio que las variables pre- dictoras o explicatorias guardan poca asociación lineal entre sı́. entonces U y W son independientes si BA = 0 iv. entonces: i. lo cual es una suposición tı́pica. λ = µ′ Aµ. entonces U ∼ χ2p . Si AV o V A es una matriz idempotente de rango p. λ = µ′ Aµ/σ 2 . X ∼ Nn (µ . entonces U y V son independientes si AB = 0 1. λ donde. con media µ y matriz de varianzas-covarianzas No-Singular V . V ar[AY + b] = AΣY A′ . V ). 1. V ar[b′ Y ] = b′ ΣY b iv. Sea B una matriz k × k y V = X ′ V X. X un vector aleatorio normal multivariado k × 1.6 CAPÍTULO 1. λ σ2 donde. Algunos Resultados de Teorı́a de Distribuciones Sean A una matriz k × k de constantes. iii. ii. entonces U ∼ χ2p . Sea B una matriz q × k y W la forma lineal definida por: W = BX. El caso anterior es la generalización de los MRL vistos hasta el momento y se presenta cuando el modelo utilizado para estudiar la relación entre una variable respuesta de interés. Una matriz singular no tiene matriz inversa. formuladas simultáneamente en un único modelo. MODELO DE REGRESIÓN LINEAL MÚLTIPLE iii.2. y K- . Nota: Si ΣY = σ 2 I. V ar[AY ] = AΣY A′ . entonces las dos formas cuadráticas U y V son independientes si AV B = 0 Nota: Si V = σ 2 I. Nota: Si ΣY = σ 2 I. entonces V ar[AY + b] = σ 2 AA′ Matriz Singular: Matriz cuadrada cuyo determinante es igual a cero. es decir. en función de relaciones lineales con dos o más variables predictoras o explicatorias. la información aportada por cada una no es redundante). es decir.2.

independientemente de la forma de la superficie que genere. 2. Se supone que los términos del error εi ’s del modelo tienen distribución normal con media 0 y varianza constante. y se denomina Modelo de Regresión Lineal Múltiple (MRLM) con k variables regresoras o predictoras. Xk ) = β0 + β1 X1 + β2 X2 + · · · + βk Xk (1. . esta dado de la siguiente forma: Y = β0 + β1 X1 + β2 X2 + · · · + βk Xk + ε (1. . . NOTA 1: Todo modelo de regresión que es lineal en los parámetros (es decir en los βj ´s) es un MRL.4) Este modelo es de primer orden ya que no se presentan efectos de interacción entre las variables predictoras o explicatorias. llamado superficie de re- gresión o superficie de respuesta. . se tiene que: Yi |Xi1 . .5) la cual representa un hiperplano en un espacio de dimensión k+1. . Xik ∼ N (β0 + β1 Xi1 + β2 Xi2 + · · · + βk Xik . Similar al modelo de regresión lineal simple. βk . . . σ 2 ) e independientes. X2 . Por ejemplo: El modelo de tercer orden (o modelo polinómico cúbico): y= β0 + β1 x + β2 x2 + β3 x3 + ε .2. . bajo la condición que todas las variables regresoras son fijas (controlas por el analista) se establece que la respuesta media está dada por: E(Y |X1 . β1 . · · · . .1. En el Modelo anterior se tiene los siguiente: El término (o expresión) lineal se refiere a que el MRLM es una función lineal de los parámetros desconocidos β0 . βk . . Lo anterior no hace referencia a la forma de la superficie de respuesta. β1 . · · · . independencia y varianza constante de los errores. . se les denomina coeficientes de regresión o parámetros del modelo. Estadı́sticamente. se les llama con frecuencia Coeficientes de regresión parcial. MODELO DE REGRESIÓN LINEAL MÚLTIPLE (MRLM) 7 variables regresoras (o predictoras o independientes) X1 . k representa. . cuando todas las demas variables regresoras Xk ´s con (k 6= j) se mantienen constantes. εi ∼ N (0. σ 2 ).3) o equivalentemente yi = β0 + β1 xi1 + β2 xi2 + · · · + βk xik + εi (1. A β0 . Xk . X2 . es decir. bajo los supuestos de normalidad. el cambio esperado en la respuesta Y . βj : j = 1. . . por un cambio unitario en Xj . Por ésta razón a los parámetros βj . Xi2 . .

.. . Forma Matricial del MRLM Suponga una muestra aleatoria de n observaciones del modelo lineal (Yi = β0 + β1 Xi1 + β2 Xi2 + · · · + βk Xik + εi ). n yn xn1 xn2 . .2. . . . NOTA 2: Los modelos de RLM se usan con frecuencia como Modelos Empı́ricos..4). Xk desconocida.. . de la siguiente manera: Observación Respuesta Regresores Residuales 1 y1 x11 x12 . Del MRLM dado en la ecuación (1. . x3 = x1 x2 se obtiene: y= β0 + β1 x1 + β2 x2 + β3 x3 + ε el cual tambien es un MRLM con k = 3 regresores. . y x3 = x3 se obtiene: y= β0 + β1 x1 + β2 x2 + β3 x3 + ε el cual es un MRLM. . . x2 = x2 . (1.. 1. ya que haciendo x1 = x.8 CAPÍTULO 1. ǫi es el i-esimo residual.. MODELO DE REGRESIÓN LINEAL MÚLTIPLE es un MRLM. x1k ǫ1 2 y2 x21 x22 .. ó co- mo funciones de aproximación.1. . .. x2 = x2 . xnk ǫn en donde yi es la i-esima observación de la variable respuesta. x2k ǫ2 .. ya que haciendo x1 = x1 ..6) .. El modelo con efecto de interaccion: y = β0 + β1 x1 + β2 x2 + β12 x1 x2 + ε también es un MRLM. NOTA: Recuerdar que un residual es una realización del componente de error aleatorio de los modelos de regresión lineal múltiple. xij es la i-esima observación o nivel i-esimo del j-esimo regresor Xj . pues dentro de ciertos márgenes de las variables regresoras el MRLM es una aproximación adecuada a la función de asociación real entre Y y X1 . . . . se tiene que . X2 . donde los Yi y las Xij toman valores conocidos en cada caso... con n > k (k es el número de covariables del MRLM). en realidad se tiene un sistema de n ecuaciones con k +1 incógnitas (intercepto y los k coeficientes de regresión). . . . . . . .

Xn son fijas.     . . · · · . NOTA: El uso del álgebra matricial es la clave para el procedimiento de estimación por mı́nimos cuadrados. ǫ: Es el vector de terminos de errores aleatorio. son contantes que pueden ser controladas por el analisis de los datos. . con los valores de las variables predictoras o explicatorias en cada observación.  yn βk 1 ↓ ↓ ↓ nxp     nx1 px1 ǫn nx1 (1. se supone que las variables regresoras X1 .. x1 . ǫ= . 2 Y = . es decir. yn = β0 + β1 xn1 + β2 xn2 + · · · + βk xnk + ǫn en donde se supone que los terminos de error ǫ′i s del modelo tienen media cero y varianza con- stante σ 2 .    . X=  . Notación Matricial del MRLM: Si definimos los siguientes vectores y matrices:          ǫ1   y1   β0      y2   β1  1 ↑ ↑ ↑ ǫ   .8) donde Y : Es el vector de respuestas...     . se puede deducir que el MRLM dado en la ecuación (1.9) Por lo tanto. β= .. MODELO DE REGRESIÓN LINEAL MÚLTIPLE (MRLM) 9 y1 = β0 + β1 x11 + β2 x12 + · · · + βk x1k + ǫ1 y2 = β0 + β1 x21 + β2 x22 + · · · + βk x2k + ǫ2 .1. β: Es el vector de parámetros. el vector aleatorio Y tiene valor esperado Xβ y la misma matriz de varianzas covarianzas de ǫ. además.covarianzas σ 2 I.7) con p = k + 1... . X: Es la matriz de diseño. X2 . . ǫ tiene distribución normal multivariada cuya media es un vector de ceros y matriz de varianzas ..2.4) se puede escribir de la siguiente forma matricial: Y = Xβ + ǫ (1. σ2 I) (1. xk  . es decir: ǫ ∼ Nn (0.

Cuadrados se pro- Ahora. cede de la siguiente forma. MODELO DE REGRESIÓN LINEAL MÚLTIPLE 1. βk ) = ǫ2i = ǫ′ ǫ i=1 en donde ǫ.7). para hallar el vector de parámetros estimados β.2 ). La ecuación de Mı́nimos Cuadrados está dada por: n X S(β) = S(β0 . se obtiene los siguientes resultados: .10 CAPÍTULO 1. luego. · · · . esta dado en (1.2.1. β1 .2.10) de donde derivando vectorialmente con respecto a β ( sección 2. Estimación de los coeficientes de regresión por mı́nimos cuadrados b mediante Mı́nimos . se tiene que S(β) = ǫ′ ǫ = (Y − Xβ)′ (Y − Xβ) = Y ′ Y − β ′ X ′ Y − Y ′ Xβ + β ′ X ′ Xβ (1.

∂S(β) .

b .

11) ∂β . = −2X ′ Y + 2X ′ X β (1.

si los regresores Xj ´s son linealmente independientes (L. Los elementos de X ′ Y son las sumas de los productos cruzados de los elementos de las columnas de X con los elementos de Y .12) y por tanto el vector estimado mediante minimos cuadrados es: b = (X ′ X)−1 X ′ Y β (1. β1 . · · · . es decir.βb y al igualar a cero se tiene que b = X ′Y X ′X β (1. Los elementos de la diagonal de X ′ X son las sumas de cuadrados de los elementos de las columnas de X. βk ) = ε2i i=1 X = (yi − E[yi ])2 n X k X = (yi − β0 − βj xij )2 (1.14) i=1 j=1 . Otra forma de hallar los estimadores Mı́nimo-Cuadráticos de los βj ’s es la siguiente: n X S(β0 . si ninguna columna de X es una combinacion lineal de las demás columnas.I). Los elementos fuera de la diagonal de X ′ X son las suma de los productos cruzados de los elementos de las columnas de X.13) Algunas Observaciones: (X ′ X)−1 : siempre existe.

.... βk . evaluando en cada βbj e igualando a cero y resolviendo el sistema resultante ′ para los βbj s   .2.1. MODELO DE REGRESIÓN LINEAL MÚLTIPLE (MRLM) 11 se debe minimizar la funcion S con respecto a β0 . β1 . hallando la derivada parcial de S con respecto a cada βj .

n X k X ∂S .

.

= −2 yi − βb0 − βbj xij  = 0 (1.15) ∂β0 .

βck i=1 j=1 y   . βc1 .βc0 . ··· .

n X k X ∂S .

.

yi − βb0 − = −2 βbj xij  xij = 0 para j = 1.16) ∂βj . · · · . k (1. 2.

n X n X n X n X n X βb0 xik + βb1 xik xi1 + βb2 xik xi2 + · · · + βbk x2ik = xik yi (1.2.13 ) b = (X ′ X)−1 X ′ Y β 1. se puede escribir de la siguiente forma: yi = β0 + β1 xi1 + β2 xi2 + · · · + βk xik + εi o equivalentemente k X yi = β0 + βj xij + εi .18) de donde el vector de estimadores mı́nimo cuadráticos esta dado por: ( ver 1. . βb1 .19) . 2.βc0 .17) i=1 i=1 i=1 i=1 i=1 La solución de este sistema de ecuaciones normales son los estimadores mı́nimo cuadráticos βb0 . MRLM Ajustado o Función de Regresión Lineal Ajustada El MRLM dado en la ecuación (1. n i=1 y la función de regresión ajustada esta dada por: Yb = βb0 + βb1 x1 + βb2 x2 + · · · + βbk xk (1. · · · . ··· . · · · . βc1 .3. para i = 1. Pero estas ecuaciones son equivalentes a: b = X ′X X ′X β (1. β ck . n X n X n X n X nβb0 + βb1 xi1 + βb2 xi2 + · · · + βbk xik = yi i=1 i=1 i=1 i=1 n X n X n X n X Xn βb0 xi1 + βb1 x2i1 + βb2 xi1 xi2 + · · · + βbk xi1 xik = xi1 yi i=1 i=1 i=1 i=1 i=1 .4).. βck i=1 j=1 al simplificar las ecuaciones anteriores se obtienen las siguientes ecuaciones normales de mı́nimos cuadrados.

 Ybn n×1 Los residuales corresponden a εi = Yi − Ybi . conocida como la matriz hat o matriz sombrero. 2. n (1. el vector de valores ajustados Yb que corresponden a los valores observados ybi′ s esta dado por:   Yb1 b   Y2  b b Y = Xβ =   (1. la cual es una matriz n × n de proyección ortogonal y por tanto es idempotente (H 2 = H) y simétrica (H ′ = H )..21)  .23) El vector de residuales (εi = yi − ybi ) se puede escribir en notacion matricial de la siguiente forma: ǫ=Y − Yb = Y − X βb = Y − X(X ′ X)−1 X ′ Y = Y − HY = (I − H)Y (1.   .24) . ası́: [] = X βb Yb = E[Y = X(X ′ X)−1 X ′ Y = HY (1.  (1. ǫn n×1 El vector de valores ajustados y el vector de residuales pueden ser también expresados en térmi- nos de la matriz H = X(X ′ X)−1 X ′ .. · · · .22) .20) Por lo tanto. MODELO DE REGRESIÓN LINEAL MÚLTIPLE o equivalentemente ybi = βb0 + βb1 xi1 + βb2 xi2 + · · · + βbk xik para i = 1. Por lo tanto.12 CAPÍTULO 1. el vector de residuales es:   ǫ1    ǫ2  ǫ = Y − Yb =    .

tiene varianza mı́nima entre todos los estimadores insesgados de β. · · · .27)  . 1.  c0k c1k · · · ckk p×p b = σ 2 (X ′ X)−1 = σ 2 C luego se tiene que como Cov(β)   c00 c01 · · · c0k    c c11 · · · c1k  b = σ 2 C = σ 2  01 Cov(β)  (1. Propiedades de los βc ′ js b = (X ′ X)−1 X ′ Y es insesgado para β. E[β] i. es decir. ··· . . en el sentido de que. PROPIEDADES DE LOS βd JS ′ 13 y su varianza esta dada por: V ar(ǫ) = V ar[(I − H)Y ] = (I − H)V ar(Y )(I − H)′ = (I − H)σ 2 I(I − H)′ = σ 2 (I − H)2 = σ 2 (I − H) (1. Por lo tanto. La matriz de varianzas-covarianzas de β b esta dada por.26)  .28) con cjj j-esimo elemento de la diagonal de C y cij es el i-esima elemento de la columna j-esima de C. en donde los cij son los elementos de la matriz (X X) ′ −1 Con   c00 c01 · · · c0k   c01 c11 · · · c1k  C = (X X) ′ −1 =  . Cov(β) b = σ 2 (X ′ X)−1 = σ 2 [cij ]..1.25) ya que (I − H) es simétrica .3.3. y por fuera de su diagonal principal a las covarianzas entre estimadores (Cov[βbi .   (1. β b = (X ′ X)−1 X ′ Y .idempotente. . ··· . βbj ) = σ 2 .   .. iii.. k (1. 2. 1. j = 0. . . β b =β b s el mejor estimador lineal-insesgado de β...  c0k c1k · · · ckk de donde V ar(βbj ) = σ 2 cjj y Cov(βbi .. βbj ]). la matriz de varianzas-covarianzas de β b es simétrica y tiene sobre su diagonal principal las varianzas de los estimadores de los parámetros (V ar(βbj )). . .cij para i. β ii. .

Ejemplo: Para el MRLS.33) nSxx Sxx 1.I = Aσ 2 . es decir. y por fuera de su diagonal principal las estimaciones de las covarianzas \ entre estimadores (Cov[βbi . Este parámetro representa la respuesta media de Y cuando en el conjunto de observaciones se incluye la coordenada (X1 . Interpretación de los coeficientes de regresión en el modelo lineal gen- eral Para una correcta interpretación de un MRLM se debe tener claro el significado los parámetros que se van estimar (puntual o por intervalo). X2 .14 CAPÍTULO 1. . βbj ]). para k = 1 ( o P = k + 1 = 2 ). .1. . Y = β0 + β1 X + ǫ se tiene lo siguiente: P #" " P P # n x 1 x2i − xi ′ XX= P P 2i ⇒ ′ (X X) −1 = P (1.29) b = M SE(X ′ X)−1 . A continuación se explicarán cada uno de estos: β0 : Por definición es es intercepto del vector aleatorio Y en la superficie de regresión o superficie respuesta.31) nSxx n Sxx σ2 V ar(βb1 ) = (1. Los elementos en la diagonal Una estimación de la anterior matriz es S 2 (β) principal corresponden a las estimaciones de las varianzas de los respectivos estimadores de los \ parámetros (V ar(βbj )). x2i 2 1 x̄2 V ar(β0 ) = =σ + ya que x2i = Sxx + nx̄2 (1.AA′ = σ 2 (X ′ X)−1 X ′ X(X ′ X)−1 = σ 2 (X ′ X)−1 (1. . .30) xi xi nSxx − xi n luego P   X b σ 2 . . MODELO DE REGRESIÓN LINEAL MÚLTIPLE b = σ 2 (X ′ X)−1 se procede de la siguiente forma: Para demostrar que V ar(β) b = V ar[(X ′ X)−1 X ′ Y ] V ar(β) = V ar(AY ) con A = (X ′ X)−1 X ′ = AV ar(Y )A′ con V ar(Y ) = σ 2 . .IA′ = σ 2 . 0. Xk ) = (0. βb1 ) = − =− (1.32) Sxx y 2 P σ xi σ 2 x̄ Cov(βb0 . de lo contrario si tal coordenada no es observada.3. 0) . . entonces β0 no será interpretable. .

es decir. Estimación de la varianza Bajo los supuestos de independencia y distribución N (0. . . 1.3. por tal motivo. el estimador insesgado de la varianza corresponde a: SSE σ̂ 2 = M SE = n−k−1 donde la suma de cuadrados del error SSE corresponde a: n X n X SSE = ǫ2i = (yi − ŷi )2 = (Y − Ŷ )′ (Y − Ŷ ) = ǫ′ ǫ = Y ′ (I − H)Y i=1 i=1 NOTA: Ver la primera nota en la prueba de carencia de ajuste del capitulo anterior. .3. 2. Análisis de varianza en RLM Este enfoque consiste en la descomposición de la variabilidad total observada en la variable respuesta (SST). . es medida en términos de las desviaciones de cada observación yi respecto a su media muestral ȳ. ası́: n X SST = (yi − ȳ)2 i=1 Empleando el procedimiento de descomposición visto en el capı́tulo anterior.1. cuando las demás predictoras permanecen constantes (sin importar en qué nivel son fijadas estas últimas). La medida de la variabilidad total en Y.3. De manera similar a los MRLS. se puede obtener la Identidad fundamental del análisis de varianza: SST = SSR + SSE n X Donde SSR = yi − ȳ)2 se conoce como la Suma de cuadrados de regresión y mide (b i=1 la cantidad de variabilidad en las yi que es explicada por la recta de regresión ajustada y Xn SSE = (yi − ybi )2 es la conocida suma de cuadrados de residuales. . k refleja el efecto parcial de una variable predictora sobre la respuesta media en presencia de las demás predictoras que aparecen en el modelo. 2. k indican el cambio en la respuesta media de Y por unidad de incremento en la j-ésima covariable Xj . como la suma de componentes o fuentes de variabilidad de acuerdo al mod- elo lineal general propuesto. denotada SST . 1. tales efectos son denominados efectos aditivos. PROPIEDADES DE LOS βd JS ′ 15 βj : Los parámetros βj con j = 1. cada βj con j = 1.2. en los MRLM se plantea que la respuesta es igual a la suma de una componente debida al modelo general de regresión (con k covariables) y otra debida a un error aleatorio.3. son también llamados coeficientes de regresión parcial. . . . NOTA: Como los efectos de una predictora sobre la respuesta media no dependen del nivel de las demás. i=1 . σ 2 ) idéntica para todos los errores del modelo.

Por ejemplo. ası́: SSR SSE R2 = =1− SST SST R2 se interpreta como la proporción de la variabilidad total observada en la variable respuesta que es explicada por el modelo de regresión con k variables predictoras ajustado. valores cercanos a cero indican una pobre relación lineal entre estas. . n−k−1 SSE Residual o Error: E SSE n-k-1 ( o n-p) n−k−1 Total SST n-1 1. no necesariamente garantiza que los supuestos básicos del modelo lineal se estén cumpliendo y menos que no haya carencia de ajuste lineal. En el caso estrictamente opuesto R2 = 0. Cuando todos los datos se encuentran sobre la superficie de regresión estimada. Observaciones y recomendaciones sobre R2 Un R2 cercano a uno no garantiza que el modelo de RLS ajustado sea adecuado para los datos.35) ′ b X ′ Y − nȲ 2 SSR = β (1.4. cuando el ajuste es perfecto. y.16 CAPÍTULO 1. Coeficiente de Determinación Múltiple y R2 -Ajustado El Coeficiente de Determinación Múltiple es una cantidad denotada R2 que ha sido utilizada erróneamente como medida de bondad del ajuste del modelo lineal general sobre los datos.34) ′ b X ′Y SSE = Y ′ Y − β (1. De lo anterior se deduce que el R2 es una medida que se encuentra entre 0 y 1 (0 ≤ R2 ≤ 1).36) La construcción de la tabla ANOVA se hace de forma similar a la vista en el capı́tulo anterior Tabla Anova: Fuentes de variacion SS gℓ MS F SSR M SR Regresion: R SSR k ( o p+1) k Fcal = M SE ∼ Fk. la suma de cuadrados de residuos. es decir. puede suceder que se hayan observado pocos niveles de las variables predictoras o explicatorias y por tanto la superficie ajustada no serı́a útil para hacer extrapolaciones por fuera de tales rangos. SSE . Se define como la razón entre la suma de cuadrados de la regresión y la suma de cuadrados totales. Lo anterior implica que valores cercanos a 1 indican una mayor asociación lineal entre las k covariables e Y. MODELO DE REGRESIÓN LINEAL MÚLTIPLE Las sumas de cuadrados estan dadas en forma matricial de la siguiente forma: SST = Y ′ Y − nȲ 2 (1. toma el valor cero y por lo tanto R2 = 1.

si se reduce M SE. Como medida de bondad de ajuste se prefiere usar otros estadı́sticos que penalicen al modelo por el número de variables incluidas. k El estadı́stico de prueba utilizado en este caso esta dado por (Ver tabla ANOVA):   SSR p−1 Fo =  SSE  = M SR ∼ Bajo H0 fp−1 (1. Prueba de Significancia de la Regresión Se utiliza para determinar si existe una relación lineal significativa entre la respuesta Y y alguna de las variables regresoras Xj′ s. . La hipótesis a probar es: ( H0 : β1 = β2 = · · · = βk = 0 (1. Tambien se le llama prueba de significancia general de la adecuación del modelo.37) n−1 M ST NOTAS: 2 RAdj : sólo aumenta al agregar una variable al modelo. INFERENCIAS SOBRE LOS PARÁMETROS βJ DEL MODELO DE REGRESIÓN 17 EL R2 es una medida no decreciente aún cuando existan dentro del modelo un subconjunto de variables que no aportan significativamente en la explicación de la variabilidad de Y. es decir.5. si y solo si: . 1. n−p M SE n−p El criterio de decisión es el siguiente: Se rechaza H0 con un nivel de significancia α.5. y el R2 ajustado (estas dos medidas son equivalentes). además tambien se utiliza para evaluar y comparar los posibles modelos de regresión. .38) H1 : ∃ Algún βj 6= 0 para j = 1. El R2 ajustado se define ası́: SSE n−p M SE RAdj = 1 − SST =1− (1. entre ellos se tienen el MSE.1. si la adición de dicha variable reduce el cuadrado-medio-residual. De lo anterior se puede deducir que entre más variables explicatorias se agreguen al modelo. .1. 1. máyor será el valor de esta medida. 2 RAdj : penaliza la adición de términos al modelo que no son útiles. . Inferencias sobre los parámetros βj del modelo de regresión NOTA: Para realizar pruebas de hipótesis o calcular intervalos de confianza para los coeficientes de regresión se debe supone que la distribución condicional de Yi dado los Xi′ s es normal con media dada por E[Yi ] = β0 + β1 Xi1 + · · · + βk Xik y varianza σ 2 .39) .5. Entre dos modelos ajustados se considera mejor el de menor MSE o equivalentemente el de mayor R2 ajustado.

2. Ahora nuestra labor consiste en determinar si el ingreso de una variable regresora adicional en el modelo implica un aumento suficiente de la SSR. n−k−1 El valor p es menor que el nivel de significancia de la prueba. es decir. La hipótesis a probar es: ( H0 : βj = 0 (1. Xk contribuye en forma significativa al modelo de regresión. si y solo si: |t0 | > tα/2. si: V p = P (fp−1 . X2 .5. disminuye la cantidad que no es explicada por este. k .40) H1 βj 6= 0 El estadı́stico de prueba utilizado en este caso esta dado por (Ver tabla de parámetros estimados): t0 = βbj =q βbj =q βbj =q βbj ∼ Bajo H0 tn−p (1. De conceptos vistos previamente se puede deducir que por cada covariable ingresada al modelo lineal general. Pruebas Sobre Coeficientes Individuales de Regresión Una vez determinado que al menos una de las variables regresoras es importante. El criterio de decisión es el siguiente: Se rechaza H0 con un nivel de significancia α. la suma de cuadrados de la regresión aumenta.cjj donde cjj : es el j-esimo elemento de la diagonal de (X ′ X)−1 . o equivalentemente.e(βbj ) V ar(βbj ) σ̂ 2 . MODELO DE REGRESIÓN LINEAL MÚLTIPLE Fo > Fcrı́tico = fα . es decir.n−2 El valor p es menor que el nivel de significancia de la prueba.cjj MSE . · · · . 1. la pregunta lógica es: ¿Cuales son las variables que realmente sirven? De la identidad fundamental del análisis de varianza tenemos que si hay un aumento en la can- tidad de la variabilidad total en Y que es explicada por un modelo de regresión.18 CAPÍTULO 1.41) \ \ e. n−p o equivalentemente fα . y la suma de cuadrados residuales disminuye. NOTA: El rechazar H0 no garantiza que el modelo resulte válido para hacer inferencia. si: V p = P (tn−2 > |t0 |) < α . p−1 . n−p > Fo ) < α Inferencia: El rechazar H0 implica que al menos uno de los regresores X1 . al menos una de la variables regresoras Xj′ s contribuye en forma significativa en la explicación de la variable respuesta Y .

Al realizar la partición enunciada sobre el vector de coeficientes de regresión para hacer inferencia de un subconjunto de covariables de interés se está evaluando la relevancia de la información contenida en estas. el MRLM se puede escribir de la siguiente forma: Y = Xβ + ǫ = X1 β 1 + X2 β 2 + ǫ (1. se trata de investigar la contribución de un subconjunto (uno o más) de variables regresoras en el MRLM..42) en donde    β1 " # . 1.44) | n×p con         X1 =   y X2 =   (1... INFERENCIAS SOBRE LOS PARÁMETROS βJ DEL MODELO DE REGRESIÓN 19 Inferencia: Si H0 : βj = 0 no se rechaza. Si H0 : βj = 0 se rechaza. dado que otros regresores ya están en el modelo. es decir. Lo anterior involucrarı́a una partición de la matriz de diseño original de la siguiente manera: Sea   |   X = X1 | X2  (1.1.5. se tiene que βj 6= 0.46) . (1. β = − − − con β1 = . y  β 2 = .5.3. quiere decir que se puede eliminar el regresor Xj del modelo.43) .   β0 . Notación: El MRLM en forma matricial se puede escribrir de la siguiente forma Y = Xβ + ǫ (1.45) n×(p−r) n×r X1 tiene las columnas de X asociadas al vector β 1 y X2 tiene las columnas de X asociadas al vector β 2 . Pruebas de Hipótesis sobre Subconjuntos de Coeficientes βj ´s En el caso de pruebas de hipótesis sobre subconjuntos de coeficientes βj ´s. ya estan en el modelo. Con la notación anterior. β2 (p−r)×1 r×1 En β 1 estarán los coeficientes de las variables que se consideran presentes en el modelo y en β 2 estará el subconjunto de coeficientes de las variables a evaluar. . la variable Xj contribuye en forma significativa al modelo dado que las demás variables regresoras Xi′ s. para i 6= j.

se concluye que al menos uno de los coeficientes (ó parámetros) en β 2 es distinto de cero y en consecuencia que al menos una de las variables asociadas a β 2 contribuyen en forma significativa al MRLM.48) para el cual se hallan sus respectivas sumas cuadraticas SSE(M R). si β 2 = 0 es cierta se tiene el siguiente modelo de regresión lineal reducido (MR) Y = X1 β 1 + ǫ (1. y mide el aumento de la SSR (o la disminución de la SSE) debido a agregar los regresores asociados a β 2 a un MRL que ya tenı́a los regresores asociados a β 1 .20 CAPÍTULO 1. Bajo H0 . MODELO DE REGRESIÓN LINEAL MÚLTIPLE Ahora se trata de determinar si el grupo o el subconjunto de variables asociados al vector β 2 contribuye en forma significativa al MRLM.47)   H : β 6= 0 1 2 si rechazamos H0 . al agregar variables a este modelo se cumple lo siguiente: SSE dis- minuye y SSR aumenta. NOTA: SST (M C) = SST (M R). . o bien. SSR(M R) y SST (M R). se ajusta el modelo reducido (MR) y se utiliza el método de suma extra de cuadrados.49) y la cantidad que aumenta SSR (o que disminuye SSE) es lo que se llama suma extra de cuadrados y esta dada por: ( SSE(M R) − SSE(M C) SSR(β 2 |β 1 ) = (1. es decir que: SSR(M C) > SSR(M R) SSE(M C) < SSE(M R) (1.50) SSR(M C) − SSR(M R) Ésta suma de cuadrados de cuadrados. es una medida del incre- mento marginal en el SSR cuando una o más predictoras son agregadas al modelo de regresión (Neter. Para determinar la contribución de las variables regresoras asociadas a β 2 al MRL. Tambı́en se puede decir que mide la contribución de los regresores asociados a β 2 a un MRL que ya tenı́a los regresores asociados a β 1 . SSR(β 2 |β 1 ) tiene asociados r-grados de libertad. Dado el modelo reducido. El SST siempre es constante sin importar el numero de variables regresoras consideradas en el MRLM.1996). es decir. se desea probar la hipótesis:    H0 : β 2 = 0 (1. es decir. dado que las otras predictoras ya fueron agregadas o están en el modelo. NOTA: Una suma de cuadrados extra mide la reducción marginal en el SSE cuando una o varias variables predictoras o explicatorias son agregadas al modelo de regresión.

. . . Por lo tanto. . debido al ingreso del regresor Xj al modelo que ya tenia los demás regresores. . . . llegamos a lo siguiente: Prueba de Hipótesis: H0 : βj = 0 H1 : βj 6= 0 Estadı́stico de Prueba: Fcal = SSR(βj |β0 β1 β2 . . βj+1 . βk ) (1. . . Una forma particular de descomposición que puede obtenerse con los paquetes estadı́sticos. βj+1 . 2. . esta dada por:   Fcal = SSR(β 2 |β 1 ) /r ∼ Bajo H0 fr. Prueba de la significancia de coeficientes de regresión individual mediante sumas de cuadrados extras Si se especifica el modelo de la siguiente manera Y = β0 +β1 X1 +β2 X2 .5. . . . β2 . . . +βk Xk +ε. . .n−p (1. .47). . .53). . Lo anterior implica que las dos pruebas son equivalentes. βk ) ∼ Bajo H0 f1. Xj+1 . . βj−1 .52) es el aumento de la SSR (o la disminución de la SSE). . mide sı́ la contribución de los regresores asociados a β 2 es o no es signi- ficativa al agregarlos al MRL que ya tenı́a los regresores de β 1 . que son sumas de cuadrados extras de 1 grado de libertad. se pueden hacer pruebas indidivuales de significancia sobre los coeficientes de regresión empleando sumas de cuadrados extras si el subconjunto de coeficientes de variables a evaluar esta conformado por una única covariable. . . .n−p (1. . . es decir. en la cual cada variable explicatoria es agregada secuencialmente (se . Xk .1. X2 . β1 . . Reemplazando β 2 por βj y β 1 por β0 . βj−1 . βk y r = 1 (ya que el número de variables por entrar al modelo es una). Donde: SSR(βj |β0 β1 β2 .51) M SE(M C) Esta prueba F -parcial. si β 2 = βj donde j = 1. . . βj+1 . . X1 . .47) y el estadı́stico de prueba será el vis- to en (1. . la prueba de hipótesis sobre la significancia individual de los coeficientes de regresión mediante sumas de cuadrados extras estará dada por (1. . . INFERENCIAS SOBRE LOS PARÁMETROS βJ DEL MODELO DE REGRESIÓN 21 El estadı́stico de prueba utilizado para la hipótesis dada en (1. Ésta prueba también se utiliza para seleccionar el mejor subconjunto de regresores que se debe usar en el MRL definitivo o final. son las sumas de cuadrados de regresión secuenciales o SS1. k.53) M SE(M C) NOTA: Se puede mostrar que el estadı́stico F parcial de las pruebas individuales de significan- cia de los coeficientes de regresión mediante sumas extras de cuadrados es igual al cuadrado del estadı́stico t de la pruebas de significancia de las pendientes de las rectas de regresión individ- uales. . βj−1. Xj−1 . . .

55) y en este caso la tabla anova se puede escribir como sigue Fuentes de variacion SS gℓ MS F M SR Regresión: R SSR 3 M SR Fcal = M SE ∼ f3.22 CAPÍTULO 1. En este caso..βk−1 ) (1. Para el ejemplo es: Y = β0 + β3 X3 + β4 X4 + ε. MODELO DE REGRESIÓN LINEAL MÚLTIPLE realizan adiciones de términos al modelo uno por uno). según el orden en que son nombradas en el modelo de regresión completo.. es decir. .n−4 E SSE n−4 MSE T otal SST n−1 Consideremos ahora el caso en el cual se desea probar simultáneamente la significancia de 2 o más coeficientes de la regresión.n−4 M SR(x3 |x1 x2 ) x3 |x1 x2 SSR(x3 |x1 x2 ) 1 M SR(x3 |x1 x2 ) Fcal = M SE ∼ f1.n−4 M SR(x2 |x1 ) x2 |x1 SSR(x2 |x1 ) 1 M SR(x2 |x1 ) Fcal = M SE ∼ f1. aquel al cual se reduce el modelo completo eliminando las variables explicatorias sobre las cuales se realiza esta prueba. x2 . + SSR(βk |β0 β1 β2 . . se desea probar lo siguiente: H0 : β1 = β2 = β5 = 0 H1 : Alguno entre β1 . El modelo nulo: es decir. Suponga que se desea probar si las variables X1 . Ejemplo: Sea Y = β0 + β1 X1 + β2 X2 + β3 X3 + β4 X4 + β5 X5 + ε el modelo bajo estudio. para el ejemplo es: Y = β0 + β1 X1 + β2 X2 + β3 X3 + β4 X4 + β5 X5 + ε.54) Por ejemplo para k=3 SSR(x1 . x3 ) = SSR(x1 ) + SSR(x2 |x1 ) + SSR(x3 |x1 x2 ) (1. X2 y X5 pueden ser eliminadas del modelo. . β2 y β5 es 6= 0 NOTA: Recuerde que para las pruebas de hipótesis sobre subconjuntos de coeficientes se re- quiere la formulación de dos modelos: El modelo completo. se puede verificar que la SSR(M C) se puede descomponer como una suma extra de cuadrados de la siguiente forma: SSR(M F ) = SSR(β1 |β0 ) + SSR(β2 |β0 β1 ) + SSR(β3 |β0 β1 β2 ) + .n−4 M SR(x1 ) x1 SSR(x1 ) 1 M SR(x1 ) Fcal = M SE ∼ f1.

X5 |X3 . X2 . X4 . dividida por sus grados de libertad.X3 .X4 )]/3 Fcal = M SE(X1 . βk ]′px1 . el vector de parámetros del modelo de regresión lineal múltiple con k variables explicatorias.X5 )]/3 Fcal = M SE(X1 . dada las demás variables del modelo. X ) ∼ f3. X2 . X2 . X3 . β1 . . X2 . el estadı́stico de la prueba es simplemente la suma de cuadrados extra de regresión de las variables cuya significancia se prueba.n−6 NOTA: Recuerde que: Se puede apreciar que los grados de libertad de la diferencia de dos sumas de cuadrados es igual a la diferencia de los respectivos grados de libertad.X5 ) ó [SSR(X1 . lo cual equivale al número de covariables que se desean ingresar al modelo. X5 ) − SSR(X3 .56) Lo anterior implica que tenemos dos opciones (debemos escoger el criterio sobre el que se tenga información): [SSE(X3 . .X4 .X5 ) (1. X4 )]/3 MSE(X . X4 ) − SSE(X1 . Prueba de Hipótesis Lineal General Sea β = [β0 . X5 |X3 . X4 ) (1.X2 . X5 ) ó SSR(X1 .X3 .X4 .X4 )−SSE(X1 . X .X3 . X .X3 . sobre el cuadrado medio del error del modelo completo. X3 . En este caso r = 3.X5 )−SSR(X3 .57) A un nivel de significancia de α se rechaza la hipótesis nula si: Fcal > fα. modelo que llamaremos el Modelo Completo: Y = β0 + β1 X1 + β2 X2 . .X4 .X2 . . En este caso será: Fcal = [SSR(X 1 . +βk Xk + ε. X5 |X3 .3. 1. X4 . .X2 .6. X4 ) = SSE(X3 . PRUEBA DE HIPÓTESIS LINEAL GENERAL 23 En este caso. . X2 . .1. X4 ) = SSR(X1 .X4 . . .6.X2 . Los cuadrados medios se construyen dividiendo la respectiva suma de cuadrados por sus grados de libertad.n−6 1 2 3 4 5 Pero vimos anteriormente que: SSR(X1 . X .

SSE(M C) ↓ ↓ ↓ (1. | | | | ..64) r (n − p + r) n−p o SSH = SSR(M C) . . .61) El estimador de mı́nimos cuadrados para γ es: b γ = (Z ′ Z)−1 Z ′ Y (1.. . Por lo tanto. Si la hipótesis nula de interés se puede expresar de la siguiente forma: ( H0 : T β = 0 (1. . para calcular los r-coeficientes de regresion como fun- ción de los (p − r) coeficientes restantes de regresión.58) es SSH/r Fcal = ∼ fr . bajo H0 el M R se puede reescribir ası́: yi = γ1 z1 + γ2z2 + . T : es una matriz de constantes de orden m × p.62) El estadı́stico de prueba utilizado para contrastar la hipótesis de (1. Xk ) con n − k − 1 grados de libertad.59) (p−r)×1 en donde     | | | | γ1     Z =  z1 z2 · · · zp−r  y γ =  γ2  (1.63) M SE en donde SSH = SSE(M R) .I). + γp−r zp−r + ǫi (1. SSR(M R) ↓ ↓ ↓ (1. . El M R tiene la siguienta forma: Y n×1 = Zn×(p−r) γ + ǫn×1 (1. n−p (1. .I) ( o r-de las m-ecuaciones de T β = 0 L. . MODELO DE REGRESIÓN LINEAL MÚLTIPLE Para este modelo definimos la suma de cuadrados de regresión como SSR (X1 .60) .58) H1 : T β 6= 0 en donde β : es el vector de parametros p × 1.65) r p p−r . . X2 . n×(p−r) (p−r)×1 son la nueva matriz de diseño y el vector de coeficientes desconocidos bajo H0 . con r de m filas linealmente independientes (L.24 CAPÍTULO 1. X2 . Para probar la hipótesis en cuestión se debe obtener un modelo reducido (M R) utilizando las r-ecuaciones independientes en T β = 0.. Xk ) con k grados de libertad y la suma de cuadrados del error SSE (X1 .

n−p o si V p < α. una sola ecuacion resultante de T β = 0. se tiene lo siguiente: T = [0 1 0 − 1]1×4 ya que   β0  β1    T β = [0 1 0 − 1]   = β1 − β3  β2  β3 y Tβ = 0 ⇔ β1 − β3 = 0 ⇔ β1 = β3 es decir que en este caso se tiene que.66) en donde: γ0 = β0 .6. z1 = x1 + x3 y y z2 = x2 A este M R se le calcula su SSE(M R) y SSR(M R) y luego el estadı́stico de prueba será: SSH/r SSH/1 Fcal = = ∼ f1. la cual es: β1 − β3 = 0. Ejemplo: si k=3.1. γ1 = β1 ( o β3 ). bajo H0 cierto. es decir. . p=4 y = β0 + β1 x1 + β2 x2 + β3 x3 + ǫ y se desea probar por ejemplo: ( H0 : β1 = β3 H1 β1 6= β3 Utilizando la notación con la matriz T .r.67) M SE M SE con SSH = SSE(M R) − SSE(M C) o SSH = SSR(M C) − SSR(M R).n−p (1. se obtiene el siguiente modelo reducido (M R) y = β0 + β1 x1 + β2 x2 + β3 x3 + ǫ = β0 + β1 (x+ x3 ) + β2 x2 + ǫ = γ0 + γ1 z1 + γ2 z2 + ǫ (1. γ2 = β2 . PRUEBA DE HIPÓTESIS LINEAL GENERAL 25 SSH : se llama suma de cuadrados debido a la hipotesis H0 : T β = 0 ( o suma-cuadrática de regresión debido a T β = 0 ). luego de realizar algunas sustituciones adecuadas. luego ( ( ( H0 : T β = 0 H0 : β1 = β3 H0 : β1 − β3 = 0 ⇔ ⇔ H1 T β 6= 0 H1 β1 6= β3 H1 β1 − β3 6= 0 Ahora. El criterio de decisión es: A un nivel de significancia de α se rechaza H0 si Fcal > Fα. m = 1 y r = 1.

n−p ≤q ≤ t α2 . De conceptos vistos previamente se tiene que: h βbj − βj i P −t α 2 .71) bj2 cjj σ despejando se obtiene que h q q i P βbj − t α2 .26 CAPÍTULO 1. Por propiedad de la distribución normal multivariada la distribución marginal de cualquier coeficiente de regresión βbj es normal con media y varianza dados por (Recuerde que los valores observados yi′ s son independientes): E[βbj ] = βj y V ar(βbj ) = σ 2 cjj (1.7. k (1.C ) para los coeficientes de regresion βj ´s es necesario tener entre los supuestos del MRLM que los errores ǫi estan distribuidos normal e independientes con media cero y varianza σ 2 (ǫi ∼ N (0.. es decir. por el TLC se puede verificar que βb − βj qj ∼ tn−p con j = 0.73) q p \ recuerde que DE(βbj ) = σ b2 cjj = M SEcjj Reescribiendo el I. σ 2)) Como el estimador de β es una combinación lineal de los los yi′ s.1.72) Por lo tanto.C para βj se tiene lo siguiente: \ βbj ± t α2 b . por lo tanto βb tiene distribución normal multivariada con vector de b = β y matriz de varianzas y covarianzas.74) . Intervalos de Confianza en MRLM 1. (yi ′ ∼ N (xiβ.68) con A = (X ′ X)−1 X ′ . n−p b2 cjj = 1 − α σ (1. V ar(β) medias dado por. n−p = 1−α (1. E[β] b = σ 2 (X ′ X)−1 . βb = (X ′ X)−1 X ′ Y = AY (1. un intervalo de confianza del (1 − α) %.7. Intervalos de Confianza para los βj′ s Para construir intervalos de confianza ( I.70) b2cjj σ en donde b2 = MSE σ es un estimador de la varianza residual σ 2 . 1. n−p DE(βj ) (1. σ 2)). n−p σc2jj ≤ βj ≤ βbj + t α2 . para el coficiente βj esta dado por: q b βj ± t 2 ...69) donde cjj es el j-esimo elemento de la diagonal de la matriz (X ′ X)−1 . MODELO DE REGRESIÓN LINEAL MÚLTIPLE 1. n−p σ α b2 cjj (1. . Bajo este supuesto las observaciones yi′ s tam- P bien tienen distribución normal e independientes con media dada por E[yi ] = β0 + kj=1 βj xij = ′ xi β y varianza σ 2 .