Técnicas de validación estadística Bondad de ajuste

Patricia Kisbye
FaMAF

20 de mayo, 2010

Pruebas de bondad de ajuste

Dado un conjunto de observaciones, ¿de qué distribución provienen o cuál es la distribución que mejor ajusta a los datos? Si se realiza una simulación de datos por computadora, ¿podemos asegurar que responden a la distribución deseada? Para responder a estas preguntas, existen técnicas de validación estadística. Técnica: Prueba de hipótesis: H0 ) Hipótesis nula. Los datos provienen de la distribución F . H1 ) Hipótesis alternativa. Los datos no provienen de la distribución F .

Ejemplo: el porcentaje de desempleados. As.Contraste.Prueba . contrastar hipótesis de homogeneidad. Ejemplo: la efectividad de el medicamento A es mejor que la de B. Córdoba y Rosario? Tablas de contingencia contrastar hipótesis de independencia. Ejemplo: ser varón o mujer. Ejemplo: la media de una población es 30. ¿influye en la preferencia de un producto? . ¿es igual en Bs.Tests de hipótesis Test .. Intervalo de confianza. contrastar los datos con una distribución teórica. comparar dos parámetros. Se utilizan para contrastar el valor de un parámetro. Ejemplo: los datos provienen de una distribución normal.

Fijar un estadístico de prueba T . Tomar la muestra y calcular el estadístico de prueba. . Se rechaza la hipótesis nula. ¿Los datos evidencian que la hipótesis nula es falsa? Sí. con la que se contrastan los datos de la muestra. Fijar el o los valores críticos para el estadístico de prueba. H1 ) Hipótesis alternativa. (valor α). No.Procedimiento en una prueba de hipótesis Plantear H0 ) Hipótesis nula. No se rechaza la hipótesis nula. que delimitan la zona de rechazo.

DC : Decisión correcta. P(EI ) = α. P(EII ) = β. . puede haber errores: Errores H0 verdadera H0 falsa Rechazar H0 EI DC no Rechazar H0 DC EII EI : error de tipo I. EII : error de tipo II.Errores Dado que una prueba de hipótesis se trabaja con muestras.

β: es la probabilidad de equivocarse no rechazando una hipótesis falsa.Probabilidades Probabilidades H0 verdadera H0 falsa Rechazar H0 α 1−β no Rechazar H0 1−α β α: es la probabilidad de equivocarse rechazando una hipótesis correcta. . Control sobre β: aumentar α aumentar el tamaño de la muestra. y puede reducirse tomando muestras grandes. 1 − β: potencia del test. No se calcula fácilmente. Es controlable. Un test deseable debe tener 1 − β > α: la probabilidad de rechazar debería ser mayor cuando H0 es falsa.

Test de Kolmogorov-Smirnov: Es aplicable a distribuciones continuas. Compara las distribuciones acumuladas observadas y esperadas. y Kolmogorov Smirnov para continuas. Test chi-cuadrado (ji-cuadrado): Es aplicable a distribuciones continuas o discretas.Pruebas de bondad de ajuste Aplicación: contrastar los datos con una distribución. . Compara las frecuencias observadas con las frecuencias esperadas. Aconsejable: Utilizar chi-cuadrado para discretas.

T = (fo − fe )2 . fe . fe : frecuencia esperada. Se compara la distribución de las frecuencias de los datos observados con las frecuencias según la distribución teórica supuesta.Test chi-cuadrado No se utilizan los valores de las observaciones sino las frecuencias. fo : frecuencia observada.

Es la frecuencia observada. Se puede elegir y0 = −∞ o yk = ∞. Nj : cantidad de valores que cayeron en [yj−1 . yk ). [y1 . o se tienen n observaciones. . . y2 ). yj ). Y2 . . .a. independientes igualmente distribuidas. Y1 . Yn : Por ejemplo. [yk −1 . . . y1 ).Implementación Se observan n valores de v. . se generan n valores mediante simulación. . Se agrupan los datos en k intervalos adyacentes que cubran el rango de la variable Y : [y0 . Llamamos Y a cualquiera de las Yi . .

Estadístico: T = j=1 k H0 ): Nj = n pj . se calcula valor p = PH0 (T ≥ t) que permite decidir si la hipótesis nula se rechaza o no.p. a ajustar: f ˆ yj pj = yj−1 ˆ(x) dx f o pj = yj−1 ≤xi <yj ˆ p(xi ).Implementación pj : Si ˆ o p son la f. (Nj − npj )2 .m. .p. npj Si t es el valor observado del estadístico. o f.d. npj : es la frecuencia esperada.

Valor p > α ⇒ no se rechaza la hipótesis nula.Valor p Si el nivel de significación del test es α. el estadístico k T = j=1 (Nj − npj )2 npj tiene aproximadamente una distribución χ2 . Valor p próximo a α ⇒ se optimiza el cálculo del valor p: Simulación. . Valor p < α ⇒ se rechaza la hipótesis nula. El valor p está relacionado con los valores críticos y el nivel de significación del test de la siguiente manera: Para valores de n grandes.

Para estimar el valor p.).1−α : k P χ2 −m−1 ≥ χ2 −m−1. k k .1−α = α. el número de grados de libertad es (k − 1) − m.El valor p Si se conocen todos los parámetros de la distribución. Si se estiman m parámetros. etc. puede utilizarse valor p = PH0 (T ≥ t) ≈ P χ2 −1−m ≥ t k Se toma como punto crítico χ2 −m−1. En algunos casos hace falta estimar parámetros (λ en una Poisson. el número de grados de libertad es k − 1. p en una binomial.

si el valor observado es mayor que el valor crítico. se rechaza H0 . no hay evidencias para rechazar H0 . valor p < α: se rechaza la hipótesis nula. Equivalentemente. se rechaza la hipótesis nula. .Test chi-cuadrado Si el valor observado cae en la "zona de rechazo". Si no.

399.9. H1 ): Los datos no provienen de una distribución exponencial con media 0. H0 ): Los datos provienen de una distribución exponencial con media 0. npj = 21.1. y se utiliza la prueba chi-cuadrado para ajustar a una distribución exponencial ˆ F (x) = 1 − e−x/0. con pj = 0. Se han construido k = 10 intervalos. x ≥ 0. (≥ 5).399 . .Ejemplo: tiempos entre arribos Se tiene el registro de n = 219 tiempos entre arribos.399.

283 j 1 2 3 4 5 6 7 8 9 10 Intervalo [0.850 0. ∞) Nj 19 28 26 12 25 14 22 29 20 24 npj 21.9 21.9 21.480.9 .9 21. 0. 0.277) [0.Ejemplo: tiempos entre arribos (Nj − npj )2 npj 0.9 21.302 0. 0.277.089.919. 0.42.142) [0.642) [0. 0.165 0.204.9 21.9 21. 0.9 21. 0. 0.9 21.9 21.142.201 T = 13.204) [0. 0.384 1.642.919) [0.000 2.475 0.366.366) [0.042) [0.089) [0.768 4.480) [0.439 2.699 0.

Dado que los parámetros son todos conocidos.25.Ejemplo: tiempos entre arribos H0 : la distribución es exponencial con media 0. se utiliza una χ2 con 9 = 10 − 1 grados de libertad. . Equivalentemente. nivel α = 0. se rechaza la hipótesis al 9.399.2 9 valor p > 0.10.10 no se rechaza la hipótesis Al nivel α = 0.90 = 14. no se rechaza la 9.399.684 es mayor que 13. valor p ≈ P(χ2 > 13.75 = 11.283) ∼ 0. hipótesis al nivel α = 0.389 es menor que 13.283.10. el test no da razones para concluir que la distribución no se ajuste a una exponencial con λ = 0.283. χ2 0. χ2 0.

. x = 1. 5.654)x . Se han construido k = 3 intervalos. los intervalos son esencialmente subconjuntos de valores de la variable.346. . 3}. .Ejemplo: cantidades de demanda Se tienen registros de cantidades de demanda de un producto. }. 2. En este caso se han elegido: I1 = {1}. . . .346. y se quiere testear el ajuste de estos datos a una distribución geométrica con p = 0. I1 = {2. H0 ): Los datos provienen de una distribución geométrica con p = 0. I1 = {4. P(X ≤ x) = 1 − (0. Como la distribución es discreta. . .

930 Los parámetros de la distribución son conocidos.471 1.605.0. . } Nj 59 50 47 npj 53.203 0.10.382 43.256 T = 1.658 (Nj − npj )2 npj 0.90 = 4. Se utiliza una χ2 con 2 = 3 − 1 grados de libertad. no se rechaza la hipótesis nula.10.960 58. Equivalentemente. 3} {4. .Ejemplo: cantidades de demanda j 1 2 3 Intervalo {1} {2. 5. χ2 2.6 2 valor p > 0. . . valor p ≈ P(χ2 > 1. No se rechaza la hipótesis nula a un nivel de α = 0.930) ∼ 0.

para cada i = 1.2 = 10 para cada i = 1. . N3 = 19. .Ejemplo Una v. 5. . .4. npi = 50 · 0. .2.5.2. Se toma una muestra de tamaño n = 50.3. N4 = 7. 5. Se obtienen los siguientes valores: N1 = 12. . .a. N2 = 5. . Testear la hipótesis que estos valores son equiprobables. puede tomar los valores 1. . H0 ) pi = 0. N5 = 7.

0122. 4 Para este valor de p.Ejemplo Estadístico: T = = (12 − 10)2 + (5 − 10)2 + (19 − 10)2 + (7 − 10)2 + (7 − 10)2 10 12. .8) = 0.8 valor p ≈ P(χ2 > 12. se rechaza la hipótesis que todos los valores son igualmente probables.

Evaluar el estadístico T . . .a. Método: simulación. k . . . ¿Se rechaza o no se rechaza? Es conveniente tener una estimación más exacta para p. para todo j = 1. .Simulación del valor p Si el valor p es próximo a α significa que el valor observado t es próximo al valor crítico. Implementación en el caso discreto H0 : P(Y = yj ) = pj . Generar n v. 1 ≤ i ≤ k. independientes con probabilidad de masa pi . Repetir el procedimiento r veces y calcular la proporción de valores mayores que t.

valor p = PH0 (T ≥ t) ≈ #{i | Ti ≥ t} r . 2. Y2 . . T (r ) . k con probabilidad de masa P Yi Nj (1) (1) (1) (1) (1) = j = pj . . T (2) . Yn independientes. Evaluar el estadístico T para este conjunto de valores: k T (1) = i=1 (Ni (1) − npi )2 npi Repetir el procedimiento r veces. para obtener T (1) . . . . . = #{i | Yi (1) = j}. . . . que tomen los valores 1. . . .Implementación Generar Y1 .

y1 ). . . Y2 . Proceder ahora como en el caso discreto. Es aconsejable utilizar el test de Kolmogorov-Smirnov. . yj ). La hipótesis nula es entonces H0 ) P(Yjd = i) = F (yi ) − F (yi−1 ). . k . . y2 ). . .a. [y1 . yk ). . . Yn dadas por Yjd = i si Yi ∈ [yj−1 . discretizadas Y1 . . Yn tienen distribución continua F . Y2 . Y1 . [yk −1 . Particionar el rango de Y = Yj en k intervalos distintos: [y0 . .Estimación del valor p en el caso continuo Implementación en el caso continuo H0 : Las v. . . . .a. i = 1. . . d d d Considerar las n v.

Sign up to vote on this title
UsefulNot useful