5.

Estimación puntual

Curso 2011-2012
Estadística
 Probabilidad
Población ¿Conocido p
p cuanto vale X ?
% DEFECTUOSA

Muestra n

X ≡Nº Defectuosa

¿Conocido X
cuanto vale p ?
Inferencia

Estimación puntual 2
 X
σ

MUESTRA n
µ
X → N (µ ,σ )
X 1 , X 2 ,..., X n
Parámetros
¿ µ ,σ ?
Datos Conocidos

?
Estimación puntual 3
 Espesores de 150 obleas de Silicio (micras)
X

240 235 240 240 247 237 243 242 236 239
243 237 243 242 245 239 245 245 239 240
250 246 244 246 255 242 248 248 241 242
253 249 249 249 250 247 251 251 246 243
248 246 246 248 249 245 250 249 242 244
238 240 245 240 237 242 244 242 243 239
242 241 250 243 239 244 246 245 246 240
245 246 250 246 243 246 246 248 247 250
251 247 247 250 247 251 250 243 252 252
247 249 248 248 246 248 246 246 247 250
239 240 238 241 242 243 241 241 241 241
242 243 240 245 244 245 239 244 243 243
246 244 245 243 245 247 244 245 245 249
250 248 248 247 248 252 250 249 248 255
248 245 246 245 245 249 246 247 246 253

Estimación puntual 4
 Histograma para Espesor

40

30
frecuencia

20

10

0
230 235 240 245 250 255 260

Espesor

Estimación puntual 5
Distintos problemas de inferencia
Dado un modelo para los datos: σ

X 1 , X 2 ,..., X n µ

Estimar µ y σ

Dar un intervalo de confianza para µ y σ

Elegir entre (contraste de hipótesis):
µ ≥ 250 o µ < 250

Comprobar la validez del modelo (contraste
de bondad de ajuste).

Estimación puntual 6
 Métodos de Estimación
X → f X ( x,θ1 ,θ 2 ,..., θ r )
fX conocida
Parámetros desconocid os
θ1 ,θ 2 ,..., θ r

Dada una muestra aleatoria simple de X

x1 , x2 , … , xn → ¿θ1 ,θ 2 ,...,θ r ?
1. Método de los momentos
2. Método de máxima verosimilitud

Estimación puntual 7
Métodos de los momentos
DATOS VAR. ALEATORIA
x1, x2 , … , xn f X ( x,θ1 ,θ 2 ,...,θ r )
∑
n
x
i =1 i
a1 = α1 = E[ X ] = g1 (θ1,θ 2 ,...,θ r )
n
∑
n 2
xi
a2 = i =1
α 2 = E[ X 2 ] = g 2 (θ1,θ 2 ,...,θ r )
n
 
∑
n r
xi
ar = i =1 α r = E[ X r ] = g r (θ1 ,θ 2 ,...,θ r )
n

 g1 (θˆ1,θˆ2 , … ,θˆr ) = a1

Estimadores  g 2 (θˆ1,θˆ2 , … ,θˆr ) = a2
ˆ ˆ ˆ →
θ1 ,θ 2 , …,θ r  
 g (θˆ ,θˆ , … ,θˆ ) = a
 r 1 2 r r

Estimación puntual 8
 Método de los momentos: Distribución normal
1  1  x − µ  2 
f X ( x) = exp  −   , x∈ℜ
σ 2π σ  2  σ  

Parámetros : ¿ µ , σ ?
µ

x1 , x2 , … , xn f X ( x, µ , σ )
µˆ = x
∑
n
x
i =1 i
a1 = α1 = E[ X ] = µ n
1
n σˆ 2 = ∑xi2 − x2 = s2
∑
n 2
x
i =1 i
n i=1
a2 = α 2 = E[ X 2 ] = σ 2 + µ 2
n

Estimación puntual 9
 Método de máxima verosimilitud
(Introducción)
Una fuente radiactiva emite partículas según un proceso
de Poisson con media λ desconocida. Durante 10 minutos
se han contado el número de partículas emitidas:
12, 6, 11, 3, 8, 5, 3, 9, 7, 5

−λ λ12 −λ λ6 −λ λ5
P( X 1 = 12, X 2 = 6,..., X 10 = 5) = e ×e × × e
12! 6! 5!
−10λ λ12+6++5 −10λ λ69
=e =e
12!×6!×× 5! 12!×6!×× 5!

−10λ λ69
l (λ ) = e
12!×6!×× 5!

Estimación puntual 10
 Función de verosimilitud

λ69
l (λ ) = e −10λ
12!×6!× × 5!

2 4 6
6,9
8 10 λ

Estimador máximo-verosímil: λˆ = 6,9

Estimación puntual 11
Función de verosimilitud
verosimilitud
λ69
1,8E-11 0 l (λ ) = e −10λ
1,6E-11 -5 12!×6!× × 5!
1,4E-11 -10

log probabilidad
1,2E-11
probabilidad

-15
1E-11
-20
8E-12
-25
6E-12 L(λ) = log l(λ)
4E-12 -30

2E-12 -35

0 -40
4
4,6
5,2
5,8
6,4
7
7,6
8,2
8,8
9,4
10
lambda
6,9

Estimador máximo-verosímil: λˆ = 6,9

Estimación puntual 12
 Estimación por máxima verosimilitud

X → f X ( x,θ1 ,θ 2 ,...,θ r )
fX conocida
Parámetros desconocidos : θ1 ,θ 2 ,...,θ r
Muestra aleatoria simple : X 1, X 2 ,..., X n
Distribución conjunta :
f ( x1 , x2 ,..., xn ;θ1 ,...,θ r ) =
= f X ( x1 ,θ1 ,θ 2 ,...,θ r ) f X ( x2 ,θ1,θ 2 ,...,θ r )  f X ( xn ,θ1,θ 2 ,...,θ r )
n
log f ( x1 , x2 ,..., xn ) = ∑ log f X ( xi ,θ1 ,θ 2 ,...,θ r ) = L(θ1,θ 2 ,...,θ r )
i =1
θˆ1 ,θˆ2 ,...,θˆr ⇒ L(θˆ1 ,θˆ2 ,...,θˆr ) = max L(θ1 ,θ 2 ,...,θ r )

Estimación puntual 13
 Máx. verosimilitud: Distribución normal
1  1  x − µ  2 
f X ( x) = exp−   , x ∈ ℜ Parámetros : ¿ µ , σ ?
2π σ  2  σ  
X 1 , X 2 ,..., X n : muestra aleatoria simple
1 1 1
1 − (x −µ ) 2

1 − (x −µ ) 2

1 − ( x −µ ) 2

e 2σ e 2σ 2σ
2 1 2 2 2 n

f ( x1 , x2 ,..., xn ) =  e
2π σ 2π σ 2π σ
1
1 − ∑in=1 ( x −µ ) 2

e 2σ
2 i

= n/2 n
( 2π ) σ
L ( µ , σ 2 ) = log f ( x1 , x2 ,..., xn )
n n 1
= − log( 2π ) − log σ 2 − ∑ n ( x − µ )2
i =1 i
2 2 2σ 2

 ∂L 1 n 
 = ∑ ( xi − µ
ˆ ) = 0 
∂µ σ 2 i =1
   µˆ = x
max L :  ⇒  2
 ∂L n 1 1  σˆ = s 2
n ( x − µ )2 = 0
 2 = −2 2 + ∑ i =1 i ˆ 
 ∂σ σˆ 2σˆ 4 

Estimación puntual 14
 Máx. Verosimilitud: Poisson

−λ λx
P( X = x) = e , x = 0,1,2,... → Parámetro λ
x!
Muestra aleatoria simple : x1 , x2 ,..., xn
p ( x1 , x2 ,..., xn ) = P( X 1 = x1 , X 2 = x2 , , X n = xn )
−λ λx
1
−λ λx2
−λ λxn
−λn λΣ xi

=e e e =e
x1! x2 ! xn ! x1! x2! xn !
L(λ ) = −λn + (Σ xi ) log λ − ∑ log xi !

dL(λ ) Σx
max L(λ ) : = −n + i = 0 ⇒ λˆ = x
dλ λˆ

Estimación puntual 15
 Máx. verosimilitud: Binomial(n,p)
Proporción defectuosas = ¿ p ?
Muestra (Bernoulli ) :
n
x1 , x 2 ,..., x n
 0 si es Aceptable
xi = 
1 si es Defectuosa

p( x1 , x 2 ,..., x n ) = P( X 1 = x1 , X 2 = x 2 ,..., X n = x n )
= P( X 1 = x1 ) P ( X 2 = x 2 )  P ( X n = x n )
= p ∑ i (1 − p ) ∑ i
x n− x

= p r (1 − p ) n−r donde r = ∑ xi es el nº de defectuosas

L(p) = r log p + (n − r ) log(1 − p )
dL( p ) r n − r r
= − = 0 → pˆ =
dp pˆ 1 − pˆ n

Estimación puntual 16
Distribución de media (normal)

σ X 1 , X 2 ,..., X n
µ X1 + X 2 +  + X n
X → N (µ ,σ ) X =
n
E[ X 1 ] + E[ X 2 ] +  + E[ X n ] µ + µ +  + µ
E[ X ] = = =µ
n n
Var[ X 1 ] + Var[ X 2 ] +  + Var[ X n ] σ 2 + σ 2 +  + σ 2 σ 2
Var[ X ] = 2
= 2
=
n n n
σ
X → N (µ , )
n
Estimación puntual 17
 Histograma de Espesores

1000

800

frecuencia
600

400

200

0
230 235 240 245 250 255 260

Espesores
Distribución de la Media de 5 observaciones
Frecuencia/Probabilidad

1200

1000

800

600

400

200

0
230 235 240 245 250 255 260

Media

Estimación puntual 18
Distribución de S2 (Normal)

σ X 1 , X 2 ,..., X n
µ 2
S =
( X1 − X )2 + ( X 2 − X )2 +  + ( X n − X )2
X → N (µ ,σ ) n

1 n 1 n 2
S2 = ∑
n 1
( X i − X ) 2
= ∑
n 1
X i − X 2

2 1 2 2 1 2 2 σ2 n −1 2
E[ S ] = Σ E[ X i ] − E[ X ] = Σ (σ + µ ) − ( + µ2) = σ
n n n n

ˆ 2 ( X1 − X )2 + ( X 2 − X ) 2 +  + ( X n − X ) 2
S =
n −1
n 2
Sˆ 2 = S ⇒ E[ Sˆ 2 ] = σ 2
n −1

Estimación puntual 19
 Distribución χ2

Z1 , Z 2 ,..., Z n → N (0,1) independientes

Z12 + Z 22 +  + Z n2 → χ n2

Propiedades
⊗ E[χ n2 ] = n
⊗ Var[χ n2 ] = 2n
⊗ χ n2 + χ m2 = χ n2+ m ( χ n2 y χ m2 indep.)

Estimación puntual 20
 Distribución Chi-cuadrado con 4 g.l.

0.2

0.16
densidad

0.12

0.08

0.04

0
0 4 8 12 16 20

Estimación puntual 21
 g.l. 0,995 0,990 0,975 0,950 0,500 0,050 0,025 0,010 0,005
1 ,00004 ,00016 ,00098 ,00393 0,455 3,841 5,024 6,635 7,879
2 ,01002 ,0201 0,051 0,103 1,386 5,991 7,378 9,210 10,60

Tabla χ2 3
4
,0717
0,207
0,115
0,297
0,216
0,484
0,352
0,711
2,366
3,357
7,815
9,488
9,348
11,14
11,34
13,28
12,84
14,86
5 0,412 0,554 0,831 1,145 4,351 11,07 12,83 15,09 16,75
6 0,676 0,872 1,237 1,635 5,348 12,59 14,45 16,81 18,55
7 0,989 1,239 1,690 2,167 6,346 14,07 16,01 18,48 20,28
8 1,344 1,647 2,180 2,733 7,344 15,51 17,53 20,09 21,95
9 1,735 2,088 2,700 3,325 8,343 16,92 19,02 21,67 23,59
10 2,156 2,558 3,247 3,940 9,342 18,31 20,48 23,21 25,19
11 2,603 3,053 3,816 4,575 10,341 19,68 21,92 24,73 26,76
12 3,074 3,571 4,404 5,226 11,340 21,03 23,34 26,22 28,30
13 3,565 4,107 5,009 5,892 12,340 22,36 24,74 27,69 29,82
14 4,075 4,660 5,629 6,571 13,339 23,68 26,12 29,14 31,32
15 4,601 5,229 6,262 7,261 14,339 25,00 27,49 30,58 32,80
16 5,142 5,812 6,908 7,962 15,338 26,30 28,85 32,00 34,27
17 5,697 6,408 7,564 8,672 16,338 27,59 30,19 33,41 35,72
α 18
19
6,265
6,844
7,015
7,633
8,231
8,907
9,390
10,117
17,338
18,338
28,87
30,14
31,53
32,85
34,81
36,19
37,16
38,58
20 7,434 8,260 9,591 10,851 19,337 31,41 34,17 37,57 40,00
21 8,034 8,897 10,283 11,591 20,337 32,67 35,48 38,93 41,40
22 8,643 9,542 10,982 12,338 21,337 33,92 36,78 40,29 42,80

χν,1-α 23
24
9,260
9,886
10,196
10,856
11,689
12,401
13,091
13,848
22,337
23,337
35,17
36,42
38,08
39,36
41,64
42,98
44,18
45,56
25 10,520 11,524 13,120 14,611 24,337 37,65 40,65 44,31 46,93
26 11,160 12,198 13,844 15,379 25,336 38,89 41,92 45,64 48,29
27 11,808 12,878 14,573 16,151 26,336 40,11 43,19 46,96 49,65
ν: grados de libertad (g.l.) 28 12,461 13,565 15,308 16,928 27,336 41,34 44,46 48,28 50,99
29 13,121 14,256 16,047 17,708 28,336 42,56 45,72 49,59 52,34
30 13,787 14,953 16,791 18,493 29,336 43,77 46,98 50,89 53,67
40 20,707 22,164 24,433 26,509 39,335 55,76 59,34 63,69 66,77
50 27,991 29,707 32,357 34,764 49,335 67,50 71,42 76,15 79,49
EJEMPLO 60 35,534 37,485 40,482 43,188 59,335 79,08 83,30 88,38 91,95
70 43,275 45,442 48,758 51,739 69,334 90,53 95,02 100,43 104,21
80 51,172 53,540 57,153 60,391 79,334 101,88 106,63 112,33 116,32
P(χ9 ≥ 19,02) = 0,025 90 59,196 61,754 65,647 69,126 89,334 113,15 118,14 124,12 128,30
100 67,328 70,065 74,222 77,929 99,334 124,34 129,56 135,81 140,17
120 83,852 86,923 91,573 95,705 119,334 146,57 152,21 158,95 163,65
Estimación puntual 22
 Distribución de S2 (Normal)
n
Xi − μ 2
∑ σ → χ 2n
i=1
n n

∑Xi − μ2 =∑Xi − X + X − μ2

i=1 i=1 n n n
= ∑Xi − X2 + ∑X − μ2 + 2 ∑Xi − XX − μ
i=1 i=1 i=1
n
= ∑Xi − X2 + nX − μ2
i=1

n n
∑X i − μ 2 ∑X i − X 2
i=1 i=1 X − μ 2
= +
σ 2
σ2 σ 2 /n
χ 2n χ 2n−1 χ 21

Estimación puntual 23
 Distribución de S2 (Normal)

2 2
nS n
 Xi − X 
= ∑ 
dist
 → χ n2−1
σ2 i =1  σ 
2
(n − 1) Sˆ 2 n
 Xi − X 
= ∑   dist
→ χ n2−1
σ2 i =1  σ 

Estimación puntual 24
 Histograma de Espesores

1000

800

frecuencia
600

400

200

0
230 235 240 245 250 255 260

Espesores

Histograma para Varianzas

500

400
frecuencia

300

200

100

0
0 20 40 60 80

varianza muestral

Estimación puntual 25
 Distribución de la media (general)
X i → f ( x,θ ) : Var[ X i ] < ∞

X = ( X 1 , X 2 ,..., X n )T , → Vector de n variables aleatorias independientes

X1 + X 2 +  + X n
X=
n
E[ X 1 ] + E[ X 2 ] +  + E[ X n ]
E[ X ] =
n
Var[ X 1 ] + Var[ X 2 ] +  + Var[ X n ]
Var[ X ] =
n2
Si las variables tienen la misma media y varianza
µ = E[X i ] ∀i σ 2 = Var[X i ] ∀i
 E[ X ] = µ n→∞
X + X2 ++ Xn  2 ⇒ X → N (µ , σ )
X= 1 ⇒ σ
n Var[ X ] = n
n

Estimación puntual 26
 Binomial
Binomial : X 1 , X 2 ,..., X n
0 si es Aceptable E[ X i ] = p
Xi =  ⇒
1 si es Defectuosa Var[ X i ] = p (1 − p )

X1 + X 2 +  + X n  E[ pˆ ] = p
pˆ = → p (1 − p )
n Var[ p ] =
ˆ
 n

p (1 − p )
pˆ → N ( p, )
n →∞ n

Estimación puntual 27
 Poisson
Poisson : X 1 , X 2 ,..., X n
−λ λk E[ X i ] = λ
P( X i = k ) = e ⇒
k!  Var[ X i ] = λ
 E[λˆ ] = λ
ˆ X1 + X 2 +  + X n 
λ= → ˆ] = λ
n  Var [ λ
n

ˆ λ
λ → N (λ , )
n →∞ n

Estimación puntual 28
Propiedades de los estimadores
X 1 , X 2 ,..., X n m.a.s de f ( x,θ ) : θˆ ≡ θˆ ( X 1 , X 2 ,..., X n )

Centrados: E[θˆ] = θ (Sesgo[θˆ] = E[θˆ] − θ )

Varianza mínima: ∀θˆ': Var[θˆ] ≤ Var[θˆ' ]

Error cuadrático medio mínimo
ECM[θˆ] = E[(θˆ − θ ) 2 ]
= Sesgo 2 (θˆ) + Var(θˆ)

Consistentes

lim E[θˆ] = θ y lim Var[θˆ] = 0

n →∞ n →∞

Estimación puntual 29
Ejemplo 1
1 n
X 1 , X 2 ,..., X n m.a.s de N ( µ , σ ) : X = ∑ X i
n i =1

Es centrado : E[ X ] = µ
Es de varianza mínima
Es consistente :
lim E[ X ] = µ y lim Var[ X ] = 0
n →∞ n →∞

Estimación puntual 30
Ejemplo 2
1 n
X 1 , X 2 ,..., X n m.a.s de N ( µ , σ ) : S = ∑ ( X i − X ) 2
2
n i =1
2 n −1 2
No es centrado : E [ S ] = σ
n
2 σ2
Sesgo ( S ) = −
n
Varianza :
 nS 2  2
[ ] 2
Var  2  = Var χ n −1 = 2( n − 1) ⇒ Var [ S ] =
 σ 
2 ( n − 1) 4
n 2
σ

Es consistent e :
lim E[ S 2 ] = σ 2 y lim Var[ S 2 ] = 0
n→∞ n→∞

Estimación puntual 31