Estadís'ca

T7.1. Càlcul d’es'madors puntuals

Sergi Peire
Escola d’Enginyeria de Barcelona Est
Departament de Matemà'ques
Universitat Politècnica de Catalunya
Febrer-Maig 2020

• Es'mador de màxima versemblança

• Es'mador mitjançant el mètode dels moments.
Es'mador de màxima versemblança

• Exemple:
Considerem una m.a.s. de n=10 d’una variable de 'pus
Bernoulli que pren valors x=1, 0 amb probabilitats p i 1-p
amb p desconegut. Sigui 1,0,1,0,0,0,0,0,0,1 la mostra
concreta.
La funció de probabilitat conjunta és
f(x1,x2,...,xn,p)=p3(1-p)7 definim la funció L(p)=p3(1-p)7
Pregunta: per a aquesta mostra concreta, quin valor de p
maximitza L(p)?
 Es'mador de màxima versemblança

Com que la funció log(x) és monótona, és equivalent

maximitzar g(x) que log(g(x)).
Per tant: ln (L(p))=3ln(p)+7ln(1-p)
i derivant tenim que
d 3 7 3
[ln(L( p)] = − =0⇒ p=
dp p 1− p 10
Aquest valor de p maximitza L(P)
Llavors podem considerar aquest valor com una es'mació
€ del valor de p, és a dir 3
pˆ =
10
Es'mador de màxima versemblança

És clar que per diferents mostres concretes ob'ndriem

diferents valors de p que maximitzarien L(p). Es tracta de per a
cada cas concret es'mar el paràmetre p que faci que els
valors de la mostra concreta siguin els més probables, els més
“versemblants”.
Es'mador de màxima versemblança
Sigui X una v.a. que depèn d’un paràmetre θ
Sigui f(x) la seva funció de probabilitat (si X discreta) o de
densitat (si X con`nua)
Sigui X1,X2,...,Xn una m.a.s. i x1,x2,...x
€ n la mostra observada.
n

Definim L(x1,...x n ,θ ) = ∏ f (x i )
i=1

Un es'mador θˆ del paràmetre θ és de màxima

versemblança si
€
L(x,θˆ ) ≥ L(x,θ ) ∀ θ dins del seu rang de valors.
€ €

€
 Es'mador de màxima versemblança

Procediment:
n

• Definim L(x1,...x n ,θ ) = ∏ f (x i )
i=1
n n

• Prenem logaritmes Ln(L(x1,...x n ,θ )) = Ln(∏ f (x i )) = ∑ Ln( f (x i ))

i=1 i=1

• Calculem d
€ el màxim resolem l’equació: Ln(L(x1,θ )) = 0
dθ
• Si θ ∈ [ a,b
€] comprovem si el màxim absolut es troba en cap extrem.

€
€
 Exemple: Càlcul de l’es'mador de la màxima versemblança del
paràmetre λ d’una distribució de Poisson
n
n n
λxi ∑ xi n 1
L(x1,...x n ,θ ) = ∏ f (x i ) = ∏ e − λ =e λ ∏
−nλ i =1

i=1 i=1 x i! i=1 x i!

n
1
anomenem k = ∏ així L(x1,...x n ,θ ) = ke −nλ λnx
i=1
x i!
prenem log aritmes
−nλ nx
ln(L(x1,...x n ,θ )) = ln(ke
€ λ ) = ln(k) + nx ln(λ) − nλ
trobem el màxim igualant la derivada a 0
d nx
Ln(L(x1,θ€ )) = −n =0 ⇒ λ = x
dθ λ
Comprovem que es tracta d' un màxim amb la segona derivada
.
d2 −nx −nx −n
Ln(L(x , θ )) = = = <0
dλ2 1
λ =X
λ2 λ =X x 2€ x
així tenim que la mitjana mostral X és un estimador de la màxima versemblança de λ

€
€
 Propietats dels es'madors de màxima versemblança

Sigui θˆ n un es'mador de θ de màxima versemblança per una m.a.s de tamany n

• Principi de la invariància: Si g és una funció bijec'va llavors
g(θˆ n ) és un es'mador de màxima versemblança de g(θ )
€ • És un es'mador asimptò'cament centrat (no esbiaixat). lim E(θˆ ) = θ
n
• €
Mínima variància. n→∞
lim Var(θˆ ) = V
n min
n→∞
€ ˆ € θˆ n − θ
• L’es'mador n tendeix a una distribució normal
θ lim →N(0,1)
n→∞ ˆ
Var(θ n )
€
• Si existeix €
un es'mador centrat (no esbiaixat) i de variància mínima, llavors
coincideix
€ amb el de màxima versemblança.
€
Per tant, per a valors suficientment grans del tamany d’una mostra, l’es'mador de
màxima versemblança té (asimptò'cament) totes les propietats desitjables.
El que jus'fica que sigui tant comú el seu us a la pràc'ca.
 Exemple: Es'madors de màxima versemblança per μ i σ2
d’una distribució N(μ,σ)

Càlcul dels estimadors de la màxima versemblança per µ i σ 2 d' una X ~ N( µ,σ )

−(x − µ )2
1 2σ 2
X ~ N( µ,σ ) ⇒ f X (x) = 2
e sigui X1,..., X n una m. a. s. d' X
2πσ
definim la funció de versemblança :
n

n⎡ 1 −( x i − µ ) 2
⎤ −n
− ∑ (x i − µ )2
−n i =1

L(X; µ,σ ) = ∏ ⎢
2
e 2σ 2 ⎥ = (2π ) 2 (σ ) e
2 2 2σ 2
2
⎣ 2πσ
i=1 ⎢ ⎥⎦
Pr enem log aritmes :
n

n n ∑ (x i − µ) 2
ln( L(X; µ,σ 2 )) = − ln(2π ) − ln(σ 2 ) − i=1
2 2 2σ 2

€
Es'madors de màxima versemblança per Ν( µ,σ )

Trobem el màxim igualant a 0 les derivades parcials…

n
∂ 1
ln( L(X, µ,σ )) = 2 ∑ ( x i − µ)
2

∂µ σ i=1 €
n
∂ −n 1 2

∂σ 2
ln( L(X, µ, σ 2
)) 2σ 2
= +
2 2
∑ i( x − µ)
2(σ ) i=1
∂ ⎫
ln( L(X, µ,σ )) = 0 ⎪
2
n n
∂µ ⎪ 2
⎬ ⇒ ∑ ( x i − µ) = 0 i − nσ 2 + ∑ ( x i − µ) = 0
∂ ⎪
∂σ 2
ln( L(X, µ, σ 2
)) = 0 ⎪⎭
i=1 i=1

n n

∑( x i − µ) = 0 ⇒ ∑ x i − nµ = 0 ⇒ µˆ = X
i=1 i=1
n n n
2 1 2 1 2
−nσ + ∑ ( x i − µ) = 0 ⇒ σ = ∑ ( x i − µ) ⇒ σ = ∑ ( x i − X )
2 2 ˆ 2

i=1
n i=1 n i=1
 Es'madors de màxima versemblança per Ν( µ,σ )
Comprovem que es tracta d' un màxim, fem la matriu hessiana
⎛ ∂2 ∂2 ⎞
⎜ ln( L(X, µ,σ ))
2
2 ln( L(X, µ,σ )) ⎟
2

∂µ∂µ ∂µ∂σ
H(L(X, µ,σ ) = ⎜ 2
2
2
⎟
⎜ ∂
⎜ 2 ln( L(X, µ,σ ))
⎝ ∂σ ∂µ
2 ∂
2
∂σ ∂σ
€ 2 ⎟
2 ln( L(X, µ,σ ))⎟
⎠
⎛ −n 1
n ⎞
⎜ − 2 ⋅ ∑ ( x i − µ) ⎟
⎜ σ2 ( )
σ 2
i=1 ⎟
=⎜ n n ⎟
1 n 1 2

⎜ σ2 2 ∑
⎜− ⋅ ( x i − µ) − ⋅ ∑ ( x i − µ) ⎟
2 2 2 3 ⎟
⎝ ( ) i=1 2(σ ) (σ ) i=1 ⎠
Així
⎛ −n ⎞ −n
⎜σ 2 0 ⎟ 0
−n σ2
H(L(X, µˆ ,σˆ ) = ⎜
2
−n ⎟ com que 2 <0 i −n > 0 la matriu és definida positiva
⎜ 0 ⎟ σ 0
⎜ 2 2⎟ 2
⎝ 2(σ ) ⎠ 2(σ 2 )
i llavors L(X, µ,σ 2 ) té un màxim a (X ,S 2 )
n
1 2
µˆ = X i σˆ 2 = S 2 = ∑ ( x i − X ) són els estimadors per màxima versemblança.
n i=1

€
Mètode dels moments

• El mètode dels moments consisteix en igualar els moments mostrals als

moments poblacionals i resoldre el sistema d’equacions.
• Tenim una variable aleatòria X amb funció de densitat
f (x,θ1,...,θ n ) si X és contínua
P(x,θ1,...,θ n ) si X és discreta
• Anomenem moments poblacionals +∞ i
αi = ∫ x f (x,θ1,...,θ n )dx si var . contínua
d’ordre i m
−∞

€ α i = ∑ x ij f (x,θ1,...,θ n ) si var . discreta

j =1
• Anomenem moments mostrals m
1
d’ordre i M i = ∑ x ij
m j =1

€
 Mètode dels moments

+∞ i
αi = ∫ −∞
x f (x,θ1,...,θ n )dx moment poblacional d'ordre i
1 m i
Mi = ∑
m i=1
x moment mostral d'ordre i

Igualant obtenim un sistema d’n equacions i n incògnites

€ (tantes equacions com paràmetres volem es'mar)
€ α1 = M1 ⎫ d’on obtenim Així :
⎪ α1 = µ = M1 = X
........... ⎬ θˆ1,...,θˆ n
⎪ α 2 = σ 2 + µ2 = M2 = S 2 + X 2
αn = Mn ⎭
Aquest mètode té l’avantatge que és fàcil d’aplicar i pots trobar es'madors
€
consistents allà on el mètode de màxima versemblança no és pot aplicar.
€
Però no et garanteix que els es'madors siguin insesgats i de variança mínima,
€ fins i tot pot trobar valors que es'guin fora de rang.
Exemples d’es'madors pel mètode dels moments.

1 1 n
• Llei exponencial: com que 1
α = E [ ]
X = = X = ∑ x i = M1
ˆ= 1 λ n i=1
Llavors: λ
X

1 n
• Llei de Poisson: Com
€ que α1 = E [ X ] = λ = X = ∑ x i = M1
n i=1
Llavors:
€ λˆ = X

⎧ 1 n
€ ⎪α1 = E [ X ] = µ = X = ∑ x i = M1
€ ⎪ n i=1
• Llei normal: com que ⎨
⎪ 1 n 2
⎪⎩α 2 = E [ X ] = σ + µ = n ∑ x i = M 2
2 2 2

Llavors: λˆ = X i σˆ = Sn i=1

€ €
Problemes per resoldre
Problemes per resoldre

θ −1
n ⎛ n ⎞
Sol: a) Definim L(X,θ ) = ∏θxθi −1 = θ n ⎜ ∏ x i ⎟
i=1 ⎝ i=1 ⎠
n
ln(L(X,θ )) = n ln(θ ) + (θ −1)∑ ln( x i )
i=1
n
d n
ln(L(X,θ )) = + ∑ ln( x i )
dθ θ i=1
d −n
ln(L(X,θ )) = 0 ⇒ θˆ = n
dθ θ =θˆ
∑ ln( x ) i
i=1
 Problemes per resoldre

Sol: b)
1 1
x θ +1 1
θ ⎫
∫ xθx dx = ∫ θx dx = θ θˆ
θ −1 θ
α1 = E(X) = = ⎪
0 0 θ +1 0 θ +1 ⎬ α1 = M1 ⇒ ˆ =X
⎪ θ +1
M1 = X ⎭
X
així θˆ =
1− X

€
Problemes per resoldre
Problemes per resoldre

−θ
n n ⎛ n ⎞
Definim L(X,θ ) = ∏θ 2 x ie −θx i = θ 2n ∏ x i ⎜∏ e x i ⎟
Sol: i=1 i=1 ⎝ i=1 ⎠
n n
ln(L(X,θ )) = 2n ln(θ ) + ∑ ln( x i ) − θ ∑ x i
i=1 i=1
n
d 2n
ln(L(X,θ )) = −∑x
dθ θ i=1 i
d 2n 2
ln(L(X,θ )) = 0 ⇒ θˆ = n =
dθ θ =θˆ X
∑ ix
i=1
Problemes per resoldre
 Problemes per resoldre

Sol: a)
1 1 1
(1+ θ ) xθ +2 (1+ θ )
E(X) = ∫ x (1+ θ )x dx = ∫ (1+ θ )x dx =
θ θ +1
θ + 2
=
θ +2
0 0 0

€
 Problemes per resoldre

Sol: b)
(1+ θ ) ⎫⎪ (1+ θˆ ) = X
α1 = E(X) = 2X −1
θ + 2 ⎬ α1 = M1 ⇒ ˆ ⇒ θˆ =
⎪ θ +2 1− X
M1 = X ⎭

€
Problemes per resoldre

Sol: c)
2X −1
θˆ = =
1− X
0.92 + 0.79 + 0.90 + 0.65 + 0.86
X= = 0.824
5

€
Problemes per resoldre
Problemes per resoldre

1
−x i2 −
xn n⎛ n
x i2
⎞ 2θ
Definim L(X,θ ) = ∏ i e 2θ
= θ ∏ x i ⎜∏ e ⎟
−n

Sol: b) i=1
θ i=1 ⎝ i=1 ⎠
n
1 n 2
ln(L(X,θ )) = −n ln(θ ) + ∑ ln( x i ) − ∑ x i
i=1 2θ i=1
d −n 1 n 2
dθ
ln(L(X,θ )) = + ∑x
θ 2θ 2 i=1 i
n
d 1
ln(L(X,θ )) = 0 ⇒ θˆ = ∑ x i2
dθ θ =θˆ 2n i=1
Problemes per resoldre

Sol: c) ˆ 1 n 2 16.88 2 +10.232 + 4.59 2 + 6.66 2 +13.68 2

θ = ∑ xi = = 64.21534
2n i=1 10

€
Problemes per resoldre
Problemes per resoldre

Sol: X ~ G( p) X compte els fracasos abans del primer èxit llavors f X (x) = (1 − p) x p
n
n
∑ xi
L(X, p) = ∏ (1 − p) x i p = p n ⋅ (1 − p) i =1
i=1

Mètode de màxima versemblança

n
ln(L(X, p)) = n ln( p) + ln(1 − p)⋅ ∑ x i
i=1
n

d n ∑ xi
ln(L(X, p)) = − i=1
dp p 1− p
n

d n ∑ xi n 1
ln(L(X, p)) = 0 ⇒ − i=1 = 0 ⇒ pˆ = n =
dp p = pˆ
pˆ 1 − pˆ n + ∑ x i 1+ X
i=1

Mètode dels moments

1− p⎫
α1 = E(X) = ⎪ 1 − pˆ 1
p ⎬ α1 = M1 ⇒ = X ⇒ pˆ =
⎪ pˆ 1+ X
M1 = X ⎭
Problemes per resoldre
 Problemes per resoldre

Sol:
1 ⎫
θ θ θ
2(θ − x) 2θx − x 2 2 x3
α1 = E(X) = ∫ x dx = ∫ 2
dx = 2 (θx − ) = θ ⎪
0 θ 2
0 θ 2
θ 3 0 3 ⎬ α1 = M1 ⇒ θˆ = 3X
⎪
M1 = X ⎭
1
E(θˆ ) = 3E(X ) = 3E(X) = 3⋅ θ = θ així θˆ és un estimador no esbiaixat d'θ
3

€
Problemes per resoldre
Problemes per resoldre

⎛ n⎞ x
Sol: a) X ~ B(n, p) f X (x) = ⎜ ⎟ p (1 − p) n −x ; X1,..., X m m. a. s. d' X
⎝ x⎠
m m
m ⎛n⎞ x m ⎛ ⎞
n ∑ xi −∑ x i
L(X, p) = ∏⎜ ⎟ p (1 − p)
i n −x i
= ∏⎜ ⎟⋅ p (1 − p) (1 − p) i =1
i =1 n⋅m
x
i=1 ⎝ i ⎠
x
i=1 ⎝ ⎠
m ⎛n⎞ m m
ln(L(X, p)) = ∑ ln⎜ ⎟ + ∑ x i ⋅ ln( p) + n⋅ m⋅ ln(1 − p) − ∑ x i ⋅ ln(1 − p)
i=1 ⎝ x i ⎠ i=1 i=1

m m

d ∑ xin⋅ m i=1 ∑ xi
ln(L(X, p)) = i=1 − +
dp p 1− p 1− p
m m m

d ∑ x i n⋅ m ∑ x i ∑ xi X
i=1 i=1
ln(L(X, p)) =0 ⇒ − + = 0 ⇒ pˆ = i=1 =
dp p = pˆ
pˆ 1 − pˆ 1 − pˆ n⋅ m n
⎛X⎞ 1 1 1
E( pˆ ) = E ⎜ ⎟ = E(X ) = E(X) = np = p així pˆ és un estimador no esbiaixat de p
⎝n⎠ n n n
Problemes per resoldre

Sol: c)
n
∑ xi X
pˆ = i=1
=
n2 n
p
l = g( p) = és una funció bijectiva, llavors pel principi d'in var iància
1− p
lˆ = g( pˆ ) és un estimador de la màxima versemblança d' l
X
pˆ n X
lˆ = = =
1 − pˆ X n−X
1−
n