Estimació Puntual

Mètode dels Moments i Màxima

Versemblança

January 31, 2019

Definició de l’estadı́stica

I L’estadı́stica és una branca de les matemàtiques (o no)

que té per objectiu recollir, presentar, analitzar i
interpretar dades, predir variables no observades i estudiar
les propietats dels mètodes utilitzats per dur a terme
aquestes tasques.
I L’estadı́stica és una disciplina que permet modelitzar i
prendre decisions davant la presència de la incertesa, és a
dir, fenòmens aleatoris. S’utilitza en diverses ciències
aplicades, com és l’economia.
Exemples dins de l’Economia

I Catalans amb Grau Universitari.

X és una v.a. Bernoulli de paràmetre p (desconegut).
Observem una mostra de catalans.
Podem utilitzar la mostra per trobar un bona aproximació
del valor de p?

I Ingressos anuals de les Famı́lies Europees.

X és una v.a. positiva (no suposem res més sobre la seva
distribució) de mitjana µ (desconeguda).
Observem una mostra de famı́lies europees.
Podem utilitzar la mostra per trobar un bona aproximació
del valor de µ?
Inferència Estadı́stica
I L’estadı́stica inferencial és el procés d’utilitzar les
dades per inferir (treure conclusions) sobre la distribució
que ha generat les dades.
I La intuı̈ció de l’estadı́stica inferencial és la següent: si
coneixem bé el mètode utilitzat per generar les dades
podem entendre i predir el fenòmen de referència de les
dades.
I L’objectiu de l’estadı́stica és desenvolupar mètodes per
inferir sobre el procés generador de dades i sobre l’anàlisi
de les propietats teòriques d’aquests mètodes.
I L’estadı́stica inferencial es basa en les Probabilitats, que
donen models i eines per estudiar la qualitat dels mètodes
estadı́stics.
I Per dur a terme un bon anàlisi estadı́stic es necessita
entendre en quin context es troben les dades.
Inferència Estadı́stica
Mostra i Realització d’una Mostra

I Una mostra Xn = X1 , X2 , ..., Xn és una col.lecció de

v.a.i.i.d.

I Una realització d’una mostra x1 , x2 , ..., xn és un conjunt

concret de nombres reals generat per la mostra.
En general, el terme realització s’utilitzarà per denotar un
exemple especı́fic d’una v.a.
Distribució mostral
I En general, utilitzarem una mostra per obtenir informació
i treure conclusions sobre una població, i calcularem
quantitats basades en la mostra.

I El terme genèric per denotar aquestes quantitats és

Estadı́stic (mostral) i es denota per
Qualsevol funció de la mostra, mitjanes, maxims, mínims, quartils, variança, esperança…

S = S(X1 , X2 , X3 , ..., Xn )

on S és una funció.

I Observem que un estadı́stic és una funció de la mostra.

Com que la mostra és aleatòria, l’estadı́stic també ho és.
La distribució d’un estadı́stic s’anomena Distribució
mostral.
Exemple: La mitjana mostral
I Catalans amb Grau Universitari.
X és una v.a. Bernoulli de paràmetre p (desconegut).
Observem una mostra de catalans X1 , ..., Xn (conjunt de
v.a.i.i.d de distribució Bernoulli(p)).
L’estadı́stic que (sota certes condicions) aproxima millor p
és la corresponent mitjana mostral (proporció mostral)
Pn
Xi
S = i=1 .
n
Quina és la distribució mostral d’aquest estadı́stic?
Calculem primer la seva mitjana i variància
Var(X ) p(1 − p)
E (S) = E (X ) = p Var(S) = = .
n n
El Teorema Central del Lı́mit ens diu que si n és gran la
distribució mostral de S és aproximadament Normal de
mitjana E (S) i variància Var(S).
Exemple: La mitjana mostral
I Ingressos anuals de les Famı́lies Europees.
X és una v.a. positiva de mitjana µ (desconeguda).
Observem una mostra de famı́lies europees X1 , ..., Xn
(conjunt de v.a.i.i.d de distribució X ).
L’estadı́stic que (sota certes condicions) millor aproxima
µ és de nou la mitjana mostral ja que µ = E (X ).
El Teorema Central del Lı́mit ens diu que si n és gran la
distribució mostral de la mitjana mostral
Pn
Xi
S = i=1
n
és aproximadament Normal de mitjana E (S) i variància
Var(S), on
Var(X )
E (S) = E (X ) = µ Var(S) = .
n
Paràmetre d’una població

I Sovint ens trobarem amb poblacions per les quals existeix

un model probabilı́stic concret que permet descriure el
fenòmen estudiat. Tot i aixı́ pot ser que alguna
caracterı́stica numèrica del model sigui desconeguda.

I Anomenarem paràmetre a aquella caracterı́stica numèrica

de la població que sigui desconeguda.

I L’objectiu és trobar la millor manera d’utilitzar les dades

per trobar un valor aproximat del paràmetre, és a dir,
trobar la millor estimació puntual del paràmetre.
Exemples

I Catalans amb Grau Universitari.

X és una v.a. Bernoulli de paràmetre p.
Com podem trobar una bona estimació de p?

I Ingressos anuals de les Famı́lies Europees.

X és una v.a. positiva (no suposem res més sobre la seva
distribució) de mitjana µ (desconeguda).
Com podem trobar una bona estimació de µ?

I Temps passat en l’atur (en mesos).

X és una v.a. Exponencial de paràmetre λ.
Com podem trobar una bona estimació de λ?
Exemple introductori
Catalans amb Grau Universitari.
X és una v.a. Bernoulli de paràmetre p.
Suposem que tenim una mostra X10 de 10 catalans i que en
cada variable (persona) observem si la persona té un Grau
Universitari (Xi = 1) o no (Xi = 0).
La manera natural de trobar una bona estimació de p és
calcular la freqüència relativa de catalans amb Grau
Universitari en la mostra Com hem vist que E(S) = p
I ara veiem que E(S) = E(pbarret)
Es la S d’avans 10
1 X p = pbarret
p̂ = Xi
10 i=1

Veiem fàcilment que E(p̂) és igual a p. Aixı́ doncs, direm que
p̂ és un estimador no esbiaxat de p.
Estimador Puntual

Definició
Sigui θ el paràmetre de la població que volem estimar. Un
estimador puntual θ̂n del paràmetre θ és una variable aleatòria.
La desviació esperada de l’estimador θ̂n de θ s’anomena biaix

biaix(θ̂n ) = E(θ̂n ) − θ

i la desviació tı́pica de l’estimador θ̂n s’anomena error

estàndard q
se(θ̂n ) = Var(θ̂n )

Si un estimador té una desviació tı́pica menor que un altre,

diem que el primer és més eficient.
EFICIENT: pregunta frequent en questionari
L’error de mitjana quadràtica d’un estimador es defineix com
la suma dels quadrats del biaix i l’error estàndard

EMQ(θ̂n ) = E(θ̂n − θ)2 = biaix(θ̂n )2 + se(θ̂n )2 .

L’Error de Mitjana Quadràtica ens dóna un bon criteri per

comparar estimadors. Clarament, si el EMQ és més petit ⇒
l’estimador està més concentrat al voltant de θ ⇒ l’estimador
és millor. CONSISTENT: pregunta frequent en questionari
Direm que un estimador és consistent en mitjana quadràtica si
aquest EMQ tendeix a zero quan n → ∞.
Estimació Puntual: Com trobar bons estimadors

Pregunta: Suposem que volem fer inferència sobre un

paràmetre θ que no correspon ni a la mitjana, ni a la
proporció, ni a la variància de la població.
Hi ha maneres generals de trobar bons estimadors?

Resposta: Sı́! En aquest Capı́tol estudiarem dos mètodes

diferents:
1. Mètode dels Moments (MM) i
2. Estimador del Màxim de la Versemblança (EMV).
Mètode dels Moments. Exemple
Suposem que volem estudiar el temps passat a l’atur dels
ciutadans d’un paı́s.
Suposem que es pot modelitzar per una v.a. exponencial
d’intensitat λ desconeguda.
Com podem estimar λ a partir d’una mostra X1 , X2 , ..., Xn ?
Sabem que si X és una va. Exponencial(λ), aleshores
1
E(X ) = .
λ
Idea: Definim λ̂n com la solució de l’equació
1
Xn =
λ̂n
que és
1
λ̂n = . S’anomena estimador dels moments
Xn
Mètode dels Moments

Definició
Sigui θ el paràmetre d’interès associat a la població. La relació
funcional entre el moment de primer ordre de la distribució de
la població i θ és coneguda

E(X ) = g (θ).

L’Estimador dels Moments es defineix com la solució θ̂n de

l’equació
X n = g (θ̂n ).
la coneixem
Exemple

Si X ∼ Geometrica(p), aleshores E(X ) = p1 .

L’Estimador dels Moments de p és la solució de l’equació

1
Xn = .
p̂n
La solució és
1
p̂n = .
Xn
La funció de versemblança

Per calcular l’estimador de màxima versemblança, hem de

trobar el màxim de la funció següent:
Definició
Sigui X ∼ F (θ) amb funció de probabilitat/densitat f (x, θ) on
θ és el paràmetre desconegut que ens interessa estimar.
Sigui X1 , . . . , Xn una mostra de la població F (θ).
La funció de versemblança es defineix com la funció
n
Y
Ln (θ; X1 , . . . , Xn ) = f (Xi ; θ)
i=1
Interpretació de la funció de versemblança
Fer simplificar, suposem que X és una v.a. discreta i suposem
que tenim una realització de la mostra x1 , x2 , ..., xn .
La versemblança es pot interpretar com la probabilitat
d’observar la mostra si la mostra fos generada per la
distribució F (θ)

Pθ (X1 = x1 , X2 = x2 , ..., Xn = xn )
= Pθ (X1 = x1 )Pθ (X2 = x2 )...Pθ (Xn = xn )
Yn
= f (xi ; θ)
i=1
= Ln (θ; x)

Considerem dos valors θ1 i θ2 tals que Ln (θ1 ; x) > Ln (θ2 ; x).

Això implica que la probabilitat d’observar la mostra que tenim
és més gran si θ1 és el valor del paràmetre que si ho és θ2 .
Direm que θ1 és millor que θ2 .
Exemple: La versemblança d’una Bernoulli
Observem la realització d’una mostra d’una v.a. Bernoulli(p)
(n=5): 1, 1, 1, 1, 0
Quina és la probabilitat d’observar aquesta mostra si p = 0.2?
5
Y
p xi (1 − p)(1−xi ) = 0.2 × 0.2 × 0.2 × 0.2 × 0.8 = 0.00128
i=1 no es molt necessari entendre aixó, lo important es entendre com trobar el màxim de versemblaça

Quina és la probabilitat d’observar aquesta mostra si p = 0.7?

5
Y
p xi (1 − p)(1−xi ) = 0.7 × 0.7 × 0.7 × 0.7 × 0.3 = 0.07203
i=1

Per tant, 0.7 és millor que 0.2.

De fet, és molt millor! (0.07203/0.00128 ≈ 56).
Exemple: l’EMV d’una Exponencial(λ)

La funció de densitat d’una v.a. exponencial és

f (x) = λe −λx , x ≥ 0.

La versemblança és
n
Y
Ln (λ; Xn ) = λe −λXi
i=1
n −λ ni=1 Xi
P
= λ e
= λn e −λnX n .

La log-versemblança és: log Ln (λ; Xn ) = n log λ − λnX n .

Exemple: l’EMV d’una Exponencial(λ)

Com trobem el màxim de la funció log-versemblança, és a dir,

arg max log Ln (λ; Xn )?

1
0 = ∇λ log Ln (λ; Xn ) = ∇λ (n log λ − λnX n ) = n − nX n ,
λ

1
λ̂n = .
Xn

És el mateix estimador trobat abans!

Observem que per una v.a. Exponencial, el MM i l’EMV
coincideixen!