1 Consistencia de M-estimadores

Supongamos que se tiene una familia de densidades p(x; ) discreta o continua

donde 2 R. Tomemos una función (x; ) : R2 ! R y llamemos
( ; ) = E ( (x; )). Supondremos que para todo 2 se cumple

( ; )=0

Esta condición será llamada "consistencia de Fisher ".

Dada una muestra aleatoria X1 ; :::; Xn de p(x; ); el correspondiente M-
estimador bn de se de…ne como la solución de
n
X
(Xi ; bn ) = 0 (1)
i=1

Teorema. Supongamos que (x; ) es estrictamente monótona (creciente

o decreciente ) y continua respecto de . Sea X1 ; :::; Xn una muestra aleatoria
con densidad p(x; 0 ) Luego bn converge a casi seguramente.
Demostración
Vamos a suponer que (x; ) es estrictamente creciente como función de :
La demostración para el caso decreciente es similar. Llamemos

( ; ) = E ( (x; ))

Es inmediato que ( ; ) es estrictamente monótona como función de

bn está de…nido por
n
1X
(Xi ; bn )) = 0
n i=1
Sea
n
1X
Ln ( ) = (Xi ; ))
n i=1
Tomemos " > 0:: Vamos a mostrar que con probabilidad 1 existe n0 tal que
para n n0 se tiene
0 " bn 0+"

Por la monotonía tenemos de tenemos

( 0; 0 ") < ( 0 ; 0) = 0 < ( 0; 0 + ")

De…namos
= min( ( 0 ; 0 + "); ( 0; 0 ")):
Luego >0y
( 0; 0 ") ( 0; 0 + ")

1
 Como Ln ( 0 + ") converge casi seguramente a ( 0 ; 0 + ") con probabilidad
1 existe n1 tal que para todo n n1

Ln ( 0 + ") =2
y como Ln ( 0 ") converge casi seguramente a ( 0 ; 0 ") existe n2 tal que
para todo n n2
Ln ( 0 ") =2
Luego como Ln es estrictamente creciente y continua, si n0 = max(n1 ; n2 ); para
todo n n0 existe un único valor bn tal que Ln ( bn ) = 0 y ese valor tiene que
satisfacer 0 + " bn 0 ".

1.1 Estimadores basados en momentos.

El estimador de los momentos se de…ne por
n
1X
g(xi ) = E (g(xi ))
n i=1
Luego si de…nimos
(xi ; ) = g(xi ) E (g(xi ))
tenemos
n
1X
(g(xi ) E (g(xi ))) = 0
n i=1
n
1X
(xi ; ) = 0
n i=1

Observemos que se tiene

( ; ) = E ( (x; )) = E (g(x)) E (g(x)) = 0

y por lo tanto se cumple la condición de consistencia de Fisher. Para que se

cumpla la consistencia habrá que pedir que E (g(x)) sea una función continua
y estrictamente creciente.

1.2 Estimador de maxima verosimilitud.

El estimador de máxima verosimilitud satisface
1X
0 (xi ; ) = 0
n
con
@ log(p(x; ))
0 (x; )= (2)
@

2
Hemos mostrado que bajo las condiciones de la desigualdad de Rao-Cramer
( ; ) = E ( 0 (x; )) = 0: Luego si 0 es estrictamente monótona y continua,
tambien es fuertemente consistente. La hipótesis de continuidad y monotonici-
dad pueden relajarse. También la consistencia fuerte es valida para el caso que
se estimen varios parámetros simultaneamente.

2 Asintótica normalidad de los M-estimadores.

Consideremos un M-estimador bn de…nido por (1)
Teorema.Supongamos que
(1) (x; ) tiene dos derivadas continuas despecto de :
(2) bn !p 0
(3)
E 0 ( 2 (x; 0 )) < 1
(4)
@ (xi ; 0)
E 6= 0
@
(5) Existe " > 0 y (x) tal que

@ 2 (xi ; 0)
sup (x)
j 0j " @ 2

y
E( (x)) < 1
Luego se tiene que

A( ; 0 )
n1=2 ( bn 0) !N 0;
B2( ; 0)
donde
2
A( ; ) = E ( (x; ))
y
@ (x; )
B( ; ) = E (3)
@
Demostracion
Tenemos
n
X
(xi ; bn ) = 0
i=1

y luego desarrollando en serie de Taylor en el punto 0 se tiene

n n
! n
! n
!
X X X @ (x ; ) 1 X @ 2 (xi ; n)
(xi ; bn ) = ( bn 0 )+ ( bn
i 0 2
0= (xi ; 0 ) + 0)
i=1 i=1 i=1
@ 2 i=1
@ 2

3
Por lo tanto
n
" n
! n
! !#
X X @ (xi ; 0) 1 X @ 2 (xi ; n)
(xi ; 0) = + ( bn 0) ( bn 0)
i=1 i=1
@ 2 i=1
@ 2

y por lo tanto
Pn
(xi ; 0 )
( bn 0) = P i=1
bn Pn
n @ (xi ; 0) @ 2 (xi ; n)
i=1 @ + 2
0
i=1 @ 2

y
1=2
Pn
n (xi ; 0)
n 1=2
( bn 0) = Pn
i=1
Pn @ 2 (xi ;
1
n i=1
@ (xi ;
@
0)
+ 1
2n i=1 @ 2
n)
( bn 0)

An
= (4)
Bn + Cn
donde
n
X
1=2
An = n (xi ; 0)
i=1
n
!
1 X @ (xi ; 0)
Bn =
n i=1
@
y !
bn Xn
0 @ 2 (xi ; n)
Cn =
n i=1
@ 2
Vamos a mostrar que
An !D N (0; A( ; 0 ); (5)
Bn ! B( ; 0) c.s. (6)
y
Cn !P 0 (7)
Comencemos mostrando (5). Esto se deduce inmediatamente del Teorema
Central del Límite observando que

E 0( (xi ; 0 )) = 0; var 0 ( (xi ; 0 )) = A( ; 0)

Por otro lado (6) se deduce inmediatamente de la ley fuerte de los grandes
números.

Llamemos
n
1 X @ 2 (xi ; n)
Dn =
n i=1 @ 2

4
Sea Un = fj bn j "g y sea h = E( (x)):
Llamemos Unc al complemento de Un : Luego

P (Dn h + 1) = P (fDn h + 1g \ Un g + P (fDn h + 1g \ Unc )

P (Fn h + 1) + P (Unc )

Por la ley de los grandes números Fn ! h = h c.s. Como además j n 0j

j bn 0 j, cuando ocurre Un se tiene que j n 0j " y entonces Dn Fn ; ;
resulta
P (Fn h + 1) ! 0
y por la hipótesis 2 se obtiene

P (Unc ) ! 0

Luego
P (Dn h + 1) ! 0 (8)
Luego dado >0

fjCn j > g fDn h + 1g [ fj bn 0j =(h + 1)g

y por lo tanto

P (jCn j > ) P (Dn h + 1) + P (j bn 0j =(h + 1))

Usando (8) y la hipótesis (5) se tiene

P (Cn > ) ! 0

y por lo tanto (7) se cumple

De (4) (5), 6) y (7) por Slutzky resulta que

A( ; 0 )
n1=2 ( bn 0) !N 0;
B2( ; 0)

2.1 Estimadores basados en momentos

Apliquemos el teorema a los estimadores basados en momentos.

Luego las hipotesis se transforman en

(1) E g(x; ) tiene dos derivadas continuas despecto de :
(2) bn !p 0
(3)
E 0 (g 2 (x)) < 1
(4)
@g(xi ; 0)
E 6= 0
@

5
 (5) Existe " > 0 tal que

@ 2 E (g(x))
sup 1
j 0j " @ 2 = 0

En este caso
@g(xi ; 0)
A( ; ) = var (g(x)); B( ; ) = E
@

2.2 Estimador de máxima verosimilitud

En el caso del estimador de máxima verosimilitud se tiene que = 0 dada

por 2) y luego
A( 0 ; ) = I( )

El siguiente teorema muestra quien es B( 0 ; )

Teorema. Si se cumplen las hipótesis de Rao Cramer entonces B( 0; )=
I( ):
Demostración. Tenemos que

E ( 0 (x; ))=0
es decir Z
log(p(x; )
IS (x) p(x; )dx = 0
@
donde S = fx : p(x; ) > 0g: Derivando nuevamente dentro de la integral se
tiene
Z 2 Z
log(p(x; ) log(p(x; ) @p(x; )
IS (x) p(x; )dx + IS (x) dx = 0 (9)
@ @ @
Luego
Z Z 2
log(p(x; ) @p(x; ) log(p(x; )
IS (x) dx = IS (x) p(x; )dx
@ @ @
!
2
log(p(x; )
=E
@
= I( )

y reemplazando en (9) se obtiene

Z 2
log(p(x; )
IS (x) p(x; )dx = I( )
@

6
y luego

@ (x; 0 )
B( 0; )=E
@
Z 2
log(p(x; )
= IS (x) p(x; )dx
@
= I( )

Esto demuestra el Teorema.

Corolario. Bajo las condiciones 1-5 y las hipotesis de Rao Cramer, el

estimador de máxima verosimilitud bn satisface

1
n1=2 ( bn 0) !N 0;
I( )

El siguiente Teorema muestra que cualquier otro M-estimador tiene una

varianza mayor que el estimador de máxima verosimilitud.

Teorema. Supongamos que se cumplan las condiciones de Rao Cramer.

Luego
(a) si bn es un M-estimador entonces

A( ; )
I( )
B2( ; )

(b). La igualdad se cumple si bn coincide es el M-estimador correspondiente

a (x; ) tal que
P ( (x; ) = 0 (x; )) = 1

y luego bn coincide con probabilidad 1 con el estimador de máxima verosimil-

itud
Demostración. Como
Z
E ( (x; )) = IS (x) (x; )p(x; )dx = 0

derivando se obtiene
Z Z
@ (x; 0) @p(x;
IS p(x; )dx + IS (x) (x; ) dx = 0
@ @

7
 @ (x; 0 )
B( ; ) = E
@
Z
@ (x; 0 )
= IS p(x; )dx
@
Z
@p(x; )
= IS (x) (x; ) dx
@
Z
@ log p(x;
= IS (x) (x; ) p(x; )dx
@
Z
IS (x) (x; ) 0 (x; )p(x; )dx

Como E ( (x; )) = E ( 0 (x; )) = 0; se tiene

B( ; ) = cov ( (x); 0 (x))

y por la desigualdad de Cauchy-Schwarz se tiene

B2( ; ) var ( (x))var ( 0 (x))

Pero como var ( (x)) = A( ; ) y var ( 0 (x)) = I( ) se tiene

B2( ; ) A( ; )I( )

y luego
A( ; )
I( )
B2( ; )
Esto prueba (a)
Para probar (b) observemos que la igualdad se cumple si y solo si

P ( (x) = A( ) 0 (x) + B( )) = 1

Pero como

E (A( ) 0 (x) + B( )) = A( )E ( 0 (x)) + B( )

= B( ) = 0

Resulta que B( ) = 0: Pero es inmediato que A( ) 0 (x) de…ne el mismo esti-

mador que 0 (x): Luego bn coincide con el estimador de máxima verosimilitud
con probabilidad 1.