ESTADSTICA Y PROBABILIDAD REN ZIGA FLORES

DEPARTAMENTO DE MATEMTICA UNIVERSIDAD DE ANTOFAGASTA

PRINCIPIO DE MXIMA VEROSIMILITUD Como introduccin consideremos un problema sencillo de estimacin. Supongamos que una urna contiene cierto nmero de bolas negras y bolas blancas, y admitimos que se sabe la razn de los nmeros de ambos colores es de tres es a uno, pero no se conoce si las ms numerosas son las bolas 1 3 blancas o las negras. Esto es, la probabilidad de sacar una bola negra es un o . Si se extraen de 4 4 la urna, con reemplazamiento, la distribucin del nmero de bolas negras x es la binomial:

n f ( x; p) = p x q n x x

x = 0, 1, 2, ..., n 1 3 p= , 4 4

donde q = 1 p y p es la probabilidad de extraer una bola negra. Extraeremos una muestra de tres bolas con reemplazamiento, tratando de estimar el parmetro desconocido p de la distribucin. El problema de estimacin resulta especialmente sencillo en este caso, ya que solo tenemos que elegir entre los nmeros 0,25 y 0,75. Vamos anticipar el resultado de la extraccin de la muestra. A continuacin mostraremos los nmeros que pueden obtenerse y sus probabilidades en las dos posibilidades consideradas: 0 1 2 3 x 1 9 27 27 3 f ( x; ) 64 64 64 64 4 27 27 9 1 1 f ( x; ) 64 64 64 64 4 Supongamos que obtenemos x = 0 (extraer una bola negra y no sea negra) en una muestra de tamao

27 1 superior a ; esto 64 64 1 es, porque es ms probable obtener una muestra con x = 0 si la poblacin tiene p = , que si tiene 4 3 p = . En general, tomaremos como estimacin de p 0,25 si x = 0 1, y 0,75 si x = 2 3. El 4
3, preferimos la estimacin 0,25 a la 0,75 para p , por ser la probabilidad estimador puede definirse as:

0, 25 p( x) = 0, 75

x = 0, 1 x = 2, 3

p , tal que Por tanto, se toma como estimacin para cada x el valor de p , o sea f ( x; p) > f ( x; p ') siendo p ' el otro valor posible de p .

ESTADSTICA Y PROBABILIDAD REN ZIGA FLORES

DEPARTAMENTO DE MATEMTICA UNIVERSIDAD DE ANTOFAGASTA

Con mayor generalidad, si fuesen posibles varios valores de p , podramos proceder razonablemente del mismo modo. As, si obtenemos x = 6 en una muestra de 25 de una poblacin binomial, sustituiremos todos los valores posibles de p en la expresin

25 f (6; p ) = p 6 (1 p )19 6

0 p 1
f (6; p ) . Dado que no tenemos

Eligiendo como estimacin el valor de p que hace mxima

informacin con respecto a la proporcin como debe ser p , entonces para determinar el valor mximo para p debemos calcular la derivada con respecto a p e igualarla a cero y resolviendo la ecuacin en p resultante. As se obtiene

df (6; p) 25 6 = p 19(1 p)18 (1) + 6 p 5 (1 p )19 dp 6 25 = p 5 (1 p )18 [ 6(1 p ) 19 p ] 6

Luego

25 df (6; p) = 0 p 5 (1 p)18 [ 6(1 p) 19 p ] = 0 dp 0 p 5 (1 p )18 [ 6(1 p ) 19 p ] = 0 p5 = 0

18

p=0 p =1 p= 6 25

(1 p) = 0 1 p = 0

6(1 p ) 19 p = 0 6 6 p 19 p = 0
Como podemos observar los posibles valores de p son 0, 1,

6 . Las dos primeras dan un mnimo y la 25

6 estimacin es, por tanto . Esta estimacin cumple la propiedad p= 25

f (6; p) > f (6; p ')

En donde p ' es cualquier otro valor de p del intervalo 0 p 1 . Supongamos un segundo caso. El desborde de ros y lagos es un fenmeno natural que a veces tiene devastadoras consecuencias. Supngase que en cierto ao hubo dos serias inundaciones, por este fenmeno, en determinada regin geogrfica. Si se supone que el nmero de inundaciones por ao en esta localidad es una variable aleatoria de Poisson con un valor del parmetro , desconocido, cmo debe procederse para estimar el valor de con base en una sola observacin x = 2 ?. Un posible mtodo es seleccionar el valor de para el cual la probabilidad del valor observado es mxima. Es posible, para el valor observado, que sea cualquier nmero positivo. Para propsitos de

ESTADSTICA Y PROBABILIDAD REN ZIGA FLORES

DEPARTAMENTO DE MATEMTICA UNIVERSIDAD DE ANTOFAGASTA

presentacin, supngase que los posibles valores de son 1,

el valor observado x = 2 para cada uno de estos valores de se muestran a continuacin: Como la funcin de Poisson es

3 5 , 2, y 3 . Las probabilidades para 2 2

P ( x; ) =
Entonces para x = 2 nos queda as:

x exp( )
x!

x>0

P (2; ) =

2 exp( )
2! 3 2
2

p (2; )

5 2

0,1839 0,2510 0,2707 0,2565 0,2240

Aparentemente p (2; ) crece hasta un valor mximo de 0,2707 para = 2 , y disminuye para > 2 . Por tanto el valor de = 2 es el que maximiza la probabilidad del valor observado. En otras palabras, la observacin x = 2 tiene una probabilidad mayor de ocurrencia para una distribucin de Poisson con = 2 que para cualquier otro valor del parmetro . Como podemos observar el razonamiento anterior es muy subjetivo dado que nos hemos dado los valores para el parmetro , pero por otra parte si la funcin de Poisson cuando x = 2 es

P(2; ) =

2 exp( )
2!

2 exp( )
2

Derivando con respecto a e igualndola cero se tiene:

dP(2; ) 1 exp( ) 2 exp( ) + 2 exp( ) = = (2 ) d 2 2 dP (2; ) exp( ) =0 (2 ) = 0 = 0 ; = 2 d 2

Calculando la segunda derivada se obtiene la siguiente

d 2 P(2; ) 2 = exp( ) 1 2 + d 2 2
Evaluando en = 2 se obtiene exp( ) < 0 . De esta forma, el valor = 2 maximiza la funcin de probabilidad cuando x = 2 . Este valor recibe el nombre de estimador de mxima verosimilitud. En esencia, el mtodo de estimacin por mxima verosimilitud, selecciona como estimador a aqul valor del parmetro que tiene la propiedad de maximizar el valor de la probabilidad de la muestra aleatoria observada. En otras palabras, el mtodo de mxima verosimilitud consiste en encontrar el valor del parmetro que maximiza la funcin de verosimilitud.

ESTADSTICA Y PROBABILIDAD REN ZIGA FLORES

DEPARTAMENTO DE MATEMTICA UNIVERSIDAD DE ANTOFAGASTA

FUNCIN DE VEROSIMILITUD Definicin: La funcin de verosimilitud de n variables aleatorias x1 , x2 , ..., xn es la densidad conjunta de las n variables g ( x1 , x2 ,..., xn ); ) , la cual se supone tambin funcin de . En particular, si x1 , x2 , ..., xn es una muestra aleatoria de la densidad f ( x; ) , la funcin de verosimilitud es

g ( x1 , x2 ,..., xn ); ) = f ( x1 ; ) f ( x2 ; ) f ( x3 ; ) ... f ( xn ; )
Definicin: Estimador mximo-verosmil. Sea L( ) = g ( x1 , x2 , x3 ,..., xn ; ) la funcin de verosimilitud

(donde = d ( x , x , x , ..., x ) ) es el valor en que para las variables aleatorias x1 , x2 , ..., xn . Si 1 2 3 n , o ms exactamente, d ( x , x , x , ..., x ) , es entonces el estimador mximohace mxima L ( ) , 1 2 3 n
verosmil de . Los casos ms importantes que se considerarn son aquellos en los que x1 , x2 , ..., xn es una muestra aleatoria de una densidad f ( x; ) y, por tanto, la funcin de verosimilitud es

L( ) = f ( x1 ; ) f ( x2 ; ) f ( x3 ; ) ... f ( xn ; )
Muchas funciones de verosimilitud satisfacen condiciones de regularidad, de modo que el estimador mximo-verosmil es la solucin de la ecuacin

L ( ) y log [ L( )] toman su mximo para el mismo valor de , y algunas veces resulta ms fcil
hallar el mximo del logaritmo de la verosimilitud. Si la funcin de verosimilitud contiene k parmetros, es decir, si

dL( ) =0 d

L(1 , 2 , ..., k ) =

f ( x ; , , ..., )
i 1 2 k

Los estimadores mximo-verosmil de los parmetros 1 , 2 , 3 , ..., k son las variables aleatorias

= d ( x , x , x , ..., x ) ; 1 1 1 2 3 n

= d ( x , x , x , ..., x ) ; 2 2 1 2 3 n

= d ( x , x , x , ..., x ) ;; = d ( x , x , x , ..., x ) , 3 3 1 2 3 n k k 1 2 3 n

, , , ..., son los valores en que hacen mxima a L( , , ..., ) . donde 1 2 3 k 1 2 k

Si se satisfacen ciertas condiciones de regularidad, el punto en que la verosimilitud es mxima es una solucin del sistema de k ecuaciones

L(1 , 2 , ..., k ) =0 1

L(1 , 2 , ..., k ) =0 2

L(1 , 2 , ..., k ) =0 3

,...,

L(1 , 2 , ..., k ) =0 k

Tambin en este caso puede ser ms fcil trabajar con el logaritmo de la verosimilitud.

ESTADSTICA Y PROBABILIDAD REN ZIGA FLORES

DEPARTAMENTO DE MATEMTICA UNIVERSIDAD DE ANTOFAGASTA

Ejemplo 1: Sea X una variable aleatoria de Bernoulli. La funcin de probabilidad es

p x (1 p)1 x f X ( x; p) = 0

x = 0, 1 c.o.c

Donde p es el parmetro a estimar. Determine el estimador mximo verosmil con una muestra aleatoria de n observaciones de X . Solucin: La funcin de verosimilitud es definida por L( ) = f ( x1 ; ) f ( x2 ; ) f ( x3 ; ) ... f ( xn ; ) , si hacemos = p se obtiene lo siguiente:

L( p) = p x1 (1 p)1 x1 p x2 (1 p)1 x2 ... p xn (1 p )1 xn =

i =1
n

p xi (1 p )1 xi
n

= p i =1 (1 p )
Se observa que si

xi

xi
i =1

p

maximiza

p L( p) , entonces
xi ln p + n

tambin maximiza

ln L( p ) . Por tanto,

ln L( p) =

n i =1
n

n i =1

xi ln(1 p)

Derivando esta funcin con respecto a p se tiene

n n xi xi d ln L( p ) i =1 i =1 = dp p 1 p

Al igualar a cero la expresin anterior y resolver para p , se tiene:

n n x xi i = 1 i =0 i =1 1 p p

1 p= n

x
n i =1

Entonces el estimador de mxima verosimilitud de p es

1 p= n

x
i =1

Una interpretacin del estimador obtenido anteriormente es la siguiente. Supngase que este estimador se aplica en la siguiente situacin, se eligen al azar n objetos de una lnea de produccin,

ESTADSTICA Y PROBABILIDAD REN ZIGA FLORES

DEPARTAMENTO DE MATEMTICA UNIVERSIDAD DE ANTOFAGASTA

y cada uno se clasifica como defectuoso (en cuyo caso

xi = 1 )

o no defectuoso (en cuyo caso

xi = 0 ). Entonces

x
n i =1

p es la proporcin de es el nmero de objetos defectuosos en la muestra, y

objetos defectuosos en la muestra. El parmetro p es la proporcin de objetos defectuosos en la p como a un estimador de p . poblacin; de manera intuitiva parece razonable utilizar
Si bien la interpretacin de la funcin de verosimilitud dada anteriormente est confinada al caso de una variable aleatoria discreta, el mtodo de mxima verosimilitud puede extenderse con facilidad a una distribucin continua. Ejemplo 2: Sea X una variable aleatoria con distribucin normal, con desconocida y varianza 2 conocida. La funcin de probabilidad es dada por:
1 f ( x; ) = e 2 ( x )2 2 2

< x <

La funcin de verosimilitud de una muestra de tamao n es

L( ) = =

i =1

1 e 2 n 2 2 1 2

( xi ) 2 2 2

1 (2 )

( xi )2
i =1

Aplicando logaritmo a la funcin de verosimilitud se tiene:

n 1 ln L( ) = ln(2 2 ) 2 2 2
Derivando con respecto a

(x )
n i i =1

e igualando a cero se tiene:

d ln L( ) 1 = 2 d

(x ) = 0
n i i =1

1 = n

x
n i =1

Por tanto el estimador mximo verosmil para

con varianza conocida es

=

1 n

x = X
n i i =1

ESTADSTICA Y PROBABILIDAD REN ZIGA FLORES

DEPARTAMENTO DE MATEMTICA UNIVERSIDAD DE ANTOFAGASTA

Por tanto la media muestral es el estimador mximo verosmil de

Ejemplo 3: (Ejercicio 2 Taller N 7) Sea X una variable aleatoria continua con la siguiente funcin de densidad

e ( x a ) f X ( x) = 0
a) b)

xa c.o.c

Si a es una constante conocida, determine el estimador mximo verosmil de muestra aleatoria de n observaciones de X Dada una muestra de X agrupada en la siguiente tabla: Valores de

con una

Marca de Clases ( Ci ) Frecuencias ( ni ) 2,2 20 2,6 10 3,0 5 3,4 7 3,8 28 en la muestra (Use dos cifras decimales)

Si a = 2 Solucin: a) La funcin de verosimilitud es dada por

2,0 2,4 2,4 2,8 2,8 3,2 3,2 3,6 3,6 evale el E.M.V. de

L ( ) =

( xi a )

= ne
n

( x1 a )
i =1

Calculando el logaritmo se tiene que

ln L( ) = n ln
Derivando con respecto a

( x a)
i i =1

e igualando cero se obtiene:

d ln L( ) n = d

( x a) = 0
n i i =1

1 1 n

( x a)
n i i =1

Luego el estimador mximo verosmil para

es

=

1 1 n

( x a)
n i i =1

Dado que

d 2 ln L( ) n = 2 <0 2 d
7

ESTADSTICA Y PROBABILIDAD REN ZIGA FLORES

DEPARTAMENTO DE MATEMTICA UNIVERSIDAD DE ANTOFAGASTA

Valoresde X 2 2,4 2,8 3,2 3,6 2,4 2,8 3,2 3,6

ni 20 10 5 7 28 70

Ci 2,2 2,6 3 3,4 3,8

ni(Xi - 2) 4 6 5 9,8 50,4 75,2

=

1 1 n

( x 2)
n i i =1

= 0,93085 0,93