P. 1
Cota_Cramer-Rao

Cota_Cramer-Rao

|Views: 200|Likes:

More info:

Published by: Kiltro Nicholas Monsarrat on Jan 17, 2012
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

10/13/2012

pdf

text

original

Criterios de estimación.

Cota de Cramer-Rao (I)
• La Cota de Cramer-Rao permite obtener la mínima varianza de cualquier estimador insesgado de un parámetro determinista y comprobar si se satisface para todos los valores del parámetro desconocido. • Relación entre varianza, precisión del estimador y fdp:
Cuanto mayor sea la dependencia de la fdp con el parámetro a estimar más fiable será la estima. Ej: X[0] = θ+η[0]; η[0] = N(0, σ2); θˆ = x[0] ⇒ var(θˆ) = σ 2 (la precisión del estimador decrece con ↑ σ )

Curso de doctorado: Decisión, estimación y clasificación. Autor: José Luis Alba Castro. Departamento de Teoría de la Señal y Comunicaciones.

Cota de Cramer-Rao (I) Cuanto más “picuda” es la función de verosimilitud más precisa puede ser la estima del parámetro desconocido Curso de doctorado: Decisión. . Departamento de Teoría de la Señal y Comunicaciones. estimación y clasificación. Autor: José Luis Alba Castro.Criterios de estimación.

Departamento de Teoría de la Señal y Comunicaciones. Cota de Cramer-Rao (II) • Una medida de la precisión del estimador es el negativo de la derivada segunda de la función de verosimilitud. una medida más adecuada es tomar la esperanza. estimación y clasificación. . Autor: José Luis Alba Castro.θ ) ⎫ − E⎨ ⎬ ∂θ 2 ⎩ ⎭ Curso de doctorado: Decisión.Criterios de estimación. Ej: pi ( x[0].θ ) − ∂θ 2 • Como la segunda derivada puede depender del dato.θ ) 1 = 2 ( x[0] − θ ) ⇒ − = 2 ∂θ ∂θ 2 σi σi ˆ var(θ ) = σ i = 2 1 ∂ 2 ln pi ( x[0]. reconociendo así que X[0] es una variable aleatoria: ˆ var(θ ) = 1 ⎧ ∂ 2 ln pi ( x[0].θ ) 1 ∂ 2 ln pi ( x[0].θ ) = ⎤ ⎡ 1 1 exp⎢− ( x[0] − θ )2 ⎥ ⇒ 2 2σ i 2π σ i ⎦ ⎣ ∂ ln pi ( x[0].

Autor: José Luis Alba Castro.θ ) ˆ ˆ = [θ − θ ]I (θ ) ⇒ var(θ ) = ∂θ I (θ ) ˆ (Nota: en este caso la estima máximo verosimil es igual al propio parámetro: θ ML ( x ) = θ ) Derivando de nuevo obtenemos: ⎡∂2 ln p(x. Cota de Cramer-Rao (III) • Expresión de la Cota de Cramer-Rao: var(ˆ) ≥ θ 1 1 = ⎧∂2 ln p(x.θ ) ∂I (θ ) ˆ = −I (θ ) + ≡ [θ −θ ] ⇒ I (θ ) = −E⎢ para los datos x ∂θ 2 ∂θ ∂θ 2 ⎥ ⎣ ⎦ La información de Fisher es mayor cuanto menor es la Cota de Cramer-Rao. estimación y clasificación.θ ) ⎫ ⎧⎛ ∂ ln p(x. .θ ) ⎤ información de Fisher ∂2 ln p(x.θ ) ⎞2 ⎫ ⎪ ⎪ − E⎨ ⎬ E⎨⎜ ⎟⎬ 2 ⎩ ∂θ ⎭ ⎪⎝ ∂θ ⎠⎪ ⎭ ⎩ Demostración θˆ es un estimador EFICIENTE de θ si : 1 ∂lnp( x. La información de Fisher cumple las propiedades de las medidas de información: • Es no negativa • Es aditiva para observaciones independientes Curso de doctorado: Decisión.Criterios de estimación. Departamento de Teoría de la Señal y Comunicaciones.

θ ) ˆ) ≥ σ = − 2 ⇒ var(θ N ∂θ 2 σ la media muestral x es un MVU eficiente la cota de Cramer-Rao para N observaciones i.d. es N veces inferior a la de una observación.i.d. estimación y clasificación. Departamento de Teoría de la Señal y Comunicaciones. como se deduce de la información de Fisher. 1 ∂2 ln p(x[0].i. la información de Fisher es N veces superior a la de una observación (propiedad aditiva) Curso de doctorado: Decisión.i. η[0] = N(0.θ ) = ( 1 2π σ ) N ⎤ ⎡ 1 N −1 exp⎢− 2 ∑( x[n] − θ )2 ⎥ ⇒ ⎦ ⎣ 2σ n=0 N ∂ ln p( x.θ ) 1 N −1 ˆ = 2 ∑( x[n] − θ ) = 2 ( x − θ ) = I (θ )(θ − θ ) ∂θ σ n=0 σ 2 N ∂2 ln p( x.θ ) 1 ⎡ 1 2⎤ = − 2 ⇒ var(ˆ) ≥ σ 2. Autor: José Luis Alba Castro.d. N(0.θ ) = ∂θ 2 σ 2πσ ⎣ 2σ ⎦ ˆ θ si θ = x[0]⇒ var(ˆ) = σ 2 es el estimador de mínima varianza y es eficiente Ejemplo: x[n] = θ+η[n]. η[n] = i.Ejemplo: x[0] = θ+η[0]. Ejercicio: 12) Demostrar que para N observaciones i. θ exp⎢− 2 ( x[0] −θ ) ⎥ ⇒ p(x[0]. σ2). σ2). p( x. .

θ ) ⎞ ⎤ = 2 ∑ ⎢( x[n] − s(n. Autor: José Luis Alba Castro.θ ) ⎞ ˆ E⎢ ⎥ = − σ 2 ∑ ⎜ ∂θ ⎟ ⇒ var(θ ) ≥ 2 ∂θ ⎠ n =0 ⎝ ⎣ ⎦ 2 σ2 ⎛ ∂s(n. .θ ) + η[n].θ ) ⎛ ∂s(n.d .θ ) ) ⎥ ⎣ 2σ n=0 ⎦ 2 ∂ 2 ln p( x.θ ) ) −⎜ ⎟ ⎥ ∂θ 2 ∂θ 2 σ n =0 ⎢ ⎝ ∂θ ⎠ ⎥ ⎣ ⎦ ⎡ ∂ 2 ln p( x.θ ) = η[n] ≡ i. Cota de Cramer-Rao (IV) • Cota de Cramer-Rao para señales en ruido blanco: X [n] = s(n. estimación y clasificación. σ 2 ) ( 1 2π σ ) N ⎡ 1 N −1 2⎤ exp⎢− 2 ∑ ( x[n] − s(n.θ ) 1 N −1 ⎡ ∂ 2 s(n. más precisión pueden alcanzar los estimadores Curso de doctorado: Decisión.θ ) ⎤ 1 N −1 ⎛ ∂s(n.θ ) ⎞ ∑ ⎜ ∂θ ⎟ ⎠ n =0 ⎝ N −1 2 Cuanto más sensible es la señal respecto al parámetro. Departamento de Teoría de la Señal y Comunicaciones. N (0.i.Criterios de estimación. p( x.

Ejemplo: estimación de frecuencia. estimación y clasificación. X[n] = s[n. . Curso de doctorado: Decisión.θ]+η[n] = Acos(2πf0n + φ) + η[n] 0 < f0 <1/2 ˆ var(f0) ≥ σ2 A ∑(2πn sen(2πf0n +φ)) 2 n=0 N−1 2 Ejercicio: 13) Encontrar la cota de Cramer-Rao para un estimador de la fase φ de la sinusoide en ruido.Verificar que no existe un estimador eficiente. Autor: José Luis Alba Castro. Departamento de Teoría de la Señal y Comunicaciones.

Θ) = I (Θ) Θ − Θ [ ] Curso de doctorado: Decisión. . estimación y clasificación. definida como: ⎡ ∂ 2 ln p( x. Dado el vector de parámetros Θ = [θ1θ2 Lθ P ] T la cota de CR impone la varianza mínima para los estimadores del parámetro θi : var(ˆi ) ≥ I −1(Θ) ii θ [ ] ó CΘ = I −1(Θ) ˆ I(Θ) es la matriz de información de Fisher (PxP). Autor: José Luis Alba Castro. Θ) ⎤ [I (Θ)]ij = − E ⎢ ⎥ ∂θi ∂θ j ⎥ ⎢ ⎣ ⎦ El mínimo CΘ= I-1(Θ) se alcanza si y solo si: ˆ ∇Θ ln p( x. Cota de Cramer-Rao (V) • Extensión a un vector de parámetros.Criterios de estimación. Departamento de Teoría de la Señal y Comunicaciones.

Departamento de Teoría de la Señal y Comunicaciones. Θ ) ⎤ ⎢− E ⎢ ⎥ ∂A2 ⎣ ⎦ I ( Θ) = ⎢ 2 ⎢ ⎡ ∂ ln p ( x . η[n] = i. A y σ2 desconocidos: Θ = [A σ 2 ]T ⎡ ⎡ ∂ 2 ln p ( x .Ejemplo: X[n] = Α+η[n]. Veamos otro ejemplo: Curso de doctorado: Decisión. θ ) = − ln( 2π ) − ln(σ 2 ) − 2 2 2σ 2 ∂ 2 ln p ( x . θ ) 1 =− 4 2 σ ∂A ∂ (σ ) ∑ ( x [ n ] − A) ∂ 2 ln p ( x . pero no siempre es así. σ2). θ ) N =− 2. N(0.i. . Θ ) ⎤ ⎢ − E ⎢ ∂σ 2 ∂A ⎥ ⎣ ⎦ ⎣ ⎡ ∂ 2 ln p ( x . Θ ) ⎤ ⎤ − E⎢ ⎥⎥ 2 ⎣ ∂A ∂σ ⎦⎥ 2 ⎡ ∂ ln p ( x . Autor: José Luis Alba Castro. Θ ) ⎤ ⎥ − E⎢ ⎥⎥ 2 2 ⎣ ∂ (σ ) ⎦⎦ N N 1 ln p ( x . θ ) N 1 = − 6 ∂ (σ 2 ) 2 2σ 4 σ ∑ ( x [ n ] − A) n =0 N −1 2 Tomando esperanzas y cambiando de signo: ⎡N ⎢ 2 I ( Θ) = ⎢ σ ⎢ 0 ⎣ ⎤ ˆ σ 0 ⎥ var( A) ≥ N ⎥⇒ N 2σ 4 2 ⎥ var(σ ) ≥ ˆ 2σ 4 ⎦ N 2 La cota de CR para  es la misma que en el caso de σ2 conocida debido a que I(Θ) es diagonal. estimación y clasificación.d. 2 σ ∂A ∑ ( x [ n ] − A) n =0 N −1 n =0 N −1 2 ⇒ ∂ 2 ln p ( x.

Θ) = 2 ∑( x[n] − A − Bn)n . Autor: José Luis Alba Castro.Ejemplo: ajuste lineal. Θ) = − 2 ∑n ∂A∂B σ n=0 N(N −1) ⎤ ⎡ N ⎥ 1⎢ 2 Como las derivadas de 2º orden no dependen de x: I (Θ) = 2 ⎢ σ ⎢ N(N −1) N(N −1)(2N −1) ⎥ ⎥ 6 ⎣ 2 ⎦ 2 −6 ⎤ ⎡ 2(2N −1) ˆ ) ≥ σ 2(2N −1) ⎢ N(N +1) N(N +1) ⎥ var(A N (N +1) I −1(Θ) = σ 2 ⎢ ⎥⇒ 2 −6 12 ⎥ 12 ⎢ ˆ) ≥ σ var(B 2 ⎢ N (N 2 −1) ⎣ N(N +1) N(N −1) ⎥ ⎦ Curso de doctorado: Decisión. Departamento de Teoría de la Señal y Comunicaciones. η[n] = i. Θ) N = 2 ∑( x[n] − A − Bn) . Θ) 1 N−1 ∂2 ln p( x.i. σ2): Θ = [A B]T ⎡ 1 N −1 ⎤ p( x. X[n] = Α+B[n] + η[n]. Θ) 1 N−1 ∂2 ln p( x. estimación y clasificación. =− 2 .d. . N(0. = − 2 ∑n 2 ∂B ∂B σ n=0 σ n=0 1 N−1 ∂2 ln p( x. Θ) = exp⎢− 2 ∑ ( x[n] − A − Bn)2 ⎥ (2πσ 2 ) N / 2 ⎣ 2σ n=0 ⎦ 1 ∂ ln p( x. ∂A ∂A2 σ n=0 σ 1 N−1 2 ∂ ln p( x.

. Curso de doctorado: Decisión. se propone como tarea hacer un script que permita hacer un ajuste lineal a tramos de la curva mediante estimadores como los de este ejemplo. Departamento de Teoría de la Señal y Comunicaciones. Θ) = 2 ⎢ σ ⎢ N ( N − 1) 2 ⎣ N −1 N ( N − 1) ⎤ ˆ ⎥⎛ A − A ⎞ 2 ⎟ ⎜ N ( N − 1)( 2 N − 1) ⎥⎜ B − B ⎟ ˆ ⎠ ⎥⎝ 6 ⎦ ˆ ˆ (x[n ] − A − Bn ) = N (A − A) + N ( N − 1) (B − B ) ∑ ⎫ ⎪ 2 ⎪ n =0 ⎬⇒ N −1 N ( N − 1) ˆ N ( N − 1)( 2 N − 1) ˆ B−B ⎪ ∑ (x[n ] − A − Bn )n = 2 A − A + ⎪ 6 ⎭ n =0 ( ) ( ) N −1 6 ⎧ ˆ 2( 2 N − 1) N −1 ⎪ A = N ( N + 1) ∑ x[n ] − N ( N + 1) ∑ nx[n ] ⎪ n =0 n =0 ⇒⎨ N −1 N −1 6 12 ˆ ⎪B = ∑ x[n ] − N ( N 2 − 1) ∑ nx[n ] ⎪ N ( N + 1) n =0 n =0 ⎩ – Tarea 2) A partir del script básico de Matlab (en la web el curso) que genera una simulación de la curva IBEX35.Veamos ahora si existe un estimador eficiente para: Θ = [A B]T ⎡ N 1 ⎢ ∇Θlnp( x. estimación y clasificación. Autor: José Luis Alba Castro.

ya que su cota decrece como 1/N3 sin embargo la de A decrece como 1/N. estimación y clasificación.Ejemplo: (continuación) Observaciones: •B es más fácil de estimar que A. Departamento de Teoría de la Señal y Comunicaciones. ∀N ≥ 3 ˆ 6 CRLB ( B ) •La cota de CR para  es mayor que si B fuese conocido. . Esto indica que X[n] es más sensible a cambios en B que en A: ˆ CRLB ( A) ( 2 N − 1)( N − 1) = > 1. Autor: José Luis Alba Castro. demostrar que: [I −1 (Θ ) ] ii ≥ 1 [I ( Θ ) ]ii ¿cuándo se cumple la igualdad? Curso de doctorado: Decisión. Ejercicio: 14) Para una matriz de información de Fisher 2x2 definida positiva. En general la cota de CR aumenta cuando se estiman más parámetros (ver ejemplo anterior).

θ ) ∂p( x.Rao ⎧⎡ ∂ ln p( x.θ )dx ≥ 1 ⇒ ∫−∞ ⎢ ∂θ ⎥ −∞ ⎣ ⎦ 2 1 ˆ ˆ ⇒ var(θ ) = E θ − θ θ ≥ ⇒ Cota de Cramer .θ )dx = 0 −∞ ∞ ∞ [ ] [ ] ∂ ∫ [θˆ − θ ]p( x.θ )dx = ∫ ∂θ −∞ ∞ ∞ ∂p( x. .θ ) ˆ 1 ˆ ˆ ⇒ Igualdad cuando : = θ − θ I (θ ) ⇒ var(θ ) = ( I (θ ) no depende de x ni de θ ) ∂θ I (θ ) ∞ [ ] {[ ] } [ ] Curso de doctorado: Decisión.θ ) ⎤ ˆ p( x.θ ) ∂ ˆ ˆ θ − θ p( x.θ )dx + ∫ θ − θ dx −∞ ∂θ −∞ −∞ ∂θ {[ ] [ ] ∞ ∂ ln p( x. Departamento de Teoría de la Señal y Comunicaciones.θ )}dx = −∫ p( x.θ ) θ −θ dx = 1 ∫−∞ ∂θ −∞ ∂θ ∞ [ ] 2 [ ] Y utilizando la desigualdad de Cauchy-Schwarz: ∞ 2 ⎡ ∂ ln p( x. Autor: José Luis Alba Castro.Criterios de estimación. Cota de Cramer-Rao (demostración) • Para comprobar la efectividad de un estimador insesgado se puede calcular una cota inferior y verificar cuanto se acerca a la misma: ∞ ˆ ˆ E θ − θ = 0 = ∫ θ − θ p( x.θ ) ⎤ 2 ⎫ ⎪ ⎪ E ⎨⎢ ⎥ θ⎬ ∂θ ⎪⎣ ⎦ ⎪ ⎩ ⎭ ∂ ln p( x.θ )dx * ∫ θ − θ p( x.θ ) ˆ ˆ θ −θ dx = ∫ p(x. estimación y clasificación.

θ ) ∂p( x.θ )dx = 0 −∞ −∞ ∂θ ∂θ ∞ 2 ∞ ⎡ ∂ ln p( x.θ ) dx = ∫ p( x.θ ) ⎯⎯⎯ → ∫ ⎯ p( x.θ )dx = 0 −∞ −∞ ∂θ 2 ∂θ ⎣ ⎦ derivando ⎡⎡ ∂ ln p( x.Criterios de estimación.θ ) ⎤ ⇒ E⎢ θ ⎥ = − E ⎢⎢ ⎥ θ⎥ ∂θ 2 ∂θ ⎦ ⎥ ⎢⎣ ⎣ ⎦ ⎦ ⎣ 1 ˆ ⇒ var(θ ) ≥ − ⎡ ∂2 ln p( x. . Departamento de Teoría de la Señal y Comunicaciones. estimación y clasificación. Cota de Cramer-Rao (demostración) • Una expresión alternativa para la Cota de CR surge notando que: ∫ ∞ −∞ p( x.θ )dx = 1 ⎯derivando→ ∫ ⎯⎯ ⎯ ∞ ∞ ∂ ln p( x.θ ) ⎤ ∂ 2 ln p( x. Autor: José Luis Alba Castro.θ ) ⎤ E⎢ θ⎥ ∂θ 2 ⎣ ⎦ Curso de doctorado: Decisión.θ ) ⎤2 ⎤ ⎡ ∂2 ln p( x.θ )dx + ∫ ⎢ ⎥ p( x.

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->