第五章 参数估计 第 1页

第五章 参数估计

{
复习:
矩法估计 (§5.1 )

点估计
极大似然估计(§5.3)

21 May 2009 华东师范大学

第五章 参数估计 第 2页

习 题5.3/2: 设X1,X2,…Xn是取自总体X的一个样本

⎧( β + 1) x β , 0 < x <1
X ~ p ( x; β ) = ⎨
⎩ 0, 其它
则 1)矩法估计 n
βl MLE =−n/ ∑ln(Xi ) −1
i=1

2)极大似然估计 一样吗?
2X −1
βl =
1− X
M

21 May 2009 华东师范大学

第五章 参数估计 第 3页

给定样本观测值:
0.3 0.8 0.27 0.35 0.62 0.55

βl MLE = 0.2340
βl M = −0.0707

哪一个更好呢?

21 May 2009 华东师范大学

第五章 参数估计 第 4页

对于一个参数我们可以提出很多估计量
又如: 要估计男生的平均身高 μ
•可以用样本均值;

•也可以用样本中位数;

•还可以用别的统计量 .

21 May 2009 华东师范大学

第五章 参数估计 第 5页

这就需要回答以下几个问题:

(1) 我们希望一个“好的”估计量具有什么
特性？

(2) 怎样决定一个估计量是否比另一个估计
量“好”？

(3) 如何求得合理的估计量？

21 May 2009 华东师范大学

第五章 参数估计 第 6页

§5.2 点估计优劣的评价标准

评价一个估计量的好坏，不能仅仅依据一
次试验的结果，而必须由多次试验结果来衡量 .

这是因为估计量是样本的函数，是随机变量 .
因此，由不同的观测结果，就会求得不同的参数
估计值. 因此一个好的估计，应在多次试验中体现
出优良性 .

21 May 2009 华东师范大学

第五章 参数估计 第 7页

常用的几条标准是：

1．无偏性
2．有效性
3．均方误差准则
4．相合性

21 May 2009 华东师范大学

第五章 参数估计 第 8页

1．无偏性
估计量是随机变量，对于不同的样本值会得到不同的估
计值 . 我们希望估计值在未知参数真值附近摆动，而它的期
望值等于未知参数的真值. 这就导致无偏性这个标准 .
• • •• • • . •• • • • • ••

真值
设 θˆ( X 1 ," , X n ) 是未知参数 θ 的估计量，若
θ 2 θ 1
E (θˆ) = θ
无偏的

则称θˆ 为 θ 的无偏估计 .
E ( θ 2 ) θ = E ( θ 1 )
21 May 2009 华东师范大学
第五章 参数估计 第 9页

例5.2.1(P288) 样本的k阶原点矩Ak是总体原点矩 μ k
的无偏估计. 特别地,样本均值 X 是总体均值 μ
的无偏估计.

例5.2.2(P288) 设E(X)=μ,Var(X)=σ2 , 验证
n
1
S2 = ∑ i
n −1 i=1
( X − X )2

是总体X方差σ2的一个无偏估计.

21 May 2009 华东师范大学

 第五章 参数估计 第10页
n

∑( X i − X ) ∑ i
n
解: = ( X −
2 2 X i X + X
22
)
i =1 i =1
n n n
= ∑ X i − 2 X ∑ X i + nX = ∑ X i − nX 2
2 2 2

i =1 i =1 i =1

1 n n n
[ ∑ E( X i ) − nE( X )] = −
2 2
ES =
2
2 2 EX E ( X )
n − 1 i =1 n −1 n −1
n
= [Var ( X ) + ( EX ) 2 − Var ( X ) − ( EX ) 2 ]
n −1
n n Var ( X )
= [Var ( X ) − Var ( X )] = [Var ( X ) − ] =Var(X)
n −1 n −1 n

所以,S2为σ2的无偏估计量.

21 May 2009 华东师范大学

 第五章 参数估计 第11页

n
1
例5.2.2(续) 验证 S n2 = ∑ ( X i − X ) 2 不是方差的无偏估计.
n i =1
n −1 2
Sn =
2
S ,
n
n −1 2
ES =
2
n ES
n
n −1 2
= σ
n
2
所以, n 不是σ2的无偏估计量.
S

21 May 2009 华东师范大学

第五章 参数估计 第12页

一个参数往往有不止一个无偏估计, 若
θˆ1 和 θˆ2 都是参数 θ 的无偏估计量， 我们可以
比较 E (θˆ
1 − θ ) 2
和 E (θˆ
2 − θ ) 2
的大小来决定二者
谁更优 .
由于 Var (θˆ1 ) = E (θˆ1 − θ ) 2
Var (θ 2 ) = E (θ 2 − θ )
ˆ ˆ 2

所以无偏估计以方差小者为好, 这就引进了有效性
这一概念 .
21 May 2009 华东师范大学
第五章 参数估计 第13页

2．有效性
设 θˆ1 = θˆ1 ( X 1 ," , X n ) 和 θˆ2 = θˆ2 ( X 1 ," , X n )
都是参数θ 的无偏估计量，若有 θ 1
Var( θˆ )< Var(θˆ ) 1 2
更有效
θ 2
则称 θˆ1 较 θˆ2有效 .
• • •• • • . •• • • • • ••

真值
• • • • • • . • • • • • • • •

真值
绿色是采用估计量 θˆ1 ，14组样本得到的14个估计值.
红色是采用估计量 θˆ2 ，14组样本得到的14个估计值.
21 May 2009 华东师范大学
第五章 参数估计 第14页

例 设X1,X2,X3为来自总体X的简单随机样本,
EX=μ,DX=σ2,问下列μ的估计量哪个
更有效？

1 1 1 1 1
θ1 = X 1 + X 2 ,
ˆ θ2 = X1 + X 2 + X 3
ˆ
2 2 3 3 3

21 May 2009 华东师范大学

 第五章 参数估计 第15页

1 1 1 1
解 Eθ 1 = E [ X 1 + X 2 ]= EX 1 + EX 2 =EX=μ
ˆ
2 2 2 2
1 1 1 1
Var (θ1 ) = Var[ X 1 + X 2 ] = Var ( X 1 ) + Var ( X 2 )
ˆ
2 2 4 4
=Var(X)/2=σ2/2
1 1 1
同理 Eθˆ 2 = EX 1 + EX 2 + EX 3 = EX = μ ,
3 3 3
1 1 1
Var (θˆ2 ) = Var ( X 1 ) + Var ( X 2 ) + Var ( X 3 ) = σ 2 / 3,
9 9 9
所以  
 
θ1 ,θ 2 为无偏估计量, Var (θ1 ) > Var (θ 2 ) ,θ2 更有效.

21 May 2009 华东师范大学

第五章 参数估计 第16页

课堂练习

设 θˆ1, θˆ2 是参数θ 的两个独立的无偏估计，

( ) ( )
且 Var θˆ1 = 2Var θˆ2 , 找出常数 k1, k2，使得
θˆ = k1θˆ1 + k2θˆ2 也是θ 的无偏估计，
并使它在所有这种形状的估计中的方差最小.

k1= 1/3, k2 = 2/3

21 May 2009 华东师范大学

第五章 参数估计 第17页

3．均方误差准则
比较θ的两个无偏估计，采用有效性准则，比较方差的
大小, 而比较θ的两个有偏估计不能使用方差了，而是采
用均方误差（MSE）．

设 θˆ1 , θˆ2 是参数θ的两个估计量，若

MSE(θ1 ) = E(θ1 − θ ) ≤ E(θ2 − θ ) = MSE(θˆ2 )

ˆ ˆ 2 ˆ 2

且至少对一个θ0不等式严格成立,则称在均方
误差意义下 θˆ1 优于 θˆ2 .

21 May 2009 华东师范大学

第五章 参数估计 第18页

例3.2.5(P292) 比较正态方差估计的优劣：设X1,X2,…,Xn
iid~N(μ,σ2), 考查方差的三个估计:
2 1 n
σl 1 = ∑ i
n − 1 i =1
( X − X ) 2
= S 2

1 n
l
∑
2
σ2 == ( X − X ) 2

n + 1 i =1
i

1 n
l == ∑ ( X i − X ) 2
2
σ3
n i =1
1) 在MSE准则下哪一估计最优？
n
= n∑ −
*2 2
2) 令 n
S C ( X i X ) , 求在MSE准则下最优的Cn.
i =1

21 May 2009 华东师范大学

第五章 参数估计 第19页

４．相合性
随着样本容量的增大，一个好的估计应该越来越靠
近其真值，使偏差 | θ − θ | 大的概率越来越小，这一
性质称为相合性。
若 是基于θ的容量为n的样本(X1,X2,…,Xn)的一个
估计，则相合性意味着对于任意ε>0,有

辛钦大数定理(P294)表明：样本的ｋ阶有点矩Ak
是总体ｋ阶原点矩 μk 的相合估计，由此得出样本
均值和样本方差分别是总体均值和方差的相合估计.
21 May 2009 华东师范大学
第五章 参数估计 第20页

相合性被认为是对估计的一个最基本要求,
如果一个估计量, 在样本量不断增大时，它
都不能把被估参数估计到任意指定的精度,
那末这个估计是很值得怀疑的。

样本容量越大,估计应当越精确.

21 May 2009 华东师范大学

第五章 参数估计 第21页

矩估计一般都具有相合性。比如：

¾ 样本均值是总体均值的相合估计；

¾ 样本标准差是总体标准差的相合估计；

¾ 样本变异系数是总体变异系数的相合估计。

21 May 2009 华东师范大学

第五章 参数估计 第22页

习 题
习题5.2 1，3，4，5.

21 May 2009 华东师范大学