PATTERN RECOGNITION

AND MACHINE LEARNING

课程介绍
Pattern Classification, Richard O.Duda, etc.
Second Edition, 机械工业出版社，2004.2
P16-19
3.5 Bayesian Parameter Estimation: General
Theory
Example 1:Recursiv e Bayes learning
不同的学习方法
最大似然估计
点估计，估计出参数：ˆML
贝叶斯估计
概率函数估计，估计出：p( | X )
点估计，估计出最大后验参数：
ˆ = MAX p( | X )

贝叶斯学习
预测目标值的概率函数： p(x | X )
不同的学习方法
最大似然估计存在的问题
例: 不规则硬币，正面概率u和背面概率1-u未
知，且无先验知识。根据观测数据估计新的实
验中出现正面还是背面。
观测 出现结果 U的最大似然估计
第1次观测 正面 1
第2次观测 背面 0.5
第3次观测 正面 0.67
第4次观测 正面 0.75

有道理？
不同的学习方法
贝叶斯估计如何解决？
先验分布:p(θ)
条件概率密度函数:p(x|θ)
估计出后验概率: p(θ|X)
点估计的结果:  = E ( p( | X ))
优点: 不容易过学习
不同的学习方法

贝叶斯学习
一种更贝叶斯的方式。
目标不是估计参数的值θ ，而是直接估计
后验概率分布p(x|X)

p ( x | X ) =  p ( x,  | X )d =  p ( x |  ) p ( | X )d
不同的学习方法
例:一维随机变量x服从均匀分布
1 /  0  x 
p( x |  ) ~ U (0, ) = 
0 其它
θ未知，但分布概率已知

1 / 10 0  x  10
 ~ U (0,10) = 
0 其它
给出一组观测值X={4,7,2,8}，估计p(x|θ)
不同的学习方法：最大似然估计
一组观测值X={4,7,2,8}
最大似然估计方法
最大似然估计方法估计出 ,获得估计p(x|θ)
N N
似然函数 ln l ( ) =  ln p( x k |  ) =  ln(1 /  ) = − N ln 
k =1 k =1
θ的估计值: 使得似然函数最大的参数
θ取多少，lnl(θ)最大？ θ最小能取多少？

 =8

X的分布函数:
p( x |  ) ~ U (0, ) U (0,8)
不同的学习方法：后验概率
• 先观察随着N的增加，p(θ|X)的变化
– 如果没有观测值(N=0) ， 则p(θ|X0)为:
 ~ U (0,10)
– 如果观测到一个x数值， x 1=4,则p(θ|X1)为:
p( x |  ) p( | X N −1 )
p( | X 1 ) = N
N=1
 p( x |  ) p( | X )d
N −1
N

1 /  4    10
 p ( x |  ) p ( | X ) =  0
1 0 其它
不同的学习方法：后验概率
• 先观察随着N的增加，p(θ|X)的变化
– 如果观测到2个x数值， x 2=7,则p(θ|X2)为:

p( x |  ) p( | X N −1 )
p( | X 2 ) = N

 x   )d
N −1
p ( | ) p ( | X N=2
N


 p ( x |  ) p ( | X ) = 
11 /  2
7    10
2
0 其它
不同的学习方法：后验概率
• 先观察随着N的增加，p(θ|X)的变化
– 如果观测到3个x数值， x 3=2,则p(θ|X3)为:

p( x |  ) p( | X N −1 )
p( | X 3 ) = N

 x   )d
N −1
p ( | ) p ( | X N=3
N

1 /  3 7    10
 p ( x |  ) p ( | X ) = 
2
3
0 其它
不同的学习方法：后验概率
• 先观察随着N的增加，p(θ|X)的变化
– 如果观测到4个x数值， x 4=8,则p(θ|X4)为:

p( x |  ) p( | X N −1 )
p( | X 4 ) = N

 x   )d
N −1
p ( | ) p ( | X N=4
N

1 /  4 8    10
 p ( x |  ) p ( | X ) = 
3
4
0 其它
不同的学习方法：后验概率
不同的学习方法:贝叶斯学习
贝叶斯学习方法
1.估计p(θ|X)
p ( x |  ) p( | X N −1 )
1/  4
8    10
p ( | X ) = 4 N
=
 p( x N |  ) p( | X )d 0
N −1
其它
1 1
2.估计p(x|X)  4
p ( x | X ) =  p ( x,  ) | X )d =  p ( x |  ) p ( | X )d
10
 8
1 /  4 d 0 x8
1 
= d =
 5

10

  x
1 /  4 d 8  x  10
模式识别概述:不同的学习方法