わかりやすいパターン認識

４・１パラメトリックな学習とノ
ンパラメトリックな学習
　　　　　　　　　　　　２００
３年５月２日
　　　　　　　　　　　　　　結
城　　隆
４・１パラメトリックな学習
とノンパラメトリックな学習
・確率密度関数
　　・認識対象としているパターンの生
起確率　を示したもの　　
　　 (
p x |ω
i ) (
i = 1,.....c )
ωi
　　・クラス　　に属する　　の生起確 x
率を表す
事前確率と事後確率

x
クラスによらない　　の生起確率 p (x)
事前確率 p ( ωi )
ωi
　　　クラス　　の生起確率
事後確率 p ( ωi | x )
x
　　　　が生起したとき、そのクラスが ωi
　　である確率　　　　　　　　　　
ベイズ決定則
ベイズの定理
p ( x | ωi )
P ( ωi | x ) = P ( ωi ) ( i = 1,.....c )
p( x )
( ωi | x )
　　　　　は、未知パターン　　が入力された
P x
ωi
とき、クラスが　　である確かさしらをしめし
ている

x p ( x | ωi )
パターン　　を識別する際に事後確率　　
ωi
　　　　　　が最大となる　　を識別結果
として出力する
 ベイズ決定則
・ベイズの決定則
max{ P( ωi | x )} = P( ωk | x ) x ∈ ωk
( ωi | x )
　　　　　
P ωk
を最大とするクラスが　　　ならば、　　　x ωk
は　　　と識別される
・ベイズ決定則における識別関数
P(　　　は各クラスに共通の因子であるので、最大となる　
　 x) P ( ωi | x )
　　　　　　　を決めるのに関与しない

　 gi
識別関数　 ( x) g i ( x ) = p ( x | ωi ) P ( ωi ) ( i = 1,....c )
　
または右辺の対数をとって

g i ( x ) = log p( x | ωi ) + log P ( ωi ) ( i = 1,....c )

正規分布の例
p x | ωi (
確率密度関数　　　　　　　が正規分布で表される場合 )
1  1 
p ( x | ωi ) = exp− ( x − mi ) ∑i x − mi 
t −1

( 2π ) d /2
Σi
1/ 2
 2 
　
i = 1,..., c ( )
ここで　　　、　　はそれぞれクラス　　の平均ベクトル
mi ∑i
、共分散であり
ωi
1
mi = ∑ x
ni x∈X i
1
Σ i = ∑ ( x − mi )( x − mi )
t

ni x∈X i
　　はクラス　　のパターン数、　　はクラス　　のパ
niターン集合
ωi Xi ωi
正規分布の例
1
g i ( x ) = − ( x − mi ) ∑i ( x − mi )
l −1

2
1 d
− log Σ i − log 2π + log P( ωi )
2 2
1 t −1 1 t −1
= − x ∑i x + x ∑i mi − mi ∑i mi
t −1

2 2
1 d
− log Σ i − log 2π + log P( ωi )
2 2

P ( x | ωi )
確率密度関数　　　　　　が正規分布で表される
x
場合、識別関数は　　の２次関数となる
線形識別関数
共分散行列が全クラスで等しい場合

1 t −1
gi ( x ) = x ∑ mi − mi ∑0 mi + log P( ωi )
t −1
0
2

x　の２次の係数は定数となるので、識別関数は線形とな
り線形識別関数である。
最小距離識別法
特徴間の相関がなく分散が等しい
　（共分散行列が単位行列）
　事前確率　　　　が各クラスで等しく
P ( ωi )
P ( ωi ) =
1
c
( i = 1,..., c )

1
g i ( x ) = m x − mi
t 2
最小距離識別法 i
2
パラメトリックとノンパラメ
トリック
パラメトリック
　学習パターンを用いて確率密度関数の
パラメータ推定を行い識別部を構成す
るような方法
ノンパラメトリック
　確率密度関数の形を想定せずに、学習
パターンから直接識別関数を求めてい
る方法