Komunikacija čovjek stroj

Bayesova klasifikacija

2017/2018

prof. dr. sc. Ivo Ipšić

1
Klasifikacija uzoraka

2
 Sustav za
raspoznavanje/klasifikaciju/odlučivanje
Raspoznavanje/klasifikacija

uzorci za izlučivanje raspoznati

pretprocesiranje klasifikacija
testiranje značajki uzorci

uzorci za izlučivanje/izbor
učenje pretprocesiranje učenje
značajki

Učenje

3
 Signali
• signali: s(t)
– pri mjerenju korisnoj informaciji kojoj je nosilac s(t)
pridodaje se i šum n(t)
• mjerimo iskrivljeni signal x(t) koji je suma
signala s(t) i šuma n(t):
xt   st   nt 
• promatranjem x(t) možemo raspoznati objekte
• funkciju x(t) uzorkujemo u trenucima ti i prikazujemo u
vektorskom obliku:
x   x1 , x2 ,..., xn 
T

4
 Odlučivanje
• uzorak: realizacija slučajne varijable X=S+N
• prostor uzoraka prostor realizacije slučajne varijable X
• prostor odlučivanja D dijelimo na područja Di tako da
uzorci iz razreda i padaju u područje Di
• odlučivati: znači razgraničiti prostor realizacija slučajne
varijable X na područja Di, (i=1,2,...,M)
• razvrstati dijeliti prostora X na područja D
• varijabla X slučajnog karaktera
• problem klasifikacije rješavamo statističkim ispitivanjem
hipoteza

5
 Prostor uzoraka
X1 4 3
A A
A A
1 x
B A
A
x B
B
x B
x
4
B
2 B

X2
6
 Prostor uzoraka
• izvor uzoraka: informacije o uzorcima: s=s1(t), s=s2(t)
iz razreda 1 i 2.
• za vrijeme odašiljanja i prijenosa signalima se
superponira šum n(t)
• dobivamo: x(t)=s(t)+n(t)
 x1 
– mjerimo i uzorkujemo x 
– dobivamo realizaciju slučajne varijable X  2
koja je predočena točkom u prostoru x  . 
 
. 
 xn 
 
• pravilo odlučivanja: uvrštava dani uzorak u jedan od razreda
7
 Uzorci i razredi

i {1 , 2 , , c } : oznake razreda

P(i ) : vjerojatnost razreda
x: vektor uzorka
p(x | i ) : uvjetna gustoća vjerojatnosti

P(i | x) : a posteriori vjerojatnost

vjerojatnost razreda za
dani vektor
 Pripadnost razredu – Bayesovo
pravilo
p (k , x )  P(k | x ) p( x )  p  x | k  P(k )

p  x | k   P (k )
P(k | x ) 
p( x )
M
p ( x )   p  x | k  P (k )
k 1

D (x)  arg max P(i | x)

i 9
 Bayesovo pravilo
• klasifikacija vektora značajki u razrede, koji su
opisani a priori vjerojatnostima i funkcijom
razdiobe odn. uvjetnom razdiobom gustoće
vjerojatnosti vektora
• a priori vjerojatnost razreda 𝑃(𝜔𝑗 )
• uvjetna razdioba gustoće vjerojatnosti vektora x
𝑝 𝒙ȁ𝜔𝑗 u razredu j
• funkcija odlučivanja
𝑑𝑖 𝑥 = 𝑝 𝒙ȁ𝜔𝑗 ⋅ 𝑃 𝜔𝑗 10
 Bayesovo pravilo
• vektor x ćemo razvrstati u razred 𝜔k za koji vrijedi:
𝑑𝑘 𝑥 > 𝑑𝑗(𝑥) za sve j≠k odn.

k  arg max p(i | x)  arg max p(x | i )  P(i )

i i

11
 Kriterij odlučivanja
• testiranju dviju hipoteza (binarnom testiranju)
– istinita hipoteza H1 ili H2,
– odnosno objekt raspoznavanja pripada razredu 1 ili 2
• realizacija događaja uvjetuje jednu od odluka:
1. 1 istinito, razvrstavamo u D1
2. 1 istinito, razvrstavamo u D2
3. 2 istinito, razvrstavamo u D1
4. 2 istinito, razvrstavamo u D2
– prva i četvrta odluka: pravilne
– druga i treća odluka: pogrešne
• kriterija odlučivanja: dodjeljivanje vrijednosti ili
određenog značaja nekoj odluci 12
 Cijena
• C(Di,k) cijena razvrstavanja uzoraka iz razreda k
u područje Di
– to znači da biramo hipotezu i kada je istinita hipoteza k
– mogućnosti: C11, C12, C21, C22
• funkcija cijene C= C(Di,k)x
– pogrešne odluke veće težinske vrijednosti od ispravnih
– izabrati pravilo odlučivanja koje je u prosjeku najjeftinije (rizik
najmanji)
• očekivana vrijednost cijene:
- vjerojatnosti pojavljivanja razreda p(1) i p(2)
- funkcija cijene C(Di,k) , i=1,2 , k=1,2
- uvjetna razdioba gustoće vjerojatnosti uzorka x pri realizaciji k
p  x | k  13
Primjer razvrstavanja u dva razreda

Funkcija raspodjele gustoće vjerojatnosti

varijable x unutar razreda ωi

14
Primjer razvrstavanja u dva razreda

Funkcija raspodjele gustoće vjerojatnosti

razreda ωi za varijablu x
15
• Razvrstavanje na osnovi a posteriori vjerojatnosti

P(1 | x) > P(2 | x) uzorak pripada razredu 1

P(1 | x) < P(2 | x) uzorak pripada razredu 2

za uzorak x, vjerojatnost krivog razvrstavanja je:

P(greske | x) = P(1 | x) ako se odlučimo za 2
P(greske | x) = P(2 | x) ako se odlučimo za 1

16
• najmanja vjerojatnost greške

• odlučujemo se za 1 ako je P(1 | x) > P(2 | x);

inače za 2

P(greske | x) = min [P(1 | x), P(2 | x)]

Bayesovo pravilo odlučivanja koje daje najmanji
rizik klasifikacije vektora x u razred i
17
 Rizik i odlučivanje
r r
• rizik izrazimo sa: R  C11 p 1   p  x | 1  dx 
D1
r r
C12 p 2   p  x | 2  dx 
D1
r r
C21 p 1   p  x | 1  dx 
D2
r r
C22 p 2   p  x | 2  dx
D2
• pogrešna odluka viša cijena od pravilne:
C12>C22 i C21>C11
• odlučivanje:
– dijeljenje prostora odlučivanja D na D1 i D2
– promatrana točka iz X padne u D1 ako je istinita hipoteza 1,
– odnosno točka iz X u D2 ako je istinita hipoteza 2
18
 Bayesovo pravilo odlučivanja
• pravilo odlučivanja koje ima za posljedicu najmanji rizik, odnosno
najmanju prosječnu cijenu R
   
– vrijedi: D=D1+D2, (D1=D-D2, )  px | 1 dx   px | 2 dx  1
r r r r
 p  x |   dx  1 -  p  x |   dx
D1
1
D2
1

– rizik R:

  
R  p 1 C11  p 2 C22    p 1 C 21 - C11  p  x | 1  -  p  2 C12 - C 22  p  x |  2 d x
D2

• zadatak: izabrati područje D2 tako da rizik R postane minimalan

19
 Bayesovo pravilo odlučivanja

• uzorke x razvrstavamo pomoću Bayesovog pravila:
• 11
r
1 1 12
r
R  C p   p  x |    C p   p  x |  
1 2 2
r r
R2  C21 p 1  p  x | 1   C22 p 2  p  x | 2 

• ukoliko je R1 < R2 uzorak razvrstavamo u 1

• ukoliko je R2 < R1 uzorak razvrstavamo u 2
 
p1 C21 - C11  px | 1   p2 C12 - C22  px | 2 

• ako uzorak razvrstamo u:

– D1 pravilna hipoteza 1
– D2 pravilna hipoteza 2

20
 Test omjera sličnosti (vjerojatnosti)
• Bayesovo pravilo zapišemo

px | 1   p2 C12 - C22 
1


px | 2  2 p1 C21 - C11 

• odnosno 1

x  

2
p 2 C12 - C 22 
• gdje je  prag odlučivanja: 
 p1 C 21 - C11 
• x  omjer vjerojatnosti (sličnosti): 
 px | 1 
 x   
p x |  2 
21
 Izračunavanje 
 1
• obje strane izraza logaritmirati log   x  log 
 
• za granicu d x između područja D1 i D2 vrijedi 2


log x  - log   0
– ako odaberemo cijene C11= C22=0 i C12= C21=1
(pravilna odluka ne stoji ništa, nepravilna 1)
– dobivamo
   
R  p 1   p  x | 1 dx  p  2   p  x |  2 dx
D2 D1
• ukupnu vjerojatnost pogrešne odluke
• za takve cijene, odlučivanje u Bayesovu smislu znači
smanjivanje vjerojatnosti pogrešne odluke na najmanju
moguću mjeru
22
 Pravilo MINIMAKS
• za Bayesovo odlučivanje potrebno odrediti:
– uvjetne razdiobe gustoća vjerojatnosti
– cijene
– a priori vjerojatnosti pojedinih razreda (hipoteza)
• kriterij minimaks: najmanja cijena najvećeg
mogućeg Bayesovog rizka s obzirom na a priori
vjerojatnosti p(1) i p(2)
• p(1)=1- p(2)

23
 Pravilo MINIMAKS

dobiveni rizik R:
r r r r
R  C11 1 - p 2    p  x | 1  dx  C21 1 - p 2    p  x | 1  dx 
D1 D2
r r r r
C12 p 2   p  x | 2  dx  C22 p 2   p  x | 2  dx
D1 D2

24
 Pravilo MINIMAKS
• za izabrana područja D1 i D2 rizik R postaje samo
funkcija vjerojatnosti p(2)
• deriviramo izraz po p(2) i izjednačimo ga s nulom,
dobivamo uvjet za rješenje minimaks:
       
C11  px | 1 dx  C 21  px | 1 dx  C12  px |  2 dx  C 22  px |  2 dx
D1 D2 D1 D2

• lijeva strana uvjetni rizik ako je uzorak iz razreda 1:

    
r  x , 1   C11  p  x | 1 dx  C 21  p  x | 1 dx
• desna strana uvjetni rizik pri poznatom razredu 2:
D1 D2

    
r  x ,  2   C12  p  x |  2 dx  C 22  p  x |  2 dx
D1 D2
25
 Pravilo MINIMAKS
• uvrstimo u izraz za Bayesov rizik
       
R  C11 px | 1 dx  C21 px | 1 dx  C12 px |  2 dx  C22 px |  2 dx 
   
 D1  D2 D1 D2
 r ( x,1)  r ( x, 2 )
– neovisan o vjerojatnosti
– ovisi o dijeljenju područja D1 i D2
• mijenjamo granice između D1 i D2, uvjetni rizici se
mijenjaju, jedan rizik se povećava, a drugi smanjuje.
• granicu između područja treba postaviti ondje gdje su
uvjetni rizici jednaki
 
r ( x, 1 )  r ( x, 2 )
26
Pravilo MINIMAKS

27
 Pravilo MINIMAKS
• Pravilo minimaks (najmanja cijena najvećeg
mogučeg rizika), možemo zapisati u obliku:
 
min
 max r x ,  k   d x 
x X  k 

28
 M hipoteza
• imamo M razreda 1, 2 .. M
• a priori vjerojatnosti p(1), p(2 ).. p(M)
• uvjetne gustoće razdiobe vjerojatnosti
  
px | 1  p x |  2  px |  M 

 px | k   P(k )
P(k | x )  
p( x )

29
 M razreda
X1 4 3
A A
A A
1 x
B A
A
x B
B
x B
x
4
B
2 B

X2
30
 Funkcija odlučivanja
• pretpostavimo da je uvjetna razdioba gustoće
v
vjerojatnosti p  x | k  normalna Gaussova
funkcija:

px  
1

 1   T -1   

exp -  x - m  C  x - m  
2  n/2
C
1/ 2
 2 

logaritmiranjem dobivamo:
r r
d i ( x )  ln[ p ( x | i ) p (i )]

r 1 1 r r r r
d i ( x )  ln p (i ) - ln Ci - [( x - mi )T Ci-1 ( x - mi )]
2 2

31
 Ocjena parametara razdiobe
• Gaussova ili normalna razdioba vjerojatnosti

px  
1

 1   T -1   

exp -  x - m  C  x - m  
2  n/2
C
1/ 2
 2 
• gdje su
    
m  Ex   xpx dx m – vektor srednjih vrijednosti

x
C=[Clk], l=1,2,...,n k=1,2,...,n C – kovarijacijska matrica
E – matematičko očekivanje

Clk  Exl - ml xk - mk     x
l - ml xk - mk  pxl , xk dxl dxk
- - 

32
 Ocjena parametara razdiobe
• metoda maksimalne vjerojatnosti ili Bayesov postupak ocjene parametara za
kovarijacijska matricu C i vektor srednje vrijednosti , u slučaju normalne
razdiobe pomoću uzoraka za učenje dobiva se:

 1  N
m 
N
 j
x
j 1

1   T  T
N
C 
N
 x j x j - mm
j 1

N 1  N 
  1    
mN  1 
1
 xj  
 x j  x N 1  
1
NmN   xN 1 
N 1 N 1  N 1
j 1  j 1 
1 N 1   T  T 1  N   T  T   T
C N  1   x x - m  N  1m  N  1  
  x x  x x 
N 1 N 1  - m  N  1m N  1 
N  1 j 1 N  1  j 1
j j j j


1
N 1
    
NC N   NmN mT N   xN 1 xNT 1 - 1
N  12
N

m 
 N  

x N 1 N

m  N  
 T
x N 1  
33
 Literatura
• Gyergyek L., Pavešić N., Ribarić S.: Uvod u
raspoznavanje uzoraka, Tehnička knjiga Zagreb,
1988.
• Pavešić N.: Razpoznavanje vzorcev, ZAFER,
Ljubljana 2000.

34