Bajesova teorija odlučivanja

• Diskriminacione funkcije i
diskriminacione površine
• Primer: normalne gustine
verovatnoća klasa

0
 Klasifikatori, diskriminacione funkcije i
površine odlučivanja

• Multikategorijalni slučaj

– Skup diskriminacionih funkcija gi(x), i = 1,…, c

– Klasifikator odlučuje o pripadnosti vektora x klasi i

ako:
gi(x) > gj(x) j  i

1
Globalna struktura sistema odlučivanja na osnovu
diskriminacionih funkcija

2
• Neka je gi(x) = - R(i | x)
(max. diskriminacija odgovara min. riziku)

• Za minimalnu grešku odlučivanja, stavljamo

gi(x) = P(i | x)

(max. diskriminacja odgovara max. aposteriornoj

verovatnići!)
gi(x)  P(x | i) P(i)

gi(x) = ln P(x | i) + ln P(i)

(ln: prirodni logaritam)
3
• Prostor obeležja je podeljen u c oblasti odlučivanja
ako gi(x) > gj(x) j  i tada je x u Ri

(Ri znači klasifikovati x u i)

• Slučaj dve klase (kategorije)

– Klasifikator je “dihotomizer” koji ima dve diskriminacione
funkcije g1 i g2

Neka je g(x)  g1(x) – g2(x)

Odlučiti se za 1 ako g(x) > 0 ;
U suprotnom odlučiti se za 2

4
Izračunati g(x)

g ( x )  P(1 | x )  P(2 | x )
P( x | 1 ) P(1 )
 ln  ln
P( x | 2 ) P(2 )

5
6
 Normalne gustine verovatnoće
• Jednodimenzione gustine
– Analitički izrazive
– Neprekidne
– Mnogi procesi su asimptotski Gausovski
– Rukom pisani znaci, govor su po pravilu zašumljeni
prototipovi
1  1 x 
2

P( x )  exp    ,
2   2    
Gde je:
 = srednja vrednost (očekivana vrednost) od x
2 = očekivano kvadratno odstupanje ili varijansa

7
8
• Višedimenzione gustine
– Višedimenzione normalne gustine u d dimenzija:
1  1 
P( x )  exp  ( x   )  ( x   )
t 1

(2 )   2 
d /2 1/ 2

gde je:

x = (x1, x2, …, xd)t (t je oznaka za transponovanje)

 = (1, 2, …, d)t vektor srednjih vrednosti
 = d*d kovariaciona matrica
|| i -1 su determinanta i inverzija respektivno

9
 Diskriminacione funkcije za Normlne
raspodele
• Diskriminaciona funkcija kojom se postiže
minimalna greška klasifikacije je oblika

gi(x) = ln P(x | i) + ln P(i)

• U slučaju višedimenzionih normalnih raspodela

Milan Milosavljević 10
 • Slučaj i = 2.I ( I je oznaka za jediničnu
matricu)

gi ( x )  wit x  wi 0 (linearna diskriminaciona funkcija)

gde je :
i 1 t
wi  2 ; wi 0   2 i i  ln P(i )
 2
( wi 0 je prag za i - tu klasu!)

Milan Milosavljević 11
 – Klasifikator koji koristi linearnu
diskriminacionu funkciju se naziva
linearna mašina

– Površina odlučivanja u slučaju linearnih

mašina su delovi hiperravni definisani
sa:
gi(x) = gj(x)

Milan Milosavljević 12
Milan Milosavljević 13
 Hiperravan koja separiše Ri i Rj

1 2 P(i )
x0  ( i   j )  ln ( i   j )
2 i   j
2
P( j )

je uvek normalna na pravu koja spaja tačke

srednjih vrednosti klasa!
1
ako je P(i )  P( j ) tada je x0  ( i   j )
2

Milan Milosavljević 14
Milan Milosavljević 15
Milan Milosavljević 16
• Slučaj i =  (kovarijanse svih klasa su identične!)

Hiperravni koje separišu Ri i Rj

1 lnP(i ) / P( j )
x0  ( i   j )  .( i   j )
2 ( i   j )  ( i   j )
t 1

(hiperravan koja separišu Ri i Rj nije ortogonalna

na pravu koja spaja srednje vrednosti!)

Milan Milosavljević 17
Milan Milosavljević 18
Milan Milosavljević 19
• Slučaj i = proizvoljna
– kovarijaciona matrica je različita za svaku klasu
g i ( x)  x tWi x  wit x  wi 0
gde je :
1 1
Wi   i
2
w i   i1i
1 t 1 1
w i0   i  i i  ln  i  ln P (i )
2 2
(Hipekvadratne površine: hiperravan, par hiperpovršina,
hipersfere, hiperelipsoidi, hiperparabole, hiperhiperboloidi)

Milan Milosavljević 20
Milan Milosavljević Sistemi odlučivanja
21 u medicini
Milan Milosavljević 22
 Bajesovska teorija odlučivanja – Diskretna
obeležja

• Komponente x su binarne ili celobrojne vrednosti.

• x uzima vrednosti iz skupa od m disckretnih vrednosti
v1, v2, …, vm
Slučaj nezavisnih binarnih obeležja iz dve klase
Neka je x = [x1, x2, …, xd ]t gde je xi ili 0 ili 1, sa
verovatnoćama:
pi = P(xi = 1 | 1)
qi = P(xi = 1 | 2)

Milan Milosavljević 23
 Diskriminaciona funkcija u tom slučaju je:
d
g ( x )   wi xi  w0
i 1

gde je :
pi (1  qi )
wi  ln i  1,..., d
qi (1  pi )
i:
1  pi
d
P(1 )
w0   ln  ln
i 1 1  qi P(2 )
za 1 ako je g(x)  0 i za 2 ako je g(x)  0
Milan Milosavljević 24