Uslovna verovatnoća i

Bajesovo pravilo
Prof. Miloš Stanković
Uvod
• Uvešćemo koncepte koji predstavljaju osnovu za drugačiju (u odnosu na frekvencionističku)
interpretaciju verovatnoće, kao i osnovu za tzv. Bajesovsku statistiku
• Bajesovska statistika je oblast statistike koja je bazirana na određivanju verovatnoće za određene
pretpostavke (hipoteze, modele) na osnovu stepena verovanja u datu pretpostavku, ako su dati
određeni podaci (dokazi). Ovaj stepen verovanja je često baziran na a priori verovanju da je
pretpostavka tačna koje ne mora imati standardnu frekvencionističku interpretaciju
• Bajesovska statistika koristi Bajesovu teoremu da koriguje trenutne verovatnoće kada su dati novi
podaci (npr. verovatnoće koje kvantifikuju verovanje u tačnost određenog skupa parametara)
• Ime je dobila po Tomasu Bajesu koji je 1763. formulisao specifičnu verziju teoreme. Laplas je
posle koristio slične metode u rešavanju statističkih problema.
• Tokom 20. veka Bajesove metode nisu bile na dobrom glasu pre svega zbog praktičnih problema –
kod većine metoda je potrebna velika računarska snaga
• Međutim, u 21. veku ove metode su postale jako popularne zbog velike fleksibilnostii i
mogućnosti da a priori (npr. ekspertska) znanja eksplicitno modelira, naročito kada ne postoji
dovoljan broj podataka da bi se koristio čisto frekvencistički pristup
• Pri određivanju a priori raspodela, mogu se odrediti parameteri koji sami po sebi imaju svoje a
priori raspodele, itd. – to rezultuje u tzv. hijerarhijske Bajesove modele, i Bajesove mreže (engl.
Bayesian networks, belief networks) – osnova za moderne veoma uspešne metode u mašinskom
učenju (metode dubokih Bajesovih mreža, dubokih Bolcmanovih mašina)
Uslovna verovatnoća
• Verovatnoća događaja A pod uslovom da se zna da se događaj B
realizovao
• Definicija: Verovatnoća 𝑃(𝐴|𝐵) naziva se uslovna verovatnoća
događaja A pod uslovom B, i definisana je sa:

𝑃(𝐴𝐵)
𝑃 𝐴𝐵 = ,𝑃 𝐵 > 0
𝑃(𝐵)

• Teorema: Ako je B fiksiran događaj, tada 𝑃 ⋅ 𝐵 zadovoljava aksiome

verovatnoće.
Primer 1
• Kolika je verovatnoća da će se na kocki prilikom bacanja pojaviti paran
broj, pod uslovom da je taj broj manji od 4 ?

• A – događaj da smo dobili paran broj

• B – događaj da je broj manji od 4

1
𝑃(𝐴𝐵) 1
• Treba da odredimo: 𝑃 𝐴 𝐵 = = 6
3 =
𝑃(𝐵) 3
6
1
• (bezuslovna verovatnoća 𝑃 𝐴 = )
2
Primer 2
• U kesi se nalazi 5 belih i 9 crnih kuglica. Izvlačimo nasumice 2 kuglice, jednu po jednu, bez
vraćanja. Kolika je verovatnoća da ćemo iz drugog puta izvući crnu, ako znamo da je prvo
izvučena bela kuglica?

• A – događaj izvlačenja crne kuglice iz drugog puta,

• B – događaj izvlačenja bele kuglice iz prvog izvlačenja

5
• 𝑃 𝐵 =
14
5⋅9 45
• 𝑃 𝐴𝐵 = =
14⋅13 182
45
9
• 𝑃 𝐴𝐵 = 182
5 =
13
14
Statističko (frekvencijsko) određivanje
• Relativna učestanost događaja A u eksperimentima u kojima se
događaj B realizovao je

𝑚𝐴𝐵
𝑚𝐴𝐵 𝑛 𝑃(𝐴𝐵)
𝑃 𝐴𝐵 ≅ = 𝑚 ≅
𝑚𝐵 𝐵 𝑃(𝐵)
𝑛
Nezavisnost događaja
• Intuitivno, ako su događaji nezavisni, trebalo bi da važi

𝑃 𝐴 𝐵 = 𝑃 𝐴 , 𝑃 𝐵 𝐴 = 𝑃 𝐵 , za 𝑃 𝐵 , 𝑃 𝐴 > 0

⇒ 𝑃 𝐴𝐵 = 𝑃 𝐴 𝑃(𝐵)

• Gornja formula se uzima za definiciju nezavisnosti događaja A i B

• Nezavisnot događaja je određena načinom na koji su utvrđene verovatnoće

elementarnih događaja!
• Jako važan koncept – npr. matematičkim jezikom je definisana jedna osobina
statističkog eksperimenta koji smo uveli na početku
Primer 1

• Ako je 𝑃 𝐴 = 0 , i B je proizvoljan događaj, tada su događaji A i B

nezavisni!
Primer 2
• Bacanje dva novčića
• Neka su 𝑃1 , P2 , G1 , G2 događaji dobijanja pisma u prvom, pisma u drugom,
glave u prvom, glave u drugom.
• Za fer novčiće, događaji 𝑃1 , P2 (ili G1 , G2 ) bi trebalo da su nezavisni (jer
novčić ne može da pamti šta je palo prethodni put)
• Provera sledećeg modela verovatnoća:
1
𝑃 𝑃1 𝑃2 = 𝑃 𝑃1 𝐺2 = 𝑃 𝐺1 𝑃2 = 𝑃 𝐺1 𝐺2 = ,
4
1 1
𝑃 𝑃1 = , 𝑃 𝑃2 = ⇒ 𝑃 𝑃1 𝑃2 = 𝑃 𝑃1 𝑃 𝑃2
2 2

• Novčić koji pamti bismo mogli da modeliramo drugačijim raspodelame

verovatnoća!
Nezavisnost više od dva događaja
• Događaji 𝐴1 , … , 𝐴𝑛 su

• Nezavisni u celini (ili kraće, nezavisni) ako za svako k, i svaku kombinaciju

brojeva 1,2,...,n važi

𝑃 𝐴𝑗1 ⋯ 𝐴𝑗𝑘 = 𝑃 𝐴𝑗1 𝑃 𝐴𝑗2 ⋯ 𝑃(𝐴𝑗𝑘 )

• Nezavisni u parovima ako za svaki par 𝐴𝑖 , 𝐴𝑗 važi

𝑃 𝐴𝑖 𝐴𝑗 = 𝑃 𝐴𝑖 𝑃 𝐴𝑗
Primer
• Događaji koji su nezavisni u parovima ne moraju da budu nezavisni u celini

• Neka su tri kuglice obeležene brojevima 1,2,3 i neka se na četvrtoj kuglici

nalaze sva tri broja 1,2 i 3.
• Neka je 𝐴𝑖 događaj da pri slučajnom izboru kuglice na njoj piše broj i
1
• Tada je 𝑃 𝐴1 = 𝑃 𝐴2 = 𝑃 𝐴3 =
2
1
• 𝑃 𝐴1 𝐴2 = 𝑃 𝐴1 𝐴3 = 𝑃 𝐴2 𝐴3 = ⇒ događaji su nezavisni u parovima
4
1 1
• Međutim, 𝑃 𝐴1 𝐴2 𝐴3 = ≠ 𝑃 𝐴1 𝑃 𝐴2 𝑃 𝐴3 =
4 8
Verovatnoća preseka n događaja
• Za događaje 𝐴1 , … , 𝐴𝑛 važi:

𝑃 𝐴1 𝐴2 ⋯ 𝐴𝑛 = 𝑃 𝐴1 𝑃 𝐴2 𝐴1 𝑃 𝐴3 𝐴1 𝐴2 ⋯ 𝑃(𝐴𝑛 |𝐴1 𝐴2 … 𝐴𝑛−1 )

Primer
• Čovek ima 5 ključeva i nasumice koristi jedan po jedan ključ da bi otključao
vrata, sklanjajući probane ključeve. Kolika je verovatnoća da mu je
potrebno k pokušaja da otključa vrata?

• 𝐴𝑘 - utključao iz k pokušaja , 𝐴′𝑘 - suportan događaj

• 𝐴𝑘 = 𝐴1′ … 𝐴′𝑘−1 𝐴𝑘 ⇒

1
• 𝑃 𝐴1 = ,
5
4 1 1
• 𝑃 𝐴2 = 𝑃 𝐴1′ 𝐴2 = 𝑃 𝐴1′ 𝑃 𝐴2 𝐴1′ = =
5 4 5
•…
Primer – Bernulijevi eksperimenti
• Statistički eksperiment sa dva moguća ishoda (uspeh, neuspeh), pod istim
uslovima (nezavisni eksperimenti, ista verovatnoća uspeha)
• Neka je verovatnoća uspeha p
• Koja je verovatnoća da se u n eksperimenata dogodi tačno k uspeha?

• Svaki niz od k uspeha i n-k neuspeha ima verovatnoću:

𝑝𝑘 1 − 𝑝 𝑛−𝑘
• Ukupan
𝑛 broj mogućih načina za tačno k uspeha (nezavisno od rasporeda) je
𝑘 𝑛 𝑘 𝑛−𝑘
• Ovi događaji su isključivi tako da je tražena verovatnoća 𝑝 1−𝑝
𝑘
Totalna verovatnoća
• Za uzajamno isključive događaje 𝐻1 , … , 𝐻𝑛 kažemo da čine potpun sistem
hipoteza u odnosu na događaj A ako je

𝐴 ⊂ 𝐻1 ∪ 𝐻2 ∪ ⋯ ∪ 𝐻𝑛
⇒ 𝐴 = 𝐴𝐻1 ∪ 𝐴𝐻2 ∪ ⋯ ∪ 𝐴𝐻𝑛
⇒ 𝑃 𝐴 = 𝑃 𝐴𝐻1 + 𝑃 𝐴𝐻2 + ⋯ + 𝑃 𝐴𝐻𝑛

⇒ 𝑃 𝐴 = 𝑃 𝐻1 𝑃 𝐴|𝐻1 + ⋯ + 𝑃 𝐻𝑛 𝑃 𝐴|𝐻𝑛

• Verovatnoća za A je težinska sredina verovatnoća pod uslovima da su

ispunjene hipoteze, sa težinama jednakim verovatnoćama hipoteza
Primer 1
• 60% studenata koji su izašli na ispit polažu prvi put. Verovatnoća da će
student koji polaže prvi put položiti ispit je 0.3, dok je verovatnoća za
ostale 0.4. Koja je verovatnoća da slučajno izabrani student položi
ispit?

• 𝐻1 - student polaže prvi put

• 𝐻2 - student ne polaže prvi put
• Jeste potpun sistem hipoteza
• 𝑃 𝐻1 = 0.6, 𝑃 𝐻2 = 0.4, 𝑃 𝐴 𝐻1 = 0.3, 𝑃 𝐴 𝐻2 = 0.4
• 𝑃 𝐴 = 𝑃 𝐻1 𝑃 𝐴|𝐻1 + 𝑃 𝐻2 𝑃 𝐴|𝐻2 = 0.34
Primer 2
• Određeni artikal proizvode 3 fabrike. Poznato je da prva fabrika proizvodi
dva puta više od druge, a druga i treća isto. Takođe, 2% proizvoda iz prve i
druge fabrike je defektno, a 4% iz treće. Svi proizvodi nalaze se na istom
skladištu. Slučajno se bira jedan proizvod. Naći verovatnoću da je on
defektan.

• 𝐻1 , 𝐻2 , 𝐻3 - događaji da je proizvod iz fabrike 1,2 ili 3 (potpun sistem

hipoteza)
1 1
• 𝑃 𝐻1 = , 𝑃 𝐻2 = 𝑃 𝐻3 =
2 4
• 𝑃 𝐴 𝐻1 = 𝑃 𝐴 𝐻2 = 0.02, 𝑃 𝐴 𝐻3 = 0.04
• 𝑃 𝐴 = 𝑃 𝐻1 𝑃 𝐴|𝐻1 + 𝑃 𝐻2 𝑃 𝐴|𝐻2 + 𝑃 𝐻3 𝑃 𝐴|𝐻3 = 0.025
Bajesova formula
• Tražimo verovatnoću hipoteza nakon obavljenog eksperimenta gde
smo dobili dodatne informacije

• Neka 𝐻1 , … , 𝐻𝑛 čine potpun sistem hipoteza u odnosu na događaj A,

𝑃 𝐴 ≠ 0. Tada važi:

𝑃 𝐻𝑖 𝑃(𝐴|𝐻𝑖 ) 𝑃 𝐻𝑖 𝑃(𝐴|𝐻𝑖 )
𝑃 𝐻𝑖 𝐴 = =
𝑃(𝐴) 𝑗 𝑃 𝐻𝑗 𝑃(𝐴|𝐻𝑗 )

Aposteriorne verovatnoće
Apriorne verovatnoće
Primer 1
• Imamo dve kutije, jedna (B) ima 95 belih i 5 crnih, druga (C) 90 crnih i 10
belih.
• Slučajno biramo kutiju (ne znamo koju smo izabrali), pa slučajno izvlačimo
kuglicu iz izabrane kutije. Koja je verovantoća da smo izabrali kutiju B, ako
znamo da smo izvukli belu kuglicu (događaj A)?

1 95 1 10
•𝑃 𝐴 = ⋅ + ⋅ = 0.525
2 100 2 100
95
• 𝑃 𝐴𝐵 = 𝑃 𝐵 𝑃 𝐴 𝐵 = 0.5 ⋅ = 0.475
100
𝑃 𝐵 𝑃(𝐴|𝐵)
•𝑃 𝐵𝐴 = = 0.905
𝑃(𝐴)
Primer 2
• Binarni signal1može
1 1
da se pošalje sa mesta A, B ili C. Na osnovu prethodnog iskustva smatra se da su
verovatnoće 2 , 3 i 6 da je poslati signal sa mesta A, B ili C, respektivno.
• Signal sa mesta A u proseku sadrži 20% jedinica, sa mesta B 30%, i sa mesta C 40%.
• Primljen je signal od 10 znakova sa 4 jedinice. Koja je verovatnoća da je poslat sa mesta A, B ili C?

• D – događaj da smo primili 4 jedinice od 10 znakova.

10 4
• 𝑃 𝐷|𝐴 = 𝑝 1 − 𝑝 6 , gde je 𝑝 = 0.2 verovatnoća da smo poslali jedinicu
4
10
• 𝑃 𝐷|𝐴 = 0.24 1 − 0.2 6 = 0.0881 ,
4
10
• 𝑃 𝐷|𝐵 = 0.34 1 − 0.3 6 = 0.2001
4
10
• 𝑃 𝐷|𝐶 = 0.44 1 − 0.4 6 = 0.2508
4
• Kada bismo samo tražili maksimum gornjih verovatnoća zaključak bi bio da je poslata sa mesta C
Primer 2 - nastavak
• Formula totalne verovatnoće:
• 𝑃 𝐷 = 𝑃 𝐷|𝐴 𝑃 𝐴 + 𝑃 𝐷|𝐵 𝑃 𝐵 + 𝑃 𝐷|𝐶 𝑃 𝐶 = 0.1526
• Dakle,
𝑃 𝐴 𝑃(𝐷|𝐴) 0.5 ⋅ 0.0881
𝑃 𝐴𝐷 = = = 0.289
𝑃(𝐷) 0.156
1
𝑃 𝐵 𝑃(𝐷|𝐵) 3 ⋅ 0.2001
𝑃 𝐵𝐷 = = = 0.437
𝑃(𝐷) 0.156
1
𝑃 𝐶 𝑃(𝐶|𝐴) 6 ⋅ 0.2508
𝑃 𝐶𝐷 = = = 0.274
𝑃(𝐷) 0.156
• Najverovatnije je da se poslat signal sa mesta B (uzimanje u obzir apriorne
raspodele menja prethodni zaključak)
Interpretacija Bajesove formule
𝑃 𝐻𝑖 𝑃(𝐴|𝐻𝑖 ) 𝑃 𝐻𝑖 𝑃(𝐴|𝐻𝑖 )
𝑃 𝐻𝑖 𝐴 = =
𝑃(𝐴) 𝑗 𝑃 𝐻𝑗 𝑃(𝐴|𝐻𝑗 )

Aposteriorne verovatnoće Apriorne verovatnoće

• Apriorine verovatnoće često nemaju frekvencionističku interpretaciju

– odraz su subjektivnog verovanja u određenu tvrdnju
• Tada ne važi frekvencionistička interpretacija verovatnoće
• Ova interpretacija je prihvaćena u nauci - tada se apriorne raspodele
određuju npr. na osnovu procene eksperata, ili procena na osnovu
dotadašnjeg iskustva