1

Teoria Bayesiana a
probabilitatilor: concepte de
baza
interpretarea probabilitatii:
logica,
frecventista,
subiectivista

axiome si formule de baza:
definitia axiomatica
proprietati

teorema lui Bayes


2
Concepte :
Presupunem un experiment sau alta situatie care implica incertitudine, cu n realizari posibile:

- rezultat (proba sau caz posibil) posibil - o realizare posibila:

- S - spatiul probelor- multimea tuturor rezultatelor posibile:
De exemplu, aruncarea unui zar, este un experiment cu 6 realizari posibile,
S={1,2,3,4,5,6}

- eveniment: o colectie de rezultate ale experimentului
-elementar realizat de o proba si numai de una (rezultatul este 1)
-compus - de ex. rezultatul este par compus din rezultatele (2U 4 U 6)

- multimea evenimentelor elementare : experiment: aruncarea banului, = {cap, pajura}
se mai numeste si evenimentul sigur, in cazul zarului: ={1, 2, 3, 4, 5, 6} se realizeaza sigur la
fiecare aruncare a zarului.
- multimea partilor contine si toate combinatiile posibile (de ex., in cazul zarului:
=(1,2,3,4,5,6, 1U2, ., 1U2U3U4U5U6) -64 in cazul zarului;

-Probabilitate: un numar rational p, 0p 1, care caracterizeaza gradul de realizare (sansa
realizarii) al unui eveniment E dintr-un cimp de evenimente . Acest numar, notat cu P(A), se
va numi probabilitatea evenimentului A.

Observtie: limbajul probabilitatilor consta in afirmatii asupra probabilitatilor evenimentelor.
Eveniment poate fi privit ca rezultatul unui experiment, observarea valorii unei variabile
(aleatoare) , valoarea unei afirmatii (propozitii): de ex., propozitia A=afara ploua, un eveniment
poate fi E=A=adevarat
3
Interpretarea probabilitatii
-clasica-
Definitie: probabilitatea unui eveniment intr-un
experiment particular este numarul
rezultatelor (egal probabile) favorbile
evenimentului si numarul total de rezultate
(egal probabile) ele experimentului:



Exemplul 1: un pachet de carti: care este
probabilitatea sa extrag popa? E=popa


Istoric: calculul sansei in jocurile de noroc:
sansa (E) = a: b Sansa sa extrag
popa este de 4: 48 P(E)=a/a+b
Exemplul 2: aruncarea unei perechi de zaruri:
E=numarul 7, P(E)=?
Considera existenta unei probabilitati
obiective a evenimentului
(proprietate), independenta de
experiment.



n
k
E P = ) (
52
4
) ( = E P
4
Interpretarea frecventista
Definitie: fie E eveniment intr-un experiment. Daca
frecventa relativa a realizarii evenimentului E in n experimente
identice este,


atunci

Exemplul 1: experimentul 1: 50 aruncari cu banul
experimentul 2: 90 aruncari (conditii identice de realizare)
pentru n limita frecventelor relative va fi 1/2;
practic aproximeaza cu frecventa relativa
spre deosbire de clasici, considera probabilitatea obiectiva ca
limita a rezultatelor unor experimente (fenomene) repetabile in
conditii identice (dependenta de experiment).
Evenimente unice? De ex., care este probabilitatea ca sa
izbucneasca razboi nuclear?




n
E N
f
n
n
) (
=
) ( lim ) ( E f E P
n
n
=
5
Interpretarea subiectivista
Fie A o propozitie care poate fi adevarata sau falsa. Atunci, masura
gradului de incredere (convingere) a unui agent vis--vis de adevarul
propozitiei, raportat la starea cunostintelor acestuia, poarta numele de
probabilitate subiectiva.
daca notam cu bel(A) gradul de incredere, atunci conform scolii subiectiviste
avem egalitatea:
P(A)=bel(A)
Exemplu. Fie A=pacientul prezinta pneumonie, care poate fi {F,T}, daca
gradul de increderea (convingerea) al medicului relativ la valoarea A=T (
A=F), raportat la cunostintele sale, este 0.9 (0.1), atunci
P(A=T)=0.9
Observatie.
Propozitia, de sine statataore, poate fi adevarata sau falsa, chiar daca
agentul este nesigur; incertitudinea se refera la cunostintele individului cu
privire la evenimentul A=T.
trebuie facuta deosebire intre - gradul de incredere al unei propozitii
(rationament incert- probabilistic) si
-gradul de adevar al propozitiei (logica
fuzzy):



6
Interpretarea subiectivista (2)

Model canonic
In cazul in care nu dispunem de date statistice, sau experienta
anterioara, se impune furnizarea unui model canonic, etalon al
increderii, cu ajutorul caruia expertul sa poata cuantifica
increderea:
Fie A o propozitie (F sau T) si S (lei) suma promisa individului in
cazul in care face afirmatia A si aceasta se dovedeste T. Atunci
gradul de incredere al individului relativ la adevarul afirmatiei
este o fractiune din valoarea intreaga S pe care persoana simte
ca este cinstit s-o plateasca in cazul in care se dovedeste ca
A=F.
De exemplu: presupunem ca daca afirmatia A=suspectul este
Paul s-ar dovedi adevarata (A=T), primeste 100lei.
Presupunem, deasemnea ca persoana consimte sa plateasca
80lei daca afirmatia este falsa A = F, rezulta ca individul are o
convingere foarte puternica ca afirmatia sa este adevarata,
respectiv P(A)=0.8.
7
Axiome si formule de baza (1)
definitia axiomatica a probabilitatii
(Kolmogorov):
Fie {, } un cimp de evenimente. Orice functie
P:[0,1] se numeste probabilitate daca
satisface urmatoarele axiome:

1. 0<P(A)<1,
2. P()=1 (P(adevarat)=1)
3.
P()=0 (-evenimentul imposibil, P(fals)=0)
proprietati:
fie ={ }, atunci din 1, 2 si 3 rezulta:








u = O e + = B A B A B P A P B A P , , ), ( ) ( ) (
n
E E ,..,
1

= =
n
i n
E P E E P
1
1
1 ) ( ) .... (
) , ( O A e A
8
Axiome si formule de baza (2)
Formula adunarii:

P(AUB)=P(A)+P(B)- P(AB),

AB: evenimente compatibile

Exemplul 1: probabilitatea sa extrag fie A=rege, fie B=cupa
P(AUB)=4/52 + 13/52 1/52
(1/52- logic)
Exemplul 2: =(1,2,3,4,5,6)
A=(2U4U5), B=(1U2U3)
P(AUB)=?

evenimente complementare
O e B A,
u = A = ); ( 1 ) ( A P A P
9
Axiome si formule de baza
evenimente independente
Evenimente independente:
realizarea lui B nu aduce nici-o informatie cu privire la realizarea lui A.
P(AB)= P(A)P(B),
Exemplul 1: un barbat si o femeie, au fiecare cite un
pachet de carti, fiecare extrage o carte, care este
probabilitatea ca sa extraga amindoi cite un rege de
pica? Definim evenimentele:
A=barbatul extrage un rege de pica: P(A)=1/52
B=femeia extrage un rege de pica: P(B)=1/52
evident cele doua evenimente sunt independente:
P(A,B)=P(A)P(B)=0.00037
Exemplul 2. experiment aruncarea unui ban,
evenimente elementare {cap, pajura}, care este
probabilitatea ca la prima si a doua aruncare sa iasa
pajura?






10
Axiome si formule de baza
Evenimente dependente:


Probabilitate conditionata:



P(AB) probabilitatea ca atit evenimentul A cit si evenimentul B
sa se realizeze;
P(B) probabilitate (neconditionala) de realizare a evenimentului B
Semnificatie: probabilitatea ca evenimentul A sa se realizeze dindu-
se ca evenimentul B s-a realizat deja
Analog:


P(A/B)=P(A) ?
) ( ) ( ) ( B A P B P B A P =
0 ) ( ,
) (
) (
) ( =

= B P
B P
B A P
B A P
0 ) ( ,
) (
) (
) ( =

= A P
A P
B A P
A B P
11
Axiome si formule de baza (6)
evenimente independente vs. evenimente mutual exclusive
Generalizind pentru n evenimente independente

P(A
1
A
2
A
n
)=P(A
i
)

P(AUB)=P(A)+P(B)- P(A)P(B)
Exemplu: probabilitatea sa extrag fie A=rege, fie B=cupa
P(AUB)=4/52 + 13/52 1/52
1/52 logic sau (4/52)*(13/52)=1/52
Evenimente mutual exclusive:
P(AB)=
P(AUB)=P(A)+P(B)
Exemplul 2: =(1,2,3,4,5,6)
A=impar, B=par
P(AUB)=?
Doua evenimente independente nu pot fi in acelasi timp si mutual
exclusive si invers

12
Axiome si formule de baza (4)
Regula probabilitatii compuse (formula produsului
probabilitatilor):
Fie , probabilitatea ca A si B sa se realizeze simultan
este:

P(AB)=P(A/B)P(B) sau
P(AB)=P(B/A)P(A)



Pentru n evenimente A
1
, , A
n


P(A
1
A
2
A
n
)=P(A
1
)P(A
2
/A
1
)P(A
n
/A
1
A
2
..A
n-1
)

Exemplu: presupunem A
1
=a fost cutremur, A
2
=a avut loc o spargere
A
3
=alarma s-a declansat :

P(A1,A2,A3)=P(A1)P(A2/A1)P(A3/A1,A2) (mai poate fi simplificata?)

O e B A,
13
Axiome si formule de baza
Legea probabilitatii totale
Fie A
1
, .., A
n
o desfacere a evenimentului sigur , A
i
A
j
= , i,j=1,..,n, ij
si B un eveniment compatibil cu acestea BA
j
, atunci:





Demonstratie (continuati
demonstratia)

Tinind cont de formula produsului:
P(A
i
B)=P(B/A
i
)P(A
i
)
Rezulta:


) , ( ) (
1
n
i
A B P B P =

n
i
n
i
B A A B B B
1 1
) ( ) ( = = A =
) / ( ) ( ) (
1
i
n
i
A B P A P B P

=
14
Axiome si formule de baza (7)
Teorema lui Bayes :
daca evenimentele A
1
, A
2
, ........, A
m
reprezinta o desfacere a evenimentului sigur si daca
probabilitatile P (A
i
) si P (B/ A
i
) sunt cunoscute, unde B este un eveniment oarecare al cimpului
de evenimente, atunci probabilitatea inversa (conditionata) a evenimentului A
i
stiind ca B s-a
realizat este:


sau, tinind cont de formula probabilitatii totale:


unde: P(A
i
) probabilitatea apriorica observatiei
P(B/A
i
) verosimilitatea evenimentului B atunci cind Ai s-a produs
P(A
i
/B) probabilitatea aposteriorica observatiei evenimentului B
exemplu: in fiecare vineri iau masa la restaurant si estimez ca probabilitatea de a fi servit
in 15min este 0.9, deasemenea probabilitatea ca restaurantul sa fie aglomerat daca am
fost servit in 15min este 0.077 si probabiltatea de a fi aglomerat cind nu am fost servit in
15 min este 0.3:


observatii?

=
=
n
j
j j
i i
i
A P A B P
A P A B P
B A P
1
) ( ) / (
) ( ) / (
) / (
) (
) ( ) / (
) / (
B P
A P A B P
B A P
i i
i
=
7 . 0
0993 . 0
9 . 0 077 . 0
) / ( ~

= B A P 3 . 0
0993 . 0
1 . 0 3 . 0
) / ( ~

= B A P
15
Interpretarea formulei lui Bayes
formula probabilitatii cauzelor sau formula
ipotezelor = regula de inferenta
Evenimentele A
1
, ........., A
m
H
1
, , H
m
: o multime de ipoteze probabile referitoare la starile
posibile ale mediului
S realizarea unui experiment de ex.,observarea unei caracteristici (proba sau selectie) a starii
in legatura cu care se pun in evidenta ipotezele
de exemplu, S=rinita, ipotezele probabile: H
1
=gripa, H
2
=alergie

presupunem ca aprioric observatiei sunt cunoscute P(Hi) si P(S/Hi)
inlocuind in formula lui Bayes rezulta:


dar, P(S) constanta de normalizare (este aceiasi pentru i=1,m)
Rezulta:


interpretare: informatia apriori privind situatia reala este amplificata de selectie si da o apreciere
probabilistica curenta a situatiei; astfel abordarea bayesiana este inferentiala. Conform ei,
cunoasterea este descrisa de multimea probabilitatilor aposteriorice P(Hi/S) , i = 1,.....n.

exemplu: iarba uda: doua ipoteze: H
1
=afara a plouat si H
2
=iarba a fost udata , mai stiu ca
P(H
1
)=0.5, si ca daca a tunat P(S/H
1
)=0.9 si P(S/H
2
)=0.03, unde S=a tunat

-daca mi-am amintit ca azi noapte a tunat , care este probabilitatea aposteriorica P(H1/T)?
Conform teoremei lui bayes avem:

) ( ) / ( ) / (
i i i
H P H S P S H P o =
) (
) ( ) / (
) ( ) / (
) ( ) / (
) / (
1
S P
H P H S P
H P H S P
H P H S P
S H P
i i
n
j
j j
i i
i
= =

=
96 . 0
5 . 0 03 . 0 5 . 0 9 . 0
5 . 0 9 . 0
) / (
1
=
+

= S H P
16
Variabile

d.p.d.v. matematic asimilam experimentul, fenomenul, propozitia cu o variabila aleatoare X
variabila are un set finit de valori, mutual exclusive si exhaustive: domeniul de valori dom(X)={x
1
, ..x
n
}, de
ex., X= vremea domX=(insorita, ploiaosa, ninsoare)
categorii:
discret :
boolean {T,F},
binar {pozitiv, negativ},
ordonate {mic, mijlociu, mare},
categoriale {albastru, verde, rosu}
domeniul numerelor reale intregi: {1, 2,100}

Continuu: de ex., virsta, temperatura

Notatii (conventii):
Variabile - litere mari X , valori-litere mici x
variabilele binare (booleene) se utilizeaza frecvent notatia X (Italic) pentru T

si pentru F

Probabilitatea se refera la o valoare a variabilei P(X=x), este incorect P(vremea)
corect P(vremea=ploioasa)

Observatie: literele mari de la inceputul alfabetului reprezentau evenimente, valorile unor variabile


X
17
Distributia de probabilitate (1)
Variabile discrete : distributia de probabilitate discreta

Fie X o variabila aleatoare discreta cu domX=(x
1
,..,x
n
) distributia de
probabilitate P(X) este

P(X)=P(x
1
,, x
n
)=(P(X=x
1
) . P(X=x
n
))

unde P(X=x
i
)=1

Exemplu: presupunem experimentul aruncarea unui ban de doua ori,
experimentul are 4 rezultate posibile:CC, CP, PC, PP. Fie variabila X=nr. de
fete-cap, variabila poate lua valorile: x
1
= 0, x
2
=1, x
3
=2, in tabelul de mai jos
sunt reprezentate probabilitatile rezultatelor:




probabilitatile de realizare a valorilor variabilei P(X) =(0.25 0.50 0.25)
reprezinta distributia de probabilitate a variabilei



















x 0 1 2
P(x) 0.25 0.5 0.25
18
Distributia de probabilitate (2)
pentru o variabila X cu domX=x=(x
1
,..,x
n
) distributia de
probabilitate cumulativa este
P(Xx)=(P(X x1).. P(X xn)), unde
P(X x
i
) = P(X x
j
) cu j=1,..,i

Presupunem acelasi experiment, care este probabilitatea ca
variabila X sa aiba valoarea x1P(Xx) ?
P(X1) = P(x=0) + P(X=1) = 0.25+0.50=0.75 si reprezinta
probabilitata cumulativa. Pentru toate valorile lui X distributia de
probabilitate cumulativa este reprezentata in tabelul 2



x P(X=x) P(Xx)
0 0.25 0.25
1 0.50 0.75
2 0.25 1
19
Distributia de probabilitate (3)
Variabile continue-
functia de distributie cumulativa: F(x)=P(x x), cu proprietatile:
crescatoare: F(x) F(x) unde x x
lim
x-
F(x)=0
lim
x+
F(x)=1
functia de densitate de probabilitate:


cu proprietatile:
0 f(x)<

x
f(x)dx=1
Distributii de probabilitate: de exemplu, distributia normala:

,unde
=media, =deviatia


) ( ) ( x F
dx
d
x f =
2
2
2
) (
2
1
) (
o

t o

=
x
e x f
N
x
N
x
i i

= =
2
) (
,

o
20
Distributia de probabilitate (4)

Exemplu: distributia de probabilitate continua:
presupunem, dintr-un lot de becuri, 6 au avut
urmatoarea durata de viata tabelul I
X=durata de viata variabila continua,
consideram distributia valorilor variabilei
normala, respectiv, functia densitate de
probabilitate f(x) data de expresia din figura
1.

in cazul exemplului: =1033, =407
observatii: -aria totala de sub curba este 1
-probabilitatea ca X sa se
gaseasaca in intervalul [a,b]
egaleaza aria de sub curba dintre
cele doua valori aceasta este
probabilitatea cumulativa, respectiv :

Functia de distributie cumulativa: F(x) (figura 2)

care este probabilitatea ca durata de viata a
unui bec luat la intimplare sa fie 1200?
P(X=1200)=F(x=1200) =0.65



Tabelul I

















Fig. 1
1 2 3 4 5 6
1000 1500 1000 300 1500 900
21
Distributia de probabilitate (5)
Fie X= X
1
,..X
n
, cu domX
i
=(x
i1
,..,x
in
)-valori
mutual exclusive si exhaustive
Distributia de probabilitate compusa
P(X) = P(X
1
, .., X
n
) =




unde x
1i
, .., x
ni
o realizare a vectorului
variabilelor - eveniment atomic sau instanta
Se mai poate reprezenta sub forma unui tablel cu n
n
celule, o celula reprezinta probabilitatea unui
eveniment atomic

Pentru specificarea completa a distributiei de
probabilitae compusa in cazul a n variabile
binare avem nevoie de 2
n
-1 probabilitati! De
ce?

Raspuns :

densitatea de probabilitate compusa-
descriere probabilistica completa a
domeniului descris de variabilele X: poate
fi utilizata pentru a determina orice
informatie (probabilistica) dorim despre
domeniu



exemplu: presupunem variabilele booleene:
X=durere piept, Y=pneumonie, distributia
de probabilitate compusa:



Este reprezentata in tabelul I
tabelul I






sau P(X,Y)=(0.04 0.01 0.06 0.89)




P(xUy)=? P(xUy)=0.11
P(y/x)=? P(y/x)=0.80
demonstrati folosind regulile adunarii si probabilitatii
totale



P(X,Y) x x
y 0.04 0.06
y 0.01 0.89
1 ) ,..., (
..
1
1
=

n
X X
n
x x P
1 ) , ( ) , ( ) , ( ) , ( = + + + y x P y x P y x P y x P
)) , ( ) , ( ) , ( ) , ( ( ) , ( y x P y x P y x P y x P Y X P =
)) ,..., ( )..... ,..., ( ) ,..., ( (
1 2 12 1 11 nn n n n
x x P x x P x x P =
22
Distributia de probabilitate (6)
distributia de probabilitate totala (marginala):



pentru doua variabile X si Y:





consideram X si Y variabile booleene:




se mai spune: marginalizare sau scoaterea variabilei Y inafara lui X




) ) , ( ),.., , ( ( ) (
1
= =
domY domY
n
Y x P Y x P x X P
) ..., , ( ) (
,.., 1
), (
1 n
n k
i k X X dom
i
X X P X P
k

=
= e
=

=
domY
P P ) ( ) ( Y X, X
95 . 0 ) , ( ) , ( ) , ( ) (
05 . 0 ) , ( ) , ( ) , ( ) (
= + = = =
= + = = =

y x P y x P Y x P x X P
y x P y x P Y x P x X P
Y
Y
P(X,Y) x x
y 0.04 0.06
y 0.01 0.89
23
Distributia de probabilitate (7)
Exemplu: X
1
=C, X
2
,=SP, X
3
=AL, domX={T,F}


P(X
1
, X
2
, X
3
)=(0.2 0.003 0.364 0.002 0.2 0.4 0.03 0.001)






P(X
1
/ X
2
=T, X
3
=T)=?
P(X
3
=T)=0.2 + 0.364 + 0.2 + 0.03=0.794





SP=T,
AL=T
SP=T,
AL=F
SP=F,
AL=T
SP=F,
AL=F
C=T 0.2 0.003 0. 364 0.002
C=F 0.2 0.4 0.03 0.001

= = = + = = = = = =
SP C SP
T X X F X P T X X T X P T X X X P T X P ) , , ( ) , , ( ) , , ( ) (
3 2 1 3 2 1 3 2 1 3
) , , ( ) , , ( ) , , ( ) , , (
3 2 1 3 2 1 3 2 1 3 2
T X F X F X P T X T X F X P T X F X T X P T X T X T X P = = = + = = = + = = = + = = = =
)) , , ( ).... , , ( ( ) , , (
3 2 1 3 2 1 3 2 1
x x x P x x x P X X X P =
1 ) , , ( .... ) , , ( ) , , ( ) , , (
3 2 1 3 2 1 3 2 1
, ,
3 2 1
3 2 1
= + + + =

x x x P x x x P x x x P X X X P
X X X
24
variabile independente
variabile conditional independente
variabile independente
daca doua variabile sunt independente atunci urmatoarele relatii
sunt echivalente:


variabile conditional independente:
doua variabile X si Y sunt conditional independente dindu-se o a treia
variabila Z , daca

aratati ca urmatoarele relatii sunt adevarate







) ( ) (
) ( ) (
, ), ( ) ( ) , (
Y P X Y P
X P Y X P
y x y Y P x X P y Y x X P
=
=
= = = = =
) , ( ) ( ) , , (
) ( ) ( ) , (
) (
) , ( ) , (
) , , (
, , ), ( ) ( ) , (
Z Y P Z X P Z Y X P Z Y X
Y Z P Z X P Y Z X P Z Y X
Z P
Z Y P Z X P
Z Y X P Z Y X
z y x z Z y Y P z Z x X P z Z y Y x X P Z Y X
=
=
=
= = = = = = = =
z y x z Z x X P z Z y Y x X P , , ) ( ) , ( = = = = = =
) ( Y X
) ( Z Y X
25
Distributia de probabilitate (8)
Formula distributiei de probabilitate compusa:


pentru exemplul: X
1
=C, X
2
,=SP, X
3
=AL, domX={T,F}, avem

P(X
1
,X
2
,X
3
)=P(X
1
)P(X
2
/X
1
)P(X
3
/X
1
,X
2
)

deoarece X
1
si X
2
independente: P(X
2
/X
1
)=P(X
1
) ,
rezulta

P(X
1
,X
2
,X
3
)=P(X
1
)P(X
2
)P(X
3
/X
1
,X
2
)




) ...X X P( X .. ) X P( X ) P( X X P( X
1 n 1 n 1 2 1 n 1
= ) ,...,
26
Distributia de probabilitate (9)
Formula lui Bayes:


aratati ca relatiile de mai jos sunt echivalente:



observatie

de ce probabilitati conditionate?

=
domZ
Y Z X P Y X P ) , ( ) (

= =
domY
X P
Y P Y X P
P( Y) Y X P
Y) P( Y) X P
X P( Y
) (
(
) (
) ( ) (
)

=
Y
X
1 X) P( Y
) ( ) , ( ) ( Y Z P Y Z X P Y X P
domZ