Capitolul 5 PROCESE MARKOV I POISSON

5.1. Procese Markov depinznd de un parametru discret S considerm un cmp de probabilitate {,K,P} complet aditiv i mulimea variabilelor aleatoare reale definite pe acest cmp, pe care o notm cu V i TR. Definiie. Numim proces stochastic cu mulimea de parametri T o aplicaie X: T V S explicm puin noiunea de proces stochastic introdus mai sus. Pentru aceasta s admitem c variabilele aleatoare din mulimea V descriu starea unui anumit sistem, iar mulimea T a parametrilor reprezint timpul. Atunci, un proces stochastic reflect evoluia n timp a unui sistem dat. De obicei, se ia drept mulime T a parametrilor fie toat dreapta real, R=T=(-,+), fie numai semiaxa pozitiv T=(0,) sau T=[0,), fie un segment finit al dreptei reale, de regul T=[0,1]. Procesele stochastice ne ofer posibilitatea s privim sistemele n micare, ca de altfel i funciile obinuite din analiza matematic. Spre deosebire ns de starea clasic, starea sistemului la un moment dat nu mai este perfect determinat, ci este aleatoare, ceea ce nseamn c ea nu poate fi cunoscut dect probabilistic. Formal, un proces stochastic depinde de dou variabile: tT i . De aceea vom scrie X(t,) sau Xt(). Pentru fiecare tT, Xt(.) este o variabil aleatoare definit pe {,K,P} i pentru fiecare (cu alte cuvinte, pentru fiecare realizare , X(t,.) reprezint o funcie definit pe T), X(t,.) este o funcie de variabil real tT. Dac card T = n, adic T conine numai un numr finit de elemente, T={t1,t2,,tn}, atunci procesul stochastic {Xt, tT} este echivalent cu un vector aleator. n cazul n care T este o mulime numrabil, se ia ca mulime a parametrilor fie mulimea Z={,-n,,-1,0,1,,n,}, fie mulimea N={0,1,2,,n,}. n acest caz, procesul este un ir de variabile aleatoare i-l vom numi lan. Am vzut c o variabil aleatoare se consider determinat dac se cunoate funcia ei de repartiie. n cazul unui proces stochastic, acesta va fi determinat dac se cunosc toate funciile de repartiie finit dimensionale, ceea ce nseamn c pentru orice nN, orice t1,t2,,tnT i orice x1,x2,,xnR se cunosc probabilitile:

P({ : X t1 ( ) < x1, X t2 ( ) < x 2,..., X tn ( ) < xn}) = Ft1 ,t2 ,...,tn ( x1 , x 2 ,..., x n )
n afara proprietilor cunoscute pentru funciile de repartiie n-dimensionale, aceste funcii trebuie s mai satisfac urmtoarele proprieti de consisten: (1) lim Ft1 ,t2 ,...,tn ( x1 , x 2 ,..., x n ) = Ft1 ,t2 ,...,t j 1t j +1 ,...tn ( x1 , x 2 ,..., x j 1 x j +1 ,... x n )
x j

(2) oricare ar fi permutarea (i1,i2,,in) a lui (1,2,,n),

Fti1 ,ti 2 ,...,ti n ( xi1 , x i2 ,..., x in ) = Ft1 ,t2 ,..,tn ( x1 , x 2 ,..., x n )

S vedem ce se ntmpl cu dou procese crora le corespund aceeai familie de funcii de repartiie finit dimensionale. Fr a intra n amnunte, vom da numai urmtoarea definiie: Definiie. Dou procese stochastice definite pe aceeai mulime de parametri se numesc echivalente dac toate repartiiile finit dimensionale corespunztoare lor coincid. Noi vom considera acum procese stochastice depinznd de un parametru discret, n care T=N={0,1,2,,n,}. Fie, deci, un cmp de probabilitate {,K,P} i (Xn)nN, un ir de variabile aleatoare definite pe acest cmp. Vom presupune c fiecare variabil aleatoare Xn este de tip discret i s notm cu I reuniunea valorilor posibile pe care le pot lua variabilele Xn, nN. Rezult imediat c I este o mulime cel mult numrabil i c iI dac i numai dac exist nN astfel nct P(:Xn()=i) > 0. Mulimea I o vom numi mulimea de stri ale procesului stochastic de parametru discret (Xn)nN. Definiie. Spunem c irul de variabile aleatoare (Xn)nN constituie un lan Markov dac pentru orice nN, n2, orice t1,t2,,tn, 0t1<t2<<tn i orice i1,i2,,inI are loc relaia (*) P(: X t n ( ) = in / X t n 1 ( ) = in 1 ,..., X t1 ( ) = i1 ) = P(: X t n ( ) = in / X t n 1 ( ) = in 1 ) , ori de cte ori membrul stng al egalitii este definit. Se poate demonstra c relaia de definiia a lanului Markov este echivalent cu urmtoarea condiie aparent mai simpl: pentru orice nN,

P(: Xn( ) = in / X n 1 ( ) = in 1 ,..., X 0 ( ) = i0 ) = P(: X n ( ) = in / X n 1 ( ) = in 1 )

Din definiia dat lanului Markov, rezult c acesta reflect un sistem ce evolueaz n timp discret, evoluie a crei stare viitoare depinde numai de starea prezent, indiferent ce s-a petrecut cu strile sistemului n trecut (anterioare prezentului). Se mai spune c un astfel de sistem este fr memorie. Putem acum s introducem o definiie echivalent a unui lan Markov prin propoziia care urmeaz. Propoziie. irul de variabile aleatoare (Xn)nN constituie un lan Markov dac i numai dac pentru orice m0 i orice t1,t2,,tn+m, 0t1<t2<<tn+m i orice i1,i2,,in+mI are loc relaia: P( X tV ( ) = iV , n V n+m / X tV ( ) = iV ,..., X tV ( ) = iV ,1 V n-1) = (**) = P( X tV ( ) = iV , n V n+m / X tn 1 ( ) = in 1 ) Demonstraie. Vom proceda prin inducie asupra lui mN. Pentru m = 0, relaia (**) se reduce la relaia (*) de definiie a unui lan Markov. S presupunem c (**) este adevrat pentru un m dat i s artm c ea este adevrat pentru m+1. ntr-adevr,

P( X t V ( ) = i V , n V n+m + 1 / X tV ( ) = iV ,1 V n-1) = = P ( X t( )
( )
n + m +1

P ( X t V ( ) = i V ,1 V n+m + 1) P ( X t V ( ) = i V ,1 V n 1) =

= i n + m+1 / X tV = i V ,1 V n+m) P( X t V ( ) = i V ,1 V n+m

P ( X t V ( ) = i V ,1 V n 1

= P ( X t n + m+1 ( ) = i n + m+1 / X t n + m ( ) = i n + m ) P( X t V ( ) = i V , n V n+m / X t V ( ) = i V ,1 V n 1)

care, conform ipotezei de inducie, devine: P X tn + m+1 ( ) = in + m+1 / X tn+ m ( ) = in + m P X tV ( ) = iV , n V n+m / X tn 1 ( ) = in 1 =

( )( P( X ( ) = i , n 1 V n+m + 1) P( X ( ) = i , n 1 V n+m) = = P( X ( ) = i ) P( X ( ) = i , n 1 V n+m) P( X ( ) = i , n 1 V n+m + 1) = = P( X ( ), n V n+m + 1 / X ( ) = i ) P( X ( ) = i )

tV V tV V tV V t n 1 n 1 tV V tV t n 1 n 1 t n 1 n 1

)(

= P X tn + m+1 ( ) = in+ m+1 / X tV ( ) = iV , n 1 V n+m P X tV ( ) = iV , n V n+m / X tn 1 ( ) = in1

Observaie. Dac inem seama de unele rezultate din teoria msurii, se poate afirma c valabilitatea relaiei (**) pentru orice m0 este echivalent cu urmtorul rezultat, mult mai general: Pentru orice MK(Xt; t>tn) are loc relaia P( M / X tV ( ) = iV ,1 V n ) = P( M / X t n ( ) = i ) , n unde K(Xt; t>tn) este corpul borelian generat de variabilele aleatoare Xt, t>tn. 5.2. Probabiliti de trecere S considerm cmpul de probabilitate {,K,P} i irul de variabile aleatoare (Xn)nN definite pe acest cmp. Notm cu K0 corpul borelian generat de variabilele aleatoare Xn, nN ale irului considerat. Evident c avem K0K. Dac toate variabilele irului sunt discrete, aa cum am presupus iniial, cu mulimea de stri I, atunci probabilitile pe toate mulimile din corpul K0 sunt determinate de repartiiile finit dimensionale P(Xn() = in, Xn-1() = in-1,,X0() = i0), pentru orice nN i i0, i,,inI. Dar, P(Xn() = in, Xn-1() = in-1,,X0() = i0) = P(X0() = i0). P(X1() =i1 / X0()= i0). P(X2() = i2 / X1() = i1, X0() = i0) P(Xn() = in / Xn-1() = in-1,,X0() = i0) = P(X0() = i0) P( Xt ( ) = it / Xs() = is, 1 s t-1)
t =1 n

Dac acum (Xn)nN este un lan Markov, atunci:

P( Xt ( ) = it ,0 t n) = P( X 0( ) = i 0) P( Xt ( ) = it / Xt 1( ) = it 1)
t =1

din starea it-1 n starea it i le vom nota p(t;it-1,it), iar probabilitile P( X 0( ) = i 0) = p i0 , iI vor constitui repartiia iniial. Atunci, P( Xt ( ) = it ,0 t n) = pi0 p(t; it 1 , it )
t =1 n

Vom numi probabilitile P( Xt ( ) = it / Xt 1( ) = it 1) probabiliti de trecere la momentul t,

Definiie. Un lan Markov spunem c este omogen sau cu probabiliti de trecere staionare, dac acestea nu depind explicit de timpul t:

p( t ; it 1, it ) = pit 1it
Pentru un lan Markov omogen (cu probabilitile de trecere staionare) are loc relaia:
P( Xt ( ) = it ,0 t n) = pi0 pit 1it
t =1 n

Probabilitile pit 1it constituie elementele unei matrici

( p )

numit matricea de trecere

ij ( ij )

IxI .
pi 0;
pij 0;

Se constat imediat c:

p =1
i iI

p
j I

ij

= 1 , () iI;

aceste probabiliti determin toate repartiiile finit dimensionale P( Xt ( ) = it ,0 t n) , nN i, prin urmare, determin probabilitatea P pe cmpul borelian K0 generat de lanul Markov considerat. n felul acesta, probabilitile iniiale (pi)iI i probabilitile de trecere (pij)i,jI formeaz o familie de cantiti determinate pentru un lan Markov. De aici urmeaz o alt definiie a unui lan Markov, i anume: un lan Markov este un proces aleator (Xn)nN cu variabilele aleatoare discrete pentru care exist o mulime de indici I, cel mult numrabil, un ir (pi)iI i o matrice (pij)i,jI verificnd condiiile : pi 0, i I , pi = 1; pij 0, i, j I ; pi j = 1
iI j I

n acest mod, probabilitile finit dimensionale sunt date de:

P( Xn( ) = in,..., X 0 = i0) = pio p( it 1, it )

t =1

Fie (Xn)nN un lan Markov omogen (cu probabiliti de trecere staionare).

Definiie. Vom spune c un lan Markov omogen este cu creteri independente dac

pij = qj-i, i,jI. Exemplu de lan Markov cu creteri independente: Fie irul de variabile aleatoare (Yn)nN definit n modul urmtor: Y0 = X0, Yn = Xn - Xn-1, n1. Fie I mulimea numrabil de numere de forma j-i, i,jI astfel nct pij>0. Atunci I este mulimea valorilor posibile corespunztoare irului (Yn)nN. Fie L mulimea valorilor lui Y0. Pentru orice n 1, i0L, j0J, 1 n, avem:
n n P( Yn = jn / Y = j ,0 n) = P Xn = js / X = js,0 n 1 = s= 0 s= 0 n n = P Xn = js / Xn 1 = s= 0 s= 0

js = qjn

Rezult c procesul (Yn)nN este un ir de variabile aleatoare independente, toate, exceptnd pe Y0, avnd o repartiie comun dat de (qj)jJ. Prin urmare, Xn = Y este suma a n+1 variabile aleatoare discrete, independente
=0
n

toate, afar de Y0, avnd aceeai repartiie. Reciproc, un astfel de proces (Yn)nN* este cu creteri independente. 5.3. Probabiliti de trecere dup n pai Introducem probabilitile de trecere dup n pai dintr-o stare i ntr-o stare j, pe care le ( vom nota pijn ) , nN. Pentru n = 0, punem, prin definiie: Pentru n = 1, punem
( pij1)

0, i j ( pij0 ) = ij = 1, i = j = pij , iar pentru nN arbirtar, punem:

( ( (1) (*) pijn +1) pikn ) p kj , k I

relaie care este valabil i pentru n = 0. S demonstrm urmtoarea propoziie.

( Propoziie. Pentru orice hN, are loc relaia Pik n ) = P( Xh + n = j / Xh = i) . Demonstraie. (1) Pentru n = 1 relaia se reduce la pik = P( Xh + 1 = j / Xh = i) , care este tocmai relaia de

definiie a probabilitilor de trecere. Presupunem relaia adevrat pentru s n i artm c rmne adevrat pentru s = n + 1, orice ar fi i,jI. Atunci: P( Xh + n + 1 = j, Xh + n = k , Xh = i) P( Xh + n + 1 = j / Xh = i) = P( Xh + n + 1 = j, Xh + n = k / Xh = i) = = P( Xh = i) k I k I
=
k I

P( Xh + n + 1 = j, Xh + n = k , Xh = i) P( Xh + n = k , Xh = i) = P( Xh + n + 1 = j / Xh + n = k , Xh = i) P( Xh = i) P( Xh + n = k , Xh = i) k I
k I

( ( ( P( Xh + n = k / Xh = i) = pikn) pkj1) = pijn+1) ,

deci, n baza induciei dup n, am demonstrat afirmaia.

n baza acestei propoziii este justificat denumirea de probabilitate de trecere din ( starea i n starea j dup n pai a expresiei pijn ) . Probabilitatea absolut a variabilei Xn este dat de :
p (j n ) = P ( Xn = j ) =
( Deci, p (j n ) = pi pijn ) . i I

P( X
i I

= i , Xn = j ) =

P( X
i I

( = i ) P ( Xn = j / X 0 = i ) = pi pijn ) i I

i Fie (Xn)n0 un lan Markov omogen cu repartiie iniial X 0: i I , pi = P(X0=i) pi , i i cu repartiia la pasul n, Xn: ( n ) i I , p i( n ) = P( Xn = i ) . pi ,

Definiie. Lanul Markov (Xn)n0 se numete staionar, dac p i( n ) = pi , nN, iI.

( Din p (j n ) = P( Xn = j ) = P( Xn = j , X 0 = i ) = P( X 0 = i)P( Xn = j / Xn = i) = pi pijn )
j I j I iI

rezult c, dac lanul este staionar, atunci:

p (j n ) = p j i, deci, p j = Pi Pij( n ) , () jI, nN.

iI

n particular, pentru n = 1 avem: p j = pi pij , () jI.

i I

Probabilitile de trecere dup n pai verific relaia general dat de propoziia de mai jos:
( ( ( Propoziie. Pentru orice n, mN, are loc relaia pijn + m ) = pikn ) p kjm ) . k I

Demonstraie. Facem inducie dup m. ( ( ( ( ( ( Pentru m = 0 relaia este: pijn + 0 ) = pijn ) = p ikn ) p kj0 ) = pikn ) kj = p ijn ) .
k I k I

Presupunem c relaia este adevrat pentru s m dat i orice nN, i,jI i s artm c este adevrat pentru s = m+1:

( ( ( ( ( ( ( ( ( ( ( pijn + m+1) = pikn+ m) p kj1) = piln ) plkm) p kj1) = piln ) plkm) p kj1) = piln ) pljm+1) l I kI l I k I kI l I
( ( ( Relaia demonstrat, pijn + m ) = pikn ) p kjm ) (**) k I

este cunoscut sub numele de relaia Chapman-Kolmogorov. Tot sub acelai nume este cunoscut i relaia ( ( ( (*) pijn +1) = pikn ) p kj1)
kI

Evident c relaia (**) este o generalizare a relaiei (*) i ea uureaz calculul ( probabilitilor pijn ) dac n este mare. Totodat ele sugereaz utilizarea matricilor n calculul
( probabilitilor de trecere dup n pai, pijn ) .

O matrice A = (aij)i,jN de ordin finit sau numrabil, ale crei elemente au proprietile aij 0, aij = 1 spunem c este o matrice stochastic. Dac A = (aij)i,jI i B = (bij)i,jI sunt
j I

matrici stochastice, atunci C = AB are sens, C = (cij)i,jI , cij = aikbkj , iar C este o matrice
j I

stochastic, deoarece cij 0 (evident) i

c = a b = a b = a
ij ik kj ik kj j I j I k I k I j I k I

ik

= 1.

Din rezultatele prezentate, urmeaz c matricea de trecere a unui lan Markov omogen este o matrice stochastic i reciproc, orice matrice stochastic este matricea de trecere a unui lan Markov omogen cu o repartiie dat. ( Relaia Chapman-Kolmogorov pune n eviden faptul c probabilitile pijn +1) sunt elementele matricii

( n +1)

n +1

. Matricea

(n)

= o vom numi matrice de trecere

n

dup n pai, care evident este puterea a n-a a matricii de trecere

( Probabilitile pijn ) , nN constituie un ir pentru fiecare i,jI i vom urmri s

studiem comportarea lor asimptomatic. n cele ce urmeaz vom presupune c I este o mulime finit.
Definiie. Un lan Markov se numete ergodic dac pentru orice pereche de stri i,jI exist ( limita p = lim p ijn ) independent de i i p (j ) = 1 . j
n

j I

Teorema ergodic ce urmeaz, precum i consecinele ei, se refer la comportarea ( asimptomatic a probabilitilor pijn ) .
( 5.4. Teorema ergodic. iruln )( pij ) nN converge ctre o limit p j , jI oricare ar fi iI, cnd

n, dac i numai dac exist un numr natural s >0 i o stare hI astfel nct: ( pihs ) >0, () i I. Demonstraie. ( Necesitatea: din p = lim p ijn ) rezult p (j ) = 1 i, deci, exist un hI astfel nct j
n

j I

p >0. Dar, din definiia lui p rezult p >0 oricare ar fi iI, dac s este suficient de mare.

( s) ih

Suficiena: pentru orice jI considerm irurile ( p (j n ) )nN i p

(n) j

( p ( n ) )nN , unde
j j

= sup p
iI

(n) ij

, p j = inf p
(n)

iI

(n) ij

i artm mai nti c ( p

(n) nN j

este necresctor, iar ( p ( n ) )nN

este nedescresctor. ( ( ( ( ntr-adevr, pijn +1) = pik1) p kjn ) p (j n ) pik1) = p (j n ) oricare ar fi i,jI i, deci,
kI kI
( sup pijn +1) = p (j n +1) p (j n ) , oricare ar fi nN; analog, p (jn +1) p (jn ) , oricare ar fi nN. i I

ns, 0 p ( n ) , p (j n ) 1, adic ( p (j n ) )nN i ( p ( n ) )nN sunt monotone i mrginite, deci j j convergente i fie
n i , l I

p , j

p j

limitele lor, respectiv. Dac reuim s artm c

( ( lim sup p ijn ) p ljn ) = 0 , rezult c p = p = p , jI. j j j

( ( S evalum maximul diferenei pijn ) pljn ) , i,j,lI. S presupunem c n > s. Atunci, pe

( ( ( baza relaiei lui Chapman-Kolmogorov, pijn ) = pirs ) prjn s ) , putem scrie: r I ( ( ( ( ( ( ( ( ( ( pijn ) pljn ) = pirs ) prjn s ) plrs ) prjn s ) = ( pirs ) plrn s ) ) prjn s ) = bil ( r ) prjn s ) r I r I r I r I

( unde am pus pi(rs ) p lrs ) = bil (r ) .

Fie acum

I+ = {rI / bil(r) > 0} I- = {rI / bil(r) 0} I+ I- = I

Cum

p
r I

( s) ir

( = p lrs ) = 1 , rezult c r I

b
r I
r I +

il

(r ) =

r I +

il

(r ) +

r I

il

( r ) = 0 i, de aici,

il =

il

(r ) =

r I

il

(r )

S artm c 0 il 1. S presupunem c indicele h care apare n enunul teoremei aparine lui I+. Atunci,

il =

rI

b
+

il

(r ) =

rI

p
+

( s) ir

rI

p
+

( s) lr

( pirs )

rI

r I

p
+

( s) lr

= 1

rI

p
+

( s) lr

1 p ( s ) . Deci,
h

( ( 0 il 1- phs ) < 1, deoarece p (hs ) = inf p ihs ) > 0 .

iI

n mod analog, pentru hI obinem aceeai evaluare. Fie acum = sup il . Deoarece I este o mulime finit, rezult 0 < 1. Atunci, pentru il >0
i ,l I

putem scrie:
( ( pijn ) pljn ) = r I +

il

( ( il max prjn s ) min prjn s ) il p (j n s ) p (jn s ) p (j n s ) p (jn s ) r I r I

( ( ( ( ( r ) prjn s ) bil ( r ) prjn s ) max prjn s ) bil ( r ) min prjn s ) bil ( r ) r I r I r I r I + r I

) (

) (

De aici urmeaz c obinem:

n p (j n ) p (jn ) p (j n s ) p (jn s ) . Aplicnd aceast relaie de ori, s

0 p
(n) j

pj
(n)

n s

n n n n s s n p s p s s , j j

( ( ntruct p (j n ) p ( n ) 1 . Atunci, sup pijn ) pljn ) = p (j n ) p (jn ) s . j i ,l I

Dac n rezult c i
lim p
n (n) ij

n s .

( ( Prin urmare, lim sup pijn ) pljn ) = 0 , adic n i ,l I

= p , jI, oricare ar fi iI.

Din cele de mai sus rezult:

p
j I

( = lim pijn ) = 1 . n j I

Din aceast teorem rezult acum unele consecine utile n aplicaii.

Consecin. Are loc relaia:

p
j I

m p (jk ) = p k , kI, mN.

Demonstraie. Dac n relaia Chapman-Kolmogorov,

p
r I

(n) ij

m ( p (jk ) = p ikm+ n ) , facem n, se obine

rezultatul menionat.
Consecin.

p > 0 , jI dac i numai dac ncepnd cu un s suficient de mare, elementele j

( s)

matricei

sunt toate strict pozitive.

1 , jI dac i numai dac m elementelor mulimii I.

Consecin. p = j Demonstraie. Din condiia dat rezult c

p
iI

ij

= 1 , oricare ar fi iI, m fiind numrul

p
i I

(n)
ij

= 1 , n > 1 i, deci, lim p (ijn ) = mp = 1 adic j

n i I

p = j

1 , jI (card I = m). m Reciproc, dac p = j 1 , jI atunci, n baza primei consecine, putem scrie m = p , din care rezult afirmaia. j

p
j I

( p ij1)

5.5. Exemple de lanuri Markov omogene.

Exemplu. S considerm r urne numerotate 1,2,,r care conin fiecare bile de r tipuri diferite, marcate de asemenea, 1,2,,r. Probabilitatea de a extrage o bil de tipul j din urna i este egal cu pij, i,j = 1,2,,r. La momentul iniial se alege o urn conform repartiiei de probabilitate (pi)1ir.

Din aceast urn se extrage o bil care se reintroduce apoi la loc. Dac bila extras a fost de tipul i, atunci extragerea urmtoare se va face din urna i .a.m.d. Este evident c irul tipurilor de bile extrase succesiv este un lan Markov cu mulimea strilor I = {1,2,,r}, probabilitile iniiale (pi)1ir i probabilitile de trecere (pij)1i, jr. Exemplu. Problema ruinrii juctorului. Dou persoane sunt angajate ntr-o serie de partide ale unui aceluiai joc, capitalurile lor iniiale fiind k i l-k uniti. Presupunem c la fiecare partid se pariaz pe o singur unitate de capital, c probabilitile de ctig al unei partide de ctre cei doi juctori sunt p i q = 1 - p i c rezultatele partidelor sunt independente. Repartizarea capitalului total l ntre cei doi juctori va evolua nencetat pn ce unul dintre ei va pierde ultima sa unitate de capital (se va ruina). Ne ntrebm care sunt probabilitile de ruinare a celor doi juctori. Evoluia capitalului primului juctor, de exemplu, poate fi reprezentat de un lan Markov avnd mulimea strilor I = {0,1,,l}, care pleac din starea k i cu matricea de trecere
0 1 1 0 q 0 2 0 p 0 0 0 3 ... l 2 l 1 l 0 0 0 0 0 0 0 0 p 0 0 0 q 0 0 0 0 0 p 1

0 1

2 0 q ... l 1 0 0 l 0 0

ntr-adevr, dac la un moment dat capitalul primului juctor este i uniti, i0,l, atunci, independent de evoluia anterioar a acestuia, la momentul urmtor, el poate avea i+l uniti sau i-l uniti cu probabilitile p, respectiv q. Dac i = 0 (ceea ce corespunde ruinrii primului juctor) sau i = l (ceea ce corespunde ruinrii adversarului su), toate tranziiile ulterioare (fictive din punct de vedere al problemei) nu pot schimba valoarea capitalului, adic p(0,0) = p(l,l) = 1. Strile 0 i l se numesc stri absorbante deoarece odat atinse ele nu mai pot fi prsite. Exemplu. Un model din teoria ateptrii. O staie de servire poate servi clienii la momentele 0,1,2,. Vom presupune c n intervalul de timp (n,n+1) sosesc Yn clieni, variabilele Y0,Y1,Y2, fiind presupuse independente i identic reaprtizate, cu repartiia iniial P(Y0 = k) = pk, k 0 i c exist loc de ateptare pentru cel mult m clinei, numr n care se include i clientul care este servit. Clienii care, ajungnd la staie, gsesc m clieni ateptnd, pleac (fr a fi servii) i nu se mai ntorc. S notm cu X(n) numrul clienilor prezeni la momentul n, numr n care se include i clientul care este n curs de servire. Vom arta c (X(n))n0 este un lan Markov cu strile 0,1,2,,m. Numrul clienilor prezeni la momentul n+1 este egal cu numrul clienilor prezeni la momentul n, mai puin cel servit la momentul n (dac acesta exist), plus numrul clienilor care sosesc n intervalul (n,n+1) dac rezultatul acestei nsumri nu depete m i este egal cu m n caz contrar. Prin urmare,

 X(n) 1 + Yn , dac 1 X(n) m X(n + 1) = Yn , dac 0 Yn m + 1- X(n) sau X(n) = 0, 0 Yn m -1 m , n restul situaiilor
care mai poate fi scris X(n+1) = min {X(n) + (0,X(n)) - 1 + Yn, m},
1, dac X(n) = 0 unde ( 0, X ( n )) = 0, dac X(n) 0

Deoarece X(n+1) depinde numai de X(n) i Yn, iar din definiia variabilei Yn rezult c aceasta este independent de X(n), se observ c (X(n))n0 este un lan Markov. Se pune problema de a determina matricea de trecere a lanului Markov definit mai sus. Notnd P1 = pl + pl+1 + 1 l m, vom avea: dac 0 j m-1 dac j = m

p(0,j) = P(X(n+1) = j / X(n) = 0) = P(Yn = j / X(n) = 0) = pj, P(Yn m) = pm + pm+1 + = Pm , iar pentru 1 i m,

p (i, j ) = P ( X ( n + 1) = j / X ( n ) = i ) , dac i- j j m -1 P (Yn = j + 1 i ) = pj i + 1 P (Yn m + 1 i ) = Pm + 1 i , dac j= m 0 , n celelale cazuri t

Prin urmare, matricea de trecere este:

0 P0 P0 0 0 0 1 2 ... P1 P2 P1 P2 P0 0 0 P1 0 0 m 1 Pm 1 Pm 1 m Pm Pm

0 1 2 ... m 1 m

Pm 2 Pm 1 P1 P0 P2 P1

Exemplu. Aplicaie n gestiunea stocurilor cu cerere aleatoare. Un depozit care desface un anumit produs are capacitatea S = 5 uniti. Cererea sptmnal U din acel produs este aleatoare i are urmtoarea repartiie:
1 2 3 4 5 6 0 U: . 0.05 015 0.20 0.30 0.20 0.08 0.02

Presupunem c cererea dintr-o sptmn este independent de cea a celorlalte sptmni . S notm cu Yn cererea din sptmna a n-a. Depozitul folosete urmtoarea politic de tip (s,S): dac la sfritul unei sptmni cantitatea disponibil este de cel puin s, nu comand nimic, dar dac la sfritul sptmnii cantitatea disponibil este inferioar lui s, se lanseaz o comand suficient pentru ca stocul s fie adus la nivelul S. Cantitatea comandat este livrat imediat de un depozit central. Cheltuielile de stocare sunt de C1 lei pe unitatea de produs (se ia n considerare cantitatea existent n stoc la sfritul sptmnii). Dac o cerere nu poate fi satisfcut integral, se livreaz ntreaga cantitate existent n depozit i se pltesc C2 lei penalizri (valoarea penalizrii nu depinde de cererea rmas neacoperit). O cerere care nu poate fi satisfcut este anulat. Valoarea lui s poate fi de 2 sau 3 uniti. Care dintre aceste valori trebuie preferat dac C2 = 10C1 ? Soluie. Notm cu Xn cantitatea existent n depozit la sfritul sptmnii a n-a. S observm c Xn poate lua valorile 0 n dou situaii: fie cnd cererea este egal cu cantitatea existent n depozit (i n acest caz nu se pltesc penalizri, iar cheltuielile de stocare sunt nule), fie cnd cererea depete disponibilul (cheltuielile de stocare sunt nule, dar se pltesc penalizri). Pentru a face deosebire, n cea de-a doua situaie, vom atribui lui Xn o valoare special, s zicem , care se deosebete de starea Xn=0, prin faptul c implic penalizri. La nceputul sptmnii a (n+1)-a nivelul stocului este fie S, dac Xn<s (n particular dac Xn=0 sau Xn=), fie Xn dac Xns (n acest caz nu s-a lansat nici o comand depozitului central). Vom avea, deci

Xn Yn , dac Yn Xn i Xn s Xn + 1 = S Yn , dac Yn S i Xn < s , dac Yn > Xn s sau Yn > s

Rezult c (Xn)n0 formeaz un lan Markov cu probabilitile de trecere:
P(U = i - j) P(Xn + 1 = j / Xn = i ) = P(U > i) P(U = S - j) P(U > S) 0

, dac 0 j < i i i s , j = i i s , j S i i < s , dac j = i i < s , n rest

S analizm cazul s = 2, apoi cazul s = 3. Pentru s = 2 matricea probabilitilor de trecere va fi urmtoarea:


0 1 P( s= 2 ) 3 4 5

0 1 2 3 4 5 0,02 0,08 0,20 0,30 0,20 0,15 0,05 0,02 0,08 0,20 0,30 0,20 0,15 0,05 0,02 0,08 0,20 0,30 0,20 0,15 0,05 = 0,60 0,20 0,15 0,05 0 0 0 0,30 0,30 0,20 0,15 0,05 0 0 0,10 0,20 0,30 0,20 0,15 0,05 0 0,02 0,08 0,20 0,30 0,20 0,15 0,05

De exemplu, dac Xn = 2, nu se lanseaz nici o comand de aprovizionare, s fiind 2 i se vor plti penalizri ndat ce U ia o valoare mai mare ca 2:

P(U > 2) = P(U = k ) = 0,6 , deci, P2 = 0,60

k =3

Dac Xn = 1, atunci cantitatea n stoc la nceputul sptmnii a (n+1)-a este S = 5 i, deci, se vor plti penalizri numai dac U = 6; P1 = P(U=6) = 0,02. n mod analog se obin i celelalte probabiliti de trecere. Rezolvnd sistemul

vj =
jC

v p
j C j

i ij

= 1 (u = c )
i i

, jC={,0,1,2,3,4,5},

se obine: =19,00%; 0=14,58%; 1=19,80%, 2=21,70%, 3=13,23%, 4=8,87%, 5=2,81% Rezult c se vor plti penalizri, n medie n 19% din cazuri, iar cheltuielile medii de stocare vor fi: 5 kk C1 = (10,1980 + 20,2170 + 30,1323 + 40,0887 + 50,0281)C1 u.m. k =1 Cheltuielile medii totale vor fi (pentru s = 2): (s=2) = 0,19C2 + 1,5244C1 = (0,1910 + 1,5244)C1 = 3,4244C1 Refcnd calculele pentru s = 3, se obin: =7,64%; 0=13,08%; 1=21,13%, 2=26,33%, 3=16,90%, 4=11,33%, 5=3,58%. Cheltuielile medii de stocare vor fi, n acest caz, 5 kk C1 = (10,2113 + 20,2633 + 30,1690 + 40,1133 + 50,0358)C1 = 1,8771 C1. k =1 Cheltuielile medii totale vor fi:

(S=3) = 0,0764C2 + 1,8771C1 = (0,076Y10 + 1,8771)C1 = 2,6411C1 Comparnd (s=2) cu (s=3) constatm c este mai avantajos s se ia s=3 uniti disponibile la sfritul sptmnii. 5.6. Procese Markov ce depind de un parametru continuu Noiuni generale. n multe situaii concrete din tiinele naturii, ntlnim procese n care cunoaterea unei stri a sistemului la un moment t0 nu determin n mod min. strile sistemului n urmtoarele momente de timp, ci determin doar probabilitatea ca sistemul s ajung ntr-una din strile unei mulimi de stri ale sistemului. Dac notm cu xR starea sistemului la momentul t (unde t este un parametru continuu care are semnificaia de timp) i cu AR o mulime de stri ale sistemului, atunci pentru aceste procese X(t) este definit probabilitatea de trecere p(t,x;,A) ca sistemul s treac ntr-o stare din mulimea A la momentul > t dup ce s-a aflat la momentul t n starea x. Dac cunoaterea strilor sistemului pentru momentul t > nu modific aceste probabiliti, vom numi aceste procese - procese fr postaciune sau, prin analogie cu cele n timp discret, procese de tip Markov. Probabilitatea de trecere p(t,x;,A) i o probabilitate iniial P(A) caracterizeaz complet aceste procese de tip Markov. n cazul n care n probabilitatea de trecere p(t,x,,A) mulimea AR este de forma (-,y), obinem repartiii de trecere F(t,x,,y) = P(X() < y / X(t) = x). Cu alte cuvinte, repartiia de trecere F(t,x,,y) reprezint probabilitatea ca la momentul procesul aleator corespunztor s ia o valoare mai mic dect y, tiind c la momentul t (cu t < ) a avut loc egalitatea X(t) = x. Vom presupune c funcia F(t,x,,y) definit pentru > t se bucur de proprietile: (i) este o funcie de repartiie n raport cu y (ii) este continu n raport cu t i (iii) este integrabil n raport cu x (iv) au loc egalitile:

1 , dac x = y lim F ( t , x; , y ) = lim F ( t , x; , y ) = ( x, y ) = t+0 t 0 0 , dac x y

Toate aceste condiii puse funciei de repartiie de trecere F(t,x;,y) se transcriu imediat pentru probabilitatea de trecere p(t,x;,A). S considerm acum o mulime AK i o variabil aleatoare cu funcia de repartiie G(z) = P(Y < z). tim atunci c are loc relaia: P ( A) = P ( A / Y ( ) = z ) dG ( z ) .
R

Dac BK, atunci (1) P ( A / B ) = P ( A / B {Y ( ) = z}) dGB ( z ) , unde GB(z) = P(Y < z / B)
R

innd seama de aceste relaii, s lum acum momentele de timp t, s, ; t < s < i s punem: A = {X(t) < y}, B = {X(t) = x}; Y() = X(s,)

Aplicnd relaia (1), obinem:

P( X ( ) < y / X ( t ) = x ) = P( X ( ) < y / X ( t ) = x, ) X ( s) = z )dzP( X ( s ) < z / X ( t ) = x )

R

Lund n consideraie faptul c procesul este de tip Markov, atunci: P(X() < y / X(t) = x, X(s) = z) = P(X() < y / X(s) = z) = F(s,z; ,y) Deci, relaia (1) devine: (2) F(t,x; ,y) =

F ( s, z; , y )dzF ( t , x; s, z )
R

Aceast relaie constituie generalizarea natural a relaiei lui Chapman - Kolmogorov, deoarece reprezint extensiunea relaiei stabilit pentru procesele de tip Markov. Dac exist o densitate de trecere f(t,x; ,y)=
y

F ( t , x; , y ) atunci: y

F(t,x; ,y) =

f ( t , x; , z )dz; f ( t , x; , z )dz = 1
R

i relaia Chapman-Kolmogorov devine: (3) f(t,x; ,y) =

f ( s, z; , y)dz f (t , x; s, z)dz
R

Dac procesul este staionar, atunci funcia de repartiie de trecere depinde numai de intervalul de timp scurs: F(t,x; ,y) = G(-t,x,y) iar relaiile (2) i (3) devin: G(t1+t2; x,y) = g(t1+t2;x,y) =

G(t ; z, y )dzG( t ; x, z )
1 2 R

g(t ; z, y ) g(t ; x, z )dz

1 2 R

Definiie. Spunem c procesul X(t) este aditiv (sau cu creteri independente) dac F(t,x; ,y) depinde de t i x-y.

5.7. Procese Poisson Cel mai simplu caz de proces Markov l constituie procesul Poisson. S considerm un proces Markov {X(t)} omogen i aditiv i s presupunem c diferena Xt - Xs este un ntreg nenegativ pentru orice valori s < t i, n plus, c

P( X t + t X t > 1) =0 t 0 P( X t + t X t = 1) lim

Prin definiie, un proces {X(t)} cu proprietile menionate se numete proces Poisson omogen. Dac notm P(Xt -Xs = n) = Pn(t - s), atunci are loc urmtoarea teorem. Teorem. Dac {X(t)} este un proces Poisson omogen, atunci exist o constant >0 astfel n t ( t ) , n = 0,1,2, nct Pn( t ) = e n!
Demonstraie. Din proprietatea de aditivitate a procesului rezult c variabilele X+t - X i X+t+s - X+t sunt independente dac t,s > 0 (t+s>t) i, deci,

P(X+t+s - X= 0) = P (X+t+s - X+t + Xt+ - X = 0) = P(X+t+s - X+t = 0, X+t - X = 0) = = P(X+t+s - X+t = 0) P(X+t - X = 0), sau, altfel scris, P0(t+s) = P0(s) P0(t) Dac lum s = t, atunci P0(t+t) = P0(t) P0(t)

Scznd din ambii membri P0(t) i mprind cu t, obinem: P0 ( t + t ) P0 ( t ) 1 P0 ( t ) P ( 0) P0 ( t ) = P0 ( t ) 0 = P0 ( t ) t t t Trecnd la limit pentru t 0, se obine: P0(t) = -P0(t) P0(0) Fie P0(0) = > 0. Atunci, integrnd ecuaia P0(t) = - P0(t), se obine P0(t) = ce- t, iar din P0(0) = 1 rezult c = 1, adic P0(t) = e- t. Pentru determinarea probabiltii Pk(t), k = 1,2, s exprimm Pk(t+ t ). Dac n intervalul (0,t+ t ) s-au produs i schimbri de stare, acestea s-au produs n felul urmtor: (i) n intervalul (0,t) s-au produs k schimbri, iar n intervalul (t,t+ t ) nici una; (ii) n intervalul (0,t) s-au produs k-1 schimbri, iar n intervalul (t,t+ t ) una singur; (iii) n intervalul (0,t) s-au produs cel mult k-2 schimbri, iar n intervalul (t,t+ t ) cel puin dou. Evenimentele menionate fiind independente, obinem: Pk(t+ t )=Pk(t) P0( t )+Pk-1(t) P1( t )+R, unde R = Pk-2(t) P2( t )+Pk-3(t) P3( t )+ Pk ( t ) . Scznd din ambii membri Pk(t) i mprind cu t obinem:
k =2

(1)

Pk (t + t ) Pk (t ) [1 P0 ( t )] P1 ( t ) R = P k (t ) + Pk 1 (t ) + t t t t ( t ) 1 e t 1 P0 = t 0 t t P1 ( t ) P1 ( t ) 1 P0 ( t ) = 1 t 0 t t 1 P0 ( t )

R = 0 , atunci membrul doi are o limit finit, deci i membrul t dPk ( t ) R nti, care va fi = Pk '( t ) . Pentru a arta c lim = 0 este suficient s artm c t 0 t dt Dac artm c lim
t 0

1 P ( t ) P ( t ) 1 lim Pk (t ) = t 0 0 t 1 = 0 t 0 t k=2 lim

ns

1 P0 ( t ) P ( t ) 1 P0 ( t ) P1 ( t ) P1 ( t ) 1 P0 ( t ) 1 = t P1 ( t ) 1 P0 ( t ) t P( X t + t X t > 1) 1 P0 ( t ) P1 ( t ) = 0. = 0 este echivalent cu lim t 0 P( X t 0 P ( t ) 1 t + t X t = 1)

P0(t) = e-t , avem
P1 ( t ) = 1 i t 0 1 P ( t ) 0 lim

Condiia lim

Pe de alt parte, innd seama c

Pk ( t ) 1 P0 ( t ) k =2 = 0. = . Deci, lim lim t 0 t 0 t t

n plus, deoarece Pk(0) = 0, rezult lim Pk ( t ) Pk ( 0) = Pk '( 0) = 0 , k = 2,3,. t 0 t

innd seama de rezultatele obinute anterior, rezult c, dac n relaia (1) facem pe t0, se obine: (2) Pk(t) = -Pk(t) + Pk-1(t), k=1,2,3, Pentru integrarea acestui sistem de ecuaii difereniale, introducem o funcie auxiliar: Lk(t) = Pk(t)et, k = 0,1,2, Urmeaz c: Pk(t) = Lk(t)e-t i Pk(t) = Lk(t)e-t-Lk(t)e-t nlocuind n sistemul (2), obinem: Lk(t)e-t-Lk(t)e-t = -Lk(t)e-t + Lk-1(t)e-t, adic Lk(t) = Lk-1(t), k = 1,2,3,

Cum P0(t) = e-t, rezult L0(t) = 1 i L1 (t ) = L0 ( u)du = t

0 t

( t ) 2 L2 (t ) = L1 ( u)du = 2! 0
t

... ( t ) k Lk (t ) = Lk 1 ( u)du = , k! 0 care, prin inducie, se dovedete adevrat pentru orice kN. ( t ) k t nlocuind Lk(t) se obine Pk ( t ) = e , k = 0,1,2,3,, ceea ce era de k! demonstrat.
t

Proprieti ale proceselor Poisson Se obine imediat c: ntr-adevr,

P (t ) = 1.
k =0 k

P (t ) = e
k =0 k

( t ) k k ! = et et = 1 k =0

Propoziie. Dac {Xt} este un proces Poisson omogen i aditiv, atunci

M ( X t ) = t , D 2 ( X t ) = t , X t , X t + s =

1 1+ s t

Demonstraie.
( t ) k ( t ) k 1 t M ( X t ) = kPk ( t ) = e k = te = te t e t = t k! k =0 k =0 k =1 ( k 1)! k 1 ( t ) ( t ) k 1 M 2 ( X t ) = k 2 Pk (t ) = te t k = te t [( k 1) + 1] = ( k 1)! ( k 1)! k =0 k =1 k =1 t
(t ) k 2 ( t ) k 1 t t 2 t = te t t + = te [ te + e ] = (t ) + t k = 2 ( k 2)! k =1 ( k 1)! De aici rezult: D2(Xt) = t. S calculm cov (Xt,Xt+s) = M(Xt Xt+s) - M(Xt) M(Xt+s)

M(Xt Xt+s) = M(Xt Xt+s - Xt2+Xt2) = M(Xt2) + M[Xt(Xt+s - Xt)] = (t)2 + t + M(Xt)M(Xt+s - Xt) = (t)2 + t + t s Urmeaz c:

 X ,X
t

t+s

M ( X t X t+s ) M ( X t ) M ( X t +s ) D ( X t )D ( X t+s )
2 2

(t ) 2 + t + 2 ts t (t + s)

t ( t + s)

t t ( t + s)
2

1 1+ s t

Teorem. Dac {Xt}, {Yt} sunt dou procese Poisson omogene independente cu parametrii respectiv , atunci {Xt+Yt} este tot un proces Poisson omogen, cu parametrul +. Demonstraie. S notm Zt = Xt + Yt. Atunci,

P( Z n+ t Z n = n) = P ( X n+ t + Yn+ t X n Yn = n) = P( X n+ t X n = k , Yn+ t Yn = n k ) =
k =0

= P ( X n+ t X n = k ) P(Yn+ t Yn = n k ) = Pk (t ) Pn k (t ) = e
k =0 k =0 k =0

(t ) k t ( t ) n k e = k! ( n k )!

= e ( + )t

( + )t [ ( + )t ] 1 n n! , (t ) k ( t ) n k = e k !( n k )! n! n! k =0 n

ceea ce dovedete faptul c {Zt} este un proces Poisson, omogen.

Teorem. Fie {Xt} un proces Poisson omogen i (n)nN irul momentelor de producere a evenimentelor aleatoare. Atunci, (n+1-n)n0, 0=0 sunt variabile aleatoare independente, identic repartizate, cu funcia de repartiie
0 F( X ) = x 1 e ,x 0 ,x > 0

Demonstraie. {Xt} este un proces Markov aditiv, deci n+1-n, n = 0,1,2, sunt variabile aleatoare independente. Atunci, P(n+1-n < x / n = y) = P(Xy+n - Xy > 0) = 1- P0(x) = 1-e-x, dac x > 0 (independent de y). Deci, P(n+1-n < x / n = y) = P(n+1-n < x) = F(x) = 1- e-x

Urmeaz c densitatea de repartiie corespunztoare este:

0 f ( x ) = x e ,x 0 ,x > 0

iar M(n+1-n) = xe x dx =
0

Observaie. Se constat c dac numrul de evenimente ce apar n intervalul de timp (0,t) este un proces Poisson omogen, adic ( t ) n n = 0,1,2, , P( X t X 0 = n ) = e t n!

atunci intervalul de timp dintre dou momente succesive de apariie a evenimentelor, este o variabil aleatoare repartizat exponenial negativ de parametru . Procesele Poisson intervin n diverse aplicaii i ndeosebi n teoria firelor de ateptare sau n sigurana de funcionare a unor sisteme complexe. Ca aplicaii s considerm procesul de natere i de moarte. S presupunem c la momentul t sistemul se afl n starea En. Probabilitatea de trecere din starea En n starea En+1, n intervalul de timp (t, t+t) este egal cu nt + O(t), iar probabilitatea de trecere n starea En-1 n acelai interval de timp este egal cu nt + O(t). Probabilitatea ca n intervalul de timp (t,t+t) s nu avem nici o modificare de stare (adic procesul rmne n starea En) este 1 - (n + n) t + O(t), iar probabilitatea de trecere din starea En ntr-o stare En+1 sau En-1 cu i > 1 este O(t), unde am notat prin O(t) o funcie O( t ) cu proprietatea c lim . t 0 t Atunci, Pn(t+ t ) = n-1Pn-1(t) t + [1-(n + n) t ] Pn(t) + n+1Pn+1(t) t +O( t ) Trecnd Pn(t) n membrul nti, mprind cu t i trecnd la limit pentru t 0, deoarece membrul doi are limit finit, rezult c i membrul nti are limit i obinem:
dPn (t ) = n1 Pn1 (t ) ( n + n ) Pn (t ) + n+1 Pn+1 (t ), n = 1,2,3, ... dt dP0 (t) = 0 P0 (t ) + 1 P1 ( t ) , dt

care se obine n acelai mod. Acest sistem de ecuaii sunt ecuaiile difereniale ale procesului, care, integrate, ne conduc la probabilitile strilor Pn(t), n = 0,1,2,. S obinem de aici unele cazuri particulare. 1. n cazul n care n = 0, n = 1,2, sistemul de ecuaii difereniale devine:

dPn (t ) = n1 Pn1 (t ) n Pn (t ), n = 1,2,... dt dP0 (t) = 0 P0 (t ) , dt care sunt ecuaiile difereniale ale procesului simplu de natere. 2. Dac x = 0, sistemul de ecuaii difereniale devine: dPn (t ) = n Pn (t ) + n+1 Pn+1 (t ), n = 1,2,... dt dP0 (t) = 0 P0 (t ) + 1 P1 (t ) , dt care constituie ecuaiile difereniale ale procesului simplu de moarte. S studiem separat procesul simplu de natere, procesul simplu de moarte, apoi s determinm soluia n cazul general al unui proces de natere i de moarte, n ipoteza c acestea sunt liniare.

Procesul simplu de nastere Am vzut c sistemul de ecuaii difereniale ale probabilitilor strilor este:
dPn ( t ) = n 1 Pn 1 ( t ) n Pn ( t ), n = 1,2,... 1 i = n dt unde Pn ( 0) = in = dP0 (t) 0 i n = 0 P0 ( t ) dt

Vom spune c procesul simplu de natere este liniar dac n = n, > 0, iar n acest caz sistemul de ecuaii difereniale devine: dPn ( t ) = n Pn ( t ) + n 1 Pn 1 ( t ), n 1 dt Pentru n = 1, obinem: dP1 (t) = P ( t ) 1 dt i, de aici, P0(t) = c1e-t. Cum P1(0) = 1, rezult c1 = 1. Considernd acum ecuaia P(n) = -nPn(t) + (n-1)Pn-1(t) i notnd Ln(t) = Pn(t)etn , ecuaia diferenial devine: Ln(t)e-tn - nLn(t)e-tn = -nLn(t)e-tn + (n-1)Ln-1(t)e-t(n-1) sau Ln(t) = (n-1)Ln-1(t)et ns L1(t) = P1(t)et = 1 i, deci, L2 (t ) = e u P ( u)du = e udu = e t 1 1
0 t 0 t t t

1 1 2 L3 (t ) = 2 e P2 ( u)du = 2 e u ( e u 1) du = 2 ( e 2 t 1) ( e t 1) = ( e t 1) 2 0 0
u

n general, Ln(t) = (et-1)n-1, de unde urmeaz c Pn(t) = e-t(1-e-t)n-1, n = 1,2,3,. S artm c

P (t ) = 1 .
n =1 n

ntr-adevr,

e (1 e )
t n =1

t n 1

=e

(1 e )
n =1

t n 1

= 1.

Putem acum calcula media i dispersia procesului: M ( X t ) = nPn ( t ) = e t n(1 e t )

n =1 n =1 n 1

Dac notm 1- e t = z, atunci

M ( Xt ) = e

nz
n =1

n1

= e t

d 1 t =e dz 1 z
t

M 2 ( X t ) = n Pn ( t ) = e
2 n =1

n
n =1
n 1

n 1 2

Cum

n
n =1

n 1

= n( n 1 + 1)z
n =1

n 1

= n( n 1)z
n= 2

n 1

+ nz
n =1

d2 =z 2 dt

1 d 1 + = 1 z dz 1 z

2z 1 1+ z 3 + 2 = (1 z ) (1 z ) (1 z ) 3

Deci, M 2 ( X t ) = e t

e t
e
3t

= e 2 t ( 2 e t )

Mai departe, urmeaz c:

D 2 ( X t ) = M 2 ( X t ) M 2 ( X t ) = e 2t ( 2 e t ) e 2t = e t ( e t 1)
Procesul simplu de moarte Sistemul de ecuaii difereniale ale probabilitilor strilor corespunztoare acestui proces este dat de: dPn ( t ) = n Pn ( t ) + n +1 Pn +1 ( t ), n = 0,1,2,... dt Procesul simplu de moarte este liniar dac n = n, > 0. n acest caz, obinem: dPn ( t ) = nPn ( t ) + ( n + 1) Pn +1 ( t ) dt Dac presupunem c la momentul t = 0 sistemul se afl n starea E n0 , cu n0 1, atunci condiiile iniiale ale sistemului de ecuaii difereniale sunt date de:
1 n = n 0 Pn ( 0) = n0 n = 0 n n 0

S obinem soluia sistemului de ecuaii pentru procesul de moarte liniar. dPn0 ( t ) Se observ c pentru n = n0 avem Pn0 +1 (t) = 0 i, deci, = n 0 Pn0 ( t ) , de unde rezult: dt Pn0 ( t ) = e n0 t Dac n = n0 - 1, obinem
dPn0 1 ( t ) dt = ( n 0 1) Pn0 1 ( t ) + n 0 Pn0 ( t )

sau, dac nlocuim Pn0 ( t ) :

dPn0 1 ( t ) dt = ( n 0 1) Pn0 1 ( t ) + n 0 e n0t ,

care este o ecuaie liniar de ordinul nti. Ecuaia omogen are soluia Pn0 1 ( t ) = ce ( n0 1) t constantelor,

i,

aplicnd

metoda

variaiei

P' n01 (t ) = c' e ( n0 1) t ( n0 1)ce ( n0 1) t ,

care, nlocuit n ecuaie ne conduce la c' e ( n0 1) t = n0e n0t c' = n0e t , de unde rezult:
c = n 0 e u du = n 0 (1 e t )
0

Prin urmare,

Pn0 1 (t ) = n0e n0t (e t 1) i, n general, rezolvnd din aproape n aproape,

n Pn ( t ) = Cn0 e n0t ( e t 1) n0 n , 0 n < n0

Aplicnd acum definiiile valorilor caracteristice numerice ale procesului, se obine: M(Xt) = n0e-t, D2(Xt) = n0e-t(1-e-t) 5.8. Procesul de natere i moarte Am vzut c ecuaiile difereniale ale procesului sunt:
dPn ( t ) = n 1 Pn 1 ( t ) ( n + n )Pn ( t ) + n +1 Pn +1 ( t ), n = 1,2,3,... dt dP0 (t) = 0 P0 ( t ) + 1 P ( t ) 1 dt

Procesul este liniar dac n = n; n = n, iar starea En pentru n = 0 este o stare de absorbie. n cazul procesului liniar, avem de rezolvat sistemul:
dPn ( t ) = ( n 1) Pn 1 ( t ) ( n + n ) Pn ( t ) + ( n + 1) Pn +1 ( t ), n = 1,2,3,... dt dP0 (t) = P1 ( t ) dt

Urmeaz c 0 = 0 = 0, iar pentru t = 0 i n = n0 condiiile iniiale devin:

1 n = n 0 Pn ( 0) = n0 n = 0 n n 0

Pentru a afla soluia sistemului de ecuaii difereniale menionat, vom utiliza funcia generatoare G( t , ) = Pn ( t ) n . n urma unor calcule relativ simple, sistemul de ecuaii
n= 0

devine:

G ( t , ) G( t , ) = ( 1)( ) t t
Soluia acestei ecuaii cu derivate pariale este dat de:

+ (1 )e ( ) t G ( t , ) = ( )t + (1 )e
Dac se noteaz u( t ) = sub forma: 1 e( )t ; e ( ) t v( t ) =

n0

u( t ) , funcia generatoare poate fi scris

n

u( t ) + (1 u( t ) v( t )) 0 G( t , ) = ; 1 v( t )

coeficientul lui n din funcie ne d:

Pn ( t ) =
min( n0 , n ) j=0

j n0

n Cn0+jn j 1 ( u( t )) n0 j ( v ( t )) n0 j [1 u( t ) v ( t )]

Cunoscnd funcia generatoare, momentele se pot calcula uor i se obine:

n 0 e ( ) t M( Xt ) = n0 , , = + ( )t ( )t n 1) , (e e D ( Xt ) = 0 , = 2 t
2

0 Din expresia valorii medii a procesului rezult imediat c lim M ( X t ) = n 0 t

, > , = , <

Interpretarea acestui rezultat este simpl, i anume: dac rata deceselor este mai mare dect rata naterilor, atunci populaia se stinge; dac rata deceselor este egal cu rata naterilor, numrul mediu de indivizi din populaie ar trebui s rmn neschimbat i, n fine, dac < populaia crete nelimitat. S artm cum putem obine din procesul de natere i moarte principalele modele de ateptare cu veniri poissoniene i timp de servire exponenial. Pentru aceasta, s considerm sistemul de ecuaii difereniale ale unui proces de natere i moarte:

 dPn ( t ) dt = n 1 Pn 1 ( t ) ( n + n ) Pn ( t ) + n +1 Pn +1 ( t ), n = 1,2,3,... dP0 (t) = P ( t ) + P ( t ) 0 0 1 1 dt Dac n = , n = , oricare ar fi nN, atunci se obin ecuaiile unui model de ateptare cu o staie, veniri poissoniene i timp de servire exponenial: dPn ( t ) dt = Pn 1 ( t ) ( + ) Pn ( t ) + Pn +1 ( t ), n = 1,2,3,... dP0 (t) = P ( t ) + P ( t ) 0 1 dt Dac se menin condiiile n = , n = , oricare ar fi nN i 0 n N, adic Pn(t) = 0, n = N+1, , atunci se obin ecuaiile unui model de ateptare cu o staie, veniri poissoniene, timp de servire exponenial i fir de ateptare limitat:
dP0 (t) dt = P0 ( t ) + P1 ( t ) dPn ( t ) = Pn 1 ( t ) ( + ) Pn ( t ) + Pn +1 ( t ), n = 1,2,3,...N -1 dt dPN (t) dt = PN 1 ( t ) PN ( t )

Dac se consider n = (m-n), n = , n = 0,1,2,,m; Pn(t) = 0, n = m+1,m+2, , se obin ecuaiile sistemului de ateptare cu o staie, veniri poissoniene, timp de servire exponenial, populaie finit:
dP0 (t) dt = mP0 ( t ) + P1 ( t ) dPn ( t ) = [m ( n 1)]Pn 1 ( t ) [( m n ) + ]Pn ( t ) + Pn +1 ( t ), n = 1,2,3,..., m -1 dt dPm (t) dt = Pm1 ( t ) Pm ( t ) n ,1 n s 1 Dac se consider n = , nN, n = , se obin ecuaiile sistemului ,n s s

de ateptare cu s staii, veniri poissoniene, timp de servire exponenial pentru fiecare staie (staii identice), populaie infinit:
dP0 (t) dt = P0 ( t ) + P1 ( t ) dPn ( t ) = Pn 1 ( t ) ( + n ) Pn ( t ) + ( n + 1)Pn +1 ( t ), n = 1,2,3,...,s -1 dt dPn (t) dt = Pn 1 ( t ) ( + s ) Pn ( t ) + sPn +1 ( t )

n ,1 n s 1 Dac se consider n = , nN, n = i, evident, Pm+1(t) = ,n s s = Pm+2(t) = = 0, se obin ecuaiile sistemului de ateptare cu s staii, veniri poissoniene, timp de servire exponenial pentru fiecare staie, fir de ateptare limitat:
dP0 (t) dt = P0 ( t ) + P1 ( t ) dPn ( t ) = P ( t ) ( + n ) P ( t ) + ( n + 1)P ( t ), n = 1,2,3,...,s -1 n 1 n n +1 dt dPn (t) = P ( t ) ( + s ) P ( t ) + sP ( t ), n = s,s + 1,..., m -1 n 1 n n +1 dt dP (t) n = Pm1 ( t ) sPm ( t ) dt

n ,1 n s 1 i, evident, Pm+1(t) = Dac se consider n = (m-n), n = s , s n m = Pm+2(t) = = 0, se obin ecuaiile sistemului de ateptare cu s staii, veniri poissoniene, timp de servire exponenial pentru fiecare staie, populaie finit:
dP0 (t) dt = mP0 ( t ) + P1 ( t ) dPn ( t ) = [m ( n 1)]P ( t ) [( m n ) + n ]P ( t ) + ( n + 1)P ( t ), n = 1,2,3,..., s -1 n 1 n n +1 dt dPn ( t ) = [m ( n 1)]P ( t ) [( m n ) + s ]P ( t ) + sP ( t ), n = s, s + 1,..., m -1 n 1 n n +1 dt dP (t) m = Pm1 ( t ) sPm ( t ) dt