Markovljevi Lanci PDF

Poglavlje 4
Markovljevi lanci
Markovljevi procesi su oni stohastiki procesi ije budue stanje ovisi samo o trenutnom stanju. To
svojstvo zovemo svojstvo odsustva pamenja (memoryless property ). Isto svojstvo ima i Poissonov proces,
pa je Poissonov proces posebna vrsta Markovljevog procesa. Markovljevi procesi mogu imati diskretan
ili kontinuiran skup stanja. U ovom poglavlju promatramo procese s diskretnim stanjima - lance. Bez
obzira da li su kontinuirani ili diskretni po parametru, lanci mijenjaju stanje u diskretnim tokama u
indeksnom skupu T (nekontinuirano).
U ovom poglavlju emo se upoznati s osnovnim matematikim modelima za opis Markovljevih lanaca.
Pomou tih modela emo kasnije analizirati sustave posluivanja i mree repova.
4.1 Markovljevi lanci s diskretnim parametrom

4.1.1 Homogeni Markovljev lanac
Prvo analiziramo Markovljeve lance s diskretnim parametrom. Oni igraju vanu ulogu u opisu informacijskih svojstava izvora informacije, ali i u opisu prometa. Primjer je opis ponaanja binarnog izvora
koji u koracima (jednakim vremenskim razmacima) generira 0 ili 1. Ako takvo izvorite promatramo kao
Markovljev izvor, onda su 0 i 1 mogua stanja procesa. Ako je izvorite kao n-ti simbol generiralo 1, onda
kaemo da je Markovljev lanac u n-tom koraku u stanju 1.
Neka Markovljev lanac {Xn , n 0} ima skup diskretnih stanja E = {0, 1, 2, . . .}. Skup stanja moe
biti beskonaan ili konaan. Oznaka Xn = i neka znai da se Markovljev lanac u n-tom koraku nalazi u
stanju i. n ovdje odgovara rednom broju realizacije nekog realnog procesa kojeg opisujemo Markovljevim
lancem. Na primjer, to moe biti generator sluajnih cijelih brojeva od 1 do 10. Skup moguih stanja
ovog procesa je E = {1, 2, . . . , 10}. Za opi Markovljev lanac vrijedi sljedee:
P (Xn+1 = j | X0 = i0 , X1 = i1 , . . . , Xn = in ) = P (Xn+1 = j | Xn = in ).
(4.1)
Vjerojatnost P (Xn+1 = j | Xn = i) zovemo prijelaznom vjerojatnou iz stanja in u stanje jn+1 . U opem

sluaju ta se vjerojatnost mijenja ovisno o vrijednosti parametra n. Ako je broj stanja Markovljevog lanca
m, onda u svakom koraku imamo ukupno m m takvih vjerojatnosti (za svako sadanje mogue stanje
imamo m moguih buduih stanja). Kako bismo uspijevali odrediti vjerojatnosti stanja lanca u n-tom
koraku, deniramo matricu prijelaznih vjerojatnosti.
Definicija 4.1 (Matrica prijelaznih vjerojatnosti (Transition
Probability Matrix ))
Prijelaz iz stanja i u koraku n 1 u stanje j u koraku n opisan je prijelaznom vjerojatnou:
(n)
pij = P (Xn = j | Xn1 = i)

(n)
(4.2)
Prijelazna vjerojatnosti pij je lan matrice prijelaznih vjerojatnosti na mjestu (i, j). Matrica prijelaznih
vjerojatnosti u n-tom koraku je
h
i
(n)
P(n) = pij
(4.3)
155
156
POGLAVLJE 4. MARKOVLJEVI LANCI
Zbroj elemenata svakog retka ove matrice jednak je jedan:

X (n)
(n)
pij = 1, pij 0
(4.4)
Matrice s ovakvim svojstvom zovemo stohastikim matricama.

Pogledajmo kakva bi bila matrica prijelaznih vjerojatnosti binarnog izvora o kojem smo govorili na
poetku. Njega poblie opisuje slika 4.1. Oito je da u opem sluaju matrica prijelaznih vjerojatnosti
Slika 4.1: Binarni izvor - opis Markovljevim lancem

moe ovisiti o koraku n. No, pretpostavimo da je matrica jednaka za svaki korak. Takve Markovljeve
lance zovemo homogenim. Neka je vjerojatnost da izvor pree u stanje 1 ako je u stanju 0 jednaka q , a
vjerojatnost da pree u 0 ako je u stanju 1 neka je w. Tada je matrica prijelaznih vjerojatnosti jednaka:
1q
q
(4.5)
P(n) =
w
1w
Matrica prijelaznih vjerojatnosti nam omoguuje izraun vjerojatnosti da se Markovljev lanac u n-tom
koraku nae u nekom konkretnom stanju j . Neka p(n) oznaava vektor-stupac iji j -ti element oznaava
vjerojatnost da se lanac u n-tom koraku nalazi u stanju j . Neka elementi tog vektor-stupca redom nose
oznake p1 (n), p2 (n), . . .. Moemo napisati
p(n) = [p1 (n), p2 (n), . . .]
>
(4.6)
Ako se proces u n-tom koraku nalazi u stanju j , onda se u (n 1)-om koraku nalazio u stanju 1, pa je
skoio u stanje j , ili se nalazio u stanju 2 pa je skoio u stanje j itd. Dogaaj proces je bio u stanju k i
skoio je u stanje j je disjunktan sa svim drugim dogaajima tog oblika. Zato moemo napisati:
X
pj (n) =
P {Xn = j, Xn1 = i} =
i
P {Xn = j|Xn1 = i} P {Xn1 = i} =
(n)
pij pi (n 1)
(4.7)
Budui da zbroj u gornjem izrazu odgovara mnoenju vektor-retka pi (i 1) s desne strane s matricom
prijelaznih vjerojatnosti, dobivamo:
p(n) = P(n)> p(n 1)
(4.8)
>
Budui da je A> B > = (B A) , iterativno dobivamo:

>
p(n) = P(n)> p(n 1) = [P(n 1) P(n)] p(n 2) =

>
= . . . = [P(1) . . . P(n)] p(0)
(4.9)
Koristei izraz (4.9) moemo izraunati razdiobu vjerojatnosti stanja Markovljevog lanca u bilo kojem
koraku.
4.1. MARKOVLJEVI LANCI S DISKRETNIM PARAMETROM
157
Definicija 4.2 (Homogeni Markovljev lanac)
Markovljevi lanci kod kojih matrica prijelaznih vjerojatnosti P(n) ne ovisi o koraku n se zovu homogeni
(n)
Markovljevi lanci. Vrijedi da je pij = pij , n, i, j . Tu konstantnu matricu prijelaznih vjerojatnosti
oznaavamo P.
Ukoliko je neki Markovljev lanac homogen, vektor-stupac vjerojatnosti Markovljevog lanca u n-tom
koraku izraunavamo prema izrazu:
>
p(n) = (Pn ) p(0)
(4.10)
Nadalje emo promatrati upravo homogenu klasu Markovljevih lanaca.
Promotrimo matricu Pn . To je matrica iji element (i, j), kojeg emo oznaiti pij (n), predstavlja
vjerojatnost prijelaza procesa iz stanja i u stanje j nakon n koraka. Ako matrica Pn konvergira k nekoj
kada n tei u beskonano i ako su svi elementi te matrice vei od 0, onda Markovljev lanac ima
matrici P
svojstvo prelaska u stacionarno stanje - stanje kada se vjerojatnost da se proces nalazi u nekom stanju i
ne mijenja u vremenu. Ovo svojstvo je izreka ergodikog teorema.
Svojstvo 4.1 (Ergodiki teorem)
Neka matrica prijelaznih vjerojatnosti P homogenog Markovljevog lanca ima svojstvo da barem jedna
njena potencija Pn sadri elemente koji su svi strogo vei od nule. Ako postoji takva matrica P, onda
jednaka:
zasigurno postoji matrica P
= lim Pn
P
(4.11)
n
su svi jednaki, tj. postoji pj koji ne ovisi o i takav da je

Reci matrice P
(n)
pj = lim pij ,
n
(4.12)
. Vektor-stupac
pj se zovu stacionarne vjerojatnosti i one ine vektor-stupac stacionarnih vjerojatnosti p
stacionarnih vjerojatnosti jednak je svakom retku matrice P. Markovljev lanac za kojeg postoji limes
(4.11) zove se regularan ili ergodiki Markovljev lanac.
Ergodiki teorem koristimo da bismo saznali da li Markovljev lanac ima stacionarne vjerojatnosti.
Dosta esto se uvjet postojanja stacionarnih vjerojatnosti uvodi kroz pojam pozitivne rekurentnosti
Markovljevog lanca.
Definicija 4.3 (Ireducibilnost Markovljevog lanca s diskretnim parametrom)
Stanje j Markovljevog lanca je dostupno iz stanja i, s oznakom i j , ako vrijedi da je:

(n)
pij > 0, za 0 n <
Ako vrijedi i j i j i, onda stanja i i j meusobno komutiraju. Ako sva stanja Markovljevog lanca
meusobno komutiraju, onda je lanac ireducibilan.
Definicija 4.4 (Ergodiki Markovljev lanac s diskretnim parametrom)
Stanje Markovljevog lanca i je rekurentno ako je dostupno iz samog sebe u konanom broju koraka, tj. ako
se u konanom broju koraka moe vratiti u samo sebe. Stanje i je pozitivno rekurentno ako je oekivani
broj koraka do povratka u stanje i manji od beskonano. Inae, stanje je nul-rekurentno.
Stanje i ima period k ako je pnii = 0 kada god n nije djeljiv s k i k je najvei cijeli broj s takvim svojstvom.
158
Ako je k = 1, onda je stanje i aperiodino.

Markovljev lanac je pozitivno rekurentan ako je ireducibilan i ako je barem jedno stanje pozitivno rekurentno.
Markovljev lanac je aperiodian ako su mu sva stanja aperiodina.
Pozitivno rekurentan, aperiodian Markovljev lanac se zove ergodiki Markovljev lanac.
Svojstvo 4.2 (Granini teorem)
Za ireducibilan Markovljev lanac vrijedi

(n)
pj = lim pij ,
n
(4.13)
= [
i vektor p
p1 , p2 , . . .]> je jedinstven.
4.1.2 Tehnike raunanja stacionarnih vjerojatnosti

Osnovni problem koji se javlja u primjeni Markovljevih lanaca je nain raunanja stacionarnih vjeroja i pomou nje izraunati vjerojatnosti stanja lanca u
tnosti stanja lanca. Moramo odrediti matricu P
stacionarnom stanju. Pogledajmo primjer 4.1.
Promatrajmo homogen Markovljev lanac s dva stanja E = {0, 1}. Pretpostavimo da je
matrica prijelaznih vjerojatnosti P.
1/3 2/3
P=
3/8 5/8
Primjer 4.1
Gornja matrica znai da ako je proces u stanju 0, vjerojatnost da e ostati u istom stanju je 1/3, a da e
prei u stanje 1 je 2/3. Isto tako, ako je proces u stanju 1, vjerojatnost da e ostati u istom stanju je 5/8,
a vjerojatnost da e prei u stanje 0 je 3/8. Budui da se prijelazne vjerojatnosti ne mijenjaju, opisani
proces moemo opisati dijagramom na slici 4.2. Takav dijagram zovemo dijagram stanja Markovljevog
lanca. Izraunajmo matricu prijelaznih vjerojatnosti nakon 2 i 3 koraka.
Slika 4.2: Dijagram stanja binarnog izvora
"
P2 =
Moe se pokazati da je:
Pn =
13/36 23/36
23/64 41/64
9
25
9
25
1
25
1
25
1 n 43n
3 2
1 n 2n
8 3
"
P3 =
16
1
25 25
16
1
25 + 25
311
864
553
1536
9
25
16
25
1 n 43n
3 2
1 n 2n
8 3
Iz gornje je matrice lako pronai limes kada n tei u beskonanost:

" 9 16 #
= lim Pn = 25 25
P
n
553
864
983
1536
159
Sada iitamo bilo koji redak ove matrice i dobivamo vektor stacionarnih vjerojatnosti:
h
i>
9 16
=
p
25 25
Objasnimo sada to tono znai dobiveni vektor. Neka je proces u poetnom (nultom) koraku bio u
bilo kojem stanju. Vjerojatnost da e u nekom sljedeem dalekom koraku biti u stanju 0 je 9/25, a u
stanju 1 je 16/25.
Ukoliko netko zada konkretne vrijednosti vjerojatnosti stanja u inicijalnom (nultom) koraku s vektorom p(0), vjerojatnosti stanja u dalekoj (stacionarnoj) budunosti su jednaka:
> p(0) = bilo koji redak matrice P
= p(n = ) = P
p
Drugim rijeima, poetno stanje ne uvjetuje stacionarne vjerojatnosti procesa.
Primijetimo da je pokazani postupak raunanja stacionarnih vjerojatnosti izuzetno sloen. Pokuajmo izraunati stacionarne vjerojatnosti ne traei opi izraz za n-tu potenciju matrice P. Mogui nain
traenja ovih vjerojatnosti je koritenje metode dijagonalizacije matrice P. Drugi nain je metoda spektralne dekompozicije, a trei je rjeavanje sustava linearnih jednadbi. Sve metode su objanjene u
sljedeim primjerima.
Odredimo prijelazne vjerojatnosti nakon n koraka Markovljevog lanca

s dva stanja i matricom prijelaznih vjerojatnosti:
1
, (0 < , < 1)
P=
1
Primjer 4.2 (Dijagonalizacija)
Problem u ovom primjeru je traenje izraza za ope lanove matrice Pn . Jedno mogue rjeenje je metoda
dijagonalizacije. elimo matricu P zapisati na sljedei nain:
P = S D S1
gdje je D dijagonalna matrica - matrica koja samo na dijagonali ima ne-nul elemente. Dijagonalna
matrica ima sljedee korisno svojstvo:
n
d1 0 . . . 0
d1 0 . . . 0
0 d2 . . . 0
0 dn2 . . . 0
n
D= .
D
=
..
.. . .
..
.. . .
..
..
.
.
.
.
.
.
.
0
0 . . . dnk
0 0 . . . dk
Izraunajmo Pn :
Pn = S D S1 S D S1 . . . S D S1 = S Dn S1
Dakle, ukoliko matricu P raspiemo kao umnoak S D S1 , dobili smo opi oblik za n-tu potenciju
matrice P. Sada nam jo samo treba metoda raspisivanja. Prisjetimo se sada jednog teorema linearne
algebre:
Neka je P kvadratna matrica dimenzija k k . Neka su 1 , . . . , k svojstvene vrijednosti (eigenvalues )
matrice P, a ~e1 , . . . , ~ek svojstveni vektori (eigenvectors ) (vektor-stupci) matrice P. Onda je dijagonalna
matrica D matrice P matrica koja na glavnoj dijagonali ima svojstvene vrijednosti, a matrica S matrica
iji su stupci svojstveni vektori matrice P, tj.:
1 0 . . . 0
0 2 . . . 0
D= .
S = ~e1 . . . ~ek
.. . .
..
.
.
. .
.
...
Bitno je potivati redoslijed svojstvenih vrijednosti u matrici D i pripadajuih svojstvenih vektora u

matrici S.
160
Sada jo samo treba znati izraunavati svojstvene vrijednosti i svojstvene vektore matrica. Prisjetimo
se da su svojstvene vrijednosti neke matrice P one vrijednosti koje zadovoljavaju sljedeu matrinu
~ je vektor-stupac):
jednadbu (vektor X
~ =X
~
PX
~ =X
~ I
PX
~ X
~ I = [0]
PX
~ = [0]
[P I] X
Rjeenje ove jednadbe je:
det[ I P] = 0
Izraunajmo odmah svojstvene vrijednosti za ovaj primjer:
1
= 2 ( + ) 1 + + = 0
det( I P ) =
1
Rjeavajui dobivenu kvadratnu jednadbu dobivamo da su 1 = 1, 2 = + 1. Sada trebamo odrediti
svojstvene vektore. To su vektori koji zadovoljavaju poetnu matrinu jednadbu. Za prvu svojstvenu
vrijednost dobivamo:
1
x1
x1
=1
1
x2
x2
To je sustav dvije linearne jednadbe:
x1 + (1 ) x2 = x1 ,
(1 ) x1 + x2 = x2
Rjeavanjem dobivamo da mora biti ispunjeno x1 = x2 . Sustav je homogen pa izabiremo trivijalno

rjeenje x1 = x2 = 1.
Slino dobivamo i za drugu svojstvenu vrijednost. Sustav jednadbi je:
x1 + (1 ) x2 = ( + 1) x1 ,
Rjeavanjem dobivamo:
(1 ) x1 + x2 = ( + 1) x2
x2 = x1
1
1
Moemo npr. izabrati da je x1 = 1, a iz toga slijedi da je x2 = 1 . Svojstveni vektori su tako:
1
1
~e1 =
~e2 =
1
1
Matrice S i D su:
1
1
S=
1
1
D=
1
0
0
+1
Sada lako izraunavamo n-tu potenciju matrice P:
P =SD S
Pn =
1
=
2
1
1
1
1
1
1

1
0
1
n
0 ( + 1)
1
1
1
>
1
=
2
(1 ) + (1 ) ( + 1)n
(1 ) (1 ) ( + 1)n
1
1
1
1
1
1
(1 ) (1 ) ( + 1)n
(1 ) + (1 ) ( + 1)n
161
Ako su i vjerojatnosti, onda je 0 | + 1| 1, pa je
1
(1 ) + (1 ) ( + 1)n (1 ) (1 ) ( + 1)n
= lim
P
=
(1 ) (1 ) ( + 1)n (1 ) + (1 ) ( + 1)n
n 2
1
(1 ) (1 )
=
(1 ) (1 )
2
Stacionarne vjerojatnosti su:
1 =
p
1
2
2 =
p
1
2
Iako ovaj primjer izgleda izuzetno komplicirano, metoda dijagonalizacije je relativno jednostavna za
konkretne numerike primjere, a posebno je korisna u sluaju kada je broj moguih stanja lanca vei od
dva.
Pravilo spektralne dekompozicije kakvo ga ovdje uvodimo

vrijedi samo za Markovljeve lance s dva stanja - binarne lance. Spektralna dekompozicija je pojednostavljenje prethodne metode. To je nain raunanja n-te potencije matrice prijelaznih vjerojatnosti
pomou svojstvenih vrijednosti matrice prijelaznih vjerojatnosti 1 , 2 i konstituirajuih matrica E1 i E2
matrice P na sljedei nain:
Primjer 4.3 (Spektralna dekompozicija)
Pn = n1 E1 + n2 E2
E1 =
1
[P 2 I]
1 2
E2 =
1
[P 1 I]
2 1
Provjerimo odmah ovu metodu na prethodnom primjeru. Matrica P i svojstvene vrijednosti su redom:
1
P=
(0 < , < 1)
1
1 = 1
2 = + 1
Nadalje je
1
1
E1 =
[P 2 I] =
1 2
2
1
1
E2 =
[P 1 I] =
2 1
+2
1
1
1
1
1 1
1
( + 1)n
1n
1 1
+
P =
2 1 1
+2
1
(1 ) + (1 ) ( + 1)n
=
(1 ) (1 ) ( + 1)n
2
n
1 1
1
(1 ) (1 ) ( + 1)n
(1 ) + (1 ) ( + 1)n
Traenjem limesa dobivamo stacionarne vjerojatnosti kao i u prethodnom primjeru.

U sluaju kada imamo Markovljev lanac s vie od dva stanja, postupak raunanja n-te potencije
postaje uistinu kompliciran. No, za ergodike Markovljeve lance, stacionarne vjerojatnosti se mogu
nalaziti i direktno iz matrice P i to rjeavajui sustav linearnih jednadbi:
X
X
pk pkj
pj = 1
pj =
j
odnosno
> p
=p
X
j
pj = 1
(4.14)
162
Izraz (4.14) se temelji na posljedici ergodikog teorema da se razdioba vjerojatnosti stanja u stacionarnom
stanju ne mijenja s korakom. Dakle, izraz (4.14) jednostavno kae da je razdioba u sljedeem koraku
jednaka razdiobi u sadanjem koraku. Meutim, taj izraz predstavlja i sustav linearnih jednadbi. Dakle,
ako rijeimo ovaj sustav, izraunali smo stacionarne vjerojatnosti.
Zamislimo da se elektron moe nai u ukupno m energetskih stanja: E = {1, 2, . . . , m}. U vie stanje elektron moe prei samo kad je u stanju 1. Vjerojatnosti
da iz prvog pree u bilo koje drugo stanje su jednake. Kada se nae u stanju i > 1, u sljedeem koraku
moe prei jedino u stanje i1. Pronaimo vjerojatnost da je elektron u nekom stanju j pretpostavljajui
da je proces uao u stacionarno stanje.
Primjer 4.4 (Sustav linearnih jednadbi)
Za poetak, potraimo matricu prijelaznih vjerojatnosti P. Vjerojatnost da iz stanja 1 prijee u bilo

koje drugo stanje je jednako 1/m, a vjerojatnost da iz stanja i > 1 pree u stanje i 1 je jednaka 1.
Dijagram stanja ovog procesa je prikazan na slici 4.3.
Slika 4.3: Dijagram stanja uz primjer 4.4
1/m
1
P=
0
.
..
0
1/m . . .
0
...
..
.
1
..
..
.
.
0
...
Rijeimo sustav linearnih jednadbi
> p
=p
1/m 1
1/m 0
..
..
.
.
1/m 0
1/m 0
0
1
..
.
0
0
...
...
..
.
...
...
0
0
..
.
1/m
0
..
.
1/m
0
..
.
0
1
0
0
pj = 1
p1
p2
..
.

1 pm1
0
pm1
p1
p2
..
.

=

pm1
pm1
Dobivamo m jednadbi, koje rjeavamo sukcesivnim uvrtavanjem kako je prikazano ispod.
p1 = p1 + p2
pm1 = 2 pm
p2 = p1 + p3
pm2 = 3 pm
..
..
.
.
p2 = (m 1) pm
pm1 = p1 + pm
p
1 = m pm
pm = p1
m
Primijetimo da jednadbe moemo takoer postaviti na sljedei nain. Promatrajmo stanje k naeg
procesa. Vjerojatnost da e lanac biti u stanju k u sljedeem koraku je jednaka vjerojatnosti da je lanac
163
trenutno u stanju k i da e ostati u istom stanju (pk pkk ) plus zbroj vjerojatnosti vjerojatnosti
da se
P
proces nalazi u nekom drugom stanju j i da e proces u sljedeem koraku prei u stanje k ( j6=k pj pjk ).
Takvim razmiljanjem dobivamo jednadbu:
pk = pk 0 + pk+1 1 + p1
1
m
Poto je zbroj svih stacionarnih vjerojatnosti jednak 1, to slijedi da je:

m
X
i = [m + (m 1) + ... + 2 + 1] pm =
p
i=1
m(m + 1)
pm = 1
2
pm =
2
m(m + 1)
m slijede sve stacionarne vjerojatnosti:

Iz gornjih jednadbi i rjeenja za p
pj =
2(m j + 1)
,
m(m + 1)
j = 1, . . . , m
Izuzetno je vano primijetiti da je linearni sustav koji se postavlja homogen i da se rjeenje moe
pronai jedino tako da se dodatno iskoristi jednadba:
X
pj = 1
j
Primjer 4.5 (Postavljanje matrine jednadbe za stacionarne vjerojatnosti) Veina konkretnih Markovljevih lanaca je teko rjeiva runo i esto se za rjeavanje koriste odreeni matematiki proc Mathematica i
c MATLAB. Ti alati imaju ugraene funkcije za rjeavanje
gramski alati. Primjeri su
sustava linearnih jednadbi (Solver ). Sline funkcije imaju i neki PalmTop kalkulatori, npr. HP-48 GX.
Te funkcije rjeavaju matrinu jednadbu
A ~x = ~b
Pogledajmo na koji nain moemo generirati matricu A i vektor ~b koji su ulazni parametri ovakve funkcije.
Neka je zadan dijagram stanja na slici 4.4. Odgovarajua matrica prijelaznih vjerojatnosti P je:
Slika 4.4: Dijagram stanja Markovljevog lanca uz primjer 4.5
0.7 0.3 0
0
0.3 0.1 0.2 0.4
P=
0 0.6 0.4 0
0 0.9 0 0.1
Da bismo pronali stacionarne vjerojatnosti, postavljamo dvije jednadbe:
=p
P> p
(4.15)
164
(4.16)
pi = 1
Jednadbu (4.15) moemo transformirati na sljedei nain:
=Ip
P> p
Ip
=0
P> p
>
=0
P I p
Dobili smo jednadbu oblika A~x = ~b, ali takav sustav nije jedinstveno rjeiv budui da je ~b = 0. Da
bismo dobili jedinstveno rjeiv sustav, moramo ukljuiti jednadbu (4.16). To radimo tako to neki od
redaka matrice P> I (k -ti) zamijenimo s jedininim retkom, a kao k -ti element nul-vektora upiemo
jedinicu. Za k -ti redak odabiremo onaj koji ima najvie nenul elemenata.
0.7 1
0.3
0
0
0.3
0.1 1
0.6
0.9
P> I =
0
0.2
0.4 1
0
0
0.4
0
0.1 1
Odabiremo drugi redak i dobivamo sustav:
0.3 0.3
0
1
1
1
0
0.2 0.6
0
0.4
0
|
{z

0
p0
1
p1
0 p2
0.9
p3
} | {z

=

}
~
x
0
1
0
0
{z }
~b
Vrijednosti za A i ~b unosimo u funkciju za rjeavanje sustava linearnih jednadbi i dobivamo stacionarne

vjerojatnosti. Dakako, moemo koristiti i Gauss-Jordanovu metodu ili Cramerovu metodu.
Naravno, sustav A ~x = ~b moemo rijeiti i na sljedei nain:
A ~x = ~b /A1
A1 A ~x = A1 ~b
~x = A1 ~b
Ovaj pristup je bolji ukoliko piemo program za traenje stacionarnih vjerojatnosti, budui da je
funkciju za invertiranje matrice jednostavno lako napistati. Kako god radili, dobivamo sljedea rjeenja:
> = [ 0.36 0.36 0.12

p
0.16 ]
4.1.3 Odnos homogenog Markovljevog lanca i geometrijske razdiobe

Promotrimo dio slijeda ATM elija koje stvara neki izvor. Pretpostavimo da takav izvor moemo opisati
Markovljevim lancem s dva stanja: A i B . Dijagram stanja prikazan je na slici 4.5, a uzorak jedne mogue
trajektorije prikazan je na slici 4.6.
Izraunajmo stacionarne vjerojatnosti rjeavanjem sustava linearnih jednadbi:
= P> p
p
pB = (1 p) pB + q pA
1 = pA + pB
pB = pB p pB + q (1 pB ) pB =
pA = 1 pB =
p
q+p
q
q+p
165
Slika 4.5: Dijagram stanja binarnog Markovljevog lanca
Slika 4.6: Slijed ATM elija opisan Markovljevim lancem
Pokuajmo sada izraunati vjerojatnosti dogaaja Ai i Bi , gdje Ai oznaava da je proces u stanju A

boravio tono i koraka, a Bi da je proces u stanju B boravio tono i koraka.
Do vjerojatnosti P (Ai ) moemo doi sljedeim razmiljanjem. Proces se u A zadrao i koraka to
znai da je u i + 1-vom koraku preao u stanje B . Vjerojatnost da proces pri prijelazu u sljedei korak
ostane u istom stanju (A) je 1 q . Vjerojatnost da pree u stanje B je q . Vjerojatnost P (Ai ) jednaka je
vjerojatnosti da je proces u i 1 prijelaza uspio ostati u stanju A i u i-tom prijelazu preao u stanje B :
P (Ai ) = (1 q)i1 q
Dobili smo izraz za geometrijsku razdiobu. Zakljuujemo da je varijabla koja mjeri broj koraka koji
Markovljev lanac s diskretnim parametrom ostaje u istom stanju rasporeena po geometrijskoj razdiobi.
Slino vrijedi i za vjerojatnost P (Bi ):
P (Bi ) = (1 p)i1 p
Prisjetimo se izraza za oekivanje geometrijske razdiobe. Izraunali smo oekivanje za sluaj kada
je funkcija vjerojatnosti bila Pi = (1 p)i p. No u naem sluaju je funkcija vjerojatnosti oblika Pi =
(1 p)i1 p. Stoga je oekivanje E[Ai ] jednako:
E[Ai ] =
iq(1 q)i1 = . . . =
i=1
Dakle, vrijedi:
E[Ai ] =
1
q
E[Bi ] =
1
q
1
p
Budui da stacionarne vjerojatnosti odgovaraju udjelima vremena koje lanac provodi u odgovarajuem
stanju, moraju vrijediti sljedee relacije:
E[Ai ]
E[Ai ] + E[Bi ]
E[Bi ]
pB =
E[Ai ] + E[Bi ]
pA =
Provjerimo ovu tvrdnju:
pA =
E[Ai ]
=
E[Ai ] + E[Bi ]
pB =
E[Bi ]
=
E[Ai ] + E[Bi ]
1
q
1
q
1
p
1
p
1
q
1
p
p
q+p
q
q+p
166
Dakle, ako neka varijabla Ai mjeri broj koraka (intervala) u kojima se proces bez prekida nalazi u
istom stanju, onda se razdioba te varijable ravna po geometrijskoj razdiobi. Omjer oekivanja za neko
specino stanje A i zbroja oekivanja za sva stanja lanca daje stacionarnu vjerojatnost stanja A.
4.2 Markovljevi lanci s kontinuiranim parametrom

U prethodnom dijelu smo promatrali Markovljeve lance za koje nas nije zanimalo kada i kako esto
mijenjaju svoja stanja. U ovom emo dijelu dodati vremensku dimenziju i promatrati Markovljeve lance
kontinuirane u vremenu.
Promatrajmo neki stohastiki proces koji ima skup diskretnih stanja E . Dopustimo da proces promijeni svoje stanje u bilo kojem trenutku u vremenu i neka budue stanje ovisi samo o sadanjem. Takav
proces zovemo Markovljev lanac kontinuiran u vremenu. Primjer ovakvog procesa je trgovaki putnik koji
putuje izmeu n gradova. Kada se putnik nalazi u gradu i onda je stanje Markovljevog lanca i. Putnik
moe promijeniti grad u bilo kojem trenutku u vremenu, a time i stanje procesa.
Dajmo sada egzaktnu deniciju Markovljevog lanca s kontinuiranim parametrom:
Definicija 4.5 (Markovljev lanac s kontinuiranim parametrom (kontinuiran u vremenu))
Sluajni proces s diskretnim stanjima X(t) je Markovljev lanac kontinuiran u vremenu ako za sve brojeve
n N, i svaki slijed t1 , t2 , . . . , tn , tn+1 takav da je t1 < t2 < . . . < tn < tn+1 vrijedi
P [X(tn+1 ) = j | X(t1 ) = i1 , X(t2 ) = t2 , ..., X(tn ) = in ] = P [X(tn+1 ) = j | X(tn ) = in ]
(4.17)
Slika 4.7: Trajektorija Markovljevog lanca kontinuiranog u vremenu

Tipina trajektorija Markovljevog lanca kontinuiranog u vremenu prikazana je na slici 4.7. Kontinuiran Markovljev lanac odlikuje svojstvo odsutnosti pamenja. Takvo svojstvo imaju i procesi s neovisnim prirastima diskretni po vrijednostima i kontinuirani po vremenu. Kod takvih procesa prirast
u budunosti ne ovisi o prirastima u prolosti. Dakle, ako nekakav proces s diskretnim stanjima ima
neovisne priraste, onda je on Markovljev lanac.
Primjer procesa s neovisnim prirastima je Poissonov proces. On ima kontinuiran parametar, diskretna
stanja i svojstvo odsutnosti pamenja. To ga ini primjerom Markovljevog lanca. Evo dokaza:
P (Xtn = xn |Xtn1 = xn1 , ..., Xt0 = x0 ) =

= P (Xtn Xtn1 = xn xn1 |Xtn1 Xtn2 = xn1 xn2 , . . . , Xt1 Xt0 = x1 x0 , Xt0 = x0 ) =
= P (Xtn Xtn1 = xn xn1 ) = P (Xtn Xtn1 = xn xn1 |Xtn1 = xn1 ) =
= P (Xtn = xn |Xtn1 = xn1 )
4.2. MARKOVLJEVI LANCI S KONTINUIRANIM PARAMETROM
167
Denirajmo prijelaznu vjerojatnost i matricu prijelaznih vjerojatnosti Markovljevog procesa s kontinuiranim parametrom:
Definicija 4.6 (Matrica prijelaznih vjerojatnosti)
Neka su s i t vremena iz parametarskog skupa Markovljevog lanca kontinuiranog u vremenu. Uvjetna

vjerojatnost
[s,t]
pij = P (Xt = xj |Xs = xi )
(4.18)
zove se prijelazna vjerojatnost Markovljevog lanca iz stanja xi u stanje xj . Matrica P [s,t] sastavljena od
[s,t]
elemenata pij se zove matrica prijelaznih vjerojatnosti Markovljevog lanca.
Proces se u nekom vremenskom trenutku t moe nalaziti samo u jednom stanju (konzervativan proces).
Zbroj vjerojatnosti prijelaza iz jednog stanja u sva sljedea mogua stanja jednak je 1, tj.:
X [s,t]
(4.19)
pij = 1
j
Matrice prijelaznih vjerojatnosti imaju sljedee zanimljivo svojstvo: prijelazna matrica iz trenutka s
u trenutak u jednaka je umnoku matrica prijelaza P [s,t] P [t,u] = P [s,u] . To je izreka poznatog ChapmanKolmogorovljevog teorema:
Svojstvo 4.3 (Chapman-Kolmogorovljev teorem)
Neka je P[s,u] matrica prijelaznih vjerojatnosti Markovljevog procesa kontinuiranog u vremenu. Tada ona
zadovoljava Chapman-Kolmogorovljevu jednadbu:
P[s,u] = P[s,t] P[t,u] ,
(4.20)
stu
Pronaimo matricu prijelaznih vjerojatnosti za Poissonov proces.

Formulirajmo prvo vjerojatnost prijelaza iz stanja i u trenutku s u stanje j u trenutku t. Jasno je da
je Poissonov proces zapravo proces brojanja. Kao takav on je progresivan, tj. u vremenu njegovo stanje
po vrijednosti nikada ne opada. Stanje stagnira ili raste. Stanje raste za jedan kada se realizira dogaaj
kojeg Poissonov proces broji.
Kolika je vjerojatnost da proces prijee iz stanja i u trenutku s u stanje j = i + 1 u trenutku t ? Jasno
je da je ta vjerojatnost jednaka vjerojatnosti da se u vremenu t s dogodi samo jedan dogaaj. Isto tako
vjerojatnost da iz stanja i prijee u stanje j = i + k jednaka je vjerojatnosti da se u periodu t s dogodi
tono k dogaaja, k = 0, 1, 2, . . . Ta vjerojatnost je poznata iz denicije Poissonovog procesa:
Primjer 4.6
[s,t]
pi,j = P [X(t + s) X(s) = j i] = et
(t)ji
(j i)!
Koristei se ovim izrazom moemo zapisati matricu prijelaznih vjerojatnosti P[s,t] .
P[s,t]
(ts)
=e
1
0
0
..
.
..
.
[(ts)]1
1!
1
0
..
.
..
.
[(ts)]2
2!
[(ts)]1
1!
1
..
.
..
.
[(ts)]3
3!
[(ts)]2
2!
[(ts)]1
1!
..
..
.
...
...
...
..
.
..
168
Svi elementi matrice ispod dijagonale jednaki su 0. Razlog tome je to to je vjerojatnost da proces
prijee u nie stanje jednaka 0. Ova matrica ima svojstva da joj sve sporedne dijagonale imaju jednake
elemente i da ovisi samo o razlici vremena (t s). Markovljeve lance s ovim svojstvom zovemo homogeni
Markovljevi lanci. Treba primijetiti da ovaj proces nije stacionaran - oekivanje procesa nije konstanta,
tj. stanje raste u vremenu, a s tim i oekivanje.
Najznaajnija klasa Markovljevih lanaca su homogeni procesi. To su oni procesi kod kojih matrica
prijelaznih vjerojatnosti P[s,t] ne ovisi o vrijednostima t i s, nego iskljuivo o razlici t s. Homogene
Markovljeve lance deniramo na sljedei nain:
Definicija 4.7 (Homogeni Markovljev lanac)
Neka je {Xt | 0 t < } Markovljev lanac s kontinuiranim parametrom. Ukoliko sve prijelazne vjerojatnosti matrice P[s,t] , pij = P (Xt = xj |Xs = xi ), i, j = 1, 2, . . . ne ovise pojedinano o vrijednostima
parametara s odnosno t, nego jedino o razlici = t s, tj.:
P (Xt = xj | Xs = xi ) = pij ( ), i, j = 1, 2, . . .
(4.21)
onda je Markovljev lanac {Xt | 0 t < } homogeni Markovljev lanac.
4.2.1 Kolmogorovljeve jednadbe

Kolmogorovljevim jednadbama pribliit emo se problemu izraunavanja karakteristinih parametara
sustava posluivanja M/M/1. Te jednadbe predstavljaju zikalnu interpretaciju Markovljevih lanaca.
Nadalje promatramo samo homogene Markovljeve procese. Za njih vrijedi Chapman-Kolmogorovljeva
jednadba:
P[0,s+t] = P[0,s] P[s,t]
Za homogene Markovljeve lance vrijedi da matrica prijelaznih vjerojatnosti P[s,t] ovisi samo o razlici
(t s). Moemo krae zapisati da je P[0,t] = P(t). Gornja Chapman-Kolmogorovljeva jednadba se sada
moe napisati i jednostavnije:
P(t + s) = P(s) P(t)
(4.22)
lan (i, j) matrice P(t + s) dobivamo zbrajanjem lanova matrica P (s) i P (t) na sljedei nain:
X
pij (t + s) =
pik (t) pkj (s)
(4.23)
k
pij (t) je funkcija parametra t. Ustvrdit emo (bez dokaza!) da ona zasigurno ima derivaciju u toki t = 0.
Oznaimo tu derivaciju po vremenu s qij :
pij (t)
qij =
(4.24)
t t=0
Denirajmo matricu Q kao matricu koja je sastavljena od elemenata qij . Tu matricu zovemo matrica
gustoa prijelaza ili innitezimalna matrica:
q11 q12 q13 . . .

q21 q22 q23 . . .
Q = q31 q32 q33 . . .
..
..
..
..
.
.
.
.
Derivirajmo Chapman-Kolmogorovljevu jednadbu s lijeve i s desne strane po s. Dobivamo:
pkj (s)
pij (t + s) X
=
pik (t)
s
s
k
169
Ako uvrstimo da je s = 0 dobivamo:
pkj (0)
pij (t) X
=
pik (t)
t
s
k
X
p0ij (t) =
pik (t) qkj
k
U matrinom zapisu je to:
P0 (t) = P(t) Q
(4.25)
Dobivena jednadba se zove Kolmogorovljeva jednadba unaprijed (forward Chapman equation ). Slino,
ako Chapman-Kolmogorovljevu jednadbu deriviramo po t i stavimo da je t = 0, dobivamo Kolmogorovljevu jednadbu unazad (backward Chapman equation ):
P0 (t) = Q P(t)
(4.26)
Sada kada znamo Kolmogorovljeve jednadbe unaprijed i unazad, moramo otkriti za to ih moemo
iskoristiti. Svrhu emo vidjeti tek kada pokaemo jo neka zanimljiva svojstva koja slijede iz Kolmogorovljevih jednadbi i rijeimo na prvi primjer.
Zamislimo da je Markovljev proces u stanju i. Vjerojatnost da u buduem periodu duljine 0 sekundi
proces ostane u istom stanju je 1, a da promijeni stanje je 0. Dakle, vano je primijetiti da je matrica
prijelaznih vjerojatnosti P(0) jednaka je
P(0) = I,
pii (0) = 1 pij (0) = 0, za i 6= j
Promatrajmo prijelaznu vjerojatnosti pij (t) kada je t > 0 i i 6= j . Vrijedi sljedee:
pij (t)
pij (t)
pij (t) pij (0)
qij =
= lim
.
= lim
t0
t t=0 t0
t
t
Ako uzmemo da t ne tei k nuli nego da je t relativno mala veliina, onda moemo napisati
pij (t) = qij t + o(t)
(4.27)
gdje je o ve spomenuti Landauov simbol1 . Ako stavimo da je j = i, dobivamo
pii (t) 1
pii (t)
pii (t) pii (0)
qii =
= lim
= lim
t0
t0
t t=0
t
t
pii (t) = 1 + qii t + o(t)
(4.28)
Dakle, ukoliko promatramo stanje i nekog lanca, onda za takvo stanje moemo uvijek postaviti jednadbe
(4.27) i (4.28). Ove jednadbe zovemo svojstvima regularnosti Markovljevog lanca kontinuiranog po
parametru ili Kolmogorovljevim diferencijskim jednadbama. Proces postavljanja jednadbi moemo
olakati ukoliko nacrtamo dijagram stanja za takav lanac (slika 4.8).
Prisjetimo se naina na koji je bilo denirano svojstvo regularnosti Poissonovog procesa:
pn,n+1 (t) = t + o(t)

pn,n (t) = 1 t + o(t)
pn,n+k (t) = o(t), k > 1
Uoavamo da su jednadbe regularnosti Poissonovog procesa zapravo diferencijske Kolmogorovljeve jednadbe. Odmah uoavamo da je qii = , qi,i+1 = , inae qij = 0. Parametar je intenzitet pojavljivanja (realiziranja) dogaaja kojeg broji Poissonov proces. Shodno tome, zakljuujemo da koecijent qij
predstavlja intenzitet prijelaza iz stanja i u stanje j kada se Markovljev lanac nalazi u stanju i. Ono to je
1 o(h) je bilo koja funkcija sa svojstvom lim o(h)
h0
170
Slika 4.8: Segment dijagrama stanja Markovljevog lanca kontinuiranog u vremenu
izuzetno zanimljivo je da ukoliko vrijednost koecijenta qij , i 6= j pomnoimo s jako malim vremenskim
intervalom duljine t, dobivamo vjerojatnost da lanac u periodu t prijee iz stanja i u stanje j .
U skladu s ovim opaanjem, elemente matrice Q shvaamo kao intenzitete prijelaza. Matricu Q
zovemo matricom intenziteta prijelaza ili jo innitezimalnom matricom. Koecijente qij jo zovemo i
gustoama prijelaza.
Pogledajmo kakva pravila vrijede u toj matrici. Analizirajmo izraz (4.27). Budui da vjerojatnost ne
smije biti manja od 0, zakljuujemo da mora biti ispunjeno:
qij 0, za i 6= j
(4.29)
Isto tako, vjerojatnost ne smije biti vea od 1, pa iz (4.28) zakljuujemo da mora biti ispunjeno:
(4.30)
qii 0
Elementi matrice gustoe prijelaza na dijagonali su tako uvijek negativni, a na sporednim dijagonalama
pozitivni. Pored ovoga moemo zakljuiti i sljedee:
X
pij (t) = 1
j
d X
pij (t) =
dt j
X
p0ij (t) =
j
qij
d
(1)
dt
0,
a uz t = 0
(4.31)
Zbroj gustoa prijelaza u bilo kojem retku matrice gustoe prijelaza jednak je 0. Stoga mora biti zadovoljeno:
X
qii =
qij
(4.32)
j, j6=i
Demonstrirajmo ovaj zakljuak na primjeru matrice intenziteta prijelaza Poissonovog procesa.
Pronaimo matricu gustoa prijelaza za Poissonov proces. Iz primjera 4.6 nam je poznata
matrica prijelaza ovog Markovljevog procesa kontinuiranog u vremenu:
Primjer 4.7
P[s,t]
(ts)
=e
1
0
0
..
.
..
.
[(ts)]1
1!
1
0
..
.
..
.
[(ts)]2
2!
[(ts)]1
1!
1
..
.
..
.
[(ts)]3
3!
[(ts)]2
2!
[(ts)]1
1!
..
..
.
...
...
...
...
..
.
171
Opi lan te matrice je:

[s,t]
pij
= P [X(t + s) X(s) = j i] = et
(t)ji
(j i)!
Opi lan matrice Q je qij =
pij (t)
t
t=0
. Dakle opi lan matrice gustoe prijelaza je
qij = e
et (t)ji1
+
(j i)!
(j i 1)! t=0
ji
t (t)
Za i = j dobivamo qii = , za i = j 1 dobivamo qi,i+1 = , a za i 6= j i j > i + 1 dobivamo qij = 0.

Matrica gustoe prijelaza je:

0 ...
0 . . .
Q= 0
0 . . .
..
..
..
..
.
.
.
.
U veini zadataka koje emo rjeavati, matrica Q je poznata ili se do nje dolazi preko dijagrama
stanja. Zadatak je nai matricu prijelaznih vjerojatnosti. Do matrice prijelaznih vjerojatnosti se dolazi
rjeavanjem Kolmogorovljevih jednadbi unaprijed i unazad, izravno ili koristei odreene metode. Vjerojatnosti iz ove matrice se mogu shvatiti kao funkcija vjerojatnosti neke sluajne varijable, na primjer
varijable duljine repa u redu ekanja. Raunanjem oekivanja takve varijable moemo odrediti srednju
duljinu repa ili srednje vrijeme ekanja itd.
4.2.2 Dijagram stanja Markovljevog lanca s kontinuiranim parametrom

U primjeru 4.7 smo matricu gustoa prijelaza Q odredili na osnovu poznate funkcije vjerojatnosti prijelaza
iz stanja i u stanje i+1. No, u opem sluaju se javlja problem konstruiranja matrice Q iz denicije samog
problema. Kao pomono sredstvo za konstruiranje matrice Q koristimo dijagram stanja. Taj dijagram
stanja je slian dijagramu stanja kod Markovljevih lanaca s diskretnim parametrom, no na strelicama
koje predstavljaju prijelaze izmeu stanja piemo intenzitete prijelaza. Na slici 4.9 je prikazan dijagram
stanja Poissonovog procesa.
Slika 4.9: Dijagram stanja Poissonovog procesa

Pri izradi dijagrama stanja se ne crtaju prijelazi iji je intenzitet 0. Tako je sa slike jasno da je
intenzitet vraanja Poissionovog procesa u neko od niih stanja jednako 0. Time smo denirali da
Poissonov proces ne moe smanjiti svoje stanje, to je u skladu s denicijom procesa brojanja. Isto tako,
iz dijagrama slijedi da Poissonov proces ne moe skoiti iz stanja n u stanje n + i, i > 1. To je u skladu
s denicijom da Poissonov proces broji samo pojedinane realizacije dogaaja koje promatra. U sluaju
Poissonovog procesa s gomilanjem, ovi prijelazi bi imali intenzitet vei od 0.
Vano je uoiti smisao intenziteta koje zapisujemo na strelicama prijelaza. U sluaju Poissonovog
procesa, predstavlja intenzitet pojavljivanja dogaaja koji se broje. Jasno da taj intenzitet ne opada s
brojem prebrojanih dogaaja. No, u veini sluajeva intenziteti ovise o trenutnom i ciljanom stanju.
Promatrajmo skupinu od N telefonskih pretplatnika koji su spojeni na grupni stupanj neke centrale.
Svaki korisnik moe biti u aktivnom stanju, kad razgovara, i u neaktivnom stanju, kad je slualica
sputena. Pretpostavimo da se svaki korisnik pojedinano moe opisati dijagramom stanja na slici 4.102 .
Stanje 0 predstavlja neaktivno stanje pretplatnika, a stanje 1 aktivno stanje. Promatrajmo sada
Markovljev lanac ije stanje predstavlja broj aktivnih pretplatnika. Prostor stanja takvog Markovljevog
2 Ovaj dijagram je aproksimacija dijagrama koji precizno opisuje aktivnost telefonskog pretplatnika
172
Slika 4.10: Dijagram stanja telefonskog pretplatnika
lanca je konaan E = {0, 1, . . . , N }. Kada je takav lanac u stanju k ,

intenzitet pojavljivanja jo jednog aktivnog pretplatnika (N k).
korisnika za 1 je k. Na osnovu ovog razmatranja moemo nacrtati
(slika 4.11) 3 . Iz dijagrama stanja neposredno iitavamo elemente
onda je aktivno k pretplatnika pa je

Intenzitet smanjenja broja aktivnih
dijagram stanja Markovljevog lanca
innitezimalne matrice Q. Matrica
Slika 4.11: Dijagram stanja broja aktivnih pretplatnika

ima dimenziju jednaku broju stanja lanca kojeg smo denirali dijagramom stanja - N + 1. Element
qij , i 6= j je jednak intenzitetu prijelaza iz stanja i u stanje j s dijagrama. Elemente qii raunamo po
formuli (4.31):
X
qii =
qij
j6=i
Q=
..
.
N
(N 1)
..
.
0
0
0
0
0
...
(N 1) . . .
..
..
.
.
0
0
...
...
0
0
..
.
0
0
..
.
0
0
..
.
(N 1)
0
(N 1)
N
4.2.3 Markovljevi lanci s kontinuiranim parametrom

i eksponencijalna razdioba
Upoznati smo s injenicom da su vremena izmeu dva uzastopna nailaska dogaaja Poissonovog procesa
brojanja raspodijeljena eksponencijalno. Pokazat emo da je u bilo kojem Markovljevom lancu s kontinuiranim parametrom vrijeme izmeu dvije uzastopne promjene stanja procesa raspodijeljeno eksponencijalno.
3 Ovaj dijagram je rezultat razmatranja diferencijskih jednadbi:
p01 (t + t) = t + o(t),
pk,k+1 (t + t) =
N
k
X
p01 (t + t),
p10 (t + t) = t + o(t)
pk,k1 (t + t) =
i=1
pk,k+1 (t + t) = (N k)t + o(t),
k
X
p10 (t + t)
i=1
pk,k1 (t + t) = kt + o(t)
173
Svojstvo 4.4 (Razdioba ostanka Markovljevog lanca u istom stanju)
Neka je {Xt | 0 t < } homogeni Markovljev lanac s pripadnom matricom gustoa prijelaza Q.
Neka je Ti sluajna varijabla koja mjeri vrijeme ostanka procesa u istom stanju i, odnosno varijabla koja
mjeri vrijeme izmeu ulaska i izlaska Markovljevog lanca u/iz stanja i. Tada sluajna varijabla Ti ima
eksponencijalnu razdiobu s parametrom = qii :
(4.33)
Ti Ex[qii ]
gdje je qii pripadni dijagonalni element u i-tom stupcu matrice Q.

Dokaz:
Uoimo i-ti redak matrice Q:
qi = [qi1 , qi2 , . . . , qii , . . .]
Za svaki element ovog retka moemo napisati:

pij ( ) = qij + o( ), i 6= j
Neka je vjerojatnost p( ) jednaka:

X
X
qij + o( ) = qii + o( )
pij ( ) =
p( ) =
j, j6=i
j, j6=i
Promatrajmo vremenski period duljine i izraunajmo vjerojatnost P [Ti > ]. Podijelimo period na n
dijelova (slika 4.12), tako da je:
=
n
Funkciju razdiobe sluajne varijable Ti moemo izraunati na sljedei nain:
Slika 4.12: Uz dokaz teorema
FTi ( ) = P [Ti ] = lim
n
X
i=0
n+1
= lim 1 [1 p( )]
n
1 [1 p( )]n+1
p( )
n
1 1 + p( )
(1 p( ))i p( ) = lim
n+1
= 1 lim [1 p( )]
n
Prethodni izraz moemo interpretirati na sljedei nain. Ako smo period podijelili na jako veliki broj
jednakih segmenata (n), onda je svaka kontinuirana vrijednost u < priblino jednaka i /n, za neki i. Ta
je vrijednost tonije opisana to je n vei. Vjerojatnost da je Ti < jednaka je zbroju vjerojatnosti da je Ti
tono jednaka i /n preko svih i = 0, . . . , n i da je nakon toga proces promijenio stanje. p( ) oznaava
vjerojatnost da u buduem trenutku proces prijee u novo stanje. Poto budue stanje Markovljevog
lanca ovisi samo o sadanjem, to su svi p( ) jednaki, pa se jedna realizacija sluajne varijable Ti ravna
174
po geometrijskoj razdiobi kao i u sluaju Markovljevog procesa s diskretnim parametrom. Sada jedino
trebamo jo rijeiti gornji limes.
Budui da Landauov simbol tei k nuli bre nego sam parametar, to u limesu zbog jednostavnosti
slobodno moemo ispustiti Landauov simbol:
h
in+1
n+1
FTi ( ) = 1 lim [1 p( )]
= 1 lim 1 + qii + o( /n)
=
n
n
n
h
i
n+1
= 1 lim 1 + qii
= 1 eqii
n
n
Time smo jednostavno pokazali da sluajna varijabla Ti ima eksponencijalnu razdiobu s parametrom qii ,
Ti Ex[qii ].
Q.E.D.
Dakle, vrijeme koje Markovljev proces provodi u istom stanju je raspodijeljeno eksponencijalno s
parametrom koji je jednak zbroju gustoa prijelaza iz promatranog stanja u sva druga mogua stanja
osim promatranog. Ovaj rezultat je iznimno vaan. On nas upuuje na zakljuak da se svi procesi u kojima
se pojavljuju eksponencijalno raspodijeljene varijable mogu opisati Markovljevim lancem s kontinuiranim
parametrom. Ovaj rezultat se moe neposredno primijeniti i pri simulaciji Markovljevih procesa.
4.2.4 Ope rjeenje Kolmogorovljevih jednadbi

Zamislimo sljedei model prometnog izvorita: Nekakav izvor prometa (nekakav telefon) moe se nalaziti
u dva stanja (proces X(t) se moe nalaziti u dva stanja): u stanju u kojem generira promet i u kojem je
neaktivan. Neka je vrijeme koje provede u aktivnom stanju raspodijeljeno po eksponencijalnoj razdiobi
s parametrom (E[]), a neka je vrijeme koje provede u neaktivnom stanju takoer raspodijeljeno po
eksponencijalnoj razdiobi s parametrom (E[]). Izraunajmo matricu prijelaznih vjerojatnosti P(t).
Izraunajmo vjerojatnost da se proces u trenutku t nalazi u stanju 0 odnosno 1.
Denirajmo da je proces u stanju 1 kada je izvor aktivan, a u stanju 0 kada je izvor neaktivan.
Pretpostavimo da je na poetku izvor u stanju 0. Bez obzira kada smo poeli promatrati izvor, moemo
pretpostaviti da e se vrijeme koje e izvor provesti u istom stanju ponaati po eksponencijalnoj razdiobi
s parametrom (tvrdnja prethodnog teorema). Budui da je vrijeme do promjene stanja raspodijeljeno
po eksponencijalnoj razdiobi, onda se broja realizacija promjena ponaa kao Poissonov proces. Kolika
je vjerojatnost da e se promjena stanja iz 0 u 1 dogoditi u budunosti u nekom kratkom periodu h?
Vjerojatnost je jednaka vjerojatnosti da e se u periodu h dogoditi tono 1 dogaaj. Koristei svojstvo
regularnosti Poissonovog procesa moemo napisati sljedee:
p01 (h) = P (X(h) = 1|X(0) = 0) = h + o(h)

Slino, vjerojatnost da se dogodi promjena iz 1 u 0 u buduem periodu h jednaka je vjerojatnosti da
se u buduem periodu h realizira tono jedan dogaaj Poissonovog procesa s intenzitetom . Koristei
svojstvo regularnosti dobivamo:
p10 (h) = P (X(h) = 0|X(0) = 1) = h + o(h)

Prema jednadbama koje smo dobili izvodei svojstva matrice gustoe prijelaza iz gornje dvije diferencijske jednadbe dobivamo matricu gustoe prijelaza:

Q=

Do vjerojatnosti prijelaza dolazimo preko Kolmogorovljevih jednadbi. Rijeimo Kolmogorovljevu
jednadbu unaprijed:
P0 (t) = P(t) Q
0
p00 (t) p001 (t)

p00 (t) p01 (t)

=
p010 (t) p011 (t)

p10 (t) p11 (t)

175
Mnoenjem matrica dobivamo sljedee etiri jednadbe:
p000 (t) = p00 (t) + p01 (t)

p001 (t) = p00 (t) p01 (t)
p010 (t) = p10 (t) + p11 (t)
p011 (t) = p10 (t) p11 (t)
Takoer vrijedi da je:
p00 (t) + p01 (t) = 1

p10 (t) + p11 (t) = 1
Transformirajui dobivani sustav pomou Laplaceove transformacije u donje podruje i rjeavajui

dobiveni sustav linearnih jednadbi u gornjem podruju dobivamo sljedea rjeenja:
p10 (t) =
+
p01 (t) =
+
p11 (t) =
+
p00 (t) =
+
+
+
e(+)t
e(+)t
e(+)t
e(+)t
Dobili smo vjerojatnosti prijelaza, tj. elemente matrice P(t). Sada moramo izraunati vjerojatnost
da se proces u nekom trenutku t nalazi u stanju 0, odnosno u stanju 1. Te vjerojatnosti dobivamo na
sljedei nain:
p1 (t) = P [X(t) = 1] = P [X(t) = 1|X(0) = 0] P [X(0) = 0] + P [X(t) = 1|X(0) = 1] P [X(0) = 1] =

= p01 (t) p0 (0) + p11 (t) p1 (0)
p0 (t) = P [X(t) = 0] = P [X(t) = 0|X(0) = 0] P [X(0) = 0] + P [X(t) = 0|X(0) = 1] P [X(0) = 1] =
= p00 (t) p0 (0) + p10 (t) p1 (0)
Dobivamo:
p1 (t) =
p1 (0) p0 (0) (+)t

+
e
+
+
p0 (t) =
p1 (0) p0 (0) (+)t
e
+
+
Dakako, ove vjerojatnosti moemo izraunati samo ako nam netko zada konkretne vrijednosti za
vjerojatnosti p1 (0) i p0 (0).
Iz ovog primjera nam je jasno da je postupak dobivanja matrice prijelaza relativno sloen, ak i
za jednostavne procese s dva stanja. Postupak se sastoji od postavljanja velikog broja diferencijalnih
jednadbi i njihovog rjeavanja pomou Laplaceove transformacije.
Na sreu, postoje odreene metode za traenje matrice prijelaznih vjerojatnosti koje se ne temelje na
Laplaceovoj metodi, nego na metodi dijagonalizacije innitezimalne matrice. Prije nego to se upoznamo
s ovom metodom moramo dati teorem o opem rjeenju Kolmogorovljevih jednadbi.
Neka je A kvadratna matrica dimenzije n. Denirajmo specijalnu eksponencijalnu funkciju iji je
argument matrica A na sljedei nain:
X
Ak
(4.34)
eA =
k!
k=0
gdje je A k -ta potencija matrice A. Dakle izraz e na kvadratnu matricu treba shvatiti kao zbroj
potencija matrice A koji odgovara razvoju eksponencijalne funkcije u red. Rezultat potenciranja baze
k
176
prirodnog logaritma kvadratnom matricom dimenzije n je kvadratna matrica dimenzije n. Uvaavajui

ovu deniciju moemo iskazati sljedei teorem:
Svojstvo 4.5 (Ope rjeenje Kolmogorovljevih jednadbi)
Neka je zadana Kolmogorovljeva jednadba unaprijed, odnosno unazad:

P0 (t) = P(t) Q,
P0 (t) = Q P(t)
gdje je Q matrica gustoa prijelaza, P(t) matrica prijelaznih vjerojatnosti, a P0 (t) matrica derivacija
elemenata matrice P(t) po parametru t. Neka je zadan i poetni uvjet:
P(0) = I
Ope rjeenje Kolmogorovljevih matrinih diferencijalnih jednadbi je:

P(t) = eQt
(4.35)
Dokaz:
Pretpostavimo da je rjeenje Kolmogorovljevih jednadbi uz zadani uvjet:
P(t) = eQt =
k
X
(Q t)
k!
k=0
Derivirajmo gornji red po parametru t.

d
P (t) =
dt
k
X
(Q t)
k=0
d
d
=
{I} +
dt
dt
k!
(
)
=
k
X
(Q t)
k!
k=1
Uoimo da je:
(
)

k
d Q k tk
d (Q t)
d tk
tk1
tk1
k
=
=Q
= Q Qk1
= Qk1
Q
dt
k!
dt
k!
dt k!
k 1!
k 1!
Slijedi:
P0 (t) = 0 +
Q Qk1
k=1
X
tk1
tk1
=Q
Qk1
= Q P(t)
k 1!
k 1!
k=1
Slino pokazujemo i za Kolmogorovljevu jednadbu unaprijed:

P0 (t) = 0 +
X
k=1
Qk1
X
tk1
tk1
Qk1
Q=
Q = P(t) Q
k 1!
k 1!
k=1
Jednadba zadovoljava poetni uvjet problema:

P(0) = lim eQt = e0 =
t0
X
0k
k=0
k!
00
=I
0!
Q.E.D.
177
Pogledajmo na koji nain moemo iskoristiti ovaj teorem. Pretpostavimo da matrica Q ima razliite
svojstvene vrijednosti. Druge sluajeve neemo razmatrati. Ako matrica Q ima sve razliite svojstvene
vrijednosti, onda se ona zasigurno moe dijagonalizirati i zapisati u obliku:
Q = S D S1
Slijedi:
Qt
X
Qk tk
k=0
k!
=S
X
Dk tk
k=0
S1 = S eDt S1
k!
Budui da se D dobiva kao dijagonalna matrica D

da je:
1 t
e
0
2 t
0
e
eDt = .
..
..
.
kojoj su svi lanovi potencirani na n, to slijedi
...
...
..
.
...
gdje su i svojstvene vrijednosti matrice Q. Ope rjeenje

t
e 1
0
2 t
0
e
P(t) = eQt = S .
..
..
.
0
0
..
.
ek t
moemo napisati u sljedeem obliku:
...
0
...
0
1
.. S
..
.
.
ek t
...
Rijeimo prethodni primjer na ovaj novi nain.

Pronaimo prijelazne vjerojatnosti Markovljevog lanca kontinuiranog u vremenu s dva
stanja ija je matrica gustoa prijelaza:
b b
Q=
a a
Primjer 4.8
Pronaimo svojstvene vrijednosti matrice Q:
det(I Q) = det
+b
b
a + a
= ( + a)( + b) ab = 2 + (a + b) = [ + a + b] = 0
Svojstvene vrijednosti su 1 = 0, 2 = (a + b). Svojstveni vektori su:

Za 1 = 0,
Q ~e1 = 0 ~e1
~e1 =
Za 1 = (a + b),
Q ~e2 = (a + b) ~e2
Nadalje slijedi:
S=
1
1
1
ab
~e2 =
eDt
Rjeenje je:
1
1
a
a+b
S =
1
0
=
0 e(a+b)t
ab
1
1
ab
1
1
178
a
P(t) =
a+b
1
1
1
ab
ab e(a+b)t
a
a + b b + b e(a+b)t
a
a
0
e(a+b)t
b
a
1 + e(a+b)t
1
1
1 ab e(a+b)t
4.2.5 Opis Markovljevog lanca diferencijalnim jednadbama

Razmatrajmo raunanje vjerojatnosti stanja Markovljevog lanca u proizvoljnom trenutku t > 0. Jedan
nain da izraunamo vjerojatnosti stanja u trenutku t je da izraunamo matricu prijelaznih vjerojatnosti
P(t) i vektor vjerojatnosti stanja p(t) dobijemo pomou jednadbe:
p(t) = P(t)> p(0)
(4.36)
gdje je p(0) razdioba vjerojatnosti stanja u trenutku t = 0. Dobivamo:
>
p(t) = eQt p(0).
Ovaj nain moe biti opravdan ako je mogue dijagonalizirati matricu Q. Meutim, ponekad moramo
rjeavati Markovljeve lance za opi sluaj i u tom sluaju ne moemo primijeniti nikakve numerike
metode za dijagonalizaciju matrice Q. To je naroito neizvedivo u sluaju beskonano velike matrice
Q. U takvim sluajevima je do razdiobe stanja lanca neto lake doi postavljanjem i rjeavanjem
diferencijalnih jednadbi.
Ovdje elimo samo demonstrirati postupak postavljanja diferencijalnih jednadbi jer e nam takav
postupak biti izuzetno koristan u kasnijem razmatranju, kada budemo promatrali beskonane i strukturirane Markovljeve lance u stacionarnom stanju. Pogledajmo sljedei primjer:
Primjer 4.9
Pogledajmo dijagram stanja Markovljevog lanca prikazan na slici 4.13. Odredimo vjeroja-
Slika 4.13: Dijagram stanja trinarnog Markovljevog lanca

tnosti stanja ovog lanca u trenutku t > 0. Moemo razmiljati na sljedei nain. Ako je u trenutku t + h
proces u stanju 0, onda je u trenutku t bio u stanju 0 i nije promijenio stanje, ili je bio u stanju 1 pa je
skoio u stanje 0, ili pak bio u stanju 2 pa je skoio u stanje 0. To moemo zapisati ovako:
p0 (t + h) = p0 (t)[1 0 h + o0 (h)] + p1 (t)1 h + o1 (h) + p2 (t)0 h + o2 (h)

Budui da Landauov simbol opada bre od h, to korekcije oi (h) moemo zamijeniti jednim jedinim o(h),
a da time ne izgubimo tonost jednadbe. Slinim razmatranjem za ostala stanja dobivamo sljedee
jednadbe:
p0 (t + h) = p0 (t)(1 0 h) + p1 (t)1 h + p2 (t)0 h + o( h)
p1 (t + h) = p0 (t)0 h + p1 (t)[1 (1 + 1)h] + p2 (t)2 h + o(h)

p2 (t + h) = p1 (t)1 h + p2 (t)[1 (0 + 2 )h] + o(h)
179
Vidimo da je u svim jednadbama indeks vjerojatnosti pi (t+h) s lijeve strane jednak indeksu vjerojatnosti
pi (t) s desne strane koja mnoi 1. Prebacimo sve takve vjerojatnosti na lijevu stranu, podjelimo sve
jednadbe s h i potraimo limese s lijeve i desne strane kada h tei k nuli:
o( h)
p0 (t + h) p0 (t)
= p0 (t)0 + p1 (t)1 + p2 (t)0 +
/ lim
h0
h
h
o(h)
p1 (t + h) p1 (t)
= p0 (t)0 p1 (t)(1 + 1) + p2 (t)2 +
/ lim
h0
h
h
p2 (t + h) p2 (t)
o(h)
= p1 (t)1 p2 (t)(0 + 2 ) +
/ lim
h0
h
h
nadalje je:
dp0 (t)
= p0 (t)0 + p1 (t)1 + p2 (t)0
dt
dp1 (t)
= p0 (t)0 p1 (t)(1 + 1 ) + p2 (t)2
dt
dp2 (t)
= p1 (t)1 p2 (t)(0 + 2 ).
dt
Tako smo dobili sustav lako rjeivih diferencijalnih jednadbi. Ukoliko pogledamo innitezimalnu
matricu Q:
0
0
0
1
Q = 1 (1 + 1 )
0
2
(0 + 2 )
zakljuujemo da sustav diferencijalnih jednadbi koji smo dobili zadovoljava matrino-vektorsku jednadbu:
p0 (t) = Q> p(t)
(4.37)
odnosno:

0
p00 (t)
p01 (t) = 0
0
p02 (t)
1
0
p0 (t)
p1 (t) .
(1 + mu1 )
2
1
(0 + 2 )
p2 (t)
Jednadba (4.37) koju smo dobili je rezultat diferenciranja jednadbe (4.36):
p(t) = P(t)> p(0) /
d
dt
p0 (t) = P0 (t)> p(0)

>
p0 (t) = [QP(t)] p(0)

p0 (t) = Q> P(t)> p(0)
p0 (t) = Q> p(t)
Za rjeavanje dobivenih diferencijalnih jednadbi trebamo poznavati vektor razdiobe stanja procesa
na poetku - p(0). Poetno stanje je obino poznato, pa emo i u ovom primjeru pretpostaviti da je
proces u poetku u stanju 0, to implicira p0 (0) = 1. Sustav najlake rjeavamo pomou Laplaceove
transformacije4 . Transformirajmo obje strane Laplaceovom transformacijom:
sP0 (s) 1 = P0 (s)0 + P1 (s)1 + P2 (s)0

sP1 (s) 0 = P0 (s)0 P1 (s)(1 + 1 ) + P2 (s)2
sP2 (s) 0 = P1 (s)1 P2 (s)(0 + 2 )
Sreivanjem dobivamo:
P0 (s)(s + 0 ) P1 (s)1 P2 (s)0 = 1

P0 (s)0 + P1 (s)(s + 1 + 1 ) P2 (s)2 = 0
P1 (s)1 + P2 (s)(s + 0 + 2 ) = 0
4 U dodatku A na kraju skripte detaljno je obraena Laplaceova transformacija
180
Na alost, sada nastupaju veliki problemi. Kada rijeimo sustav linearnih jednadbi po nepoznanicama
P0 (s), P1 (s)P2 (s), dobivamo izuzetno kompleksna rjeenja:
P0 (s) =
(0 0 + 1 (0 + 2 )) + (0 + 0 + 1 + 2 )s + s2
s(1 (0 + s) + (1 + s)(0 + 2 + s) + 0 (1 + 0 + 2 + s))
P1 (s) =
0 (0 + 2 ) + s0
s(1 (0 + s) + (1 + s)(0 + 2 + s) + 0 (1 + 0 + 2 + s))
P2 (s) =
0 1
.
s(1 (0 + s) + (1 + s)(0 + 2 + s) + 0 (1 + 0 + 2 + s))
Ovakve jednadbe u opem sluaju teko rjeavamo i kako bismo rjeavanje uinili razumnim, moramo
koristiti odreene matematike alate.
Ovaj postupak demonstrira nain na koji moemo postaviti diferencijalne jednadbe za Markovljev
lanac u opem sluaju. Smisao ovog postupka bit e jasan kad se upoznamo s pojmom stacionarnosti
Markovljevog lanca. Rubni sluaj diferencijalnih jednadbi bit e od izuzetne vanosti pri rjeavanju
problema beskonanih jednostruko povezanih lanaca - procesa raanja i umiranja.
4.2.6 Stacionarnost Markovljevog lanca

Prisjetimo se nakratko primjera 4.8. Na slici 4.14 su prikazani grafovi vjerojatnosti prijelaza za proizvoljno
izabrane vrijednosti parametara a i b.
Slika 4.14: Grafovi prijelaznih vjerojatnosti

Lako je uoiti da prijelazne vjerojatnosti za ovaj primjer konvergiraju odreenim vrijednostima. Prijelazne vjerojatnosti u stanje 0 se asimptotski pribliavaju jednoj vrijednosti, a prijelazne vjerojatnosti
u stanje 1 drugoj vrijednosti. Krivulje prijelaznih vjerojatnosti u funkciji vremena t su glatke funkcije, i
njihova derivacija opada s vremenom i tei k nuli. Ova opaanja vrijede i za opi Markovljev lanac, ali
pod odreenim uvjetima.
Prisjetimo se denicija ireducibilnosti i erogodinosti za Markovljeve lance diskretne po parametru.
Neka iste denicije vrijede i u kontinuiranom obliku. Do njih dolazimo zamjenjujui pojam korak i broj
koraka s vremenom. Vrijedi sljedee svojstvo:
181
Svojstvo 4.6 (Stacionarnost Markovljevog lanca kontinuiranog u vremenu)
Za ireducibilan Markovljev lanac vrijedi sljedee:

1. uvijek postoje limesi:
(4.38)
lim pij (t) = pj 0
i vrijednosti limesa pj ne ovise o poetnom stanju lanca ili razdiobi vjerojatnosti stanja u t = 0,
2. za ergodian i ireducibilan Markovljev lanac postoje limesi:
X
lim pj (t) = lim
pij (t) pi (0) = pj 0
t
(4.39)
i vrijednosti limesa ne ovise o poetnom stanju lanca ili razdiobi vjerojatnosti stanja u t = 0,
3. ukoliko vrijede (4.38) i (4.39) i zadovoljeno je:
X
pj = 1
(4.40)
dpij (t)
= 0.
dt
(4.41)
onda je i
lim
Ovaj teorem ima nekoliko implikacija. Svi ireducibilni Markovljevi lanci imaju sposobnost ulaska u
stacionarno stanje. Stacionarno stanje moemo zamisliti kao stanje procesa u kojem (diskretna) razdioba
stanj
a lanca:
x1 x2 . . . xi . . .
X
p1 p2 . . . pi . . .
ne ovisi o vrijednosti parametra t. Drugim rijeima, ireducibilan lanac u poetku prolazi kroz odreeni
prijelazni period i polako ulazi u stacionarno stanje. Stacionarno stanje odlikuje svojstvo da vjerojatnost
da se lanac nalazi u stanju i ne mijenja u vremenu, da prijelazne vjerojatnosti ne ovise o vremenu i da je
derivacija prijelaznih vjerojatnosti po vremenu jednaka 0.
Budui da je zadovoljen izraz (4.38), to je limes matrice prijelaznih vjerojatnosti matrica iji su reci
> = [
jednaki vektoru stacionarnih vjerojatnosti p
p1 p1 . . .]:
p11 (t) p12 (t) . . . p1j (t) . . .

p1 p2 . . . pj . . .
p21 (t) p22 (t) . . . p2j (t) . . . p1 p2 . . . pj . . .
..
..
..
.. ..
.. . .
..
..
..
.
.
.
.
.
. = .
.
.
.
P = lim P(t) = lim
t
t
pi1 (t) pi2 (t) . . . pij (t) . . . p1 p2 . . . pj . . .
..
..
..
..
..
..
..
.. . .
..
.
.
.
.
.
.
.
.
.
.
Dakle, stacionarne vjerojatnosti Markovljevog lanca moemo iitati iz bilo kojeg retka matrice P(t)
kada t tei u beskonano. Zbroj elemenata bilo kojeg retka jednak je 1. Neka je vektor p(t) vektor
razdiobe vjerojatnosti stanja Markovljevog lanca u trenutku t:
p(t) = P(t)> p(0)
p1 (t)
p2 (t)
..
.
pj (t)
..
.
p11 (t) p21 (t) . . . pi1 (t) . . .

p12 (t) p22 (t) . . . pi2 (t) . . .
..
..
..
..
..
.
.
.
.
.
p1j (t) p2j (t) . . . pij (t) . . .
..
..
..
..
..
.
.
.
.
.
P
Pi pi1 (t) pi (0)

i pi2 (t) pi (0)

..
=
.
P
pj (0)
p
(t)
pi (0)
i ij

..
..
.
.
p1 (0)
p2 (0)
..
.
182
Ako potraimo limes prethodne jednakosti, svi reci matrice P(t) bit e sastavljeni od jednakih elemenata
- pi . Stoga ispred sume koja se javlja u vektoru razdiobe stanja moemo izluiti pj :
X
X
pij (t) pi (0) = pj
pi (0) = pj .
i
| {z }
=1
Slijedi:
p1 (t)
p2 (t)
..
.
lim p(t) = lim

t
t
pj (t)
..
.
p1
p2
..
.

=p
=
.

pj

..
.
Time smo pokazali da je stacionarna razdioba stanja Markovljevog lanca neovisna o razdiobi poetnog
stanja procesa.
Veina problema koji se javljaju u teoriji prometa daju se opisati ireducibilnim Markovljevim lancima.
Ti problemi se daju rijeiti jedino poznavanjem stacionarnih vjerojatnosti stanja procesa. Stoga se nadalje
.
usredotoujemo na izraunavanje vektora stacionarnih vjerojatnosti p
Jedan nain izraunavanja stacionarnih vjerojatnosti je traenjem limesa limt P(t) i iitavanjem
u bilo kojem retku dobivenog limesa. Evo kako bismo stacionarne vjerojatnosti nali za primjer
vektora p
Markovljevog lanca iz primjera 4.8.
Primjer 4.10 (nastavak primjera 4.8)
Pronaimo stacionarne vjerojatnosti traei limes:
= lim P(t)
P
t
= lim P(t) = a
P
t
a+b
1
1

1
1
0
ab
0
0
b
a
1
1
a
=
a+b
ab
ab
1
1
Bilo koji redak dobivene matrice daje nam stacionarne vjerojatnosti:
b
a+b
=
p
a
a+b
Metoda traenja stacionarnih vjerojatnosti traenjem limesa matrice vjerojatnosti prijelaza je sloen
postupak, no u nekim sluajevima moe biti izuzetno koristan. Standardne metode koje se koriste za
traenje stacionarnih vjerojatnosti su metoda rjeavanja sustava linearnih jednadbi i metoda globalne
ravnotee.
4.2.7 Metoda raunanja stacionarnih vjerojatnosti rjeavanjem sustava lineranih jednadbi

Razmatrajmo Kolmogorovljevu jednadbu unaprijed:
P0 (t) = P(t) Q
Potraimo li limes kada t tei u beskonano, lan P0 (t) postaje jednak nul-matrici 0. Dakle, Kolmogorovljeva jednadba za stacionarno stanje procesa postaje jednaka:
Q.
0=P
(4.42)
svi jednaki, jednadbu (4.42) moemo zapisati i u obliku

Budui da su reci matrice P
~0 = Q> p
.
(4.43)
183
gdje je ~0 nul-vektor stupac. Jednadba (4.43) predstavlja sustav linearnih jednadbi

X
qij pj = 0
(4.44)
s nepoznanicama pj . Sustav jednadbi je homogen, pa ovim jednadbama dodajemo jednadbu:

X
pj = 1
j
ime sustav postaje netrivijalno rjeiv. Demonstrirajmo ovu metodu sljedeim primjerom:
Zadan je Markovljev lanac dijagramom stanja na slici 4.15. Potrebno je izraunati stacionarne vjerojatnosti stanja lanca.
Primjer 4.11

Matrica gustoa prijelaza je:
2
Q= 4
5
2
7
0
0
3
5
Iz (4.44) proizlazi sljedei sustav linearnih jednadbi:
2
p0 + 4
p1 + 5
p2 = 0
2
p0 7
p1 + 0
p2 = 0
0
p0 + 3
p1 5
p2 = 0
Dobiveni sustav jednadbi je homogen, pa jednu od jednadbi zamjenjujemo jednadbom
p0 + p2 + p2 = 1
Mogui konani sustav linearnih jednadbi je:
1
p0 + 1
p1 + 1
p2 = 1
2
p0 7
p1 + 0
p2 = 0
0
p0 + 3
p1 5
p2 = 0
Ovaj sustav rjeavamo Gauss-Jordanovom metodom eliminacije ili Cramerovom metodom.
1. Gauss-Jordanova metoda:
2
0
2. Cramerova metoda:
1 1
1 0
7 0 0 = . . . = 0 1
3 5 0
0 0
1
D= 2
1
7
3
0 = 51
35
51
10
51
2
17
184
D0 = 0
1
7
3
p0 =
0 = 35,
5
D0
35
=
,
D
51
D1 = 2
0
p1 =
1
0
0
0 = 10,
D1
10
=
,
D
51
p2 =
D2 = 2
1
7
3
0 =6
D2
6
2
=
=
D
51
17
Metoda raunanja stacionarnih vjerojatnosti sustavom linearnih jednadbi je povoljna samo ukoliko
imamo Markovljeve lance s konanim, relativno malim brojem stanja. Ukoliko se pojavi problem rjeavanja Markovljevog lanca s beskonanim brojem elemenata, metoda sa sustavom linearnih jednadbi je
gotovo beskorisna i moramo pronai druge naine. Jedan od naina rjeavanja ovog problema je postavljanjem jednadbi globalne ravnotee.
4.2.8 Jednadbe globalne ravnotee

Promotrimo jo jednom dijagram stanja iz prethodnog primjera (slika 4.16).

Zamislimo da su stanja dijagrama vorovi u mrei, a grane tokovi podataka. U stacionarnom stanju
(stanju ravnotee) tok koji ulazi u vor mora biti jednak toku koji izlazi iz vora. To je svojstvo globalne
ravnotee. Tok odgovara umnoku intenziteta i stacionarne vjerojatnosti stanja iz kojeg tok izlazi. Tok
tako moemo zamisliti kao efektivni intenzitet.
Za stanja 0, 1 i 2 moemo napisati sljedee jednadbe ravnotee :
2
p0 = 4
p1 + 5
p2 ,
(4 + 3)
p1 = 2
p0 ,
5
p2 = 3
p1 ,
stanje 0
stanje 1
stanje 2
Moemo uoiti da ove jednadbe u potpunosti odgovaraju sustavu linearnih jednadbi kojeg smo dobili rjeavajui Kolmogorovljevu jednadbu u prethodnom primjeru. Dakako, to nije sluajno. Princip
globalne ravnotee vrijedi openito, za sve Markovljeve lance. Taj nam princip omoguava postavljanje
sustava linearnih jednadbi neposredno iz dijagrama stanja Markovljevog lanca. Jednadbe koje dobivamo su homogene pa ih, kao i prije, nadopunjujemo jednadbom
pi = 1.
Jednadbe globalne ravnotee se postavljaju jednostavno, no njihovo rjeavanje je pitanje strukturiranosti Markovljevog lanca. Sljedei primjer demonstrira sluaj povoljno strukturiranog lanca.
Razmatrajmo lanac koji opisuje broj realiziranih poziva na pretplatnikom stupnju centrale. Uz uvjet da je broj pretplatnika jako velik, dolazni proces zahtjeva za uspostavu poziva se moe
aproksimirati Poissonovim procesom. Lanac se moe opisati dijagramom na slici 4.17.
Primjer 4.12
185
Slika 4.17: Uz primjer 4.12
Postavimo jednadbe globalne ravnotee za ovaj lanac:
p0 = p1
( + )p1 = p0 + 2p2
( + 2)p2 = p1 + 3p3
..
.
( + k)pk = pk1 + (k + 1)pk+1
..
.
Uoimo da je lijeva strana prve jednadbe jednaka prvom lanu desne strane druge jednadbe. Druga
jednadbe se transformira u
p1 = 2p2
Ponavljajui ovaj postupak zakljuujemo da se sve jednadbe transformiraju u
pk = (k + 1) pk+1 .5
Dalje slijedi:
pk = (k + 1) pk+1
pk+1 =
pk
(k + 1)
Da bismo rijeili ovaj sustav moramo pronai opi izraz za pk . Sukcesivnim uvrtavanjem dobivamo:
k
pk =
p0
k!
Vrijednost p0 saznajemo iz jednadbe
pk = 1
i=0
e p0 = 1
i=0
Funkcija vjerojatnosti stanja lanca je:
p0 =
p0 = 1
k!
k
pk =
k!
4.2.9 Vjerojatnosti skokova izmeu stanja Markovljevog lanca

U 4.2.3 smo vidjeli da se vrijeme ostanka Markovljevog procesa u stanju i ravna po eksponencijalnoj
razdiobi s parametrom qii . Koristei ovu injenicu, s lakoom moemo modelirati ostanak u istom
stanju za bilo kakav lanac. Problem nastupa kada istekne vrijeme za kojeg proces boravi u istom stanju.
U tom trenutku proces mijenja stanje, a na je zadatak da odredimo budue stanje. Poto je razdioba
186
Slika 4.18: Vjerojatnost skoka iz stanja xi u stanje xj
vjerojatnosti po stanjima openito nejednolika, moramo izraunati vjerojatnost skoka lanca iz trenutnog
stanja u novo stanje.
Promotrimo dio trajektorije Markovljevog lanca prikazan na slici 4.18. Budui da budue stanje
Markovljevog procesa ovisi samo o trenutnom, ovaj lanac moemo poeti promatrati upravo u trenutku
promjene njegovog stanja. Vrijeme poetka promatranja po svojstvu odsustva pamenja ne utjee na
konani ishod procesa, pa moemo promatrati kratki period h s poetkom u trenutku promjene stanja
i potraiti prijelaznu vjerojatnost iz stanja xi u kojem se proces nalazi u trenutku h = 0 u neko drugo
stanje xj . Jasno je da proces ne moe ponovno prijei u isto stanje jer bi to znailo da proces u trenutku
h = 0 uope ne mijenja stanje, to je u suprotnosti s pretpostavkom. Budui da nas zanima stanje procesa
u trenutku h, gdje h 0, moramo potraiti limes prijelazne vjerojatnosti kada h tei k 0. Oznaimo
stanje procesa u trenutku h s X(h), a mogua stanja procesa s xk . Moemo napisati sljedee:
pij = lim P [X(h) = xj | X(0) = xi xi 6= xj ] =

h0
P [X(h) = xj X(0) = xi xi 6= xj ]
=
h0
P [X(0) = xi xi 6= xj ]
P [X(h) = xj xi 6= xj |X(0) = xi ] P [X(0) = xi ]
= lim
=
h0
P [xi 6= xj | X(0) = xi ] P [X(0) = xi ]
P [X(h) = xj xi 6= xj |X(0) = xi ]
= lim
=
h0
1 P [X(h) = xi | X(0) = xi ]
pij (h)
qij h + o(h)
= lim
= lim
= qii =
qij =
h0 1 pii (h)
h0 1 (1 + qii + o(h))
i, i6=j
= lim
qij + o(h)
qij
qij h + o(h)
h
= lim
= , i 6= j
h0 q + o(h)
h0 qii h + o(h)
qii
ii
= lim
Dakle, vjerojatnost skoka Markovljevog lanca iz stanja xi u stanje xj u trenutku promjene stanja je:
pij =
qij
, i 6= j
qii
(4.45)
Koristei injenicu da je vrijeme koje Markovljev lanac provodi u istom stanju raspodijeljeno eksponencijalno i poznavajui vjerojatnosti skokova moemo s lakoom (npr. u diskretnom simulatoru)
modelirati bilo kakav Markovljev lanac.
5 Jednadbe ovog oblika zovemo jednadbe lokalne ravnotee
4.3. PROCESI RAANJA I UMIRANJA
187
4.3 Procesi raanja i umiranja

4.3.1 Procesi raanja
Prisjetimo se matrice gustoa prijelaza Q za Poissonov
a gustoa ostanka u istom stanju je :
Q= 0
0
..
..
.
.
proces. Gustoa prijelaza u prvo vie stanje je ,
0 ...
...
. . .
..
..
.
.
Rekli smo da gustou prijelaza qij moemo shvatiti kao intenzitet prijelaza. Za Poissonov proces
intenzitet prijelaza ostaje konstantan bez obzira u kojem se stanju proces nalazio. Dopustimo sada da je
intenzitet prijelaza u vie stanje funkcija stanja u kojem se proces nalazi. Proces koji ima svojstvo da mu
gustoa prijelaza u prvo vie stanje ovisi o stanju i uvijek je pozitivna zovemo proces raanja. Procesi
raanja su posebna klasa Markovljevih lanaca u kojima je doputen jedino prijelaz iz trenutnog stanja n
u prvo vie stanje n + 1.
Tipian proces raanja je proces mnoenja bakterija. Kada imamo samo jednu bakteriju, onda se
odreenim intenzitetom ona podijeli na dvije bakterije. Kada imamo dvije bakterije, tj. kada smo u
stanju 2, onda se intenzitet raanja novih bakterija poveao. Intenzitet raanja raste s poveanjem
broja bakterija.
Openito moemo zapisati da je vjerojatnost realizacije k dogaaja u nekom malom vremenskom
intervalu h procesa raanja jednaka
j i = 1,
j1 h + o(h)
[t,t+h]
o(h)
j i 2,
pi,j
= pk (h) = P (X(t + h) = j|X(t) = i) =
1 j h + o(h)
j=i
Iz diferencijskih oblika za Chapman-Kolmogorovljevu jednadbu direktno dobivamo matricu gustoa prijelaza Q.
0 0
0
... 0 ...
0
1 1 . . . 0 . . .
..
..
..
..
..
.
. . ...
.
Q= .
...
0
n n 0 . . .
..
..
..
..
.. . .
.
.
.
.
.
.
Razmotrimo problem nalaenja vjerojatnosti prijelaza ovog procesa. Zasigurno bi bilo teko upotrijebiti matrino rjeenje za Kolmogorovljevu jednadbu unaprijed. Bilo bi potrebno nai svojstvene vrijednosti i svojstvene vektore beskonane kvadratne matrice. Bolje je potraiti opi lan Kolmogorovljeve
jednadbe i rijeiti ga kao diferencijalnu jednadbu.
Prisjetimo se da je opi lan Kolmogorovljeve jednadbe:
X
p0ij (t) =
pik (t) qkj
k
Slijede dvije jednadbe:
p0ij (t) = pi(j1) (t) j1 pij (t) j , j 6= i

p000 (t) = 0 p00 (t)
Denirajmo da je proces u trenutku t = 0 bio u stanju 0 i nadalje promatrajmo vjerojatnosti prijelaza
iz tog inicijalnog stanja u neko stanje n u buduem trenutku t. Uvedimo preoznaku:
p0n (t) = pn (t)

Gornje dvije jednadbe postaju:
188
p0n (t) = n pn (t) + n1 pn1 (t),

p00 (t) = 0 p0 (t)
To je diferencijalno-rekurzivni sustav jednadbi. Teina rjeavanja takvog sustava ovisi o zakonitosti
rasta parametara s n. Obino je sustav rjeiv za n = 0 i n = 1, a opi lan se trai indukcijom.
Stacionarne vjerojatnosti se mogu izraunati samo u nekim specijalnim sluajevima. U opem sluaju
se ne moe tvrditi da ovakav lanac ima stacionarne vjerojatnosti zato to lanac nije ireducibilan.
4.3.2 Procesi raanja i umiranja

Procesi raanja su oni procesi kod kojih je intenzitet (gustoa) prijelaza u vie stanje vei od 0, i svi
ostali intenziteti jednaki 0. Uvedimo sada mogunost da Markovljev proces moe iz nekog stanja n prei
u prvo nie stanje - n 1. Neka je gustoa takvog prijelaza takoer funkcija stanja. Oznaimo je s n .
Procesi koji imaju takvo svojstvo zovu se procesi raanja i umiranja.
Proces raanja i umiranja je poseban je sluaj Markovljevog lanca. U takvom Markovljevom lancu
doputeni su prijelazi samo u susjedna stanja, via ili nia. Procesi raanja i umiranja se pokazuju kao
izvrsni modeli za prouavanje elementarne teorije posluivanja.
Promatrajmo odreenu populaciju nekakvih entiteta. To mogu biti ljudi nekog grada ili ATM elije u
nekom repu ekanja. Broj ljudi/elija neka predstavlja stanje procesa. Stanja obiljeavamo s En gdje n
oznaava veliinu populacije. Doputeni su prijelazi samo u susjedna stanja, tj. u jednom trenutku proces
iz stanja En moe prei samo u En+1 ili En1 . Prijelaz u prvo vie stanje zovemo raanje, a prijelaz u
prvo nie stanje zovemo umiranje.
Uvedimo dva nova pojma: intenzitet raanja (birth rate ) n i intenzitet umiranja (death rate ) n .
Oba intenziteta su vezana uz stanje sustava. Ako je intenzitet raanja vei od intenziteta umiranja, onda
populacija raste. Naravno, vrijedi i obrnuto.
Za proces raanja i umiranja prijelazna vjerojatnost iz stanja i u trenutku t u stanje j u trenutku
t + h moemo denirati slino kao i za Poissonov proces:
j1 h + o(h)
j =i+1
o(h)
j i + 2, j i 2
pij (h) = P (X(t + h) = j|X(t) = i) =
j+1 h + o(h)
j =i1
1 (j + j )h + o(h)
j=i
Ako je veliina populacije 0, onda nema umiranja u populaciji, pa shodno
0 = 0. Ekvivalentna matrica gustoe prijelaza je:
0
0
0
0 0
0
1 (1 + 1 )
0
0
0
(
+
.
.
.
0
0
2
2
2
2
..
..
..
..
.
..
.
Q=
..
..
.
.
.
.
.
0
0
0
0
.
.
.
(
+ n )
n
n
..
..
..
..
..
..
..
.
.
.
.
.
.
.
tome deniramo da je
0
0
0
..
.
n
..
.
...
...
..
.
Ukoliko nam je poznata ovakva matrica, rjeenja za prijelazne vjerojatnosti nalazimo pomou Kolmogorovljeve jednadbe unaprijed. Ope rjeenje eQt nije primjenjivo zbog nemogunosti dijagonalizacije
ovakve matrice. Zbog toga postavljamo opi sustav diferencijalno-rekurzivnih jednadbi. Rjeenje je
mogue ishoditi samo ukoliko nam je poznata funkcijska ovisnost intenziteta raanja i umiranja o stanju
lanca. Do diferencijalno-rekurzivne relacije dolazimo na sljedei nain:
p0,n (t + h) = p0,n (t) P (nema raanja niti umiranja u h)+

+ p0,n1 (t) P (dogodilo se jedno raanje u h)+
+ p0,n+1 (t) P (dogodilo se jedno umiranje u h)+
+ P (dogodila su se 2 ili vie raanja ili umiranja u h, a novo stanje je i + n)
Uvedemo li kao i prije preoznaku p0,n (t) = pn (t) , slijedi
189
pn (t + h) = pn (t)[1 (n + n )h] + pn1 (t)n1 h + pn+1 (t)n+1 h + o(h)

pn (t + h) pn (t) = pn (t)(n + n )h + pn1 (t)n1 h + pn+1 (t)n+1 h + o(h) / : h, limh0
p0n (t) = pn (t)(n + n ) + pn1 (t)n1 + pn+1 (t)n+1
Slino dobivamo:
p00 (t) = 0 p0 (t) + 1 p1 (t)
Prisjetimo se sada rasprave u 4.2.5. Tamo smo ustanovili da rjeavanje diferencijalnih jednadbi u
opem sluaju nema prevelikog smisla budui da dobivamo ekstremno komplicirana rjeenja. Tako je i s
rjeavanjem gore izvedenih diferencijalnih jednadbi.
Jedino to ima smisla je traiti stacionarne vjerojatnosti. Njih nalazimo na taj nain to pretpostavimo
da su sve derivacije u limesu kad t jednake 0:
lim p0n (t) = 0.
Na ovaj nain gornje diferencijalne jednadbe moemo preurediti u obine rekurzivne jednadbe koje
rjeavaju problem stacionarnih vjerojatnosti procesa raanja i umiranja:
pn (n + n ) = pn1 n1 + pn+1 n+1

0 p0 = 1 p1
(4.46)
Opi dijagram stanja procesa raanja i umiranja je prikazan na slici 4.19.
Slika 4.19: Dijagram stanja procesa raanja i umiranja

Moemo povezati logiku pisanja stacionarnih rekurzivnih jednadbi s ovim dijagramom: stacionarna
vjerojatnost stanja kojeg promatramo pomnoena s intenzitetom koji izlazi iz stanja (izlazni tok) jednaka
je zbroju umnoaka stacionarnih vjerojatnosti stanja iz kojih se dolazi u promatrano stanje i intenziteta
tih dolazaka (ulazni tokovi). Dakle, dobivene jednadbe su jednadbe globalne ravnotee. Kod ovakvih
problema jednadbe redovito postavljamo globalnom ravnoteom ili limesom diferencijalnih jednadbi.
Izvoenje jednadbi iz matrice Q esto rezultira pogrekama. Ope rjeenje ovih jednadbi ovisi o funkcijama n i n .
Demonstrirajmo ovaj postupak sljedeim primjerom:
Zadan je proces raanja i umiranja dijagramom na slici 4.20. Pronaimo stacionarne
vjerojatnosti stanja pj .
Primjer 4.13
Slika 4.20: Dijagram stanja procesa raanja i umiranja uz primjer 4.13
190
Moemo postaviti jednadbe globalne ravnotee ili moemo postaviti diferencijalno-rekurzivne jednadbe, pa potraiti limes kad t ide u beskonano. Odluimo se za diferencijalno-rekurzivne jednadbe
kako bismo utvrdili postupak.
pk (t + h) = pk1 (t) [kh + o(h)] + pk+1 (t) [(k + 1)h + o(h)] + pk (t) {1 [k + (k + 1)] h + o(h)} .
Podijelimo obje strane s h:
o(h)
o(h)
o(h)
pk (t + h) pk (t)
= pk1 (t) k +
+ pk+1 (t) (k + 1) +
pk (t) k + (k + 1) +
h
h
h
h
i potraimo limes kad h tei k nuli:
p0k (t) = pk1 (t) k + pk+1 (t) [(k + 1)] pk (t) [k + (k + 1)]
Slino dobivamo i za nulto stanje:
p00 (t) = p0 (t) + p1 (t)
Potraimo li limes kada t tei k beskonano, dobivamo jednadbe globalne ravnotee:
pk (k + (k + 1)) = pk1 k + pk+1 [(k + 1)]

p0 = p1
Dakle, moramo rijeiti sustav jednadbi:
p0 = p1
(2 + )p1 = p0 + 2p2
(3 + 2)p2 = 2p1 + 3p3
..
.
[(k + 1) + k] pk = kpk1 + (k + 1)pk+1
..
.
Ovaj sustav rjeavamo rekurzivno, uvrtavajui rjeenje prve jednadbe u drugu, pa rjeenje druge u
treu itd. Na kraju sva rjeenja zbrojimo i izjednaimo s 1, te dobijemo funkciju vjerojatnosti stanja
lanca. Sukcesivnim uvrtavanjem dobivamo:
k
p0
pk =
Vrijednost p0 saznajemo iz jednadbe
pk = 1
k=0
k
k=0
p0 = 1
Kako bi red konvergirao, mora biti zadovoljeno:
<1
p0
=1
1
p0 = 1
Funkcija vjerojatnosti stanja lanca je:
pk =
1
.
191
Dakle, stacinarna razdioba stanja u ovom primjeru se ravna po geometrijskoj razdiobi. Moramo uoiti
da su stacionarne vjerojatnosti ovog procesa uvjetovane s / < 1. Razlog zato se postavlja ovaj uvjet
je neergodinost lanca u opem sluaju. Ovaj lanac je pozitivno rekurentan (a time i ergodian) samo uz
zadani uvjet.
Procesi raanja i umiranja kako smo ih denirali imaju beskonaan broj stanja. Meutim, u brojnim
primjenama je broj stanja ogranien. Takve lance zovemo odsjeenim procesima raanja i umiranja. Za
njih vrijede isti principi koji vrijede i za regularne procese raanja i umiranja. Jedina je iznimka ta to
postoji najvie stanje i to za njega posebno postavljamo jednadbu globalne ravnotee, jednako kao i za
nulto stanje.
4.3.3 Viedimenzionalni lanci raanja i umiranja,

jednadbe lokalne ravnotee
Razmatrajmo proces uspostavljanja i raskida video veza kroz odreeni link kapaciteta 50 Mb/s. Uspostavljaju se dva tipa veza: A i B. Veze tipa A rezerviraju 15 Mb/s prijenosnog pojasa linka, a veze
tipa B rezerviraju 10 Mb/s. Dolazak zahtjeva za uspostavu veze za svaku vrstu posebno se moe opisati
Poissonovim procesom. Intenzitet dolaska zahtjeva za tip A je 1 , a za tip B je 2 . Intenzitet raskida veza
za tip A je n1 gdje je n broj uspostavljenih veza tipa A, a za tip B je k2 gdje je k broj uspostavljenih
veza tipa B.
Naoigled se radi o dva neovisna procesa raanja i umiranja. To bi bila istina samo kada bi kapacitet
linka bio beskonaan. Budui da je kapacitet ogranien, moe se uspostaviti samo onoliko veza odreenog
tipa koliko je raspoloivo kapaciteta. Mogu se uspostaviti maksimalno 3 veze tipa A i 5 veza tipa B. Ako
su uspostavljene 2 veze tipa A, onda tip B ima na raspolaganju maksimalno 20 Mb/s, odnosno dovoljno
prijenosnog pojasa za 2 veze.
Na taj nain procesi raanja i umiranja za veze tipova A i B se ne mogu promatrati odvojeno. Procesi
jedan drugom kradu raspoloiv prijenosni pojas. Oni na taj nain moduliraju broj raspoloivih stanja
svakog od procesa.
Ako nas zanima razdioba vjerojatnosti broja uspostavljenih veza za svaki od tipova A i B, onda ove
odsjeene i modullirane procese moramo promatrati zajedno. Na slici 4.21 je prikazan dijagram stanja
koji opisuje na problem.
Svako stanje procesa je opisano s dva indeksa: i i j . Indeks i se odnosi na broj uspostavljenih veza tipa
A, a j se odnosi na broj uspostavljenih veza tipa B. Lako je uoiti da nema onih stanja za koje bi ukupni
rezervirani prijenosni pojas bio vei od kapaciteta linka. Na primjer, nema stanja (1, 4) jer bi ukupni
potrebni prijenosni pojas trebao biti 55 Mb/s, to je vee od kapaciteta 50 Mb/s. Ovakvu strukturu
zovemo dvodimenzionalni Markovljev lanac ili dvodimenzionalni proces raanja i umiranja. Razlog za
takav naziv je mogunost raanja i umiranja po dvije dimenzije, po dimenziji tipa A i dimenziji tipa B.
Dakle, razmatramo odreeni Markovljev lanac s 14 stanja i odreenim intenzitetima prijelaza izmeu
stanja, a elimo odrediti stacionarne vjerojatnosti svakog od 14 stanja. Stacionarne vjerojatnosti sigurno
postoje jer je lanac ireducibilan, tj. iz svakog stanja se uz odreeni broj prijelaza moe stii u bilo
koje drugo stanje. Stacionarne vjerojatnosti stanja izraunavamo iz sustava jednadbi koje postavimo za
promatrani lanac. Najlake je to napraviti pomou jednadbi globalne ravnotee.
Prisjetimo se kako se postavljaju jednadbe globalne ravnotee. Promatrajmo stanje koje ima sva
etiri susjedna stanja (npr. stanje (1, 2) ili (1, 1)). Stacionarna vjerojatnost takvog stanja pomnoena s
ukupnim intenzitetom izlaska iz tok stanja jednaka je zbroju stacionarnih vjerojatnosti susjednih stanja
pomnoenih s intenzitetom dolaska u promatrano stanje (slika 4.22). U naem sluaju, za stanje (i, j) sa
sva etiri susjedna stanja moemo postaviti sljedeu jednadbu globalne ravnotee:
pi,j (1 + 2 + i1 + j2 ) = pi+1,j (i + 1)1 + pi,j+1 (j + 1)2 + pi1,j 1 + pi,j1 2
(4.47)
Ukoliko se radi o stanju koje nema sva etiri susjedna stanja, onda shvaamo da su intenziteti prijelaza
prema tim stanjima i od tih stanja jednaka 0, tako da uz taj dogovor jednadba (4.47) vrijedi u opem
sluaju.
Prisjetimo se sada izreke teorema o egzistenciji stacionarnih stanja. Po tom teoremu ako je lanac
ireducibilan, onda postoji razdioba stacionarnih vjerojatnosti i ona je jedinstvena. Dakle, ako neka
192
Slika 4.21: Dvodimenzionalni Markovljev lanac
Slika 4.22: Stanje (i, j) za koje se postavlja jednadba globalne ravnotee
razdioba zadovoljava sve jednadbe globalne ravnotee, onda je to traena jedinstvena razdioba. Ako
paljivije pogledamo izraz (4.47), uoavamo da za svaki pribrojak na desnoj strani postoji odgovarajui
pribrojak na lijevoj strani. Ukupno postoje etiri takva para:
pi,j 1 = pi+1,j (i + 1)1

pi,j 2 = pi,j+1 (j + 1)2
pi,j i 1 = pi1,j 1
(4.48)
pi,j j 2 = pi,j1 2
Kada zbrojimo ove jednadbe, opet dobivamo poetnu jednadbu globalne ravnotee. Sada je bitno
primijetiti da razmatramo ireducibilan Markovljev lanac, i da su rjeenja pi,j , pi+1,j , pi1,j , pi,j+1 i
193
pi,j1 jedinstvena. Dakle, ako uspijemo nai rjeenje za sustav jednadbi (4.48), onda ista rjeenja
zadovoljavaju i jednadbu (4.47). Budui da su rjeenja koja zadovoljavaju sustav jednadbi globalne
ravnotee stacionarne vjerojatnosti stanja Markovljevog lanca, to su i rjeenja sustava svih jednadbi
(4.48) stacionarne vjerojatnosti stanja Markovljevog lanca. Jednadbe (4.48) zovemo jednadbe lokalne
ravnotee.
Jednadbe lokalne ravnotee su glavni alat u rjeavanju sloenih uravnoteenih Markovljevih lanaca
i mrea Markovljevih lanaca. Njih emo iscrpno koristiti u svim narednim poglavljima i pomou njih
pokazati veliki broj izuzetno korisnih svojstava sustava s posluivanjem. Glavni doprinos jednadbi
lokalne ravnotee je taj to sustav sloenih jednadbi globalne ravnotee pretvara u sustav manjih, znatno
jednostavnijih jednadbi.
Prije nego to ih ponemo koristiti, moramo znati gdje ih moemo koristiti. Naime, jednadbe lokalne
ravnotee se ne mogu postaviti za sve Markovljeve lance. Jednadbe lokalne ravnotee se mogu postaviti
samo onda kada one neposredno slijede iz jednadbe globalne ravnotee. Kroz sljedea poglavlja ukazivat
emo na ope sluajeve kada moemo napisati jednadbe lokalne ravnotee. Za sada moemo konstatirati
da ih moemo redovito pisati za ireducibilne lance raanja i umiranja.
Jednadbe lokalne ravnotee je trivijalno napisati i onaj tko rjei jednadbe lokalne ravnotee, rijeio
je problem stacionarnih vjerojatnosti Markovljevog lanca. Jednadbu lokalne ravnotee u viedimenzionalnim procesima raanja i umiranja postavljamo na sljedei nain. Uoimo par susjednih stanja, i i j
(slika 4.23).
Slika 4.23: Postavljanje jednadbe lokalne ravnotee

Lijevi dio jednadbe je jednak umnoku stacionarne vjerojatnosti stanja i i intenziteta prijelaza u
stanje j : pi qij . Slino, desni dio jednadbe je jednak umnoku stacionarne vjerojatnosti stanja j i
intenziteta prijelaza u stanje i: pj qji .
pi qij = pj qji
(4.49)
Vratimo se natrag naem primjeru i napiimo jednadbe lokalne ravnotee:
p00 1
p01 1
p02 1
p03 1
= p10 1
= p11 1
= p12 1
= p13 1
p10 1 = p20 21
p11 1 = p21 21
p12 1 = p22 21
p20 1 = p30 31
p00 2 = p01 2
p10 2 = p11 2
p20 2 = p21 2
p01 2 = p02 22
p11 2 = p12 22
p21 2 = p22 22 .
p02 2 = p03 32
p12 2 = p13 32
Dodatno mora biti zadovoljeno
XX
i
p03 2 = p04 42
p04 2 = p05 52
pij = 1.
Dakle, dobili smo sustav od 18 + 1 jednostavnih jednadbi. Da smo postavljali jednadbe globalne
ravnotee, imali bismo 15 + 1 jednadbu, no oblik jednadbi bi bio sloen. Problem koji preostaje je
kako rijeiti ovakav sustav jednadbi. Evo jednog od naina. Neka je:
a1 =
1
1
a2 =
2
.
2
Jednadbe sada moemo napisati u sljedeem obliku:
p00
p01
a1
1
a1
1
..
.
= p10
p10
= p11
p11
a1
2
a1
2
= p20
= p21
p20
a1
3
= p30
194
Sukcesivnim uvrtavanjem jednadbi po retku slijeva, dobivamo sljedei sustav jednadbi:
p10 =
a1
00
1! p
p20 =
a21
00
2! p
p11 =
a1
01
1! p
p21 =
a21
01
2! p
p12 =
a1
02
1! p
a1
03
1! p
p22 =
a21
02
2! p
p13 =
p01 =
p11 =
p21 =
a2
00
1! p
a2
1! p10
a2
20
1! p
p30 =
a31
3! p00
(4.50)
p02 =
p12 =
p22 =
a22
2!
a22
2!
a22
2!
p00
p03 =
p10
p13 =
a32
3!
a32
3!
p00
p04 =
a42
4!
p05 =
a52
5!
p00
p10
p20
Primijetimo da se sve vjerojatnosti mogu pokazati u funkciji od p00 ! To svojstvo emo iskoristiti na taj
nain da emo izraunati vrijednost od p00 i neposredno dobiti sve ostale vjerojatnosti. p00 dobivamo iz
uvjeta da zbroj svih stacionarnih vjerojatnosti mora biti jednak 1.
1=
3
X
i=0
pi0 +
2
X
i=0
pi1 +
2
X
i=0
pi2 +
1
X
pi3 +
i=0
5
X
p0j +
j=0
3
X
p1j +
j=0
2
X
p2j =
j=0
2
2
1
5
3
2
3
X
ai1 a02 X ai1 a12 X ai1 a22 X ai1 a32 X ai2 a01 X ai2 a11 X ai2 a21
+
+
+
+
+
+
= p00
i! 0!
i! 1!
i! 2!
i! 3! j=0 i! 0! j=0 i! 1! j=0 i! 2!
i=0
i=0
i=0
i=0
p1
00 =
X ai aj
1 2
i! j!
(i,j)S
gdje je S skup svih doputenih indeksa stanja:
S = {(0, 0), (1, 0), (2, 0), (3, 0), . . . , (1, 3), (0, 4), (0, 5)}
Stacionarne vjerojatnosti dobivamo uvrtavajui rjeenje za p00 u (4.50). Ako paljivije razmotrimo
sustav (4.50) dobit emo i univerzalni izraz za raunanje stacionarnih vjerojatnosti:
ai1 aj2
i! j!
pij =
X ai aj
1 2
i! j!
(4.51)
(i,j)S
Izraz (4.51) se u literaturi zove rjeenje u produktnoj formi (product-form solution ) za dvodimenzionalni
sluaj.
Izraunali smo stacionarne vjerojatnosti i postavljamo pitanje to s njima? Odgovor na to pitanje ovisi
o problemu koji se istrauje. Na primjer, koristei stacionarne vjerojatnosti stanja moemo izraunati
prosjeno zauzee linka. Trenutno zauzee linka raunamo prema izrazu:
O(i, j) = 10i + 15j

Prosjeno zauzee dobivamo kao oekivanje funkcije O(i, j). Budui da je razdioba vjerojatnosti stanja
koju smo dobili dvodimenzionalna, oekivanje raunamo prema izrazu:
X
X
=
E [O(i, j)] = O
O(i, j)
pij =
(10i + 15j)
pij
(i,j)S
(i,j)S
Takoer moemo izraunati vjerojatnost blokiranja uspostave veze. Ta je vjerojatnost jednaka zbroju
vjerojatnosti da se lanac nae u stanju koje je blokirajue. Na primjer, stanje (0, 5) je blokirajue za
obje vrste veza zato to je to stanje kada u linku nema slobodnog prijenosnog pojasa. Stanje (0, 4)
4.4. ZADACI ZA VJEBU
195
je blokirajue za veze tipa A, ali ne i za tip B. Vjerojatnost blokiranja za tip A dobivamo zbrajajui
stacionarne vjerojatnosti za stanja koja su blokirajua za tip A. To su stanja:
KA = {(0, 5), (0, 4), (1, 3), (2, 2), (2, 1), (3, 0)}
Za tip B su to stanja:
KB = {(0, 5), (1, 3), (2, 2), (3, 0)}

Vjerojatnosti blokiranja uspostave veze za tipove A i B su:
X
P (A) =
pi,j
P (B) =
(i,j)KA
pi,j
(i,j)KB
Pojam jednadbe lokalne ravnotee je najvredniji alat u analizi sustava posluivanja. Kako emo
vidjeti u narednim poglavljima, sustavi posluivanja i mree takvih sustava se redovito mogu opisati
procesima raanja i umiranja. Stoga ovaj matematiki aparat treba shvatiti kao bazino znanje bez kojeg
neemo moi izraunati vrijednosti prometnih parametara koji nas budu zanimali.
4.4 Zadaci za vjebu

4.4.1 Markovljevi lanci s diskretnim parametrom
Koristei metodu spektralne dekompozicije pronaite stacionarne vjerojatnosti Markovljevog lanca s dva stanja ija je matrica prijelaznih vjerojatnosti
0.5 0.5
.
P=
0.6 0.4
Zadatak 4.1
Koristei metodu dijagonalizacije matrice izraunajte stacionarne vjerojatnosti Markovljevog procesa s dva stanja ija je matrica prijelaznih vjerojatnosti
0.6 0.4
P=
.
0.5 0.5
Zadatak 4.2
Promatrajte binarni izvor kod kojeg je vjerojatnost prijelaza iz stanja 1 u stanje 0 1/3, a
vjerojatnost prijelaza iz 0 u 1 2/3. Izraunajte stacionarne vjerojatnosti za ovaj binarni izvor.
Zadatak 4.3
Zadatak 4.4
Izraunajte n-tu potenciju matrice P koristei metodu dijagonalizacije.
1a
a
P=
.
b
1b
Zadatak 4.5
Izraunajte n-tu potenciju matrice P koristei metodu spektralne dekompozicije.
1a
a
P=
.
b
1b
Prijenosni kanal uspostavljen je kroz 3 neovisna serijski spojena prijenosna sustava. Vjerojatnost pogreke bita na svakom od prijenosnih sustava za promatrani kanal je 0.01. Izraunajte vjerojatnost pogreke bita s kraja na kraj prijenosnog kanala.
Zadatak 4.6
196
Zadatak 4.7
vjerojatnosti

Binarni izvor se u poetku (nultom koraku) nalazi u stanju 1. Ako je matrica prijelaznih
P=
1a
a
b
1b
izraunajte vjerojatnost da se izvor nakon 5-tog koraka nalazi u stanju 1.

Zadatak 4.8
stanja
Neka je matrica vjerojatnosti prijelaza Markovljevog lanca s diskretnim parametrom i dva
P=
1
0
1/2 1/2
Izraunajte stacionarne vjerojatnosti ovog procesa rjeavanjem sustava linearnih jednadbi.

Zadatak 4.9
stanja
Neka je matrica vjerojatnosti prijelaza Markovljevog lanca s diskretnim parametrom i dva
P=
0 1
1 0
Izraunajte stacionarne vjerojatnosti ovog lanca. Kako objanjavate dobiveni rezultat ?

Markovljev lanac ima 5 stanja. Iz nekog stanja moe prei samo u susjedno stanje (vie
ili nie, ukoliko je mogue). Vjerojatnost prijelaza u prvo vie stanje je p, a silaska u nie stanje je
q = 1 p. Pronaite matricu prijelaznih vjerojatnosti P ovog procesa. Postavite matrinu jednadbu
ijim rjeavanjem dobivamo stacionarne vjerojatnosti lanca.
Zadatak 4.10
Zadatak 4.11
Zadan je Markovljev lanac dijagramom na slici 4.24. Pronaite matricu prijelaznih vje-
Slika 4.24: Uz zadatak 4.11

rojatnosti P i izraunajte stacionarne vjerojatnosti lanca rjeavajui sustav linearnih jednadbi.
Zadatak 4.12
Zadan je Markovljev lanac dijagramom stanja na slici 4.25. Pronaite matricu prijelaznih

vjerojatnosti P i izraunajte stacionarne vjerojatnosti lanca rjeavajui sustav linearnih jednadbi.
Zadan je Markovljev lanac dijagramom na slici 4.26.
Pronaite matricu prijelaznih vjerojatnosti P i izraunajte stacionarne vjerojatnosti lanca rjeavajui
sustav linearnih jednadbi.
Zadatak 4.13
Promatrajte Markovljev lanac iz zadatka 4.13. Pronaite razdiobu i izraunajte prosjean

broj koraka koje lanac bez prekida boravi u stanju 1.
Zadatak 4.14
197
1
2
Stacionarne vjerojatnosti Markovljevog lanca s dva stanja su: p0 = i p1 = . Izrau3
3
najte prijelazne vjerojatnosti ovog lanca.
Zadatak 4.15
Razmatrajte stohastiki proces sluajnog hoda. To je Markovljev lanac. Pronaite matricu prijelaznih vjerojatnosti P tog procesa.
Zadatak 4.16

Dijagram stanja nekog Markovljevog lanca prikazan je na slici 4.27. Napiite matricu
gustoa prijelaza Q i nacrtajte segment jedne trajektorije ovog lanca.
Zadatak 4.17
Slika 4.27: Dijagram stanja uz zadatak 4.17
Zadatak 4.18
Matrica gustoa prijelaza nekog Markovljevog procesa je
5
4
0
1
8 14 6
0
.
Q=
0
3
5
2
5
0
7 12
Nacrtajte dijagram stanja i segment jedne trajektorije ovog lanca.

gustoa prijelaza Q.
Zadatak 4.19

Neka sluajna varijabla T1 mjeri vrijeme koje ovaj lanac bez prekida boravi u stanju 1. Izraunajte
funkciju razdiobe i oekivanje ove sluajne varijable.
gustoa prijelaza Q.
Neka sluajna varijabla T1 mjeri vrijeme koje ovaj lanac bez prekida boravi u stanju 1. Izraunajte
funkciju razdiobe ove varijable. Koliko je oekivanje sluajne varijable T1 .
Zadatak 4.20
198
Zadatak 4.21
Neka je za Markovljev lanac kontinuiran u vremenu matrica gustoa prijelaza Q jednaka
5 5
Q=
3 3
Izraunajte matricu prijelaznih vjerojatnosti koristei ope rjeenje Kolmogorovljevih jednadbi.

Zadatak 4.22
9 9
Q=
4 4

Zadatak 4.23
3 3
Q=
.
3 3

Zadatak 4.24
5 5
Q=
.
3 3
Napiite diferencijske jednadbe prijelaznih vjerojatnosti za ovaj proces i postavite diferencijalne jednadbe. Izraunajte matricu prijelaznih vjerojatnosti.
Pronaite matricu gustoa prijelaza Poissonovog procesa. Izvedite diferencijske jednadbe za Poissonov proces. Poite od klasine denicije Poissonovog procesa. Iz diferencijskih jednadbi
izvedite diferencijalno-rekurzivne jednadbe.
Zadatak 4.25
Zadatak 4.26

Q=

Napiite diferencijske jednadbe prijelaznih vjerojatnosti za ovaj proces i postavite diferencijalne jednadbe. Rijeite diferencijalne jednadbe Laplaceovom transformacijom.
Yule-Furryijev proces zadan je diferencijalnim jednadbama
(j 1)h + o(h) j i = 1,
[t,t+h]
o(h)
j i 2,
pi,j
= pk (h) = P (X(t + h) = j |X(t) = i) =
1 jh + o(h)
j=i
Zadatak 4.27
Napiite diferencijalne jednadbe za pn (t) i matricu gustoa prijelaza ovog lanca.

Zadatak 4.28
199
Matrica prijelaznih vjerojatnosti nekog Markovljevog procesa s dva stanja je

"
#
3
5e8t
5
5e8t
+
8
8
8
P(t) = 83 3e8t
5
3e8t
8
8
8 +
8
Izraunajte stacionarne vjerojatnosti i matricu gustoa prijelaza za ovaj proces.

Promatrajte Markovljev lanac deniran u zadatku 4.21. Izraunajte stacionarne vjerojatnosti lanca iz matrice prijelaznih vjerojatnosti.
Zadatak 4.29
Zadatak 4.30
Zadatak 4.31
Razmatrajte Markovljev lanac deniran u zadatku 4.19. Izraunajte stacionarne vjerojatnosti rjeavajui sustav linearnih jednadbi.
Zadatak 4.32
Razmatrajte Markovljev lanac deniran u zadatku 4.20. Izraunajte stacionarne vjerojatnosti rjeavajui sustav linearnih jednadbi.
Zadatak 4.33
Dijagram stanja nekog Markovljevog lanca prikazan je na slici 4.30. Rjeavanjem sustava
linearnih jednadbi izraunajte stacionarne vjerojatnosti ovog lanca.
Zadatak 4.34
Dijagram stanja nekog Markovljevog lanca prikazan je na slici 4.31. Rjeavanjem sustava
linearnih jednadbi izraunajte stacionarne vjerojatnosti ovog lanca.
Zadatak 4.35
Razmatrajte Markovljev lanac deniran u zadatku 4.34. Postavite i rijeite jednadbe

globalne ravnotee lanca.
Zadatak 4.36
Razmatrajte Markovljev lanac deniran u zadatku 4.35. Postavite i rijeite jednadbe

globalne ravnotee lanca.
Zadatak 4.37
200
Dijagram stanja nekog Markovljevog lanca prikazan je na slici 4.32. Postavite i rijeite
jednadbe globalne ravnotee zadanog lanca.
Ako se lanac nalazi u stanju 1, kolika je vjerojatnost da prilikom promjene stanja skoi u stanje 2.
Zadatak 4.38
Dijagram stanja nekog Markovljevog lanca prikazan je na slici 4.33. Postavite i rijeite
jednadbe globalne ravnotee zadanog lanca.
Zadatak 4.39

Ako se lanac nalazi u stanju 2, kolika je vjerojatnost da prilikom promjene stanja skoi u stanje 3.

Napiite ope diferencijske jednadbe za proces raanja i umiranja koji ima jednake
intenzitete raanja i umiranja bez obzira na stanje u kojem se nalazi. Nakon toga izvedite matricu
gustoa prijelaza za taj proces.
Zadatak 4.40
Neka je proces raanja i umiranja zadan diferencijskim jednadbama
h + o(h)
j =i+1
o(h)
j i + 2, j i 2
pij (h) = P (X(t + h) = j|X(t) = i) =
h + o(h)
j =i1
1 ( + )h + o(h)
j=i
Zadatak 4.41
Postavite diferencijalne jednadbe za vjerojatnost pn (t) i napiite matricu gustoa prijelaza za ovaj
proces. (Ne rjeavajte jednadbe!)
Neka je proces raanja i umiranja zadan diferencijskim jednadbama
(j 1)h + o(h)
j =i+1
o(h)
j i + 2, j i 2
pij (h) = P (X(t + h) = j|X(t) = i) =
(j + 1)h + o(h)
j =i1
1 (j + i)h + o(h)
j=i
Zadatak 4.42
Postavite diferencijalne jednadbe za vjerojatnost pn (t) i napiite matricu gustoa prijelaza za ovaj
proces. (Ne rjeavajte jednadbe!)
4.5. RJEENJA ZADATAKA ZA VJEBU

Zadatak 4.43
201
Neka je proces raanja i umiranja deniran matricom gustoa prijelaza
0
0
...
( + )
0
...
0
2
(
+
2)
.
..
Q=
,
0
0
3
( + 3) . . .
..
..
..
..
..
.
.
.
.
.
tj.
n = n 0
n = n n 0
Postavite diferencijalno-rekurzivne jednadbe za pn (t).

Promatrajte Markovljev lanac deniran u zadatku 4.38. Postavite i rijeite jednadbe
lokalne ravnotee za zadani lanac.
Zadatak 4.44
Promatrajte sustav posluivanja s 2 posluitelja i spremnikom kapaciteta 3 jedinice. Vrijeme posluivanja u posluiteljima je raspodijeljeno eksponencijalno s parametrom , a jedinice dolaze
u sustav po Poissonovom procesu s intenzitetom . Ako Markovljev proces kontinuiran u vremenu ima
stanja koja odgovaraju broju jedinica u sustavu posluivanja, pronaite matricu gustoa prijelaza za ovaj
sustav. Postavite jednadbe lokalne ravnotee i rijeite ih.
Zadatak 4.45
Zadatak 4.46
Zadatak 4.47
Promatrajte link kapaciteta C = 20 Mb/s. Kroz link se uspostavljaju dva tipa veza:
A koji rezervira 15 Mb/s i B koji rezervira 10 Mb/s. Zahtjevi za uspostavom veze obaju tipova dolaze
jednakim intenzitetom , a prosjeno trajanje veze za oba tipa je 1/. Izraunajte vjerojatnost blokiranja
uspostave veze tipa A.
Zadatak 4.48
4.5 Rjeenja zadataka za vjebu

4.5.1 Markovljevi lanci s diskretnim parametrom
Rjeenje zadatka 4.1
Potrebno je izraunati n-tu potenciju matrice P, i izraunati limes kada n tei u beskonanost. n-tu
potenciju matrice P potrebno je napisati u obliku
Pn =
n1
n2
[P 2 I] +
[P 1 I],
1 2
2 1
gdje su 1 i 2 svojstvene vrijednosti matrice P, ukoliko su razliite. Pronaimo ih na sljedei nain:
0.5
0.5
|P I| =
= (0.5 )(0.4 ) 0.3 =
0.6
0.4
= 2 0.9 + 0.2 0.3 = 2 0.9 0.1 = 0
202
Rjeenja dobivene kvadratne jednadbe su svojstvene vrijednosti matrice:
1 = 1 i 2 = 0.1
Pn
lim Pn
1n
(0.1)n
0.5 (0.1)
0.5
0.5 1
0.5
+
0.6
0.4 (0.1)
0.6
0.4 1
1 (0.1)
1 0.1
1
0.6 0.5
0.54 0.45
=
0.5 4 0.4 5
1.1 0.6 0.5
Stacionarne vjerojatnosti su: p

1 = 0.5 4 , p
2 = 0.4 5
Rjeenje zadatka 4.2
Potrebno je izraunati n-tu potenciju matrice P, i izraunati limes kada n tei u beskonanost. n-tu
potenciju matrice P potrebno je napisati u obliku
Pn = SDn S1
gdje je D dijagonalna matrica koja na dijagonalama ima svojstvene vrijednosti matrice P, a S matrica
svojstvenih vektora matrice P. Izraunajmo prvo svojstvene vrijednosti matrice P.
0.6
0.4
|P I| =
= (0.6 )(0.5 ) 0.2 =
0.5
0.5
= 2 1.1 + 0.3 0.2 = 2 1.1 + 0.1 = 0

Rjeenja dobivene kvadratne jednadbe su svojstvene vrijednosti matrice:
1 = 1 i 2 = 0.1
Potraimo odmah i svojstvene vektore pripadnih svojstvenih vrijednosti
0.6 0.4
x1
i x1
P~ei = i~ei
=
0.5 0.5
x2
i x2
0.6x1 + 0.4x2
i x1
=
0.5x1 + 0.5x2
i x2
Rjeenje ovog sustava jednadbi je
x1 =
i 0.5
x2
0.5
U ovom rjeenju izabrani su svojstveni vektori:
1
1 = 1 : ~e1 =
1
x2 =
0.4
x2
i 0.6
2 = 0.1 : ~e2 =
0.4
0.5
no mogu biti izabrani i neki drugi. Dakle, moemo napisati
1 0.4
1 0
0.5 0.4
P = SDS1 =
1 0.5
0 0.1
1.1 1.1
1 0.4
1 0
0.5 0.4
0.5
lim Pn = S lim Dn S1 =
=
1 0.5
0 0
n
n
1.1 1.1
0.5
Stacionarne vjerojatnosti su: p
1 = 0.5 , p
2 = 0.4 .
0.4
0.4
203
Rjeenje zadatka 4.3
Potrebno je odrediti matricu prijelaza ovog Markovljevog procesa diskretnog u vremenu. Ukoliko nam
indeksi u matrici P odgovaraju stanjima, matrica prijelaza je
"
#
P=
1
3
1
3
2
3
2
3
Nema potrebe traiti stacionarne vjerojatnosti ovog procesa. Ukoliko pogledamo matricu P, vidimo da su
njeni reci jednaki i da je zbroj vjerojatnosti u retku 1 . Potenciranjem matrice P opet dobivamo matricu
P. Dakle reci matrice P ve sadravaju stacionarne vjerojatnosti sustava. Zakljuujemo, stacionarne
vjerojatnosti su: p0 = 13 , p1 = 23 .
Rjeenje zadatka 4.4
Zadatak se rjeava jednakim postupkom kao u primjeru 4.2. Krajnji rezultat je:
" a(1ab)n
#
a(1ab)n
b
a
+ a+b
a+b
a+b
a+b
n
P =
.
b(1ab)n
b(1ab)n
b
a
a+b
a+b
a+b +
a+b
Rjeenje zadatka 4.5
Zadatak se rjeava jednakim postupkom kao u primjeru 4.3. Krajnji rezultat je:
" a(1ab)n
#
a(1ab)n
b
a
+ a+b
a+b
a+b
a+b
n
P =
.
b(1ab)n
b(1ab)n
b
a
a+b
a+b
a+b +
a+b
Rjeenje zadatka 4.6
Budui da je vjerojatnost pogrenog prijenosa bita denirana openito, matricu prijelaznih vjerojatnosti
za jedan prijenosni sustav deniramo na sljedei nain:
0.99 0.01
P=
0.01 0.99
Propagacija bita kroz tri sustava prikazana je na slici ispod.
0.99
0.99
0.99
0.01
0.01
0.01
0.01
0.01
0.01
0.99
0.99
0.99
0.9706
1
0.0294
0.0294
0.9706
Zakljuujemo da e prijelazne vjerojatnosti propagacije bita kroz sva tri sustava biti denirane treom
potencijom matrice prijelaza P.
0.99 0.01
0.9705 0.0294
3
P =
=
0.01 0.99
0.0294 0.9705
Vjerojatnosti prijelaza bita iz 0 u 1 i obrnuto su jednake, pa zakljuujemo da je vjerojatnost pogreke
bita s kraja na kraj 0.0294.
204
Rjeenje zadatka 4.7
Vektor vjerojatnosti stanja u poetnom koraku je p(0) = [0 1]. Vjerojatnost stanja u n-tom koraku
raunamo na sljedei nain:
>
p(n) = [Pn ] p(0)
n-tu potenciju matrice P moemo pronai koristei rjeenje iz primjera 4.2.

"
p(n) =
h
=
a(1ab)n
b
+ a+b
a+b
b(1ab)n
b
a+b
a+b
b
a+b
b(1ab)n
a+b
a
a+b
a
a+b
a
a+b
a(1ab)n
a+b
b(1ab)n
a+b
b(1ab)n
a+b
#>
1
i>
U sluaju n = 5, rjeenje je
h
b
a+b
p(5) =
b(1ab)5
a+b
a
a+b
b(1ab)5
a+b
i>
Vjerojatnost da se proces nalazi u stanju 1 nakon 5 koraka je
p1 =
b(1 a b)5
a
+
a+b
a+b
Rjeenje zadatka 4.8
Postavimo sustav linearnih jednadbi:
= P> p
.
p
Dobivamo:
p0
p1
"
1
0
1
2
1
2
p0
p1
1
p0 = p0 + p1
2
p0 + p1 = 1
p0 = 1.
To je i oekivano jer kada lanac jednom ue u stanje 0, u njemu trajno ostaje.
Rjeenje zadatka 4.9
Postavimo sustav linearnih jednadbi:
= P> p
.
p
Dobivamo:
p0
p1
0
1
1
0
p0
p1
p0 = p1
p0 + p1 = 1
p0 = p1 =
1
.
2
Lanac u svakom prijelazu alternira izmeu stanja 0 i 1. Polovicu vremena provodi u svakom od stanja,
pa je stoga vjerojatnost da lanac zateknemo u bilo kojem od stanja 1/2.
205
Rjeenje zadatka 4.10
Pri traenju matrice prijelaznih vjerojatnosti bitno je primijetiti da zbroj vjerojatnosti u retku matrice
mora biti jednak jedan. Prema iskazu zadatka, proces u svakom sljedeem koraku mijenja svoje stanje
prema gore ili dolje, no samo ukoliko je to mogue. To znai da ako je u stanju 1, onda moe prei u
stanje 2 s vjerojatnou p, no moe ostati i u istom stanju s vjerojatnou q , jer nema nieg stanja. Slino
vrijedi i za sluaj kada je proces u stanju 5. Iz tog stanja moe prei samo u stanje 4 s vjerojatnou q
ili ostati u stanju 5 s vjerojatnou p. Jednostavno nalazimo da je matrica prijelaznih vjerojatnosti
q p 0 0 0
q 0 p 0 0
P=
0 q 0 p 0
0 0 q 0 p
0 0 0 q p
Matrinu jednadbu postavljamo na sljedei nain:
1 1
1
p 1 q
A = P> I =
0 p 1
0 0
p
0 0
0
1
0
q
1
p
1
0
0
q
q
~b =
= ~b
Ap
Matricu prijelaznih vjerojatnosti iitavamo neposredno iz dijagrama stanja:
0.5 0.3 0.2

P = 0.4 0.6 0
0
1
0
Postavljamo sustav jednadbi: p
= P> p
.
0.5
p1 + 0.4
p2 = p1
0.3
p1 + 0.6
p2 + p2 = p2
0.2
p1 = p3
Sustav postaje netrivijalan tek uz jednadbu:
p1 + p2 + p3 = 1
Eliminacijom druge jednadbe dobivamo nehomogeni sustav:
5
p1
4
p1 + p2 + p3 = 1
p1 = 5
p3
p2 =
p1 =
20
,
49
p2 =
25
,
49
p3 =
Matrica prijelaznih vjerojatnosti je:
P=
0 1
1 0
4
49
1
0
0
0
0
206
Moemo postaviti sljedee dvije jednadbe:
p1 = p2
p1 + p2 = 1
Slijedi:
p1 = p2 =
1
2
Dijagram stanja je nepotpun i trebamo odrediti prijelazne vjerojatnosti ostanka u istom stanju. Potpun
dijagram stanja je prikazan na slici 4.34.
Slika 4.34: Uz rjeenje zadataka 4.13

0.4 0.6 0
P = 0.3 0.6 0.1
0 0.2 0.8
Nehomogeni sustav jednadbi je:
0.4
p0 + 0.3
p1 = p0
0.6
p0 + 0.6
p1 + 0.6
p2 = p1
0.1
p1 + 0.8
p2 = p2
Sustav je najlake rijeiti zamjenjujui drugu jednadbu s p0 + p1 + p2 = 1. Dobivamo rjeenja:
p0 =
1
,
4
p1 =
1
,
2
p2 =
1
4
Razdioba broja koraka koje lanac provodi u istom stanju ravna se po geometrijskoj razdiobi. Ako je
proces proveo u nekom stanju n koraka (intervala), to znai da je napravio n 1 prijelaza u isto stanje
i da je n-ti put napravio prijelaz u neko drugo stanje. Vjerojatnost naputanja stanja 1 je p = 0.4, a
ostanka u istom stanju je q = 0.6. Ako je N sluajna varijabla koja mjeri broj koraka provedenih bez
prekida u stanju 1, onda je njena funkcija vjerojatnosti:
P (N = n) = q n1 p
Oekivanje ove sluajne varijable odgovara prosjenom broju koraka koje lanac bez prekida provodi u
stanju 1:
X
1
p
= = 2.5
E[N ] =
kq k1 p = . . . =
(1 q)2
p
k=1
207
Krenimo od rjeenja za binarni Markovljev lanac. Ako je matrica prijelaznih vjerojatnosti:
1p
p
P=
q
1q
onda je rjeenje:
p0 =
q
1
= ,
p+q
3
Ovaj sustav ima familiju rjeenja:
p1 =
p
2
=
p+q
3
q
p0
1
= =
p1
2
p
p = 2q
Za proces sluanog hoda moemo denirati sljedee vjerojatnosti:
P [Xn = k|Xn1 = k 1] = p
P [Xn = k|Xn1 = k + 1] = q
Budui da nemamo rubnih ogranienja, zakljuujemo da je matrica prijelaznih vjerojatnosti beskonana
kvadratna matrica s elementima
pi,i+1 = p
pi,i1 = q
pi,j = 0,
za |i j| > 1 i i j = 0
gdje smatramo da matrica moe imati i negativne
..
.
...
P =
...
...
..
.
koecijente i i j . Matricu bismo mogli prikazati ovako
.. .. ..
. . . ...
0 p 0 ...
q 0 p ...
0 q 0 ...
.. .. .. . .
.
. . .

Matricu gustoa prijelaza Q itamo neposredno iz dijagrama stanja. Zbroj elemenata u retku mora biti
jednak 0.
3
3
0
0
1 14 4
9
Q=
0
5
5 0
0
6
0 6
Prilikom crtanja trajektorije, moramo paziti na mogue prijelaze. Na primjer, prijelaz iz stanja 2 u
stanje 3 nije mogu. Segment jedne mogue trajektorije prikazan je na slici 4.35.
Dijagram stanja dobivam paljivim tumaenjem matrice Q. Q ima dimenziju etiri, to znai da lanac
ima 4 stanja, npr. stanje 0, 1, 2 i 3. Prijelazi su doputeni samo izmeu onih stanja za koje je element
qi j matrice Q razliit od 0. Negativne qi i ne ucrtavamo u dijagram stanja.
Segment jedne mogue trajektorije prikazan je na slici 4.37.
208
Slika 4.35: Segment trajektorije Markovljevog lanca uz rjeenje zadatka 4.17
Slika 4.36: Dijagram stanja Markovljevog lanca uz rjeenje zadatka 4.18
Slika 4.37: Segment trajektorije Markovljevog lanca uz rjeenje zadatka 4.18
4
Q= 6
0
Prema teoremu 4.4 slijedi da je:
4
15
6
0
9
6
FT1 (t) = 1 e15t
Oekivanje sluajne varijable T1 je:
E[T1 ] =
1
15
11
Q= 6
6
4
7
5
7
1
11

Prema teoremu 4.4 slijedi da je:
209
FT1 (t) = 1 e7t
Oekivanje sluajne varijable T1 je:
E[T1 ] =
1
7
Ope rjeenje matrice prijelaznih vjerojatnosti (Kolmogorovljeve jednadbe) Markovljevog lanca kontinuiranog u vremenu je:
P(t) = eQt .
Da bismo izraunali eQt , matricu Q moramo napisati u obliku Q = S D S1 , gdje je D dijagonalna
matrica. Dijagonalna matrica na dijagonali ima svojstvene vrijednosti matrice Q, a matrica S je vektor
redak svojstvenih vektora matrice Q. Pronaimo svojstvene vrijednosti matrice Q.
5 5
Q=
3 3
( + 5)
5
|Q I| =
3
( + 3)
= ( + 5)( + 3) 15 =
= 2 + 8 + 15 15 = ( + 8) = 0
Svojstvene vrijednosti ove matrice su: 1 = 0, 2 = 8. Pronaimo svojstvene vektore.
5 5
x1
x1
=
3 3
x2
x2
5x1 + 5x2 = x1 5x2 = x1 ( + 5) x1 =
5
+5 x2
1
x1 = x2 ~e1 =
1
5
x1 = 53 x2 ~e2 =
3
za 1 = 0 :
za 2 = 8 :
Dobivamo matrice D i S:
S=
D=
1
1
5
3
0
0
0
8
S1 =
1
8
Dt
1
0
3 5
1 1
0
e8t
Rjeenje Kolmogorovljeve jednadbe je:
P(t) = S e
Dt
1
=
8
1
=
8
"
1
1
5
3
1
0
e8t
3 + 5e8t
5 5e8t
3 3e8t
5 + 3e8t
3 5
1 1
Jednakim postupkom kao u rjeenju zadatka 4.21. Svojstvene vrijednosti su
1 = 0,
2 = 13.
210
Svojstveni vektori su:
~e1 =
Nadalje je:
S=
D=
1
1
9
4
0
0
0
8
1
1
Dt
1
=
13
9
4
~e2 =
1
0
0 e13t
4 9
1 1

Dt
P(t) = S e
1
=
13
1
=
13
"
1
1
9
4
1
0
0 e13t
4 + 9e13t
9 9e13t
4 4e13t
9 + 4e13t
4 9
1 1
Jednakim postupkom kao u rjeenju zadatka 4.21. Svojstvene vrijednosti su
1 = 0,
Svojstveni vektori su:
~e1 =
Nadalje je:
S=
D=
1
1
1
1
1
1
0
0
0
6
2 = 6.
1
=
2
Dt
1
1
~e2 =
1
1
1
0
1
1
0
e6t
P(t) = S e
Dt
1
=
2
1
=
2
"
1
1
1
1
1
0
0
e6t
1 + e6t
1 e6t
1 e6t
1 + e6t
Iz teorije znamo da vrijede diferencijske jednadbe:
pii (h) = 1 + qii h + o(h)

pij (h) = qij h + o(h)
Matrica gustoa prijelaznih vjerojatnosti je
Q=
5
3
5
3
1
1
1
1
211
pa slijedi:
p00 (h) = 1 + (5)h + o(h)

p01 (h) = 5h + o(h)
p10 (h) = 3h + o(h)
p11 (h) = 1 + (3)h + o(h).
Na osnovu ovih jednadbi izraunavamo diferencijalne jednadbe na sljedei nain
p0 (t + h) = p0 (t)p00 (h) + p1 (t)p10 (h)

p0 (t + h) = p0 (t)(1 5h) + p1 (t)(3h) + o(h)
p0 (t + h) p0 (t) = 5hp0 (t) + 3hp1 (t) + o(h)
o(h)
p0 (t + h) p0 (t)
= 5p0 (t) + 3p1 (t) +
h0
h
h
dp0 (t)
= 5p0 (t) + 3p1 (t)
dt
p1 (t + h) = p0 (t)p01 (h) + p1 (t)p11 (h)
p1 (t + h) = p0 (t)(5h) + p1 (t)(1 3h) + o(h)
p1 (t + h) p1 (t) = 3hp1 (t) + 5hp0 (t) + o(h)
p1 (t + h) p1 (t)
o(h)
= 3p1 (t) + 5p0 (t) +
h0
h
h
dp1 (t)
= 3p1 (t) + 5p0 (t)
dt
Prema klasinoj deniciji Poissonovog procesa, prijelazne vjerojatnosti su dane izrazom:
pij (t) = et
(t)ji
(j i)!
Gustoe prijelaznih vjerojatnosti traimo prema deniciji
dpij
qij =
dt t=0
Dobivamo razliite vrijednosti ovisno o razlici j i.
det
dpi,i (t)
=
= et t=0 =
qi,i =
dt
dt t=0
t=0
dpi,i+1 (t)
d(t)et
qi,i+1 =
=
= 2 tet t=0 + et t=0 =
dt
dt
t=0
t=0
dpi,j (t)
qi,j = |j i + 2| =
=0
dt t=0
Matrica gustoa prijelaznih vjerojatnosti je:
Q= 0
0
..
.
0
0
..
.
0
..
.
0 ...
0 ...
...
. . .
..
..
.
.
212
Iz jednadbi
pii (h) = 1 + qii h + o(h)

slijedi
pii (h) = 1 h + o(h)

pi,i+1 (h) = h + o(h)
pk (t + h) = pk (t)pkk (h) + pk1 (t)pk1,k (h)
pk (t + h) = pk (t)(1 h) + pk1 (t)(h) + o(h)
pk (t + h) pk (t) = 3hp1 (t) + 5hp0 (t) + o(h)
pk (t + h) pk (t)
o(h)
= pk (t) + pk1 (t) +
h0
h
h
dpk (t)
= pk (t) + pk1 (t)
dt
p0 (t + h) = p0 (t)p00 (h)
p0 (t + h) = p0 (t)(1 h) + o(h)
p0 (t + h) p0 (t)
o(h)
= p0 (t) +
h0
h
h
dp0 (t)
= p0 (t)
dt
Iz teorije znamo da vrijedi:
pii (h) = 1 + qii h + o(h)

Q=
p00 (h) = 1 + ()h + o(h)

p01 (h) = h + o(h)
p10 (h) = h + o(h)
p11 (h) = 1 + ()h + o(h)
213
Na osnovu ovih jednadbi jednostavno izraunavamo diferencijalne jednadbe na sljedei nain:
p0 (t + h) = p0 (t)p00 (h) + p1 (t)p10 (h)

p0 (t + h) = p0 (t)(1 h) + p1 (t)(h) + o(h)
p0 (t + h) p0 (t) = hp0 (t) + hp1 (t) + o(h)
p0 (t + h) p0 (t)
o(h)
= p0 (t) + p1 (t) +
h0
h
h
dp0 (t)
= p0 (t) + p1 (t)
dt
p1 (t + h) = p0 (t)p01 (h) + p1 (t)p11 (h)
p1 (t + h) = p0 (t)(h) + p1 (t)(1 h) + o(h)
p1 (t + h) p1 (t) = hp1 (t) + hp0 (t) + o(h)
p1 (t + h) p1 (t)
o(h)
= p1 (t) + p0 (t) +
h0
h
h
dp1 (t)
= p1 (t) + p0 (t)
dt
Za rjeavanje ovih jednadbi potrebno je uzeti dodatnu jednadbu:
p0 (t) + p1 (t) = 1.
Prva diferencijalna jednadba sada ima samo jednu nepoznanicu:
dp0 (t)
= ( + )p0 (t) + .
dt
Laplaceovom transformacijom transformirajmo obje strane gornje jednadbe. Dobivamo:
P0 (s) s p0 (0) = ( + ) P0 (s) +
+ p0 (0)
s
p0 (0) +
p0 (0)
P0 (s) =
+
=
+
s(s + + ) s + +
s++
P0 (s) [s + + ] =
Inverznom transformacijom dobivamo:
p0 (t) =
+ p0 (0)
e(+)t
+
+
p1 (t) = 1 p0 (t).
Napiimo prvo matricu gustoa prijelaznih vjerojatnosti. Iz
pii (h) = 1 + qii h + o(h)

slijedi
Q=
0 0
0
0 0
0 0
..
..
.
.
2
0
..
.
0
...
0
...
2 . . .
3 . . .
..
..
.
.
214
Sustav diferencijalnih jednadbi se svodi na
pi1,i (h) = (i 1)h + o(h)

pi,i (h) = 1 ih + o(h)
Diferencijalne jednadbe dobivamo na sljei nain:
pk (t + h) = pk (t)pkk (h) + pk1 (t)pk1,k (h)

pk (t + h) = pk (t)[1 kh] + (k 1)hpk1 (t) + o(h)
pk (t + h) pk (t) = khpk (t) + (k 1)hpk1 (t) + o(h)
o(h)
pk (t + h) pk (t)
= kpk (t) + (k 1)pk1 (t) +
h0
h
h
dpk (t)
= kpk (t) + (k 1)pk1 (t)
dt
dp0 (t)
=0
dt
Potrebno je nai limes matrice P(t) kada t tei u beskonanost:
"
= lim P(t) = lim
P
t
3
8
3e8t
8
5
8
3e8t
8
3
8
5e8t
8
5
8
5e8t
8
"
=
3
8
3
8
5
8
5
8
: p0 = 3 , p1 = 5 Matricu
Stacionarne vjerojatnosti itamo iz bilo kojeg retka dobivene matrice P
8
8
gustoa prijelaznih vjerojatnosti raunamo kao vrijednost derivacije prijelaznih vjerojatnosti u toki t = 0:
pij (t)
qij =
. Dobivamo
t
3 3
Q=
5 5
Pogledajte rjeenje zadatka 4.21. Matrica prijelaznih vjerojatnosti je

"
#
8t
5 5e8t
1 3 + 5e
P(t) =
.
8 3 3e8t 5 + 3e8t
Do stacionarnih vjerojatnosti dolazimo izraunavanjem limesa kada t tei u beskonano:
"
# " 3 5 #
8t
5 5e8t
1 3 + 5e
lim P(t) = lim
= 83 85 .
t
t 8
3 3e8t 5 + 3e8t
8
8
Bilo koji redak dobivene matrice je vektor redak stacionarnih vjerojatnosti:
3 5
> =
p
8 8

"
#
4 + 9e13t 9 9e13t
1
P(t) =
13 4 4e13t 9 + 4e13t
215

"
# " 4
#
9
4 + 9e13t 9 9e13t
1
13
13
lim P(t) = lim
=
.
4
9
t
t 13
4 4e13t 9 + 4e13t
13
13
4
9
>
=
p
13 13
1
P(t) =
2
"
1 + e6t
1 e6t
1 e6t
1 + e6t

"
# " 1 1 #
6t
1 e6t
1 1+e
lim P(t) = lim
= 21 21 .
t
t 2
1 e6t 1 + e6t
2
2
1 1
> =
p
2 2
4
Q= 6
0
4
15
6
0
9 .
6
Sustav linearnih jednadbi koji moramo rijeiti je:
~0 = Q> p
p0 + p1 + p2 = 1
Ovaj sustav jednadbi je jednoznano rjeiv. Imamo sljedee jednadbe:
4
p0 + 6
p1 = 0
4
p0 15
p1 + 6
p2 = 0
9
p1 6
p2 = 0
p0 + p1 + p2 = 1
Budui da sustav ima jednu jednadbu previe, drugu jednadbu emo zamijeniti posljednjom, pa
zapravo rjeavamo sustav:
4
p0 + 6
p1 = 0
p0 + p1 + p2 = 1
9
p1 6
p2 = 0
216

Sustav moemo rijeiti uzastopnim uvrtavanjima.

0 10 4
4 6 0 0

1
1 1 1 1 = 1 1
0 9 6 0
0 1 2
Ovdje demonstriramo Gauss-Jordanovu metodu:
2

2
4
5
0 1
5
3

3
1 = 1 0
5 =
5
16
0
0 0
2
15
2
5
3
5
1
2
5
3
5
3
8
0 1

= 1 0
0 0
2
8
3
8
3
8
Dakle, stacionarne vjerojatnosti su:
p0 =
3
8
p1 =
1
4
p2 =
3
8
Jednakim postupkom kao u rjeenju zadatka 4.32.
11 4
7
7
1
Q= 6
6
5 11
1 1
1 1
1
5 0 = ... = 0
4 7
7 1 11 0
0
0
1
0
6
17
79
204
53
204
Za rjeavanje ovog sustava moemo iskoristiti i Cramerovo pravilo, kojim lake dolazimo do rjeenja.
6
79
53
p0 =
p1 =
p2 =
17
204
204
4
Q= 0
5
Iz jednadbi:
4
9
6
0
9
11
~0 = Q> p
p0 + p1 + p2 = 1
slijedi (mogui) sustav jednadbi koje rjeavamo:
4
p0 + 5
p2 = 0
9
p1 11
p2 = 0
p0 + p1 + p2 = 1
Rijeimo ovaj sustav uvrtavanjem rjeenja prve dvije jednadbe po p0 u treu:
4
p0
5
11
11 4
p1 =
p2 =
p0
9
9 5
11 4
4
p0 +
p0 + p0 = 1
9 5
5
p2 =

Dobivamo:
217
9
25
11 4
44
p1 =
p0 =
9 5
125
4
36
p2 = p0 =
5
125
p0 =
4
Q= 0
0
Iz jednadbi:
0
5
4
4
5
4
~0 = Q> p
p0 + p1 + p2 = 1
slijedi (mogui) sustav jednadbi koje rjeavamo:
4
p0 + 3
p2 = 0
5
p1 + 4p2 = 0
p0 + p1 + p2 = 1
Rijeimo ovaj sustav uvrtavanjem rjeenja prve dvije jednadbe po p0 u treu:
4
p0
3
4
p1 = p2
5
11
p0 +
9
p2 =
Dobivamo:
4 4
p0
3 5
4
4
p0 + p0 = 1
5
5
5
17
4 4
16
p1 = p0 =
3 5
51
4
20
p2 = p0 =
3
51
p0 =
Jednadbe globalne ravnotee postavljamo po principu da je ukupni izlazni tok iz stanja jednak ukupnom
ulaznom toku u stanje.
4
p0 = 5
p2
9
p1 = 4
p0 + 6
p2
(5 + 6)
p2 = 9
p1
p0 + p1 + p2 = 1
Rjeavanjem sustava dobivamo sljedea rjeenja:
p0 =
9
,
25
p1 =
44
125
p2 =
36
125
218
Jednadbe globalne ravnotee postavljamo po principu da je ukupni izlazni tok iz stanja jednak ukupnom
ulaznom toku u stanje.
4
p0 = 3
p2
5
p1 = 4
p2
(3 + 4)
p2 = 4
p0 + 5
p1
p0 + p1 + p2 = 1
Rjeavanjem sustava dobivamo sljedea rjeenja:
p0 =
5
,
17
p1 =
16
51
p2 =
20
51
Postavimo jednadbe globalne ravnotee:
p0 = p1
p2 = p1
p3 = p1
3
p1 = p0 + p2 + p3
4
p1 = p0 + p1 + p2 + p3 = 1
Slijedi:
1
4
Vjerojatnost skoka iz stanja 1 u stanje 2 raunamo prema izvedenoj formuli
p0 = p1 = p2 = p3 =
pij =
qij
, i 6= j.
qii
Dakle,
p12 =
1
1
= .
3
3
Postavimo jednadbe globalne ravnotee:
3
p0 = 2
p1 + p3
3
p1 = p0 + 2
p2
3
p2 = p1 + 2
p3
3
p3 = 2
p0 + p2
1 = p0 + p1 + p2 + p3
Sustav rjeavamo sukcesivnim uvrtavanjem ili Gauss-Jordanovom metodom. Dobivamo sljedee stacionarne vjerojatnosti:
1
p0 = p1 = p2 = p3 =
4
Vjerojatnost skoka iz stanja 1 u stanje 2 raunamo prema izvedenoj formuli
pij =
qij
, i 6= j.
qii
Dakle,
p12 =
1
1
= .
3
3
219

S oznaimo intenzitet raanja, a s intenzitet umiranja. Prema deniciji prijelaznih vjerojatnosti

procesa raanja i umiranja dobivamo:
pi,i+1 (h) =
pi,i1 (h) =
pi,j (h) =
pii (h) =
h + o(h)
h + o(h)
o(h), |j i| 2
1 ( + )h + o(h)
Iz
pii (h) =
pij (h) =
dobivamo
Q=
1 + aii h + o(h)
aij h + o(h)
0
0
...
( + )
0
...
( + )
...
0
0
( + ) . . .
..
..
..
..
..
.
.
.
.
.
Pojednostavnimo deniciju ovog procesa raanja i umiranja:
pi,i+1 (h)
pi,i1 (h)
pi,j (h)
pii (h)
=
=
=
=
h + o(h)
h + o(h)
o(h), |j i| 2
1 ( + )h + o(h)
Iz ovih jednadbi dobivamo diferencijalne jednadbe. Pri tom uvaavamo injenicu da je skok od dva ili
vie koraka u innitezimalno kratkom periodu h zanemariv i tu zanemarivu vjerojatnost oznaavat emo
s o(h).
pk (t + h)
pk (t + h)
pk (t + h) pk (t)
pk (t + h) pk (t)
h
dpk (t)
dt
Slinim razmatranjem dobivamo
=
=
=
=
=
pk (t)pkk (h) + pk1 (t)pk1,k (h) + pk+1 (t)pk+1,k (h)

pk (t)[1 ( + )h] + pk1 (t)h + pk+1 (t)h + o(h)
( + )hpk (t) + hpk1 (t) + hpk+1 (t) + o(h)
o(h)
( + )pk (t) + pk1 (t) + pk+1 (t) +
h0
h
( + )pk (t) + pk1 (t) + pk+1 (t), k > 0
i drugu diferencijalnu jednadbu
dp0 (t)
= p0 (t) + p1 (t)
dt
Iz
dobivamo
Q=
0
0
..
.
pii (h) =
1 + aii h + o(h)
pij (h) =
aij h + o(h)
( + )
0
..
.
0
0
0
( + )
( + )
..
..
.
.
...
...
...
...
..
.
220
Pojednostavnimo diferencijske jednadbe zadanog procesa raanja i umiranja.
pi1,i (h) = (i 1)h + o(h)

pi+1,i (h) = (i + 1)h + o(h)
pi,j (h) = o(h), |j i| 2
pii (h) = 1 i( + )h + o(h)
Iz ovih jednadbi dobivamo diferencijalne jednadbe. Pri tom uvaavamo injenicu da je skok od dva ili
vie koraka u innitezimalno kratkom periodu h zanemariv i tu zanemarivu vjerojatnost oznaavat emo
s o(h).
pk (t + h)
= pk (t)pkk (h) + pk1 (t)pk1,k (h) + pk+1 (t)pk+1,k (h)
pk (t + h) = pk (t)[1 k( + )h] + pk1 (t)(k 1)h + pk+1 (t)(k + 1)h + o(h)

pk (t + h) pk (t) = k( + )hpk (t) + (k 1)hpk1 (t) + (k + 1)hpk+1 (t) + o(h)
pk (t + h) pk (t)
o(h)
= k( + )pk (t) + (k 1)pk1 (t) + (k + 1)pk+1 (t) +
h0
h
h
dpk (t)
= k( + )pk (t) + (k 1)pk1 (t) + (k + 1)pk+1 (t)
dt
Slinim razmatranjima dobivamo i drugu diferencijalnu jednadbu:
dp0 (t)
= p1 (t)
dt
Iz
pii (h) =
pij (h) =
dobivamo
Q=
1 + aii h + o(h)
aij h + o(h)
0
0
0
( + )
0
2
2( + )
0
0
3
..
..
..
.
.
.
0
0
2
3( + )
..
.
...
...
...
...
..
.
Iz
pii (h) =
pij (h) =
1 + aii h + o(h)
aij h + o(h)
dobivamo
pi,i+1 (h) =
h + o(h)
pi,i1 (h) =
pi,j (h) =
(i 1)h + o(h)
o(h), |j i| 2
pii (h) =
1 ( + (i 1))h + o(h), i 0
221
Diferencijalno-rekurzivne jednadbe dobivamo na sljedei nain:
pk (t + h)
pk (t + h)
pk (t + h) pk (t)
pk (t + h) pk (t)
h
dpk (t)
dt
=
=
=
=
=
Slino dobivamo:
pk (t)pkk (h) + pk1 (t)pk1,k (h) + pk+1 (t)pk+1,k (h)

pk (t)[1 ( + (k 1))h] + pk1 (t)h + pk+1 (t)(k 1)h + o(h)
( + (k 1))hpk (t) + hpk1 (t) + (k 1)hpk+1 (t) + o(h)
o(h)
h0
( + (k 1))pk (t) + pk1 (t) + (k 1)pk+1 (t) +
h
( + (k 1))pk (t) + pk1 (t) + (k 1)pk+1 (t)
dp0 (t)
= p0 (t)
dt
Jednadbe lokalne ravnotee postavljamo po principu izjednaenosti tokova izmeu svih parova stanja u
procesu raanja i umiranja. Ovaj lanac se moe shvatiti kao dvodimenzionalni proces raanja i umiranja.
Stoga je mogue postaviti jednadbe lokalne ravnotee. Dobivamo sustav jednadbi:
p0
p2
p3
p0 + p1 + p2 + p3
= p1
= p1
= p1
=1
p0 = p1 = p2 = p3 =
1
4
Promatramo sustav posluivanja s dva posluitelja i jednim spremnikom kapaciteta 3 jedinice. Moemo
denirati dijagram stanja kako je prikazano na slici.
Slika 4.38: Uz rjeenje zadatka 4.45

Intenziteti raanja su elementi prve gornje sporedne dijagonale matrice gustoa prijelaza, dok su
intenziteti umiranja elementi prve donje sporedne dijagonale matrice Q.
0
0
0
0
( + )
0
0
0
0
2
( + 2)
0
0
Q=
0
0
2
( + 2)
0
0
0
2
( + 2)

0
0
0
0
2
2
222
Budui da se radi o jednodimenzionalnom lancu raanja i umiranja, moemo postaviti sljedee jednadbe lokalne ravnotee:
p0 =
p1
p1 = 2
p2
p2 = 2
p3
p3 = 2
p4
p4 = 2
p5
p1 =
p0
p0
1
p3 =
p2 = 2
p0
2
2
4
1
p3 = 3
p0
p4 =
2
2
5
1
p5 =
p4 = 4
p0
2
2
p2 =
1
p1 =
2
2
1 = p0 + p1 + p2 + p3 + p4 + p5
Iz dobivenih jednadbi dobivamo vrijednost za p0 , a time i sve ostale stacionarne vjerojatnosti:
1
2
3
4
5
p0 = 1 + +
+
+
+
2
4
8
16
gdje je =
Promatramo sustav posluivanja s dva posluitelja i jednim spremnikom kapaciteta 2 jedinice. Moemo
Q=
0
0
0
0
0
0
( + )
0
0
2
( + 2)
0
0
2
( + 2)
0
0
2
2
Budui da se radi o jednodimenzionalnom lancu raanja i umiranja, moemo postaviti sljedee jed-
223
nadbe lokalne ravnotee:
p0 =
p1
p1 = 2
p2
p2 = 2
p3
p3 = 2
p4
p1 =
p0
p0
1
p3 =
p2 = 2
p0
2
2
1
p4 =
p3 = 3
p0
2
2
1
p2 =
p1 =
2
2
1 = p0 + p1 + p2 + p3 + p4 + p5
2
3
4
p0 = 1 + +
+
+
2
4
8
gdje je =
Promatramo sustav posluivanja s tri posluitelja i jednim spremnikom kapaciteta 2 jedinice. Moemo
Q=
0
0
0
0
0
0
0
( + )
0
0
2
( + 2)
0
0
3
( + 3)
0
0
3
( + 3)
0
0
0
3
0
0
0
0
Budui da se radi o jednodimenzionalnom lancu raanja i umiranja, moemo postaviti sljedee jed-
224
nadbe lokalne ravnotee:
p0 =
p1
p1 =
p1 = 2
p2
p2 =
p2 = 3
p3
p3 = 3
p4
p4 = 3
p5
p0
p0
p3 =
p2 =
p0
3
23
4
p4 =
p3 =
p0
3
2 32
5
1
p4 =
p0
p5 =
3
2 33
1
p1 =
2
2
1 = p0 + p1 + p2 + p3 + p4 + p5
1
2
3
4
5
p0 = 1 + +
+
+
+
2
6
18 54
gdje je =
U ovom zadatku se radi o dvodimenzionalnom procesu raanja i umiranja. Dijagram stanja ovog lanca
je prikazan na slici 4.41.

Stanje (i, j) oznaava stanje kada je uspostavljeno i veza tipa A i j veza tipa B. Da bismo izraunali
vjerojatnost blokiranja, moramo izraunati stacionarne vjerojatnosti ovog lanca. Postavimo jednadbe
lokalne ravnotee za lanac:
p00 = p10 p10 = p00
p00 = p01 p01 = p00

p01 = 2p02 p02 =
gdje je =
p01 = p00
2
2
. Rjeavajui gornji sustav po p00 dobivamo
p00 =
1
1 + 2 +
2
2
Vjerojatnost blokiranja veza tipa A je jednaka zbroju vjerojatnosti stanja (1, 0), (0, 1) i (0, 2). Stoga je:
pBA =
2 +
2
2
1 + 2 +
2
2

Markovljevi Lanci PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Markovljevi Lanci PDF

Uploaded by

Copyright:

Available Formats

Poglavlje 4

4.1 Markovljevi lanci s diskretnim parametrom

Vjerojatnost P (Xn+1 = j | Xn = i) zovemo prijelaznom vjerojatnou iz stanja in u stanje jn+1 . U opem

Definicija 4.1 (Matrica prijelaznih vjerojatnosti (Transition

pij = P (Xn = j | Xn1 = i)

POGLAVLJE 4. MARKOVLJEVI LANCI

Zbroj elemenata svakog retka ove matrice jednak je jedan:

Matrice s ovakvim svojstvom zovemo stohastikim matricama.

Slika 4.1: Binarni izvor - opis Markovljevim lancem

p(n) = [p1 (n), p2 (n), . . .]

P {Xn = j|Xn1 = i} P {Xn1 = i} =

p(n) = P(n)> p(n 1)

Budui da je A> B > = (B A) , iterativno dobivamo:

p(n) = P(n)> p(n 1) = [P(n 1) P(n)] p(n 2) =

= . . . = [P(1) . . . P(n)] p(0)

4.1. MARKOVLJEVI LANCI S DISKRETNIM PARAMETROM

Definicija 4.2 (Homogeni Markovljev lanac)

Svojstvo 4.1 (Ergodiki teorem)

su svi jednaki, tj. postoji pj koji ne ovisi o i takav da je

Definicija 4.3 (Ireducibilnost Markovljevog lanca s diskretnim parametrom)

Stanje j Markovljevog lanca je dostupno iz stanja i, s oznakom i j , ako vrijedi da je:

pij > 0, za 0 n <

Definicija 4.4 (Ergodiki Markovljev lanac s diskretnim parametrom)

POGLAVLJE 4. MARKOVLJEVI LANCI

Ako je k = 1, onda je stanje i aperiodino.

Svojstvo 4.2 (Granini teorem)

Za ireducibilan Markovljev lanac vrijedi

4.1.2 Tehnike raunanja stacionarnih vjerojatnosti

Slika 4.2: Dijagram stanja binarnog izvora

Iz gornje je matrice lako pronai limes kada n tei u beskonanost:

4.1. MARKOVLJEVI LANCI S DISKRETNIM PARAMETROM

> p(0) = bilo koji redak matrice P

Odredimo prijelazne vjerojatnosti nakon n koraka Markovljevog lanca

Primjer 4.2 (Dijagonalizacija)

Bitno je potivati redoslijed svojstvenih vrijednosti u matrici D i pripadajuih svojstvenih vektora u

POGLAVLJE 4. MARKOVLJEVI LANCI

Rjeenje ove jednadbe je:

Rjeavanjem dobivamo da mora biti ispunjeno x1 = x2 . Sustav je homogen pa izabiremo trivijalno

Moemo npr. izabrati da je x1 = 1, a iz toga slijedi da je x2 = 1 . Svojstveni vektori su tako:

Sada lako izraunavamo n-tu potenciju matrice P:

4.1. MARKOVLJEVI LANCI S DISKRETNIM PARAMETROM

Ako su i vjerojatnosti, onda je 0 | + 1| 1, pa je

Pravilo spektralne dekompozicije kakvo ga ovdje uvodimo

Traenjem limesa dobivamo stacionarne vjerojatnosti kao i u prethodnom primjeru.

POGLAVLJE 4. MARKOVLJEVI LANCI

Za poetak, potraimo matricu prijelaznih vjerojatnosti P. Vjerojatnost da iz stanja 1 prijee u bilo

Slika 4.3: Dijagram stanja uz primjer 4.4

Rijeimo sustav linearnih jednadbi

Dobivamo m jednadbi, koje rjeavamo sukcesivnim uvrtavanjem kako je prikazano ispod.

4.1. MARKOVLJEVI LANCI S DISKRETNIM PARAMETROM

Poto je zbroj svih stacionarnih vjerojatnosti jednak 1, to slijedi da je:

m slijede sve stacionarne vjerojatnosti:

Slika 4.4: Dijagram stanja Markovljevog lanca uz primjer 4.5

POGLAVLJE 4. MARKOVLJEVI LANCI

Jednadbu (4.15) moemo transformirati na sljedei nain:

Vrijednosti za A i ~b unosimo u funkciju za rjeavanje sustava linearnih jednadbi i dobivamo stacionarne

> = [ 0.36 0.36 0.12

4.1.3 Odnos homogenog Markovljevog lanca i geometrijske razdiobe

4.1. MARKOVLJEVI LANCI S DISKRETNIM PARAMETROM

Slika 4.5: Dijagram stanja binarnog Markovljevog lanca

Slika 4.6: Slijed ATM elija opisan Markovljevim lancem

Pokuajmo sada izraunati vjerojatnosti dogaaja Ai i Bi , gdje Ai oznaava da je proces u stanju A

Provjerimo ovu tvrdnju: