Markovljevi Lanci

Poglavlje 4
Markovljevi lanci
Markovljevi procesi su oni stohastiki procesi ije budue stanje ovisi samo o trenutnom stanju.
memoryless property ).
svojstvo zovemo svojstvo odsustva pamenja (
To
Isto svojstvo ima i Poissonov proces,
pa je Poissonov proces posebna vrsta Markovljevog procesa. Markovljevi procesi mogu imati diskretan
ili kontinuiran skup stanja. U ovom poglavlju promatramo procese s diskretnim stanjima - lance. Bez
obzira da li su kontinuirani ili diskretni po parametru, lanci mijenjaju stanje u diskretnim tokama u
indeksnom skupu
(nekontinuirano).
U ovom poglavlju emo se upoznati s osnovnim matematikim modelima za opis Markovljevih lanaca.
Pomou tih modelima emo kasnije analizirati sustave posluivanja i mree repova.
4.1
4.1.1
Markovljevi lanci s diskretnim parametrom

Homogeni Markovljev lanac
Prvo analiziramo Markovljeve lance s diskretnim parametrom. Oni igraju vanu ulogu u opisu informacijskih svojstava izvora informacije, ali i u opisu prometa.
Primjer je opis ponaanja binarnog izvora
koji u koracima (jednakim vremenskim razmacima) generira 0 ili 1. Ako takvo izvorite promatramo kao
n-ti simbol generiralo 1, onda

n-tom koraku u stanju 1.
Neka Markovljev lanac fXn ; n 0g ima skup diskretnih stanja E = f0; 1; 2; : : :g. Skup stanja moe
biti beskonaan ili konaan. Oznaka Xn = i neka znai da se Markovljev lanac u n-tom koraku nalazi u
stanju i. n ovdje odgovara rednom broju realizacije nekog realnog procesa kojeg opisujemo Markovljevim
Markovljev izvor, onda su 0 i 1 mogua stanja procesa. Ako je izvorite kao

kaemo da je Markovljev lanac u
lancem. Na primjer, to moe biti generator sluajnih cijelih brojeva od

ovog procesa je
E = f1; 2; : : : ; 10g.
1 do 10.
Skup moguih stanja
Za opi Markovljev lanac vrijedi sljedee:
P (Xn+1 = j j X0 = i0 ; X1 = i1 ; : : : ; Xn = in ) = P (Xn+1 = j j Xn = in )
(4.1)
P (Xn+1 = j j Xn = i) zovemo prijelaznom vjerojatnou iz stanja in u stanje jn+1 . U opem

n. Ako je broj stanja Markovljevog lanca
m, onda u svakom koraku imamo ukupno m m takvih vjerojatnosti (za svako sadanje mogue stanje
imamo m moguih buduih stanja). Kako bismo uspijevali odrediti vjerojatnosti stanja lanca u n-tom
Vjerojatnost
sluaju ta se vjerojatnost mijenja ovisno o vrijednosti parametra
koraku, deniramo matricu prijelaznih vjerojatnosti.
Definicija 4.1 (Matrica prijelaznih vjerojatnosti (Transition
Probability Matrix ))
1 u stanje j u koraku n opisan je prijelaznom vjerojatnou:

p(ijn) = P (Xn = j j Xn 1 = i)
(4.2)
Prijelazna vjerojatnosti p(ijn) je lan matrice prijelaznih vjerojatnosti na mjestu (i; j ). Matrica prijelaznih
Prijelaz iz stanja i u koraku n
vjerojatnosti u n-tom koraku je
P(n) = p(ijn)
153
i
(4.3)
154
POGLAVLJE 4.
MARKOVLJEVI LANCI
Zbroj elemenata svakog retka ove matrice jednak je jedan:

X
p(ijn) = 1; p(ijn) 0
(4.4)
Matrice s ovakvim svojstvom zovemo stohastikim matricama.

Pogledajmo kakva bi bila matrica prijelaznih vjerojatnosti binarnog izvora o kojem smo govorili na
poetku. Njega poblie opisuje slika 4.1. Oito je da u opem sluaju matrica prijelaznih vjerojatnosti
Slika 4.1: Binarni izvor - opis Markovljevim lancem
moe ovisiti o koraku
n.
No, pretpostavimo da je matrica jednaka za svaki korak. Takve Markovljeve
q, a
w. Tada je matrica prijelaznih vjerojatnosti jednaka:

1 q q
P(n) =
(4.5)
w 1 w
Matrica prijelaznih vjerojatnosti nam omoguuje izraun vjerojatnosti da se Markovljev lanac u n-tom
koraku nae u nekom konkretnom stanju j . Neka p(n) oznaava vektor-stupac iji j -ti element oznaava
vjerojatnost da se lanac u n-tom koraku nalazi u stanju j . Neka elementi tog vektor-stupca redom nose
oznake p1 (n); p2 (n); : : :. Moemo napisati
p(n) = [p1 (n); p2 (n); : : :]>
(4.6)
Ako se proces u n-tom koraku nalazi u stanju j , onda se u (n
1)-om koraku nalazio u stanju 1, pa je
skoio u stanje j , ili se nalazio u stanju 2 pa je skoio u stanje j itd. Dogaaj proces je bio u stanju k i
skoio je u stanje j je disjunktan sa svim drugim dogaajima tog oblika. Zato moemo napisati:
lance zovemo
homogenim.
Neka je vjerojatnost da izvor pree u stanje 1 ako je u stanju 0 jednaka
vjerojatnost da pree u 0 ako je u stanju 1 neka je
pj (n) =
i
X
i
P fXn = j; Xn 1 = ig =
P fXn = j jXn 1 = ig P fXn 1 = ig =
Budui da zbroj u gornjem izrazu odgovara mnoenju vektor-retka

prijelaznih vjerojatnosti, dobivamo:
p(n) = P(n)> p(n
Budui da je
p(ijn) pi (n
pi (i
(4.7)
1) s desne strane s matricom
1)
A> B > = (B A)> , iterativno dobivamo:

p(n) = P(n)> p(n 1) = [P(n 1) P(n)]> p(n
= : : : = [P(1) : : : P(n)]> p(0)
1)
(4.8)
2) =
(4.9)
Koristei izraz (4.9) moemo izraunati razdiobu vjerojatnosti stanja Markovljevog lanca u bilo kojem
koraku.
4.1.
155
MARKOVLJEVI LANCI S DISKRETNIM PARAMETROM
Definicija 4.2 (Homogeni Markovljev lanac)
Markovljevi lanci kod kojih matrica prijelaznih vjerojatnosti P(n) ne ovisi o koraku n se zovu homogeni
Markovljevi lanci. Vrijedi da je p(ijn) = pij ; 8 n; i; j . Tu konstantnu matricu prijelaznih vjerojatnosti
oznaavamo P.
Ukoliko je neki Markovljev lanac homogen, vektor-stupac vjerojatnosti Markovljevog lanca u

koraku izraunavamo prema izrazu:
p(n) = (Pn )> p(0)
n-tom
(4.10)
Nadalje emo promatrati upravo homogenu klasu Markovljevih lanaca.

Promotrimo matricu
Pn .
To je matrica iji element
matrici
i u stanje j
(i; j ), kojeg emo oznaitin pij (n), predstavlja
n koraka. Ako matrica P konvergira k nekoj

^ kada n tei u beskonano i ako su svi elementi te matrice vei od 0, onda Markovljev lanac ima
P
vjerojatnost prijelaza procesa iz stanja
nakon
svojstvo prelaska u stacionarno stanje - stanje kada se vjerojatnost da se proces nalazi u nekom stanju
ne mijenja u vremenu. Ovo svojstvo je izreka
ergodikog teorema.
Teorem 4.1 (Ergodiki teorem)
Neka matrica prijelaznih vjerojatnosti P homogenog Markovljevog lanca ima svojstvo da barem jedna
njena potencija Pn sadri elemente koji su svi strogo vei od nule. Ako postoji takva matrica P, onda
^ jednaka:
zasigurno postoji matrica P
^ = lim Pn
P
(4.11)
n!1
^ su svi jednaki, tj. postoji p^j koji ne ovisi o i takav da je

Reci matrice P
(n)
p^j = nlim
!1 pij ;
8i
(4.12)
p^j se zovu stacionarne vjerojatnosti i one ine vektor-stupac stacionarnih vjerojatnosti p^ . Vektor-stupac
retku
^ . Markovljev lanac za kojeg postoji limes

stacionarnih vjerojatnosti jednak je svakom
matrice P
(4.11) zove se regularan ili ergodiki Markovljev lanac.
Ergodiki teorem koristimo da bismo saznali da li Markovljev lanac ima stacionarne vjerojatnosti.
Dosta esto se uvjet postojanja stacionarnih vjerojatnosti uvodi kroz pojam pozitivne rekurentnosti
Markovljevog lanca.
Definicija 4.3 (Ireducibilnost Markovljevog lanca s diskretnim parametrom)
Stanje j Markovljevog lanca je
dostupno
iz stanja i, s oznakom i ! j , ako vrijedi da je:
p(ijn) > 0; za 0 n < 1

Ako vrijedi i ! j i j ! i, onda stanja i i j meusobno
meusobno komutiraju, onda je lanac
.
ireducibilan
komutiraju
. Ako sva stanja Markovljevog lanca
Definicija 4.4 (Ergodiki Markovljev lanac s diskretnim parametrom)
Stanje Markovljevog lanca i je rekurentno ako je dostupno iz samog sebe u konanom broju koraka, tj. ako
se u konanom broju koraka moe vratiti u samo sebe. Stanje i je pozitivno rekurentno ako je oekivani
broj koraka do povratka u stanje i manji od beskonano. Inae, stanje je nul-rekurentno.
Stanje i ima period k ako je pnii = 0 kada god n nije djeljiv s k i k je najvei cijeli broj s takvim svojstvom.
156
POGLAVLJE 4.
Ako je d = 1, onda je stanje i
MARKOVLJEVI LANCI
aperiodino
Markovljev lanac je pozitivno rekurentan ako je ireducibilan i ako je barem jedno stanje pozitivno rekurentno.
Markovljev lanac je aperiodian ako su mu sva stanja aperiodina.
Pozitivno rekurentan, aperiodian Markovljev lanac se zove
ergodiki Markovljev lanac.
Teorem 4.2 (Granini teorem)
Za ireducibilan Markovljev lanac vrijedi

i vektor p^ = [^
p1 ; p^2 ; : : :]> je jedinstven.
4.1.2
(n)
p^j = nlim
!1 pij ;
8i
(4.13)
Tehnike raunanja stacionarnih vjerojatnosti
Osnovni problem koji se javlja u primjeni Markovljevih lanaca je nain raunanja stacionarnih vjerojatnosti stanja lanca.
Moramo odrediti matricu
^
P
i pomou nje izraunati vjerojatnosti stanja lanca u
stacionarnom stanju. Pogledajmo primjer 4.1.
Primjer 4.1
Promatrajmo homogen Markovljev lanac s dva stanja
matrica prijelaznih vjerojatnosti
P.
P=
1=3 2=3
3=8 5=8
= f0; 1g.
Pretpostavimo da je
Gornja matrica znai da ako je proces u stanju 0, vjerojatnost da e ostati u istom stanju je 1/3, a da e
prei u stanje 1 je 2/3. Isto tako, ako je proces u stanju 1, vjerojatnost da e ostati u istom stanju je 5/8,
a vjerojatnost da e prei u stanje 0 je 3/8. Budui da se prijelazne vjerojatnosti ne mijenjaju, opisani
proces moemo opisati dijagramom na slici 4.2. Takav dijagram zovemo dijagram stanja Markovljevog
lanca. Izraunajmo matricu prijelaznih vjerojatnosti nakon 2 i 3 koraka.
Slika 4.2: Dijagram stanja binarnog izvora
"
13=36 23=36
P2 =
23=64 41=64
P3 =
"
311 553
864 864
553 983
1536 1536
Moe se pokazati da je:
Pn = 4
9 1
25 + 25
9 1
25 25
1 n 4 3n 16 1
3 2
25 25
1 n 32 n 16 + 1
8
25 25
n tei u beskonanost:
"
9 16 #
25
^ = lim Pn = 9 2516
P
n!1
25 25
Iz gornje je matrice lako pronai limes kada
1 n 4 3n
3 2
1 n 32 n
8
3
5
4.1.
157
Sada iitamo bilo koji redak ove matrice i dobivamo vektor stacionarnih vjerojatnosti:
p^ =
9
25
16
25
i>
Objasnimo sada to tono znai dobiveni vektor. Neka je proces u poetnom (nultom) koraku bio u
bilo kojem stanju. Vjerojatnost da e u nekom sljedeem dalekom koraku biti u stanju 0 je 9/25, a u
stanju 1 je 16/25.
Ukoliko netko zada konkretne vrijednosti vjerojatnosti stanja u inicijalnom (nultom) koraku s vektorom
p(0), vjerojatnosti stanja u dalekoj (stacionarnoj) budunosti su jednaka:
^ = p(n = 1) = P^ > p(0) = bilo koji redak matrice P^

p
Drugim rijeima, poetno stanje ne uvjetuje stacionarne vjerojatnosti procesa.

Primijetimo da je pokazani postupak raunanja stacionarnih vjerojatnosti izuzetno sloen. Pokua-
n-tu potenciju matrice P.
jmo izraunati stacionarne vjerojatnosti ne traei opi izraz za
P.
traenja ovih vjerojatnosti je koritenje metode dijagonalizacije matrice
tralne dekompozicije, a trei je rjeavanje sustava linearnih jednadbi.
Mogui nain
Drugi nain je metoda spekSve metode su objanjene u
sljedeim primjerima.
Primjer 4.2 (Dijagonalizacija)
Odredimo prijelazne vjerojatnosti nakon
n koraka Markovljevog lanca
s dva stanja i matricom prijelaznih vjerojatnosti:
P=
(0 < ; < 1)
Problem u ovom primjeru je traenje izraza za ope lanove matrice
P zapisati na sljedei nain:
dijagonalizacije. elimo matricu
Pn .
Jedno mogue rjeenje je metoda
P =SDS 1
gdje je
dijagonalna matrica - matrica koja samo na dijagonali ima ne-nul elemente.
Dijagonalna
matrica ima sljedee korisno svojstvo:
2
6
D=6
6
4
Izraunajmo
Pn :
P.
0
.
.
.
0
0
:::
d2 : : :
.
.
.
..
0 0
.
.
.
: : : dk
7
7
7
5
Dn = 6
6
4
dn1
0
.
.
.
0n
0
0
:::
d2 : : :
.
.
.
0 0
..
.
.
.
: : : dnk
3
7
7
7
5
Pn = S D S 1 S D S 1 : : : S D S 1 = S Dn S 1
Dakle, ukoliko matricu

matrice
d1
raspiemo kao umnoak
S D S 1,
dobili smo opi oblik za
n-tu
potenciju
Sada nam jo samo treba metoda raspisivanja. Prisjetimo se sada jednog teorema linearne
algebre:
P kvadratna matrica dimenzija k k . Neka su 1 ; : : : ; k svojstvene vrijednosti (eigenvalues )

P, a ~e1 ; : : : ; ~ek svojstveni vektori (eigenvectors ) (vektor-stupci) matrice P. Onda je dijagonalna
matrica D matrice P matrica koja na glavnoj dijagonali ima svojstvene vrijednosti, a matrica S matrica
iji su stupci svojstveni vektori matrice P, tj.:
Neka je
matrice
2
6
D=6
6
4
1
0
.
.
.
:::
2 : : :
.
.
.
0 0
..
0
0
.
.
.
: : : k
3
7
7
7
5
S=
Bitno je potivati redoslijed svojstvenih vrijednosti u matrici

matrici
S.
~e1 : : : ~ek
D
i pripadajuih svojstvenih vektora u
158
POGLAVLJE 4.
MARKOVLJEVI LANCI
Sada jo samo treba znati izraunavati svojstvene vrijednosti i svojstvene vektore matrica. Prisjetimo
se da su svojstvene vrijednosti neke matrice
jednadbu (vektor
X~
one vrijednosti
koje zadovoljavaju sljedeu matrinu
je vektor-stupac):
~
PX
= X~ ) P X~ = X~ I
) P X~ X~ I = [0]
) [P I] X~ = [0]
Rjeenje ove jednadbe je:
det[ I
P] = 0
Izraunajmo odmah svojstvene vrijednosti za ovaj primjer:
det( I
P) =
1
1
= 2 ( + ) 1 + + = 0
1 = 1, 2 = +
Rjeavajui dobivenu kvadratnu jednadbu dobivamo da su
1. Sada trebamo odrediti
svojstvene vektore. To su vektori koji zadovoljavaju poetnu matrinu jednadbu. Za prvu svojstvenu
vrijednost dobivamo:

x1
x2
=1
x1
x2
To je sustav dvije linearne jednadbe:
x1 + (1 ) x2 = x1 ;
Rjeavanjem dobivamo da mora biti ispunjeno
rjeenje
x1 = x2 = 1.
x1
(1 ) x1 + x2 = x2
= x2 . Sustav je homogen pa izabiremo trivijalno
Slino dobivamo i za drugu svojstvenu vrijednost. Sustav jednadbi je:
x1 + (1 ) x2 = ( +
Rjeavanjem dobivamo:
S i D su:
Sada lako izraunavamo
) x1 + x2 = ( +

1

x2 = x1
1
1) x2
Moemo npr. izabrati da je
Matrice
1) x1; (1
x1 =
S=
1, a iz toga slijedi da je x2 = 1

1

1
~e1 = 1
~e2 = 1
1 1
1 1
n-tu potenciju matrice P:
D=
1
0
Svojstveni vektori su tako:
1 1 1
0 n 1 1 1
1 1
0 ( + 1)
1 1
1 1 1 = 1 1 1 > = 1 1 1
S 1=
1 1
det(S) 1 1
2 1 1
2

n
n
1
(1

)
+
(1

)

(

+

1)
(1

)
(1

)

(

+

1)
n
P =
2 (1 ) (1 ) ( + 1)n (1 ) + (1 ) ( + 1)n
Ako su i vjerojatnosti, onda je 0 j +
1j 1, pa je

1 (1 ) + (1 ) ( + 1)n (1 ) (1 ) ( + 1)n =
^ = lim
P
(1 ) (1 ) ( + 1)n (1 ) + (1 ) ( + 1)n
n!1 2

) (1 )
= 2 1 (1
(1 ) (1 )
Pn = S Dn S 1 =
4.1.
159
Stacionarne vjerojatnosti su:
p^ 1 =
p^ 2 =
Iako ovaj primjer izgleda izuzetno komplicirano, metoda dijagonalizacije je relativno jednostavna za
konkretne numerike primjere, a posebno je korisna u sluaju kada je broj moguih stanja lanca vei od
dva.
Primjer 4.3 (Spektralna dekompozicija)
Pravilo spektralne dekompozicije vrijedi samo za Mar-
kovljeve lance s dva stanja - binarne lance. Spektralna dekompozicija je pojednostavljenje prethodne
metode. To je nain raunanja
n-te potencije matrice prijelaznih vjerojatnosti pomou svojstvenih vri1 ; 2 i konstituirajuih matrica E1 i E2 matrice P na sljedei
jednosti matrice prijelaznih vjerojatnosti

nain:
Pn = n1 E1 + n2 E2
E1 =
1
2
[P 2 I]
E2 =
2
1
Provjerimo odmah ovu metodu na prethodnom primjeru. Matrica
P=
1 = 1
[P 1 I]
P i svojstvene vrijednosti su redom:
(0 < ; < 1)
2 = + 1
Nadalje je
E1 =
E2 =
Pn
1
2
1
1
2
1
1
1
[P 1 I ] = + 2 1
[P 2 I ] = 2

( +
1

=2
1 + +
) + (1 ) ( +
= 2 1 (1
(1 ) (1 ) ( +
1n
1
1
1 1
1
1

1)n 1 1
2 1
1)nn (1 ) (1 ) ( + 1)nn
1) (1 ) + (1 ) ( + 1)
Traenjem limesa dobivamo stacionarne vjerojatnosti kao i u prethodnom primjeru.
U sluaju kada imamo Markovljev lanac s vie od dva stanja, postupak raunanja
postaje uistinu kompliciran.
nalaziti i direktno iz matrice
potencije
P i to rjeavajui sustav linearnih jednadbi:
p^j =
odnosno
n-te
No, za ergodike Markovljeve lance, stacionarne vjerojatnosti se mogu
p^k pkj
^ > p^ = p^
P
j
X
p^j = 1
p^j = 1
(4.14)
Izraz (4.14) se temelji na posljedici ergodikog teorema da se razdioba vjerojatnosti stanja u stacionarnom
stanju ne mijenja s korakom. Dakle, izraz (4.14) jednostavno kae da je razdioba u sljedeem koraku
jednaka razdiobi u sadanjem koraku. Meutim, taj izraz predstavlja i sustav linearnih jednadbi. Dakle,
ako rijeimo ovaj sustav, izraunali smo stacionarne vjerojatnosti.
160
POGLAVLJE 4.
Primjer 4.4 (Sustav linearnih jednadbi)

skih stanja:
E = f1; 2; : : : ; mg.
MARKOVLJEVI LANCI
Zamislimo da se elektron moe nai u ukupno
m energet-
U vie stanje elektron moe prei samo kad je u stanju 1. Vjerojatnosti da
i > 1, u sljedeem koraku moe

1. Pronaimo vjerojatnost da je elektron u nekom stanju j pretpostavljajui
iz prvog pree u bilo koje drugo stanje su jednake. Kada se nae u stanju
prei jedino u u stanje
da je proces uao u stacionarno stanje.
Za poetak, potraimo matricu prijelaznih vjerojatnosti

koje drugo stanje je jednako
P.
Vjerojatnost da iz stanja 1 prijee u bilo
1=m, a vjerojatnost da iz stanja i > 1 pree u stanje i 1 je jednaka 1.
Dijagram stanja ovog procesa je prikazan na slici 4.3.
Slika 4.3: Dijagram stanja uz primjer 4.4
1=m 1=m
6 1
0
6
6
P=6
1
6 0
6
4
.
.
.
.
.
.
1=m 1=m 3
0 0 77
:::
:::
..
..
:::
.
.
.
.
.
.
0
1
0
0
7
7
7
7
5
Rijeimo sustav linearnih jednadbi
^ > p^ = p^
P
2
6
6
6
6
6
4
Dobivamo
1=m 1 0
1=m 0 1
.
.
.
.
.
.
.
.
.
1=m 0 0
1=m 0 0
:::
:::
..
:::
:::
03
0 77
.
.
.
1
0
7
7
7
5
X
2
6
6
6
6
6
4
p^j = 1
p^1
p^2
.
.
.
p^m 1
p^m 1
7
7
7
7
7
5
6
6
6
6
6
4
p^1
p^2
.
.
.
p^m 1
p^m 1
3
7
7
7
7
7
5
m jednadbi, koje rjeavamo sukcesivnim uvrtavanjem kako je prikazano ispod.
1 p^1 + p^2 9
>
>
>
>
m
>
>
>
>
1
>
p^2 = p^1 + p^3 >
>
>
m
>
p^1 =
.
.
.
>
>
>
>
>
pm >
>
>
>
>
>
>
>
;
p^m 1 = p^1 + ^
m
1
p^m = p^1
m
8
pm
>
>
>
>
>
pm
>
>
<
)>
>
>
>
>
>
>
:
^
^
1 = 2 p^m
2 = 3 p^m
.
.
.
p^2 = (m 1) p^m
p^1 = m p^m
Promatrajmo stanje k naeg

k u sljedeem koraku je jednaka vjerojatnosti da je lanac
trenutno u stanju k i da e ostati u istom stanju (p
^k pkk ) plus zbroj vjerojatnosti vjerojatnosti
da se
P
proces nalazi u nekom drugom stanju j i da e proces u sljedeem koraku prei u stanje k (
p
^
j 6=k j pjk ).
Primijetimo da jednadbe moemo takoer postaviti na sljedei nain.

procesa. Vjerojatnost da e lanac biti u stanju
Takvim razmiljanjem dobivamo jednadbu:
p^k = p^k 0 + p^k+1 1 + p^1
4.1.
161
Poto je zbroj svih stacionarnih vjerojatnosti jednak 1, to slijedi da je:
m
X
i=1
1) + ::: + 2 + 1] p^m = m(m2+ 1) p^m = 1 ) p^m = m(m2+ 1)
p^ i = [m + (m
Iz gornjih jednadbi i rjeenja za
p^ m
slijede sve stacionarne vjerojatnosti:
p^j =
2(m j + 1) ;
m(m + 1)
j = 1; : : : ; m
Izuzetno je vano primijetiti da je linearni sustav koji se postavlja homogen i da se rjeenje moe
pronai jedino tako da se dodatno iskoristi jednadba:
p^j = 1
Primjer 4.5 (Postavljanje matrine jednadbe za stacionarne vjerojatnosti)
Veina konkret-
nih Markovljevih lanaca je teko rjeiva runo i esto se za rjeavanje koriste odreeni matematiki programski alati. Primjeri su
c Mathematica i c MATLAB. Ti alati imaju ugraene funkcije za rjeavanje
sustava linearnih jednadbi (
Solver ).
Sline funkcije imaju i neki
Te funkcije rjeavaju matrinu jednadbu
PalmTop
kalkulatori, npr. HP-48 GX.
A ~x = ~b
Pogledajmo na koji nain moemo generirati matricu
A i vektor ~b koji su ulazni parametri ovakve funkcije.
Neka je zadan dijagram stanja na slici 4.4. Odgovarajua matrica prijelaznih vjerojatnosti
P je:
Slika 4.4: Dijagram stanja Markovljevog lanca uz primjer 4.5
0:7
6 0:3
P=6
4 0
0
0:3
0:1
0:6
0:9
0
0:2
0:4
0
0 3
0:4 77
0 5
0:1
Da bismo pronali stacionarne vjerojatnosti, postavljamo dvije jednadbe:
P> p^ = p^
X
pî = 1
(4.15)
(4.16)
162
POGLAVLJE 4.
MARKOVLJEVI LANCI
Jednadbu (4.15) moemo transformirati na sljedei nain:
^ = I p^
P> p
>
^ =0
P p^ I p

>
^ =0
P
I p
Dobili smo jednadbu oblika
A~x = ~b,
ali takav sustav nije jedinstveno rjeiv budui da je
~b = 0.
Da
bismo dobili jedinstveno rjeiv sustav, moramo ukljuiti jednadbu (4.16). To radimo tako to neki od
jedinicu. Za
P>
I (k -ti) zamijenimo s jedininim retkom, a kao k -ti

k-ti redak odabiremo onaj koji ima najvie nenul elemenata.
redaka matrice
element nul-vektora upiemo
P>
0:7 1 0:3
0
0 3
6 0:3
0:1 1 0:6
0:9 77
I=6
4
0
0:2 0:4 1 0 5
0
0:4
0 0:1 1
Odabiremo drugi redak i dobivamo sustav:
2
6
6
4
|
Vrijednosti za
0:3
1
0
0
0:3 0
1 1
0:2 0:6
0:4 {z 0
A
0 32
1 77 66
0 54
0:9 } |
p^0
p^1
p^2
p^3
{z
~x
03
7 6 1 7
7=6
7
5 4 0 5
0
} | {z }
~b
A i ~b unosimo u funkciju za rjeavanje sustava linearnih jednadbi i dobivamo stacionarne
vjerojatnosti. Dakako, moemo koristiti i Gauss-Jordanovu metodu ili Cramerovu metodu.

Naravno, sustav
A ~x = ~b moemo rijeiti i na sljedei nain:

A ~x = ~b =A 1
A 1 A ~x = A 1 ~b
~x = A 1 ~b
Ovaj pristup je bolji ukoliko piemo program za traenje stacionarnih vjerojatnosti, budui da je
funkciju za invertiranje matrice jednostavno lako napistati. Kako god radili, dobivamo sljedea rjeenja:
p^ > = [ 0:36
4.1.3
0:36 0:12 0:16 ]
Odnos homogenog Markovljevog lanca i geometrijske razdiobe
Promotrimo dio slijeda ATM elija koje stvara neki izvor. Pretpostavimo da takav izvor moemo opisati
Markovljevim lancem s dva stanja:
A i B.
Dijagram stanja prikazan je na slici 4.5, a uzorak jedne mogue
trajektorije prikazan je na slici 4.6.
Slika 4.5: Dijagram stanja binarnog Markovljevog lanca
4.1.
163
Slika 4.6: Slijed ATM elija opisan Markovljevim lancem
Izraunajmo stacionarne vjerojatnosti rjeavanjem sustava linearnih jednadbi:
p^ = P> p^
p^B = (1 p) p^B + q pÂ

1 = pÂ + p^B )
q
p p^B + q (1 p^B ) ) p^B =
q+p
p
pÂ = 1 p^B =
q+p
Pokuajmo sada izraunati vjerojatnosti dogaaja Ai i Bi , gdje Ai oznaava da je proces u stanju A
boravio tono i koraka, a Bi da je proces u stanju B boravio tono i koraka.
Do vjerojatnosti P (Ai ) moemo doi sljedeim razmiljanjem. Proces se u A zadrao i koraka to
znai da je u i + 1-vom koraku preao u stanje B . Vjerojatnost da proces pri prijelazu u sljedei korak
ostane u istom stanju (A) je 1
q. Vjerojatnost da pree u stanje B je q. Vjerojatnost P (Ai ) jednaka je
vjerojatnosti da je proces u i
1 prijelaza uspio ostati u stanju A i u i-tom prijelazu preao u stanje B:
P (Ai ) = (1 q)i 1 q
p^B = p^B
Dobili smo izraz za
geometrijsku razdiobu.
Zakljuujemo da je varijabla koja mjeri broj koraka koji
Markovljev lanac s diskretnim parametrom ostaje u istom stanju rasporeena po geometrijskoj razdiobi.
Slino vrijedi i za vjerojatnost
P (Bi ):
P (Bi ) = (1 p)i 1 p
Prisjetimo se izraza za oekivanje geometrijske razdiobe.
Izraunali smo oekivanje za sluaj kada
= (1 p)i p. No u naem sluaju je funkcija vjerojatnosti oblika Pi =

i
1
(1 p) p. Stoga je oekivanje E [Ai ] jednako:
1
X
1
E [Ai ] = iq(1 q)i 1 = : : : =
je funkcija vjerojatnosti bila
Pi
i=1
Dakle, vrijedi:
E [ Ai ] =
1
q
E [Bi ] =
Budui da stacionarne vjerojatnosti odgovaraju udjelima vremena koje lanac provodi u odgovarajuem
stanju, moraju vrijediti sljedee relacije:
pÂ =
p^B =
Provjerimo ovu tvrdnju:
pÂ =
p^B =
E [Ai ]
E [Ai ] + E [Bi ]
E [Bi ]
E [Ai ] + E [Bi ]
E [Ai ]
E [Ai ] + E [Bi ]
E [Bi ]
E [Ai ] + E [Bi ]
= 1 +q 1 = q +p p
q
p
1
= 1 +p 1 = q +q p
q
p
164
POGLAVLJE 4.
Dakle, ako neka varijabla
Ai
mjeri broj koraka (intervala) u kojima se proces bez prekida nalazi u
istom stanju, onda se razdioba te varijable ravna po

specino stanje
4.2
MARKOVLJEVI LANCI
geometrijskoj razdiobi.
Omjer oekivanja za neko
A i zbroja oekivanja za sva stanja lanca daje stacionarnu vjerojatnost stanja A.
Markovljevi lanci s kontinuiranim parametrom
U prethodnom dijelu smo promatrali Markovljeve lance za koje nas nije zanimalo kada i kako esto
mijenjaju svoja stanja. U ovom emo dijelu dodati vremensku dimenziju i promatrati Markovljeve lance
kontinuirane u vremenu.
Promatrajmo neki stohastiki proces koji ima skup diskretnih stanja
E.
Dopustimo da proces promi-
jeni svoje stanje u bilo kojem trenutku u vremenu i neka budue stanje ovisi samo o sadanjem. Takav
proces zovemo Markovljev lanac kontinuiran u vremenu. Primjer ovakvog procesa je trgovaki putnik koji
putuje izmeu
n gradova.
Kada se putnik nalazi u gradu
i onda je stanje Markovljevog lanca i.
Putnik
moe promijeniti grad u bilo kojem trenutku u vremenu, a time i stanje procesa.
Dajmo sada egzaktnu deniciju Markovljevog lanca s kontinuiranim parametrom:
Definicija 4.5 (Markovljev lanac s kontinuiranim parametrom (kontinuiran u vremenu))
Sluajni proces s diskretnim stanjima X (t) je Markovljev lanac kontinuiran u vremenu ako za sve brojeve
n 2 N , i svaki slijed t1 ; t2 ; : : : ; tn ; tn+1 takav da je t1 < t2 < : : : < tn < tn+1 vrijedi
P [X (tn+1 ) = j j X (t1 ) = i1 ; X (t2) = t2 ; :::; X (tn ) = in ] = P [X (tn+1) = j j X (tn ) = in]
(4.17)
Slika 4.7: Trajektorija Markovljevog lanca kontinuiranog u vremenu
Tipina trajektorija Markovljevog lanca kontinuiranog u vremenu prikazana je na slici 4.7.
Kon-
tinuiran Markovljev lanac odlikuje svojstvo odsutnosti pamenja. Takvo svojstvo imaju i procesi s neovisnim prirastima diskretni po vrijednostima i kontinuirani po vremenu.
u budunosti ne ovisi o prirastima u prolosti.
neovisne priraste, onda je on Markovljev lanac.
Kod takvih procesa prirast
Dakle, ako nekakav proces s diskretnim stanjima ima
Primjer procesa s neovisnim prirastima je Poissonov proces. On ima kontinuiran parametar, diskretna
stanja i svojstvo odsutnosti pamenja. To ga ini primjerom Markovljevog lanca. Evo dokaza:
P (Xtn = xn jXtn 1 = xn 1 ; :::; Xt0 = x0 ) =

= P (Xtn Xtn 1 = xn xn 1jXtn 1 Xtn 2 = xn 1 xn 2; : : : ; Xt1 Xt0 = x1 x0 ; Xt0 = x0) =
= P (Xtn Xtn 1 = xn xn 1) = P (Xtn Xtn 1 = xn xn 1 jXtn 1 = xn 1) =
= P (Xtn = xn jXtn 1 = xn 1)
4.2.
165
MARKOVLJEVI LANCI S KONTINUIRANIM PARAMETROM
Denirajmo prijelaznu vjerojatnost i matricu prijelaznih vjerojatnosti Markovljevog procesa s kontinuiranim parametrom:
Definicija 4.6 (Matrica prijelaznih vjerojatnosti)
Neka su s i t vremena iz parametarskog skupa Markovljevog lanca kontinuiranog u vremenu. Uvjetna

vjerojatnost
p[ijs;t] = P (Xt = xj jXs = xi )
(4.18)
zove se prijelazna vjerojatnost Markovljevog lanca iz stanja xi u stanje xj . Matrica P [s;t] sastavljena od
elemenata p[ijs;t] se zove matrica prijelaznih vjerojatnosti Markovljevog lanca.
Proces se u nekom vremenskom trenutku
t moe nalaziti samo u jednom stanju (konzervativan proces).
Zbroj vjerojatnosti prijelaza iz jednog stanja u sva sljedea mogua stanja jednak je 1, tj.:
X [s;t]
pij
j
=1
(4.19)
Matrice prijelaznih vjerojatnosti imaju sljedee zanimljivo svojstvo: prijelazna matrica iz trenutka
u trenutak
u jednaka je umnoku matrica prijelaza P [s;t] P [t;u] = P [s;u] .
To je izreka poznatog Chapman-
Kolmogorovljevog teorema:
Teorem 4.3 (Chapman-Kolmogorovljev teorem)
Neka je P[s;u] matrica prijelaznih vjerojatnosti Markovljevog procesa kontinuiranog u vremenu. Tada ona
zadovoljava Chapman-Kolmogorovljevu jednadbu:
P[s;u] = P[s;t] P[t;u] ;
Primjer 4.6
stu
(4.20)
Pronaimo matricu prijelaznih vjerojatnosti za Poissonov proces.
Formulirajmo prvo vjerojatnost prijelaza iz stanja
i u trenutku s u stanje j u trenutku t.
Jasno je da
je Poissonov proces zapravo proces brojanja. Kao takav on je progresivan, tj. u vremenu njegovo stanje
po vrijednosti nikada ne opada. Stanje stagnira ili raste. Stanje raste za jedan kada se realizira dogaaj
kojeg Poissonov proces broji.
i u trenutku s u stanje j = i +1 u trenutku t ? Jasno

t s dogodi samo jedan dogaaj. Isto tako
vjerojatnost da iz stanja i prijee u stanje j = i + k jednaka je vjerojatnosti da se u periodu t
s dogodi
tono k dogaaja, k = 0; 1; 2; : : : Ta vjerojatnost je poznata iz denicije Poissonovog procesa:
Kolika je vjerojatnost da proces prijee iz stanja
je da je ta vjerojatnost jednaka vjerojatnosti da se u vremenu
p[i;js;t] = P [X (t + s) X (s) = j i] = e
t
((jt) i)!
j i
Koristei se ovim izrazom moemo zapisati matricu prijelaznih vjerojatnosti
P[s;t] = e (t
1
6
6 0
6
s) 6
6 0
6 .
6
4
P[s;t] .
[(t s)]1 [(t s)]2 [(t s)]3 : : :

1!
[(t2!s)]1 [(t3!s)]2 : : :
1
1!
[(t2!s)]1 : : :
0
1
1!
.
.
.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
3
7
7
7
7
7
7
7
5
166
POGLAVLJE 4.
Svi elementi matrice ispod dijagonale jednaki su 0.
MARKOVLJEVI LANCI
Razlog tome je to to je vjerojatnost da proces
prijee u nie stanje jednaka 0. Ova matrica ima svojstva da joj sve sporedne dijagonale imaju jednake
elemente i da ovisi samo o razlici vremena
Markovljevi lanci.
(t s). Markovljeve lance s ovim svojstvom zovemo homogeni
Treba primijetiti da ovaj proces nije stacionaran - oekivanje procesa nije konstanta,
tj. stanje raste u vremenu, a s tim i oekivanje.

Najznaajnija klasa Markovljevih lanaca su homogeni procesi. To su oni procesi kod kojih matrica
prijelaznih vjerojatnosti
P[s;t]
ne ovisi o vrijednostima
t i s,
nego iskljuivo o razlici
s.
Homogene
Markovljeve lance deniramo na sljedei nain:
Definicija 4.7 (Homogeni Markovljev lanac)
Neka je fXt j 0 t < 1g Markovljev lanac s kontinuiranim parametrom. Ukoliko sve prijelazne vjerojatnosti matrice P[s;t] , pij = P (Xt = xj jXs = xi ), i; j = 1; 2; : : : ne ovise pojedinano o vrijednostima
parametara s odnosno t, nego jedino o razlici = t s, tj.:
P (Xt = xj j Xs = xi ) = pij ( ); i; j = 1; 2; : : :
onda je Markovljev lanac fXt
4.2.1
(4.21)
j 0 t < 1g homogeni Markovljev lanac.
Kolmogorovljeve jednadbe
Kolmogorovljevim jednadbama pribliit emo se problemu izraunavanja karakteristinih parametara

sustava posluivanja M/M/1. Te jednadbe predstavljaju zikalnu interpretaciju Markovljevih lanaca.
Nadalje promatramo samo homogene Markovljeve procese. Za njih vrijedi Chapman-Kolmogorovljeva
jednadba:
P[0;s+t] = P[0;s] P[s;t]
Za homogene Markovljeve lance vrijedi da matrica prijelaznih vjerojatnosti
(t s). Moemo krae zapisati da je P[0;t] = P(t).

moe napisati i jednostavnije:
lan
P[s;t]
ovisi samo o razlici
Gornja Chapman-Kolmogorovljeva jednadba se sada
P(t + s) = P(s) P(t)
(i; j ) matrice P(t + s) dobivamo zbrajanjem lanova matrica P (s) i P (t) na sljedei nain:
X
pij (t + s) = pik (t) pkj (s)
pij (t) je funkcija parametra t.
Ustvrdit emo (bez dokaza!) da ona zasigurno ima derivaciju u toki
Oznaimo tu derivaciju po vremenu s
qij :
qij
Denirajmo matricu
6
4
q11 q12 q13 : : :

q21 q22 q23 : : :
q31 q32 q33 : : :
.
.
.
Tu matricu zovemo matrica
.
.
.
.
.
.
..
3
7
7
7
5
Derivirajmo Chapman-Kolmogorovljevu jednadbu s lijeve i s desne strane po
@pij (t + s)
@s
t = 0.
(4.24)
Q kao matricu koja je sastavljena od elemenata qij .
Q=6
6
(4.23)
@pij (t)
@t t=0
gustoa prijelaza ili innitezimalna matrica:
(4.22)
pik (t)
@pkj (s)
@s
s.
Dobivamo:
4.2.
Ako uvrstimo da je
167
s = 0 dobivamo:
@pij (t) X
= pik (t) @pkj@s(0)
@t
k
X
p0 (t) = pik (t) qkj
ij
U matrinom zapisu je to:
P0 (t) = P(t) Q
(4.25)
Kolmogorovljeva jednadba unaprijed (forward Chapman equation ). Slino,

t i stavimo da je t = 0, dobivamo Kolmogorovljevu jednadbu unazad (backward Chapman equation ):
Dobivena jednadba se zove
ako Chapman-Kolmogorovljevu jednadbu deriviramo po
P0 (t) = Q P(t)
(4.26)
Sada kada znamo Kolmogorovljeve jednadbe unaprijed i unazad, moramo otkriti za to ih moemo
iskoristiti. Svrhu emo vidjeti tek kada pokaemo jo neka zanimljiva svojstva koja slijede iz Kolmogorovljevih jednadbi i rijeimo na prvi primjer.
Zamislimo da je Markovljev proces u stanju . Vjerojatnost da u buduem periodu duljine 0 sekundi

proces ostane u istom stanju je 1, a da promijeni stanje je 0. Dakle, vano je primijetiti da je matrica
prijelaznih vjerojatnosti
P(0) jednaka je
P(0) = I;
pii (0) = 1 pij (0) = 0;
Promatrajmo prijelaznu vjerojatnosti
qij
@pij (t)
@t

t=0
za
pij (t) kada je t > 0 i i 6= j .
i 6= j
Vrijedi sljedee:
pij (t) pij (0)

pij (t)
= lim
=
lim
t!0
t!0 t :
t
t ne tei k nuli nego da je t relativno mala veliina, onda moemo napisati

pij (t) = qij t + o(t)
1
gdje je o ve spomenuti Landauov simbol . Ako stavimo da je j = i, dobivamo

@pii (t)
pii (t) pii (0)
pii (t) 1
qii =
=
lim
=
lim

t!0
@t t=0 t!0
t
t
pii (t) = 1 + qii t + o(t)
Ako uzmemo da
Dakle, ukoliko promatramo stanje

(4.27) i (4.28).
(4.27)
(4.28)
i nekog lanca, onda za takvo stanje moemo uvijek postaviti jednadbe
Ove jednadbe zovemo svojstvima regularnosti Markovljevog lanca kontinuiranog po
parametru ili Kolmogorovljevim diferencijskim jednadbama.
Proces postavljanja jednadbi moemo
olakati ukoliko nacrtamo dijagram stanja za takav lanac (slika 4.8).

Prisjetimo se naina na koji je bilo denirano svojstvo regularnosti Poissonovog procesa:
pn;n+1 (t) = t + o(t)

pn;n (t) = 1 t + o(t)
pn;n+k (t) = o(t); k > 1
Uoavamo da su jednadbe regularnosti Poissonovog procesa zapravo diferencijske Kolmogorovljeve jed-
qii = , qi;i+1 = , inae qij
= 0.
je intenzitet pojavljikoecijent qij

predstavlja intenzitet prijelaza iz stanja i u stanje j kada se Markovljev lanac nalazi u stanju i. Ono to je
nadbe. Odmah uoavamo da je
Parametar
vanja (realiziranja) dogaaja kojeg broji Poissonov proces. Shodno tome, zakljuujemo da
1 o(h) je bilo koja funkcija sa svojstvom
o(h)
lim
!0 h
168
POGLAVLJE 4.
MARKOVLJEVI LANCI
Slika 4.8: Segment dijagrama stanja Markovljevog lanca kontinuiranog u vremenu
qij ; i 6= j pomnoimo s jako malim vremenskim

t, dobivamo vjerojatnost da lanac u periodu t prijee iz stanja i u stanje j .
izuzetno zanimljivo je da ukoliko vrijednost koecijenta

intervalom duljine
Q shvaamo kao intenzitete prijelaza. Matricu Q

innitezimalnom matricom. Koecijente qij jo zovemo i
U skladu s ovim opaanjem, elemente matrice

zovemo matricom intenziteta prijelaza ili jo
gustoama prijelaza.
Pogledajmo kakva pravila vrijede u toj matrici. Analizirajmo izraz (4.27). Budui da vjerojatnost ne
smije biti manja od 0, zakljuujemo da mora biti ispunjeno:
qij
0;
i 6= j
za
(4.29)
Isto tako, vjerojatnost ne smije biti vea od 1, pa iz (4.28) zakljuujemo da mora biti ispunjeno:
qii 0
(4.30)
Elementi matrice gustoe prijelaza na dijagonali su tako uvijek negativni, a na sporednim dijagonalama
pozitivni. Pored ovoga moemo zakljuiti i sljedee:
d
dt
j
X
j
X
j
pij (t)
= 1 )
pij (t)
p0ij (t)
= 0;
qij
d
(1)
dt
a uz
t=0
= 0
(4.31)
Zbroj gustoa prijelaza u bilo kojem retku matrice gustoe prijelaza jednak je 0. Stoga mora biti zadovoljeno:
qii =
j; j 6=i
qij
(4.32)
Demonstrirajmo ovaj zakljuak na primjeru matrice intenziteta prijelaza Poissonovog procesa.
Primjer 4.7
Pronaimo matricu gustoa prijelaza za Poissonov proces. Iz primjera 4.6 nam je poznata
matrica prijelaza ovog Markovljevog procesa kontinuiranog u vremenu:
P[s;t] = e (t
1
6
6 0
6
s) 6
6 0
6 .
6
4
.
.
.
.
.
[(t s)]1 [(t s)]2 [(t s)]3 : : :

1!
[(t2!s)]1 [(t3!s)]2 : : :
1
1!
[(t2!s)]1 : : :
0
1
1!
.
.
..
.
.
.
.
.
:::
.
.
.
.
.
.
.
.
.
..
3
7
7
7
7
7
7
7
5
4.2.
169
Opi lan te matrice je:
p[ijs;t] = P [X (t + s) X (s) = j i] = e
Opi lan matrice
Q je qij

@pij (t)
@t t=0 .
t
((jt) i)!
j i
Dakle opi lan matrice gustoe prijelaza je

(
t)j i e t (t)j i 1
qij = e
(j i)! + (j i 1)! t=0
Za i = j dobivamo qii =
, za i = j 1 dobivamo qi;i+1 = , a za i 6= j i j > i + 1 dobivamo qij = 0.
Matrica gustoe prijelaza je:
2
3
0 :::
6 0
::: 7
Q=6
6 0
0 : : : 775
4
t
.
.
.
U veini zadataka koje emo rjeavati, matrica
.
.
.
.
.
.
..
je poznata ili se do nje dolazi preko dijagrama
stanja. Zadatak je nai matricu prijelaznih vjerojatnosti. Do matrice prijelaznih vjerojatnosti se dolazi
rjeavanjem Kolmogorovljevih jednadbi unaprijed i unazad, izravno ili koristei odreene metode. Vjerojatnosti iz ove matrice se mogu shvatiti kao funkcija vjerojatnosti neke sluajne varijable, na primjer
varijable duljine repa u redu ekanja. Raunanjem oekivanja takve varijable moemo odrediti srednju
duljinu repa ili srednje vrijeme ekanja itd.
4.2.2
Dijagram stanja Markovljevog lanca s kontinuiranim parametrom
Q odredili na osnovu poznate funkcije vjerojatnosti prijelaza

Q iz denicije samog
konstruiranje matrice Q koristimo dijagram stanja. Taj dijagram
U primjeru 4.7 smo matricu gustoa prijelaza

iz stanja
i u stanje i +1.
No, u opem sluaju se javlja problem konstruiranja matrice
problema. Kao pomono sredstvo za
stanja je slian dijagramu stanja kod Markovljevih lanaca s diskretnim parametrom, no na strelicama
koje predstavljaju prijelaze izmeu stanja piemo intenzitete prijelaza. Na slici 4.9 je prikazan dijagram
stanja Poissonovog procesa.
Slika 4.9: Dijagram stanja Poissonovog procesa
Pri izradi dijagrama stanja se ne crtaju prijelazi iji je intenzitet 0.
Tako je sa slike jasno da je
intenzitet vraanja Poissionovog procesa u neko od niih stanja jednako 0.
Time smo denirali da
Poissonov proces ne moe smanjiti svoje stanje, to je u skladu s denicijom procesa brojanja. Isto tako,
iz dijagrama slijedi da Poissonov proces ne moe skoiti iz stanja
n u stanje n + i; i > 1.
To je u skladu
s denicijom da Poissonov proces broji samo pojedinane realizacije dogaaja koje promatra. U sluaju
Poissonovog procesa s gomilanjem, ovi prijelazi bi imali intenzitet vei od 0.
Vano je uoiti smisao intenziteta koje zapisujemo na strelicama prijelaza.
procesa,
predstavlja intenzitet pojavljivanja dogaaja koji se broje.
U sluaju Poissonovog
Jasno da taj intenzitet ne opada s
brojem prebrojanih dogaaja. No, u veini sluajeva intenziteti ovise o trenutnom i ciljanom stanju.
Promatrajmo skupinu od
telefonskih pretplatnika koji su spojeni na grupni stupanj neke centrale.
Svaki korisnik moe biti u aktivnom stanju, kad razgovara, i u neaktivnom stanju, kad je slualica
sputena. Pretpostavimo da se svaki korisnik pojedinano moe opisati dijagramom stanja na slici 4.10 .
Stanje 0 predstavlja neaktivno stanje pretplatnika, a stanje 1 aktivno stanje.
Promatrajmo sada
Markovljev lanac ije stanje predstavlja broj aktivnih pretplatnika. Prostor stanja takvog Markovljevog
2 Ovaj dijagram je aproksimacija dijagrama koji precizno opisuje aktivnost telefonskog pretplatnika
170
POGLAVLJE 4.
MARKOVLJEVI LANCI
Slika 4.10: Dijagram stanja telefonskog pretplatnika
lanca je konaan
E = f0; 1; : : : ; N g.
korisnika za 1 je
(slika 4.11)
k.
k, onda je aktivno k pretplatnika pa je

k). Intenzitet smanjenja broja aktivnih
Kada je takav lanac u stanju
intenzitet pojavljivanja jo jednog aktivnog pretplatnika
(N
Na osnovu ovog razmatranja moemo nacrtati dijagram stanja Markovljevog lanca
3 . Iz dijagrama stanja neposredno iitavamo elemente innitezimalne matrice
Q.
Matrica
Slika 4.11: Dijagram stanja broja aktivnih pretplatnika
ima dimenziju jednaku broju stanja lanca kojeg smo denirali dijagramom stanja -
qij ; i 6= j
je jednak intenzitetu prijelaza iz stanja
formuli (4.31):
Q=
4.2.3
6
6
6
6
6
4
qii =
N

.
.
.
0
0
N
(N
.
.
.
1) (N
0
0
0
.
.
.
u stanje
j 6=i
0
0
s dijagrama. Elemente
N + 1. Element
qii raunamo po
qij
0
0
:::
1) : : :
..
0
0
.
.
.
.
.
.
(N 1)
0
:::
:::
(N 1)
N
0
0

.
.
.

N
3
7
7
7
7
7
5

i eksponencijalna razdioba
Upoznati smo s injenicom da su vremena izmeu dva uzastopna nailaska dogaaja Poissonovog procesa
brojanja raspodijeljena eksponencijalno. Pokazat emo da je u bilo kojem Markovljevom lancu s kontinuiranim parametrom vrijeme izmeu dvije uzastopne promjene stanja procesa raspodijeljeno eksponencijalno.
3 Ovaj dijagram je rezultat razmatranja diferencijskih jednadbi:
p01 (t + t) = t + o(t);
pk;k+1 (t + t) =
X p01(t + t);
=1
pk;k+1 (t + t) = (N
p10 (t + t) = t + o(t)

pk;k 1 (t + t) =
k)t + o(t);
X p10(t + t)
k
=1
pk;k 1 (t + t) = kt + o(t)
4.2.
171
Teorem 4.4 (Razdioba ostanka Markovljevog lanca u istom stanju)
Neka je fXt j 0 t < 1g homogeni Markovljev lanac s pripadnom matricom gustoa prijelaza Q.
Neka je Ti sluajna varijabla koja mjeri vrijeme ostanka procesa u istom stanju i, odnosno varijabla koja
mjeri vrijeme izmeu ulaska i izlaska Markovljevog lanca u/iz stanja i. Tada sluajna varijabla Ti ima
eksponencijalnu razdiobu s parametrom = qii :
Ti Ex[ qii ]
(4.33)
gdje je qii pripadni dijagonalni element u i-tom stupcu matrice Q.

Dokaz:
Uoimo i-ti redak matrice Q:
qi = [qi1 ; qi2 ; : : : ; qii ; : : :]
Za svaki element ovog retka moemo napisati:
pij ( ) = qij + o( ); i 6= j

Neka je vjerojatnost p( ) jednaka:
p( ) =
j; j 6=i
pij ( ) =
j; j 6=i
qij + o( ) = qii + o( )
Promatrajmo vremenski period duljine i izraunajmo vjerojatnost P [Ti > ]. Podijelimo period na n
dijelova (slika 4.12), tako da je:
= n
Funkciju razdiobe sluajne varijable Ti moemo izraunati na sljedei nain:
Slika 4.12: Uz dokaz teorema
FTi ( ) = P [Ti ] = nlim

!1
= nlim
!1 1 [1
n
X
(1
p( ))i p( ) = nlim

!1
i=0
p( )]n+1 = 1
lim [1
n!1
1 [1 p( )]n+1 p( )

1 1 + p( )
p( )]n+1
Prethodni izraz moemo interpretirati na sljedei nain. Ako smo period podijelili na jako veliki broj
jednakih segmenata (n), onda je svaka kontinuirana vrijednost u < priblino jednaka i=n, za neki i. Ta
je vrijednost tonije opisana to je n vei. Vjerojatnost da je Ti < jednaka je zbroju vjerojatnosti da je Ti
tono jednaka i =n preko svih i = 0; : : : ; n i da je nakon toga proces promijenio stanje. p( ) oznaava
vjerojatnost da u buduem trenutku proces prijee u novo stanje. Poto budue stanje Markovljevog
lanca ovisi samo o sadanjem, to su svi p( ) jednaki, pa se jedna realizacija sluajne varijable Ti ravna
172
POGLAVLJE 4.
MARKOVLJEVI LANCI
po geometrijskoj razdiobi kao i u sluaju Markovljevog procesa s diskretnim parametrom. Sada jedino
trebamo jo rijeiti gornji limes.
Budui da Landauov simbol tei k nuli bre nego sam parametar, to u limesu zbog jednostavnosti
slobodno moemo ispustiti Landauov simbol:
in+1

n+1
+ o(=n)
lim
[1
p
(

)]
=
1
lim
1
+
q
ii
n!1
n!1
n
h
i
n+1
= 1 nlim
1
+
q
= 1 eqii
ii
!1
n
FTi ( ) = 1
Time smo jednostavno pokazali da sluajna varijabla Ti ima eksponencijalnu razdiobu s parametrom qii ,
Ti Ex[ qii ].
Q.E.D.
Dakle, vrijeme koje Markovljev proces provodi u istom stanju je raspodijeljeno eksponencijalno s
parametrom koji je jednak zbroju gustoa prijelaza iz promatranog stanja u sva druga mogua stanja
osim promatranog. Ovaj rezultat je iznimno vaan. On nas upuuje na zakljuak da se svi procesi u kojima
se pojavljuju eksponencijalno raspodijeljene varijable mogu opisati Markovljevim lancem s kontinuiranim
parametrom. Ovaj rezultat se moe neposredno primijeniti i pri simulaciji Markovljevih procesa.
4.2.4
Ope rjeenje Kolmogorovljevih jednadbi
Zamislimo sljedei model prometnog izvorita: Nekakav izvor prometa (nekakav telefon) moe se nalaziti
u dva stanja (proces
X (t) se moe nalaziti u dva stanja):
u stanju u kojem generira promet i u kojem je
neaktivan. Neka je vrijeme koje provede u aktivnom stanju raspodijeljeno po eksponencijalnoj razdiobi
s parametrom
(E []),
a neka je vrijeme koje provede u neaktivnom stanju takoer raspodijeljeno po
eksponencijalnoj razdiobi s parametrom
(E []). Izraunajmo matricu prijelaznih

t nalazi u stanju 0 odnosno 1.
vjerojatnosti
Izraunajmo vjerojatnost da se proces u trenutku
P(t).
Denirajmo da je proces u stanju 1 kada je izvor aktivan, a u stanju 0 kada je izvor neaktivan.
Pretpostavimo da je na poetku izvor u stanju 0. Bez obzira kada smo poeli promatrati izvor, moemo
pretpostaviti da e se vrijeme koje e izvor provesti u istom stanju ponaati po eksponencijalnoj razdiobi
s parametrom
(tvrdnja prethodnog teorema).
Budui da je vrijeme do promjene stanja raspodijeljeno
po eksponencijalnoj razdiobi, onda se broja realizacija promjena ponaa kao Poissonov proces. Kolika
je vjerojatnost da e se promjena stanja iz 0 u 1 dogoditi u budunosti u nekom kratkom periodu
Vjerojatnost je jednaka vjerojatnosti da e se u periodu
h dogoditi tono 1 dogaaj.
h?
Koristei svojstvo
regularnosti Poissonovog procesa moemo napisati sljedee:
p01 (h) = P (X (h) = 1jX (0) = 0) = h + o(h)

h jednaka je vjerojatnosti da
h realizira tono jedan dogaaj Poissonovog procesa s intenzitetom . Koristei
Slino, vjerojatnost da se dogodi promjena iz 1 u 0 u buduem periodu

se u buduem periodu
svojstvo regularnosti dobivamo:
p10 (h) = P (X (h) = 0jX (0) = 1) = h + o(h)

Prema jednadbama koje smo dobili izvodei svojstva matrice gustoe prijelaza iz gornje dvije diferencijske jednadbe dobivamo matricu gustoe prijelaza:
Q=

Do vjerojatnosti prijelaza dolazimo preko Kolmogorovljevih jednadbi.
Rijeimo Kolmogorovljevu
jednadbu unaprijed:
P0 (t) = P(t) Q
p000 (t) p001 (t)

p010 (t) p011 (t)
p00 (t) p01 (t)

p10 (t) p11 (t)

4.2.
173
Mnoenjem matrica dobivamo sljedee etiri jednadbe:
p000 (t) = p00 (t) + p01 (t)

p001 (t) = p00 (t) p01 (t)
p010 (t) = p10 (t) + p11 (t)
p011 (t) = p10 (t) p11 (t)
Takoer vrijedi da je:
p00 (t) + p01 (t) = 1

p10 (t) + p11 (t) = 1
Transformirajui dobivani sustav pomou Laplaceove transformacije u donje podruje i rjeavajui

dobiveni sustav linearnih jednadbi u gornjem podruju dobivamo sljedea rjeenja:

p00 (t) =
+ e
+ +

e
p10 (t) =
+ +

p01 (t) =
e
+ +

p11 (t) =
+ e
+ +
Dobili smo vjerojatnosti prijelaza, tj. elemente matrice
da se proces u nekom trenutku
(+)t
(+)t
(+)t
(+)t
P(t).
Sada moramo izraunati vjerojatnost
nalazi u stanju 0, odnosno u stanju 1. Te vjerojatnosti dobivamo na
sljedei nain:
p1 (t) = P [X (t) = 1] = P [X (t) = 1jX (0) = 0] P [X (0) = 0] + P [X (t) = 1jX (0) = 1] P [X (0) = 1] =
= p01(t) p0(0) + p11(t) p1(0)
p0 (t) = P [X (t) = 0] = P [X (t) = 0jX (0) = 0] P [X (0) = 0] + P [X (t) = 0jX (0) = 1] P [X (0) = 1] =
= p00(t) p0(0) + p10(t) p1(0)
Dobivamo:
p1 (t) =
p1 (0) p0 (0)
+
e
+
+
p0 (t) =

+
(+)t
p1 (0) p0 (0) (+)t

e
+
Dakako, ove vjerojatnosti moemo izraunati samo ako nam netko zada konkretne vrijednosti za
vjerojatnosti
p1 (0) i p0 (0).
Iz ovog primjera nam je jasno da je postupak dobivanja matrice prijelaza relativno sloen, ak i
za jednostavne procese s dva stanja.
Postupak se sastoji od postavljanja velikog broja diferencijalnih
jednadbi i njihovog rjeavanja pomou Laplaceove transformacije.

Na sreu, postoje odreene metode za traenje matrice prijelaznih vjerojatnosti koje se ne temelje na
Laplaceovoj metodi, nego na metodi dijagonalizacije innitezimalne matrice. Prije nego to se upoznamo
s ovom metodom moramo dati teorem o opem rjeenju Kolmogorovljevih jednadbi.
Neka je
kvadratna matrica dimenzije
argument matrica
gdje je
Ak k -ta
potencija matrice
A na sljedei nain:
potencija matrice
A.
n.
Denirajmo specijalnu eksponencijalnu funkciju iji je
eA =
1
X
k=0
Dakle izraz
Ak
k!
e na kvadratnu matricu
(4.34)
treba shvatiti kao zbroj
koji odgovara razvoju eksponencijalne funkcije u red. Rezultat potenciranja baze
174
POGLAVLJE 4.
prirodnog logaritma kvadratnom matricom dimenzije
MARKOVLJEVI LANCI
n je kvadratna matrica dimenzije n.
Uvaavajui
ovu deniciju moemo iskazati sljedei teorem:
Definicija 4.8 (Ope rjeenje Kolmogorovljevih jednadbi)
Neka je zadana Kolmogorovljeva jednadba unaprijed, odnosno unazad:
P0 (t) = P(t) Q;
P0 (t) = Q P(t)
gdje je Q matrica gustoa prijelaza, P(t) matrica prijelaznih vjerojatnosti, a P0 (t) matrica derivacija
elemenata matrice P(t) po parametru t. Neka je zadan i poetni uvjet:
P(0) = I
Ope rjeenje Kolmogorovljevih matrinih diferencijalnih jednadbi je:
P(t) = eQt
(4.35)
Dokaz:
Pretpostavimo da je rjeenje Kolmogorovljevih jednadbi uz zadani uvjet:
P(t) = eQt =
1
X
(Q t)k
k!
k=0
Derivirajmo gornji red po parametru t.

(1
X
(Q t)k =
k!
k=0
(
1 (Q t)k )
d
d X
= dt fIg + dt
k!
k=1
d
P0 (t) =
dt
Uoimo da je:
d
dt
Slijedi:
(Q t)k = d Qk tk = Qk d tk = Q Qk 1 tk 1 = Qk 1 tk 1 Q
k!
dt
k!
dt k!
k 1!
k 1!
P0 (t) = 0 +
1
X
k=1
tk 1
Q Qk 1
k
1! = Q
1
X
k=1
tk 1
Qk 1
k
1! = Q P(t)
Slino pokazujemo i za Kolmogorovljevu jednadbu unaprijed:
P0 (t) = 0 +
1
X
k=1
1
X
tk 1

Q=
Qk 1
Q = P(t) Q
k 1!
k 1!
k=1
tk 1
Qk 1
Jednadba zadovoljava poetni uvjet problema:
P(0) = lim eQt = e0 =

t!0
1 0k
X
= 00! = I
k
!
k=0
Q.E.D.
4.2.
175
Pogledajmo na koji nain moemo iskoristiti ovaj teorem. Pretpostavimo da matrica

svojstvene vrijednosti. Druge sluajeve neemo razmatrati. Ako matrica
Q ima razliite
ima sve razliite svojstvene
vrijednosti, onda se ona zasigurno moe dijagonalizirati i zapisati u obliku:
Q=SDS 1
Slijedi:
eQt
Budui da se
Dn
1
X
Q k tk
1
X
=S
k!
k=0
Dk tk
S 1 = S eDt S 1
k!
k=0
dobiva kao dijagonalna matrica
kojoj su svi lanovi potencirani na
n, to slijedi
da je:
eDt
gdje su
i
6
6
6
4
svojstvene vrijednosti matrice
Q.
e1 t
e2 t
.
.
.
.
.
.
..
0
0
:::
:::
7
7
7
5
.
.
.
: : : ek t
Ope rjeenje moemo napisati u sljedeem obliku:
2
6
e1 t
P(t) = eQt = S 6
6
e2 t
.
.
.
.
.
.
..
0
0
:::
:::
.
.
.
: : : ek t
7
7
7S
5
Rijeimo prethodni primjer na ovaj novi nain.
Primjer 4.8
Pronaimo prijelazne vjerojatnosti Markovljevog lanca kontinuiranog u vremenu s dva
stanja ija je matrica gustoa prijelaza:
Q=
Q) = det

Svojstvene vrijednosti su
Za
1 = 0,
+b
b
a +a

1 = 0, 2 =
b
a
1 =
(a + b),
Nadalje slijedi:
Rjeenje je:
ab = 2 + (a + b) = [ + a + b] = 0
(a + b). Svojstveni vektori su:
Q ~e2 =

= ( + a)( + b)
Q ~e1 = 0 ~e1
Za
b
a
Q:
Pronaimo svojstvene vrijednosti matrice
det(I
1 1
S=
1 ab
) ~e1 = 11
(a + b) ~e2 )
) S 1=
eDt =
1
0
~e2 =
a
a+b

e (a+b)t
b
a
1
1 1
b
a
176
POGLAVLJE 4.
P(t) =
a+b
2
4.2.5
a 4
a+b
1 1 1
0
1 ab
b
a
b
a

e (a+b)t
e (a+b)t
b e (a+b)t
1
1 1
b
a
1 + e (a+b)t
1 ab e (a+b)t
+a
MARKOVLJEVI LANCI
3
5
Opis Markovljevog lanca diferencijalnim jednadbama
t > 0. Jedan
t je da izraunamo matricu prijelaznih vjerojatnosti
Razmatrajmo raunanje vjerojatnosti stanja Markovljevog lanca u proizvoljnom trenutku

nain da izraunamo vjerojatnosti stanja u trenutku
P(t)
i vektor vjerojatnosti stanja
p(t) dobijemo pomou jednadbe:

p(t) = P(t)> p(0)
gdje je
p(0) razdioba vjerojatnosti stanja u trenutku t = 0.

p(t) = eQt
>
(4.36)
Dobivamo:
p(0):
Ovaj nain moe biti opravdan ako je mogue dijagonalizirati matricu
Q.
Meutim, ponekad moramo
rjeavati Markovljeve lance za opi sluaj i u tom sluaju ne moemo primijeniti nikakve numerike
metode za dijagonalizaciju matrice
Q.
Q.
To je naroito neizvedivo u sluaju beskonano velike matrice
U takvim sluajevima je do razdiobe stanja lanca
neto
lake doi postavljanjem i rjeavanjem
diferencijalnih jednadbi.
Ovdje elimo samo demonstrirati postupak postavljanja diferencijalnih jednadbi jer e nam takav
postupak biti izuzetno koristan u kasnijem razmatranju, kada budemo promatrali beskonane i strukturirane Markovljeve lance u stacionarnom stanju. Pogledajmo sljedei primjer:
Primjer 4.9
Pogledajmo dijagram stanja Markovljevog lanca prikazan na slici 4.13. Odredimo vjeroja-
Slika 4.13: Dijagram stanja trinarnog Markovljevog lanca
tnosti stanja ovog lanca u trenutku
t > 0. Moemo razmiljati na sljedei nain. Ako je u trenutku t + h

t bio u stanju 0 i nije promijenio stanje, ili je bio u stanju 1 pa je
proces u stanju 0, onda je u trenutku
skoio u stanje 0, ili pak bio u stanju 2 pa je skoio u stanje 0. To moemo zapisati ovako:
p0 (t + h) = p0 (t)[1 0 h + o0 (h)] + p1 (t)1 h + o1 (h) + p2 (t)0 h + o2 (h)

Budui da Landauov simbol opada bre od
a da time ne izgubimo tonost jednadbe.
jednadbe:
h, to korekcije oi (h) moemo zamijeniti jednim jedinim o(h),
Slinim razmatranjem za ostala stanja dobivamo sljedee
p0 (t + h) = p0 (t)(1 0 h) + p1 (t)1 h + p2 (t)0 h + o( h)

p1 (t + h) = p0 (t)0 h + p1 (t)[1 (1 + 1)h] + p2 (t)2 h + o(h)
p2 (t + h) = p1 (t)1 h + p2 (t)[1 (0 + 2 )h] + o(h)
4.2.
177
Vidimo da je u svim jednadbama indeks vjerojatnosti
pi (t)
s desne strane koja mnoi 1.
jednadbe s
pi (t + h) s lijeve strane jednak indeksu vjerojatnosti
Prebacimo sve takve vjerojatnosti na lijevu stranu, podjelimo sve
h i potraimo limese s lijeve i desne strane kada h tei k nuli:

p0 (t + h) p0 (t)
h
p1 (t + h) p1 (t)
h
p2 (t + h) p2 (t)
h
nadalje je:
o h)
p0(t)0 + p1 (t)1 + p2 (t)0 + (
= lim
h!0
h
o(h)
= p0(t)0 p1(t)(1 + 1) + p2(t)2 + h = hlim
!0
o(h)
= p1(t)1 p2(t)(0 + 2) + h = hlim
!0
dp0 (t)
dt
dp1 (t)
dt
dp2 (t)
dt
p0 (t)0 + p1 (t)1 + p2 (t)0
= p0(t)0
p1 (t)(1 + 1 ) + p2 (t)2
= p1(t)1
p2 (t)(0 + 2 ):
Tako smo dobili sustav lako rjeivih diferencijalnih jednadbi.

matricu
Q:
0
1
0
Q=4
Ukoliko pogledamo innitezimalnu
0
1
(0 + 2)
0
(1 + 1 )
2
3
5
zakljuujemo da sustav diferencijalnih jednadbi koji smo dobili zadovoljava matrino-vektorsku jednadbu:
p0 (t) = Q> p(t)

2
odnosno:
p00 (t)
p01 (t)
p02 (t)
=4
0
0
1
(1 + mu1)
1
(4.37)
0
2
(0 + 2 )
3 2
5 4
p0 (t)
p1 (t)
p2 (t)
3
5:
Jednadba (4.37) koju smo dobili je rezultat diferenciranja jednadbe (4.36):
p(t) = P(t)> p(0) =
p0 (t) = P0 (t)> p(0)
d
dt
p0 (t) = [QP(t)]> p(0)
p0 (t) = [QP(t)]> p(0)

p0 (t) = Q> P(t)> p(0)
p0 (t) = Q> p(t)
Za rjeavanje dobivenih diferencijalnih jednadbi trebamo poznavati vektor razdiobe stanja procesa
na poetku -
p(0).
Poetno stanje je obino poznato, pa emo i u ovom primjeru pretpostaviti da je
proces u poetku u stanju 0, to implicira
p0 (0)
= 1.
Sustav najlake rjeavamo pomou Laplaceove
transformacije . Transformirajmo obje strane Laplaceovom transformacijom:
sP0 (s)
sP1 (s)
sP2 (s)
Sreivanjem dobivamo:
1 = P0 (s)0 + P1 (s)1 + P2 (s)0

0 = P0 (s)0 P1 (s)(1 + 1) + P2(s)2
0 = P1 (s)1 P2 (s)(0 + 2 )
P0 (s)(s + 0 ) P1 (s)1 P2 (s)0 = 1

P0 (s)0 + P1 (s)(s + 1 + 1 ) P2 (s)2 = 0
P1 (s)1 + P2 (s)(s + 0 + 2 ) = 0
4 U dodatku A na kraju skripte detaljno je obraena Laplaceova transformacija
178
POGLAVLJE 4.
MARKOVLJEVI LANCI
Na alost, sada nastupaju veliki problemi. Kada rijeimo sustav linearnih jednadbi po nepoznanicama
P0 (s); P1 (s)P2 (s), dobivamo izuzetno kompleksna rjeenja:

(0 0 + 1(0 + 2 )) + (0 + 0 + 1 + 2)s + s2
P0 (s) =
s(1 (0 + s) + (1 + s)(0 + 2 + s) + 0 (1 + 0 + 2 + s))
0 (0 + 2 ) + s0
P1 (s) =
s(1 (0 + s) + (1 + s)(0 + 2 + s) + 0 (1 + 0 + 2 + s))
0 1
P2 (s) =
:
s(1 (0 + s) + (1 + s)(0 + 2 + s) + 0 (1 + 0 + 2 + s))
Ovakve jednadbe u opem sluaju teko rjeavamo i kako bismo rjeavanje uinili razumnim, moramo
koristiti odreene matematike alate.
Ovaj postupak demonstrira nain na koji moemo postaviti diferencijalne jednadbe za Markovljev
lanac u opem sluaju. Smisao ovog postupka bit e jasan kad se upoznamo s pojmom stacionarnosti
Markovljevog lanca.
Rubni sluaj diferencijalnih jednadbi bit e od izuzetne vanosti pri rjeavanju
problema beskonanih jednostruko povezanih lanaca - procesa raanja i umiranja.
4.2.6
Stacionarnost Markovljevog lanca
Prisjetimo se nakratko primjera 4.8. Na slici 4.14 su prikazani grafovi vjerojatnosti prijelaza za proizvoljno
izabrane vrijednosti parametara
a i b.
Slika 4.14: Grafovi prijelaznih vjerojatnosti
Lako je uoiti da prijelazne vjerojatnosti za ovaj primjer konvergiraju odreenim vrijednostima. Prijelazne vjerojatnosti u stanje 0 se asimptotski pribliavaju jednoj vrijednosti, a prijelazne vjerojatnosti
u stanje 1 drugoj vrijednosti. Krivulje prijelaznih vjerojatnosti u funkciji vremena
t su glatke funkcije, i
njihova derivacija opada s vremenom i tei k nuli. Ova opaanja vrijede i za opi Markovljev lanac, ali
pod odreenim uvjetima.
Prisjetimo se denicija ireducibilnosti i erogodinosti za Markovljeve lance diskretne po parametru.
Neka iste denicije vrijede i u kontinuiranom obliku. Do njih dolazimo zamjenjujui pojam korak i broj
koraka s vremenom. Vrijedi sljedei teorem:
Teorem 4.5 (Stacionarnost Markovljevog lanca kontinuiranog u vremenu)
Za ireducibilan Markovljev lanac vrijedi sljedee:

1. uvijek postoje limesi:
lim (t) = p^j 0
p
t!1 ij
(4.38)
i vrijednosti limesa p^j ne ovise o poetnom stanju lanca ili razdiobi vjerojatnosti stanja u t = 0,
4.2.
179
2. za ergodian i ireducibilan Markovljev lanac postoje limesi:
lim (t) = tlim

!1
p
t!1 j
pij (t) pi (0) = p^j 0
(4.39)
i vrijednosti limesa ne ovise o poetnom stanju lanca ili razdiobi vjerojatnosti stanja u t = 0,
3. ukoliko vrijede (4.38) i (4.39) i zadovoljeno je:
X
onda je i
lim
t!1
p^j = 1
dpij (t)
dt
(4.40)
= 0:
(4.41)
Ovaj teorem ima nekoliko implikacija. Svi ireducibilni Markovljevi lanci imaju sposobnost ulaska u
stacionarno stanje. Stacionarno stanje moemo zamisliti kao stanje procesa u kojem (diskretna) razdioba
stanja lanca:
X
ne ovisi o vrijednosti parametra
t.
x1 x2 : : : xi : : :
p^1 p^2 : : : pî : : :
Drugim rijeima, ireducibilan lanac u poetku prolazi kroz odreeni
prijelazni period i polako ulazi u stacionarno stanje. Stacionarno stanje odlikuje svojstvo da vjerojatnost
da se lanac nalazi u stanju
i ne mijenja u vremenu, da prijelazne vjerojatnosti ne ovise o vremenu i da je
derivacija prijelaznih vjerojatnosti po vremenu jednaka 0.

Budui da je zadovoljen izraz (4.38), to je limes matrice prijelaznih vjerojatnosti matrica iji su reci
jednaki vektoru stacionarnih vjerojatnosti
^=
P
6
6
6
6
t!1 6
6
4
lim P(t) = lim
t!1
p^ > = [^
p1 p^1 : : :]:
p11 (t) p12 (t) : : : p1j (t) : : :

p21 (t) p22 (t) : : : p2j (t) : : :
.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
pi1 (t) pi2 (t) : : : pij (t) : : :
7
7
7
7
7
7
5
6
6
6
6
6
6
4
p^1 p^2 : : : p^j : : :

p^1 p^2 : : : p^j : : :
.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
p^1 p^2 : : : p^j : : :
3
7
7
7
7
7
7
5
Dakle, stacionarne vjerojatnosti Markovljevog lanca moemo iitati iz bilo kojeg retka matrice
kada
tei u beskonano.
Zbroj elemenata bilo kojeg retka jednak je 1.
razdiobe vjerojatnosti stanja Markovljevog lanca u trenutku
t:
Neka je vektor
p(t)
P(t)
vektor
p(t) = P(t)> p(0)

2
6
6
6
6
6
6
4
p1 (t)
p2 (t)
.
.
.
pj (t)
.
.
.
7
7
7
7
7
7
5
6
6
6
6
6
6
4
p11 (t) p21 (t) : : : pi1 (t) : : :

p12 (t) p22 (t) : : : pi2 (t) : : :
.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
p1j (t) p2j (t) : : : pij (t) : : :
3 2
7
7
7
7
7
7
5
pî .
.
.
.
pj (0)
.
.
.
3
7
7
7
7
7
7
5
2 P
Pi pi1
6
i pi2
6
6
6
6 P
6
i pij
4
Stoga ispred sume koja se javlja u vektoru razdiobe stanja moemo izluiti
pij (t) pi (0) = p^j
X
|
(t) pi (0) 3
(t) pi (0) 77
.
.
.
(t) pi (0)
.
.
.
7
7
7
7
5
P(t) bit e sastavljeni od jednakih elemenata
Ako potraimo limes prethodne jednakosti, svi reci matrice

-
6
6
6
6
6
6
4
p1 (0)
p2 (0)
pi (0) = p^j :
{z
=1
p^j :
180
POGLAVLJE 4.
Slijedi:
2
6
6
6
6
t!1 6
6
4
lim p(t) = lim
t!1
p1 (t)
p2 (t)
.
.
.
pj (t)
.
.
.
7
7
7
7
7
7
5
6
6
6
6
6
6
4
p^1
p^2
MARKOVLJEVI LANCI
7
7
7
7
7
pj 7
5
.
.
.
= p^ :
.
.
.
Time smo pokazali da je stacionarna razdioba stanja Markovljevog lanca neovisna o razdiobi poetnog
stanja procesa.
Veina problema koji se javljaju u teoriji prometa daju se opisati ireducibilnim Markovljevim lancima.
Ti problemi se daju rijeiti jedino poznavanjem stacionarnih vjerojatnosti stanja procesa. Stoga se nadalje
usredotoujemo na izraunavanje vektora stacionarnih vjerojatnosti
p^ .
Jedan nain izraunavanja stacionarnih vjerojatnosti je traenjem limesa

vektora
p^ u bilo kojem retku dobivenog limesa.
limt!1 P(t) i iitavanjem
Evo kako bismo stacionarne vjerojatnosti nali za primjer
Markovljevog lanca iz primjera 4.8.
Primjer 4.10 (nastavak primjera 4.8)
^=
P
lim P(t) =
t!1
a+b
Pronaimo stacionarne vjerojatnosti traei limes:
^=
P
lim P(t)
1 1 1 0 ab 1 =
0 0
1 ab
1 1
t!1
b
a
b
a
a+b
1
1
Bilo koji redak dobivene matrice daje nam stacionarne vjerojatnosti:
2
6
p^ = 6
4
a+b
a
a+b
3
7
7
5
Metoda traenja stacionarnih vjerojatnosti traenjem limesa matrice vjerojatnosti prijelaza je sloen
postupak, no u nekim sluajevima moe biti izuzetno koristan.
Standardne metode koje se koriste za
traenje stacionarnih vjerojatnosti su metoda rjeavanja sustava linearnih jednadbi i metoda globalne
ravnotee.
4.2.7
Metoda raunanja stacionarnih vjerojatnosti rjeavanjem sustava lineranih jednadbi
Razmatrajmo Kolmogorovljevu jednadbu unaprijed:
P0 (t) = P(t) Q
Potraimo li limes kada
t tei u beskonano, lan P0 (t) postaje jednak nul-matrici 0.
Dakle, Kolmogorovl-
jeva jednadba za stacionarno stanje procesa postaje jednaka:
^ Q:
0=P
Budui da su reci matrice
gdje je
^ svi jednaki, jednadbu (4.42) moemo zapisati i u obliku

P
~0 nul-vektor stupac.
s nepoznanicama
p^j .
~0 = Q> p^ :
(4.42)
(4.43)
Jednadba (4.43) predstavlja sustav linearnih jednadbi
qij p^j = 0
Sustav jednadbi je homogen, pa ovim jednadbama dodajemo jednadbu:
p^j = 1
ime sustav postaje netrivijalno rjeiv. Demonstrirajmo ovu metodu sljedeim primjerom:
(4.44)
4.2.
181
Primjer 4.11
Zadan je Markovljev lanac dijagramom stanja na slici 4.15. Potrebno je izraunati sta-
cionarne vjerojatnosti stanja lanca.
Matrica gustoa prijelaza je:
Q=4
2 2 0 3
4 7 3 5
5 0 5
Iz (4.44) proizlazi sljedei sustav linearnih jednadbi:
2^p0 + 4^p1 + 5^p2 = 0

2^p0 7^p1 + 0^p2 = 0
0^p0 + 3^p1 5^p2 = 0
Dobiveni sustav jednadbi je homogen, pa jednu od jednadbi zamjenjujemo jednadbom
p^0 + p^2 + p^2 = 1

Mogui konani sustav linearnih jednadbi je:
1^p0 + 1^p1 + 1^p2 = 1

2^p0 7^p1 + 0^p2 = 0
0^p0 + 3^p1 5^p2 = 0
Ovaj sustav rjeavamo Gauss-Jordanovom metodom eliminacije ili Cramerovom metodom.
1. Gauss-Jordanova metoda:
2
6
4
2
1 1 1 1 3
1 0 0
2 7 0 0 75 = : : : = 64 0 1 0
0 3 5 0
0 0 1
2. Cramerova metoda:
D0 =
1
0
0
35
51
10
51
2
17
3
7
5
1 1 1
D = 2 7 0 = 51

0 3 5

1 1
1
1 1
1
1

7 0 = 35; D1 = 2 0 0 = 10; D2 = 2 7
0 0
0
3 5
5
3
D
35
D
10
D
6 2
p^0 = 0 = ; p^1 = 1 = ; p^2 = 2 = =
D 51
D 51
D 51 17
1
0
0
=6
Metoda raunanja stacionarnih vjerojatnosti sustavom linearnih jednadbi je povoljna samo ukoliko
imamo Markovljeve lance s konanim, relativno malim brojem stanja. Ukoliko se pojavi problem rjeavanja Markovljevog lanca s beskonanim brojem elemenata, metoda sa sustavom linearnih jednadbi je
gotovo beskorisna i moramo pronai druge naine. Jedan od naina rjeavanja ovog problema je postavljanjem jednadbi globalne ravnotee.
182
4.2.8
POGLAVLJE 4.
MARKOVLJEVI LANCI
Jednadbe globalne ravnotee
Promotrimo jo jednom dijagram stanja iz prethodnog primjera (slika 4.16).
Zamislimo da su stanja dijagrama vorovi u mrei, a grane tokovi podataka. U stacionarnom stanju
globalne
iz kojeg tok izlazi. Tok
(stanju ravnotee) tok koji ulazi u vor mora biti jednak toku koji izlazi iz vora. To je svojstvo
ravnotee.
Tok odgovara umnoku intenziteta i stacionarne vjerojatnosti stanja
tako moemo zamisliti kao efektivni intenzitet.

Za stanja 0, 1 i 2 moemo napisati sljedee
jednadbe ravnotee :
2^p0 = 4^p1 + 5^p2;

(4 + 3)^p1 = 2^p0;
5^p2 = 3^p1;
stanje 0
stanje 1
stanje 2
Moemo uoiti da ove jednadbe u potpunosti odgovaraju sustavu linearnih jednadbi kojeg smo dobili rjeavajui Kolmogorovljevu jednadbu u prethodnom primjeru. Dakako, to nije sluajno. Princip
globalne ravnotee vrijedi openito, za sve Markovljeve lance. Taj nam princip omoguava postavljanje
sustava linearnih jednadbi neposredno iz dijagrama stanja Markovljevog lanca. Jednadbe koje dobivamo su homogene pa ih, kao i prije, nadopunjujemo jednadbom
pî = 1:
Jednadbe globalne ravnotee se postavljaju jednostavno, no njihovo rjeavanje je pitanje strukturiranosti Markovljevog lanca. Sljedei primjer demonstrira sluaj povoljno strukturiranog lanca.
Primjer 4.12
Razmatrajmo lanac koji opisuje broj realiziranih poziva na pretplatnikom stupnju cen-
trale. Uz uvjet da je broj pretplatnika jako velik, dolazni proces zahtjeva za uspostavu poziva se moe
aproksimirati Poissonovim procesom. Lanac se moe opisati dijagramom na slici 4.17.
Slika 4.17: Uz primjer 4.12
Postavimo jednadbe globalne ravnotee za ovaj lanac:
p0 = p1
( + )p1 = p0 + 2p2
( + 2)p2 = p1 + 3p3
.
.
.
( + k)pk = pk 1 + (k + 1)pk+1

.
.
.
4.2.
183
Uoimo da je lijeva strana prve jednadbe jednaka prvom lanu desne strane druge jednadbe. Druga
jednadbe se transformira u
= 2p2
Ponavljajui ovaj postupak zakljuujemo da se sve jednadbe transformiraju u
pk = (k + 1) pk+1 :5
Dalje slijedi:
p^k = (k + 1) p^k+1
) p^k+1 = (k + 1) p^k
Da bismo rijeili ovaj sustav moramo pronai opi izraz za
p^k =
Vrijednost
p^0
k!
Sukcesivnim uvrtavanjem dobivamo:
p^0
saznajemo iz jednadbe
1
X
i=0
p^k = 1
e p^0 = 1

1
X
k

i=0
k!
p^0 = 1
) p^0 = 1
e
Funkcija vjerojatnosti stanja lanca je:
p^k =
4.2.9
k

p^k .
k

k!

Vjerojatnosti skokova izmeu stanja Markovljevog lanca
U 4.2.3 smo vidjeli da se vrijeme ostanka Markovljevog procesa u stanju

razdiobi s parametrom
qii .
ravna po eksponencijalnoj
Koristei ovu injenicu, s lakoom moemo modelirati ostanak u istom
stanju za bilo kakav lanac. Problem nastupa kada istekne vrijeme za kojeg proces boravi u istom stanju.
U tom trenutku proces mijenja stanje, a na je zadatak da odredimo budue stanje. Poto je razdioba
vjerojatnosti po stanjima openito nejednolika, moramo izraunati vjerojatnost skoka lanca iz trenutnog
stanja u novo stanje.
Slika 4.18: Vjerojatnost skoka iz stanja
5 Jednadbe ovog oblika zovemo jednadbe lokalne ravnotee
xi
u stanje
xj
184
POGLAVLJE 4.
Promotrimo dio trajektorije Markovljevog lanca prikazan na slici 4.18.
MARKOVLJEVI LANCI
Budui da budue stanje
Markovljevog procesa ovisi samo o trenutnom, ovaj lanac moemo poeti promatrati upravo u trenutku
promjene njegovog stanja.
Vrijeme poetka promatranja po svojstvu odsustva pamenja ne utjee na
konani ishod procesa, pa moemo promatrati kratki period

i potraiti prijelaznu vjerojatnost iz stanja
stanje
xj .
xi
s poetkom u trenutku promjene stanja
u kojem se proces nalazi u trenutku
h = 0 u neko drugo
Jasno je da proces ne moe ponovno prijei u isto stanje jer bi to znailo da proces u trenutku
h = 0 uope ne mijenja stanje, to je u suprotnosti s pretpostavkom. Budui da nas zanima stanje procesa
h, gdje h ! 0, moramo potraiti limes prijelazne vjerojatnosti kada h tei k 0. Oznaimo
stanje procesa u trenutku h s X (h), a mogua stanja procesa s xk . Moemo napisati sljedee:
u trenutku
p~ij =
lim P [X (h) = xj j X (0) = xi \ xi 6= xj ] =

P [X (h) = xj \ X (0) = xi \ xi 6= xj ]
= hlim
=
!0
P [X (0) = xi \ xi 6= xj ]
P [X (h) = xj \ xi 6= xj jX (0) = xi ] P [X (0) = xi ]
=
= hlim
!0
P [xi 6= xj j X (0) = xi ] P [X (0) = xi ]
P [X (h) = xj \ xi 6= xj jX (0) = xi ]
= hlim
=
!0 1 P [X (h) = xi j X (0) = xi ]

X

pij (h)
qij h + o(h)

= hlim
=
lim
=
qii =
qij =

!0 1 pii (h) h!0 1 (1 + qii + o(h))
i; i6=j
qij + o(hh)
qij h + o(h)
= hlim
= qqij ; i 6= j
=
lim
!0 qii h + o(h)
h!0 qii + o(h)
ii
h
h !0
Dakle, vjerojatnost skoka Markovljevog lanca iz stanja
p~ij
xi
u stanje
xj
u trenutku promjene stanja je:
qij
; i 6= j
qii
(4.45)
Koristei injenicu da je vrijeme koje Markovljev lanac provodi u istom stanju raspodijeljeno eksponencijalno i poznavajui vjerojatnosti skokova moemo s lakoom (npr.
u diskretnom simulatoru)
modelirati bilo kakav Markovljev lanac.
4.3
4.3.1
Procesi raanja i umiranja

Procesi raanja
Prisjetimo se matrice gustoa prijelaza

a gustoa ostanka u istom stanju je
Q za Poissonov proces.
:
2
6
Q=6
6
4
Rekli smo da gustou prijelaza
qij
0
0
.
.
.

0
.
.
.
Gustoa prijelaza u prvo vie stanje je
:::
:::
:::
.
.
.
..
,
3
7
7
7
5
moemo shvatiti kao intenzitet prijelaza.
Za Poissonov proces
intenzitet prijelaza ostaje konstantan bez obzira u kojem se stanju proces nalazio. Dopustimo sada da je
intenzitet prijelaza u vie stanje funkcija stanja u kojem se proces nalazi. Proces koji ima svojstvo da mu
gustoa prijelaza u prvo vie stanje ovisi o stanju i uvijek je pozitivna zovemo proces raanja. Procesi
raanja su posebna klasa Markovljevih lanaca u kojima je doputen jedino prijelaz iz trenutnog stanja
u prvo vie stanje
n + 1.
Tipian proces raanja je proces mnoenja bakterija.
Kada imamo samo jednu bakteriju, onda se
odreenim intenzitetom ona podijeli na dvije bakterije. Kada imamo dvije bakterije, tj. kada smo u
stanju 2, onda se intenzitet raanja novih bakterija poveao.
broja bakterija.
Intenzitet raanja raste s poveanjem
4.3.
185
PROCESI RAANJA I UMIRANJA
Openito moemo zapisati da je vjerojatnost realizacije

intervalu
h procesa raanja jednaka
p[i;jt;t+h] = pk (h) = P (X (t + h) = j jX (t) = i) =
8
<
:
dogaaja u nekom malom vremenskom
j 1 h + o(h)
o(h)
1 j h + o(h)
j
j
i = 1;
i 2;
j=i
Iz diferencijskih oblika za Chapman-Kolmogorovljevu jednadbu direktno dobivamo matricu gustoa prijelaza
Q.
Q=
0
6
6
6
6
6
6
4
0
1
:::
.
.
.
.
.
.
1
:::
:::
.
.
.
..
.
.
.
.
.
.
..
n n
.
.
.
0
0
.
.
.
0
.
.
.
:::
:::
:::
:::
..
3
7
7
7
7
7
7
5
Razmotrimo problem nalaenja vjerojatnosti prijelaza ovog procesa. Zasigurno bi bilo teko upotrijebiti matrino rjeenje za Kolmogorovljevu jednadbu unaprijed. Bilo bi potrebno nai svojstvene vrijednosti i svojstvene vektore beskonane kvadratne matrice. Bolje je potraiti opi lan Kolmogorovljeve
jednadbe i rijeiti ga kao diferencijalnu jednadbu.
Prisjetimo se da je opi lan Kolmogorovljeve jednadbe:
p0ij (t) =
pik (t) qkj
Slijede dvije jednadbe:
p0ij (t) = pi(j 1) (t) j 1

p000 (t) = 0 p00 (t)
pij (t) j ; j 6= i
t = 0 bio u stanju 0 i nadalje promatrajmo vjerojatnosti prijelaza

n u buduem trenutku t. Uvedimo preoznaku:
Denirajmo da je proces u trenutku

iz tog inicijalnog stanja u neko stanje
p0n (t) = pn (t)

Gornje dvije jednadbe postaju:
p0n (t) = n pn (t) + n 1 pn 1 (t);

p00 (t) = 0 p0 (t)
To je diferencijalno-rekurzivni sustav jednadbi. Teina rjeavanja takvog sustava ovisi o zakonitosti
rasta parametara
s n.
Obino je sustav rjeiv za
n = 0 i n = 1, a opi lan se trai indukcijom.
Stacionarne vjerojatnosti se mogu izraunati samo u nekim specijalnim sluajevima. U opem sluaju
se ne moe tvrditi da ovakav lanac ima stacionarne vjerojatnosti zato to lanac nije ireducibilan.
4.3.2
Procesi raanja su oni procesi kod kojih je intenzitet (gustoa) prijelaza u vie stanje vei od 0, i svi
ostali intenziteti jednaki 0. Uvedimo sada mogunost da Markovljev proces moe iz nekog stanja
u prvo nie stanje -
1.
n prei
n .
Neka je gustoa takvog prijelaza takoer funkcija stanja. Oznaimo je s
Procesi koji imaju takvo svojstvo zovu se procesi raanja i umiranja.
Proces raanja i umiranja je poseban je sluaj Markovljevog lanca. U takvom Markovljevom lancu
doputeni su prijelazi samo u susjedna stanja, via ili nia. Procesi raanja i umiranja se pokazuju kao
izvrsni modeli za prouavanje elementarne teorije posluivanja.
Promatrajmo odreenu populaciju nekakvih entiteta. To mogu biti ljudi nekog grada ili ATM elije u
nekom repu ekanja. Broj ljudi/elija neka predstavlja stanje procesa. Stanja obiljeavamo s
En
gdje
oznaava veliinu populacije. Doputeni su prijelazi samo u susjedna stanja, tj. u jednom trenutku proces
iz stanja
En
moe prei samo u
En+1
prvo nie stanje zovemo umiranje.
ili
En 1 .
Prijelaz u prvo vie stanje zovemo raanje, a prijelaz u
186
POGLAVLJE 4.
Uvedimo dva nova pojma: intenzitet raanja (
birth rate ) n
MARKOVLJEVI LANCI
death rate ) n .
i intenzitet umiranja (
Oba intenziteta su vezana uz stanje sustava. Ako je intenzitet raanja vei od intenziteta umiranja, onda
populacija raste. Naravno, vrijedi i obrnuto.
Za proces raanja i umiranja prijelazna vjerojatnost iz stanja
t + h moemo denirati slino kao i za Poissonov proces:

pij (h) = P (X (t + h) = j jX (t) = i) =
8
>
>
<
>
>
:
u trenutku
j 1 h + o(h)
o(h)
j+1 h + o(h)
(j + j )h + o(h)
u stanje
j =i+1
j i + 2; j i
j=i 1
j=i
u trenutku
Ako je veliina populacije 0, onda nema umiranja u populaciji, pa shodno tome deniramo da je
0 = 0.
Ekvivalentna matrica gustoe prijelaza je:
Q=
6
6
6
6
6
6
6
6
4
0
1
0
.
.
.
0
.
.
.
0
(1 + 1)
2
.
.
.
0
.
.
.
0
0 0
1
0 0
(2 + 2) 2 : : : 0
.
.
.
.
.
.
.
.
.
.
.
.
..
.
.
.
: : : n
.
.
.
.
.
.
0
0
0
0 3
0 : : : 77
0 : : : 77
.
.
.
.
.
.

(n + n) n
.
.
.
.
.
.
..
7
7
7
7
5
Ukoliko nam je poznata ovakva matrica, rjeenja za prijelazne vjerojatnosti nalazimo pomou Kolmogorovljeve jednadbe unaprijed. Ope rjeenje
ovakve matrice.
eQt nije primjenjivo zbog nemogunosti dijagonalizacije
Zbog toga postavljamo opi sustav diferencijalno-rekurzivnih jednadbi.
Rjeenje je
mogue ishoditi samo ukoliko nam je poznata funkcijska ovisnost intenziteta raanja i umiranja o stanju
lanca. Do diferencijalno-rekurzivne relacije dolazimo na sljedei nain:
p0;n(t + h) = p0;n (t) P (nema raanja niti umiranja u h)+

+ p0;n 1(t) P (dogodilo se jedno raanje u h)+
+ p0;n+1(t) P (dogodilo se jedno umiranje u h)+
+ P (dogodilo se vie od 2 raanja ili umiranja u h, a novo stanje je i + n)
Uvedemo li kao i prije preoznaku p0;n (t) = pn (t) , slijedi
pn (t + h) = pn (t)[1
(n + n)h] + pn 1(t)n 1 h + pn+1(t)n+1 h + o(h)

pn (t + h) pn (t) = pn (t)(n + n )h + pn 1 (t)n 1 h + pn+1 (t)n+1 h + o(h) = : h; limh!0
p0n (t) = pn (t)(n + n ) + pn 1(t)n 1 + pn+1 (t)n+1
Slino dobivamo:
p00 (t) = 0 p0 (t) + 1 p1 (t)
Prisjetimo se sada rasprave u 4.2.5. Tamo smo ustanovili da rjeavanje diferencijalnih jednadbi u
opem sluaju nema prevelikog smisla budui da dobivamo ekstremno komplicirana rjeenja. Tako je i s
rjeavanjem gore izvedenih diferencijalnih jednadbi.
Jedino to ima smisla je traiti stacionarne vjerojatnosti. Njih nalazimo na taj nain to pretpostavimo
da su sve derivacije u limesu kad
t ! 1 jednake 0:
lim p0 (t) = 0:
t!1 n
Na ovaj nain gornje diferencijalne jednadbe moemo preurediti u obine rekurzivne jednadbe koje
rjeavaju problem stacionarnih vjerojatnosti procesa raanja i umiranja:
p^n (n + n ) = p^n 1 n 1 + p^n+1 n+1

0 p^0 = 1 p^1
Opi dijagram stanja procesa raanja i umiranja je prikazan na slici 4.19.
(4.46)
4.3.
187
Slika 4.19: Dijagram stanja procesa raanja i umiranja
Moemo povezati logiku pisanja stacionarnih rekurzivnih jednadbi s ovim dijagramom:
stacionarna
vjerojatnost stanja kojeg promatramo pomnoena s intenzitetom koji se izlazi iz stanja (izlazni tok)
jednaka je zbroju umnoaka stacionarnih vjerojatnosti stanja iz kojih se dolazi u promatrano stanje
i intenziteta tih dolazaka (ulazni tokovi).
jednadbe globalne ravnotee.
Dakle, dobivene jednadbe su
Kod ovakvih problema jednadbe redovito postavljamo globalnom ravnoteom ili limesom diferencijalnih
jednadbi. Izvoenje jednadbi iz matrice
ovisi o funkcijama
n i n .
esto rezultira pogrekama. Ope rjeenje ovih jednadbi
Demonstrirajmo ovaj postupak sljedeim primjerom:
Primjer 4.13
Zadan je proces raanja i umiranja dijagramom na slici 4.20.
vjerojatnosti stanja
p^j .
Pronaimo stacionarne
Slika 4.20: Dijagram stanja procesa raanja i umiranja uz primjer 4.13
Moemo postaviti jednadbe globalne ravnotee ili moemo postaviti diferencijalno-rekurzivne jednadbe, pa potraiti limes kad
t ide u beskonano.
Odluimo se za diferencijalno-rekurzivne jednadbe
kako bismo utvrdili postupak.
pk (t + h) = pk 1 (t) [kh + o(h)] + pk+1 (t) [(k + 1)h + o(h)] + pk (t) f1

Podijelimo obje strane s
pk (t + h) pk (t)
h
h:
= pk 1 (t)
i potraimo limes kad
[k + (k + 1)] h + o(h)g :
o(h)
k +
h
+ pk+1 (t)
(k + 1) + o(hh)
pk (t)
o(h)
k + (k + 1) +
h
h tei k nuli:
p0k (t) = pk 1 (t) k + pk+1 (t) [(k + 1)] pk (t) [k + (k + 1)]
Slino dobivamo i za nulto stanje:
Potraimo li limes kada
p00 (t) = p0(t) + p1 (t)
t tei k beskonano, dobivamo jednadbe globalne ravnotee:

p^k (k + (k + 1)) = p^k 1 k + p^k+1 [(k + 1)]
p^0 = p^1
188
POGLAVLJE 4.
MARKOVLJEVI LANCI
Dakle, moramo rijeiti sustav jednadbi:
p0 = p1
(2 + )p1 = p0 + 2p2
(3 + 2)p2 = 2p1 + 3p3
.
.
.
[(k + 1) + k] pk = kpk 1 + (k + 1)pk+1

.
.
.
Ovaj sustav rjeavamo rekurzivno, uvrtavajui rjeenje prve jednadbe u drugu, pa rjeenje druge u
treu itd.
Na kraju sva rjeenja zbrojimo i izjednaimo s 1, te dobijemo funkciju vjerojatnosti stanja
lanca. Sukcesivnim uvrtavanjem dobivamo:
p^k =
Vrijednost
p^0
saznajemo iz jednadbe
k

1
X
i=0
1 k
X
i=0
p^0
p^k = 1
p^0 = 1
Kako bi red konvergirao, mora biti zadovoljeno:

<1

p^0

= 1 ) p^0 = 1
e
Funkcija vjerojatnosti stanja lanca je:
p^k =
k

:

Dakle, stacinarna razdioba stanja u ovom primjeru se ravna po geometrijskoj razdiobi. Moramo uoiti
da su stacionarne vjerojatnosti ovog procesa uvjetovane s
= < 1.
Razlog zato se postavlja ovaj uvjet
je neergodinost lanca u opem sluaju. Ovaj lanac je pozitivno rekurentan (a time i ergodian) samo uz
zadani uvjet.
Procesi raanja i umiranja kako smo ih denirali imaju beskonaan broj stanja. Meutim, u brojnim
primjenama je broj stanja ogranien. Takve lance zovemo odsjeenim procesima raanja i umiranja. Za
njih vrijede isti principi koji vrijede i za regularne procese raanja i umiranja. Jedina je iznimka ta to
postoji najvie stanje i to za njega posebno postavljamo jednadbu globalne ravnotee, jednako kao i za
nulto stanje.
4.3.3
Viedimenzionalni lanci raanja i umiranja,

jednadbe lokalne ravnotee
Razmatrajmo proces uspostavljanja i raskida video veza kroz odreeni link kapaciteta 50 Mb/s.
Us-
postavljaju se dva tipa veza: A i B. Veze tipa A rezerviraju 15 Mb/s prijenosnog pojasa linka, a veze
tipa B rezerviraju 10 Mb/s. Dolazak zahtjeva za uspostavu veze za svaku vrstu posebno se moe opisati
Poissonovim procesom. Intenzitet dolaska zahtjeva za tip A je
1 , a za tip B je 2 .
Intenzitet raskida veza
4.3.
189
za tip A je
n1 gdje je n broj uspostavljenih veza tipa A, a za tip B je k2 gdje je k broj uspostavljenih
veza tipa B.
Naoigled se radi o dva neovisna procesa raanja i umiranja. To bi bila istina samo kada bi kapacitet
linka bio beskonaan. Budui da je kapacitet ogranien, moe se uspostaviti samo onoliko veza odreenog
tipa koliko je raspoloivo kapaciteta. Mogu se uspostaviti maksimalno 3 veze tipa A i 5 veza tipa B. Ako
su uspostavljene 2 veze tipa A, onda tip B ima na raspolaganju maksimalno 20 Mb/s, odnosno dovoljno
prijenosnog pojasa za 2 veze.
Na taj nain procesi raanja i umiranja za veze tipova A i B se ne mogu promatrati odvojeno. Procesi
jedan drugom kradu raspoloiv prijenosni pojas. Oni na taj nain
moduliraju
broj raspoloivih stanja
svakog od procesa.
Ako nas zanima razdioba vjerojatnosti broja uspostavljenih veza za svaki od tipova A i B, onda ove
odsjeene i modullirane procese moramo promatrati zajedno. Na slici 4.21 je prikazan dijagram stanja
koji opisuje na problem.
Slika 4.21: Dvodimenzionalni Markovljev lanac
i i j . Indeks i se odnosi na broj uspostavljenih veza tipa

j se odnosi na broj uspostavljenih veza tipa B. Lako je uoiti da nema onih stanja za koje bi ukupni
rezervirani prijenosni pojas bio vei od kapaciteta linka. Na primjer, nema stanja (1; 4) jer bi ukupni
Svako stanje procesa je opisano s dva indeksa:
A, a
potrebni prijenosni pojas trebao biti 55 Mb/s, to je vee od kapaciteta 50 Mb/s.
Ovakvu strukturu
zovemo dvodimenzionalni Markovljev lanac ili dvodimenzionalni proces raanja i umiranja. Razlog za
takav naziv je mogunost raanja i umiranja po dvije dimenzije, po dimenziji tipa A i dimenziji tipa B.
Dakle, razmatramo odreeni Markovljev lanac s 14 stanja i odreenim intenzitetima prijelaza izmeu
stanja, a elimo odrediti stacionarne vjerojatnosti svakog od 14 stanja. Stacionarne vjerojatnosti sigurno
postoji jer je lanac ireducibilan, tj. iz svakog stanja se uz odreeni broj prijelaza moe stii u bilo koje
drugo stanje.
Stacionarne vjerojatnosti stanja izraunavamo iz sustava jednadbi koje postavimo za
promatrani lanac. Najlake je to napraviti pomou jednadbi globalne ravnotee.

Prisjetimo se kako se postavljaju jednadbe globalne ravnotee.
Promatrajmo stanje koje ima sva
190
POGLAVLJE 4.
etiri susjedna stanja (npr. stanje
(1; 2) ili (1; 1)).
MARKOVLJEVI LANCI
Stacionarna vjerojatnost takvog stanja pomnoena s
ukupnim intenzitetom izlaska iz tok stanja jednaka je zbroju stacionarnih vjerojatnosti susjednih stanja
pomnoenih s intenzitetom dolaska u promatrano stanje (slika 4.22). U naem sluaju, za stanje
sva etiri susjedna stanja moemo postaviti sljedeu jednadbu globalne ravnotee:
pî;j (1 + 2 + i1 + j2 ) = pî+1;j (i + 1)1 + pî;j+1 (j + 1)2 + pî 1;j 1 + pî;j 1 2
(i; j ) sa
(4.47)
Ukoliko se radi o stanju koje nema sva etiri susjedna stanja, onda shvaamo da su intenziteti prijelaza
prema tim stanjima i od tih stanja jednaka 0, tako da uz taj dogovor jednadba (4.47) vrijedi u opem
sluaju.
Slika 4.22: Stanje
(i; j ) za koje se postavlja jednadba globalne ravnotee
Prisjetimo se sada izreke teorema o egzistenciji stacionarnih stanja.

ireducibilan, onda postoji razdioba stacionarnih vjerojatnosti i ona je
Po tom teoremu ako je lanac
jedinstvena.
Dakle, ako neka
razdioba zadovoljava sve jednadbe globalne ravnotee, onda je to traena jedinstvena razdioba.
Ako
paljivije pogledamo izraz (4.47), uoavamo da za svaki pribrojak na desnoj strani postoji odgovarajui
pribrojak na lijevoj strani. Ukupno postoje etiri takva para:
pî;j 1 = pî+1;j (i + 1)1
pî;j 2 = pî;j+1 (j + 1)2
(4.48)
pî;j i 1 = pî 1;j 1

pî;j j 2 = pî;j 1 2
Kada zbrojimo ove jednadbe, opet dobivamo poetnu jednadbu globalne ravnotee.
primijetiti da razmatramo ireducibilan Markovljev lanac, i da su rjeenja
pî;j 1
jedinstvena.
Sada je bitno
pî;j , pî+1;j , pî 1;j , pî;j+1
Dakle, ako uspijemo nai rjeenje za sustav jednadbi (4.48), onda ista rjeenja
zadovoljavaju i jednadbu (4.47).
Budui da su rjeenja koja zadovoljavaju sustav jednadbi globalne
ravnotee stacionarne vjerojatnosti stanja Markovljevog lanca, to su i rjeenja sustava svih jednadbi
(4.48) stacionarne vjerojatnosti stanja Markovljevog lanca. Jednadbe (4.48) zovemo
ravnotee.
jednadbe lokalne
Jednadbe lokalne ravnotee su glavni alat u rjeavanju sloenih uravnoteenih Markovljevih lanaca
i mrea Markovljevih lanaca. Njih emo iscrpno koristiti u svim narednim poglavljima i pomou njih
pokazati veliki broj izuzetno korisnih svojstava sustava s posluivanjem.
Glavni doprinos jednadbi
lokalne ravnotee je taj to sustav sloenih jednadbi globalne ravnotee pretvara u sustav manjih, znatno
jednostavnijih jednadbi.
Prije nego to ih ponemo koristiti, moramo znati gdje ih moemo koristiti. Naime, jednadbe lokalne
ravnotee se ne mogu postaviti za sve Markovljeve lance. Jednadbe lokalne ravnotee se mogu postaviti
samo onda kada one neposredno slijede iz jednadbe globalne ravnotee. Kroz sljedea poglavlja ukazivat
emo na ope sluajeve kada moemo napisati jednadbe lokalne ravnotee. Za sada moemo konstatirati
da ih moemo redovito pisati za
ireducibilne lance raanja i umiranja.
Jednadbe lokalne ravnotee je trivijalno napisati i onaj tko rjei jednadbe lokalne ravnotee, rijeio
je problem stacionarnih vjerojatnosti Markovljevog lanca. Jednadbu lokalne ravnotee u viedimenzionalnim procesima raanja i umiranja postavljamo na sljedei nain. Uoimo par susjednih stanja,
(slika 4.23).
iij
4.3.
191
Slika 4.23: Postavljanje jednadbe lokalne ravnotee
Lijevi dio jednadbe je jednak umnoku stacionarne vjerojatnosti stanja

stanje
j : pî qij .
i intenziteta prijelaza u
Slino, desni dio jednadbe je jednak umnoku stacionarne vjerojatnosti stanja
i p^j qji .
intenziteta prijelaza u stanje :
pî qij = p^j qji
(4.49)
Vratimo se natrag naem primjeru i napiimo jednadbe lokalne ravnotee:
p^00 1 = p^10 1 p^10 1 = p^20 21 p^20 1 = p^30 31

p^01 1 = p^11 1 p^11 1 = p^21 21
p^02 1 = p^12 1 p^12 1 = p^22 21
p^03 1 = p^13 1
p^00 2 = p^01 2 p^01 2 = p^02 22
p^10 2 = p^11 2 p^11 2 = p^12 22
p^20 2 = p^21 2 p^21 2 = p^22 22:
p^02 2 = p^03 32

p^12 2 = p^13 32
Dodatno mora biti zadovoljeno
XX
pîj
p^03 2 = p^04 42 p^04 2 = p^05 52
= 1:
Dakle, dobili smo sustav od 18 + 1 jednostavnih jednadbi. Da smo postavljali jednadbe globalne
ravnotee, imali bismo 15 + 1 jednadbu, no oblik jednadbi bi bio sloen. Problem koji preostaje je
kako rijeiti ovakav sustav jednadbi. Evo jednog od naina. Neka je:

a1 = 1
1

a2 = 2 :
2
Jednadbe sada moemo napisati u sljedeem obliku:
p^00 a11
p^01 a11
.
.
.
= p^10 p^10 a21 = p^20 p^20 a31 = p^30

= p^11 p^11 a21 = p^21
Sukcesivnim uvrtavanjem jednadbi po retku slijeva, dobivamo sljedei sustav jednadbi:
p^10 = a1!1 p^00 p^20 = a2!1 p^00 p^30 = a3!1 p00

2
p^11 = a1!1 p^01 p^21 = a2!1 p^01
2
p^12 = a1!1 p^02 p^22 = a2!1 p^02
p^13 = a1!1 p^03
2
(4.50)
p^01 = a1!2 p^00 p^02 = 2! p^00 p^03 = 3! p^00 p^04 = 4! p^05 = 5! p^00
2
3
p^11 = a1!2 p10 p^12 = a2!2 p^10 p^13 = a3!2 p^10
2
p^21 = a1!2 p^20 p^22 = a2!2 p^20
Primijetimo da se sve vjerojatnosti mogu pokazati u funkciji od p
^00! To svojstvo emo iskoristiti na taj
nain da emo izraunati vrijednost od p
^00 i neposredno dobiti sve ostale vjerojatnosti. p^00 dobivamo iz
a22
a32
a42
a52
192
POGLAVLJE 4.
MARKOVLJEVI LANCI
uvjeta da zbroj svih stacionarnih vjerojatnosti mora biti jednak 1.
1=
3
X
i=0
pi0 +
i=0
8
3 ai
<X
= p00 :
gdje je
2
X
i=0
pi1 +
1 a02
i!
2
X
i=0
pi2 +
2 ai
X
1 a12
1
X
i=0
pi3 +
2 ai
X
5
X
j =0
p0j +
3
X
j =0
p1j +
1 a22
1 ai
X
p001 =
ai1 aj2
(i;j)2S i! j !
j =0
p2j =
5 ai
X
1 a32
0
+ i2! a0!1
j =0
0! + i=0 i! 1! + i=0 i! 2! + i=0 i! 3!
S skup svih doputenih indeksa stanja:
2
X
3 ai
X
j =0
2 a11
i!
1!
2 ai
X
2=
+ i!2 a2!1 ;
j =0
S = f(0; 0); (1; 0); (2; 0); (3; 0); : : : ; (1; 3); (0; 4); (0; 5)g
Stacionarne vjerojatnosti dobivamo uvrtavajui rjeenje za
p^00
u (4.50).
Ako paljivije razmotrimo
sustav (4.50) dobit emo i univerzalni izraz za raunanje stacionarnih vjerojatnosti:
pij =
ai1 aj2
i! j !
X ai aj
1 2
i
!
(i;j)2S j !
(4.51)
product-form solution ) za dvodimenzionalni
Izraz (4.51) se u literaturi zove rjeenje u produktnoj formi (

sluaj.
Izraunali smo stacionarne vjerojatnosti i postavljamo pitanje to s njima? Odgovor na to pitanje ovisi
o problemu koji se istrauje. Na primjer, koristei stacionarne vjerojatnosti stanja moemo izraunati
prosjeno zauzee linka. Trenutno zauzee linka raunamo prema izrazu:
O(i; j ) = 10i + 15j

Prosjeno zauzee dobivamo kao oekivanje funkcije O (i; j ). Budui da je razdioba vjerojatnosti stanja
koju smo dobili dvodimenzionalna, oekivanje raunamo prema izrazu:
E [O(i; j )] = O =
(i;j)2S
O(i; j )^pij
(10i + 15j )^pij
(i;j)2S
Takoer moemo izraunati vjerojatnost blokiranja uspostave veze. Ta je vjerojatnost jednaka zbroju
vjerojatnosti da se lanac nae u stanju koje je blokirajue. Na primjer, stanje
(0; 5) je blokirajue za
Stanje (0; 4)
obje vrste veza zato to je to stanje kada u linku nema slobodnog prijenosnog pojasa.
je blokirajue za veze tipa A, ali ne i za tip B. Vjerojatnost blokiranja za tip A dobivamo zbrajajui
stacionarne vjerojatnosti za stanja koja su blokirajua za tip A. To su stanja:
KA = f(0; 5); (0; 4); (1; 3); (2; 2); (2; 1); (3; 0)g
Za tip B su to stanja:
KB
= f(0; 5); (1; 3); (2; 2); (3; 0)g
Vjerojatnosti blokiranja uspostave veze za tipove A i B su:
P (A) =
(i;j)2KA
pî;j
P (B ) =
(i;j)2KB
pî;j
Pojam jednadbe lokalne ravnotee je najvredniji alat u analizi sustava posluivanja.
Kako emo
vidjeti u narednim poglavljima, sustavi posluivanja i mree takvih sustava se redovito mogu opisati
procesima raanja i umiranja. Stoga ovaj matematiki aparat treba shvatiti kao bazino znanje bez kojeg
neemo moi izraunati vrijednosti prometnih parametara koji nas budu zanimali.
4.4.
193
ZADACI ZA VJEBU
4.4
4.4.1
Zadaci za vjebu
Zadatak 4.1
Koristei metodu spektralne dekompozicije pronaite stacionarne vjerojatnosti Markovlje-
vog lanca s dva stanja ija je matrica prijelaznih vjerojatnosti

0
:
5
0
:
5
P=
0:6 0:4 :
Zadatak 4.2
Koristei metodu dijagonalizacije matrice izraunajte stacionarne vjerojatnosti Markovlje-
vog procesa s dva stanja ija je matrica prijelaznih vjerojatnosti
P=
Zadatak 4.3
0:6 0:4 :
0:5 0:5
Promatrajte binarni izvor kod kojeg je vjerojatnost prijelaza iz stanja 1 u stanje 0 1/3, a
vjerojatnost prijelaza iz 0 u 1 2/3. Izraunajte stacionarne vjerojatnosti za ovaj binarni izvor.
Zadatak 4.4
Izraunajte
n-tu potenciju matrice P koristei metodu dijagonalizacije.

P=
Zadatak 4.5
Izraunajte
b :
n-tu potenciju matrice P koristei metodu spektralne dekompozicije.

1
a
a
P=
b
1 b :
Zadatak 4.6
Prijenosni kanal uspostavljen je kroz 3 neovisna serijski spojena prijenosna sustava. Vjero-
jatnost pogreke bita na svakom od prijenosnih sustava za promatrani kanal je 0.01. Izraunajte vjerojatnost pogreke bita s kraja na kraj prijenosnog kanala.
Zadatak 4.7
Binarni izvor se u poetku (nultom koraku) nalazi u stanju 1. Ako je matrica prijelaznih
vjerojatnosti
P=
b ;
izraunajte vjerojatnost da se izvor nakon 5-tog koraka nalazi u stanju 1.
Zadatak 4.8
Neka je matrica vjerojatnosti prijelaza Markovljevog lanca s diskretnim parametrom i dva
stanja

1
0
P=
1=2 1=2 :
Izraunajte stacionarne vjerojatnosti ovog procesa rjeavanjem sustava linearnih jednadbi.
Zadatak 4.9
Neka je matrica vjerojatnosti prijelaza Markovljevog lanca s diskretnim parametrom i dva
stanja

0
1
P=
1 0 :
Izraunajte stacionarne vjerojatnosti ovog lanca. Kako objanjavate dobiveni rezultat ?
Zadatak 4.10
Markovljev lanac ima 5 stanja. Iz nekog stanja moe prei samo u susjedno stanje (vie
ili nie, ukoliko je mogue).
=1
p.
Vjerojatnost prijelaza u prvo vie stanje je
Pronaite matricu prijelaznih vjerojatnosti
p,
a silaska u nie stanje je
ovog procesa. Postavite matrinu jednadbu
ijim rjeavanjem dobivamo stacionarne vjerojatnosti lanca.
194
POGLAVLJE 4.
MARKOVLJEVI LANCI
Slika 4.24: Uz zadatak 4.11
Zadatak 4.11
rojatnosti
Zadan je Markovljev lanac dijagramom na slici 4.24. Pronaite matricu prijelaznih vje-
P i izraunajte stacionarne vjerojatnosti lanca rjeavajui sustav linearnih jednadbi.
Zadatak 4.12
vjerojatnosti
Zadan je Markovljev lanac dijagramom stanja na slici 4.24. Pronaite matricu prijelaznih
P i izraunajte stacionarne vjerojatnosti lanca rjeavajui sustav linearnih jednadbi.
Zadatak 4.13
Zadan je Markovljev lanac dijagramom na slici 4.26.
Pronaite matricu prijelaznih vjerojatnosti
P i izraunajte stacionarne vjerojatnosti lanca rjeavajui
sustav linearnih jednadbi.
Zadatak 4.14
Promatrajte Markovljev lanac iz zadatka 4.13. Pronaite razdiobu i izraunajte prosjean
broj koraka koje lanac bez prekida boravi u stanju 1.
Zadatak 4.15
Stacionarne vjerojatnosti Markovljevog lanca s dva stanja su:
najte prijelazne vjerojatnosti ovog lanca.
Zadatak 4.16
1 i p^1 = 2 .
3
3
Izrau-
Razmatrajte stohastiki proces sluajnog hoda. To je Markovljev lanac. Pronaite ma-
tricu prijelaznih vjerojatnosti
4.4.2
p^0 =
P tog procesa.
Zadatak 4.17
Dijagram stanja nekog Markovljevog lanca prikazan je na slici 4.27.
gustoa prijelaza
Zadatak 4.18
Q i nacrtajte segment jedne trajektorije ovog lanca.
Matrica gustoa prijelaza nekog Markovljevog procesa je
2
6
Q=6
4
5 4 0 1 3
8 14 6 0 77 :
0 3 5 2 5
5 0 7 12
Napiite matricu
4.4.
195
ZADACI ZA VJEBU
Slika 4.27: Dijagram stanja uz zadatak 4.17
Nacrtajte dijagram stanja i segment jedne trajektorije ovog lanca.
Zadatak 4.19
gustoa prijelaza
Q.
Napiite matricu
Neka sluajna varijabla
T1
mjeri vrijeme koje ovaj lanac bez prekida boravi u stanju
funkciju razdiobe i oekivanje ove sluajne varijable.
Zadatak 4.20
gustoa prijelaza
Q.
1.
Izraunajte
Napiite matricu
Neka sluajna varijabla
T1
mjeri vrijeme koje ovaj lanac bez prekida boravi u stanju
funkciju razdiobe ove varijable. Koliko je oekivanje sluajne varijable
Zadatak 4.21
T1 .
1.
Izraunajte
Neka je za Markovljev lanac kontinuiran u vremenu matrica gustoa prijelaza
Q=
5 5
3 3
Q jednaka
Izraunajte matricu prijelaznih vjerojatnosti koristei ope rjeenje Kolmogorovljevih jednadbi.
Zadatak 4.22
Q=
9 9
4 4
Q jednaka
196
POGLAVLJE 4.
Zadatak 4.23
MARKOVLJEVI LANCI
Q=
3 3
3 3
Q jednaka
Zadatak 4.24
Q=
5 5
3 3
Q jednaka
Napiite diferencijske jednadbe prijelaznih vjerojatnosti za ovaj proces i postavite diferencijalne jednadbe. Izraunajte matricu prijelaznih vjerojatnosti.
Zadatak 4.25
Pronaite matricu gustoa prijelaza Poissonovog procesa.
Izvedite diferencijske jed-
nadbe za Poissonov proces. Poite od klasine denicije Poissonovog procesa. Iz diferencijskih jednadbi
izvedite diferencijalno-rekurzivne jednadbe.
Zadatak 4.26
Q=

Q jednaka
Napiite diferencijske jednadbe prijelaznih vjerojatnosti za ovaj proces i postavite diferencijalne jednadbe. Rijeite diferencijalne jednadbe Laplaceovom transformacijom.
Zadatak 4.27
Yule-Furryijev proces zadan je diferencijalnim jednadbama
p[i;jt;t+h] = pk (h) = P (X (t + h) = j jX (t) = i) =

Napiite diferencijalne jednadbe za
Zadatak 4.28
8
<
(j 1)h + o(h)
o(h)
:
1 jh + o(h)
pn (t) i matricu gustoa prijelaza ovog lanca.
j
j
i = 1;
i 2;
j=i
Matrica prijelaznih vjerojatnosti nekog Markovljevog procesa s dva stanja je
P(t) =
"
3 5e 8t
83 + 3e8 8t
8
8
3 5e 8t
83 3e8 8t
8+ 8
Izraunajte stacionarne vjerojatnosti i matricu gustoa prijelaza za ovaj proces.
Zadatak 4.29
Promatrajte Markovljev lanac deniran u zadatku 4.21. Izraunajte stacionarne vjeroja-
tnosti lanca iz matrice prijelaznih vjerojatnosti.
Zadatak 4.30
Zadatak 4.31
Zadatak 4.32
Razmatrajte Markovljev lanac deniran u zadatku 4.19. Izraunajte stacionarne vjero-
jatnosti rjeavajui sustav linearnih jednadbi.
Zadatak 4.33
Razmatrajte Markovljev lanac deniran u zadatku 4.20. Izraunajte stacionarne vjero-
jatnosti rjeavajui sustav linearnih jednadbi.
Zadatak 4.34
Dijagram stanja nekog Markovljevog lanca prikazan je na slici 4.30. Rjeavanjem sustava
linearnih jednadbi izraunajte stacionarne vjerojatnosti ovog lanca.
4.4.
197
ZADACI ZA VJEBU
Zadatak 4.35
Dijagram stanja nekog Markovljevog lanca prikazan je na slici 4.31. Rjeavanjem sustava
linearnih jednadbi izraunajte stacionarne vjerojatnosti ovog lanca.
Zadatak 4.36
Razmatrajte Markovljev lanac deniran u zadatku 4.34. Postavite i rijeite jednadbe
globalne ravnotee lanca.
Zadatak 4.37
Razmatrajte Markovljev lanac deniran u zadatku 4.35. Postavite i rijeite jednadbe
globalne ravnotee lanca.
Zadatak 4.38
Dijagram stanja nekog Markovljevog lanca prikazan je na slici 4.32. Postavite i rijeite
jednadbe globalne ravnotee zadanog lanca.
Ako se lanac nalazi u stanju 1, kolika je vjerojatnost da prilikom promjene stanja skoi u stanje 2.
Zadatak 4.39
Dijagram stanja nekog Markovljevog lanca prikazan je na slici 4.33. Postavite i rijeite
jednadbe globalne ravnotee zadanog lanca.

Ako se lanac nalazi u stanju 2, kolika je vjerojatnost da prilikom promjene stanja skoi u stanje 3.
4.4.3
Zadatak 4.40
Napiite ope diferencijske jednadbe za proces raanja i umiranja koji ima jednake
intenzitete raanja i umiranja bez obzira na stanje u kojem se nalazi.

gustoa prijelaza za taj proces.
Nakon toga izvedite matricu
198
POGLAVLJE 4.
MARKOVLJEVI LANCI
Zadatak 4.41
Neka je proces raanja i umiranja zadan diferencijskim jednadbama
pij (h) = P (X (t + h) = j jX (t) = i) =
8
>
>
<
>
>
:
h + o(h)
o(h)
h + o(h)
( + )h + o(h)
Postavite diferencijalne jednadbe za vjerojatnost

proces. (Ne rjeavajte jednadbe!)
Zadatak 4.42
pn (t)
j =i+1
j i + 2; j i
j=i 1
j=i
i napiite matricu gustoa prijelaza za ovaj
Neka je proces raanja i umiranja zadan diferencijskim jednadbama
8
>
>
<
(j 1)h + o(h)
j =i+1
o
(
h
)
j

i
+ 2; j i 2
pij (h) = P (X (t + h) = j jX (t) = i) =
(
j
+
1)
h
+
o
(
h
)
j
=i 1
>
>
:
1 (j + i)h + o(h)
j=i
Postavite diferencijalne jednadbe za vjerojatnost pn (t) i napiite matricu gustoa prijelaza za ovaj
proces. (Ne rjeavajte jednadbe!)
Zadatak 4.43
Neka je proces raanja i umiranja deniran matricom gustoa prijelaza
Q=
6
6
6
6
6
4
0
0
0
.
.
.

0
.
.
.
0

( + )
2
.
.
.
0
0

( + 2)
.
.
.
:::
:::
:::
:::
..
3
7
7
7
7;
7
5
tj.
n = n 0
n = n n 0
Postavite diferencijalno-rekurzivne jednadbe za pn (t).
Zadatak 4.44
Promatrajte Markovljev lanac deniran u zadatku 4.38. Postavite i rijeite jednadbe
lokalne ravnotee za zadani lanac.
Zadatak 4.45
Promatrajte Markovljev lanac deniran u zadatku 4.39. Postavite i rijeite jednadbe
lokalne ravnotee za zadani lanac.
Zadatak 4.46
Promatrajte sustav posluivanja s 2 posluitelja i spremnikom kapaciteta 3 jedinice. Vri-
jeme posluivanja u posluiteljima je raspodijeljeno eksponencijalno s parametrom

u sustav po Poissonovom procesu s intenzitetom
.
,
a jedinice dolaze
Ako Markovljev proces kontinuiran u vremenu ima
stanja koja odgovaraju broju jedinica u sustavu posluivanja, pronaite matricu gustoa prijelaza za ovaj
sustav. Postavite jednadbe lokalne ravnotee i rijeite ih.
4.5.
199
RJEENJA ZADATAKA ZA VJEBU
Zadatak 4.47

.
,
a jedinice dolaze
Zadatak 4.48

.
,
a jedinice dolaze
Zadatak 4.49
Promatrajte link kapaciteta
= 20 Mb/s.
Kroz link se uspostavljaju dva tipa veza:
A koji rezervira 15 Mb/s i B koji rezervira 10 Mb/s. Zahtjevi za uspostavom veze obaju tipova dolaze
jednakim intenzitetom
uspostave veze tipa A.
4.5
4.5.1
, a prosjeno trajanje veze za oba tipa je 1=.
Izraunajte vjerojatnost blokiranja
Rjeenja zadataka za vjebu

Rjeenje zadatka 4.1
n-tu potenciju matrice P,

P potrebno je napisati u obliku
Potrebno je izraunati
potenciju matrice
Pn =
gdje su
1 i 2
1
n1
[P
2
svojstvene vrijednosti matrice
i izraunati limes kada
2 I] +
2
n2
1
[P
P, ukoliko su razliite.
tei u beskonanost.
n-tu
1 I];
Pronaimo ih na sljedei nain:
jP Ij = 0:50:6 0:40:5 = (0:5 )(0:4 ) 0:3 =
= 2 0:9 + 0:2 0:3 = 2 0:9 0:1 = 0
Rjeenja dobivene kvadratne jednadbe su svojstvene vrijednosti matrice:
1 = 1 i 2 =
0:1

n
n
= 1 (1 0:1) 0:5 0(:6 0:1) 0:4 0(:5 0:1) + ( 1 0:1)0:1 0:50:6 1 0:40:5 1

_
_
_
_
1
0
:
6
0
:
5
0
:
5
4
0
:
4
5
n
lim P = 1:1 0:6 0:5 = 0:5_ 4_ 0:4_ 5_
n!1
Stacionarne vjerojatnosti su: p
^1 = 0:5_ 4_ , p^2 = 0:4_ 5_
Pn
Rjeenje zadatka 4.2
n-tu potenciju matrice P,

P potrebno je napisati u obliku
Potrebno je izraunati
potenciju matrice
i izraunati limes kada
Pn = SDn S 1
tei u beskonanost.
n-tu
200
POGLAVLJE 4.
gdje je
MARKOVLJEVI LANCI
dijagonalna matrica koja na dijagonalama ima svojstvene vrijednosti matrice
svojstvenih vektora matrice
P.
Izraunajmo prvo svojstvene vrijednosti matrice
P.
P,
matrica

jP Ij = 0:60:5 0:50:4 = (0:6 )(0:5 ) 0:2 =
= 2 1:1 + 0:3 0:2 = 2 1:1 + 0:1 = 0
Rjeenja dobivene kvadratne jednadbe su svojstvene vrijednosti matrice:
1 = 1 i 2 = 0:1
Potraimo odmah i svojstvene vektore pripadnih svojstvenih vrijednosti
P~ei = i~ei
0:6 0:4 x1
0:5 0:5 x2

0:6x1 + 0:4x2
0:5x1 + 0:5x2

i x1
i x2
i x1
i x2

Rjeenje ovog sustava jednadbi je
x1 =
i
0:5 x
0:5 2
x2 =
0:4 x
i 0:6 2
U ovom rjeenju izabrani su svojstveni vektori:
1 = 1 : ~e1 =
1
1
2 = 0:1 : ~e2 =
0:4
0:5
no mogu biti izabrani i neki drugi. Dakle, moemo napisati
1 0:4 1 0 0:5_
1 0:5
0 0:1
1:1_

1 0:4 1 0
n 1
lim Pn = S nlim
n!1
!1 D S = 1 0:5
0 0
Stacionarne vjerojatnosti su: p
^1 = 0:5_ , p^2 = 0:4_ .
P = SDS 1 =
0:4_
1:1_
0:5_ 0:4_ = 0:5_ 0:4_
1:1_ 1:1_
0:5_ 0:4_
Rjeenje zadatka 4.3

Potrebno je odrediti matricu prijelaza ovog Markovljevog procesa diskretnog u vremenu. Ukoliko nam
indeksi u matrici
P odgovaraju stanjima, matrica prijelaza je

P=
"
1
3
1
3
2
3
2
3
P, vidimo da su
P opet dobivamo matricu
Nema potrebe traiti stacionarne vjerojatnosti ovog procesa. Ukoliko pogledamo matricu
njeni reci jednaki i da je zbroj vjerojatnosti u retku 1 . Potenciranjem matrice
P.
Dakle reci matrice
vjerojatnosti su:
ve sadravaju stacionarne vjerojatnosti sustava.
p^0 = 13 , p^1 = 23 .
Zakljuujemo, stacionarne
Rjeenje zadatka 4.4

Zadatak se rjeava jednakim postupkom kao u primjeru 4.2. Krajnji rezultat je:
Pn
" a(1 a b)n

b
a+b
a+b
b(1 a b)n
b
a+b
a+b
a
a+b
a
a+b
a(1 a b)n #
a+b
:
b(1 a b)n
a+b
4.5.
201
Rjeenje zadatka 4.5

Zadatak se rjeava jednakim postupkom kao u primjeru 4.3. Krajnji rezultat je:
Pn =
" a(1 a b)n

b
a+b
a+b
b(1 a b)n
b
a+b
a+b
a+b
a
a+b
a(1 a b)n #
a+b
:
b(1 a b)n
a+b
Rjeenje zadatka 4.6

Budui da je vjerojatnost pogrenog prijenosa bita denirana openito, matricu prijelaznih vjerojatnosti
za jedan prijenosni sustav deniramo na sljedei nain:

0
:
99
0
:
01
P=
0:01 0:99
Propagacija bita kroz tri sustava prikazana je na slici ispod.
0.99
0.99
0.99
0.01
0.01
0.01
0.01
0.01
0.01
0.99
0.99
0.99
0.9706
1
0.0294
0.0294
0.9706
Zakljuujemo da e prijelazne vjerojatnosti propagacije bita kroz sva tri sustava biti denirane treom
potencijom matrice prijelaza
P.
P3 =
0:99 0:01 3 = 0:9705 0:0294

0:01 0:99
0:0294 0:9705
Vjerojatnosti prijelaza bita iz 0 u 1 i obrnuto su jednake, pa zakljuujemo da je vjerojatnost pogreke

bita s kraja na kraj
0:0294.
Rjeenje zadatka 4.7
= [0 1].
p(n) = [Pn ]> p(0)
Vektor vjerojatnosti stanja u poetnom koraku je

raunamo na sljedei nain:
p(0)
Vjerojatnost stanja u
n-tu potenciju matrice P moemo pronai koristei rjeenje iz primjera 4.2.

" a(1 a b)n
a(1 a b)n #>
b
a
+
a+b
a+b a+b
a+b

p(n) =
b(1 a b)n
a + b(1 a b)n
b
a+b
a+b
a+b
a+b
h
i>
= a+b b b(1 aa+b b)n a+a b + b(1 aa+b b)n
U sluaju n = 5, rjeenje je
i>
h
5
5
p(5) = a+b b b(1 a+a b b) a+a b + b(1 a+a b b)
Vjerojatnost da se proces nalazi u stanju 1 nakon 5 koraka je
p^1 =
+ b(1 a +a b b)
a+b
a
0
1
n-tom
koraku
202
POGLAVLJE 4.
MARKOVLJEVI LANCI
Rjeenje zadatka 4.8

Postavimo sustav linearnih jednadbi:
Dobivamo:
^ = P> p^ :
p
p^0
p^1
"
= 10
1
2
1
2
#
pp^^01
p^0 = p^0 + p^1

2
p^0 + p^1 = 1 )
p^0 = 1:
To je i oekivano jer kada lanac jednom ue u stanje 0, u njemu trajno ostaje.
Rjeenje zadatka 4.9

Postavimo sustav linearnih jednadbi:
Dobivamo:
p^0
p^1
^ = P> p^ :
p

= 01 10 pp^^01
p^0 = p^1
1
p^0 + p^1 = 1 ) p^0 = p^1 = :
2
Lanac u svakom prijelazu alternira izmeu stanja 0 i 1. Polovicu vremena provodi u svakom od stanja,
pa je stoga vjerojatnost da lanac zateknemo u bilo kojem od stanja
1=2.
Rjeenje zadatka 4.10

Pri traenju matrice prijelaznih vjerojatnosti bitno je primijetiti da zbroj vjerojatnosti u retku matrice
mora biti jednak jedan. Prema iskazu zadatka, proces u svakom sljedeem koraku mijenja svoje stanje
prema gore ili dolje, no samo ukoliko je to mogue. To znai da ako je u stanju 1, onda moe prei u
stanje 2 s vjerojatnou
p, no moe ostati i u istom stanju s vjerojatnou q, jer nema nieg stanja.
Slino
vrijedi i za sluaj kada je proces u stanju 5. Iz tog stanja moe prei samo u stanje 4 s vjerojatnou
ili ostati u stanju 5 s vjerojatnou
p.
Jednostavno nalazimo da je matrica prijelaznih vjerojatnosti
P=
6
6
6
6
4
q p 0 0 0
q 0 p 0 0
0 q 0 p 0
0 0 q 0 p
0 0 0 q p
3
7
7
7
7
5
Matrinu jednadbu postavljamo na sljedei nain:
A = P>
1 1 1 1 1
6 p
1 q 0 0
6
0
p
1 q 0
I=6
6
4 0
0 p 1 q
0 0 0 p q
A p^ = ~b
3
7
7
7
7
5
13
6 0 7
7
~b = 6
6 0 7
6
7
4 0 5
0
4.5.
203

Matricu prijelaznih vjerojatnosti iitavamo neposredno iz dijagrama stanja:
0:5 0:3 0:2 3

P = 4 0:4 0:6 0 5
0 1 0
Postavljamo sustav jednadbi:
p
^ = P> p
^.
0:5^p1 + 0:4^p2 = p^1

0:3^p1 + 0:6^p2 + p^2 = p^2
0:2^p1 = p^3
Sustav postaje netrivijalan tek uz jednadbu:
p^1 + p^2 + p^3 = 1

Eliminacijom druge jednadbe dobivamo nehomogeni sustav:
p^2 = p^1
4
p^1 + p^2 + p^3 = 1
p^1 = 5^p3
p^1 =
20 ; p^ = 25 ; p^ = 4
49 2 49 3 49

Matrica prijelaznih vjerojatnosti je:
P=
0 1
1 0
Moemo postaviti sljedee dvije jednadbe:
p^1 = p^2
p^1 + p^2 = 1
Slijedi:
p^1 = p^2 =
1
2

Dijagram stanja je nepotpun i trebamo odrediti prijelazne vjerojatnosti ostanka u istom stanju. Potpun
dijagram stanja je prikazan na slici 4.34.
Slika 4.34: Uz rjeenje zadataka 4.13
0:4 0:6 0 3
P = 4 0:3 0:6 0:1 5
0 0:2 0:8
204
POGLAVLJE 4.
MARKOVLJEVI LANCI
Nehomogeni sustav jednadbi je:
0:4^p0 + 0:3^p1 = p^0

0:6^p0 + 0:6^p1 + 0:6^p2 = p^1
0:1^p1 + 0:8^p2 = p^2
Sustav je najlake rijeiti zamjenjujui drugu jednadbu s p
^0 + p^1 + p^2 = 1. Dobivamo rjeenja:
1
1
1
p^0 = ; p^1 = ; p^2 =
4
2
4
Razdioba broja koraka koje lanac provodi u istom stanju ravna se po geometrijskoj razdiobi.
proces proveo u nekom stanju
i da je
n-ti
put napravio prijelaz u neko drugo stanje.
ostanka u istom stanju je
= 0:6.
Ako je
Ako je
1 prijelaza u isto stanje

Vjerojatnost naputanja stanja 1 je p = 0:4, a
n koraka (intervala), to znai da je napravio n
sluajna varijabla koja mjeri broj koraka provedenih bez
prekida u stanju 1, onda je njena funkcija vjerojatnosti:
P (N
= n) = qn
1p
Oekivanje ove sluajne varijable odgovara prosjenom broju koraka koje lanac bez prekida provodi u
stanju 1:
E [N ] =
1
X
k=1
kqk 1 p = : : : =
(1
q)2
= 1p = 2:5

Krenimo od rjeenja za binarni Markovljev lanac. Ako je matrica prijelaznih vjerojatnosti:
1 p p
P=
q
1 q
onda je rjeenje:
p^0 =
q
p+q
Ovaj sustav ima familiju rjeenja:
= 13 ;
p
p^1 =
p+q
= 23
p^0 1 q
= =
p^1 2 p
p = 2q

Za proces sluanog hoda moemo denirati sljedee vjerojatnosti:
P [Xn = kjXn 1 = k 1] = p
P [Xn = kjXn 1 = k + 1] = q
Budui da nemamo rubnih ogranienja, zakljuujemo da je matrica prijelaznih vjerojatnosti beskonana
kvadratna matrica s elementima
pi;i+1 = p
pi;i 1 = q
pi;j = 0;
za
ji j j > 1 i i j = 0
4.5.
205
gdje smatramo da matrica moe imati i negativne koecijente
4.5.2
6
6
6
6
6
6
4
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
i i j.
:::
::: 0 p 0 :::
::: q 0 p :::
::: 0 q 0 :::
.
.
.
..
Matricu bismo mogli prikazati ovako
3
7
7
7
7
7
7
5

Matricu gustoa prijelaza
Q itamo neposredno iz dijagrama stanja.
jednak 0.
2
6
Q=6
4
Zbroj elemenata u retku mora biti
3 3 0 0 3
1 14 4 9 77
0 5 5 0 5
0 6 0 6
Prilikom crtanja trajektorije, moramo paziti na mogue prijelaze. Na primjer, prijelaz iz stanja 2 u
stanje 3 nije mogu. Segment jedne mogue trajektorije prikazan je na slici 4.35.
Slika 4.35: Segment trajektorije Markovljevog lanca uz rjeenje zadatka 4.17

Dijagram stanja dobivam paljivim tumaenjem matrice
Q. Q
ima dimenziju etiri, to znai da lanac
ima 4 stanja, npr. stanje 0, 1, 2 i 3. Prijelazi su doputeni samo izmeu onih stanja za koje je element
qi j
matrice
Q razliit od 0.
Negativne
qi i ne ucrtavamo u dijagram stanja.
Slika 4.36: Dijagram stanja Markovljevog lanca uz rjeenje zadatka 4.18
Segment jedne mogue trajektorije prikazan je na slici 4.37.
206
POGLAVLJE 4.
MARKOVLJEVI LANCI
Slika 4.37: Segment trajektorije Markovljevog lanca uz rjeenje zadatka 4.18

Q=4
Prema teoremu 4.4 slijedi da je:
Oekivanje sluajne varijable
T1
4 4 0 3
6 15 9 5
0 6 6
FT1 (t) = 1 e 15t

je:
E [T1 ] =
1
15

Q=4
Prema teoremu 4.4 slijedi da je:
Oekivanje sluajne varijable
T1
11 4 7 3
6 7 1 5
6 5 11
FT1 (t) = 1 e 7t
je:
E [T1 ] =
1
7

Ope rjeenje matrice prijelaznih vjerojatnosti (Kolmogorovljeve jednadbe) Markovljevog lanca kontinuiranog u vremenu je:
P(t) = eQt :
1 , gdje je D dijagonalna
Q, a matrica S je vektor
redak svojstvenih vektora matrice Q. Pronaimo svojstvene vrijednosti matrice Q.
Da bismo izraunali
eQt ,
matricu
moramo napisati u obliku
= SDS
matrica. Dijagonalna matrica na dijagonali ima svojstvene vrijednosti matrice

5
5
Q=
3 3

( + 5)

5

jQ Ij = 3
( + 3) = ( + 5)( + 3) 15 =
= 2 + 8 + 15 15 = ( + 8) = 0
Svojstvene vrijednosti ove matrice su: 1 = 0, 2 =
8. Pronaimo svojstvene vektore.

5 5
x1 = x1
3 3 x2
x2
5x1 + 5x2 = x1 ) 5x2 = x1( + 5) )
5 x2
x1 = +5
4.5.
207
Dobivamo matrice
za
1 = 0 :
za
2 =
D i S:

1
x1 = x2 ) ~e1 = 1

x1 = 53 x2 ) ~e2 = 35
8:

1
5
S=
1 3

0
0
D=
0 8
1
S 1=
eDt
3 5
1 1
= 10
e 8t
Rjeenje Kolmogorovljeve jednadbe je:
1 1 5 1 0 3 5 =
0 e 8t
1 1
8 1 3
"
#
3
+
5
e 8t 5 5e 8t
1
= 8 3 3e 8t 5 + 3e 8t
P(t) = S eDt S 1 =

Jednakim postupkom kao u rjeenju zadatka 4.21. Svojstvene vrijednosti su
1 = 0;
Svojstveni vektori su:
Nadalje je:
S=
2 =

1
~e1 = 1
~e2 =
1 9
1 4
S 1=

0
0
D=
0 8
eDt
13:

9
4
1 4 9
13 1 1

= 10
013t
P(t) = S
eDt
1 1 9 1 0 4 9 =
0 e 13t
1 1
13 1 4
"
#
4
+
9
e 13t 9 9e 13t
1
= 13 4 4e 13t 9 + 4e 13t
S 1 =

Jednakim postupkom kao u rjeenju zadatka 4.21. Svojstvene vrijednosti su
1 = 0;
Svojstveni vektori su:
~e1 =
1
1
2 =
~e2 =
6:

1
1
208
POGLAVLJE 4.
Nadalje je:
S=
1 1
1 1
S 1=

0
0
D=
0 6
eDt
MARKOVLJEVI LANCI
1 1 1
2 1 1

= 10
e 6t
P(t) = S
eDt
1 1 1 06t 1 1 =
1 1
2 1 1 0 e
"
#
1
+
e 6t 1 e 6t
1
= 2 1 e 6t 1 + e 6t
S 1 = 1

Iz teorije znamo da vrijede diferencijske jednadbe:
pii (h) = 1 + qii h + o(h)

pij (h) = qij h + o(h)
Matrica gustoa prijelaznih vjerojatnosti je
Q=
pa slijedi:
5 5 ;
3 3
p00 (h) = 1 + ( 5)h + o(h)

p01 (h) = 5h + o(h)
p10 (h) = 3h + o(h)
p11 (h) = 1 + ( 3)h + o(h):
Na osnovu ovih jednadbi izraunavamo diferencijalne jednadbe na sljedei nain
p0 (t + h) = p0 (t)p00 (h) + p1 (t)p10 (h) + o(h)

p0 (t + h) = p0 (t)(1 5h) + p1 (t)(3h) + o(h)
p0 (t + h) p0 (t) = 5hp0(t) + 3hp1 (t) + o(h)

p0 (t + h) p0 (t)
o(h)
= 5p0(t) + 3p1(t) + h h ! 0
h
dp0(t) = 5p0(t) + 3p1(t)
dt
p1 (t + h) = p0 (t)p01 (h) + p1 (t)p11 (h) + o(h)
p1 (t + h) = p0 (t)(5h) + p1 (t)(1 3h) + o(h)
p1 (t + h) p1 (t) = 3hp1(t) + 5hp0 (t) + o(h)

p1 (t + h) p1 (t)
o(h)
= 3p1(t) + 5p0(t) + h h ! 0
h
dp1(t) = 3p1(t) + 5p0(t)
dt
4.5.
209

Prema klasinoj deniciji Poissonovog procesa, prijelazne vjerojatnosti su dane izrazom:
pij (t) = e
t
(t)j i
(j i)!
Gustoe prijelaznih vjerojatnosti traimo prema deniciji

d
pij
qij =
dt t=0
Dobivamo razliite vrijednosti ovisno o razlici

t=0

t

t=0
i.
t

t t=0

dpi;i(t) = de
=
e t t=0 =
dt
d
dp ( ) = d(t)e t = 2 te t + e
qi;i+1 = i;i+1
t=0
dt
dt t=0

dp (t)
qi;j = jj i + 2j = i;j = 0
dt
qi;i =
t
t=0
t=0
Matrica gustoa prijelaznih vjerojatnosti je:
Q=
Iz jednadbi
slijedi
6
6
6
6
6
4
0
0
0
.
.
.

0
0
.
.
.

0
.
.
.
0
0
:::
:::
:::
:::
.
.
.
..
3
7
7
7
7
7
5
pii (h) = 1 + qii h + o(h)

pii (h) = 1 h + o(h)
pi;i+1 (h) = h + o(h)
pk (t + h) = pk (t)pkk (h) + pk 1 (t)pk 1;k (h) + o(h)
pk (t + h) = pk (t)(1 h) + pk 1 (t)(h) + o(h)
pk (t + h) pk (t) = 3hp1(t) + 5hp0(t) + o(h)

pk (t + h) pk (t)
o(h)
= pk (t) + pk 1 (t) + h h ! 0
h
dpk (t) = pk (t) + pk 1 (t)
dt
p0 (t + h) = p0 (t)p00 (h)
p0 (t + h) = p0 (t)(1 h) + o(h)

p0 (t + h) p0 (t)
o(h)
=
p0 (t) +
h!0
h
h
dp0(t) = p0(t)
dt
=
210
POGLAVLJE 4.
MARKOVLJEVI LANCI

Iz teorije znamo da vrijedi:
pii (h) = 1 + qii h + o(h)

Q=

p00 (h) = 1 + ( )h + o(h)

p01 (h) = h + o(h)
p10 (h) = h + o(h)
p11 (h) = 1 + ( )h + o(h)
Na osnovu ovih jednadbi jednostavno izraunavamo diferencijalne jednadbe na sljedei nain:
p0 (t + h) = p0 (t)p00 (h) + p1 (t)p10 (h) + o(h)

p0 (t + h) = p0 (t)(1 h) + p1 (t)(h) + o(h)
p0 (t + h) p0 (t) = hp0(t) + hp1 (t) + o(h)

p0 (t + h) p0 (t)
o(h)
=
p0 (t) + p1 (t) +
h!0
h
h
dp0(t) = p0(t) + p1(t)
dt
p1 (t + h) = p0 (t)p01 (h) + p1 (t)p11 (h) + o(h)
p1 (t + h) = p0 (t)(h) + p1 (t)(1 h) + o(h)
p1 (t + h) p1 (t) = hp1(t) + hp0 (t) + o(h)

p1 (t + h) p1 (t)
o(h)
=
p1(t) + p0 (t) +
h!0
h
h
dp1(t) = p1(t) + p0 (t)
dt
Za rjeavanje ovih jednadbi potrebno je uzeti dodatnu jednadbu:
p0 (t) + p1 (t) = 1:
Prva diferencijalna jednadba sada ima samo jednu nepoznanicu:
dp0 (t)
dt
= ( + )p0(t) + :
Laplaceovom transformacijom transformirajmo obje strane gornje jednadbe. Dobivamo:
( + ) P0 (s) + s )

P0 (s) [s + + ] = + p0 (0) )
s
p0 (0) + +

p0 (0)
P0 (s) =
+
= s++ + s
s(s + + ) s + +
P0 (s) s p0 (0) =
Inverznom transformacijom dobivamo:
p0 (t) =
+
+
p0 (0)
+
p1 (t) = 1 p0 (t):
e (+)t
4.5.
211

Napiimo prvo matricu gustoa prijelaznih vjerojatnosti. Iz
pii (h) = 1 + qii h + o(h)

slijedi
0 0
6 0

6
6 0
0
Q=6
6 0
0
4
.
.
.
0 0

0
2 2
0 3
.
.
.
.
.
.
:::
:::
:::
:::
.
.
.
..
3
7
7
7
7
7
5
Sustav diferencijalnih jednadbi se svodi na
pi 1;i (h) = (i 1)h + o(h)

pi;i (h) = 1 ih + o(h)
Diferencijalne jednadbe dobivamo na sljei nain:
pk (t + h) = pk (t)pkk (h) + pk 1 (t)pk 1;k (h)

pk (t + h) = pk (t)[1 kh] + (k 1)hpk 1 (t) + o(h)
pk (t + h) pk (t) = khpk (t) + (k 1)hpk 1 (t) + o(h)

pk (t + h) pk (t)
o(h)
=
kpk (t) + (k 1)pk 1 (t) +
h!0
h
h
dpk (t) = kpk (t) + (k 1)pk 1 (t)
dt
dp0(t) = 0
dt
Potrebno je nai limes matrice
P(t)
kada
t tei u beskonanost:
^ = lim P(t) = lim

P
t!1
t!1
"
3 + 3e 8t
8
8
3 5e 8t
8
8
5 3e 8t
8
8
5 + 5e 8t
8
8
Stacionarne vjerojatnosti itamo iz bilo kojeg retka dobivene matrice
"
3
8
3
8
5
8
5
8
^ : p^0
P
3
8 , p^1
5
8
Matricu
gustoa prijelaznih vjerojatnosti raunamo kao vrijednost derivacije prijelaznih vjerojatnosti u toki
qij =
@pij (t)
.
@t
Dobivamo
Q=
3 3
5 5

Pogledajte rjeenje zadatka 4.21. Matrica prijelaznih vjerojatnosti je
"
1 3 + 5e
P(t) =
8 3 3e
8t
8t
5 5e
5 + 3e
8t #
8t :
Do stacionarnih vjerojatnosti dolazimo izraunavanjem limesa kada
"
1 3 + 5e
lim P(t) = tlim
t!1
!1 8 3 3e
8t
8t
5 5e
5 + 3e
8t
8t
t tei u beskonano:
"
3 5 #
8
= 3 85 :
8 8
t = 0:
212
POGLAVLJE 4.
MARKOVLJEVI LANCI
Bilo koji redak dobivene matrice je vektor redak stacionarnih vjerojatnosti:
p^ > =
3 5
8 8

"
13t
13t
1 4 + 9e
P(t) =
13 4 4e
13t
13t
9 9e
9 + 4e
"
13t
13t
1 4 + 9e
lim
P(t) = lim
t!1
t!1 13 4 4e
13t
13t
9 9e
9 + 4e
t tei u beskonano:
"
4 9 #
13
= 4 139 :
13 13
p^ > =
4 9
13 13

"
1 1+e
P(t) =
2 1 e
6t
6t
1 e
1+e
6t
6t
t tei u beskonano:
"
1 1 #
2
= 1 21 :
2 2
"
1 1+e
lim
P(t) = lim
t!1
t!1 2 1 e
6t
6t
1 e
1+e
6t
6t
p^ > =
1 1
2 2

Q=4
4 4 0 3
6 15 9 5 :
0 6 6
Sustav linearnih jednadbi koji moramo rijeiti je:
~0 = Q> p^
p^0 + p^1 + p^2 = 1
Ovaj sustav jednadbi je jednoznano rjeiv. Imamo sljedee jednadbe:
4^p0 + 6^p1 = 0
4^p0 15^p1 + 6^p2 = 0
9^p1 6^p2 = 0
p^0 + p^1 + p^2 = 1
4.5.
213
Budui da sustav ima jednu jednadbu previe, drugu jednadbu emo zamijeniti posljednjom, pa
zapravo rjeavamo sustav:
4^p0 + 6^p1 = 0
p^0 + p^1 + p^2 = 1
9^p1 6^p2 = 0
Sustav moemo rijeiti uzastopnim uvrtavanjima. Ovdje demonstriramo Gauss-Jordanovu metodu:
2
6
4
4 6 0 0 3 2 0 10 4 4 3 2 0
1 1 1 1 75 = 64 1 1 1 1 75 = 64 1
0 9 6 0
0 1 32 0
0
2
0 1 25 25 3 2 0
= 64 1 0 35 35 75 = 64 1
0
0 0 1 38
1 25 25 3
0 35 35 75 =
0 1615 52
1 0 82 3
0 0 38 75
0 1 38
Dakle, stacionarne vjerojatnosti su:
p^0 =
3 p^1 = 1 p^2 = 3
8
4
8

Jednakim postupkom kao u rjeenju zadatka 4.32.
2
6
4
11 4 7 3
7 1 5
Q=4 6
6 5 11
2
1 1 1 1 3
1 0 0
4 7 1 0 75 = : : : = 64 0 1 0
7 1 11 0
0 0 1
19
45
17
60
53
180
3
7
5
Za rjeavanje ovog sustava moemo iskoristiti i Cramerovo pravilo, kojim lake dolazimo do rjeenja.
p^0 =
19 p^1 = 17 p^2 = 53
45
60
180

Q=4
Iz jednadbi:
4 4 0 3
0 9 9 5
5 6 11
~0 = Q> p^
p^0 + p^1 + p^2 = 1

slijedi (mogui) sustav jednadbi koje rjeavamo:
4^p0 + 5^p2 = 0
9^p1 11^p2 = 0
p^0 + p^1 + p^2 = 1
214
POGLAVLJE 4.
Rijeimo ovaj sustav uvrtavanjem rjeenja prve dvije jednadbe po
4
11 4
11
p^1 = p^2 = p^0 )
9
9 5
11
4
4
p^0 + p^0 + p^0 = 1
9 5 5
9
p^0 =
25
11 4
44
p^1 = p^0 =
9 5
125
4
36
p^2 = p^0 =
5
125
MARKOVLJEVI LANCI
p^0 u treu:
p^2 = p^0
5
Dobivamo:

Q=4
Iz jednadbi:
4 0 4 3
0 5 5 5
0 4 4
~0 = Q> p^
p^0 + p^1 + p^2 = 1
slijedi (mogui) sustav jednadbi koje rjeavamo:
4^p0 + 3^p2 = 0
5^p1 + ^4p2 = 0
p^0 + p^1 + p^2 = 1
Rijeimo ovaj sustav uvrtavanjem rjeenja prve dvije jednadbe po
4
4 4
4
p^1 = p^2 = p^0 )
5
3 5
11 4 4
p^0 + p^0 + p^0 = 1
9 5 5
5
p^0 =
17
4 4
16
p^1 = p^0 =
3 5
51
20
4
p^2 = p^0 =
3
51
p^0 u treu:
p^2 = p^0
3
Dobivamo:

Jednadbe globalne ravnotee postavljamo po principu da je ukupni izlazni tok iz stanja jednak ukupnom
ulaznom toku u stanje.
4^p0 = 5^p2
9^p1 = 4^p0 + 6^p2
(5 + 6)^p2 = 9^p1
p^0 + p^1 + p^2 = 1
4.5.
215
Rjeavanjem sustava dobivamo sljedea rjeenja:
9 ; p^1 = 44 p^2 = 36
25
125
125
p^0 =
Jednadbe globalne ravnotee postavljamo po principu da je ukupni izlazni tok iz stanja jednak ukupnom
ulaznom toku u stanje.
4^p0 = 3^p2
5^p1 = 4^p2
(3 + 4)^p2 = 4^p0 + 5^p1
p^0 + p^1 + p^2 = 1
Rjeavanjem sustava dobivamo sljedea rjeenja:
p^0 =
5
16
20
17 ; p^1 = 51 p^2 = 51

Postavimo jednadbe globalne ravnotee:
p^0 = p^1
p^2 = p^1
p^3 = p^1
3^p1 = p^0 + p^2 + p^3
Slijedi:
) 4^p1 = p^0 + p^1 + p^2 + p^3 = 1
p^0 = p^1 = p^2 = p^3 =
1
4
Vjerojatnost skoka iz stanja 1 u stanje 2 raunamo prema izvedenoj formuli
p~ij
Dakle,
p~12 =
qij
; i 6= j:
qii
1 = 1:
3 3

Postavimo jednadbe globalne ravnotee:
3^p0 = 2^p1 + p^3

3^p1 = p^0 + 2^p2
3^p2 = p^1 + 2^p3
3^p3 = 2^p0 + p^2
1 = p^0 + p^1 + p^2 + p^3
Sustav rjeavamo sukcesivnim uvrtavanjem ili Gauss-Jordanovom metodom.

cionarne vjerojatnosti:
p^0 = p^1 = p^2 = p^3 =
1
4
Vjerojatnost skoka iz stanja 1 u stanje 2 raunamo prema izvedenoj formuli
p~ij
Dakle,
p~12 =
qij
; i 6= j:
qii
1 = 1:
3 3
Dobivamo sljedee sta-
216
POGLAVLJE 4.
4.5.3
MARKOVLJEVI LANCI
oznaimo intenzitet raanja, a s
intenzitet umiranja.
procesa raanja i umiranja dobivamo:
pi;i+1 (h)
pi;i 1 (h)
pi;j (h)
pii (h)
Iz
= h + o(h)
= h + o(h)
= o(h); jj ij 2
= 1 ( + )h + o(h)
pii (h)
pij (h)
2
dobivamo
Q=
6
6
6
6
6
4

0
0
.
.
.
Prema deniciji prijelaznih vjerojatnosti
= 1 + aii h + o(h)
= aij h + o(h)

( + )

0
.
.
.
0

( + )

.
.
.
0
0

( + )
.
.
.
:::
:::
:::
:::
..
3
7
7
7
7
7
5

Pojednostavnimo deniciju ovog procesa raanja i umiranja:
pi;i+1 (h)
pi;i 1 (h)
pi;j (h)
pii (h)
= h + o(h)
= h + o(h)
= o(h); jj ij 2
= 1 ( + )h + o(h)
Iz ovih jednadbi dobivamo diferencijalne jednadbe. Pri tom uvaavamo injenicu da je skok od dva ili
vie koraka u innitezimalno kratkom periodu
s
o(h).
pk (t + h)
pk (t + h)
pk (t + h) pk (t)
pk (t + h) pk (t)
h
dpk (t)
dt
=
=
=
=
h zanemariv i tu zanemarivu vjerojatnost oznaavat emo
pk (t)pkk (h) + pk 1 (t)pk 1;k (h) + pk+1 (t)pk+1;k (h) + o(h)

pk (t)[1 ( + )h] + pk 1 (t)h + pk+1 (t)h + o(h)
( + )hpk (t) + hpk 1 (t) + hpk+1(t) + o
(h)
( + )pk (t) + pk 1 (t) + pk+1 (t) + o(hh) h ! 0
( + )pk (t) + pk 1 (t) + pk+1 (t);
k>0
Slinim razmatranjem dobivamo i drugu diferencijalnu jednadbu
dp0(t) =
dt
Iz
pii (h)
pij (h)
2
dobivamo
Q=
6
6
6
6
6
4

0
0
.
.
.
= 1 + aii h + o(h)
= aij h + o(h)

( + )

0
.
.
.
p0 (t) + p1 (t)
0

( + )

.
.
.
0
0

( + )
.
.
.
:::
:::
:::
:::
..
3
7
7
7
7
7
5
4.5.
217

Pojednostavnimo diferencijske jednadbe zadanog procesa raanja i umiranja.
pi 1;i (h)
pi+1;i (h)
pi;j (h)
pii (h)
=
=
=
=
(i 1)h + o(h)
(i + 1)h + o(h)
o(h); jj ij 2
1 i( + )h + o(h)
Iz ovih jednadbi dobivamo diferencijalne jednadbe. Pri tom uvaavamo injenicu da je skok od dva ili
vie koraka u innitezimalno kratkom periodu
s
o(h).
pk (t + h)
pk (t + h)
pk (t + h) pk (t)
pk (t + h) pk (t)
h
dpk (t)
dt
=
=
=
=
=
h zanemariv i tu zanemarivu vjerojatnost oznaavat emo

pk (t)[1 k( + )h] + pk 1 (t)(k 1)h + pk+1 (t)(k + 1)h + o(h)
k( + )hpk (t) + (k 1)hpk 1 (t) + (k + 1)hpk+1 (t) + o(h)

o(h)
k( + )pk (t) + (k 1)pk 1 (t) + (k + 1)pk+1 (t) +
h!0
h
k( + )pk (t) + (k
1)pk 1 (t) + (k + 1)pk+1 (t)
Slinim razmatranjima dobivamo i drugu diferencijalnu jednadbu:
dp0 (t) = p1(t)

dt
Iz
pii (h)
pij (h)
dobivamo
0
6
6
Q=6
6 0
6 0
4
.
.
.
0
( + )
2
0
.
.
.
= 1 + aii h + o(h)
= aij h + o(h)
0

2( + )
3
.
.
.
0
0
2
3( + )
.
.
.
:::
:::
:::
:::
..

Iz
pii (h)
pij (h)
= 1 + aii h + o(h)
= aij h + o(h)
dobivamo
pi;i+1 (h)
pi;i 1 (h)
pi;j (h)
pii (h)
= h + o(h)
= (i 1)h + o(h)
= o(h); jj ij 2
= 1 ( + (i 1))h + o(h); i 0
3
7
7
7
7
7
5
218
POGLAVLJE 4.
MARKOVLJEVI LANCI
Diferencijalno-rekurzivne jednadbe dobivamo na sljedei nain:
pk (t + h)
pk (t + h)
pk (t + h) pk (t)
pk (t + h) pk (t)
h
dpk (t)
dt
=
=
=
=
=
Slino dobivamo:

pk (t)[1 ( + (k 1))h] + pk 1 (t)h + pk+1 (t)(k 1)h + o(h)
( + (k 1))hpk (t) + hpk 1(t) + (k 1)hpk+1(t) + o
(h)
o(h)
( + (k 1))pk (t) + pk 1 (t) + (k 1)pk+1 (t) + h h ! 0
( + (k 1))pk (t) + pk 1 (t) + (k 1)pk+1 (t)

dp0(t) =
dt
p0 (t)

Jednadbe lokalne ravnotee postavljamo po principu izjednaenosti tokova izmeu svih parova stanja u
procesu raanja i umiranja. Ovaj lanac se moe shvatiti kao dvodimenzionalni proces raanja i umiranja.
Stoga je mogue postaviti jednadbe lokalne ravnotee. Dobivamo sustav jednadbi:
p^0 = p^1
p^2 = p^1
p^3 = p^1
p^0 + p^1 + p^2 + p^3 = 1
p^0 = p^1 = p^2 = p^3 =
1
4

Jednadbe lokalne ravnotee postavljamo po principu izjednaenosti tokova izmeu svih parova stanja u
procesu raanja i umiranja. Ovaj lanac se moe shvatiti kao dvodimenzionalni proces raanja i umiranja.
Stoga je mogue postaviti jednadbe lokalne ravnotee. Dobivamo sustav jednadbi:
2^p0 = p^3
p^0 = 2^p1
p^1 = 2^p2
3^p2 = p^2
p^0 + p^1 + p^2 + p^3 = 1
p^0 = p^1 = p^2 = p^3 =
1
4

Promatramo sustav posluivanja s dva posluitelja i jednim spremnikom kapaciteta 3 jedinice. Moemo
denirati dijagram stanja kako je prikazano na slici.
4.5.
219
Slika 4.38: Uz rjeenje zadatka 4.46
Intenziteti raanja su elementi prve gornje sporedne dijagonale matrice gustoa prijelaza, dok su
intenziteti umiranja elementi prve donje sporedne dijagonale matrice
Q=
6
6
6
6
6
6
4

0

( + 2)
2
0
0

( + )
2
0
0
0
0
0
0
0
0
0

( + 2)
2
0
Q.
0
0
0

( + 2)
2
0 3
0 77
0 77
0 77
5
2
Budui da se radi o jednodimenzionalnom lancu raanja i umiranja, moemo postaviti sljedee jednadbe lokalne ravnotee:
) p^1 = p^0
p^0 = p^1
p^1 = 2p^2
2
) p^2 = 2 p^1 = 21 p^0
3

1

p^2 = 2p^3 ) p^3 = p^2 = 2
2
2 p^0

1 4 p^0
p^3 = 2p^4 ) p^4 = p^3 = 3
2
2
5

1

p^4 = 2p^5 ) p^5 = p^4 = 4
2
2 p^0
1 = p^0 + p^1 + p^2 + p^3 + p^4 + p^5
Iz dobivenih jednadbi dobivamo vrijednost za p
^0, a time i sve ostale stacionarne vjerojatnosti:

2 3 4 5 1
p^0 = 1 + + + + +
gdje je
=
16

.


Promatramo sustav posluivanja s dva posluitelja i jednim spremnikom kapaciteta 2 jedinice. Moemo
Q=
6
6
6
6
4

0
0
0

( + )
2
0
0
0

( + 2)
2
0
Q.
0
0

( + 2)
2
0 3
0 77
0 77
5
2
220
POGLAVLJE 4.
MARKOVLJEVI LANCI
) p^1 = p^0
2

1

p^1 = 2p^2 ) p^2 = p^1 =
2
2 p^0
p^0 = p^1
p^2 = 2p^3
3
) p^3 = 2 p^2 = 212 p^0
4
1

p^3 = 2p^4 ) p^4 = p^3 = 3
2
2 p^0
1 = p^0 + p^1 + p^2 + p^3 + p^4 + p^5
p^0 , a time i sve ostale stacionarne vjerojatnosti:

2 3 4 1
p^0 = 1 + + + +
Iz dobivenih jednadbi dobivamo vrijednost za
gdje je
=

.


Promatramo sustav posluivanja s tri posluitelja i jednim spremnikom kapaciteta 2 jedinice. Moemo
4.5.
221
Q=
6
6
6
6
6
6
4

0
0
0
0

( + )
2
0
0
0
0

( + 2)
3
0
0
0
0

( + 3)
3
0
Q.
0
0
0

( + 3)
3
0 3
0 77
0 77
0 77
5
3
) p^1 = p^0
2

1

p^1 = 2p^2 ) p^2 = p^1 =
2
2 p^0
p^0 = p^1
3
) p^3 = 3 p^2 = 2 1 3 p^0

4

1

p^3 = 3p^4 ) p^4 = p^3 =
3
2 32 p^0
p^2 = 3p^3
p^4 = 3p^5
5
) p^5 = 3 p^4 = 2 133 p^0
1 = p^0 + p^1 + p^2 + p^3 + p^4 + p^5

Iz dobivenih jednadbi dobivamo vrijednost za p
^0, a time i sve ostale stacionarne vjerojatnosti:
p^0 =
gdje je
=
2
3
4

5 1
1 + + 2 + 6 + 18 + + 54

.


U ovom zadatku se radi o dvodimenzionalnom procesu raanja i umiranja. Dijagram stanja ovog lanca
je prikazan na slici 4.41.
Stanje
(i; j ) oznaava stanje kada je uspostavljeno i veza tipa A i j veza tipa B. Da bismo izraunali
vjerojatnost blokiranja, moramo izraunati stacionarne vjerojatnosti ovog lanca. Postavimo jednadbe
lokalne ravnotee za lanac:
p00 = p10
p00 = p01
) p10 = p00
) p01 = p00

2
p01 = 2p02 ) p02 = p01 = p00
2
2
222
gdje je
POGLAVLJE 4.
=

.

Rjeavajui gornji sustav po
p00
MARKOVLJEVI LANCI
dobivamo
p00 =
1 + 2 + 22
Vjerojatnost blokiranja veza tipa A je jednaka vjerojatnosti stanja
pA =

1 + 2 + 22
(1; 0). Stoga je:

Markovljevi Lanci

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Markovljevi Lanci

Uploaded by

Copyright:

Available Formats

Poglavlje 4

svojstvo zovemo svojstvo odsustva pamenja (

Isto svojstvo ima i Poissonov proces,

Markovljevi lanci s diskretnim parametrom

Primjer je opis ponaanja binarnog izvora

n-ti simbol generiralo 1, onda

Markovljev izvor, onda su 0 i 1 mogua stanja procesa. Ako je izvorite kao

lancem. Na primjer, to moe biti generator sluajnih cijelih brojeva od

Skup moguih stanja

Za opi Markovljev lanac vrijedi sljedee:

P (Xn+1 = j j Xn = i) zovemo prijelaznom vjerojatnou iz stanja in u stanje jn+1 . U opem

sluaju ta se vjerojatnost mijenja ovisno o vrijednosti parametra

koraku, deniramo matricu prijelaznih vjerojatnosti.

Definicija 4.1 (Matrica prijelaznih vjerojatnosti (Transition

1 u stanje j u koraku n opisan je prijelaznom vjerojatnou:

vjerojatnosti u n-tom koraku je

Zbroj elemenata svakog retka ove matrice jednak je jedan:

Matrice s ovakvim svojstvom zovemo stohastikim matricama.

Slika 4.1: Binarni izvor - opis Markovljevim lancem

moe ovisiti o koraku

No, pretpostavimo da je matrica jednaka za svaki korak. Takve Markovljeve

Neka je vjerojatnost da izvor pree u stanje 1 ako je u stanju 0 jednaka

vjerojatnost da pree u 0 ako je u stanju 1 neka je

P fXn = j jXn 1 = ig P fXn 1 = ig =

Budui da zbroj u gornjem izrazu odgovara mnoenju vektor-retka

p(n) = P(n)> p(n

1) s desne strane s matricom

A> B > = (B A)> , iterativno dobivamo:

MARKOVLJEVI LANCI S DISKRETNIM PARAMETROM

Definicija 4.2 (Homogeni Markovljev lanac)

Ukoliko je neki Markovljev lanac homogen, vektor-stupac vjerojatnosti Markovljevog lanca u

p(n) = (Pn )> p(0)

Nadalje emo promatrati upravo homogenu klasu Markovljevih lanaca.

To je matrica iji element

(i; j ), kojeg emo oznaitin pij (n), predstavlja

n koraka. Ako matrica P konvergira k nekoj

vjerojatnost prijelaza procesa iz stanja

Teorem 4.1 (Ergodiki teorem)

^ su svi jednaki, tj. postoji p^j koji ne ovisi o i takav da je

^ . Markovljev lanac za kojeg postoji limes

Definicija 4.3 (Ireducibilnost Markovljevog lanca s diskretnim parametrom)

Stanje j Markovljevog lanca je

iz stanja i, s oznakom i ! j , ako vrijedi da je:

p(ijn) > 0; za 0  n < 1

. Ako sva stanja Markovljevog lanca

Definicija 4.4 (Ergodiki Markovljev lanac s diskretnim parametrom)

Ako je d = 1, onda je stanje i

ergodiki Markovljev lanac.

Teorem 4.2 (Granini teorem)

Za ireducibilan Markovljev lanac vrijedi

Tehnike raunanja stacionarnih vjerojatnosti

Moramo odrediti matricu

i pomou nje izraunati vjerojatnosti stanja lanca u

stacionarnom stanju. Pogledajmo primjer 4.1.

Promatrajmo homogen Markovljev lanac s dva stanja

matrica prijelaznih vjerojatnosti

Slika 4.2: Dijagram stanja binarnog izvora

Moe se pokazati da je:

Iz gornje je matrice lako pronai limes kada

MARKOVLJEVI LANCI S DISKRETNIM PARAMETROM

p(0), vjerojatnosti stanja u dalekoj (stacionarnoj) budunosti su jednaka:

^ = p(n = 1) = P^ > p(0) = bilo koji redak matrice P^

Drugim rijeima, poetno stanje ne uvjetuje stacionarne vjerojatnosti procesa.

koraku, deniramo matricu prijelaznih vjerojatnosti.

p(ijn) > 0; za 0 n < 1

P kvadratna matrica dimenzija k k . Neka su 1 ; : : : ; k svojstvene vrijednosti (eigenvalues )