Slučajni procesi I, Odjel za matematiku, Sveučilište J.J. Strossmayera u Osijeku 17.12.2021.

Markovljevi lanci
Granična distribucija i periodičnost Markovljevog lanca

1 Granična distribucija Markovljevog lanca

U ovom poglavlju definirat ćemo graničnu distribuciju Markovljevog lanca (Xn , n ∈ N0 ) sa skupom stanja
S i matricom 1-koračnih prijelaznih vjerojatnosti Π te proučiti njezinu vezu sa stacionarnom distribucijom
Markovljevog lanca.

Definicija 1. Neka je (Xn , n ∈ N0 ) Markovljev lanac sa skupom stanja S i matricom 1-koračnih prijelaznih
vjerojatnosti Π. Vjerojatnosna distribucija π = (πi , i ∈ S) naziva se granična distribucija Markovljevog
lanca ili matrice Π ako za sve i, j ∈ S vrijedi
(n)
lim p = πj .
n→∞ ij

(n)
Napomena 1. Uočimo da za svaki j ∈ S limesi lim pij mogu postojati, a da ne definiraju vjerojatnosnu
n→∞
∞
P (n)
distribuciju. Primjerice, ako su sva stanja Markovljevog lanca prolazna, tada je pij < ∞, pa je za svaki
n=0
(n)
j ∈ S lim pij = 0. Dakle, limesi postoje, ali ne definiraju graničnu distribuciju.
n→∞

Prisjetimo se prethodno dokazane propozicije.

Propozicija 1. Neka je S konačan skup stanja (λ, Π)-Markovljevog lanca (Xn , n ∈ N0 ). Pretpostavimo da
za neki i ∈ S vrijedi
(n)
lim pij = πj , ∀j ∈ S.
n→∞

Tada je π = (πj , j ∈ S) stacionarna distribucija tog Markovljevog lanca.

Dakle, iz propozicije 1 znamo da ako je skup stanja konačan, tada je granična distribucija Markovljevog
lanca ujedno i njegova stacionarna distribucija. Ovdje poopćavamo taj rezultat:

Teorem 1. Neka je π = (πi , i ∈ S) granična distribucija Markovljevog lanca sa skupom stanja S. Tada je
π i njegova stacionarna distribucija.

Dokaz. Ako je π granična distribucija, tada znamo da je za sve i, j ∈ S

(n) (n+1)
X (n)
πj = lim pij = lim pij = lim pik pkj .
n→∞ n→∞ n→∞
k∈S

U ovom generalnom slučaju nemamo zadovoljene pretpostavke Lebesgueovog teorema o monotonoj ili do-
miniranoj konvergenciji, pa limes ne možemo tek tako staviti pod sumu. Zato postupamo na sljedeći način
(bez smanjenja općenitosti uzimamo da je S = N0 ):
∞ M M   M
(n) (n) (n) (n)
X X X X X
πj = lim pik pkj = lim pik pkj ≥ lim pik pkj = lim pik pkj = πk pkj ,
n→∞ n→∞ n→∞ n→∞
k∈S k=0 k=0 k=0 k=0

za sve j ∈ S i sve M ∈ N0 . Kada M → ∞ dobivamo sljedeće:

∞
X X
πj ≥ πk pkj = πk pkj , ∀j ∈ S. (1)
k=0 k∈S

Da bismo dokazali tvrdnju teorema dovoljno je pokazati da u (1) ne može vrijediti stroga nejednakost. Stoga
pretpostavimo da je za neki j0 ∈ S X
πj0 > πk pkj0 . (2)
k∈S

1
Slučajni procesi I, Odjel za matematiku, Sveučilište J.J. Strossmayera u Osijeku 17.12.2021.

Sumiranjem nejednakosti (1) po j ∈ S, uz pretpostavku (2), slijedi:

X XX X X X
1= πj > πk pkj = πk pkj = πk ,
j∈S j∈S k∈S k∈S j∈S k∈S

što je kontradikcija s činjenicom da je π distribucija. Slijedi da je za svaki j ∈ S

X
πj = πk pkj ,
k∈S

tj. π = πΠ, pa je u ovim uvjetima granična distribucija ujedno i stacionarna distribucija Markovljevog lanca.

Sljedeći primjer pokazuje da granična distribucija ne mora postojati iako postoji jedinstvena stacionarna
distribucija.

Primjer 1. Promotrimo Markovljev lanac X = (Xn , n ∈ N0 ) sa skupom stanja S = {1, 2} i matricom

1-koračnih prijelaznih vjerojatnosti " #
0 1
Π= .
1 0
Ovaj Markovljev lanac je ireducibilan i povratan, a rješavanjem sustava jednadžbi π = πΠ uz π1 + π2 = 1
slijedi da je π = (1/2, 1/2) njegova jedinstvena stacionarna distribucija. Medutim, uočavamo da je

Π2n = I, n ∈ N0 ,

Π2n+1 = Π, n ∈ N0 ,
(n)
gdje je I jedinična matrica drugog reda. Dakle, lim pij ne postoji niti za jedan par stanja i, j ∈ S, pa ovaj
n→∞
lanac, iako ima jedinstvenu stacionarnu distribuciju, nema graničnu distribuciju.

U prethodnom primjeru važnu ulogu igra jedno posebno svojstvo Markovljevog lanca - periodičnost.

Definicija 2. Za stanje i ∈ S Markovljevog lanca sa matricom 1-koračnih prijelaznih vjerojatnosti Π s d(i)

(n)
označavamo najveći zajednički djelitelj skupa {n ∈ N : pii > 0}, gdje je d(i) = 1 ako je taj skup prazan.
Kažemo da je stanje i aperiodično ako je d(i) = 1, a suprotnom je stanje i periodično s periodom d(i).
(2n) (2n+1) (n)
Primjer 2. U primjeru 1 je p11 = 1, a p11 = 0 za n ∈ N0 . Slijedi da je {n ∈ N : p11 > 0} skup svih
parnih prirodnih brojeva. Dakle, d(1) = 2, pa je stanje 1 periodično s periodom 2. Analogno se zaključuje
(n)
za stanje 2. Takoder uočimo da čim je za stanje i ∈ S pii > 0, slijedi da je 1 ∈ {n ∈ N : pii > 0}, pa je
d(i) = 1, tj. stanje i je aperiodično.

Može se pokazati da sva stanja i, j ∈ S koja medusobno komuniciraju imaju isti period, tj. i ←→ j povlači
da je d(i) = d(j). To znači da je, kao i povratnost i prolaznost, period svojstvo klase komuniciranja.

Teorem 2. Neka je (Xn , n ∈ N0 ) Markovljev lanac sa skupom stanja S i matricom 1-koračnih prijelaznih
vjerojatnosti Π koji je ireducibilan, aperiodičan i ima stacionarnu distribuciju π. Tada je

lim P (Xn = j) = πj , ∀j ∈ S.
n→∞

Specijalno,
(n)
lim p = πj , ∀i, j ∈ S,
n→∞ ij

tj. stacionarna distribucija je ujedno i granična distribucija.

Pregled rezultata o graničnom ponašanju periodičnog nul-povratnog Markovljevog lanca može se naći u
materijalima [4], rezultati 8.11 - 8.13.

2
Slučajni procesi I, Odjel za matematiku, Sveučilište J.J. Strossmayera u Osijeku 17.12.2021.

Literatura
[1] Norris, J.R., Markov Chains, Cambridge University Press, 1997.

[2] Resnick, S.I., Adventures in Stochastic Processes, Birkhauser, 2002.

[3] Ross, S., Introduction to Probability Models, Elesevier Academic Press, 2007.

[4] Vondraček, Z., Markovljevi lanci, PMF - Matematički odsjek, Sveučilište u Zagrebu, 2013.