Stohastični procesi

dr.Alenka Brezavšček, doc.

govorilne ure:
vsak četrtek 13.00-14.30, kabinet 506
e-mail: alenka.brezavscek@fov.uni-mb.si
 Literatura
• Predavanja
A. Hudoklin-Božič: Stohastični procesi
VI. izdaja

• Vaje
A. Hudoklin-Božič, R. Sabolek, A. Brezavšček:
Stohastični procesi, Zbirka rešenih nalog
 Stohastični (naključni) procesi
so procesi, ki se spreminjajo s časom ali krajem v
skladu z zakoni verjetnosti.

Stohastični proces je družina realnih slučajnih

spremenljivk Xt, definiranih za vrednosti
parametra t, t ∈T.

Omejili se bomo na procese, kjer parameter T pomeni čas.

 Čas kot parameter procesa je lahko:
• diskreten (proces spremljamo v enakomernih presledkih,
korakih)
⇓
stohastični proces v diskretnem času
{Xn}, n=0, 1, …
• zvezen (proces spremljamo kontinuirano)
⇓
stohastični proces v zveznem času
{X(t)}, t ≥ 0
 Prostor stanj procesa

je množica vseh možnih vrednosti, ki jih lahko

slučajne spremenljivke procesa zavzamejo.

Prostor stanj procesa je lahko:

• diskreten (vsebuje končno ali števno neskončno število

elementov)
• zvezen
 Klasifikacija stohastičnih procesov
diskretni čas zvezni čas
diskretni prostor stanj diskretni prostor stanj

Markovski procesi
II I
III IV

diskretni čas zvezni čas

zvezni prostor stanj zvezni prostor stanj
Pri študiju in aplikaciji stohastičnih procesov
želimo določiti naslednje lastnosti procesa:
⇒ verjetnostne porazdelitve slučajnih spremenljivk
Xn oziroma X(t)

⇒ verjetnostne porazdelitve drugih slučajnih

spremenljivk, ki so proces karakterizirajo:
• čas bivanja v določenem stanju,
• čas prehoda iz enega stanja v drugo,
• čas prve vrnitve v stanje, ipd.
 Oznake
stohastični proces {Xn}, n=0,1, …
{X(t)}, t ≥ 0
verjetnostna porazdelitev za zasedbo stanj procesa {Xn} oz. {X(t)}
p X n ( x) = P( X n = x)
p X (t ) ( x) = P ( X (t ) = x)

pogojna verjetnost
p X n ( x X m = y) verjetnost, da je v času n zasedeno stanje x, pri
pogoju da je bilo v času m zasedeno stanje y.

verjetnost, da je v času n zasedeno stanje x, pri pogoju

p X n ( x X m = y, X l = z , K) da je bilo v času m zasedeno stanje y, v času l pa stanje z.

verjetnost, da je v času t zasedeno stanje x, pri

p X ( t ) ( x X (v ) = y )
pogoju da je bilo v času v zasedeno stanje y.
 Markovski proces
Stohastični proces v diskretnem času je markovski, če velja za poljubne
čase …l<m<n
p X n ( x X m = y , X l = z , K) = p X n ( x X m = y )

Stohastični proces v zveznem času je markovski, če velja za poljubne

čase …t<u<v
p X ( v ) ( x X (u ) = y, X (t ) = z ,K) = p X ( v ) ( x X (u ) = y )

Pogojna verjetnostna porazdelitev slučajne spremenljivke je odvisna le od

najpoznejšega znanega stanja, ne pa od stanj procesa v prejšnjih časih.

Markovski proces nima spomina, za napoved obnašanja

procesa v prihodnosti je potrebno poznati sedanjost, ne pa
preteklosti.
Pri markovskih procesih morajo pogojne verjetnosti za zasedbo
stanj zadoščati enačbam Chapman-Kolmogorova:

•diskreten čas l<m<n

∞
pX n ( x X l = z) =
−∞
∫p Xm ( y X l = z ) p X n ( x X m = y )dy

•zvezen čas t<u<v

[y X (t ) = z) p ]
∞
p X ( v ) [x X (t ) = z ] = ∫p X (u ) X (v ) ( x X (u ) = y ] dy
−∞

Pomen teh enačb je v tem, da lahko pogojno verjetnost v daljšem

časovnem intervalu (l,n) oziroma (t,v) izrazimo s pogojnimi
verjetnostmi v krajših intervalih (l,m) in (m,n) oziroma (t,u) in (u,v).
 Markovske verige
so markovski procesi z diskretnimi stanji v diskretnem času.

Markovska veriga je definirana z množico diskretnih slučajnih

spremenljivk {Xn}, n=0,1, …, ki imajo naslednjo lastnost:

Če poznamo vrednost Xm v poljubnem trenutki m, je v nekem

poznejšem trenutku m+n verjetnostna porazdelitev Xm+n
popolnoma določena. Poznavanje vrednosti Xm-1, Xm-2 , … v
časih manjših od m, ni potrebno.
Zapišemo lahko:
P ( X m + n = j X m = i, X m −1 = h, X m − 2 = g , K) = P ( X m + n = j X m = i )
 Število stanj, ki jih markovska veriga lahko zavzame:

•končno ⇒ S={0,1,…, N} ⇒ končna markovska veriga

•neskončno ⇒ S={0,1,…, N,...} ⇒ neskončna markovska veriga

Markovska veriga je (časovno) homogena, če je pogojna

verjetnost P( X m + n = j X m = i ) odvisna le od širine časovnega
intervala n, ne pa od časa m.

Velja torej:
P( X m+n = j X m = i) = P( X n = j X 0 = i) m = 1,2, K; n = 1,2, K

Ukvarjali se bomo izključno s homogenimi markovskimi

verigami.
 Verjetnost prehoda
pij(n ) verjetnost prehoda iz stanja i v j v n korakih

pij(n ) je pogojna verjetnost, da je bilo na začetku opazovanja (v času m)

zasedeno stanje i, po n korakih (v času m+n) pa stanje j:
pij( n ) = P ( X m + n = j X m = i )

pij verjetnost prehoda iz stanja i v j v enem koraku

pij je pogojna verjetnost, da je bilo na začetku opazovanja (v času m)

zasedeno stanje i, po enem koraku (v času m+1) pa stanje j:
pij = pij(1) = P ( X m +1 = j X m = i )
 Prehodna matrika
Verjetnosti prehodov (v enem koraku) med posameznimi stanji
markovske verige zapišemo v obliki prehodne matrike.

Primer: Končna veriga s prostorom stanj S={0,1,…,N} ⇒ (N+1)2 verjetnosti

prehodov med stanji

Prehodna matrika: 0 1 . . N
0  p00 p01 . . p0 N 
1  p10 p11 . . p1N 
.  . . . . . 
P = {pij }=  
.  . . . . . 
.  . . . . . 
 
N  p N 0 pN1 . . p NN 

P vsebuje vse potrebne informacije o prehodih verige med stanji mark. verige.
 0 1 . . N
0 p00 p01 . . p0 N 
1p p11 . . p1N 
 10
.  . . . . . 
P = {pij }=  
.  . . . . . 
.  . . . . . 
 
N  p N 0 pN1 . . p NN 

Vsaka prehodna matrika je stohastična matrika.

Lastnosti stohastičnih matrik:

⇒ stohastična matrika je kvadratna,
⇒ elementi stohastične matrike so nenegativni,
⇒ vsota elementov v posamezni vrstici je enaka 1.
Verjetnostna porazdelitev za zasedbo stanj v
poljubnem času
podaja verjetnosti, da so/bodo v poljubnem času n zasedena
posamezna stanja markovske verige.

Zapišemo jo v obliki vrstičnega vektorja:

[ ]
p ( n ) = p0( n ) , p1( n ) , K

pri čemer pomeni posamezna komponenta p (n) , pi(n), verjetnost,

da je/bo v časi n zasedeno stanje i:
pi( n ) = P( X n = i ), n = 0,1, K i = 0,1, K

Vsota elementov
∞
verjetnostne porazdelitve je vedno enaka 1!
∑ i =1
p (n)
n = 0,1, K i = 0,1, K
i =1
 Za izračun p (n ) potrebujemo:

⇒ prehodno matriko P
⇒ verjetnostno porazdelitev za zasedbo stanj na začetku
opazovanja p ( 0) = [p0( 0) , p1( 0) ,K]

Zapišemo:
p ( n) = p (0) P n

Elementi matrike Pn so verjetnosti prehodov med stanji v

času n (v n korakih) pij(n).

Matrika Pn je stohastična matrika.

 Ravnovesna porazdelitev
je verjetnostna porazdelitev za zasedbo posameznih stanj
markovske verige, ki se po daljšem času ustali in se s časom
ne spreminja več. Verjetnosti za zasedbo stanj tako postanejo
neodvisne od začetnih pogojev.

Ravnovesne porazdelitve so v praksi mnogokrat zelo pomembne.

Ravnovesna porazdelitev ne obstaja vedno, pač pa le v

določenih primerih.

Da bi ugotovili, kdaj ravnovesna porazdelitev obstaja, in kako jo

najenostavneje izračunati, je potrebno proučiti naravo stanj in strukturo
prehodne matrike, ki neki homogeni markovski verigi pripada.
 Klasifikacija stanj markovske verige
Stanja markovske verige lahko glede na njihovo naravo
razdelimo na različne tipe.

poljubno stanje i

povratno minljivo

pozitivno povratno ničelno

periodičnost
(periodična, neperiodična)
Veličine, ki jih bomo za klasifikacijo stanj potrebovali

verjetnost, da se veriga, ki je bila na začetku v stanju i prvič povrne v

f ii(n ) to stanje v času n (tj., po n korakih), v časih 1, 2, … n-1 pa se stanju i
izogiba
f ii( n ) = P[X r ≠ i (r = 1,2, K , n − 1), X n = i X 0 = i ] n = 1,2, K

fi verjetnost, da se veriga, ki je bila na začetku v stanju i sploh kdaj (po

kateremkoli številu korakov) v to stanje povrne
∞
f i = ∑ f ii( n )
n =1

µi povprečni čas (prve) vrnitve v stanje i

∞
µ i = ∑ n f ii( n )
n =1
 f ij(n ) verjetnost prvega prehoda iz stanja i v stanje j v času n

f ij( n ) = P[X r ≠ j ( r = 1,2, K , n − 1), X n = j X 0 = i ] n = 1,2, K

fij verjetnost, da veriga, ki je bila na začetku v stanju i sploh kdaj

pride v stanje j
∞
f ij = ∑ f ij( n )
n =1

µ ij povprečni čas prehoda iz stanja i v stanje j

∞
µ ij = ∑ n f ij( n )
n =1
1. Klasifikacija stanj na osnovi verjetnosti prve vrnitve v stanje

poljubno stanje i

povratno minljivo
fi = 1 fi < 1

pozitivno povratno ničelno

µi < ∞ µi = ∞

Ta način klasifikacije stanj markovske verige je neprikladen

(predvsem za neskončne verige), saj moramo za vsako stanje
izračunati fi, za povratna stanja pa še µi!
 Pri klasifikaciji stanj nam je lahko v pomoč
verjetnostni graf!
Stanje je povratno, če se vse poti, ki iz stanja izhajajo, spet
kdaj povrnejo v to stanje (ni nujno v prvem koraku!).
Opozorilo: Na podlagi verjetnostnega grafa lahko ugotovimo samo, ali je stanje
povratno. Če želimo ugotoviti, ali je povratno stanje pozitivno povratno ali
ničelno, moramo izračunati µi .

Če obstaja kaka pot, ki stanje zapusti in se vanj več ne vrne,

je stanje minljivo.

ponorno (absorbirajoče) stanje - stanje, ki se v prvem koraku

vrne samo vase z verjetnostjo 1. Vsa ponorna stanja so pozitivno
povratna.
 Periodičnost
Periodičnost določamo samo pri povratnih stanjih.
Stanje i je periodično, če se veriga vrača vanj le v časih, ki
so mnogokratniki nekega celega števila, večjega od 1.
Največje število, ki zadošča temu pogoju, imenujemo
perioda (d).
Za periodično stanje i torej velja: vrnitve v stanje so možne
le v časih n=d, 2d, 3d, … Za vse druge čase n je pii( n ) = 0 .

Če je d=1, je stanje neperiodično.

Kadar je v P diagonalni element <> 0 je to stanje zagotovo

neperiodično (obratno ne velja!).

ergodijsko stanje - pozitivno povratno neperiodično stanje

 Dosegljivost in povezanost stanj
Stanje j je iz stanja i dosegljivo, kadar je možen prehod iz
stanja i v stanje j v končnem številu korakov.

Če je stanje j dosegljivo iz stanja i, stanje i pa iz stanja j, sta

stanji i in j povezani.

rij najmanjše število korakov, v katerem pridemo iz

stanja i v stanje j
rji najmanjše število korakov, v katerem pridemo iz
stanja j v stanje i

V splošnem velja, da je rij ≠ rji.

2. Klasifikacija stanj na osnovi verjetnosti prehodov

Kot osnovo za tako klasifikacijo vpeljimo

rodovni funkciji Fjj(s) in Pjj(s):
∞
F jj ( s ) = ∑ f jj( n ) s n
n =1
s ≤1
∞
Pjj ( s ) = ∑ p (jjn ) s n
n =1

Zveza med Fjj(s) in Pjj(s):

Pjj ( s )
F jj ( s ) =
1 + Pjj ( s )
Analogno definiramo rodovni funkciji Fij(s) in Pjj(s):
∞
Fij ( s ) = ∑ f ij( n ) s n
n =1
s ≤1
∞
Pij ( s ) = ∑ pij( n ) s n
n =1

Zveza med Fij(s) in Pij(s):

Pij ( s )
Fij ( s ) =
1 + Pjj ( s )
 Želimo poiskati limite izrazov za Fjj(s) in Fij(s), če gre s→1.

Abelov izrek:
za vsako rodovno funkcijo G ( s) = ∑ g n s n , g n ≥ 0 velja relacija
n

G (1) = lim G ( s ) = ∑ g n
s →1
n

Sledi:
∞
F jj (1) = ∑ f jj( n ) = f j
n =1 Pjj (1)
∞ F jj (1) =
1 + Pjj (1)
Pjj (1) = ∑ p (jjn )
n =1
∞
Fij (1) = ∑ f ij( n ) = f ij
n =1 Pij (1)
∞ Fij (1) =
Pij (1) = ∑ pij( n ) 1 + Pjj (1)
n =1
 Sklep
Stanje j je povratno, če velja:
∞
f j = 1 ⇒ F jj (1) = 1 ⇒ Pjj (1) = ∞ ⇒ ∑ p (jjn) = ∞
n =1

Za vsako drugo stanje i, iz katerega je j dosegljivo, velja

∞
f ij = 1 ⇒ Fij (1) = 1, Pjj (1) = ∞ ⇒ Pij (1) = ∞ ⇒ ∑ pij( n ) = ∞
n =1

Stanje j je minljivo, če velja:

∞
f j < 1 ⇒ F jj (1) < 1 ⇒ Pjj (1) < ∞ ⇒ ∑ p (jjn) < ∞
n =1

Za vsako drugo stanje i (kakršnega koli tipa) velja

∞
f ij < 1 ⇒ Fij (1) < 1, Pjj (1) < ∞ ⇒ Pij (1) < ∞ ⇒ ∑ pij( n ) < ∞
n =1
 Limitni izreki
Za neperiodično povratno stanje j velja: lim p ( n ) = 1
jj
n →∞ µj

Fij (1)
Za vsako drugo stanje i velja: lim pij( n ) =
n →∞ µj

1
Za periodično povratno stanje j velja: lim p (jjnd ) = d
n →∞ µj

( r + nd ) Fij (1)
Za vsako drugo stanje i velja: lim pij ij =d
n →∞ µj

Za minljivo stanje j velja: lim p (jjn ) = 0

n →∞

Za vsako drugo stanje i velja: lim pij( n ) = 0

n →∞
 Na podlagi limitnih izrekov lahko ugotovimo, ali je neko
neperiodično povratno stanje pozitivno povratno ali ničelno:
Če je stanje j poz. povratno, potem velja:
1
µ j < ∞ ⇒ lim p (jjn ) = >0
n →∞ µj
Če je stanje j ničelno, potem velja:
1 1
µ j = ∞ ⇒ lim p (jjn ) = = =0
n →∞ µj ∞

Pri periodičnih stanjih je limitno obnašanje verjetnosti

prehodov pij(n) oz. pjj(n) bolj komplicirano, saj limita ne obstaja
vedno. Če verjetnosti pij(n) povprečimo, dosežemo, da limita
vedno obstaja:
1
tij( n ) = [ p1( nj ) + ... + pij( n ) ]
n
2. Klasifikacija stanj na osnovi verjetnosti prehodov

poljubno stanje i

povratno minljivo
∞ ∞
∑ pii( n ) =∞ ∑ pii(n) < ∞
n =1 n =1
lim pii( n ) = 0
n →∞
pozitivno povratno
neperiodično ničelno
lim pii( n ) > 0 lim pii( n ) = 0
n →∞ n →∞

Prednost tega načina klasifikacije stanj markovske verige je v tem, da

omogoča grupiranje stanj istega tipa. Tako lahko opredelimo celo
skupino stanj, če določimo tip enega samega stanja iz te skupine.
 Trditev:

Stanja markovske verige, ki so povezana, so

istega tipa.
Če so taka stanja periodična, imajo tudi
isto periodo.
 Zaprte množice stanj

Povezana stanja markovske verige združimo v

zaprte množice stanj.
Množica C se imenuje zaprta množica, če so vsakemu stanju
v C dosegljiva samo stanja te množice:
pij = 0, i ∈ C, j ∉ C

Ko pride veriga v zaprto množico je ne more več zapustiti.

Prehodi med posameznimi zaprtimi množicami niso možni.

Če je zaprta množica sestavljena iz enega samega stanja, je to

stanje ponorno.
Združevanje stanj v zaprte množice nam pomaga
pri klasifikaciji stanj markovske verige saj velja:

V posamezni zaprti množici so vsa stanja povezana.

⇓
Povezana stanja so istega tipa. Če so periodična, imajo
isto periodo.
⇓
Za klasifikacijo stanj celotne zaprte množice zadošča
klasifikacija enega samega stanja.
 Razcep markovske verige
stanja markovske verige
(končne ali neskončne)

množica množica
povratnih stanj minljivih stanj
T

enolično razdelimo na
zaprte množice
Ci
Ena izmed množic (bodisi povratnih bodisi minljivih stanj) je lahko prazna.

Če so vsa stanja markovske verige istega tipa (bodisi

povratna, bodisi minljiva), pravimo, da je veriga nerazcepna.
Če pa vsebuje markovska veriga stanja obeh tipov (povratna
in minljiva) pravimo, da je veriga razcepna.
 Razcep končne markovske verige
Na podlagi verjetnostnega grafa prehodov med stanji določimo
množico minljivih stanj T in zaprte množice Ci.

Prehodno matriko verige lahko zapišemo tako, da so verjetnosti

prehodov grupirane na zaprte množice stanj. Preurejena matrika
P* ima obliko:
 P1 0 . . . 0 0
0 P . . . 0 0 
 2
 . . . . . . .
*  
P = . . . . . . .
 . . . . . . .
 
0 0 . . . Pn 0
R R . . . Rn Q 
 1 2
  P1 0 . . . 0 0
0 P . . . 0 0 
 2
 . . . . . . .
 
P* =  . . . . . . .
 . . . . . . .
 
0 0 . . . Pn 0
R R . . . Rn Q 
 1 2

Pi - vsebujejo verjetnosti prehodov znotraj posameznih zaprtih množic Ci;

Pi so stohastične matrike
Q - vsebuje verjetnosti prehodov znotraj množice minljivih stanj T;
Matrika Q ni stohastična, ker je vsota členov po posameznih vrsticah
lahko manjša od 1.
Ri - vsebujejo verjetnosti prehodov iz minljivih v povratna stanja; Matrike
Ri niso kvadratne in jih ne moremo interpretirati kot prehodne matrike.
Iz razcepa končne markovske veriga sledita dve pomembni
lastnosti končnih markovskih verig:
1. Končna veriga ne more more biti
sestavljena samo iz minljivih stanj.

2. Končna veriga ne more vsebovati

nobenega ničelnega stanja.
 Klasifikacija stanj razcepne končne verige
Na podlagi verjetnostnega grafa prehodov med stanji določimo
množico minljivih stanj T, povratna stanja pa razdelimo na
zaprte množice Ci.

Vemo: Stanja v posamezni zaprti množici so istega tipa. Če so

periodična, imajo isto periodo. (1)
Vemo: Stanja v posamezni zaprti množici so povratna. (2)
Vemo: Končna veriga ne more vsebovati nobenega
ničelnega stanja. (3)
Iz (1), (2) in (3) sledi sklep:
Stanja v posamezni zaprti množici razcepne končne
markovske verige so pozitivno povratna.
Za popolno klasifikacijo posamezne zaprte množice je potrebno
ugotoviti le še periodičnost enega izmed stanj v tej množici.
 Nerazcepne markovske verige
Markovska veriga (končna ali neskončna) je
nerazcepna, če so vsa njena stanja povezana.

Vsa stanja nerazcepne markovske verige tvorijo

eno samo zaprto množico in so istega tipa.
Če so ta stanja periodična, imajo isto periodo.

Za klasifikacijo stanj celotne nerazcepne verige

zadošča klasifikacija enega samega stanja.
 Klasifikacija stanj nerazcepne končne verige
Vemo: Stanja nerazcepne verige so istega tipa. Če so
periodična, imajo isto periodo. (1)
Vemo: Končna veriga ne more biti sestavljena samo iz
minljivih stanj. (2)
Iz (1) in (2) sledi:
Vsa stanja nerazcepne končne verige so povratna. (3)
Vemo: Končna veriga ne more vsebovati nobenega
ničelnega stanja. (4)
Iz (3) in (4) sledi sklep:

Stanja v nerazcepni končni markovski verigi so

pozitivno povratna.
Za popolno klasifikacijo verige je potrebno ugotoviti le
še periodičnost enega izmed stanj.
 Klasifikacija stanj nerazcepne neskončne verige

Vemo: Stanja nerazcepne verige so istega tipa. Če so

periodična, imajo isto periodo. (1)
Vemo: Za nerazcepne neskončne verige ne veljajo omejitve
kot za nerazcepne končne verige. (2)

Iz (1) in (2) sledi sklep:

Stanja nerazcepne neskončne verige so lahko

kakršnegakoli tipa:
pozitivno povratna, ničelna ali minljiva.

Za popolno klasifikacijo verige zadošča

klasifikacija enega izmed stanj.
 Klasifikacija stanj homogene markovske verige
homogena markovska veriga

nerazcepna razcepna
končna
vsa stanja so istega tipa
stanja niso istega tipa
(zadošča, če opredelimo
eno samo stanje) ⇒ na podlagi verjetnostnega
grafa določimo množico
minljivih stanj in zaprte
končna neskončna množice
⇒stanja so poz. povratna
⇒stanja so lahko kakršnegakoli tipa: ⇒ če je veriga končna, so
⇒ določiti je potrebno še povratna (poz. povratna, ničelna) ali stanja v posamezni zaprti
periodičnost enega izmed minljiva množici poz. povratna
stanj
⇒ na podlagi verjetnostnega grafa oz. ⇒ določiti je potrebno še
z izačunom fi določimo ali so povratna periodičnost enega izmed stanj
ali minljiva iz vsake zaprte množice
⇒ če ugotovimo, da so stanja
povratna, izračunamo za eno stanje še
µ. Če ugotovimo:
µ<∞ ⇒ stanja so poz. povratna
µ=∞ ⇒ stanja so ničelna
 Ravnovesna porazdelitev
je verjetnostna porazdelitev za zasedbo stanj homogene
markovske verige, ki se pri velikih časih ustali (se s časom ne
spreminja več) in postane neodvisna od začetnih pogojev.
Ravnovesna porazdelitev ne obstaja vedno, pač pa le v določenih primerih.

Proučili bomo pogoje za obstoj ravnovesne porazdelitve pri:

• nerazcepnih končnih verigah
→ neperiodične verige
→ periodične verige

• nerazcepnih neskončnih verigah

• razcepnih verigah
Ravnovesna porazdelitev pri nerazcepnih končnih verigah
2. Neperiodične verige
Pri nerazcepnih končnih neperiodičnih verigah ravnovesna
porazdelitev obstaja. Za končno nerazcepno neperiodično verigo s
prostorom stanj S={0, 1, 2,…, N} se ravnovesna porazdelitev glasi:
π = [π 0 , π 1 , π 2 K, π N ]
Ravnovesn porazdelitev je tudi stacionarna:
(0) (n)
p =π ⇒ p =π n = 1,2,3, K

Posamezen element vektorja π, πj, j=1..N pomeni

verjetnost, da je veriga po daljšem času v stanju j.
Ravnovesno porazdelitev izračunamo iz sistema enačb:
π ⋅P =π
∑πj
j =1

πj >0
Ravnovesna porazdelitev pri nerazcepnih končnih verigah
2. Periodične verige
Pri nerazcepnih končnih periodičnih verigah ravnovesna
porazdelitev v običajnem smislu ne obstaja.
Obstaja samo stacionarna porazdelitev, ki se, če je
S={0, 1, 2,…, N} glasi:
ψ = [ψ 0 ,ψ 1 ,ψ 2 K ,ψ N ]

Za stacionarno porazdelitev velja:

(0) (n)
p =ψ ⇒ p =ψ n = 1,2,3, K

Stacionarno porazdelitev izračunamo iz sistema enačb:

ψ ⋅ P =ψ
∑ψ
j
j =1
 Ravnovesna porazdelitev pri nerazcepnih
neskončnih verigah
Pri nerazcepnih neskončnih verigah obstaja ravnovesna
porazdelitev π = [π 0 , π 1 , π 2 K] samo, kadar so stanja verige
pozitivno povratna neperiodična.
Ta porazdelitev je obenem tudi stacionarna in zadošča sistemu enačb:
π ⋅P =π
∑π
j
j =1

πj >0
Kadar so stanja nerazcepne neskončne verige pozitivno povratna
periodična, ravnovesna porazdelitev ne obstaja. V tem primeru
obstaja le stacionarna porazdelitev ψ = [ψ 0 ,ψ 1 ,ψ 2 K] , ki zadošča
sistemu enačb:
ψ ⋅ P =ψ
∑ψ j
j =1
 Ravnovesna porazdelitev pri razcepnih verigah
1. Razcepne končne verige
Pogoj za obstoj ravnovesne porazdelitve je naslednji:

Veriga mora biti sestavljena iz ene same zaprte množice pozitivno

povratnih neperiodičnih stanj in množice minljivih stanj.

2. Razcepne neskončne verige

Za obstoj ravnovesne porazdelitve morata biti izpolnjena dva pogoja:

1. Veriga mora biti sestavljena iz ene same zaprte množice

pozitivno povratnih neperiodičnih stanj in množice minljivih stanj.
2. Verjetnost, da veriga kdaj zapusti minljiva stanja in preide v
zaprto množico povratnih stanj, mora biti 1.
Kadar ravnovesna porazdelitev pri razcepnih verigah obstaja, je
obenem tudi stacionarna:
(0) (n)
p =π ⇒ p =π n = 1,2,3, K

in zadošča sistemu enačb:

π ⋅P =π
∑π j
j =1

πj ≥0

Vrednost 0 imajo tiste komponente vektorja π, ki pripadajo

minljivim stanjem.
 Ravnovesne porazdelitve - POVZETEK
Ravnovesna porazdelitev π je verjetnostna porazdelitev za zasedbo
stanj, ki se pri velikih časih ustali in postane neodvisna od
začetnih pogojev.
Ravnovesna porazdelitev zadošča sistemu enačb:
π ⋅P =π
∑π
j
j =1

πj ≥0
Posamezen element ravnovesne porazdelitve, πj, pomeni
verjetnost, da je po daljšem času zasedeno stanje j.
Ravnovesna porazdelitev ne obstaja vedno, pač pa le, kadar so
izpolnjeni določeni pogoji.
Kadar ravnovesna porazdelitev obstaja, je obenem tudi
stacionarna, kar pomeni: če bi imeli π kot začetno porazdelitev, bi
ostala nespremenjena v vseh časih: p(0)=π ⇒ p(n)=π za vse čase n
 Pogoji za obstoj ravnovesne porazdelitve
homogena markovska veriga

nerazcepna razcepna
(končna in neskončna) (končna in neskončna)
⇒ za končne in neskončne verige mora biti
izpolnjen 1.pogoj:
neperiodična periodična
Veriga mora biti sestavljena ene same zaprte
⇒ obstaja ravnovesna ⇒ ravnovesna porazdelitev
množice pozitivno povratnih neperiodičnih
porazdelitev π , ki je tudi ne obstaja
stanj in množice minljivih stanj.
stacionarna:
⇒ obstaja porazdelitev ψ,
(0) (n)
p = π ⇒ p = π n = 1,2, K ki je stacionarna: neskončna veriga
⇒ ravnovesna porazdelitev (0) (n)
p = ψ ⇒ p = ψ n = 1,2, K
zadošča sistemu enačb: ⇒ izpolnjen mora biti tudi 2.pogoj:
⇒ porazdelitev ψ zadošča
π ⋅P =π Verjetnost, da veriga kdaj zapusti
sistemu enačb:
∑π j = 1 minljiva stanja in preide v zaprto
j ψ ⋅ P =ψ
množico povratnih stanj, mora biti 1.
πj >0
∑ψ j =1 ⇒ kadar ravnovesna porazdelitev π
j
obstaja, je obenem tudi stacionarna:
(0) (n)
p =π ⇒ p =π n = 1,2, K
in zadošča sistemu enačb:
π ⋅P =π
∑π j = 1
j
π j ≥0
 Absorpcija pri razcepnih verigah
O absorpciji govorimo, kadar veriga pride iz nekega
minljivega stanja v eno izmed zaprtih množic povratnih stanj
in je ne more več zapustiti.

Pri študiju absorpcije nas zanima:

• koliko časa traja, da veriga zapusti minljiva stanja ⇒
izračunamo povprečni čas do absorpcije (povprečni čas
bivanja v množici minljivih stanj)
• v katero zaprto množico se bo veriga absorbirala ⇒ določimo
verjetnosti za absorpcijo v posamezne zaprte množice
 Verjetnost za absorpcijo
Verjetnost za absorpcijo verige iz minljivega stanja i v zaprto
množico C izračunamo iz sistema enačb:

f iC = ∑ pij + ∑ pij f jC i ∈T
j∈C j∈T

Sistem ima enolično rešitev, če je verjetnost, da veriga zapusti

minljiva stanja in preide v povratna stanja, enaka 1.
(Verjetnost, da ostane veriga neskončno dolgo znotraj množice
minljivih stanj je enaka 0.)

Pri končnih verigah je ta pogoj vedno izpolnjen in enolična

rešitev vedno obstaja.
 Povprečni čas do absorpcije
Povprečni čas do absorpcije (tj., povprečni čas bivanja znotraj
množice minljivih stanj) je enak
povprečnemu številu zasedb minljivih stanj preden se
absorpcija zgodi.
Če želimo izračunati povprečni čas do absorpcije iz minljivega
stanja i v eno izmed zaprtih množic, µi, moramo torej izračunati
povprečno število zasedb posameznega minljivega stanja in
dobljene rezultate sešteti.
Zapišemo lahko:
µ i = ∑ E ( N ik )
k∈T

kjer je Nik (i,k ∈ T) slučajna spremenljivka, ki pomeni število

zasedb minljivega stanja k, preden se veriga, ki je bila na začetku
v minljivem stanju i, absorbira v kako zaprto množico.
Izkaže se, da lahko povprečni čas do absorpcije iz minljivega
stanja i, µi, izračunamo iz sistema enačb:
µ i = 1 + ∑ pij µ j i ∈T
j∈T

Sistem ima enolično rešitev, če je verjetnost, da veriga zapusti

minljiva stanja in preide v povratna stanja, enaka 1.
(Verjetnost, da ostane veriga neskončno dolgo znotraj množice
minljivih stanj je enaka 0.)
Pri končnih verigah je ta pogoj vedno izpolnjen in enolična
rešitev vedno obstaja.
 Absorpcija pri končnih verigah
Pri končnih verigah lahko uporabimo za reševanje absorpcijskih
problemov elegantnejše matrične metode.

V ta namen izračunamo fundamentalno matriko N:

(
N = I −Q )
−1

kjer pomeni
I - enotsko matriko
Q - matriko, ki vsebuje verjetnosti prehodov med posameznimi minljivimi stanji

Elementi i-te vrstice matrike N pomenijo povprečno število

zasedb posameznih minljivih stanj, če je bila veriga na začetku v
stanju i.
 Povprečni čas do absorpcije
Povprečni čas do absorpcije iz minljivega stanja i, µi, lahko
izračunamo kot vsoto i-te vrstice v fundamentalni matriki N:
µ = (I − Q ) 1 = N 1
−1

Simboli v gornji enačbi imajo naslednji pomen:

µ - stolpni vektor, katerega komponente so povprečni časi do absorpcije iz
posameznih minljivih stanj
I - enotska matrika
Q - matrika, ki vsebuje verjetnosti prehodov med posameznimi minljivimi stanji
1 - stolpni vektor, ki vsebuje same enice
N - fundamentalna matrika

Dimenzija vektorjev µ in 1 je enaka številu minljivih stanj verige.

 Verjetnost za absorpcijo
Verjetnost za absorpcijo iz minljivega stanja i v zaprto množico
povratnih stanj C lahko izračunamo kot vsoto i-te vrstice produkta
matrik N RC:

(
f C = I −Q )−1
RC 1 = N RC 1

Posamezni elementi v i-ti vrstice produkta N RC pomenijo verjetnosti za

absorpcijo iz minljivega stanja i v posamezna stanja zaprte množice C.
Simboli v gornji enačbi imajo naslednji pomen:
fC - stolpni vektor, katerega komponente so verjetnosti za absorpcijo iz
posameznih minljivih stanj v zaprto množico povratnih stanj C
I - enotska matrika
Q - matrika, ki vsebuje verjetnosti prehodov med posameznimi minljivimi stanji
RC - matrika, ki vsebuje verjetnosti prehodov iz minljivih stanj v povratna stanja
zaprte množice C
1 - stolpni vektor, ki vsebuje same enice
N - fundamentalna matrika

Dimenzija vektorjev fC in 1 je enaka številu minljivih stanj verige.

 Kadar vsebuje veriga več zaprtih množic lahko postopek računanja
verjetnosti za absorpcijo še poenostavimo:
Vse matrike RC združimo v eno samo matriko R, ki vsebuje
verjetnosti prehodov iz množice minljivih stanj v vse zaprte
množice povratnih stanj markovske verige.
Z enkratnim množenjem izračunamo potem verjetnosti za absorpcijo v
vse zaprte množice:
f {C } = N R 1 = 1
l

kjer pomeni {Cl} množico vseh zaprtih množic: {Cl} ={C1, C2, C3, ...}

Verjetnosti za absorpcijo iz minljivega stanja i v posamezno zaprto

množico povratnih stanj dobimo s seštevanjem tistih elementov i-te
vrstice produkta N R, ki pripadajo stanjem te množice.
Vsota elementov v posamezni vstici produkta N R je 1, ker je
absorpcija iz minljivega stanja v {Cl} dogodek z verjetnostjo 1.
Proceduro za izračunavanje povprečnega časa do absorpcije
uporabljamo tudi za izračun povprečnega časa prvega
prehoda iz stanja i v stanje k pri nerazcepnih verigah.

Postopek:
Nerazcepno verigo s prehodno matriko P spremenimo v
razcepno verigo s prehodno matriko P*.
To storimo tako, da k-to stanje nerazcepne verige
spremenimo v ponorno, kar pomeni:
V prehodni matriki P spremenimo le k-to vrstico:
Diagonalni element v k-ti vrstici postavimo enak 1, ostale
elemente v tej vrstici pa enake 0. Druge vrstice prehodne
matrike P ostanejo nespremenjene.
Novo prehodno matriko P* lahko torej zapišemo v naslednji obliki:
0 1 . k . N
0  p00 p01 . . . p0 N 
1  p10 p11 . . . p1N 
* .  . . . . . . 
P =  
k 0 0 0 1 0 0 
.  . . . . . . 
 
N  p N 0 pN1 . . . p NN 

Ponorno stanje v modificirani verigi predstavlja zaprto množico povratnih stanj,

ostala stanja pa so minljiva.
Obnašanje nove verige do absorpcije je enako obnašanju prvotne verige do
prve zasedbe stanja k.

Povprečni čas prvega prehoda iz stanja i v stanje k lahko torej

izračunamo kot povprečni čas do absorpcije v ponorno stanje k, če
je bila veriga na začetku v minljivem stanju i:
µ ik = 1 + ∑ pij µ jk i≠k
j ≠k
Kadar je veriga končna, lahko uporabimo tudi matrično metodo:
Prehodno matriko P* ustrezno preuredimo:
k 0 1 . . N
k1 0 0 . . 0 
0. p p01 . . p0 N 
 00

* 1  . p10 p11 . . p1N 

P =  
. . . . . . . 
. . . . . . . 
 
N  . p N 0 pN1 . . p NN  Q

Izračunamo fundamentalno matriko N:

N=(I-Q)-1
Povprečni čas prvega prehoda iz stanja i v stanje k je enak
vsoti i-te vrstice v fundamentalni matriki N.
 Markovski procesi z diskretnimi stanji v
zveznem času
Do smo sedaj obravnavali markovske verige (tj., markovske
procese z diskretnimi stanji v diskretnem času).

Metode dela so v obeh primerih podobne:

Prehode v enem koraku pri procesih v diskretnem času (med
časom n in n+1) sedaj nadomestimo s prehodi v kratkem
časovnem intervalu širine ∆t (med časom t in t+∆t)

Teorija markovskih procesov v zveznem času je v splošnem

bolj komplicirana, kot teorija procesov v diskretnem času, zato
bomo obravnavali le nekatere specifične procese, splošno
teorijo pa bomo le na kratko orisali.
 Poissonov proces

Poissonov proces je eden najenostavnejših markovskih procesov

z diskretnimi stanji v zveznem času.

Poissonov proces je zelo pomemben definiciji in študiju bolj

kompliciranih procesov, saj:
! s Poissonovim procesom je možno popisati veliko realnih situacij
v praksi,
! v praksi velikokrat srečujemo tudi kombinacije Poissonovih
procesov,
! Poissonov proces je gradnik mnogih bolj kompliciranih procesov.
Pri Poissonovem procesu obravnavamo zaporedje dogodkov, ki
nastopajo posamič in popolnoma naključno.

Stanja Poissonovega procesa predstavlja

N(t) - število dogodkov, ki se zgodijo v časovnem
intervalu (0,t).

Vpeljemo oznake:
N(t) število dogodkov, ki se zgodijo v časovnem
intervalu (0,t)
N(t,t+∆t) število dogodkov, ki se zgodijo v časovnem
intervalu (t,t+∆t)
Poissonov proces je stohastični proces, ki ustreza
naslednjim zahtevam:
Za pozitivno konstanto ρ in ∆t→0 mora veljati:
• P[N(t,t+∆t)=0]=1- ρ∆t
• P[N(t,t+∆t)=1]=ρ∆t
• P[N(t,t+∆t)>1]=0
• Število N(t,t+∆t) je popolnoma neodvisno od števila N(t).

Zadnja točka ponazarja markovsko lastnost Poissonovega procesa, ki

jo lahko izrazimo na naslednji način:
Dogodki, ki se zgodijo v časovnih intervalih, ki se ne
prekrivajo, so med seboj neodvisni.

ρ [časovna enota]-1 - parameter procesa, je konstanta, označuje

pogostost dogodkov
 Pri študiju Poissonovega procesa nas zanima:

• verjetnostna porazdelitev za zasedbo stanj

tj., verjetnost, da se v času t zgodi i dogodkov:
pi(t)= P[N(t)=i], i=0,1,2,…

• porazdelitev časov med dogodki

 Pri Poissonovem procesu je
čas od izhodišča do prvega dogodka, Z1, kakor tudi
čas med dvema zaporednima dogodkoma, Zi,
i=2,3,... je porazdeljen eksponentno z istim
parametrom ρ:
gostota verjetnosti : f z ( x ) = ρe − ρ x , x>0
povprečna vrednost : E (Z ) = 1 ρ
varianca : V (Z ) = 1 ρ 2
porazdelitvena funkcija : Fz ( x) = P[ Z ≤ x] = 1 − e − ρ x
Rz ( x) = P[ Z > x] = 1 − Fz ( x) = e − ρ x
 Za Poissonov proces torej velja:
Čas od izhodišča do prvega dogodka in čas med dvema
zaporednima dogodkoma tvorijo množico
neodvisnih naključnih spremenljivk {Z1, Z2, Z3,…}, ki so
vse porazdeljene po eksponentno z istim parametrom ρ.

Drugače rečeno:

Ni pomembno, kdaj se je zgodil zadnji dogodek. Če izberemo

za izhodišče katerikoli trenutek, je dolžina časovnega
intervala do naslednjega dogodka porazdeljena eksponentno z
istim parametrom ⇒
Poissonov proces nima spomina! ⇒
Velja markovska lastnost!
 Pri Poissonovem procesu je
čas od izhodišča do poljubnega, r-tega dogodka Yr,
Yr= Z1+ Z2+... +Zr, porazdeljen po
Erlangovem verjetnostnem zakonu:
ρ ( ρx) r −1 e − ρx
gostota verjetnosti : fYr ( x) = , x>0
(r − 1)!
povprečna vrednost : E (Yr ) = r ρ
varianca : V (Yr ) = r ρ 2

Za velike vrednosti r lahko Erlangovo porazdelitev

aproksimiramo z normalno (Gaussovo) porazdelitvijo
z isto povprečno vrednostjo in varianco.
 Pri Poissonovem procesu je
število dogodkov v časovnem intervalu (0,t)
porazdeljeno po Poissonovem verjetnostnem zakonu s
parametrom ρ :
( ρ t )i
gostota verjetnosti : pi (t ) = P[ N (t ) = i ] = e − ρ t , i = 0,1,2,...
i!
povprečna vrednost : E[ N (t )] = ρ t
varianca : V [ N (t )] = ρ t

Izraz pi(t) predstavlja verjetnostno porazdelitev za zasedbo stanj

Poissonovega procesa in podaja
verjetnost, da se časovnem intervalu (0,t) zgodi natanko i
dogodkov.
Poissonov proces lahko okarakteriziramo s podajanjem
časov med zaporednima dogodkoma ali
števila dogodkov v fiksnih časovnem intervalih.

Relaciji
Z1+ Z2+ Z3+…+ Zi> t
N(t) < i
sta enakovredni.
 Poissonov proces služi kot model mnogih
realnih procesov, kot npr.:
• obnavljanje strojev ali naprav v eksploataciji
• obnavljanje zalog v skladišču
• nezgode v cestnem prometu
• množična strežba
• telefonski pozivi
• razpad radioaktivnih jeder
• …

Marsikateri bolj kompliciran markovski proces z

diskretnimi stanji v zveznem času dobimo s kombinacijo
več Poissonovih procesov.
Kombinacija k neodvisnih Poissonovih procesov je
tudi Poissonov proces s parametrom
ρ= ρ1+ ρ2+…+ ρk

Verjetnost, da je poljubni dogodek kombiniranega

Poissonovega procesa iz i-tega osnovnega procesa je
ρi
ρ
 Rojstno smrtni procesi
Rojstno smrtni procesi so pomembna skupina markovskih procesov
z diskretnimi stanji v zveznem času.

Obdelali jih bomo z metodami, ki smo jih uporabili pri

Poissonovem procesu.

Prvotno so se rojstno smrtni procesi uporabljali za modeliranje

populacij različnih živih organizmov (človeških, živalskih,
rastlinskih), kjer imamo dejansko opravka z rojstvi in smrtmi
individuumov.

Danes se ti procesi uporabljajo tudi za modeliranje mnogih realnih

situacij, ki ne obravnavajo obnašanja populacij živih bitij,
terminologija pa se je ohranila.
 Primeri aplikacije
rojstno smrtnih procesov
realna situacija rojstva smrti
sistem strežbe (trgovina, prihodi strank zaključki strežbe ≡
banka, bencinska črpalka, …) odhodi strank
vzdrževanje strojev v odpovedi strojev ≡ zaključki popravil ≡
eksploataciji vstopi strojev v servis izstopi strojev iz servisa
telefonski pogovori vzpostavitve zveze ≡ zaključki pogovorov ≡
pričetki pogovorov prekinitve zveze
vzdrževanje zalog rezervnih polnjenje skladišča praznjenje skladišča
enot na skladišču
 Klasifikacija rojstno smrtnih procesov
ROJSTNO SMRTNI PROCESI

ROJSTNO-SMRTNI PROCESI
ROJSTNI PROCESI SMRTNI PROCESI
kombinacija rojstnega in
velikost populacije s velikost populacije s
smrtnega procesa - velikost
časom izključno časom izključno
populacije s časom
raste upada
raste in upada

linearni posplošeni linearni posplošeni linearni posplošeni

(nelinearni) (nelinearni) (nelinearni)

Vrstni red obravnavanja:

1. linearni rojstni proces
2. linearni smrtni proces
3. posplošeni rojstni proces
4. posplošeni smrtni proces
5. linearni rojstno smrtni proces
6. posplošeni rojstno smrtni proces
 Pri rojstno smrtnih procesih obravnavamo
populacijo individuumov ter proučujemo njeno
povečevanje/zmanjševanje.

Stanja rojstno smrtnega procesa predstavlja

N(t) - število prisotnih (“živih”) individuumov
v času t = velikost populacije v času t

Zanima nas
verjetnostna porazdelitev za zasedbo stanj
tj., verjetnost, da je v času t prisotnih (“živih”)
natanko i individuumov:
pi(t)= P[N(t)=i], i=0,1,2,…
 Linearni rojstni proces
Vzemimo populacijo i individuumov, za katero velja:
Možni dogodki v tej populaciji so rojstva ⇒
velikost populacije s časom izključno raste.

Neodvisno od njegove starosti, velja za vsak individuum iz te

populacije, ki živi v času t, naslednje:
1. Verjetnost, da individuum v intervalu (t,t+∆t) rodi
nov individuum je λ∆∆t
2. Verjetnost, da individuum v intervalu (t,t+∆t) ne rodi
∆t
je 1-λ∆
3. Rojstva, ki se nanašajo na različne individuume so med
seboj neodvisna.
 Iz lastnosti 1., 2., in 3. sledi, da rojstva posameznega
individuuma tvorijo Poissonov proces s
parametrom λ.
⇓
Opravka imamo z i neodvisnimi Poissonovimi procesi,
katerega vsak ima parameter λ.
⇓
Kombiniran proces je tudi Poissonov s parametrom iλ.
 Če opazujemo
celotno populacijo velikosti i individuumov
torej velja:

1. Verjetnost, da se v intervalu (t,t+∆t) zgodi

rojstvo je λi=iλ∆t
2. Verjetnost, da se v intervalu (t,t+∆t) rojstvo
ne zgodi je 1-λi=1-iλ∆t
3. Rojstva, ki se nanašajo na različne
individuume so med seboj neodvisna.

Obravnavani proces se imenuje linearni, ker je

pogostost rojstev λi v odvisnosti od velikosti
populacije i linearna funkcija (λi=iλ∆∆t).
 Pri linearnem rojstnem procesu je
število individuumov N(t), ki živijo v času t, porazdeljeno po
negativni binomski verjetnostni porazdelitvi s pričetkom v n0,
kjer n0 pomeni začetno velikost populacije
(tj., velikost populacije v času 0):
 i − 1  − n0 λ t
pi (t ) = P[ N (t ) = i ] =  e (1-e −λt )
i-n0
, i = n0 , n0 + 1,...
 i − n0 
E[ N (t )] = n0 e λt
(
V [ N (t )] = n0 e 2 λt − e λt )
Izraz pi(t) predstavlja verjetnostno porazdelitev za zasedbo stanj
linearnega rojstnega procesa in podaja
verjetnost, da je času t prisotnih natanko i individuumov.
E[N(t)] pomeni povprečno velikost populacije v času t,
V[N(t)] pa varianco tega povprečja.
 Enačba za E[N(t)] nam pove, da pri linearnem rojstnem procesu
povprečno število individuumov s časom eksponentno narašča.

Izračunamo lahko povprečno vrednost in varianco časa Tn, ki je

potreben, da populacija naraste iz začetnega obsega n0 na neko
število n (npr., na kritično mejo):
1 n −1 1
E (Tn ) = ∑
λ i = n0 i
n −1
1 1
V (Tn ) = 2
λ
∑
i = n0 i
2

Pri velikih vrednostih n0 in n/n0 lahko aproksimiramo E(Tn) in

V(Tn) z naslednjima izrazoma:
1 n
E (Tn ) ≈ log
λ n0
π2 1 n −1
1
V (Tn ) ≈ 2 − 2
6λ λ
∑2
i = n0 i
Čisti linearni rojstni proces v praksi težko srečamo, lahko
pa ga uporabimo kot model realnih procesov, kadar je
pogostost smrti zanemarljiva v primerjavi s
pogostostjo rojstev.

Taki procesi so na primer:

• razmnoževanje bakterij
• razne fizikalno - kemijske reakcije (npr.
pomnoževanje nevtronov pri verižni reakciji
jedrske cepitve)
• ipd.
 Linearni smrtni proces
Vzemimo populacijo i individuumov, za katero velja:

Možni dogodki v tej populaciji so smrti ⇒

velikost populacije s časom izključno upada.

Neodvisno od njegove starosti, velja za vsak individuum iz te

populacije, ki živi v času t, naslednje:
1. Verjetnost, da individuum, ki živi v času t, v intervalu
(t,t+∆t) umre je µ∆t
2. Verjetnost, da individuum, ki živi v času t, v intervalu
(t,t+∆t) ne umre je 1-µ∆t
3. Smrti, ki se nanašajo na različne individuume so med
seboj neodvisne.
 Iz lastnosti 1., 2., in 3. sledi, da smrti posameznega
individuuma tvorijo Poissonov proces s
parametrom µ.
⇓
Opravka imamo z i neodvisnimi Poissonovimi procesi,
katerega vsak ima parameter µ.
⇓
Kombiniran proces je tudi Poissonov s parametrom iµ.
 Če opazujemo
celotno populacijo velikosti i individuumov
torej velja:

1. Verjetnost, da se v intervalu (t,t+∆t) zgodi

smrt je µi=iµ∆t
2. Verjetnost, da se v intervalu (t,t+∆t) smrt
ne zgodi je 1-µi=1-iµ∆t
3. Smrti, ki se nanašajo na različne
individuume so med seboj neodvisne.
Obravnavani proces se imenuje linearni, ker je
pogostost smrti µi v odvisnosti od velikosti
populacije i linearna funkcija (µi=iµ∆t).
 Pri linearnem smrtnem procesu je
število individuumov N(t), ki živijo v času t, porazdeljeno po
binomski verjetnostni porazdelitvi s pričetkom v n0, kjer n0
pomeni začetno velikost populacije
(tj., velikost populacije v času 0):
 n0  −iµ t
pi (t ) = P[ N (t ) = i ] =  e (
1-e − µt )
n0 −1
, i = 0,1,..., n0
i 
E[ N (t )] = n0 e − µt
(
V [ N (t )] = n0 e − µt − e − 2 µt )
Izraz pi(t) predstavlja verjetnostno porazdelitev za zasedbo stanj
linearnega smrtnega procesa in podaja
verjetnost, da je času t prisotnih natanko i individuumov.
E[N(t)] pomeni povprečno velikost populacije v času t,
V[N(t)] pa varianco tega povprečja.
 Enačba za E[N(t)] nam pove, da pri linearnem smrtnem procesu
povprečno število individuumov s časom eksponentno upada.

Izračunamo lahko povprečno vrednost in varianco časa T0, ki je

potreben, da populacija začetne velikosti n0 izumre:
1 n0 1
E (T0 ) = ∑
µ i =1 i
n0
1 1
V (T0 ) = 2
µ
∑
i =1 i
2

Linearni smrtni proces lahko uporabimo kot model realnih

procesov, kadar je pogostost rojstev zanemarljiva v primerjavi s
pogostostjo smrti, kot na primer:
• praznenje skladišča
• odpovedovanje množice nepopravljivih izdelkov
• ipd.
 Posplošeni (nelinearani) rojstni proces
Linearni rojstni proces posplošimo na ta način, da ne omejujemo
pogostosti rojstev v odvisnosti od velikosti populacije na
linearno funkcijo.
Pri pogoju, da je število živih individuumov v času t enako i velja:
1. Verjetnost, da se v intervalu (t,t+∆t) zgodi rojstvo je λi∆t
2. Verjetnost, da se v intervalu (t,t+∆t) rojstvo ne zgodi je 1-λi∆t
3. Rojstva, ki se nanašajo na različne individuume so med seboj
neodvisna.

pri čemer predstavlja pogostost rojstev λi v

odvisnosti od velikosti populacije i bolj
splošno funkcijo kot je linearna.
Analitična rešitev za verjetnostno porazdelitev za zasedbo stanj
posplošenega rojstnega procesa pi(t) obstaja le za določene
oblike funkcije λi.
 Pri nelinearnih rojstnih procesih se lahko zgodi, da
število individuumov zraste v neskončnost v končnem času
(populacija eksplodira).
Taka situacija nastopi, kadar vrsta členov 1/λi konvergira:
∞
1
∑
i =1 λi
<∞

V takem primeru govorimo o nepravilnih procesih.

Najpreprostejši nepravilen proces dobimo, če postavimo λi=i2.

Če vrsta členov 1/λi divergira:

∞
1
∑ λ
i =1 i
=∞

se proces obnaša normalno. Tedaj pravimo, da je proces pravilen.

Linearni rojstni proces je pravilen, ker velja:
∞
1 1 ∞ 1
λi = iλ ⇒ ∑ = ∑ = ∞
i =1 λi λ i =1 i
 Posplošeni (nelinearani) smrtni proces
Linearni smrtni proces posplošimo na ta način, da ne omejujemo
pogostosti smrti v odvisnosti od velikosti populacije na linearno
funkcijo.
Pri pogoju, da je število živih individuumov v času t enako i velja:
1. Verjetnost, da se v intervalu (t,t+∆t) zgodi smrt je µi∆t
2. Verjetnost, da se v intervalu (t,t+∆t) smrt ne zgodi je 1- µi∆t
3. Smrti, ki se nanašajo na različne individuume so med seboj
neodvisne.
pri čemer predstavlja pogostost smrti µi v odvisnosti
od velikosti populacije i bolj
splošno funkcijo kot je linearna.
Analitična rešitev za verjetnostno porazdelitev za zasedbo stanj
posplošenega smrtnega procesa pi(t) obstaja le za določene
oblike funkcije µi.
 Linearni rojstno smrtni proces
Vzemimo populacijo i individuumov, za katero velja:
Možni dogodki v tej populaciji so tako rojstva kot smrti ⇒
velikost populacije s časom niha (raste in upada).

Neodvisno od njegove starosti, velja za vsak individuum iz te

populacije, ki živi v času t, naslednje:
Verjetnost, da posamezen individuum v intervalu (t,t+∆t)
1. rodi je λ∆∆t
2. ne rodi je 1-λ∆ ∆t
3. umre je µ∆t
4. ne umre je 1-µ∆t
5. niti ne rodi, niti ne umre (v (t,t+∆t) ni
dogodka) je (1-λ∆t)(1-µ∆t)=1-i(λ+µ) ∆t
6. Dogodki (rojstva in smrti), ki se nanašajo na različne individuume,
žive v času t, so med seboj neodvisni.
 Če opazujemo
celotno populacijo velikosti i individuumov
torej velja:
Verjetnost, da se v intervalu (t,t+∆t)
1. zgodi rojstvo je λi=iλ∆t
2. rojstvo ne zgodi je 1-λi=1-iλ∆t
3. zgodi smrt je µi=iµ∆t
4. smrt ne zgodi je 1-µi=1-iµ∆t
5. ne zgodi noben dogodek je (1-λi)(1-µi)=
1-i(λ+µ) ∆t
6. Dogodki (rojstva in smrti), ki se nanašajo na različne
individuume, žive v času t, so med seboj neodvisni.
Obravnavani proces se imenuje linearni, ker sta tako
pogostost rojstev λi kakor tudi pogostost smrti µi v
odvisnosti od velikosti populacije i linearni funkciji
∆t, µi=iµ∆t).
(λi=iλ∆
 Pri linearnem rojstno smrtnem procesu verjetnostna
porazdelitev za zasedbo stanj pi(t) ne ustreza nobeni izmed
znanih verjetnostnih porazdelitev.
Neposredno lahko zapišemo le verjetnost p0(t), da populacija v
intervalu (0,t) izumre. Kadar je λ ≠ µ je p0(t) enaka:
n0
 µ − µe − (λ − µ )t

p0 (t ) = P[ N (t ) = 0] =  −(λ − µ )t

 λ − µe 
Če je λ=µ je gornji izraz nedoločen. Pomagamo si tako, da posebej
odvajamo števec in imenovalec na λ in potem vstavimo λ=µ.
Dobimo:
n0 n0
 tµ e − (λ − µ )t
  tµ 
p0 (t ) = P[ N (t ) = 0] =  
−(λ − µ )t 
=  
 1 + tµ e  λ = µ  1 + tµ 

Izkaže se, da je izumrtje populacije gotov dogodek tudi v primeru,

ko sta pogostosti rojstev in smrti enaki.
 Posplošeni (nelinearani) rojstno smrtni proces
Linearni rojstno smrtni proces posplošimo na ta način, da ne
omejujemo pogostosti rojstev in pogostosti smrti v odvisnosti
od velikosti populacije na linearno funkcijo.
Pri pogoju, da je število živih individuumov v času t enako i velja:
Verjetnost, da se v intervalu (t,t+∆t)
1. zgodi rojstvo je λi∆t
2. rojstvo ne zgodi je 1-λi∆t
3. zgodi smrt je µi∆t
4. smrt ne zgodi je 1-µi∆t
5. ne zgodi noben dogodek je (1-λi ∆t)(1-µi ∆t)=1-(λi+µi) ∆t
6. Dogodki (rojstva in smrti), ki se nanašajo na različne
individuume, žive v času t, so med seboj neodvisni.
Analitična rešitev za pi(t) obstaja le za določene enostavne oblike funkcij
λi in µi.
V skupino posplošenih rojstno smrtnih procesov sodijo vsi do sedaj
obravnavani markovski procesi z diskretnimi stanji v zveznem
času.

V praksi so pomembni rojstno smrtni procesi, pri katerih je

pogostost rojstev oziroma smrti bodisi konstantna, bodisi
linearno odvisna od velikosti populacije.

Štirje osnovni procesi, ki v praksi lahko nastopajo posamič ali v

kombinacijah, so naslednji:

• proces imigracije (λi=konst., µi=0, i=0,1,…) – Poissonov proces

• proces emigracije (µi=konst., i=1,2,… , µ0=0, λi=0, i=0,1,…)
• linearni rojstni proces (λi=i λ, µi=0, i=0,1,…)
• linearni smrtni proces (µi=i µ, λ i=0, i=0,1,…)
 Ravnovesne porazdelitve
Podobno kot pri verigah, lahko tudi pri procesih v zveznem
času ugotovimo, da se v določenih primerih ravnovesna
porazdelitev za zasedno stanj {pi(t)} ustali pri neki limitni
porazdelitvi, neodvisni od začetnih pogojev.
To porazdelitev bomo zopet imenovali
ravnovesna porazdelitev, označevali pa jo bomo s {pi}.
Ravnovesno porazdelitev želimo izračunati, sa je
pomembna karakteristika vsakega procesa.

Postopek izračuna bo sledeči:

Najprej bomo določili splošno rešitev za ravnovesno
porazdelitev, nato pa bomo opredelili pri katerih pogojih
je rešitev smiselna.
 Lastnosti ravnovesne porazdelitve
pri procesih v zveznem času so analogne lastnostim ravnovesne
porazdelitve pri verigah:

1. lim pi (t ) = pi za vse začetne pogoje.

t →∞

Množica {pi} tvori verjetnostno porazdelitev ⇒ ∑ pi=1.

2. Ravnovesna porazdelitev {pi} je tudi stacionarna:
pi(0)=pi ⇒ pi(t)=pi za vse čase t
3. Ravnovesna porazdelitev zadošča sistemu navadnih
linearnih enačb.
4. Verjetnost pi lahko interpretiramo kot delež časa v nekem
daljšem časovnem obdobju, ki ga proces prebije v stanju i.
 Ravnovesne porazdelitve
pri posplošenih rojstno smrtnih procesih

Splošna rešitev za ravnovesno porazdelitev {pi} se pri posplošenih

rojstno smrtnih procesih glasi:
1 kjer pomeni S vsoto:
p0 =
S ∞
λ i −1 λ i − 2 L λ 0
λ λ L λ0 1 S = 1+ ∑
pi = i −1 i − 2 ⋅ , i = 1,2.K i =1 µ i µ i −1 L µ1
µ i µ i −1 L µ1 S

Pogoj za obstoj ravnovesne porazdelitve pri posplošenih rojstno

smrtnih procesih je sledeči:
S <∞

Kadar ima proces končno stanj, ima vsota S končno členov, kar
pomeni, da ravnovesna porazdelitev v takem primeru vedno
obstaja.
 Množična strežba
Teorija množične strežbe predstavlja poseben primer
aplikacije rojstno smrtnih procesov.

Sistem množične strežbe vključuje:

• eno ali več strežnih mest
• proces prihajanja strank, ki zahtevajo strežbo
• proces strežbe
Kot sistem množične strežbe lahko opišemo mnogo realnih
situacij.
Stranka v sistemu množične strežbe je lahko:
• človek, ki čaka na strežbo v restavraciji, banki, na
pregled pri zdravniku, na prevoz z vlakom, na nakup
vozovnice za kino, ...
• avtomobil, ki čaka na bencinski črpalki,
• letalo, ki čaka na vzlet ali pristanek,
• stroj ali naprava, ki čaka na popravilo,
• material v skladišču, ki čaka na prodajo,
• dokument, ki čaka na kopiranje,
• telefonski poziv, ki čaka na vzpostavitev zveze,
• posel, ki čaka na obdelavo,
• ipd.
Število strežnih mest sistema srežbe je običajno omejeno.
⇓
Omejeno število strežnih mest povzroča kopičenje strank.
Nastajati začnejo vrste.
⇓
Stranke postanejo nezadovoljne.
⇓
Za lastnika sistema strežbe so posledice lahko kritične, saj
začno stranke zapuščati sistem nepostrežene,
stroški zaradi čakanja strank (in s tem skupni stroški
delovanja sistema) pa lahko znatno narastejo.
⇓
Sistem strežbe je potrebno izboljšati.

Osnovni cilj je:

Doseči optimalen nivo strežbe.
 Osnovo za izboljšavo sistema strežbe predstavljajo podatki,
ki jih dobimo z ustrezno analizo sistema.
Obstoječi sistem strežbe lahko izboljšamo na več načinov:
• čas strežbe ustrezno skrajšamo,
• zaposlimo lahko več ali manj strežnikov,
• povečamo število strežnih mest,
• strežbo avtomatiziramo.
Vsaka izboljšava obstoječega sistema strežbe pomeni za lastnika
sistema določeno investicijo.
S pomočjo podatkov, ki jih dobimo z analizo sistema presodimo,
kateri ukrep je v dani situaciji smotrnejši.
Podatki, dobljeni z ustrezno analizo sistema strežbe, lahko služijo tudi za
medsebojno primerjavo obstoječih in projektiranje novih sistemov strežbe.

Analizo sistema strežbe izvedemo s pomočjo ustreznega

matematičnega modela.
 Klasifikacija sistemov strežbe

Sisteme množične strežbe v splošnem delimo na:

• enostavne
• sestavljene

Enostavni sistemi strežbe vključijejo eno strežno mest, ali

več ekvivalentnih paralelnih strežnih mest.

Pri enostavnih sistemih množične sistemih strežbe iščemo

analitične rešitve, medtem ko sestavljene sisteme strežbe
rešujemo s simulacijo.

V glavnem se bomo ukvarjali z enostavnimi sistemi strežbe.

Enostavne sisteme množične strežbe določajo
naslednje karakteristike:

• vhodni tok strank

• mehanizem strežbe
• disciplina v sistemu
 Vhodni tok strank
Populacija, iz katere stranke izhajajo je lako:
• končna,
• neskončna (neomejena).
Stranke lahko prihajajo v sistem strežbe:
• posamič,
• v skupinah,
• vhodni tok strank je kontinuiran.

Pogostost prihodov strank v sistem strežbe je lahko:

• konstantna,
• se s časom spreminja.

Prihodi strank so lahko odvisni tudi od drugih lastnosti sistema

(npr. od števila strank, ki so že v sistemu).
Časi med prihodi (tj., časi med dvema zaporednima prihodoma)
so naključne veličine. Za njihovo modeliranje uporabimo eno
izmed znanih verjetnostnih porazdelitev.

Osnovni modeli porazdelitve časov med prihodi so:

• neprava porazdelitev (stranke prihajajo v enakomernih
presledkih; npr., izdelki prihajajo v obdelavo po tekočem
traku)
• eksponentna porazdelitev (zaporedni prihodi tvorijo
Poissonov proces; prihodi strank so popolnoma naključni;
npr., telefonski pozivi)
• splošna porazdelitev (npr., normalna-Gaussova
porazdelitev, Erlangova porazdelitev; npr., Stranka takoj,
ko zapusti eno vrsto, vstopi v drugo.)
 Mehanizem strežbe
Mehanizem strežbe opredelimo, če podamo
• zmogljivost sistema,
• razpoložljivost sistema,
• porazdelitev časov strežbe.

Zmogljivost sistema
je določena s številom paralelnih strežnih mest, ki lahko variira
med 1 in ∞.
Razpoložljivost sistema
je popolna, če zaključek ene strežbe sovpada z začetkom druge
(če sistem ni prazen).
Če strežnik od časa do časa zapusti strežno mesto, je potrebno
specificirati pogostost odhodov in porazdelitev časov odsotnosti.
Časi strežbe so naključne veličine. Za njihovo modeliranje
uporabimo eno izmed znanih verjetnostnih porazdelitev.

Osnovni modeli porazdelitve časov strežbe so:

• neprava porazdelitev (čas strežbe je konstanten;
ekstremno ozka porazdelitev ⇒ Cb=0; avtomatizirana
strežba, npr., bankomat, ABC cestnina)
• eksponentna porazdelitev (zaključki strežbe tvorijo
Poissonov proces; močno razmazana porazdelitev ⇒ Cb=1;
npr., zaključki telefonskih pogovorov)
• splošna porazdelitev (0<Cb<1; normalna-Gaussova
porazdelitev, Erlangova porazdelitev, npr., čas
zobozdravstvenega pregleda)
 V literaturi zasledimo tudi modele, ki obravnavajo
stranke različnih tipov,
pri čemer so časi strežbe za posamezen tip stranke
porazdeljeni različno.

Možno je tudi, da je čas strežbe odvisen od časa

(npr., strežnik se utrudi)
ali pa od drugih lastnosti sistema
(npr., strežnik dela hitreje, če je v vrsti veliko število
strank).
 Disciplina v sistemu strežbe
je pravilo po katerem stranke, ki čakajo na strežbo, v strežbo
vstopajo.

Možne discipline v sistemu strežbe so:

• “Kdor prvi pride, je prvi postrežen” – FIFO
(npr., blagajna v trgovini)
• “Kdor zadnji pride, je prvi postrežen” – LIFO
(npr., praznjenje zalog v skladišču)
• Povsem naključna izbira strank (npr., vstopanje v avtobus)
• Izbira strank upošteva določene prioritete
(npr., nujna medicinska pomoč)
• Stranke vstopajo v strežbo po naročilu (npr., zdravnik)
Za posamezne situacije, ki je v praksi nastopajo, bomo razvili
ustrezne matematične modele.
Označevanje modelov za sisteme množične strežbe:
vhodni tok strank porazdelitev število strežnih
(porazdelitev časov dvema časov strežbe mest omejitve
zaporednima prihodoma (ekvivalentnih,
prihodoma) paralelnih)

Standardne oznake:
M – Poissonov proces dogodkov (prihodov strank ali zaključkov
strežb) oziroma eksponentna porazdelitev časov (med dvema
zaporednima prihodoma ali časov strežbe)
G – splošna porazdelitev časov (med dvema zaporednima
prihodoma ali časov strežbe)
D – neprava porazdelitev časov (med dvema zaporednima
prihodoma ali časov strežbe)
r – število strežnih mest
Variante modelov: M/M/3 – omejen prostor za čakanje, M/G/2, G/M/1, ...
 Omejitve
v modelu sistema strežbe lahko nastopajo v smislu
• populacije strank,
• prostora za čakanje,
• ostale posebnosti modela.

Osnovni model predstavlja model brez omejitev:

• populacija strank je neomejena,
• prostor za čakanje je neomejen,
• model nima nobenih drugih posebnosti.
 Sisteme strežbe bomo obravnavali kot
rojstno smrtne procese:
stranke v sistemu = populacija strank
prihodi strank = rojstva
zaključki strežbe = smrti

αi - pogostost prihodov strank (pogost priključkov v vrsto), če je v

sistemu i strank
=
λi - pogostot rojstev, če populacija obsega i individuumov

σi - pogostost zaključkov strežbe (odhodov trank iz sistema), če je

v sistemu i strank
=
µi - pogostot smrti, če populacija obsega i individuumov
Sistemi M/M/r iamjo markovsko lastnost, zato jih
lahko jih obdelamo z istimi metodami kot rojstno
smrtne procese.

Ostale vrste sistemov množične strežbe ne

predstavljajo markovskih procesov in jih moramo
analizirati s pomočjo
posebnih postopkov.
 Osnovne veličine, ki karakterizirajo sistem
množične strežbe
Stanja procesa N(t) predstavlja število strank v sistemu.
Število strank v sistemu vključuje število strank, ki so trenutno v
strežbi, in število strank, ki na strežbo čakajo!

Poleg te karakteristike nas zanimajo še vrednosti naslednjih veličin

• število strank v vrsti Nq(t)
• čas čakanja stranke v vrsti Wq(t)
• čas bivanja stranke v sistemu W(t) (tj., čas
strežbe + čas čakanja na steržbo)

Določitev teh karakteristik kot časovnih funkcij je zelo zahtevna.

Če obstaja ravnovesna porazdelitev za zasedbo stanj, se v praksi

velikokrat zadovoljimo z limitnimi vrednostmi naštetih veličin,
ki karakterizirajo sistem po daljšem času.
 Pri študiju sistemov množične strežbe bomo
izračunavali naslednje karakteristike:

pi – ravnovesna porazdelitev za zasedbo stanj (tj., verjetnost, da

je po daljšem času v sistemu natanko i strank)
E(N) – povprečno število strank v sistemu po daljšem času
E(Nq) – povprečno število strank v vrsti po daljšem času
E(W) – povprečni čas bivanja stranke v sistemu po daljšem času
E(Nq) – povprečni čas čakanja stranke v vrsti po daljšem času

Izpeljali bomo osnovne modele za sisteme

M/M/1, M/M/r in M/G/1.
Iz osnovnih modelov bomo izpeljali še nekaj modificiranih
modelov (modelov z omejitvami), ki so primerni za popis
specifičnih realnih situacij.
 Pri izpeljavi matematičnih modelov bomo
predpostavili naslednje:

• Starnke prihajajo v sistem strežbe posamič, časi med dvema

zaporednima prihodoma pa so neodvisni in enako
porazdeljeni.
• Časi strežbe različnih strank neodvisni in enako
porazdeljeni.
• Razpoložljivost sistema strežbe je popolna.
• Če ne bo drugače navedeno, bomo v modelih upoštevali
disciplino FIFO.