Seminarski Rad PDF

Univerzitet u Beogradu, Masinski Fakultet
Visi kurs matematike - Linearna algebra
Seminarski rad
Markovljevi
lanci
sa
diskretnim parametrima
Mentor
Prof. dr Slobodan Radojevic
Student
Andrija Petrovic 2015/D7
Beograd, 29. maj 2016
Markovljevi lanci sa diskretnim promenjivim

SADRZAJ
Sadrzaj
1 Uvod
2 Markovljevi lanci
2.1
Homogen, ergodicki, regularan Markovljev lanac . . . . . . . . . . . . . . .
2.2
Izracunavanje stacionarnih vrednosti . . . . . . . . . . . . . . . . . . . . .
2.2.1
Metoda postavljanja matricnih jednacina za stacionarne vrednosti .
2.3
Metod dijagonalizacije . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4
Apsorpcioni Markovljev lanac . . . . . . . . . . . . . . . . . . . . . . . . .
2.5
Ocekivan broj koraka i ocekivan broj koraka pri vracanju . . . . . . . . . .
3 Ehrenfestov model
3.1
Simulacija Ehrenfestovog modela . . . . . . . . . . . . . . . . . . . . . . . 12
4 Zakljucak
14
Literatura
15
MARKOVLJEVI LANCI
Uvod
Veliki broj dogadaja koji je razmatran u okviru klasicne teorije verovatnoce i statistike
bavi se nezavisnim uzastopnim realizacijama istih slucajno promenjivih. Vrednost opita
slucajne promenjive ni na koji nacin ne utice na vrednost iste usled ponavljanja eksperimenta. Moguca stanja slucajne promenjive nakon realizacije dogadaja jednaka su kao i pre
realizacije istog, sto znaci da zakon verovatnoce ni na koji nacin nije povezan sa trenutnim
ili proslim stanjima slucajne promenjive. Jasnije receno znanje o prethodnim stanjima realizovanog dogadaja ne utice na ishode eksperimenta u buducnosti (bacanje kockica, rulet
itd.). 1907. godine Andrej Andrejevic Markov zapoceo je studiju o slucajnim dogadajima
cije trenutno stanje utice na naredno stanje istog u slucaju ponavljanja opita.
Markovljevih procesi su oni stohasticki procesi cije buduce stanje zavisi samo od
trenutnog stanja i to svojstvo zovemo svojstvo odsustva pamcenja (memoryless property )
[6] . Postoje dva osnovna tipa Markovljevih procesa:
1. Diskretni Markovljevi lanci - prelazak iz jednog u drugo stanje odvija se u
diskretnim tackama, na primer posmatraju se vremenski trenuci t0 , t1 , t2 , . . . , tn ;
2. Kontinualni Markovljevi lanci - lanci menjaju stanje kontinualno;
U okviru rada bice izlozen kratki sazetak diskretnih diskretnih Markovljevih lanaca sa
najvaznijim teoremama koji se ticu istih u cilju pokazivanja primene Markovljevih lanaca
radi preciznog objasnjenja pojmova difuzije gasova i drugog principa termodinamike. Teoreme ce biti izlozene bez dokaza koji se mogu pogledati u okviru nabrojane literature.
Markovljevi lanci
Posmatra se moguca stanja u kojima se sistem nalazi, s = {s1 , s2 , . . . , sr }. Markovljev

lanac se moze opisati kao proces koji polazi iz jednog proizvoljnog stanja si , a zatim prelazi
u drugo stanje sj . Verovatnoca da ce sistem iz stanja si preci u stanje sj oznacena je kao
pij i ona ne zavisi od prethodnih stanja u kojima se sistem nalazio, vec samo od trenutnog
stanja sistema [6]. Verovatnoce pij se nazivaju prelazne verovatnoce, a odgovarajuca
matrica koja ih sadrzi naziva se matrica prelaza ili matrica prelaznih verovatnoca. U
opstem slucaju matrica prelaza moze se denisati u sledecem matematickom obliku preko
uslovnih verovatnoca kao:
Denicija 2.1 (Matrica prelaznih verovatnoca). Prelaz is stanja i u trenutku n 1 u

stanje j u trenutku n denisano je verovatnocom:
(n)
P (Xn = i|X0 = i0 , X1 = i1 , X2 = i2 , . . . , Xn1 = in1 ) = P (Xn = j|Xn1 = i) = pij
(1)
2

(1)
p11
(2)
p11
(1)
(3)
p01
(1)
(2)
p00
(3)
p01
p11
(2)
p01
MARKOVLJEVI LANCI
0
(3)
p00
p00
Slika 1: Markovljevi lanci

(n)
Opsti clan matrice prelaznih verovatnoca nakon n koraka zadat je sa pij , a matrica
prelaznih verovatnoca je:
i
h
(n)
(2)
P(n) = pij
Moze se videti da je zbir elemenata svakog reda ove matrice jednak 1.
U opstem slucaju matrica prelaznih verovatnoca moze zavisiti od svakog koraka,
odnosno posle svakog stanja prelazne verovatnoce se mogu menjati, sto je i prikazano na
slici 1.
2.1
Homogen, ergodicki, regularan Markovljev lanac
U velikom broju procesa matrica prelaznih verovatnoca se ne menja prilikom prelaska

iz stanja u stanje stoga su Markovljevi lanci homogeni. Na osnovu toga moze se izloziti
sledeca teorema.

Teorema 2.1. Ukoliko je P matrica prelaznih verovatnoca Markovljevog lanca. Clan
(n)
n
pij u okviru matrice P predstavlja verovatnocu da ce Markovljev lanac iz stanja si
biti u stanju sj nakon
n koraka.
Ukoliko se posmatra matrica prelaznih verovatnoca 3x3, i razmatra verovatnoca prelaska

iz stanja s1 u stanje s3 nakon 2 koraka, lako se posredstvom pravila totalne verovatnoce
moze videti da je:
P (X3 = 3|X1 = 1) =
3
X
P (X2 = i|X1 = 1)P (X3 = 3|X2 = i)
(3)
i=1
Odnosno u opstem slucaju:
pij =
k
X
pik pkj
(4)
i=1
MARKOVLJEVI LANCI
Denicija 2.2 (Ergodicki Markovljev lanac). Markovljev lanac je ergodicki ukoliko je
moguc prelazak iz svakog stanja u sva druga stanja iz jednog ili vise koraka. U mnogim
knjigama ovakav Markovljev lanac se naziva ireducibilan [4].
Denicija 2.3 (Regularan Markovljev lanac). Markovljev je regularan ukoliko u bilo

kojem koraku postoji matrica prelaznih verovatnoca takva da su joj svi elementi veci od
0, odnosno da je moguce iz bilo kog stanja doci u bilo koje stanje iz samo jednog koraka.
Iz denicije je jasno da je svaki regularan Markovljev lanac ergodicki, dok svaki ergodicki
Markovljev lanac ne mora biti regularan [4].
Za ergodickog Markovljeve lance vaze dve bitne teoreme.
Teorema 2.2. Ukoliko je P matrica prelaznih verovatnoca ergodickog Markovljevog

lanca. Onda vazi:
lim Pn = W
(5)
Svi redovi w matrice prelaznih verovatnoca W medusobno su jednake i zbir elemenata

u redu iznosi 1.
Teorema 2.3. Neka je P matrica prelaza ergodickog Markovljevog lanca i W njena
granicna vrednost kada n . Sledi i da su verovatnoce da se proces nade u nekom

.
od stanja nakon n koraka medusobno jednake i iznose p
2.2
Izracunavanje stacionarnih vrednosti
Veliki problem predstavlja izracunavanje stacionarnih vrednosti matrice prelaznih

verovatnoca kao i stacionarne vrednosti vektora verovatnoca. Postoji nekoliko metoda
izracunavanja ovde ce biti istaknuta metoda postavljanja matricnih jednacina za stacionarne vrednosti i metoda dijagonalizacije.
2.2.1
Metoda postavljanja matricnih jednacina za stacionarne vrednosti
Ova metoda odnosi se na postavljanje sistema od r linearnih jednacina, koji odgovaraju r nezavisno promenjivih, od kojih je r 1 jednacina posledica teoreme 2.3, dok
je poslednja jednacina jednaka zbiru nepoznatih stacionarnih vrednosti verovatnoca koji
iznosi 1 [7]. Odredivanje vektora verovatnoce svodi se na odredivanje svojstvenog vektora
matrice.
PT p = p
(6)
X
pi = 1
(7)
i
MARKOVLJEVI LANCI
PT p = p I
(8)
=0
(PT I) p
(10)
PT p p I = 0
(9)
S obzirom da je u jednacini 10 vektor slobodnih koecijenata 0 i da je det(PT I) = 0,

sledi da je rang matrice sistema manji od n. Koriscenjem jednacine 7 rang matrice sistema
jednak je n, broju nepoznatih velicina. Stoga sistem nije neodreden i poseduje pored
trivijalnog i netrivijalna resenja. Odnosno sistem jednacina u matricnom obliku izgledao
bi kao:

p11 . . . p1n
0
1 . . . 1 p1
1
.
(11)
.. . .
.. .. = ..
.
.
.
.
pn
pn1 . . . pnn
0
Resavanje postavljenog sistema linearnih jednacina moze se obaviti nekom od numerickih
metoda kao sto su metod Gausove eliminacije ili iterativnim metodama.
2.3
Metod dijagonalizacije
S obzirom na to da su svojstveni vektori koji odgovaraju razlicitim svojstvenim vrednostima medusobno linearno nezavisni tada postoji baza prostora kojeg cine svojstveni
vektori. Ukoliko su to vektor v1 , v2 , . . . , vn sledi da je:
A(v1 ) = 1 v1 , . . . , A(vn ) = 1 vn
(12)
Usled toga matrica A u novoj bazi je dijagonalna matrica D, ciji su elementi svojstvene
vrednosti matrice A.
Teorema 2.4. Ako postoji n linearno nezavisnih svojstenih vektora onda se matrica
moze dijagonalizovati sto je i osnovni uslov dijagonalizacije matrice.
Iz jednacine 12 moze se lako pokazati da se bilo koja matrica moze prikazati posredstvom
dijagonalne matrice D i matrice S ciji su elementi svojstveni vektori.
A = S1 D S
(13)
Na osnovu recenog sada se na laksi nacin moze izracunati n-ta potencija matrice A.
A2 = (S1 D S) (S1 D S) = S1 D2 S
(14)
An = S1 Dn S
(15)
Ukoliko metod dijagonalizacije primenimo na izracunavanje matrice prelazne verovatnoce

nakon n sledi da na jednostavan nacin mozemo da nademo stacionarne vrednosti
5
MARKOVLJEVI LANCI
p32
p11
3
p33
p21
p23
Slika 2: Apsorpcioni lanac

matrice prelazne verovatnoce, a zatim i stacionarne vrednosti verovatnoce, za ergodicke
Markovljeve lance.
Pn = S1 Dn S
(16)
W = lim Pn
(17)
Postoji i uproscena metoda dijagonalizacije, za izracunavanja matrica prelaznih verovatnoca, koja vazi samo za Markovljeve lance sa dva stanja. Ova metoda se naziva
metoda spektralne dekompozicije. Detaljno objasnjenje metode moze se pogledati u [5].
2.4
Apsorpcioni Markovljev lanac

Jedan od tipova neregularnih Markovljevih lanaca je apsorpcioni Markovljev lanac.
Denicija 2.4 (Apsorpcioni Markovljev lanac). Stanje si Markovljevog lanca se naziva
aposrbuje stanje ukoliko nije moguce isto napustiti nakon ulaska, odnosno verovatnoca
prelaza iz stanja si u stanje si jednaka je pii = 1 [7]. Markovljev lanac koji ima bar
jedno ovakvo stanje naziva se apsorpcioni Markovljev lanac. Ukoliko sa P obelezimo
matricu prelaznih verovatnoca stanja koja nisu apsorpciona sledi da za n P 0.
Za razliku od regularnog Markovljevog lanca koji je aperiodican, pozitivno rekurtan (ergodicki i makar jedno stanje lanca je dostupno iz samog sebe u ocekivanom broju
koraka koji je manji od beskoncnog) apsorpcioni lanac iako ergodicki nije pozitivno rekurtan. Opsti tip matrice prelaznih verovatnoca jednog od apsorpcionih Markovljevih lanaca
izgleda ovako:
p11 p12 . . . p1n

1
0 ... 0
P=
(18)
..
..
..
.
.
.
.
.
.
pn1 pn2 . . .
pnn
Za apsorpcioni Markovljev lanac vezuje se pojam fundamentalne matrice [2].
MARKOVLJEVI LANCI
Teorema 2.5 (Fundamentalna matrica). Fundamentalna matrica N je jednaka matrici (I Q1 ) i njeni clanovi nij predstavljaju broj ocekivanog prolaska kroz stanje
sj ukoliko je pocetno stanje si pre dolaska u apsorpciono stanje.
Ocekivan broj koraka pocevsi iz stanja si pre nego sto lanac dode u apsorpciono stanje
izracunava se posredstvom vektora proizvoda fundametalne matrice i jedinicnog vektora
N c. Novo uvedeni pojmovi bitni su za racunanje ocekivanog broja koraka i ocekivanog
broja koraka pri vracanju u pocetno stanje kod ergodickih Markovljevih lanaca.
2.5
Ocekivan broj koraka i ocekivan broj koraka pri vracanju
Ukoliko ergodicki Markovljev lanac polazi iz stanja si ocekivan broj koraka da stigne
u stanje sj se obelezava kao mij , a odgovarajuca matrica M. Na osnovu konvencije clan
mii = 0. Jedan od mogucih nacina izracunavanja ocekivanog broja koraka mij je preko
fundamentalne matrice apsorpcionih Markovljevih lanaca. Ako zamislimo da je stanje sj
ergodickog lanca apsorpciono stanje onda posredstvom proizvoda fundamentalne matrice
i jedinicnog izracunava se ocekivan broj koraka.
Velicina koja denise ocekivan broj koraka koji ce proteci pri vracanju lanca u stanje
si iz koga je krenuo naziva se ocekivan broj koraka pri vracanju. Ako ergodicki Markovljev
lanac polazi iz stanja si , onda je ocekivan broj koraka da se isti vrati u stanje si obelezen
sa ri , odnosno odgovarajucim vektorom r.
Teorema 2.6. Kod ergodickih Markovljevih lanaca ocekivan broj koraka pri vracanju
izracunava se kao reciprocna vrednost vektora stacionarnih verovatnoca, odnosno:
ri =
1
wi
(19)
Na osnovu fundamentalne matrice Markovljevih lanaca, denisane kao
Z = (I P + W)1
(20)
drugi nacin odredivanja ocekivanog broja koraka denisan je sledecom teoremom.
Teorema 2.7. Vrednosti matrice M, ocekivanog broja koraka ergodickog Markovljevog

lanca, izracunavaju se posredstvom fundamentalne matrice Z i stacionarnog vektora
verovatnoce w.
mij =
zjj zij
wj
(21)
Predstavljanjem osnovnih pojmova upotreba istih se moze pokazati i na konkretnom primeru.

7
EHRENFESTOV MODEL
Ehrenfestov model
Ehrenfestov model, nazvan po naucniku Polu Ehrenfestu, je jednostavan model zasnovan na Markovljevim lancima cija se primena ogleda u mogucnosti objasnjenja difuzije
u gasova i potvrde drugog principa termodinamike [3]. Model se zasniva na razmeni molekula izmedu dva dela prostora. U cilju jasnijeg objasnjenja osnovni model se moze
prikazati kao prelazak m loptica iz jednog sesira u drugi i obrnuto. Loptice predstavljaju
molekule, dok sesiri predstavljaju odvojene delove prostora. Posmatra se stanje sistema u
koracima n N, i posmatra se broj loptica u prvom sesiru posredstvom slucajne velicine
X = {X0 , X1 , . . . , Xn }, dok su moguca stanja sistema (broj loptica u prvom sesiru)
obelezena kao S = {0, 1, . . . , m}. U okviru osnovnog Ehrenfestovog modela u svakom
trenutku vremena izabrana je proizvoljna loptica i prebacena iz prvog sesira u drugi sesir.
S obzirom da se broj loptica nakon svakog korak u prvom sesiru povecava ili smanjuje,
odgovarajuci clanovi matrice prelazne verovatnoce, za broj loptica m, se mogu prikazati
na sledeci nacin.
x
(22)
P (x, x 1) =
m
mx
P (x, x + 1) =
(23)
m
Odnosno matrica prelazne verovatnoce u opstem obliku bi izgledala kao:
0 1
0
0
... 0 0
m1
1
0
0
. . . 0 0
m
m
2
m
2
P=
(24)
0
0
. . . 0 0
m
m
.
..
..
..
. . .. ..
..
. . .
.
.
.
0 0
0
0
... 1 0
Markovljev lanac u Ehrenfestovom model je ergodicki s obzirom da se iz svakog stanja
moze dospeti u bilo koje drugo stanje: Isti je i pozitivno rekurtan jer se u svako stanje
moze dospeti u konacnom broju koraka. S obzirom na to da se povratak u pocetno
stanje moze obaviti samo u parnim koracima lanac je periodican sa korakom 2, stoga je
neregularan. Na slici 3 prikazan je osnovni Ehrenfestov model.
Na primeru osnovnog Ehrenfestovog modela sa 4 molekula (loptice) bice prikazani svi
parametri koji su prethodno pomenuti. Matrica prelazne verovatnoce je za ovaj slucaj:
0 1 0 0 0
1
3
0
0
0
4
4
1
1
(25)
P = 0
0
0
2
2
3
1
0
0 0
4
4
0 0 0 1 0
Za postavljen model prvo je potrebno odrediti matrice prelazne verovatnoce posle n
8
EHRENFESTOV MODEL
mi
m
2
i
m
Slika 3: Osnovni Ehrenfestov model

koraka, a zatim stacionarne vrednosti matrice prelazne verovatnoce i stacionarne vrednosti
vektora verovatnoce.
1. Metodom dijagonalizacije potrebno je odrediti svojstvene vrednosti i svojstvene vektore nakon cega je moguce konstruisati matrice D i S.
Ps=sPs = sI
(P I) s = 0
det(P I) = 0
(26)
(27)
(28)

1
0
0
0

1
3

0
0

4
4

5 3
1
1

=0
det(P I) = 0
0 = 5 +
4
4
2
2

1
3

0

0

4
4
0
0
0
1
(29)
Resavanjem jednacine dobijaju se svojstvene vrednosti i svojstveni vektori pa se

moze formirati dijagonalna matrica.
1 0
0
0 0
0 1
0
0 0
D = 0 0 0.5 0 0
(30)
0 0
0
0 0
0 0
0
0 0.5
0, 4472
0, 4472
S =
0, 4472
0, 4472
0, 4472
0, 1398
0, 1398
S1 =
0, 3953
0, 5449
0, 3953
EHRENFESTOV MODEL
0, 4472
0, 6325 0, 6882 0, 6325
0, 4472 0, 3162
0
0, 3162
0, 4472
0
0, 2294
0
0, 4472
0, 3162
0
0, 3162
0, 4472 0, 6325 0, 6882
0, 6325
0, 5590 0, 8385 0, 5590 0, 1398

0, 5590
0, 8385 0, 5590
0, 1398
0, 7906
0
0, 7906 0, 3953
0
1, 0897
0
0, 5449
0, 7906
0
0, 7906
0, 3953
(31)
(32)
Sledi da se vrlo jednostavno moze pronaci matrica prelaznih verovatnoca nakon 3

koraka:
P3 = S1 D3 S
(33)
D3
(34)
P3
P3
1
0
0
0
0
0 (1)3
0
0
0
3
0
(0.5) 0
0
=
0
0
0
0
03
0
0
0
0
0 (0.5)3
3
1
0
0
0
0
0 (1)3
0
0
0
1
3
0
(0.5) 0
0
= S 0
S
2
0
0
0
0
0
0
0
0
0 (0.5)3
0
0, 625
0
0, 375
0
0, 1563
0
0, 75
0
0, 0938
0
0, 5
0, 5
0
=
0
0, 0938
0
0, 75
02
0, 1563
0
0
0, 375 0, 625
0
(35)
(36)
2. Metodom postavljanja matricnih jednacina postupak dobijanja vektora stacionarnih

vrednosti verovatnoca se zasniva na resavanju sistema jednacina.
0 0, 25 0
0
0
1
0
0, 5
0
0
0
0,
75
0
0,
75
0
P =
(37)
0
0
0, 5
0
1
0
0
0 0, 25 0
1 0, 25 0
0
0
1
1 0, 5
0
0
0
0,
75
1
0,
75
0
PT I =
(38)
0
0
0.5 1
1
0
0
0 0, 25 1
10
EHRENFESTOV MODEL
Zamenom jednog reda, matrice u jednacini 38, sa jednacinom 7 dobija se sledeci sistem linearnih jednacina cije resenje daje vektor stacionarnih vrednosti verovatnoca.

1 0, 25 0
0
0
p0
0
1
1 0.5
0
0 p1 0
0 0, 75 1 0, 75 0 p2 = 0
(39)
0
0, 5 1 1
p3
0
1
1
1
1
1
p4
1

Cijim
resavanjem sledi da su vektor stacionarnih vrednosti verovatnoca i stacionarna
matrica prelaznih verovatnoca jednake:

p = 0, 0625 0, 25 0, 375 0, 25 0, 0625
(40)
0, 0625 0, 25 0, 375 0, 25 0, 0625

0, 0625 0, 25 0, 375 0, 25 0, 0625
0,
0625
0,
25
0,
375
0,
25
0,
0625
W =
(41)
0, 0625 0, 25 0, 375 0, 25 0, 0625

0, 0625 0, 25 0, 375 0, 25 0, 0625
Vektor ocekivanog broja koraka pri vracanju [1] jednak je:

r = 16 4 2, 667 4 16
(42)
Dok su fundamentalna matrica, odredena jednacinom 20, i matrica ocekivanog broja

koraka, odredena jednacinom 21, jednake:
1, 1354
0, 7917 0, 1875 0, 5417 0, 1979
0, 1979
1, 0417
0.1875 0, 2917 0, 1354
0, 125
0, 8125
0, 1250 0, 0313
Z =
(43)
0, 0313
0, 1354 0, 2917
0, 1875
1, 0417
0, 1979
0, 1979 0, 5417 0, 1875
0, 7917
1, 1354
0
1
2.6667 6.3333 21.3333
15
0
1, 6667 5, 3333 20, 3333
0
3, 6667 18, 6667
M =
(44)
18, 6667 3, 6667
20, 3333 5, 3333 1, 6667
0
1
21, 3333 6, 3333 2, 6667
1
0
Na osnovu stacionarne vrednosti verovatnoca moze se dokazati da je raspodela verovatnoca
slucajne promenjive X jednaka binomnoj raspodeli X : B(m; 0.5), odnosno.

m
Pn (k) = P (x = k) =
0, 5k 0, 5mk
(45)
k
11
EHRENFESTOV MODEL
120
110
broj molekula
100
90
80
70
60
50
40
0
200
400
600
800
1000
1200
1400
1600
1800
2000
korak
Slika 4: Osnovni Ehrenfestov model za 2000 koraka
3.1
Simulacija Ehrenfestovog modela
Osnovni Ehrenfestov model bice simuliran na jednom primeru. Model je uraden za

120 kuglica i 2000 koraka. U pocetnom stanju sve loptice (molekuli) se nalaze u prvom
sesiru (prvom delu prostora) u kojem se broje molekuli. Rezultat simulacije osnovnog
modela prikazan je na slici 4.
Pored osnovnog Ehrenfestovog modela postoji i modikovani model. Osnovna razlika
izmedu osnovnog i modikovanog modela ogleda se u pretpostavci da tokom svakog koraka
nezavisno biramo lopticu koju cemo da izvucemo kao i sesir u koji cemo istu ubaciti.
Odnosno pored toga sto postoji verovatnoca da izvucenu kuglicu iz na primer prvog sesira
vratimo u drugi postoji i mogucnost da ista kuglica ostane u prvom sesiru. Modikovana
matrica prelazne verovatnoce izgledala bi kao:
0, 5 1
0
0
... 0 0
m1
1
0, 5
0
... 0 0
2m
2m
2
m2
P=
(46)
0
0,
5
.
.
.
0
0
m
2m
.
..
..
..
..
. . ..
..
. .
.
.
.
.
0
0
0
0
. . . 1 0, 5
Na slici 5 predstavljen je kod u Matlabu za izracunavanje modikovanog i osnovnog modela, dok je na slici 6 prikazan rezultat simulacije za modikovan model pri istim ulaznim
podacima kao za osnovni model.
12
EHRENFESTOV MODEL
% Ehrenfestov model simulacija

%------------------------------------------------------------------% Ulazni podaci
clear
m=120; % broj loptica
x(1)=m; % pocetni broj loptica u prvom se
siru
s=0:m; % moguca stanja
korak=2000; % broj koraka (vremenskih trenutaka)
%------------------------------------------------------------------ce
% Odredivanje matrice prelazne verovatno
p=zeros(m+1);
% p=eye(m+1)*0.5; % Skinuti komentar za modifikovan model
for i=1:m+1
if (i-1)>=1
p(i,i-1)=(i-1)/m;
p(i,i-1)=(i-1)/(2*m); % Skinuti komentar za modifikovan model
end
if (i+1)<=m+1
p(i,i+1)=(m-i+1)/m;
%
p(i,i+1)=(m-i+1)/(2*m); % Skinuti komentar za modifikovan model
end
end
%------------------------------------------------------------------% Simulacija modela
for k=2:korak+1
v=p(x(k-1)+1,:); % Vektor uslovne verovatnoce iz stanja k
[s,ind]=sort(v);
s=[0 s];
s=cumsum(s);
u=rand;
for i=2:m+2
if s(i)>=u && s(i-1)<u
ind=ind(:,i-1);
end
end
x(k)=ind-1; % Broj loptica nakon k koraka
end
k=[0 1:korak];
figure(1)
plot(k,x) % Iscrtavanje grafika
grid on
xlabel('korak');ylabel('broj molekula');
Slika 5: Ehrenfestov osnovni i modikovan model u Matlabu

13

ZAKLJUCAK
120
110
broj molekula
100
90
80
70
60
50
0
200
400
600
800
1000
1200
1400
1600
1800
2000
korak
Slika 6: Modikovan Ehrenfestov model za 2000 koraka
Zakljucak
Osnovna svrha rada odnosila se na uvodenje osnovnih pojmova Markovljevih lanaca

sa diskretnim parametrima u cilju razumevanja termodinamickih pojmova koji se odnose
na difuziju gasova odnosno drugi princip teromdinamike. Posredstvom osnovnog i modikovan Ehrenfestovog modela prikazani su termini koji su vezani za binomnu raspodelu
polozaja molekula u prostoru. Vazan zakljucak koji je proizasao iz simulacije se tice drugog principa termodinamike i mere neizvesnosti sistema, odnosno entropije. S obzirom na
to da se molekuli gasa mogu naci u bilo kom polozaju u sistemu, odnosno postoji verovatnoca da se svi molekuli nadu u prvoj polovini ili drugoj polovini prostora. Samim tim
sledi da u odnosu na pocetno stanje kada su se molekuli sistema nalazili samo u prvom
delu prostora, oslobadanjem mogucnosti prelaska molekula u drugi deo prostora entropija
sistema je porasla. Povecanjem broja molekula dolazi i do porasta neizvesnosti sistema
t.j sa manjom verovatnocom mozemo da tvrdimo da se odreden broj molekula nalazi u
prvoj ili drugoj polovini prostora.
Uvodenjem Markovljevih lanaca sa diskretnim parametrom i posredstvom Ehrenfestovog modela pojam termodinamicke verovatnoce polozaja cestica u prostoru i promena
entropije u potpunosti je objasnjen.
14
LITERATURA
Literatura
[1] Richard Bellman and Theodore Harris. Recurrence times for the ehrenfest model.
Pacic J. Math, 1(2):179193, 1951.
[2] Wai Ki Ching and Michael K Ng. Markov chains. Springer, 2006.
[3] Bernard Friedman. A simple urn model. Communications on Pure and Applied Mathematics, 2(1):5970, 1949.
[4] Marius Iosifescu. Finite Markov processes and their applications. Courier Corporation,
2014.
[5] John G Kemeny and James Laurie Snell. Finite markov chains, volume 356. van
Nostrand Princeton, NJ, 1960.
[6] James R Norris. Markov chains. Cambridge university press, 1998.
[7] Laurent Salo-Coste. Lectures on nite Markov chains, pages 301413. Springer, 1997.
15

Seminarski Rad PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Seminarski Rad PDF

Uploaded by

Copyright:

Available Formats

Univerzitet u Beogradu, Masinski Fakultet

Visi kurs matematike - Linearna algebra

Beograd, 29. maj 2016

Markovljevi lanci sa diskretnim promenjivim

Homogen, ergodicki, regularan Markovljev lanac . . . . . . . . . . . . . . .

Izracunavanje stacionarnih vrednosti . . . . . . . . . . . . . . . . . . . . .

Metoda postavljanja matricnih jednacina za stacionarne vrednosti .

Apsorpcioni Markovljev lanac . . . . . . . . . . . . . . . . . . . . . . . . .

Ocekivan broj koraka i ocekivan broj koraka pri vracanju . . . . . . . . . .

Simulacija Ehrenfestovog modela . . . . . . . . . . . . . . . . . . . . . . . 12

Markovljevi lanci sa diskretnim promenjivim

Posmatra se moguca stanja u kojima se sistem nalazi, s = {s1 , s2 , . . . , sr }. Markovljev

Denicija 2.1 (Matrica prelaznih verovatnoca). Prelaz is stanja i u trenutku n 1 u

P (Xn = i|X0 = i0 , X1 = i1 , X2 = i2 , . . . , Xn1 = in1 ) = P (Xn = j|Xn1 = i) = pij

Markovljevi lanci sa diskretnim promenjivim

Slika 1: Markovljevi lanci

Homogen, ergodicki, regularan Markovljev lanac

U velikom broju procesa matrica prelaznih verovatnoca se ne menja prilikom prelaska

biti u stanju sj nakon

Ukoliko se posmatra matrica prelaznih verovatnoca 3x3, i razmatra verovatnoca prelaska

P (X2 = i|X1 = 1)P (X3 = 3|X2 = i)

Odnosno u opstem slucaju:

Markovljevi lanci sa diskretnim promenjivim

Denicija 2.2 (Ergodicki Markovljev lanac). Markovljev lanac je ergodicki ukoliko je

Denicija 2.3 (Regularan Markovljev lanac). Markovljev je regularan ukoliko u bilo

Teorema 2.2. Ukoliko je P matrica prelaznih verovatnoca ergodickog Markovljevog

Svi redovi w matrice prelaznih verovatnoca W medusobno su jednake i zbir elemenata

Teorema 2.3. Neka je P matrica prelaza ergodickog Markovljevog lanca i W njena

granicna vrednost kada n . Sledi i da su verovatnoce da se proces nade u nekom

Izracunavanje stacionarnih vrednosti

Veliki problem predstavlja izracunavanje stacionarnih vrednosti matrice prelaznih

Metoda postavljanja matricnih jednacina za stacionarne vrednosti

Markovljevi lanci sa diskretnim promenjivim

S obzirom da je u jednacini 10 vektor slobodnih koecijenata 0 i da je det(PT I) = 0,

Ukoliko metod dijagonalizacije primenimo na izracunavanje matrice prelazne verovatnoce

Markovljevi lanci sa diskretnim promenjivim

Slika 2: Apsorpcioni lanac

Apsorpcioni Markovljev lanac

Denicija 2.4 (Apsorpcioni Markovljev lanac). Stanje si Markovljevog lanca se naziva

p11 p12 . . . p1n

Za apsorpcioni Markovljev lanac vezuje se pojam fundamentalne matrice [2].

Markovljevi lanci sa diskretnim promenjivim

Ocekivan broj koraka i ocekivan broj koraka pri vracanju

Na osnovu fundamentalne matrice Markovljevih lanaca, denisane kao

drugi nacin odredivanja ocekivanog broja koraka denisan je sledecom teoremom.

Teorema 2.7. Vrednosti matrice M, ocekivanog broja koraka ergodickog Markovljevog

Predstavljanjem osnovnih pojmova upotreba istih se moze pokazati i na konkretnom primeru.

Markovljevi lanci sa diskretnim promenjivim

Markovljevi lanci sa diskretnim promenjivim

Slika 3: Osnovni Ehrenfestov model

Resavanjem jednacine dobijaju se svojstvene vrednosti i svojstveni vektori pa se

Markovljevi lanci sa diskretnim promenjivim

0, 5590 0, 8385 0, 5590 0, 1398

Sledi da se vrlo jednostavno moze pronaci matrica prelaznih verovatnoca nakon 3

2. Metodom postavljanja matricnih jednacina postupak dobijanja vektora stacionarnih

Markovljevi lanci sa diskretnim promenjivim

0, 0625 0, 25 0, 375 0, 25 0, 0625

0, 0625 0, 25 0, 375 0, 25 0, 0625

Dok su fundamentalna matrica, odredena jednacinom 20, i matrica ocekivanog broja

20, 3333 5, 3333 1, 6667

Markovljevi lanci sa diskretnim promenjivim

Slika 4: Osnovni Ehrenfestov model za 2000 koraka

Simulacija Ehrenfestovog modela

Univerzitet u Beogradu, Masinski Fakultet

Visi kurs matematike - Linearna algebra

Homogen, ergodicki, regularan Markovljev lanac . . . . . . . . . . . . . . .

Izracunavanje stacionarnih vrednosti . . . . . . . . . . . . . . . . . . . . .

Metoda postavljanja matricnih jednacina za stacionarne vrednosti .

Ocekivan broj koraka i ocekivan broj koraka pri vracanju . . . . . . . . . .

Denicija 2.1 (Matrica prelaznih verovatnoca). Prelaz is stanja i u trenutku n 1 u

Homogen, ergodicki, regularan Markovljev lanac

Odnosno u opstem slucaju:

Denicija 2.2 (Ergodicki Markovljev lanac). Markovljev lanac je ergodicki ukoliko je

Denicija 2.3 (Regularan Markovljev lanac). Markovljev je regularan ukoliko u bilo

Teorema 2.2. Ukoliko je P matrica prelaznih verovatnoca ergodickog Markovljevog

Teorema 2.3. Neka je P matrica prelaza ergodickog Markovljevog lanca i W njena

granicna vrednost kada n . Sledi i da su verovatnoce da se proces nade u nekom

Izracunavanje stacionarnih vrednosti

Veliki problem predstavlja izracunavanje stacionarnih vrednosti matrice prelaznih

Metoda postavljanja matricnih jednacina za stacionarne vrednosti

S obzirom da je u jednacini 10 vektor slobodnih koecijenata 0 i da je det(PT I) = 0,

Ukoliko metod dijagonalizacije primenimo na izracunavanje matrice prelazne verovatnoce

Denicija 2.4 (Apsorpcioni Markovljev lanac). Stanje si Markovljevog lanca se naziva

Ocekivan broj koraka i ocekivan broj koraka pri vracanju

Na osnovu fundamentalne matrice Markovljevih lanaca, denisane kao

drugi nacin odredivanja ocekivanog broja koraka denisan je sledecom teoremom.

Teorema 2.7. Vrednosti matrice M, ocekivanog broja koraka ergodickog Markovljevog

Predstavljanjem osnovnih pojmova upotreba istih se moze pokazati i na konkretnom primeru.

Resavanjem jednacine dobijaju se svojstvene vrednosti i svojstveni vektori pa se

Sledi da se vrlo jednostavno moze pronaci matrica prelaznih verovatnoca nakon 3

2. Metodom postavljanja matricnih jednacina postupak dobijanja vektora stacionarnih

Dok su fundamentalna matrica, odredena jednacinom 20, i matrica ocekivanog broja

Slika 5: Ehrenfestov osnovni i modikovan model u Matlabu

Slika 6: Modikovan Ehrenfestov model za 2000 koraka