Chuong IV PHAN TICH MARKOV VA U'NG DUNG 1. Cae khai nigm co ban vé xich Markov 1.1. M6t sé dinh nghia Nhiéu mé hinh ngau nhién trong Van tri hoc, Kinh té, Ki thuat, Dan sé hoc, Di truyén hoe,... dya trén co sé 1 qué trinh Markov. Dic biét, hign tai mt linh vye méi vé Tin — Sinh hoc (Bioinformatics) chuyén nghién ciru vé gene img dung rat manh cic vin dé cita li thuyét cdc qua trinh Markov. Trong nganh Co dién hién nay nhiéu chuyén gia li thuyét va thye hanh ciing rdt quan tam t6i qua trinh Markov néi chung, ciing nhu cdc qué trinh sinh-tit hay qua trinh héi phuc néi riéng. Vi du: Xét mét hé théng vat li tién trién theo thdi gian. Tai thoi diém t = 0, hé théng cé thé roi vao mét trong ba trang thai (hay vi tri) 1, 2 hoc 3 mét cach ngiu nhién. Ki higu X(0) 1a vi tri cata hé théng tai thoi diém t ~ 0, thi X(0) 14 mét bién ngiu nhién, cé thé nhan cac gid tri 1 hodc 2 hodc 3 véi cac xdc sudt nhdt dinh. Gia sir ring cin cit vao cae két qua quan sat hay nghién citu, ching ta cé bang phan phéi xc sudt sau cho X(0): Cle gid tri eta XO) 1 2 3 Xe sudt twong img 0,2 05 03 Tai cdc thdi diém tiép theo, ching han, t = 1, 2, 3, ... vi tri cua hé théng sé duge mé ta béi cic bién ngdu nhién X(1), X(2), X(3), ... v6i cde bing phan phéi xée sudt twong img. Dya trén vi dy nay, chimg ta xét dinh nghia sau vé qué trinh ngdu nhién, Dinh nghia 1 Xét mot hé théng vat li (hay mot hé théng sinh thai, hé théng dich vy,... ) tién trién theo thai gian, Goi X(t) la vi tri (tinh trang) cia hé tai thoi diém t, Nhu vay tng voi mi théi diém {, X(t) chinh 1a m6t bién ngdu nhién mé ta vj tri (tinh trang) cia hé théng, Qué trinh {X(t)}co duge goi la m6t gud trinh ngdu nhién. Tip hop céc vj tri c6 thé c6 cia hg goi la khdng gian trang thai. Khong gian trang thai duge ki higu 1a S. Trong vi du trén, néu gid sir rang X(t) chi cé thé nhin mét trong ba gid tri 1, 2,3 Vt, thi S= {1, 2, 3}. Gia sir rude thai diém s, hg di 6 trang thai nao dé, con tai thoi diém s, hé & trang thai i, Ching ta mudn danh gid xc suat dé tai thoi diém t (t >s), hé sé 6 trang thai j ‘Néu xdc suat nay chi phy thuc vao bé bén (s, i, t, j), tte 1a P[X(t) = j/X(s) =i] = pls, i,t, j) la ding Vi, Vj, Vs, Vt thi digu nay cé nghia 1a, su tién trién cia hé trong tuong lai chi phy thugc vao hign tai (tinh trang cia hé tai thoi diém s), va hodn toan dc lap vai qua khit (tinh khdng nhd). D6 chink 1a tink Markov. Lite nay qua trinh ngiu nhién X(t) duge goi la qué trink Markov. Trong vi dy trén P[X(1) = 2/X(0) = 1] la xac suat c6 didu kign cita su kign X(1) = 2 (tai thai diém t =1, hé théng nim tai vi tri 2) véi didu kign X(0) = 1 (tai thoi diém t = 0, hé théng nim tai vi tri 1). Néu qua trinh ngdu nhién cé tinh Markov thi xac sudt nay chi phy thuge vio tinh trang ciia hé tai thai diém s = 0 va hodn toan dc lip véi cdc tinh trang ciia hé trong qua khit (trude thei diém s = 0). Dink nghia 2 ‘Néu kh6ng gian trang thai S gém m6t sé hitu han hode v6 han dém duge cae trang thai thi qué trinh Markov X(f) duge goi ld xich Markov. Lic nay, e6 thé ki higu $= (1, }, tite 1a cde trang thai duge dénh sé. Hon nita, néu tp cdc gid tri t khéng qué dém duge (ching han, (= 0, 1, 2,... ) thi ta ¢6 xich Markov véi thdi gian réi rac, hay xich Markov ri rac, Néu te[0, ») thi ta 06 xich Markov véi thai gian lién tuc, hay xich Markov lién tye. Dinh nghia 3 Xét m6t xich Markov, Néu xae suat chuyén trang thai p(s, i, t, j) = p(sth, i, t+h, j),Vi, Vj, Vs, Viva Vh > 0, thi ta néi rang xich Markov thudn nhat theo thai gian. Day 1d m6t khdi nigm méi va sé duge gidi thich ngay sau day trong myc 1.2. Ngoai ra véi muc dich tim hiéu buéc dau, trong céc muc 1.2 va 1.3 ching ta s@ chi xét xich Markov réi rac va thuan nhdt theo thai gian. Vi du vé xich Markov lién tue sé duge xem xét trong muc 2.4 va 2.5. 1.2. Ma trén xéc sudt chuyén trang thai va phan phéi ding Trong muc nay ching ta dua ra khai nigm vé ma tran xac sudt chuyén trang thai cla mét xich Markov rai rac va thuan nhat theo théi gian véi khéng gian trang thai gm N phan tir. Trong truéng hop xich Markov rai rac va thudn nht cé khéng gian trang thai véi sé phan tir v6 han dém duge, khdi nigm vé ma tran xc suat chuyén trang thai s duge xdy dag mét cach twong ty. ‘Vi du: Xét lai vi du da c6 trong muc 1.1, nhung v6i m6t cach minh hoa khac trong linh vyc dich vy. Trong m6t khu phd 1000 dan (khach hang) cé 3 siéu thi la A, B, va C (A, B, C duge coi I cdc vi tri 1, 2, 3 ciia hé théng sigu thj nay), Gia sir ring, trong timg thing méi khach hing tuén trung thinh véi mot sigu thi. Ngoai ra, eding gia str ring trong thing dau sé khach vao cac siéu thi Lin luot 1a 200, 500 va 300; tite 14 cd 20% khach hang vio siéu thi A, 50% vio B va 30% vio C. Nhu vay, 06 thé dy doin ring m@t khach hing vao A véi x 0,2; vao B voi xc suit 0,5 va vao C véi xdc a han trong thing dau (thing 0) cia hé théng sigu thi trén, ching ta thiét lap bién ngdu nhién X(0) véi quy tic: néu khdch hang mua hang 6 sigu thi A thi dat X(0)=1, 6 sigu thi B thi d3t X(0) 2, ein 6 sigu thi C thi X(0) Lic dé, X(0) 6 bang phan phéi x:Cie gid tri cia X(0) 1 2 3 XXée sult wong dng 02 05 03 Ki higu P[X(0) = 1] = m, P[X() = 2] = 22”, P[X(O) 3”, thi vée to TI =[m, m, ns] = [0,2 0,5 0,3] duge goi la véc to phan phdi xdc sudt tai thoi diém = O hay vée to phan phdi ban dau. Cac thinh phan cia IT cho biét ti 1¢ phan tram (%) khach hang vao cc siéu thj A, B va C. Nhiing thang sau, ta gid sir xic sudt dé mét ngudi khach, da vao mua hang 6 siéu thi A thang truéc, vao lai A trong thdng sau luén 1a 0,8; chuyén sang mua hang 6 B luén Ia 0,1 va chuyén sang C luén 1a 0,1. Xac sudt dé m6t ngwéi khdch, di vo mua hang & siéu thi B thang truéc chuyén sang A luén 1a 0,07; vao lai B ludn 1a 0,9 va chuyén sang C luén 1a 0,03. Con xae suat dé mét nguéi khach, da vao siéu thi C thing truée chuyén sang A luén 14 0,083; chuyén sang B luén 14 0,067 va vao lai C luén 1a 0,85. Lic d6 cdc xdc sudt chuyén cla khach hing duge cho théng qua ma trén xdc sudt chuyén trang thai P (con goi la ma trén chuyén sau mét bude). [08 01 Ot P=/0,07 0,9 0,03 =[pilss- [0.083 0.067 0.85 ‘Dé mé ta tinh trang phn chia thi phan trong thang t (t= 1, 2, 3, ...) cba hé théng siéu thi trén, c6 thé thiét lap bién ngdu nhién X(t) véi quy tic tuong ty nhu khi thiét lap. (0): néu khach hang mua hang 6 sigu thj A thi dit X({) = 1, 6 siéu thi B thi dat X(t) = 2. con & sigu thi C thi X(t) = 3. Van dé dat ra 1a X(t) e6 bang phan phéi xde sudt nue thé nio. Trude hét ta di tim bang phan phéi xc sudt cho X(1). Xét pio = P[(X(1) = 2/X(0) = 1] = 0,1 1a xac sudt 48 mét ngwai khach, da vao mua hang 6 siéu thi A thang 0 chuyén sang mua hang 6 siéu thi B trong thing 1, Ngoai ra, P[X(t+1) = 2/X(t) = 1] = 0,1 Vila 86 ty nhién, vi theo gia thiét cia bai todn thi xac sudt dé m6t ngudi khich, da vao mua hang 6 siéu thj A thing truée chuyén sang mua hing 6 B lu6n 1a 0,1. Vay pio duge goi la xde sudt chuyén sau mét bwée tit vi tri 1 sang vi tri 2, béi vay c6 thé ding ki higu pri? dé chi 16 day 1a xac sudt chuyén sau m@t bude. Cac phan tir py Wi= 1, 2, 3 va Vj = 1, 2,3 ca ma trén P c6 ¥ nghia twong ty. Dé thay ring trong thang 1 sé khach hing mua hang tai siéu thi A 14 200 x 0,8 + 500 x 0,07 + 300 x 0,083 = 219,9 (~ 220); s6 khach hing mua hang tai siéu th B 18 200 x 0,1 + 500 x 0,9 + 300 x 0,067 = 490,1 (~ 490); cén sé khach hang mua hang tai siéu thi C sé 1a 200 x 0,1 + 500 x 0,03 + 300 x 0,85 = 290. Do téng sé khich hang 1i 1000, nén X(1) c6 bang phan phéi xdc suat sau:Céc gid tri ca X(1) 1 2 3 Xéc swat twong img 09,2199 90,4901 90,2900 io Vay véc to phan phéi xac sudt tai thoi diém t= 1 la 1 =[m, 3, m3] cho biét ti Ig phan trim khach hang vao cdc siéu thi A, B va C trong thing 1. Bing phép tinh ma tran eiing tim duge MI) nhu sau: 08 01 0. TE = 11 x P=[0,2 0,5 0,3]x| 0,07 09 0,03 0,083 0,067 0,85 = [0.2199 0,4901 0.2900). Tuong ty cé thé tim duge 1”: 08 O01 O41 11 = 11") x P = [0,2199 0,4901 0,2900] x 0,07 0,9 0,03 | 0,083 0,067 0.85 | =[0,234297 0.48251 0,283193] Sau day ta di tim ma tran xdc sudt chuyén trang thai sau hai buée. Ki higu p)” 1a xac suat chuyén tu vj tri 1 sang vi tri 2 sau hai buéc. Theo céng thite xdc suat toan phan tacé: pio” = P[X(2) = 2 / X()= 1] = PIX(1) = 1 /X(0) = 1] x PX) =2/ X()= qj + P[X(1) = 2/ X() = 1] x P[X(2) = 2/X(1) = 2] + P[X(1) =3 /X(0) = 1] x P[X@2)=2/X(1)=3] = pip! + pi pa + pis’ psa? = ¥ pid pl = 0.8 x 0,1 + 0,1 x 0,9 + 0,1 x 0,067 = 0,1767. M6t cach hoan toan tuong ty, ta cé xac suat chuyén tir vj tri i sang vj trij sau hai bude 1a py = pi py + pic pri + paps = > pl’pt . Vay ta c6 ma tran chuyén sau hai bude 1a: PO = [pyar = PO x POP x Pe PP?08 01 O1 | 08 01 01 =|0,07 0,9 0,03/x/ 0,07 0,9 0,03]. 0,083 0,067 0,85| | 0.083 0,067 0,85, DE thay TT = TxP=11xP*, Tuong ty, 6 thé chimg minh duge TT" = TT x P™ trong dé IT" va II" la cde vée to phan ph6i tai cdc thoi diém t = m+n vat =n, con P™ a ma tran xac suat chuyén trang thai sau m bude. Do P™= [pi "ua nn P(X (en) §/X@) =i] = PPX + m) = j / Xa) =i] = PEX@’ + m)=j /X(n’) =i] = pj, 1a xde sudt chuyén tir vj tri i sang vi (ri j sau m bude, Dit n= s t=ntm va h=n’ ~n thi 6 ngay P[X() = j /X(s) = i] = PIX( +h) = j /X(s +h) =i], hay p(s, i, tj) = p(s +h, i, (+ h, j) ludn dimg Vs, Vt, Vh. Tir céie phan tich trén day va i chiéu v6i cée dinh nghia 1, 2 va 3 muc 1.1, ta théy qué trinh ngdu nhién X(0) véi 1=0, 1,2, ... trong vi dy nay chinh 1a mdf xich Markov roi rac va thudn nhdt theo thi gian Dé khdi quit héa ce khdi nigm da trinh bay, chimg ta xét xich Markov 16i rac va thuin nhat theo thai gian X(1), (= 0, 1, 2, ... véi khéng gian trang thai gdm N phan tir ma ta ki higu la S$ = {1, 2, ..., N} Dinh nghia 1 Gia sir tai thoi diém t = n, X(n) cing cé thé nhan mét trong N gid tri 1, 2,...,N véi cée xée sudt tong img 1a x), m, ..., my (voi m+ m2 +..+ y= 1) thi vée to TI =f), m2, ..., mel] durge goi la ve i 0 ta cé véc to phan phdi ban dau 1 =[m, ma, Ma tran P = [pilyen. trong dé pj = p(t, i, t+ 1, j) = PIX( + 1) = j/X@ =i] VE xdc sudt chuyén trang thai tie vi tri i sang vi tri j sau m6t bude, Vi = 1, 2, ....N va Vj = 1,2, ...,N, duge goi la ma tran xac sudt chuyén trang thai hay ma tran chuyén sau mot bude. Vi du: Tiép tuc xét vi du trén, trong d6 di tim duge 11 = [0.2199 0.4901 0,2900], 11° = =[0,234297 0.482510 0,283193]. Dé thay, cdc vée to phan phéi xac suat 1": 11 11... tai ede thei diém t= 1, 2, 3, ... duge tinh theo cng thite: TT = 1 x P= 1 x P= Tx PR. va OY = x P= Tx PMV nm, Sau 21 bude (21 thang), ta c6 T°" = [0272257 0.455523 0.272220]. Cae vée to phan phi (hay ti 16 phn trim khéch hing vao cdc sigu thi A, B,C) sau 1,2, 3... 21 thang duge cho trong bang IV.1 Van dé dat ra la ligu TI = lim, ,, TT 06 ton tai khéng va néu ton tai thi duge tim bing cach nao. Trong vi dy nay, ching ta sé tim duge TI= [0,273 0,454 0,273), biéu thi cho ti Ig phan trim can bing dimg (stationary equilibrium) s6 khdch hing vao cde sigu thj A, B, C sau mO¢ thdi gian di daiCéch tinh IT Xuat phat tir 1°"? = 11 x P, cho qua giéi han ca hai vé khi n — » ta c6: II=I1x P, hay ITx(-P)=0. Do P la ma tran dc bigt (ma tran chuyén) nén né 1a ma tran suy bién. Khi viét lai dui dang hé phuong trinh (3 dn, 3 phyong trinh) ta phai loai bét mét phuong trinh di, va thém vao hé thite m+ mo* m= 1 va ring buée m 2 0 (k= 1, 2, 3). Ki higux =m, y = m Vi z= ms, ta SB 06 hé: 0,2x —0,07y —0,083z=0 x=0,273 ~0,1x+0,ly-0,0672=0 <>4y=0,454 [xty4z=1 2=0,273 Vay IL = [0.273 0,454 0,273]. Bang IV.1. Ti 1 phan tram khach hang vao cdc siéu thi Thing A B C 1 0.2199 0.4901 0.29 2 0.234297 0.48251 0.283193 3 0.2447183 | 0.476662631 | 0.27861905 4 0,2522664 | 0.472135676 | 0.2755979 5 0.257373 | 0.46861381 | 0.27364893, 6 0.2617056 | 0.465860633 | 0.27243373 7 0.2645868 | 0.463698194 | 0.27171505 8 0,2666806 | 0.461991958 | 0.27132742 9 0.2682041 | 0.460639762 | 0.27115613 10 0.269314 | 0.459563657 | 0.27112231 ul 0,2701238 | 0.45870389 | 0.27117228 12 0.2707156 | 0.458014426 | 0.27126994 13 0.271489 | 0.457459633 | 0.27139144 14 0.2714668 | 0.457011789 | 027152141 15 02717005 | 0.456649225 | 0.27165023 16 0.2718729 | 0.456354922 | 0.27177223 17 0.2720002 | 0.456115454 | 0.27188433 18 0,2720947 | 0.455920181 | 0.27198516 19 0.2721649 | 0.455760634 | 0.27207446 20 02722173 | 045563005 | 0.2721526 21 0.272566 | 0.455523004 | 0.27222035Dinh nghia 2 Xét xich Markov réi rac va thuan nhat v6i ma tran chuyén P = [pij}wav. Lic 46, véc to phan phéi xac sudt IT =[m, mo, ..., my] thoa man didu kién [1 x(1 — P) = 0 duge g0i la phan phdi dimg cia xich Markov da cho Cé thé thdy ngay, phan phéi dimg IT khéng phy thuéc vao IT" ma chi phu thudc vao ma tran P. Mét cach todn hoc, ta ndi md hinh xich Markov réi rac thuan nhat chinh li b6 ba (X(t,), S/T, P). Ap dung mé hinh xich Markov dé phan tich mét van dé nao dé trong Kinh té, Ki thuat, Sinh hoc,... duge coi 1a vige tang dung phan tich Markov. 1.3. Cac tinh cht va dinh If ‘Xét xich Markov réi rae va thuan nbat véi ma trin chuyén P = [pj]vex. CO thé chimg minh duge cée tinh chat va din li sau: Céie tinh chat 1p? => pc py (day 1a phuong trinh Chapman-Kolmogorov), ra 2/P) =p xP =P? P® 3/1 = 1 x PO Dink tt 1/ Gia sir P 1a ma tran xdc suat chuyén chinh quy, tite 14 t6n tai chi s6 no, sao cho V i,j, thi xae sudt chuyén tir i dén j sau no bude 18 mét sé duong: pl > 0. Khi do tn tai Mm, Ma... By > Ova + m+... + my= 1 dé cho lim, yx py = 7, khéng phy thude vao i. Cae 86 my, m, .... My duge tim tir hé phuong trinh X= UX Py Jal, 2... Ns 920 Vj va 2/ Néu 06 cde sé m, m2, ..., my thod man digu kign m+ mot... + my 1 va Tims. p=, khéng phy thuc vao i, thi ma tran P 1a ma tran chinh quy. Lacu § Phan phéi (7m, m2, ..., mx) thod man digu kign m+ m+... + my= 1 va limg 0p y= m5 khéng phy thuéc vio i, duge goi 1a phn phéi gidi han. Ngoai ra, néu didu kign > 0, ‘Vj dugc théa man thi phan phéi nay duge goi la phan phéi Ergodic. Cé thé chimg minh duge rang, néu phan phéi giéi han ton tai thi dé la phan phdi dimg (duy nhat). Tuy nhién, digu nguge lai khéng ludn ding,2. M6t s6 wng dung cua phan tich Markov Phan tich Markov cé nhiéu img dung trong Kinh té, Ki thuat, Sinh hoc, Xa hdi hoe, Cong nghé théng tin,... Trong myc nay, ching ta s¢ xem xét cae img dung nhu tim cn bing thi phan, x4c dinh chinh sach thay thé vat tr thiét bi, dy bao that thu cho cdc hop dng thuc hign truéc, tim phén phéi gidi han cia mét hé théng ki thuat va mét tng dung cita qua trinh sinh — tir cho hé théng hang ché. 2.1. Tim can bang thi phan Ta nhi mét vin tit bai toan cho 6 muc 1.2: Trong mt khu phd 1000 dan (khich hang) 6 3 siéu thj Ia A, B, va C. Gia sit, trong théng dau, s6 khdch vao cdc siéu thj ln lugt 12 200, 500 va 300. Nhimg thang sau dé, ta gid sit xdc sudt dé mot khéch hang (43 u thj A lie rude) vao lai A ludn la 0,8; chuyén sang B luén la 0,1 va chuyén sang C luén Ia 0,1... Cae xéc suit chuyén khée cla khdch hang ("tru chuyén sang A, chuyén sang C...) duge cho théng qua ma tran chuyén P 08 ol 01 =|0,07 09 0,03] 0,083 0,067 0,85 | Lue dé, theo két qua da biét, ti 1 phan trim can bing dimg (khi théi gian dit dai) sé Khdch hang vio cde sigu thi A, B, C la 27,3%, 45,4% va 27,3% c6 thé tim duge tir hg T1x(1— =0. 2.2. Chinh sach thay thé vat tu thiét bj Trong mét hé théng dign ki thuat, cac thiét bi cing mét loai duge phan ra cac tinh trang sau day: vita méi thay, cdn tét, van ding duoc va da bi héng. Theo sé ligu théng ké dugc, ta cé ma tran xac suat chuyén trang thai nhw sau: fo 08 0.2 0 0 06 04 0 0 0 0s os) lko0 0 0 trong dé, sau mdi tuan (xem hang dau ciia ma tran P) 66 0%, 80%, 20% va 0% s6 cde thiét bj mdi thay chuyén sang tinh trang méi thay, con t6t, van dimg duge va di bj héng. Céc hang khéc ciia ma tran P duge giai thich mt céch tuong tf. Ta di tim phan phéi dimg I bing phwong phap da biét, ‘Xuat phat tir 11°"? = 11 x P, cho qua giéi han ca hai vé khi nyo ta c6: I= Ix. P, hay IIx(1- P)=0. Do P la ma tran dic biét (ma tran chuyén xac sudt) nén né 1a ma tran suy bién.Khi viét lai duéi dang hé phuong trinh (4 an, 4 phuong trinh) ta phai loai bot mét phurong trinh di, va thém vao hé thite m+ m+ m3 + ma 1 va rang bude m 20 (k= 1, 2, 3.4). Ki higu xi = mi, x2 m2, X= Mey VX, = mst SB 06 hE: =x,=0 0,8x, +0,4x, =x,ol 0,2x, -0,4x, +0,5x, ‘ 5x, +x, =0 3 Xy PX, HX XY = Vay phan phéi dimg [1 =[1/6 1/3 1/3 1/6] Gia sit ring chi phi thay moi mét thiét bi 1a 25 nghin (déng) va that thu khi méi mot thiét bj hong la 18,5 nghin, thi mdi tuin hé théng trén phai chi trung binh trén mot thidt bi sé tin 1a: (1/6)x 25. + (1/6)x 18,5 = 7,25 nghin / thiét bi / tuan. Ta xét phuong an thir hai cho viée thay thé vat tu thiét bi voi ma tran xac suat chuyén trang thai sau day: 0 08 0.2 =|0 06 04 100 0 thi 6 thé din téi vige gidm thiéu that thu do thiét bj hong gay nén, That vay, ting voi ma tran P trén day, phan phéi dimg [I = [1/4 1/2 1/4]. Lic nay, méi tuan hé théng trén phai chi trung binh trén m6t thiét bi s6 tién 1a: (1/4)x 25 + (0)x18,5 = 6.25 nghin / thiét bi / tuan, Nhu vay hé théng sé tiét kigm duge | nghin / thiét bi / m6t tudn. Néu hé théng cd 2000 thiét bi, thi nhé chinh sach thay thé vat tu méi, mdi tuan hé théng sé tiét kiém duge 2 trigu (déng). 2.3. Phan tich Markov trong dy béo that thu cho céc hop déng thy hién trréc M6t c6ng ti kinh doanh trong nganh dign chuyén vé sira chita va thay thé phy ting dé ra chinh sach tin dung: dap tg yéu cau cla khach hang truée, thanh ton sau, Phan nhiéu hgp déng sé duge thanh ton ding thoi han, m6t ti 1¢ nhat dinh sé duge céng ti cho thanh toan cham, con mot s6 it khéng thanh (on duge. Theo kinh nghigm, sau hai hay ba hgp dng thanh ton chim ciia mot khach hang ndo dé 1a hgp déng khéng thanh todn duge sau mét théi gian dai, cng ti coi day 14 hop déng “xau” va sé edt bé chinh. sch tin dung véi khéch hang d6, Nhu vay tai timg thoi diém cdc hop ding 06 thé roi vao mét trong cdc tinh trang (trang thai) sau: ~ So: hop déng duge thanh toan, ~ Si: hop déng khong duge thanh toan,~ So: hgp déng s€ duge thanh toan diing thai han, — Ss: hgp déng sé duge thanh todn cham. Sau day 1a ma tran xac sudt chuyén trang thai (sau timg thing): 1 0 0 0 _|0 1 0 0 05.0 03 0,2 0.4 03 02 0,1 | Hién tai céng ti cé cdc hop déng phai thanh toan ding han véi téng sé 500 trigu, vi hop ddng cho thanh toan chim véi ting sé 100 trigu. Hay xac dinh trong téng trén cé bao nhiéu sé duge thanh toan, con bao nhiéu sé 1a ng “xdu” khéng doi dug. Day 1A bai todn kha phite tap lién quan t6i phan logi cde trang thai cla xich Markov la van dé chimg ta sé kh6ng trinh bay trong gio trinh nay. Tuy nhién, cé thé thay ngay 1 trang thai Sp va S; trang thai “hap thy” (absorbing state), tire 1a moi hgp ding dit hign dang 6 trang thai ndo thi cudi cig sau m6t théi gian nhat dinh ciing sé roi vao mét trong hai trang thai trén, Trong khi dé cdc trang thdi S2 va Ss duge goi la cdc trang thai trayén img (hay cac trang thai di chuyén). ‘Dé tim cau tra 1éi cho van dé dat ra, ching ta cén thye hign cdc bude sau: Trude hét, ta chia ma tran P theo khdi. p= [2 Ol veis-{! Yx-f95 9] o-[% ] ae - f08 KM lol 0,4 03, 00 0,2 0,2 od Sau 46, ta tim ma tran R= 1 ~ M va ma (rn nghich dio eta n6 R 1, 6 day 1 1 ma tran don vi cing c& voi ma tran M. Ta co: 1,5254 0,3390 0,3390 1,1864 |" va tinh duge: RK = | 08983 01017] 0,6441 0,3559 Cac phan ti trong ma tran trén cé ¥ nghia dic biét. Trong sé cic hop déng hién tai 6 trang thai S2 (phai thanh (on dung ki han) cudi cig sau mét théi gian nhat dinh 6 89,83% s roi vao trang thai Sy (duge thanh todn) va 10,17% sé roi vao trang thai S; (khéng duge thanh toan), Con trong s6 cdc hop ding hign tai & trang thai S; (thanh todnchim) cudi cing sau mét théi gian nhat dinh c6 64.41% sé roi vao trang thai Sp (duge thanh todn) va 35,59% sé roi vao trang thai S, (khong dug thanh toan). Thue hign phép tinh: 0.8983 0,1017 [500 100}x 0,6441 0,3559 = [459,32 140,68}, ta thy trong 500 trigu phai thanh todn ding ki han va 100 trigu thanh toan chim cudi sé c6 459,32 trigu durge thanh todn va 140,68 trigu 1a ng “xdu” khong doi duge. Dé cai thign tinh trang nay, céng ti cn nghién céu tim ra mét chinh sdch tin dung hop If hon. Ngoai ra, ma tran R | cn cho biét cdc théng tin sau: — Téng ca cac phan tir trén hang thir nhat 1a 1,864 la thoi gian trung binh (thang) ‘ma m@t hop déng dang phai thanh toan dimg ki han sé trai qua truée khi roi vao mot trong cdc trang thai hp thu, tite 1a tré thinh hop déng thanh todn duge hodc hop ding phan tir trén hang thir hai cua R' cing 06 ¥ nghia tuong ty déi voi cic hop ddng dang thanh (on cham. — Phan tir nam trén hang 1 va c6t 1 cia R cho biét théi gian trung binh (thang) ma mét hgp déng dang phai thanh toan ding han sé & trong trang thai S2 true khi nd roi vio m@t trong cdc trang thai hdp thy 1a 1,5254 thing. Phan tir nm tén hing 1 va 2 cho biét thai gian trung binh (thing) ma m6t hgp déng dang phai thanh ton ding han s@ 6 trong trang thai S; truée khi nd roi vao mOt trong céc trang thai hdp thy [3 0,3390 thang. — Cac phan tr nim trén hang 2 ciia ma trin R c6 ¥ nghia tong ty déi voi mot hop ding dang dugc thanh toan cham. Sau day, chiing ta sé dua ra mét sd céng thite gidi thich cdc phan tich trén day cho trong hgp ma tran xdc sudt chuyén trang thai cla xich Markov 06 dang sau: 100 0 fl 0 0 0 _jo 1 0 0|_j0 1 0 0 Poo Par Px: P| (0,50 0,3 0,2 Poo Pu Px Pu} [04 03 02 01 =F Ol vgiza[t Of ce] Pe Pa) ga] 8) ye [Pe Pa] KM] ot Poo Ps 0 oJ Paz Pas trong dé py la xac suat chuyén tir trang thai S; sang trang thai S; sau mOt bude. Khong gian trang thai gbm bén trang thai So, Si, So va Ss; cdc trang thdi Sp va S, 1a céc trang thai hap thy, cdn S, va S; 1a cac trang thi truyén tng. Ching ta ding cdc ki higu: (nhw trong bai toan trén),‘vi v; la thoi gian trung binh cho t6i Khi roi vao m6t trong cde trang thai hdp thy néu trang thai ban dau la S), i= 2, 3. w-[te ¥ Way Was véi wy la théi gian tung binh xich Markov 6 trong trang thai S; truéc khi n6 roi vio m6t trong cdc trang thai hap thu néu trang thai ban dau la S;, i= 2, 3. Lite do: 4 flo well Chit ¥: Vige chimg minh cic céng thite trén cho truéng hop téng quit thye ra cing khéng qua kh6, cé thé tim thdy trong cdc sdch tham khdo vé qué trinh Markov Cach img dung phan tich Markov nhu trong muc nay con 6 thé duge ap dung rong rai trong nhiéu linh vue khac nhw Sinh hoc, X4 héi hoc, Li thuyét nhan dang va Thiét ké ce he thing Ki thuat, trong dé c6 Ki thuat dign. v-a-mivea-ap'!}awea 2.4, Tim phan phéi gidi han cho mot hé théng ki thudt M6t hé théng ki thuat c6 hai chi tiét c6 thé bj hong & bat ki thai diém nao, Tai méi thai diém hé théng c6 thé roi vao mét trong nhiing trang thai sau (xem hinh IV.1): So: c& 2 chi tiét t6t; Si: chi tiét 1 héng, chi tiét 2 binh thuéng; Sz: chi tiét 1 binh thudng, chi tiét 2 hong: Ss: cd hai chi tiét déu hong. i Nae Hinh IV.1. So dé cac trang thaiN6i cach khée, tai méi thoi diém 1, bién X(t) c6 thé roi vao mt trong cae vi tri / trang thai So, Si, S2 va Ss. Chui ¥ ring lac nay ta o6 xich Markov (thai gian) lién tye véi Khong gian trang thai $ ={So, $1, S2, Ss}. Sau day, chiing ta sé tim ech xae dinh phan phéi gidi han (long run distribution) cia {X(O}oo. Day 14 mot van dé kha phite tap nén ching ta chi c6 thé trinh bay van 48 mét cach van tit. Truée hét ta nhéc lai vé phan phi Podt-x6ng va phan phéi mi. Gia sir dong tin higu dén (hay xay ra) tun theo phan phéi Podt-xéng F (2) voi d 1a sé tin higu dén trung binh trong mt khoang théi gian nhét dinh (coi 1a mét don vi théi gian), 4 con duge goi la curing 46 cia ding tin higu dén. Lic 46, trong khoang thai gian nhur trén thi 4° Tagoi phan tir xdc sudt P 1a xdc 86 tin higu xay ra sé nhn gid tri k voi xc suat suat xuat hign (it nhat) mét tin higu trong khodng thoi gian At. Thé thi, do tinh “don nht” cia qué trinh Poat-xéng, P cing la xac sudt xuat hign dimg mét tin higu trong Khodng thai gian At. Theo céng thite da bidt thi P = AAt (chinh xac t6i vO cing bé 0(At)). Chang han, néu d= 6 tin higu/ 1 phut va At = 2 gidy, ta sé 06 P= AAL= 6 x (1/30) = 1/5 = 0,2. Tir dé, ta thay xac suat dé c6 1 tin higu dén trong khoang théi gian 2 gidy 14 0,2. ‘Xét bién ngdu nhién T (chang han théi gian phuc vu mét tin higu trong mot hé dich vy), c6 phan phéi ma e(y) véi ham mt d6 14 f(t) = we. yx cling duge goi 1a cuéng dé phuc vu hay cudng dé cia “dong phuc vu, Ham phan phéi xac suat cia T sé la F@=P(Ts =Jre@at = Jue dt Cén ki vong toan va 46 1éch chuan cita bién ng’u nhién T 14 mr= Faro = fue mde Ta nhan thay ngay ring: P(OST [ro, 11, m2, m3]. Vay ta c6: Tir (*) ta 06: = (1, +76, (Dds = 26 (DP, = 16 (Dh = M(H, + (DH: — Mo(Ay ~My (tA, mips + mipty — nohy — Mohr = O (vi BO Khit di lon), it ‘MO6t cach twong ty, ta di dén hé phuong trinh:TE HM Baty — (yt eg hy = 0 dehy + Mam, — (hy Hy), = 0 ATs + Hy — (hy HH), = 0 M6t cach téng quit, phan phéi gidi han duge tim tir h¢ phuwong tinh: ~,4,, = Y" 7,9, rT hay )) m,qy =0,¥j eS (@*), vay thdi i sang cic trang thai khac (khéng ké i), con qy la cudng dé chuyén te trang thai i sang trang thai j, doc dink nghia nhue saw. =1, trong dé ~ qu ld cwrdng dé chuyén tie trang qi = ~ lima:-so (PEX(t + At) # i/ X(t) = i]/ At), gy = Timacso (PEX(t + At) = j/ X(t) = i]/ At), Lite d6. Q = [qi] duge goi la ma tran curong dé. Tir diéu kign (**) ta thay, dé tim phan phéi gidi han can phai gidi hé [to mm ™JQ= 0 hay Q'[mo m m2 m3)" = 0. Vi du: Cho A; = 1, Ao =2, p= 2, po = 3. Tir so dé curdmg 46 chuyén trang thai cho trén hinh IV.2, c6 thé tim duge ma tran cudng d6 Q, vei Q" cé dang sau: -32 3 0 fl 4 3 |, 2 0 1 5 Hinh 1V.2. So dé cwéng d6 chuyén trang thai Gidi thich: qoa = — 3 vi cuéng 46 chuyén tit trang thai So sang cac trang thai khic1a Art Aa = 3, cdn quo =2 1d cursng d6 chuyén tir trang thai $; vao trang thai So. Giai hé [no m1 2 13]Q = 0 hay Q" [mo m m2 m3]' = 0 (vai diéu kign bé try mo +m + om tom = 1) 06 ket qua: m,=6/15=0,4; m=3/15=0,2; xm, =4/15=0,27; , =2/15=0,13. Can chit y ring, hé [no mm 1] Q=0 theo m6t nghia nhat dinh la tuong tu véi h¢ TI x(I-P) = 0, nhu da trinh bay trong cdc myc 1.2 va 2.1 Gia sir Igi nhun / 1 don vi thei gian hé théng mang lai trong céc trong hop 06 thé xay ra nhw sau: néu hé théng trong trang thai Sp thi Igi nhudn 1a 8 USD, tai S; 1a 3 USD, tai S; 1 5 USD, tai S; la 0 USD. Vay loi nhudn trung binh / 1 don vi théi gian la 8x04 + 3x 0,2 +5%0,27 = 5,15 (USD). Qua vi dy ta thay a, m, m2, ms duge xac dinh can cit vao cdc gid trj da biét 21, Ao, Hi, Ha. da, da: 86 ln chi tiét hong (t y thudc hé théng cu thi 41, He: eae tham sé sita chita cin dua vao. Loi nhuin cudi cing cta hé théng phu thudc vao A1, Az, Hi, He Va duge xde dinh bang cach giai bai toan t6i wu sau: Loi nhuan L = como + ex + cart > Max (60, ¢1, ¢2: loi nid voi céc ring bude: ting trang thai) (Him + Hy, —(A, +A) = 0 Datta tay — (ey +H) = 0 DeyTeg + Hy, Cy + Ha = 0 det, Hay (0 HHL) =O m+n, +m, +1, =1 Ho My MeasTs OF, Linu yi: Bai loan trén day 06 6 bién (Ay, Ao da bist). Ta phai tim duge py, po tir bai 6 phuong hudng xay dung hé théng véi Igi nhudn lon nhit. ton 2.5. M6t dng dung cita qué trinh sinh-tir cho hé théng hang cho Qué trinh sinh—tir duge img dung kha rng rai trong Li thu mén hoc cia nganh Dign / Dign tir, va mét sé nganh khoa hoc ki thuat khac cing nhw trong Quan tri kinh doanh va Van tri hoe. Qué trinh sinh — tir 1a truéng hgp riéng ctia xich Markov thuan nhat thoi gian lién tuc, véi khOng gian trang thai S khong qué dém duge $ = {So, $1, S2o Spy «--} Va ma tran cuéng d9 Q = [qi] ©6 tinh chat gy - 0 voi |i j|2 2. Digu nay cd nghia 1a viéechuyén trang thai trong qué trinh sinh—tir chi cé thé ti “1 don vi lén hode xuéng” (xem hinh IV.3). do a das Dow S» 8, S fo. | Soa Ss, San ms Me , My Hoe Hinh IV.3. So dé chuyén trang thai trong qua trinh sinh - tr Tir trang thai S, tai thei diém t hé X(t) chi cé thé chuyén t6i mét trong cac trang thai Sy.1, Sy hode S,.1. Vi vay ching ta cé cde cudng 46 chuyén: Ho= A= O=qoo, qa,att = 2a, do,a-t = Ha Va do,a=— (on tHe) Vi Trong trudng hgp An, n> 0, ¥n > 0, theo dinh li di duge chimg minh, phan phéi gidi han c6 thé tim duge bing cach gidi hé: [mm m m my ...JQ = 0, voi ma tran cudng 46 Q da biét, Ma tran chuyén vi cita Q cé dang: Joo Do Ino Ini Gor By Gat Inst Qs). Gon Gin Gon \.. Ta c6 [mom m2 M3 ...]Q= 06> Q"[no m mm... [= 0 Qo Gio an Yo Wn dar) qa da Qe hay: qoom + quot + quoma +... = 0, gor F quam + quima +... = 0, quae + quam + gram + ...=0, Do tinh chat dic bigt, nhw di phan tich 6 trén, cita ma tran cwong d6 Q ciia qué trinh sinh-tir, hé trén durge viét mét cdich twéng minh hon nhu sau:(tomo + pum + =0, omg — (a+ py) + pom, + =0, dam —Qot wayne + psy to. = 0, Tir day d8 dang tim duge m1 = On/ttye1)t, Vn = 1, 2, 3, ... dé di t6i cong thire tinh 7,,Vi mm = Gali), = (alua)m = Gado/apn)ro, Te = (dala m2 = (azha/bspte)m1 = (zhi Ao/paptaptn) mo, Fact = Qaltct)iea = 2. = ater os halts «R05 Voi didu kién =1, cudi cing ta 06: mo = V+) Qader ees Rolhtcttass HD). & inh sinh—ti tre thanh qué trinh sinh thudn khiét Khiét Voi Ag = 2 1a qua trinh Podt—x6ng voi Dac biét khi p.- 0, Vn, thi qué (pure birth process). Qua trinh sinh thui tham sé 4. Vi dy: phyc vy la dong Podt—xéng véi tham nghia la khéch hang dén phong bin vé véi cde ma véi tham sé). = 6). Gia sir dong khach hang dén mua vé 6 mt van phong ban vé voi M quay 6 khach hang / 1 phat (diéu nay cing c6 thoi diém dén tuan theo luat phan phéi Ngoai ra, cén biét nguyén tie phuc vy li FCFS (First come first serve) va thoi gian phuc vy tai mdi qudy cé ludt phan phéi mii véi ki vong 1/3 (phat), Can tra 16 hai cau hoi sau day: — $6 quay hang t6i thiéu 1a bao nhiéu dé hang ch khéng tr nén dai v6 han? ~ Gia sir N, 1a sé khach hing dang chi hay dang duge phuc vu tai théi Chon M = 4 vi m6t khach hang sé che dé durge phye vu néu N,< 4, cha véi xéc suat 0,5 néu N.= 5 va sé bé di néu N, = 6. Hay xéc dinh phan phéi dimg cua qué trinh nay? jim. Trude hét, trong vi du nay ching ta c6 mét qué trinh sinh—tir véi khong gian trangthai S = { So, $1, So, .., Sa, ..-}, trong dé Sy la trang thai trong van phong cé n khdch hang. Cac cuéng 46 chuyén 1a A = 6 voi k = 0, 1, 2,... con Hi = 3k véi kM va px = 3M véi k> M (digu nay 1a do bién eye tiéu cia ede bién ngiu nhién v6i phan ph6i mi dde lap cling c6 phan phéi mii véi tham s6 bing ting cdc tham sé cha cde phan phéi ma tong ting). Do 4x Atees = 6/3M < 1 (khi k= M) nén véi M > 3 thi: FOR ye Maat) <2 Béi vay hing doi sé khéng dai v6 han (néu tréi lai, khi chudi phan ki, thi 0, nén sé khach trong hang dgi sé dan toi m6t s6 hitu han khi t -» 20 véi xéc sudt bing 0) Trong cu héi thit hai, ta ¢6 Ao = Aa = A = As = he = 6, bs = 3. Theo cng thre tin VES Agha he fMyattyeth)) ta 06 mgay my = 12/89. Tir d6 tinh ram 24/89, mea = 24/89, my = 16/89, 104 = 8/89, mes = 4/89 vA m5 = 1/89. 3. M6 phéng xich Markov (3.1. M6 phong xich Markov thoi gian roi rac Phicong phap 1 Xich Markov réi rac va thuan nhat con c6 thé duge ki higu la Xo, Xi, X2,... Gia sir khéng gian trang thai la S gém hitu han trang thai: S = {0, 1, 2,.... N} va ma trn xac suat chuyén trang thai da duge biét 18 P = [piv xn. Chiing ta sé m6 phong xich Markov rai rac va thun nhit thong qua vi du da trinh bay & cdc muc 1.2 va 2.1 ciia chuong nay. Ta c6 phan phéi ban dau la: Xa 1 2 3 nm n= 02 2-05 [| m=03 Dé mé phéng Xp ta dp dung phuong phap m6 phéng phan phéi rdi rac da hoc & chuong III. Trén may tinh, ta phat sinh ra mt s6 ngdu nhién r = RANDOM[O,1) theo luat phan phéi déu U[0,1) trong [0,1). Néu r< 0,2 ta lay Xo = 1; néu 0,2 0,7 thi dat Xo = 3. Can eit két qua m6 phéng Xo, ta m6 phong X; dya trén ma tran xde suit chuyén trang thai: 08 O01 OL 7 =|0.07 09 0,03 0,083 0,067 0,85 |Gia sir da biét Xq = 2, lie dé ta cin mé phéng bién ngdu nhién X; can cit phan phéi sau: x 1 2 3 Xée sult tuong ing a= 0,07 p= 0,9) Pas = 0,03 Diéu nay cé thé duge thyc hién tuong tw nhu khi mé phéng Xo. Can chi ¥ ring, trong hang thir hai ciia bang trén ta co phan phéi xdc sudt c6 diéu kign cla X; voi didu kign Xo = 2. Cac bude tiép theo mé phéng Xs, X3,... duge tién hanh tuong ty (cho t6i Xso0 ching han). Lp lai quy tinh nay bat diu tir Xo cho m6t s6 bude lap L dui lon (ching han 1000 Han), ta s& e6 mGt b6 1000 s6 ligu cho Xsoo, Ti 6, €6 thé tim duge bing phan phi tin suat (con goi la xde suat thu nghigm) cita Xsoo qua thi nghiém mé phéng trén day déi véi Xso0. Nhu vay, ta tim duge vée to phan phéi (xac sudt thye nghiém) 11, Cudi cling, chiing ta c6 két qua tim gan ding phan phéi dimg ta: TT = 1°, Chat ¥. —Trong vi du trén day, ta thdy 6 thé dimg m6 phéng 48 tim phan phéi dimg. Tuy nhign, myc dich chi yéu ciia phurong phap 1 la nm mé phéng céc xich Markov réi rac thuin nat, 1a cdc qua (rinh c6 thé xay ra trong cdc hé théng phite tap. — Khi khong gian trang thdi $ gdm m6t sé lén cae trang thai thi phuong phdp md phéng trén yéu cau thoi gian chay may tinh kha Kin, Dé khdc phuc digu nay, ching ta xem xét phurong phap 2 sau day. Phuong phap 2 ‘Xét mét hé théng Ki thudt duge biéu dién boi xich Markov réi rac thuan nhat {Xi}, t= 0, 1, 2.... v6i khOng gian trang thai S cé N trang thai (N khé lén) va ma trin chuyén trang thai P = [pyhvyw. Xét thei diém n, tai thei diém nay gia sir dd m6 phong duge X, =s, Ta sé mé phéng thei gian T, la thoi gian toi lan nhay tiép theo sém nhat ma Xvsta #8. Do xich Markov la réi rac nén T, chi 6 thé nhan cde gid trj 1, 2, ... Dat p= Pes, dé thay T, cé phan phdi hinh hoc nhu sau: Ta 1 2 k Xe suit Lp (pp (opp tuong img M6 phéng phan phéi nay ta tim duge gid trj T,. Con Xavra 66 phan phéi xde suat nnhur sau:Xevte 1 2 8 N xée sult | pvd-pd | palp.) 0 pal(-Ps) wong ting Cach mé phéng nay sé tiét kigm hon thoi gian chay may tinh (khi N kha lén), nhung vige lip trinh s€ phite tap hon it nhigu, Xét vi dy nhw da trinh bay trén, néu ding phuong phip 2, m@t cdch hoan ton tuong ty, ching ta cing tim duge phan phéi dimg 11" 3.2. Mé phéng xich Markov thai gian lién tue Xét xich Markov thai gian lién tue {X(0)} eyo, Gid sir ring xich di vdo trang thai i tai thdi diém nao d6, ching han thoi diém 0, va khéng réi khoi trang thai nay cho dén théi diém s, Lie dé, do tinh “khéng nhé” ciia qua trinh Markov, xdc suat dé xich vin tiép tue & nguyén trang thai dé cho t6i thoi diém ({ + s) sé Ia PA(T,>s+t)(Ti>s)} = PIT, >t) trong dé 7; la thdi gian qué trinh dimg lai 6 trang thai i. Dé thay, néu T, ¢6 phan phéi mi véi ham phan phéi F(T, < 1 -e™ thi ding thie trén duge thod man. Diéu ngug¢ lai cing cé thé chimg minh duge. Vay T; c6 phan phdi ma. Tit nhan xét trén, ta 06 thé dua ra m@t dink nghia khdc cho xich Markov thai gian lién tuc. Xich Markov thai gian lién tye La mét qué trinh ngdu nhién c6 cdc tinh chat sau méi khi né di vao trang thai i: — Luong thdi gian T; xich dimg lai tai trang thai i trréc khi n6 chuyén sang trang thai khac 1a mét bién ngau nhién vdi phan phéi mi cé tham sé y; (hay c6 ki vong 1/v)). — M6t khi qué trinh réi khdi trang thai i, né sé di vao trang thai j ndo dé (déc ap voi T)) véi cdc xée suat pj thod man }"p, =1,p, =0,Vi Vay dé mé phéng xich Markov thdi gian lién tue, ching ta cin mé phéng day to, T1, Ta... (ede Iugng théi gian +, xich dimg lai tai trang thai J, trée khi né chuyén sang trang thai kha) va day Jo, Jy, J2.... (cde trang thai ma xich chuyén dén). Dé phat sinh 7,, nhuw trén da néi, ta can biét tham sé vy, cia phan phéi mii trong tmg. Con dé phat sinh trang thai xich Markov chuyén dén J, Vr, ching ta cé bang phan ph6i xac suat sau: 1 2 i}... N Xde suat tuong ting Pa PB o Pin Trong bang trén, i =J;-1 la trang thai cla xich tai buée r — 1 (véi cdc xdc suat pij thoa man p, =1,p, =0,¥i).Dé thye hign mé phéng xich Markov théi gian lién tue, cé thé sir dung sé ligu cia vi du da xét trong muc 2.4 hay 2.5.