QTNN NgoHoangLong PDF

Giáo trình Nh™p môn
Lí thuy∏t Quá trình Ng®u nhiên
Ngô Hoàng Long
Ngày 25 tháng 2 n´m 2015

Mˆc lˆc
1 Xích Markov thÌi gian rÌi r§c 2

1.1 Khi Îng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 ‡nh nghæa xích Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Ma tr™n chuy∫n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Phân lÓp tr§ng thái xích Markov . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.5 ThÌi i∫m ch§m và xác sußt hßp thˆ . . . . . . . . . . . . . . . . . . . . . . . 13
1.6 Tính Markov m§nh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.7 HÁi qui . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.8 Tính hÁi qui cıa du Îng ng®u nhiên trên Zd . . . . . . . . . . . . . . . . . . 25
1.8.1 Du Îng ng®u nhiên Ïn gi£n trên Z . . . . . . . . . . . . . . . . . . 25
1.8.2 Du Îng ng®u nhiên trên Z2 . . . . . . . . . . . . . . . . . . . . . . . 26
1.8.3 Du Îng ng®u nhiên trên Z3 . . . . . . . . . . . . . . . . . . . . . . . 26
1.9 Phân phËi d¯ng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.10 S¸ hÎi tˆ ∏n i∫m cân b¨ng . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.11 Tính Ergodic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.12 Xích Markov kh£ ngh‡ch* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.13 Bài t™p . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1
Ch˜Ïng 1
Xích Markov thÌi gian rÌi r§c
Sau ây chúng ta s≥ tìm hi∫u v∑ quá trình Markov. ∞c trñg cıa quá trình này là không
l˜u gi˙ kí ˘c v∑ các tr§ng thái cıa nó trong quá kh˘, hay nói cách khác là chø có tr§ng thái
hiªn t§i cıa quá trình mÓi có £nh h˜ng ∏n diπn ti∏n cıa nó trong t˜Ïng lai. Quá trình
Markov ngày mÎt tr nên quan trÂng vì hai lí do cÏ b£n: (1) Rßt nhi∑u các hiªn t˜Òng trong
v™t l˛, sinh v™t, kinh t∏, tài chính, xã hÎi có th∫ ˜Òc mô hình bi quá trình Markov và (2)
s¸ phát tri∫n m§nh m≥ cıa l˛ thuy∏t cho phép chúng ta có th∫ th¸c hiªn tËt các thao tác
tính toán, phân tích, d¸ báo trên mô hình.
Trong ch˜Ïng này chúng ta s≥ t™p trung vào nghiên c˘u các quá trình Markov chø nh™n
mÎt sË h˙u h§n hay ∏m ˜Òc các tr§ng thái hay còn ˜Òc gÂi là xích Markov.
1.1 Khi Îng

Ta b≠t ¶u vÓi mÎt ví dˆ Ïn gi£n sau ây: Ta xét mÎt du khách i d§o qua l§i quanh các
góc cıa mÎt qu£ng tr˜Ìng hình vuông nh˜ trên hình v≥
Q1 Q2
Q4 Q3
T§i thÌi i∫m ¶u tiên n = 0, du khách  góc Q1 . T§i thÌi i∫m ti∏p theo n = 1, ng˜Ìi
ó tung mÎt Áng xu cân Ëi và Áng chßt và di chuy∫n ngay l™p t˘c ∏n Q2 ho∞c Q4 tùy
theo Áng xu là sßp hay ng˚a. T§i thÌi i∫m th˘ hai n = 2, ng˜Ìi ó l§i tung Áng xu và
d¸a vào k∏t qu£ thu ˜Òc ∫ di chuy∫n ∏n mÎt trong hai góc k∑ vÓi góc ang ˘ng. Gi£
s˚ du khách s≥ di chuy∫n theo chi∑u kim Áng hÁ n∏u Áng xu là sßp và ng˜Òc chi∑u kim
Áng hÁ n∏u Áng xu là ng˚a. Du khách ti∏p tˆc di chuy∫n theo qui lu™t trên t§i các thÌi
i∫m n = 3, 4, . . .
2
CH◊ÃNG 1. XÍCH MARKOV THÕI GIAN RÕI RÑC 3
VÓi mÈi n, ta gÂi Xn là sË cıa góc qu£ng tr˜Ìng du khách ˘ng  thÌi i∫m th˘ n. Khi ó
X0 , X1 , . . . là dãy gÁm các bnn nh™n giá tr‡ thuÎc t™p {1, 2, 3, 4}. Do ng˜Ìi ó xußt phát t§i
Q1 nên P(X0 = 1) = 1. Ti∏p theo, ng˜Ìi ó di chuy∫n ∏n Q2 ho∞c Q4 vÓi cùng xác sußt 1/2
nên
1
P(X1 = 2) = P(X1 = 4) = .
2
Ta nh™n thßy r¨ng vÓi i∑u kiªn du khách  góc th˘ 1 t§i thÌi i∫m n thì xác sußt ∫ ng˜Ìi
ó  góc Q2 hay Q4  thÌi i∫m n + 1 ∑u b¨ng 1/2. S˚ dˆng ngôn ng˙ xác sußt i∑u kiªn,
ta có
1
P(Xn+1 = 2|Xn = 1) = P(Xn+1 = 4|Xn = 1) = .
2
HÏn n˙a, ta nh™n thßy do viªc di chuy∫n tÓi Q2 hay Q4 t¯ Q1 chø phˆ thuÎc vào k∏t qu£
tung Áng xu t§i thÌi i∫m n + 1 nên
1
P(Xn+1 = 2|X0 = i0 , . . . , Xn 1 = in 1 , Xn = 1) = P(Xn+1 = 2|Xn = 1) = ,
2
và
1
P(Xn+1 = 4|X0 = i0 , . . . , Xn 1 = in 1 , Xn = 1) = P(Xn+1 = 4|Xn = 1) = ,
2
vÓi mÂi dãy i0 , . . . , in 1 2 {1, 2, 3, 4}.
Hiªn t˜Òng này ˜Òc gÂi là tính kém nhÓ hay tính Markov: phân phËi i∑u kiªn cıa Xn+1
khi bi∏t X0 , . . . , Xn chø phˆ thuÎc vào Xn . Nói cách khác, ∫ d¸ oán v‡ trí cıa du khách
trong “t˜Ïng lai" (t§i thÌi i∫m n + 1), ta chø c¶n bi∏t v‡ trí cıa du khách  thÌi i∫m “hiªn
t§i" (thÌi i∫m n) và ví trí cıa du khách trong “quá kh˘" (các thÌi i∫m 0, 1, . . . , n 1)
không cho ta thêm thông tin h˙u ích nào.
MÎt ∞c i∫m thú v‡ khác n˙a là phân phËi cıa Xn+1 vÓi i∑u kiªn Xn = 2 chØng h§n
không phˆ thuÎc vào n ( i∑u này là do phân phËi cıa k∏t qu£ viªc tung Áng xu không
thay Íi theo thÌi gian). Ng˜Ìi ta gÂi tính chßt này là tính thu¶n nhßt theo thÌi gian. Trong
ch˜Ïng này, chúng ta chø nghiên c˘u các xích Markov thu¶n nhßt theo thÌi gian.
1.2 ‡nh nghæa xích Markov

Gi£ s˚ I là mÎt t™p có l¸c l˜Òng không quá ∏m ˜Òc. MÈi ph¶n t˚ i 2 I ˜Òc gÂi là mÎt
tr§ng thái và I ˜Òc gÂi là không gian tr§ng thái. Ta nói r¨ng = ( i )i2I là mÎt Î o trên I
P
n∏u 0  i < 1 vÓi mÂi 2 I. N∏u i2I i = 1, ta gÂi là mÎt phân phËi.
Gi£ s˚ (⌦, F, P) là mÎt không gian xác sußt. MÈi bi∏n ng®u nhiên X nh™n giá tr‡ trên I là
mÎt ánh x§ X : ⌦ ! I. N∏u ta ∞t
i = P(X = i) = P({w : X(w) = i}),
thì = ( i )i2I là mÎt phân phËi và ta nói r¨ng X có phân phËi . Nói cách khác, bnn X s≥ 
tr§ng thái i vÓi xác sußt i .
Ta nói ma tr™n P = (pi j )i,j2I là ng®u nhiên n∏u mÈi hàng cıa nó ∑u là mÎt phân phËi,
t˘c là X
pi j 0, 8i, j 2 I, và pi j = 1, 8i 2 I.
j2I
Bây giÌ ta s≥ trình bày chính xác ‡nh nghæa cıa xích Markov thông qua ma tr™n P và
phân phËi . Tr˜Óc h∏t ta nh≠c l§i kí hiªu P(A|B) là xác sußt ∫ bi∏n cË A x£y ra vÓi i∑u
kiªn bi∏n cË B ã x£y ra, t˘c là P(A|B) = P(A \ B)/P(B). HÏn n˙a, ta nói r¨ng vÓi i∑u kiªn
C hai bi∏n cË A và B là Îc l™p vÓi nhau n∏u P(AB|C) = P(A|C)P(B|C) hay mÎt cách t˜Ïng
˜Ïng là P(A|BC) = P(A|C). Khi ó, ta kí hiªu A y B. T˜Ïng t¸, vÓi các bnn X, Y và Z,
C
ta nói vÓi i∑u kiªn Z hai bnn X và Y Îc l™p vÓi nhau n∏u vÓi mÂi tr§ng thái i, j, k 2 I, ta có
{X = i} y {Y = k}. 1
{Z=j}
‡nh nghæa 1.2.1. Dãy bnn (Xn )n 0 ˜Òc gÂi là mÎt xích Markov vÓi phân phËi ban ¶u và
ma tr™n chuy∫n P n∏u
i) X0 có phân phËi , t˘c là

P(X0 = i) = i, 8i 2 I;
ii) VÓi mÂi n 0, phân phËi cıa Xn+1 vÓi i∑u kiªn Xn = in là (pin j ) j2I và Îc l™p vÓi
X0 , . . . , Xn 1 , t˘c là
P(Xn+1 = in+1 |X0 = i0 , . . . , Xn = in ) = P(Xn+1 = in+1 |Xn = in ) = pin in+1
vÓi mÂi n 0 và i0 , . . . , in+1 2 I.
VÓi mÈi n 0, Xn ˜Òc gÂi là tr§ng thái cıa xích Markov t§i thÌi i∫m th˘ n.
Nh˜ v™y xích Markov (Xn )n 0 ˜Òc xác ‡nh n∏u ta bi∏t phân phËi ban ¶u và ma
tr™n chuy∫n P. Ta s≥ gÂi (Xn )n 0 là Markov( , P). N∏u (Xn )0nN là mÎt dãy h˙u h§n các bnn
th‰a mãn (i) và (ii) vÓi n = 0, . . . , N 1 thì ta cÙng gÂi (Xn )0nN là Markov( , P).
Ví dˆ 1.2.2.
An chÏi trò gieo Áng xu. Gi£ s˚ trong mÈi l¶n gieo, xác sußt xußt hiªn m∞t sßp là 0.6
và ng˚a là 0.4. GÂi Xn là tÍng sË l¶n xußt hiªn m∞t ng˚a trong n l¶n gieo ¶u tiên. Khi ó
dãy (Xn ) có tính Markov:  thÌi i∫m hiªn t§i n, ∫ d¸ oán giá tr‡ cıa Xn+1 ta chø c¶n bi∏t
giá tr‡ cıa Xn , giá tr‡ cıa X0 , . . . , Xn 1 không cung cßp thêm thông tin h˙u ích nào. MÎt
cách cˆ th∫, (Xn ) có không gian tr§ng thái I = {0, 1, . . .}, phân phËi ban ¶u P(X0 = 0) = 1.
HÏn n˙a, ta có
P(Xn+1 = i + 1|X0 = i0 , . . . , Xn 1 = in 1 , Xn = i) = 0.4

P(Xn+1 = i|X0 = i0 , . . . , Xn 1 = in 1 , Xn = i) = 0.6,
1
MÎt cách tÍng quát, hai - §i sË F1 và F2 là Îc l™p vÓi nhau vÓi i∑u kiªn G n∏u vÓi mÂi A 2 F1 , B 2 F2
và C 2 G ta có vÓi i∑u kiªn C hai bi∏n cË A và B Îc l™p.
vì giá tr‡ cıa Xn+1 chø tńg thêm mÎt Ïn v‡ so vÓi Xn khi l¶n gieo th˘ n + 1 xußt hiªn m∞t
sßp. Do ó (Xn ) có ma tr™n chuy∫n P xác ‡nh bi
p(i, i) = 0.6; p(i, i + 1) = 0.4; p(i, j) = 0 8 j , i, i + 1; i = 0, 1, . . .
Xích (Xn ) có th∫ mô t£ bi bi∫u Á sau:
0.6 0.6 0.6 0.6
0.4 0.4 0.4 0.4 ...

0 1 2 3
P
Do pii = 1 j,i pi j nên ∫ Ïn gi£n bi∫u Á, t¯ nay v∑ sau ta s≥ b‰ vòng khuyên  mÈi
ønh i. Bi∫u Á trên ˜Òc Ïn gi£n hóa l§i nh˜ sau:
0.4 0.4 0.4 0.4 ...

0 1 2 3
Ví dˆ 1.2.3 (Xích Ehrenfest).
Mô hình Ehrenfest ˜Òc ∑ xußt bi Paul und Tatjana Ehrenfest n´m 1907 nh¨m gi£i
thích nguyên l˛ th˘ hai cıa nhiªt Îng l¸c hÂc. Sau ây ta trình bày mÎt phiên b£n Ïn
gi£n cıa mô hình này: Gi£ s˚ ta có hai cái hÎp màu xanh và ‰ ch˘a tÍng cÎng N qu£
bóng. Ta chÂn ng®u nhiên mÎt trong N bóng t¯ mÎt trong hai hÎp và b‰ vào hÎp kia. GÂi
X0 là sË bóng ban ¶u và Xn là sË bóng sau l¶n chuy∫n bóng th˘ n  trong hÎp ‰. Khi ó
(Xn )n 0 là xích Markov vì khi bi∏t Xn giá tr‡ cıa Xn+1 không phˆ thuÎc vào X0 , . . . , Xn 1 . Cˆ
th∫ hÏn, ta có
N i
P(Xn+1 = i + 1|X0 = i0 , . . . , Xn 1 = in 1 , Xn = i) = , i = 0, . . . , N 1,
N
vì xích tńg thêm mÎt Ïn v‡ khi và chø khi bóng ˜Òc chÂn  l¶n th˘ n + 1 là t¯ hÎp xanh
(hÎp xanh có N i bóng sau l¶n chuy∫n bóng th˘ n). T˜Ïng t¸ ta có
i
P(Xn+1 = i 1|X0 = i0 , . . . , Xn 1 = in 1 , Xn = i) = , i = 1, . . . , N.
N
Lßy ví dˆ khi N = 4, ma tr™n chuy∫n P là
0 1
BB 0 1 0 0 0 CC
BB C
BB1/4 0 3/4 0
BB 0 CCCC
C
P = BBBB 0 2/4 0 2/4 0 CCCC ,
BB C
BB 0
B@ 0 3/4 0 1/4CCCC
A
0 0 0 1 0
và P cÙng có th∫ ˜Òc xác ‡nh bi bi∫u Á sau:

1 3/4 2/4 1/4
0 1 2 3 4
1/4 2/4 3/4 1
Trong các ví dˆ tr˜Óc, ta thßy r¨ng vÓi mÈi dãy bnn (Xn ), n∏u phân phËi cıa Xn+1 chø
phˆ thuÎc vào giá tr‡ cıa Xn thì ta có th∫ mô ph‰ng dãy (Xn ) bi mÎt xích Markov. MÎt câu
h‰i t¸ nhiên ˜Òc ∞t ra là n∏u phân phËi cıa Xn+1 phˆ thuÎc vào giá tr‡ cıa Xn và Xn 1
thì ta có th∫ mô ph‰ng dãy (Xn ) bi mÎt xích Markov nào ó không? Trong nhi∑u tr˜Ìng
hÒp, câu tr£ lÌi là có nh˜  ví dˆ d˜Ói ây.
Ví dˆ 1.2.4 (Xích Markov cßp hai).
MÎt x§ thı b≠n l¶n l˜Òt t¯ng viên §n vào mÎt bia. Gi£ s˚ xác sußt trúng ích trong
mÈi l¶n b≠n là: 1/2 n∏u anh ta b≠n tr˜Òt c£ hai l¶n b≠n tr˜Óc ó;
2/3 n∏u anh ta b≠n tr˜Òt úng mÎt l¶n trong hai l¶n b≠n tr˜Óc ó;
3/4 n∏u anh ta b≠t trúng c£ hai l¶n b≠n tr˜Óc ó.
GÂi Xn là k∏t qu£ cıa l¶n b≠n th˘ n, Xn = M n∏u b≠n tr˜Òt và b¨ng H n∏u trúng. ∞t
Yn = (Xn , Xn+1 ) thì dãy (Yn )n 1 là xích Markov nh™n giá tr‡ trên không gian tr§ng thái
I = {HH, HM, MH, MM}. Ma tr™n xác sußt chuy∫n cıa Y là
HH HM MH MM
HH 3/4 1/4 0 0
HM 0 0 2/3 1/3
MH 2/3 1/3 0 0
MM 0 0 1/2 1/2
Th™t v™y, gi£ s˚ Yn = HM, nghæa là Xn = H, Xn+1 = M, thì Xn+2 = H vÓi xác sußt 2/3 và
Xn+2 = M vÓi xác sußt là 1/3; khi ó Yn+1 = (Xn+1 , Xn+2 ) s≥ b¨ng MH vÓi xác sußt 2/3 và
b¨ng MM vÓi xác sußt 1/3.
MH
2/3 1/2
HH 2/3 1/3 MM
1/4 1/3
HM
‡nh lí 1.2.5. Dãy bnn (Xn )0nN nh™n giá tr‡ trong I là Markov( , P) khi và chø khi vÓi mÂi
i0 , . . . , iN 2 I,
P(X0 = i0 , X1 = i1 , . . . , XN = iN ) = i0 pi0 i1 . . . piN 1 iN . (1.1)
Ch˘ng minh. a) Gi£ s˚ (Xn )0nN là Markov( , P), khi ó
P(X0 = i0 , X1 = i1 , . . . , XN = iN )
=P(X0 = i0 )P(X1 = i1 |X0 = i0 ) . . . P(XN = iN |X0 = i0 , . . . , XN 1 = iN 1 )
= i0 pi0 i1 . . . piN 1 iN
.
b) Gi£ s˚ ph˜Ïng trình (1.1) ˜Òc th‰a mãn vÓi N, khi ó lßy tÍng hai v∏ theo tßt c£ iN 2 I
P
và s˚ dˆng gi£ thi∏t j2I pi j = 1, ta thßy ph˜Ïng trình (1.1) cÙng ˜Òc th‰a mãn vÓi N 1.
B¨ng qui n§p, ta thu ˜Òc
P(X0 = i0 , X1 = i1 , . . . , Xn = in ) = i0 pi0 i1 . . . pin 1 in

,
vÓi mÂi n = 0, 1, . . . , N. ∞t biªt ta có P(X0 = i0 ) = i0 vÓi mÂi i0 2 I và vÓi mÈi n =

0, 1, . . . , N 1,
P(X0 = i0 , . . . , Xn = in , Xn+1 = in+1 )
P(Xn+1 = in+1 |X0 = i0 , . . . , Xn = in ) = = pin in+1 ,
P(X0 = i0 , . . . , Xn = in )
do ó (Xn ) là Markov( , P). ⇤
K∏t qu£ ti∏p theo nhßn m§nh tính chßt không l˜u gi˙ kí ˘c cıa xích Markov. Tr˜Óc
tiên ta ‡nh nghæa ma tr™n ng®u nhiên Ïn v‡ nh˜ sau
8
>
<1 n∏u i = j
>
ij = >
>
:0 n∏u i , j.
‡nh lí 1.2.6 (Tính Markov). Gi£ s˚ dãy (Xn )n 0 là Markov( , P). Khi ó, vÓi i∑u kiªn Xm = i,
dãy (Xm+n )n 0 là Markov( i , P) và Îc l™p vÓi các bnn X0 , . . . , Xm .
Ch˘ng minh. Ta s≥ ch˘ng t‰ r¨ng vÓi mÂi bi∏n cË A ˜Òc xác ‡nh thông qua dãy bnn
X0 , . . . , Xm , ta có
P({Xm = im , . . . , Xm+n = im+n } \ A|Xm = i) = iim pim im+1 . . . pim+n 1 im+n

P(A|Xm = i). (1.2)
Tr˜Óc h∏t ta xét các t™p sÏ cßp A có d§ng
A = {X0 = i0 , . . . , Xm = im }.
Khi ó Øng th˘c (1.2) tr thành
P(X0 = i0 , . . . , Xm+n = im+n , i = im )/P(Xm = i)

= iim pim im+1 . . . pim+n 1 im+n
P(X0 = i0 , . . . , Xm = im , i = im )/P(Xm = i).
Áp dˆng ‡nh lí 1.2.5 ta có khØng ‡nh trên là úng. Trong tr˜Ìng hÒp tÍng quát, A có th∫
bi∫u diπn d˜Ói d§ng hÒp cıa mÎt sË không quá ∏m ˜Òc các t™p sÏ cßp A = [k Ak . Khi
ó Øng th˘c (1.2) thu ˜Òc b¨ng cách lßy tÍng tßt c£ các Øng th˘c t˜Ïng ˘ng cho Ak .
Ti∏p theo ta áp dˆng Øng th˘c (1.2) cho A = ⌦, ta ˜Òc

P({Xm = im , . . . , Xm+n = im+n }|Xm = i) = iim pim im+1 . . . pim+n 1 im+n
. (1.3)
Áp dˆng ‡nh lí 1.2.5 ta suy ra vÓi i∑u kiªn Xm = i, dãy (Xm+n )n 0 là Markov( i , P). HÏn
n˙a, t¯ (1.2) và (1.3) ta có vÓi mÂi bi∏n cË A ˜Òc xác ‡nh thông qua dãy bnn X0 , . . . , Xm
thì
P({Xm = im , . . . , Xm+n = im+n } \ A|Xm = i) = P({Xm = im , . . . , Xm+n = im+n }|Xm = i)P(A|Xm = i),
t˘c là vÓi i∑u kiªn Xm = i, dãy (Xm+n )n 0 Îc l™p vÓi các bnn X0 , . . . , Xm . ⇤
1.3 Ma tr™n chuy∫n

Trong ti∏t này chúng ta s≥ tìm hi∫u ma tr™n chuy∫n cıa xích Markov sau mÎt sË h˙u h§n
b˜Óc.
Tr˜Óc h∏t, vÓi mÈi phân phËi và ma tr™n chuy∫n P, ta coi = ( i )i2I là mÎt véc tÏ
dòng và P = (pi j )i, j2I là ma tr™n ˜Òc chø sË bi I. Ta ‡nh nghæa phân phËi P và các ma
tr™n chuy∫n Pk = (p(k) ) , k = 1, 2, . . . mÓi nh˜ sau:
i j i, j2I
X X
( P) j = i pi j ; P1 = P, p(k)
ij
= p(k
ir
1)
pr j , k = 2, 3, . . .
i2I r2I
Ta qui ˜Óc P0 là ma tr™n Ïn v‡, t˘c là P0 = ( i j )i, j2I . B¨ng qui n§p theo k, ta dπ d§ng ch˘ng
minh ˜Òc vÓi mÂi n 1, mÂi i0 , in 2 I,
X X
(n)
pi0 in = ... pi0 i1 pi1 i2 . . . pin 1 in . (1.4)
i1 2I in 1 2I
Trong tr˜Ìng hÒp i > 0, ta kí hiªu Pi (A) = P(A|X0 = i). S˚ dˆng tính chßt Markov
t§i thÌi i∫m m = 0, k∏t qu£ d˜Ói ây chø ra r¨ng d˜Ói Î o xác sußt Pi phân phËi cıa
(Xn )n 0 không phˆ thuÎc vào phân phËi ban ¶u .
‡nh lí 1.3.1. Gi£ s˚ (Xn )n 0 là Markov( , P). Khi ó, vÓi mÂi n, m 0, ta có
(i) P(Xn = j) = ( Pn ) j ;
(ii) Pi (Xn = j) = P(Xn+m = j|Xm = j) = p(n)

ij
.
Ch˘ng minh. i) Áp dˆng l¶n l˜Òt ‡nh lí 1.2.5 và công th˘c (1.4) ta ˜Òc
X X
P(Xn = j) = ... P(X0 = i0 , . . . , Xn 1 = in 1 , Xn = j)
i 2I
0 in 1 2I
X X X
(n)
= ... i0 pi0 i1 . . . pin 1j
= i0 pi0 j = ( Pn ) j .
i0 2I in 1 2I i0 2I
ii) Theo tính chßt Markov, vÓi i∑u kiªn Xm = i, dãy bnn (Xm+n )n 0 là Markov( i , P), áp dˆng
(i) vÓi = i ta ˜Òc i∑u ph£i ch˘ng minh. ⇤
Theo ‡nh lí này, ta s≥ gÂi p(n)

ij
là xác sußt chuy∫n t¯ tr§ng thái i sang tr§ng thái j sau n b˜Óc.
Hª qu£ 1.3.2. Gi£ s˚ (Xn )n 0 là Markov( , P) nh™n giá tr‡ trong I. VÓi mÂi sË nguyên m > k 0,
mÂi tr§ng thái i, j 2 I và vÓi mÂi bi∏n cË A chø phˆ thuÎc vào X0 , X1 , . . . , Xm k 1 , ta có
P(Xm+1 = i|{Xm k = j} \ A) = P(Xm+1 = i|Xm k = j).
Ch˘ng minh. Ta chø c¶n ch˘ng t‰ vÓi mÂi t™p con B0 , . . . , Bm k 1 cıa I,
P(Xm+1 = i|Xm k = j, Xm k 1 2 Bm k 1 , . . . , X0 2 B0 ) = P(Xm+1 = i|Xm k = j).
Áp dˆng ‡nh lí 1.2.5, ta ˜Òc
P(Xm+1 = i, Xm k = j, Xm k 1 = im k 1 , . . . , X0 = i0 )
X
= P(Xm+1 = i, Xm = im , . . . , Xm k+1 = im k+1 , Xm k = j, Xm k 1 = im k 1 , . . . , X0 = i0 )
im k+1 ,...,im 2I
X
= i0 pi0 i1 . . . pim k 1j
p jim k+1
. . . pim i
im k+1 ,...,im 2I
X
= i0 pi0 i1 . . . pim k 1j
p jim k+1
. . . pim i
im k+1 ,...,im 2I
= i0 pi0 i1 . . . pim k 1j
p(k+1)
ji
,
trong ó Øng th˘c cuËi cùng suy ra t¯ công th˘c (1.4). Do ó

P(Xm+1 = i|Xm = j, Xm k 1 2 Bm k 1 , . . . , X0 2 B0 )
k
P P
im k 1 2Bm k 1 . . . i0 2B0 P(Xm+1 = i, Xm k = j, Xm k 1 = im k 1 , . . . , X0 = i0 )
= P P
im k 1 2Bm k 1 . . . i0 2B0 P(Xm k = j, Xm k 1 = im k 1 , . . . , X0 = i0 )
P P (k+1)
im k 1 2Bm k 1 . . . i0 2B0 i0 pi0 i1 . . . pim k 1 j p ji
= P P
im k 1 2Bm k 1 . . . i0 2B0 i0 pi0 i1 . . . pim k 1 j
= p(k+1)
ji
= P(Xm+1 = i|Xm k = j).
Ta ˜Òc i∑u ph£i ch˘ng minh. ⇤

Hª qu£ 1.3.3 (Ph˜Ïng trình Chapman - Kolmogorov). VÓi mÂi m, n 0 và i, j 2 I, ta có
X
p(m+n)
ij
= p(m)
ir
p(n)
rj
.
r2I
Ch˘ng minh. Theo ‡nh nghæa xác sußt i∑u kiªn, ta có

X
p(m+n)
ij
= P(Xm+n = j, Xm = r, X0 = i)/P(X0 = j)
r2I
X
= P(Xm+n = j|Xm = r, X0 = i)P(Xm = r, X0 = i)/P(X0 = i)
r2I
X
= p(m)
ir
p(n)
rj
,
r2I
trong ó Øng th˘c th˘ ba suy ra t¯ tính Markov và Hª qu£ 1.3.2. ⇤

Sau ây ta trình bày mÎt sË ph˜Ïng pháp tính p(n)

ij
.
Ví dˆ 1.3.4 (Mô hình Markov hai tr§ng thái).
Xét xích Markov (Xn ) có t™p tr§ng thái I = {1, 2}. Ma tr™n chuy∫n cıa (Xn ) có d§ng tÍng
quát là !
1 ↵ ↵
P=
1
vÓi ↵, 2 [0, 1]. Xích (Xn ) có th∫ ˜Òc bi∫u diπn bi bi∫u Á sau
↵
1 2
Áp dˆng ph˜Ïng trình C-K, ta ˜Òc
p(n+1)
11
= p(n)
12
+ p(n)
11
(1 ↵).
Mà p(n)
11
+ p(n)
12
= 1 nên ta thu ˜Òc ph˜Ïng trình truy hÁi cho p(n)
11
nh˜ sau
p(n+1)
11
= (1 ↵ )p(n)
11
+ , p(0)
11
= 1.
T¯ ây suy ra 8
>
> ↵
(1 ↵ )n n∏u ↵ + >0
< ↵+ +
p(n)
11
=>
>
↵+
:1 n∏u ↵ + = 0.
Ví dˆ 1.3.5 (Mô hình Markov ba tr§ng thái).
Xét xích Markov xác ‡nh bi bi∫u Á sau:
1/2 1
1/2
0 2
Ma tr™n chuy∫n cıa xích là

0 1
BB1/2 1/2 0 CC
B C
P = BBBB 0 0 1 CCCC .
@ A
1/2 0 1/2
Sau ây ta i tìm p(n) 11

. Tr˜Óc tiên ta tìm các giá tr‡ riêng cıa P b¨ng các xét ph˜Ïng trình
∞c trñg
1 2 1 1
0 = det( P) = ( ) = ( 1)(4 2 + 1).
2 4 4
Do ó, ma tr™n P có 3 giá tr‡ riêng phân biªt là 1, i/2, i/2. V™y nên P là ma tr™n chéo hóa
˜Òc, t˘c là tÁn t§i ma tr™n kh£ ngh‡ch U sao cho
0 1
BB1 0 0 CC
B C
P = U BBBB0 i/2 0 CCCC U 1 ,
@ A
0 0 i/2
khi ó 0 1
BB1 0 0 CC
B C
Pn = U BBBB0 (i/2)n 0 CCCC U 1 ,
@ A
0 0 ( i/2)n
và p(n)
11
ph£i có d§ng
⇣ i ⌘n ⇣ i ⌘n
p(n)
11
= a + b + c ,
2 2
vÓi các h¨ng sË a, b, c nào ó. M∞t khác
⇣ ±i ⌘n ⇣ n⇡ n⇡ ⌘
= 2 n e±in⇡/2 = 2 n
cos ± i sin ,
2 2 2
và do p(n)
11
là sË th¸c nên nó có d§ng
⇣ n⇡ n⇡ ⌘
p(n)
11
=↵+2 n
cos + sin , (1.5)
2 2
vÓi các h¨ng sË ↵, , 2 R nào ó.
Ti∏p theo ta i tìm ↵, , . Tính tr¸c ti∏p p(n)
11
vÓi n = 0, 1, 2 rÁi thay vào (1.5) ta ˜Òc
8 8
>
> 1 = p(0) =↵+ >
> ↵ = 1/5
>
> 11 >
>
>
< (1)
>
<
>
> 0 = p11 = ↵ + /2 ,>
> = 4/5
>
> >
>
>
:0 = p(2) = ↵ /4 >
: = 2/5.
11
V™y nên
1 ⇣4 n⇡ 2 n⇡ ⌘
p(n)
11
= + 2 n cos sin .
5 5 2 5 2
Ph˜Ïng pháp xác ‡nh xác sußt chuy∫n p(n)
ij
cıa xích Markov có N tr§ng thái:
B˜Óc 1: Tính các giá tr‡ riêng 1, . . . , K cıa ma tr™n chuy∫n P và gÂi r1 , . . . , rK l¶n l˜Òt là bÎi cıa
chúng.
B˜Óc 2: Tìm p(n)

ij
d˜Ói d§ng
rk 1
K ⇣X
X ⌘
p(n)
ij
= aks ns n
k.
k=1 s=0
( ∞c biªt, n∏u các giá tr‡ riêng là phân biªt (K = N) thì p(n)
ij
có d§ng
N
X
p(n)
ij
= ak n
k,
k=1
vÓi các h¨ng sË a1 , . . . , aN không phˆ thuÎc n.)
B˜Óc 3: Chuy∫n bi∫u th˘c tÍng quát cıa p(n)

ij
v∑ d§ng th¸c nh˜  trong ví dˆ v¯a xét.
B˜Óc 4: Tính p(n)

ij
cho n = 1, . . . , N rÁi thay vào bi∫u th˘c tÍng quát cıa p(n)
ij
∫ tìm các hª sË a.
1.4 Phân lÓp tr§ng thái xích Markov

ôi khi ∫ Ïn gi£n hóa viªc nghiên c˘u mÎt xích Markov nào ó, ta có th∫ chia nh‰
không gian tr§ng thái cıa nó ra thành nhi∑u ph¶n nh‰ sao cho trên mÈi ph¶n ó các tr§ng
thái là "liên thông" vÓi nhau. Sau ó tính chßt cıa toàn bÎ xích Markov có th∫ ˜Òc suy ra
d¸a trên ∞c i∫m cıa nó trên t¯ng thành ph¶n.
‡nh nghæa 1.4.1. Ta nói r¨ng tr§ng thái i ∏n ˜Òc tr§ng thái j và kí hiªu là i ! j n∏u tÁn t§i
n 0 sao cho p(n)ij
> 0.
Hai tr§ng thái i và j ˜Òc gÂi là liên thông và kí hiªu là i $ j n∏u i ! j và j ! i.
Vì p(0)
ii
= 1 nên i $ i vÓi mÂi i 2 I. HÏn n˙a, t¯ ph˜Ïng trình Chapman-Kolmogorov ta
thßy n∏u i ! j và j ! r thì i ! r. Do ó $ là mÎt quan hª t˜Ïng ˜Ïng trên I và quan hª
này chia I thành các lÓp liên thông: Hai tr§ng thái bßt kì thuÎc cùng mÎt lÓp thì liên thông
vÓi nhau, hai tr§ng thái khác lÓp thì không liên thông. Ta nói lÓp liên thông C là óng n∏u
i 2 C, i ! j thì j 2 C.
Do ó lÓp liên thông C là óng thì mÂi tr§ng thái ∏n ˜Òc t¯ C ∑u thuÎc C. Tr§ng thái i
˜Òc gÂi là hßp thˆ n∏u {i} là lÓp liên thông óng.
‡nh nghæa 1.4.2. MÎt xích Markov ˜Òc gÂi là tËi gi£n n∏u hai tr§ng thái bßt kì ∑u liên thông
vÓi nhau. Ma tr™n chuy∫n P ˜Òc gÂi là tËi gi£n n∏u xích Markov t˜Ïng ˘ng vÓi nó là tËi gi£n.
Ví dˆ 1.4.3.
Xét xích Markov có ma tr™n chuy∫n

0 1
BB0.7 0 0.3 0 0 0 0 CC
BB CC
BB0.2 0.8 0 0 0 0 0 CC
BB CC
BB 0 1 p 0 p 0 0 0 CCCC
BB
B C
P = BBBB 0 0 0 0.4 0.4 0 0.2CCCC ,
BB C
BB 0
BB 0 0 0 0.5 0.5 0 CCCC
BB 0 C
BB 0 0 0.2 0 0.8 0 CCC
@ CA
0 0 0 0 0 0 1
vÓi p 2 [0, 1]. ∫ xác ‡nh tính liên thông cıa xích, ta v≥ bi∫u Á:
0.3 p 0.4
1 3 4 5
0.2 1 p 0.2 0.2 0.5
2 7 6
1) p 2 (0, 1). Xích có 3 lÓp liên thông là {1, 2, 3}, {4, 5, 6}, {7}. Chø có {7} là lÓp liên thông
óng.
2) p = 0. Xích có 3 lÓp liên thông là {1, 2, 3}, {4, 5, 6}, {7}. Hai lÓp {1, 2, 3} và {7} là óng.
3) p = 1. Xích có 5 lÓp liên thông là {1}, {2}, {3}, {4, 5, 6} và {7}. Chø có {7} là lÓp liên thông
óng.
1.5 ThÌi i∫m ch§m và xác sußt hßp thˆ

Câu h‰i th˜Ìng ˜Òc ∞t ra vÓi mÎt hª thËng là nó có th∫ §t ˜Òc mÎt tr§ng thái nhßt
‡nh nào ó hay không và (trung bình là) sau bao lâu. Trong ti∏t này ta s≥ tìm hi∫u câu tr£
lÌi cho các hª thËng ˜Òc mô hình bi xích Markov.
Gi£ s˚ (Xn )n 0 là xích Markov vÓi ma tr™n chuy∫n P. A là mÎt t™p con cıa không gian
tr§ng thái I.
ThÌi i∫m ch§m vào t™p A cıa (Xn ) là bnn HA : ⌦ ! {0, 1, 2, . . .} [ {1} xác ‡nh bi
HA (w) = inf{n 0 : Xn (w) 2 A},
trong ó ta qui ˜Óc là infimum cıa t™p rÈng là 1. Nh˜ v™y HA là thÌi i∫m ¶u tiên xích
(Xn ) §t ˜Òc tr§ng thái A.
VÓi mÈi i 2 I, ta kí hiªu xác sußt ∫ xích (Xn ) ch§m ˜Òc tÓi A vÓi i∑u kiªn X0 = i là
hAi = Pi (HA < 1).

Khi A là lÓp óng, hAi ˜Òc gÂi là xác sußt hßp thˆ vào t™p A. Ngoài ra ta kí hiªu
X
A A
ki = Ei (H ) = nPi (HA = n) + 1P(HA = 1)
n<1
là quãng thÌi gian trung bình ∫ xích (Xn ) xußt phát t¯ i l¶n ¶u tiên ch§m ˜Òc ∏n t™p
A.
Tr˜Óc khi trình bày ph˜Ïng pháp tÍng quát ∫ tính hA và kA , ta xét mÎt ví dˆ Ïn gi£n
nh˜ sau.
Ví dˆ 1.5.1 (Du Îng ng®u nhiên vÓi biên hßp thˆ).
Xét xích (Xn ) cho bi bi∫u Á sau:
1/2
1/2
1 2 3 4
1/2
1/2
Gi£ s˚ xích xußt phát t¯ 2, ta muËn xác ‡nh (i) xác sußt hßp thˆ vào 4 và (ii) trung bình mßt bao
lâu thì xích b‡ hßp thˆ vào 1 ho∞c 4.
∫ Ïn gi£n, ta kí hiªu hi = h{4} i
và ki = ki{1,4} . Rõ ràng h1 = 0, h4 = 1 và k1 = k4 = 0. Bây giÌ,
n∏u xích xußt phát t¯ 2 thì  b˜Óc ti∏p theo nó s≥  tr§ng thái 1 ho∞c 3 vÓi cùng xác sußt 12 .
Do ó
1 1
h2 = (h1 + h3 ), k2 = 1 + (k1 + k3 ), (1.6)
2 2
trong ó 1 xußt hiªn  v∏ ph£i ph˜Ïng trình th˘ hai là do xích c¶n 1 Ïn v‡ thÌi gian ∫
chuy∫n sang tr§ng thái th˘ hai.
Ta có th∫ hình th˘c hóa l™p lu™n trên nh˜ sau: Tr˜Óc h∏t, vì
P(H{4} < 1|X1 = r, X0 = 2)P(X1 = r, X0 = 2)

P2 (H{4} < 1, X1 = r) =
P(X0 = 2)
1
= Pr (H{4} < 1)p2r = hr , r = 1, 3,
2
nên
1
h2 = P2 (H{4} < 1) = P2 (H{4} < 1, X1 = 1) + P2 (H{4} < 1, X1 = 3) = (h1 + h3 ).
2
Ti∏p theo,
X XX
{1,4}
k2 = nP(H = n|X0 = 2) = nP(H{1,4} = n|X1 = r)p2r .
n1 n1 r=1,3
Theo ‡nh lí 1.2.6,

XX
k2 = nP(H{1,4} = n 1|X0 = r)p2r
n1 r=1,3
XX⇣ ⌘
= (n 1)P(H{1,4} = n 1|X0 = r)p2r + P(H{1,4} = n 1|X0 = k)p2r
n1 r=1,3
1
= (k1 + k3 ) + 1.
2
V™y Øng th˘c (1.6) ˜Òc ch˘ng minh xong. Khi xét tr˜Ìng hÒp xích xußt phát t¯ 3 ta cÙng
thu ˜Òc
1 1
h3 = (h2 + h4 ), k3 = (k2 + k4 ) + 1.
2 2
1
K∏t hÒp vÓi (1.6), ta ˜Òc h2 = 3 và k2 = 2.
Sau ây ta trình bày k∏t qu£ tÍng quát liên quan ∏n xác sußt ch§m.
‡nh lí 1.5.2. Các xác sußt ch§m hA = (hAi , i 2 I) là nghiªm không âm tËi ti∫u cıa hª ph˜Ïng
trình 8
> A
<h i = 1
> vÓi i 2 A
>
> A
P A
(1.7)
:h = j2I pi j h vÓi i < A.
i j
(S¸ tËi ti∫u cıa hA ˜Òc hi∫u theo nghæa n∏u x = (xi , i 2 I) là nghiªm không âm khác cıa hª (1.7)
thì xi hAi vÓi mÂi i)
Ch˘ng minh. a) Tr˜Óc tiên ta ch˘ng t‰ hA th‰a mãn ph˜Ïng trình (1.7). N∏u X0 = i 2 A thì
HA = 0 và do ó hAi = 0. N∏u X0 = i < A thì HA 1 và theo tính chßt Markov, ta có
Pi (HA < 1|X1 = j) = P j (HA < 1) = hAj ,
và
X
hAi = Pi (HA < 1) = Pi (HA < 1, X1 = j)
j2I
X X
A
= Pi (H < 1|X1 = j)Pi (X1 = j) = pi j hAj .
j2I j2I
b) Ti∏p theo ta ch˘ng t‰ tính tËi ti∫u cıa hA . Gi£ s˚ x = (xi , i 2 I) là nghiªm không âm khác
cıa hª (1.7), khi ó hAi = xi = 1 vÓi mÂi i 2 A. N∏u i < A thì
X X X
xi = pi j x j = pi j + pi j x j
j2I j2A j<A
X X ⇣X X ⌘
= pi j + pi j p jr + p jr xr
j2A j<A r2A r<A
XX
= Pi (X1 2 A) + Pi (X1 < A, X2 2 A) + pi j p jr xr .
j<A r<A
L∞p l§i bi∏n Íi trên, sau n b˜Óc ta thu ˜Òc

X X
xi = Pi (X1 2 A) + . . . + Pi (X1 < A, . . . , Xn 1 < A, Xn 2 A) + ... pi j1 p j1 j2 . . . p jn 1 jn
x jn
j1 <A jn <A
X X
= Pi (HA  n) + ... pi j1 p j1 j2 . . . p jn 1 jn
x jn Pi (HA  n).
j1 <A jn <A
Do ó xi Pi (HA  n) vÓi mÂi n. Cho n ! 1, ta ˜Òc xi Pi (HA < 1) = hi vÓi mÂi

i < A. ⇤
Ti∏p tˆc phân tích ví dˆ 1.5.1, ta nh™n khi xét A = {4}, hª ph˜Ïng trình (1.7) tr thành
8 8
>
> h A
= 1 >
> hA4 = 1
>
> 4 >
>
>
< A 1 >
< A 1 2 A
>
> h2 = 2 (h1 + h3 ) ,> > h2 = 3 + 3 h1
>
> >
>
> A 1 A
:h = (h + h ) A >
:hA = 2 + 1 hA .
3 2 2 4 3 3 3 1
V™y hª (1.7) không ı ∫ xác ‡nh h(4) 1

. Tuy nhiên, do i∑u kiªn tËi ti∫u, ta ph£i lßy h(4)
1
=0
(4)
và thu ˜Òc h2 = 1/3 nh˜ ã chø ra tr˜Óc ây. Dæ nhiên, ta có th∫ dπ dàng nh™n thßy ngay
t¯ ban ¶u là h(4)1
= 0 và do ó ta có th∫ thêm i∑u kiªn này vào hª (1.7) ∫ thu ˜Òc hª
ph˜Ïng trình tuy∏n tính có nghiªm duy nhßt.
Tuy nhiên, trong tr˜Ìng hÒp không gian tr§ng thái là vô h§n, i∑u kiªn biên nh˜ trên
là không hi∫n nhiên và ta c¶n ph£i s˚ dˆng tính tËi ti∫u cıa nghiªm ∫ tìm h.
Ví dˆ 1.5.3 (TÍn thßt khi chÏi b§c).
Xét xích Markov cho bi bi∫u Á sau vÓi 0 < p = 1 q < 1.
p p
0 1 2 i i+1 .
q
q q
Xác sußt chuy∫n cıa xích là
p00 = 1, pi,i 1 = q, pi,i+1 = p, i = 1, 2, . . .
Gi£ s˚ mÎt ng˜Ìi nào ó b˜Óc vào sòng b§c vÓi i 0 Áng. Ng˜Ìi ó ti∏n hành ∞t c˜Òc,
mÈi l¶n ∞t 1 Áng: n∏u th≠ng s≥ ˜Òc 2 Áng, n∏u thua thì không ˜Òc Áng nào. Gi£
s˚ sòng b§c có vô sË ti∑n và không giÓi h§n sË ti∑n th≠ng c˜Òc cıa ng˜Ìi chÏi. HÏn n˙a,
trong mÈi l¶n c˜Òc, xác sußt th≠ng ∑u là p 2 (0, 1) và xác sußt thua là q = 1 p.
Khi ó, n∏u gÂi (Xn ) là sË ti∑n ng˜Ìi ó có sau l¶n ∞t c˜Òc th˘ n thì (Xn ) là xích Markov
có xác sußt chuy∫n cho bi bi∫u Á trên. Sau ây ta tìm hi∫u xác sußt ng˜Ìi ó tr≠ng tay
sau khi chÏi, t˘c là xác sußt ∫ xích (Xn ) ch§m 0 sau mÎt kho£ng thÌi gian h˙u h§n.
∞t hi = Pi (H{0} < 1). Khi ó h = (hi , i 0) là nghiªm cıa hª

8
>
<h0 = 1
>
>
>
:hi = phi+1 + qhi 1 , i = 1, 2, . . .
N∏u p , q, nghiªm cıa hª trên có d§ng

⇣ p ⌘i
hi = A + B .
q
• N∏u p < q, t˘c là xác sußt th≠ng cuÎc p < 0.5, do i∑u kiªn hi 2 [0, 1], ta có B = 0 và
do ó hi = 1 vÓi mÂi i. T˘c là ng˜Ìi chÏi cuËi cùng s≥ tr≠ng tay bßt k∫ lúc ¶u anh ta
có bao nhiêu ti∑n.
• N∏u p > q, do h0 = 0 nên A + B = 1 và

⇣ p ⌘i
hi = A + (1 A) ,
q
L§i do hi 0 vÓi mÂi i nên A 0. HÏn n˙a, s˚ dˆng tính tËi ti∫u cıa h suy ra A = 0
và hi = (q/p)i .
• N∏u p = q, t˘c là trò chÏi là cân b¨ng. Khi ó hª trên có nghiªm d§ng hi = A + Bi. Vì
hi 2 [0, 1] vÓi mÂi i nên B = 0, v™y nên hi = A = 1 vÓi mÂi i. Do ó ng˜Ìi chÏi cuËi
cùng v®n tr≠ng tay m∞c dù trò chÏi là công b¨ng.
Ví dˆ 1.5.4 (Xích sinh t˚).
Xét xích Markov cho bi bi∫u Á
p1 pi
0 1 2 i i+1 .
q1
q2 qi+1
trong ó vÓi mÈi i = 1, 2, . . ., ta có 0 < pi = 1 qi < 1. GiËng nh˜  ví dˆ tr˜Óc 0 là tr§ng

thái hßp thˆ và ta muËn xác ‡nh xác sußt hßp thˆ khi xußt phát t¯ tr§ng thái i. Trong ví
dˆ này ta cho phép pi và qi phˆ thuÎc vào i.
Mô hình này có th∫ ˜Òc dùng ∫ mô ph‰ng kích th˜Óc cıa mÎt qu¶n th∫ mÈi khi có
thay Íi v∑ sË l˜Òng: gi£ s˚ t§i thÌi i∫m hiªn t§i qu¶n th∫ có i ph¶n t˚, xác sußt ∫ có mÎt
ph¶n t˚ mÓi s≥ ˜Òc sinh ra tr˜Óc khi có bßt c˘ ph¶n t˚ nào b‡ ch∏t là pi ; ng˜Òc l§i, xác
sußt ∫ có mÎt ph¶n t˚ b‡ ch∏t i tr˜Óc khi có bßt c˘ ph¶n t˚ nào ˜Òc sinh thêm là qi . GÂi
hi = P(H{0} < 1) là xác sußt ∫ qu©n th∫ cuËi cùng s≥ b‡ tuyªt chıng khi bi∏t t§i thÌi i∫m
ban ¶u nó gÁm i ph¶n t˚. Khi ó (hi ) th‰a mãn hª
8
>
<h0 = 1
>
>
>
:hi = pi hi+1 + qi hi 1 , i = 1, 2, . . .
Vì hª này có hª sË thay Íi nên khó có th∫ áp dˆng các ph˜Ïng pháp thông th˜Ìng ∫
gi£i. Tuy nhiên, ∞t ui = hi 1 hi thì pi ui+1 = qi ui , do ó
qi qi qi 1 . . . q1
ui+1 = ui = u1 =: i u1 .
pi pi pi 1 . . . p1
Vì u1 + . . . + ui = h0 hi nên hi = 1 A( 0 + . . . + i 1 ) vÓi A = u1 và 0 = 1. Sau ây ta xác
‡nh giá tr‡ cıa A.
P
N∏u 1 i = 1, t¯ i∑u kiªn 0  hi  1 ta thßy A = 0 và hi = 1 vÓi mÂi i.
Pi=01
N∏u i=0 i < 1 thì ta có th∫ chÂn A > 0 và th‰a mãn
1 + . . . + i 1 ) 0 vÓi mÂi i.
A( 0
P
Do tính tËi ti∫u cıa nghiªm, ta ˜Òc A = ( 1 i=0 i )
1
và do ó
P
j i j
hi = P .
j 0 j
Ta nh™n thßy vì hi < 1 vÓi mÂi i nên qu¶n th∫ có kh£ nńg sËng sót vÓi xác sußt d˜Ïng.
Trong ph¶n còn l§i cıa ti∏t này ta trình bày k∏t qu£ tÍng quát liên quan ∏n thÌi gian
ch§m trung bình.
‡nh lí 1.5.5. ThÌi gian ch§m trung bình kA = (kiA , i 2 A) là nghiªm không âm tËi ti∫u cıa hª
ph˜Ïng trình 8
> A
<ki = 0
> vÓi i 2 A
>
> P (1.8)
:kA = 1 + j<A pi j kA vÓi i < A.
i j
T¯ nay v∑ sau ta s≥ s˚ dˆng kí hiªu IB ∫ chø hàm chø tiêu cıa t™p B. Ví dˆ IX1 =j là bnn
nh™n giá tr‡ b¨ng 1 n∏u X1 = j, n∏u không nó s≥ nh™n giá tr‡ b¨ng 0.
Ch˘ng minh. a) Tr˜Óc h∏t ta ch˘ng t‰ r¨ng kA th‰a mãn ph˜Ïng trình (1.8). Th™t v™y, n∏u
X0 = i 2 A thì HA = 0 nên kiA = 0. N∏u X0 = i < A thì HA 1 và do tính Markov,
Ei (HA |X1 = j) = 1 + E j (HA )
và
X
kiA = Ei (H ) =A
Ei (HA IX1 =j )
j2I
X X
= Ei (HA |X1 = j)Pi (X1 = j) = 1 + pi j kAj .
j2J j<A
b) Ti∏p theo gi£ s˚ y = (yi , i 2 I) là mÎt nghiªm không âm cıa hª (1.8). Khi ó kiA = yi = 0
vÓi mÂi i 2 A. N∏u i < A thì
X X X
yi = 1 + pi j y j = 1 + pi j (1 + p jr yr )
j2A j<A r<A
XX
= Pi (HA 1) + Pi (HA 2) + pi j p jr yr .
j<A r<A
L∞p l§i bi∏n Íi trên sau n b˜Óc ta thu ˜Òc

n
X X X n
X
yi = Pi (HA j) + ... pi j1 p j1 j2 . . . p jn y
1 jn jn
Pi (HA j).
j=1 j1 <A jn <A j=1
Cho n ! 1 ta ˜Òc
1
X
yi Pi (HA j) = Ei (HA ) = kiA .
j=1
Ta ˜Òc i∑u ph£i ch˘ng minh. ⇤
1.6 Tính Markov m§nh

Trong ti∏t 1.2 ta ã phát bi∫u và ch˘ng minh tính Markov: t§i mÈi thÌi i∫m m, vÓi i∑u
kiªn Xm = i, dãy (Xn )n m v®n là xích Markov vÓi cùng xác sußt chuy∫n. Bây giÌ gi£ s˚ thay
vì lây i∑u kiªn Xm = i, ta Òi ∏n khi xích ch§m i t§i mÎt thÌi i∫m ng®u nhiên H nào ó.
Câu h‰i ∞t ra là quá trình s≥ ra sao sau thÌi i∫m H ó. Trong ti∏t này, chúng ta s≥ i tìm
câu tr£ lÌi cho vßn ∑ trên.
Tr˜Óc h∏t, ta c¶n khái niªm quan trÂng sau:
‡nh nghæa 1.6.1. MÎt bnn T : ⌦ ! {0, 1, . . . , } [ {1} ˜Òc gÂi là thÌi i∫m d¯ng n∏u bi∏n cË
{T = n} chø phˆ thuÎc vào X0 , . . . , Xn vÓi mÂi n = 0, 1, . . ..
MÎt cách tr¸c quan, chø b¨ng cách quan sát dãy bnn, ta có th∫ bi∏t ˜Òc khi nào T x£y
ra. N∏u ta b‡ buÎc ph£i d¯ng t§i thÌi i∫m T, ta bi∏t khi nào ta ph£i d¯ng l§i. Các ví dˆ
sau minh hÂa kæ hÏn khái niªm này.
Ví dˆ 1.6.2.
1. ThÌi i∫m qua ¶u tiên2 :

T j = inf{n 1 : Xn = j}
là thÌi i∫m d¯ng vì
{T j = n} = {X1 , j, . . . , Xn 1 , j, Xn = j}.
2. ThÌi i∫m ch§m ¶u tiên vào mÎt t™p con A cıa không gian tr§ng thái I cÙng là thÌi
i∫m d¯ng vì
{HA = n} = {X0 < A, . . . , Xn 1 < A, Xn 2 A}.
2
passage time
3. ThÌi i∫m dÌi i cuËi cùng3
LA = sup{n 0 : Xn 2 A}
nói chung không là thÌi i∫m d¯ng vì bi∏n cË {L = n} phˆ thuÎc vào dãy (Xn+m )m 1
có ch§m A hay không.
Sau ây chúng ta s≥ ch˘ng t‰ r¨ng tính Markov còn úng t§i thÌi i∫m d¯ng. i∫m
cËt y∏u cıa ch˘ng minh d˜Ói ây là tính chßt: n∏u T là thÌi i∫m d¯ng và t™p B ⇢ ⌦ ˜Òc
xác ‡nh thông qua dãy quan sát X0 , . . . , XT thì bi∏n cË B \ {T = m} ˜Òc xác ‡nh thông
qua X0 , . . . , Xm vÓi mÂi m = 0, 1, . . .
‡nh lí 1.6.3. Gi£ s˚ (Xn )n 0 là Markov( , P) và T là mÎt thÌi i∫m d¯ng ˘ng vÓi (Xn ). Khi ó,
vÓi i∑u kiªn T < 1 và XT = i, dãy (XT+n )n 0 là Markov( i , P) và Îc l™p vÓi X0 , . . . , XT .
Ch˘ng minh. N∏u B là bi∏n cË xác ‡nh thông qua X0 , . . . , XT thì B\{T = m} xác ‡nh thông
qua X0 , X1 , . . . , Xm . Áp dˆng tính Markov t§i thÌi i∫m m ta có
P({XT = j0 , XT+1 = j1 , . . . , XT+n = jn } \ B \ {T = m} \ {XT = i})

= Pi (X0 = j0 , X1 = j1 , . . . , Xn = jn )P(B \ {T = m} \ {XT = i}),
trong ó ta s˚ dˆng i∑u kiªn T = m ∫ thay T bi m. Cho m = 0, 1, . . ., cÎng v∑ vÓi v∏ các
Øng th˘c trên rÁi chia c£ hai v∏ cho P(T < 1, XT = i), ta có
P({XT = j0 , XT+1 = j1 , . . . , XT+n = jn } \ B|{T < 1} \ {XT = i})

= Pi (X0 = j0 , X1 = j1 , . . . , Xn = jn )P(B|{T < 1} \ {XT = i}),
ta ˜Òc i∑u ph£i ch˘ng minh. ⇤
Ví dˆ 1.6.4 (TÍn thßt khi chÏi b§c).
Xét xích Markov (Xn ) ˜Òc xác ‡nh nh˜  Ví dˆ 1.5.3. Ta ã bi∏t xác sußt tr v∑ 0 cıa
xích khi nó xußt phát t¯ 1. S˚ dˆng tính chßt Markov m§nh, ta có th∫ xác ‡nh hoàn toàn
phân phËi cıa thÌi gian tr v∑ 0.
∞t
H j = inf{n 0 : Xn = j},
và vÓi mÈi s 2 [0, 1), ta xét hàm sinh xác sußt cıa H0 ˜Òc xác ‡nh nh˜ sau:
1
X
H0
(s) = E1 (s ) = sn P1 (H0 = n).
n=1
3
last exist time
∞t H̃2 = inf{n : Xn+H1 = 0} n∏u H1 < 1. Vì H0 = H1 + H̃2 khi X0 = 2 nên

1
X
H0
E2 (s ) = sk P(H0 = k, X0 = 2)/P(X0 = 2)
k=1
1
X
= sk+l P(H̃2 = l, H1 = k, X0 = 2)/P(X0 = 2)
k,l=1
X 1
= sk+l P(H̃2 = l H1 = k, X0 = 2)P(H1 = k, X0 = 2)/P(X0 = 2).
k,l=1
Áp dˆng tính chßt Markov m§nh t§i thÌi i∫m H1 , ta có
P(H̃2 = l H1 = k, X0 = 2) = P(H1 = l X0 = 2) = P2 (H1 = l).
V™y nên
1
X
H0
E2 (s ) = sk+l P2 (H1 = l)P2 (H1 = k) = (s)2 .
k,l=1
M∞t khác,
1
X ⇣ ⌘
(s) = sk P(H0 = k, X0 = 1, X1 = 0) + P(H0 = k, X0 = 1, X1 = 2) /P(X0 = 1)
k=1
1
X
= qs + sk P(H0 = k|X0 = 1, X1 = 2)P(X0 = 1, X1 = 2)/P(X0 = 1)
k=1
X1
= qs + p sk P(H0 = k 1|X0 = 2)
k=1
= qs + psE2 (sH0 ).
Do ó (s) = qs + ps (s)2 . Coi ây là ph˜Ïng trình b™c hai ©n (s), gi£i ra ta ˜Òc
q
(s) = (1 ± 1 4pqs2 )/2ps.
L§i do (0)  1 và là hàm liên tˆc nên

q
(s) = (1 1 4pqs2 )/2ps.
p
∫ xác ‡nh phân phËi cıa H0 , ta xét khai tri∫n Taylor cıa 1 4pqs2 t§i s = 0, ta có
1 h ⇣ 1 1⇣ 1 ⌘ ( 4pqs2 )2 ⌘i
(s) = 1 1 + ( 4pqs)2 + + ...
2ps 2 2 2 2!
= qs + pq2 s3 + . . .
= sP1 (H0 = 1) + s2 P1 (H0 = 2) + s3 P1 (H0 = 3) + . . .
Áng nhßt hª sË cıa s  hai v∏ ta tính ˜Òc P1 (H0 = k) vÓi k = 1, 2, . . . M∞t khác, cho s " 1,
ta có (s) ! P1 (H0 < 1), do ó
p 8
1 1 4pq > <1
> n∏u p  q
P1 (H0 < 1) = =>>
2p :q/p n∏u p > q.
Khi p  q, ta cÙng có th∫ tính E1 (H0 ) t¯ bi∫u th˘c
0 1
E1 (H0 ) = lim (s) = .
s"1 q p
1.7 HÁi qui

Gi£ s˚ (Xn )n 0 là xích Markov vÓi ma tr™n chuy∫n P. Ta nói r¨ng tr§ng thái i 2 I là hÁi qui
n∏u
Pi (Xn = i vÓi vô h§n n) = 1.
Tr§ng thái i là trans n∏u
Pi (Xn = i vÓi vô h§n n) = 0.
Nh˜ v™y, mÎt tr§ng thái là hÁi qui n∏u xích Markov tr l§i tr§ng thái ó mÎt sË vô h§n
l¶n. Ng˜Òc l§i, mÎt tr§ng thái là trans n∏u t¯ mÎt thÌi i∫m nhßt ‡nh nào ó tr i, xích
Markov s≥ không bao giÌ ghé th´m tr§ng thái ó.
Nh≠c l§i là thÌi i∫m qua ¶u tiên  tr§ng thái i là bnn Ti xác ‡nh bi
Ti (w) = inf{n 1 : Xn (w) = i},
trong ó ta luôn qui ˜Óc inf ; = 1. Sau ây ta s≥ ‡nh nghæa thÌi i∫m qua th˘ r  tr§ng thái
i, kí hiªu là Ti(r) , là
Ti(0) (w) = 0, Ti(1) (w) = Ti (w),
và vÓi mÂi r = 1, 2, . . .
Ti(r+1) (w) = inf{n Ti(r) (w) + 1 : Xn (w) = i}.
Ta kí hiªu Î dài cıa vòng du Îng th˘ r qua tr§ng thái i là

8
> (r)
Ti(r 1) n∏u Ti(r 1) < 1
(r) <T i
>
Si = >
>
:0 n∏u T(r 1) = 1. i
BÍ ∑ 1.7.1. VÓi mÈi r = 2, 3, . . ., vÓi i∑u kiªn Ti(r 1) < 1, bnn S(r)
i
Îc l™p vÓi {Xm : m  Ti(r 1)
}
và
P(S(r) i
= n|Ti(r 1) < 1) = Pi (Ti = n).
Ch˘ng minh. Áp dˆng tính Markov m§nh t§i thÌi i∫m d¯ng T = Ti(r 1)
, vÓi i∑u kiªn
T < 1, (XT+n )n 0 là Markov( i , P) và Îc l™p vÓi X0 , X1 , . . . , XT . Nhñg
S(r)
i
= inf{n 1 : XT+n = i},
do ó S(r)i
là thÌi i∫m qua ¶u tiên cıa xích (XT+n )n 0  tr§ng thái i. V™y nên vÓi i∑u kiªn
(r 1)
Ti < 1, S(r)
i
có cùng phân phËi vÓi Ti . ⇤
Ti∏p theo ta kí hiªu Vi là tÍng sË l¶n xích  tr§ng thái i, t˘c là

1
X
Vi = I{Xn =i} .
n=0
L˜u ˛ r¨ng
1
X 1
X
Ei (Vi ) = Pi (Xn = i) = p(n)
ii
.
n=0 n=0
Ta kí hiªu xác sußt tr l§i tr§ng thái i theo Î o xác sußt Pi là
fi = Pi (Ti < 1).
BÍ ∑ 1.7.2. VÓi mÂi r = 0, 1, . . ., ta có
Pi (Vi > r) = fir . (1.9)
Ch˘ng minh. Ta ch˘ng minh b¨ng qui n§p theo r. Dπ thßy Øng th˘c (1.9) úng vÓi r = 0.
Gi£ s˚ Øng th˘c úng vÓi r thì nó cÙng úng vÓi r + 1 vì
Pi (Vi > r + 1) = Pi (Ti(r+1) < 1) = Pi (Ti(r) < 1, S(r+1)

i
< 1)
= Pi (S(r+1)
i
< 1|Ti(r) < 1)Pi (Ti(r) < 1) = fi fir = fir+1 ,
do BÍ ∑ 1.7.1. ⇤
P1
‡nh lí 1.7.3. i) N∏u Pi (Ti < 1) = 1 thì tr§ng thái i là hÁi qui và n=0 p(n)
ii
= 1.
P (n)
ii) N∏u Pi (Ti < 1) < 1 thì i là tr§ng thái trans và 1 n=0 pii < 1.
T¯ ‡nh lí trên ta thßy mÈi tr§ng thái ∑u ho∞c là hÁi qui, ho∞c là trans.
Ch˘ng minh. i) N∏u Pi (Ti < 1) < 1 thì theo BÍ ∑ 1.7.2,
Pi (Vi = 1) = lim Pi (Vi > r) = 1,

r!1
do ó i là tr§ng thái hÁi qui và

1
X
p(n)
ii
= Ei (Vi ) = 1.
n=0
ii) N∏u fi = Pi (Ti < 1) = 1 thì theo BÍ ∑ 1.7.2,

1
X 1
X 1
X 1
p(n)
ii
= Ei (Vi ) = Pi (Vi > r) = fir = < 1,
n=0 r=0 r=0
1 fi
do ó Pi (Vi < 1) = 0 và i là trans. ⇤
‡nh lí ti∏p theo ch˘ng t‰ r¨ng tính hÁi qui và trans là tính chßt bßt bi∏n trong mÈi lÓp
liên thông.
‡nh lí 1.7.4. Gi£ s˚ C là mÎt lÓp liên thông. Khi ó tßt c£ các tr§ng thái cıa C ∑u là hÁi qui
ho∞c ∑u là trans.
Ch˘ng minh. Lßy hai tr§ng thái khác nhau i và j thuÎc C và gi£ s˚ r¨ng i là trans. TÁn t§i
m, n 0 sao cho p(n)
ij
> 0 và p(m)
ji
> 0 và vÓi mÂi r 0,
p(n+r+m)
ii
p(n) p(r) p(m) ,
i j j j ji
do ó 1 1
X 1 X
p(r)
jj
 p(n+r+m)
ii
< 1,
r=0 p(n) p(m)
i j j j r=0
theo ‡nh lí 1.7.3. Do ó j là trans theo ‡nh lí 1.7.3. ⇤
‡nh lí 1.7.5. MÂi lÓp hÁi qui và liên thông là óng.
Ch˘ng minh. Gi£ s˚ C là mÎt lÓp không óng. Khi ó tÁn t§i i 2 C, j < C và m 1 sao cho
Pi (Xm = j) > 0.
Do
Pi ({Xm = j} \ {Xn = i vÓi vô h§n n}) = 0,
ta có
Pi (Xn = i vÓi vô h§n n) < 1,
do ó i không ph£i là tr§ng thái hÁi qui do ó C cÙng không ph£i là t™p hÁi qui. ⇤
‡nh lí 1.7.6. MÂi lÓp óng gÁm h˙u h§n ph¶n t˚ ∑u là hÁi qui.
Ch˘ng minh. Gi£ s˚ lÓp C óng và chø gÁm h˙u h§n ph¶n t˚. Gi£ s˚ xích (Xn )n 0 xußt phát
t¯ C. Khi ó, tÁn t§i ít nhßt mÎt tr§ng thái i 2 C sao cho Xn  tr§ng thái i vô h§n l¶n, t˘c là
0 < P(Xn = i vÓi vô h§n n)

= P(Xn = i vÓi n nào ó )Pi (Xn = i vÓi vô h§n n),
trong ó Øng th˘c cuËi cùng là do tính Markov m§nh. Do v™y tr§ng thái i không là trans,
t˘c là i là hÁi qui và do ó C cÙng là hÁi qui. ⇤
‡nh lí 1.7.7. Gi£ s˚ ma tr™n chuy∫n P là tËi gi£n và hÁi qui. Khi ó, vÓi mÂi j 2 I, ta có
P(T j < 1) = 1.
Ch˘ng minh. Áp dˆng công th˘c xác sußt toàn ph¶n, ta có

X
P(T j < 1) = P(X0 = i)Pi (T j < 1),
i2I
do ó ta chø c¶n ch˘ng minh Pi (T j < 1) = 1 vÓi mÂi i 2 I. Do xích la tËi gi£n nên tÁn t§i m
sao cho p(m)
ji
> 0. Theo ‡nh lí 1.7.3 ta có
1 = P j (Xn = j vÓi vô h§n n) = P j (Xn = j vÓi n m + 1 nào ó)

X
= P j (Xn = j vÓi n m + 1 nào ó|Xm = k)P j (Xm = k)
k2I
X X
= Pk (T j < 1)p(m)
jk
=1+ (Pk (T j < 1) 1)p(m)
jk
.
k2I k2I
Do ó (Pk (T j < 1) 1)p(m)

jk
= 0 vÓi mÂi k 2 I. Mà p(m)
ji
> 0 nên suy ra Pi (T j < 1) = 1. ⇤
1.8 Tính hÁi qui cıa du Îng ng®u nhiên trên Zd

Ta ã bi∏t r¨ng hÁi qui là tính chßt lÓp: mÂi lÓp hÁi qui ∑u là óng và mÂi lÓp óng gÁm
h˙u h§n tr§ng thái ∑u là hÁi qui. Do ó, ta chø còn ph£i nghiên c˘u tính hÁi qui cıa xích
tËi gi£n vÓi vô h§n tr§ng thái. Sau ây ta s≥ xét mÎt sË ví dˆ cÏ b£n liên quan ∏n du Îng
ng®u nhiên trên l˜Ói nguyên Zd . Nh≠c l§i r¨ng mÎt tr§ng thái i là hÁi qui khi và chø khi
P1 (n)
n=0 pii = 1.
1.8.1 Du Îng ng®u nhiên Ïn gi£n trên Z

Dãy bnn (Xn )n 0 ˜Òc gÂi là mÎt du Îng ng®u nhiên Ïn gi£n trên Z n∏u (Xn )n 0 là mÎt
xích Markov nh™n giá tr‡ trên Z và có xác sußt chuy∫n
pi,i+1 = p, pi,i 1 =q=1 p, p, q 2 (0, 1).
Khi p = q = 1/2, du Îng (Xn )n 0 ˜Òc gÂi là Ëi x˘ng.

Gi£ s˚ xích xußt phát t§i 0. Rõ ràng xích không th∫ quay l§i 0 sau mÎt sË l¥ các b˜Óc
di chuy∫n, do ó p(2n+1)
00
= 0 vÓi mÂi n. M∞t khác, ∫ xích tr v∑ 0 sau 2n b˜Óc thì trong 2n
b˜Óc ó, xích ph£i có úng n l¶n tńg và n l¶n gi£m. Do ó
p(2n)
00
= Cn2n pn qn .
S˚ dˆng công th˘c Stirling

p
n! ⇡ 2⇡n(n/e)n khi n ! 1,
ta ˜Òc
(4pq)n
p(2n)
00
⇡ p khi n ! 1.
n⇡
Xét tr˜Ìng hÒp p = q = 1/2: Ta có 4pq = 1 nên tÁn t§i N > 0 sao cho vÓi mÂi n N thì
p(2n)
00
p1 . Khi ó
2 n⇡
X 1 X1 X1
(2n) (2n) 1
p00 p00 p = 1.
n=0 n=N n=N
2 n⇡
V™y nên du Îng (Xn ) là hÁi qui.
Ti∏p theo ta xét tr˜Ìng hÒp p , q. Khi ó 4pq = r < 1, l™p lu™n t˜Ïng t¸ nh˜ trên ta
thßy tÁn t§i N > 0 sao cho
X1 X1
(n) rn
p00  2 p < 1.
n=N n=N
n
Do ó du Îng (Xn ) là trans.
1.8.2 Du Îng ng®u nhiên trên Z2

Xét (Xn )n 0 là mÎt xích Markov nh™n giá tr‡ trên Z2 và có xác sußt chuy∫n
8
>
<1/4 n∏u |i j| = 1
>
pi j = >
>
:0 n∏u |i j| , 1.
Gi£ s˚ xích xußt phát t¯ 0. GÂi Xn+ và Xn là hình chi∏u cıa Xn lên ˜Ìng chéo y = ±x cıa
hª trˆc tÂa Î.
Ta có (Xn+ )n 0 và (Xn )n 0 là hai du Îng ng®u nhiên Ïn gi£n Ëi x˘ng trên không gian
tr§ng thái I = 2 1/2 Z và Xn = 0 khi và chø khi Xn+ = Xn n = 0. HÏn n˙a, (Xn+ ) và (Xn ) là Îc
l™p. Do ó
⇣ ⌘2
p(2n)
00
= Cn2n 2 2n .
V™y nên áp dˆng công th˘c Stirling, ta có
X X⇣ ⌘2
p(2n)
00
= Cn2n 2 2n
= 1.
n 0 n 0
T¯ ây suy ra du Îng (Xn ) là hÁi qui.
1.8.3 Du Îng ng®u nhiên trên Z3

Xét (Xn )n 0 là mÎt xích Markov nh™n giá tr‡ trên Z3 và có xác sußt chuy∫n
8
>
<1/6 n∏u |i j| = 1
>
pi j = >
>
:0 n∏u |i j| , 1.
T˜Ïng t¸ nh˜ trên, ta có p(2n+1)

00
= 0 và
X (2n)! X ⇣ n! ⌘2
p(2n)
00
= 6 2n
= 6 n Cn2n . (1.10)
(i!j!k!)2 i!j!k!
i,j,k 0:i+j+k=n i,j,k 0:i+j+k=n
P
Ta s≥ ch˘ng t‰ n 0 p(2n)
00
< 1 và do ó du Îng (Xn ) là trans. Th™t v™y, áp dˆng BÍ ∑ 1.8.1
d˜Ói ây, ta ˜Òc
1
X 1
X 1
X
3m (3m)!
p(2n)
00
2
 (1 + 6 + 6 ) 4
p(6m)
00
2
 (1 + 6 + 6 ) 4
C3m
6m 2
6m
3
n=0 m=0 m=0
(m!)3
1
X (6m)!
 (1 + 62 + 64 ) 12 3m
< 1,
m=0
(3m)!(m!)3
trong ó bßt Øng th˘c cuËi cùng ˜Òc suy ra t¯ công th˘c Stirling.
BÍ ∑ 1.8.1. Ta có các ˜Óc l˜Òng sau

X n!
a) = 3n , (1.11)
i!j!k!
i, j,k 0:i+j+k=n
(3m)! (3m)!
b) vÓi mÂi i, j, k 0, i + j + k = 3m, (1.12)
(m!)3 i!j!k!
c) p(6m)
00
6 2 p(6m
00
2)
, p(6m)
00
6 4 p(6m
00
4)
. (1.13)
Ch˘ng minh. Công th˘c (1.11) có th∫ ch˘ng minh b¨ng ph˜Ïng pháp tÍ hÒp nh˜ sau: Ta
có n qu£ bóng và 3 cái hÎp, h‰i có bao nhiêu cách cho n bóng này vào 3 hÎp. Ph˜Ïng pháp
th˘ nhßt là ta cho l¶n l˜Òt t¯ng bóng vào hÎp, vì mÈi bóng có th∫ cho vào mÎt trong ba
hÎp nên tÍng sË cách s≥ là 3n . Ph˜Ïng pháp th˘ hai là ta chia thành các tr˜Ìng hÒp: sË
bóng trong hÎp th˘ nhßt, th˘ hai và th˘ ba l¶n l˜Òt là i, j và k, (i + j + k = n). Ÿng vÓi mÈi
tr˜Ìng hÒp có sË cách cho bóng vào hÎp là
j n!
Cin Cn i Ckn i j = .
i!j!k!
So sánh k∏t qu£ cıa hai ph˜Ïng pháp ta thu ˜Òc (1.11).
Bßt Øng th˘c (1.12) dπ dàng ˜Òc suy ra t¯ nh™n xét r¨ng n∏u i j k và i > k thì
i!j!k! (i 1)!j!(k + 1)!
Bßt Øng th˘c (1.13) ˜Òc suy ra tr¸c ti∏p t¯ (1.10). ⇤
1.9 Phân phËi d¯ng

Sau ây ta nghiên c˘u tính chßt cıa phân phËi cıa xích Markov khi n ! 1.
‡nh nghæa 1.9.1. Phân phËi = ( i )i2I trên không gian tr§ng thái I ˜Òc gÂi là d¯ng vÓi ma
tr™n chuy∫n P n∏u
= P,
t˘c là X
i = j p ji , 8i 2 I.
j2I
Phân phËi d¯ng còn ˜Òc gÂi là phân phËi bßt bi∏n hay phân phËi cân b¨ng.
‡nh lí 1.9.2. Gi£ s˚ (Xn )n 0 là Markov( , P) và là phân phËi d¯ng Ëi vÓi ma tr™n chuy∫n P.
Khi ó vÓi mÈi m 1, xích (Xm+n )n 0 cÙng là Markov( , P).
Ch˘ng minh. Ta có P(Xm = i) = ( Pm )i = i vÓi mÂi i. HÏn n˙a, vÓi i∑u kiªn Xm+n = i, bnn
Xm+n+1 là Îc l™p vÓi Xm , . . . , Xm+n và có phân phËi (pi j : j 2 I). ⇤
‡nh lí sau gi£i thích t§i sao phân phËi d¯ng còn ˜Òc gÂi là phân phËi cân b¨ng.
‡nh lí 1.9.3. Gi£ s˚ t™p tr§ng thái I chø gÁm h˙u h§n ph¶n t˚. Khi ó, n∏u tÁn t§i i 2 I sao cho
p(n)
ij
! ⇡ j khi n ! 1 vÓi mÂi j 2 I,
thì ⇡ = (⇡ j : j 2 I) là phân phËi d¯ng.
Ch˘ng minh. Vì I chø gÁm h˙u h§n ph¶n t˚ nên

X X X
⇡j = lim p(n)
ij
= lim p(n)
ij
= 1,
n!1 n!1
j2I j2I j2I
do ó ⇡ là mÎt phân phËi trên I. HÏn n˙a, ta có

X X
(n+1) (n)
⇡ j = lim pi j = lim pik pk j = ⇡k pk j ,
n!1 n!1
k2I k2I
v™y nên ⇡ là d¯ng. ⇤
Ví dˆ 1.9.4 (Phân phËi d¯ng cıa xích hai tr§ng thái).
Xét xích Markov cho  Ví dˆ 1.3.4. N∏u ↵, 2 (0, 1) thì

!
n /(↵ + ) ↵/(↵ + )
P ! khi n ! 1.
/(↵ + ) ↵/(↵ + )
Do ó, theo ‡nh lí 1.9.3, ( /(↵ + ), ↵/(↵ + )) là phân phËi d¯ng cıa xích. Ngoài ra ta còn
có th∫ xác ‡nh phân phËi d¯ng tr¸c ti∏p t¯ ‡nh nghæa 1.9.1.
Ví dˆ 1.9.5 (Phân phËi d¯ng cıa xích ba tr§ng thái).

Xét xích Markov cho  Ví dˆ 1.3.5. Phân phËi d¯ng ⇡ là nghiªm cıa hª ph˜Ïng trình
tuy∏n tính ⇡P = ⇡, t˘c là 8
>
> ⇡1 = 12 ⇡3
>
>
>
<
>
> ⇡2 = 12 ⇡1 + 12 ⇡3
>
>
>
:⇡ 3 = 1 ⇡ 2 + 1 ⇡ 3
2 2
Do hª trên là tuy∏n tính thu¶n nhßt, ∫ tìm ⇡ ta c¶n dùng thêm i∑u kiªn ⇡1 + ⇡2 + ⇡3 = 1.
Khi ó ta ˜Òc ⇡ = (1/5, 2/5, 2/5). K∏t qu£ này phù hÒp vÓi công th˘c tÍng quát cıa p(n)
11

Ví dˆ 1.3.5.
Ti∏p theo ta s≥ ch˘ng t‰ r¨ng mÂi ma tr™n ng®u nhiên tËi gi£n và hÁi qui P ∑u có duy
nhßt (sai khác mÎt bÎi sË) mÎt Î o d¯ng d˜Ïng. Tr˜Óc h∏t, vÓi mÈi tr§ng thái k và i, ta
xét ki là kho£ng thÌi gian trung bình xích  tr§ng thái i gi˙a hai l¶n liên ti∏p xích  tr§ng
thái k ˜Òc xác ‡nh nh˜ sau
k 1
h TX i
k
i = Ek I{Xn =i} .
n=0
‡nh lí 1.9.6. N∏u P là ma tr™n tËi gi£n và hÁi qui thì

k
i) k
= 1;
k k k k
ii) =( i
: i 2 I) th‰a mãn P= ;
k
iii) 0 < i
< 1 vÓi mÂi i 2 I.
Ch˘ng minh. KhØng ‡nh i) là hi∫n nhiên. Ta ch˘ng minh ii). VÓi mÈi n 2 Z+ , bi∏n cË
{n  Tk } chø phˆ thuÎc vào X0 , X1 , . . . , Xn 1 , do ó áp dˆng tính Markov t§i thÌi i∫m n 1,
ta ˜Òc
Pk (Xn 1 = i, Xn = j, n  Tk ) = Pk (Xn 1 = i, n  Tk )pi j .
Do P là hÁi qui, Pk (Tk < 1) = 1. Do ó XTk = k và
Tk
X 1
X 1
X
k
j = Ek I{Xn =j} = Ek I{Xn =j,nTk } = Pk (Xn = j, n  Tk )
n=1 n=1 n=1
XX 1
= Pk (Xn 1 = i, Xn = j, n  Tk )
i2I n=1
X 1
X X 1
X
= pi j Pk (Xn 1 = i, n  Tk ) = pi j E k I{Xm =i,mTk 1}
i2I n=1 i2I m=0
T k 1
X X X
k
= pi j E k I{Xm =i} = i pi j .
i2I m=0 i2I
iii) Do P là tËi gi£n nên vÓi mÈi tr§ng thái i, tÁn t§i m, n 0 sao cho p(n)
ik
, p(m)
ki
> 0. Khi ó
k (m)
k
i
p > 0 và ki p(n)
k ki ik
 kk = 1 do i) và ii). ⇤
k
‡nh lí 1.9.7. Gi£ s˚ P là tËi gi£n và là Î o d¯ng Ëi vÓi P và k = 1. Khi ó . N∏u gi£
thi∏t thêm P là hÁi qui thì = k .
Ch˘ng minh. VÓi mÈi j 2 I, ta có

X X
j = i0 pi0 j = i0 pi0 k + pk j
i0 2I i0 ,k
X ⇣ X ⌘
= p p
i1 i1 i0 i0 j + p kj + p p
ki0 i0 j
i0 ,i1 ,k i0 ,k
...
X ⇣ X X ⌘
= in pin in 1
. . . pi 0 j + p k j + pki0 pi0 j + . . . + pkin p p
1 ... i1 i0 i0 j
i0 ,...,in ,k i0 ,k i0 ,...,in 1 ,k
Pk (X1 = j, Tk 1) + Pk (X2 = j, Tk 2) + . . . + Pk (Xn = j, Tk n)

k
! j khi n ! 1.
k
Do ó . N∏u P là hÁi qui thì k là d¯ng theo ‡nh lí 1.9.6, do ó µ = k
0 cÙng
là d¯ng. Do P là tËi gi£n, vÓi mÈi i 2 I, tÁn t§i n sao cho p(n)ik
> 0 và
X
0 = µk = µ j p(n)
jk
µi p(n)
ik
,
j2I
do ó µi = 0. ⇤
‡nh nghæa 1.9.8. ThÌi gian tr l§i trung bình t§i tr§ng thái i, kí hiªu là mi := Ei (Ti ).
Tr§ng thái i 2 I ˜Òc gÂi là hÁi qui d˜Ïng n∏u mi < 1.
MÎt tr§ng thái hÁi qui mà không ph£i là hÁi qui d˜Ïng thì ˜Òc gÂi là hÁi qui không.
‡nh lí 1.9.9. Gi£ s˚ P là tËi gi£n. Khi ó các khØng ‡nh sau là t˜Ïng ˜Ïng:
i) mÂi tr§ng thái ∑u là hÁi qui d˜Ïng;
ii) tÁn t§i mÎt tr§ng thái i là hÁi qui d˜Ïng;
iii) P có phân phËi d¯ng ⇡.
HÏn n˙a, n∏u iii) ˜Òc th‰a mãn thì mi = 1/⇡i vÓi mÂi i.
Ch˘ng minh. KhØng ‡nh i) ) ii) là hi∫n nhiên. Ta ch˘ng t‰ ii) ) iii). Gi£ s˚ tÁn t§i tr§ng
thái i là hÁi qui d˜Ïng, ta có i là hÁi qui và P cÙng là hÁi qui. Theo ‡nh lí 1.9.6, i là Î
o d¯ng. Nhñg X
i
j = mi < 1
j2I
i
nên ⇡ j = j
/mi là mÎt phân phËi d¯ng.
P P
iii) ) i): Xét mÎt tr§ng thái bßt kì k. Do P là tËi gi£n và i2I ⇡i = 1, ta có ⇡k = i2I ⇡i p(n)
ik
>0
k
vÓi n nào ó. ∞t i = ⇡i /⇡k , ta có là Î o bßt bi∏n vÓi k = 1. Theo ‡nh lí 1.9.7, .
Do ó X X⇡
k i 1
mk = i  = < 1,
i2I i2I
⇡k ⇡k
v™y nên k là tr§ng thái hÁi qui d˜Ïng.

k
CuËi cùng, gi£ s˚ iii) úng thì P là hÁi qui nên = , bßt Øng th˘c phía trên tr thành
Øng th˘c và ta có mi = 1/⇡i vÓi mÂi i 2 I. ⇤
Ví dˆ 1.9.10 (Du Îng ng®u nhiên trên Z).
Du Îng ng®u nhiên Ëi x˘ng trên Z xét  mˆc 1.8.1 là tËi gi£n và hÁi qui. Xét Î o
⇡i = 1 vÓi mÂi i 2 Z.
Khi ó
1 1
⇡i = ⇡i 1 + ⇡i+1
2 2
nên ⇡ là d¯ng. Theo ‡nh lí 1.9.7, mÂi Î o d¯ng ∑u sai khác ⇡ mÎt h¨ng sË nhân, mà
P
i2Z ⇡i = 1 nên du Îng không có phân phËi d¯ng và do ó nó là hÁi qui không theo
‡nh lí 1.9.9.
Trong tr˜Ìng hÒp du Îng là không Ëi x˘ng, chØng h§n khi q < p, t¯ ph˜Ïng trình
⇡P = ⇡ ta suy ra
⇡i = A + B(p/q)i , vÓi mÂi i 2 Z,
vÓi hai tham sË bßt kì A, B nào ó. V™y nên tính duy nhßt cıa Î o d¯ng (sai khác mÎt
h¨ng sË nhân) không còn nghiªm úng trong tr˜Ìng hÒp này.
Ví dˆ 1.9.11 (Du Îng ng®u nhiên trên Z3 ).
Du Îng ng®u nhiên trên Z3 xét  mˆc 1.8.3 có Î o d¯ng ⇡ vÓi ⇡i = 1 vÓi mÂi i 2 Z3
nhñg không là hÁi qui.
1.10 S¸ hÎi tˆ ∏n i∫m cân b¨ng

Trong mˆc này ta s≥ nghiên c˘u giÓi h§n cıa xác sußt d‡ch chuy∫n sau n b˜Óc p(n) ij
khi
n ! 1. Theo ‡nh lí 1.9.3, n∏u không gian tr§ng thái là h˙u h§n và tÁn t§i tr§ng thái i sao
cho giÓi h§n trên tÁn t§i vÓi mÂi j thì giÓi h§n ó chính là phân phËi d¯ng. Tuy nhiên, ví
dˆ sau cho thßy giÓi h§n trên không ph£i luôn tÁn t§i.
Ví dˆ 1.10.1.
Xét xích Markov hai tr§ng thái vÓi ma tr™n xác sußt chuy∫n là
!
0 1
P= .
1 0
Khi ó P2 = I, do ó P2n = I và P2n+1 = P vÓi mÂi n. V™y nên p(n)

ij
không hÎi tˆ vÓi mÂi c∞p i, j.
‡nh nghæa 1.10.2. Tr§ng thái i ˜Òc gÂi là phi tu¶n hoàn n∏u p(n)
ii
> 0 vÓi mÂi n ı lÓn.
Mªnh ∑ 1.10.3. Tr§ng thái i là phi tu¶n hoàn khi và chø khi t™p {n 0 : p(n)
ii
> 0 có ˜Óc sË chung
lÓn nhßt b¨ng 1.
BÍ ∑ 1.10.4. Gi£ s˚ mÎt xích Markov có ma tr™n xác sußt chuy∫n P là tËi gi£n và i là mÎt tr§ng
thái phi tu¶n hoàn. Khi ó, vÓi mÂi tr§ng thái j và k, p(n)
jk
> 0 vÓi mÂi n ı lÓn. HÏn n˙a, mÂi tr§ng
thái cıa xích ∑u là phi tu¶n hoàn.
Ch˘ng minh. Do i là phi tu¶n hoàn nên tÁn t§i n0 sao cho p(n) ii
> 0 vÓi mÂi n n0 . M∞t khác
(s) (r)
vì P là tËi gi£n nên tÁn t§i s, r 0 sao cho p ji > 0 và pik > 0. Khi ó, vÓi mÂi n n0 , ta có
p(s+n+r)
jk
p(s) p(n) p(r) > 0.
ji ii ik
‡nh lí 1.10.5. Gi£ s˚ P là tËi gi£n, phi tu¶n hoàn và có phân phËi d¯ng ⇡. Gi£ s˚ là mÎt phân
phËi bßt kì và (Xn )n 0 là Markov( , P). Khi ó vÓi mÂi tr§ng thái j, ta có
lim P(Xn = j) = ⇡ j .
n!1
∞c biªt vÓi mÂi c∞p tr§ng thái i, j, ta có
lim p(n)
ij
= ⇡ j.
n!1
Ch˘ng minh. Ta s≥ s˚ dˆng kæ thu™t ghép c∞p (coupling). Gi£ s˚ (Yn )n 0 là Markov(⇡, P) và
Îc l™p vÓi (Xn )n 0 . CË ‡nh mÎt tr§ng thái ∫ tham chi∏u b nào ó và ∞t
T = inf{n 1 : Xn = Yn = b}.
B˜Óc 1: Ta s≥ ch˘ng t‰ P(T < 1) = 1. Quá trình Wn = (Xn , Yn ) là xích Markov vÓi t™p tr§ng
thái I ⇥ I, ma tr™n chuy∫n
p̃(i,k)(j,l) = pi j pkl
và phân phËi ban ¶u
µ(i,k) = i ⇡k .
Do P là phi tu¶n hoàn, vÓi mÂi tr§ng thái i, j, k, l, tÁn t§i n0 0 sao cho vÓi mÂi n n0 , ta có
p̃(n)
(i,k)(j,l)
= p(n) p(n) > 0,
i j kl
v™y nên P̃ là tËi gi£n. HÏn n˙a, P̃ có phân phËi d¯ng xác ‡nh bi
⇡˜ (i,k) = ⇡i ⇡k .
Do ó, áp dˆng ‡nh lí 1.9.9, P̃ là hÁi qui d˜Ïng. Nhñg T là thÌi i∫m qua ¶u tiên cıa
Wn t§i (b, b) nên P(T < 1) = 1 theo ‡nh lí 1.7.7.
B˜Óc 2: ∞t 8
>
<Xn n∏u n < T
>
Zn = >
>
:Yn n∏u n T.
Ta s≥ ch˘ng t‰ r¨ng (Zn )n 0 là Markov( , P). Th™t v™y, áp dˆng tính Markov m§nh cho xích
(Wn ) t§i thÌi i∫m T, ta có (XT+n , YT+n )n 0 là Markov( (b,b) , P̃) và Îc l™p vÓi (X0 , Y0 ), . . . , (XT , YT ).
HÏn n˙a, do tính Ëi x˘ng ta cÙng có dãy bnn (YT+n , XT+n )n 0 là Markov( (b,b) , P̃) và Îc l™p
vÓi (X0 , Y0 ), . . . , (XT , YT ). Do ó Wn0 = (Zn , Z0n ) là Markov(µ, P̃) vÓi
8
>
<Yn n∏u n < T
>
Zn = >>
:Xn n∏u n T.
Do ó (Zn )n 0 là Markov( , P).

B˜Óc 3: Ta có
P(Zn = j) = P(Xn = j, n < T) + P(Yn = j, n T),
nên
|P(Xn = j) ⇡ j | = |P(Zn = j) P(Yn = j)|

= |P(Xn = j, n < T) P(Yn = j, n T)|
 P(n < T) ! 0 khi n ! 1.
Gi£ thi∏t P là phi tu¶n hoàn óng vai trò quan trÂng trong ch˘ng minh trên. Th™t v™y,
xét Ví dˆ 1.10.1, khi ó P có (1/2, 1/2) là phân phËi d¯ng duy nhßt. Gi£ s˚ (Xn ) xußt phát
t¯ 0 và (Yn ) xußt phát t¯ 0 ho∞c 1 vÓi cùng xác sußt 1/2. Ta có n∏u Y0 = 1 thì do tính tu¶n
hoàn, (Xn ) và (Yn ) không bao giÌ g∞p nhau và l™p lu™n ta dùng  ch˘ng minh trên không
áp dˆng ˜Òc.
Trong tr˜Ìng hÒp tÍng quát ta có k∏t qu£ sau:
‡nh lí 1.10.6. Gi£ s˚ P là tËi gi£n, khi ó tÁn t§i mÎt sË nguyên d 1 và mÎt phân ho§ch
I = C0 [ C1 [ . . . [ Cd 1
sao cho:
i) N∏u p(n)
ij
> 0 thì tÁn t§i r sao cho i 2 Cr và j 2 Cr+n (coi Cnd+r = Cr );
ii) p(nd)
ij
> 0 vÓi mÂi n ı lÓn, vÓi mÂi i, j 2 Cr và vÓi mÂi r.
Ta gÂi mÈi sË nguyên d˜Ïng d xác ‡nh nh˜ trên là mÎt chu kì cıa P.
Ch˘ng minh. CË ‡nh mÎt tr§ng thái k và xét S = {n 0 : p(n) k,k

> 0}. ChÂn n1 , n2 2 S vÓi
n1 < n2 sao cho d = n2 n1 là nh‰ nhßt. VÓi mÈi r = 0, . . . , d 1, ta ∞t
Cr = {i 2 I : p(nd+r)
ki
> 0 vÓi n 0 nào ó}.
Khi ó I = C0 [ C1 [ . . . [ Cd 1 do tính tËi gi£n cıa P. HÏn n˙a, n∏u p(nd+r)

ki
> 0 và p(nd+s)
ki
>0
(m) (nd+r+m)
vÓi r, s 2 {0, 1, . . . , d 1} nào ó thì chÂn m 0 sao cho pik > 0, ta có pkk > 0 và
(nd+s+m)
pkk > 0, do ó nd + r + m và nd + s + m cùng thuÎc S. V™y nên r = s vì tính tËi ti∫u cıa
d. V™y {Ci : 0  i  d 1} là mÎt phân ho§ch cıa I.
∫ ch˘mg minh i), gi£ s˚ p(n) ij
> 0 và i 2 Cr . ChÂn m sao cho p(md+r)
ki
> 0, thì khi ó
p(md+r+n)
kj
> 0 và j 2 Cn+r .
Ti∏p theo, do vÓi mÈi n 2 S, p(n)
kk
> 0 nên theo i), k thuÎc Cr và Cr+n , vÓi r nào ó, t˘c là
Cr = Cn+r và n là bÎi cıa d. V™y mÂi ph¶n t˚ cıa S, bao gÁm c£ n1 ∑u là bÎi cıa d.
Gi£ s˚ nd > n21 , ta ∞t nd = n1 q + r vÓi q n1 và 0  r  n1 1. Do d là ˜Óc cıa n1 , ta có
r = md và nd = (q m)n1 + mn2 . Do ó
p(n)
kk
(p(n
kk
1) q
) m
(p(n
kk
2) m
) >0
và do ó nd 2 S. ∫ ch˘ng minh ii) cho mÂi i, j 2 Cr , ta chÂn n1 , n2 sao cho p(n

ki
1 d+r)
> 0 và
(n2 d+r) (m1 )
pk j > 0. Do tính tËi gi£n cıa P, tÁn t§i m1 sao cho pik > 0. Khi ó
p(m
ij
1 +nd+n2 d+r)
p(m
ik
1 ) (nd) (n2 d+r)
pkk pk j >0
vÓi mÂi nd > n21 . M∞t khác vì
p(m
kk
1 +n1 d+r)
p(n
ki
1 d+r) (m1 )
pik > 0
nên m1 + n1 d + r hay m1 + r ph£i là bÎi cıa d. T¯ ây suy ra i∑u ph£i ch˘ng minh. ⇤
‡nh lí 1.10.7. Gi£ s˚ P là tËi gi£n và có chu kì d. Gi£ s˚ C0 , C1 , . . . , Cd 1 là mÎt phân ho§ch
P
xác ‡nh nh˜  ‡nh lí 1.10.6. Gi£ s˚ là phân phËi th‰a mãn i2C0 i = 1. Gi£ s˚ (Xn ) là
Markov( , P).
Khi ó vÓi mÈi r = 0, 1, . . . , d 1 và j 2 Cr , ta có
lim P(Xnd+r = j) = d/m j ,

n!1
trong ó m j là thÌi gian tr l§i trung bình t§i tr§ng thái j.
∞c biªt, vÓi mÈi i 2 C0 và j 2 Cr , ta có
lim p(nd+r)
ij
= d/m j .
n!1
Ch˘ng minh. ∫ Îc gi£ tiªn theo dõi, ta chia ch˘ng minh thành ba b˜Óc nh˜ sau.
B˜Óc 1: Ta s≥ ã bài toán v∑ tr˜Ìng hÒp phi tu¶n hoàn. ∞t ⌫ = Pr , theo ‡nh lí 1.10.6
ta có X X
⌫i = ⌫i = 1.
i2Cr i2I
∞t Yn = Xnd+r thì (Yn )n 0 là Markov(⌫, Pd ). HÏn n˙a, cÙng theo ‡nh lí 1.10.6, ma tr™n
chuy∫n Pd là tËi gi£n và phi tu¶n hoàn trên Cr . VÓi mÈi j 2 Cr , thÌi gian tr l§i trung bình
cıa (Yn )n 0 tÓi j là m j /d. Do ó, n∏u ‡nh lí là úng trong tr˜Ìng hÒp phi tu¶n hoàn thì nó
cÙng úng trong tr˜Ìng hÒp tu¶n hoàn vì
lim P(Xnd+r = j) = lim P(Yn = j) = d/m j .

n!1 n!1
Do v™y, ta chø c¶n ch˘ng minh ‡nh lí trong tr˜Ìng hÒp P là phi tu¶n hoàn.
B˜Óc 2: Gi£ s˚ P là phi tu¶n hoàn. N∏u P là hÁi qui d˜Ïng thì 1/m j = ⇡ j , trong ó ⇡ là
phân phËi d¯ng duy nhßt. Khi ó, áp dˆng ‡nh lí 1.10.5 ta ˜Òc i∑u ph£i ch˘ng minh.
Trái l§i, gi£ s˚ m j = 1, ta s≥ ch˘ng t‰ r¨ng
lim P(Xn = j) = 0.
n!1
i∑u này là hi∫n nhiên n∏u P là trans. Ta chø còn ph£i xét tr˜Ìng hÒp P là hÁi qui không.
B˜Óc 3: Gi£ s˚ P là phi tu¶n hoàn và hÁi qui không. Khi ó
1
X
P j (T j > k) = E j (T j ) = 1.
k=0
VÓi mÈi ✏ > 0, chÂn K sao cho

K 1
X 2
P j (T j > k) .
✏
k=0
Khi ó, vÓi n K 1, ta có
n
X
1 P(Xk = j, Xm , j vÓi m = k + 1, . . . , n)
k=n K+1
n
X K 1
X
= P(Xk = j)P j (T j > n k) = P(Xn k = j)P j (T j > k),
k=n K+1 k=0
Do ó
min P(Xn k = j)  ✏/2.
0kK 1
Ti∏p theo ta áp dˆng ph˜Ïng pháp ghép nh˜  ‡nh lí 1.10.5. Gi£ s˚ (Yn )n 0 là Markov(µ, P)
và Îc l™p vÓi (Xn )n 0 , trong ó µ s≥ ˜Òc chÂn sau. ∞t Wn = (Xn , Yn ). Do P là phi tu¶n
hoàn, (Wn )n 0 là tËi gi£n. N∏u (Wn )n 0 là trans, chÂn µ = , ta ˜Òc
P(Xn = j)2 = P(Wn = ( j, j)) ! 0.
Trái l§i, n∏u (Wn )n 0 là hÁi qui thì P(T < 1) = 1, trong ó T ˜Òc xác ‡nh nh˜ trong ‡nh
lí 1.10.5 và ta có
lim |P(Xn = j) P(Yn = j)| = 0.
n!1
Ÿng vÓi mÈi k = 1, . . . , K 1, chÂn µ = Pk , ta ˜Òc P(Yn = j) = P(Xn+k = j). ChÂn N(k) ı
lÓn sao cho vÓi mÂi n N(k),
|P(Xn = j) P(Xn+k = j)|  ✏/2.
∞t N = max1kK 1 N(k). ta có bßt Øng th˘c trên úng vÓi mÂi n N và mÂi k = 1, . . . , K
1. HÏn n˙a, vÓi mÂi n, tÁn t§i k 2 {1, . . . , K 1} sao cho P(Xn+k = j)  ✏/2. Do ó, vÓi mÂi
n N, P(Xn = j)  ✏. Do ✏ > 0 có th∫ ˜Òc chÂn nh‰ tùy ˛, ta có P(Xn = j) ! 0 khi
n ! 1. ⇤
1.11 Tính Ergodic

GÂi Vi (n) là sË l¶n xích Markov (Xk )k 0  tr§ng thái i cho ∏n tr˜Óc thÌi i∫m n:
n 1
X
Vi (n) = I{Xk =i} .
k=0
Khi ó Vi (n)/n là tø lª thÌi gian xích  tr§ng thái i sau n b˜Óc d‡ch chuy∫n liên ti∏p. ‡nh lí
ergodic cho phép xác ‡nh giÓi h§n cıa tø lª trên khi n ! 1.
‡nh lí 1.11.1. Gi£ s˚ (X)n 0 là Markov( , P) vÓi P là tËi gi£n. Khi ó

⇣ Vi (n) 1⌘
P lim = = 1,
n!1 n mi
trong ó mi = Ei (Ti ) là kì vÂng cıa thÌi gian tr l§i tr§ng thái i l¶n ¶u tiên. HÏn n˙a, n∏u P là
hÁi qui d˜Ïng thì vÓi mÂi hàm f : I ! R, ta có
n 1
⇣ 1X ⌘
P lim f (Xk ) = f = 1,
n!1 n
k=0
trong ó X
f = ⇡i fi
i2I
vÓi (⇡i , i 2 I) là phân phËi d¯ng (duy nhßt).
Ch˘ng minh. N∏u P là trans thì vÓi xác sußt 1, limn!1 Vi (n) < 1, do ó
Vi (n) 1
!0= .
n mi
N∏u P là hÁi qui, ta xét mÎt tr§ng thái i nào ó và kí hiªu T = Ti . Theo ‡nh lí 1.7.7, P(T <
1) = 1. Do tính Markov m§nh, (XT+n )n 0 là Markov( i , P) và Îc l™p vÓi X0 , X1 , . . . , XT . Vì
giÓi h§n cıa tø lª thÌi gian  tr§ng thái i cıa xích (Xn )n 0 và (XT+n )n 0 là nh˜ nhau nên
không mßt tính tÍng quát, ta gi£ s˚ = i.
GÂi S(r)
i
là Î dài cıa vòng du Îng th˘ r t§i thÌi i∫m i. Theo BÍ ∑ 1.7.1, các bnn
không âm S(1)i
, S(2)
i
, . . . là Îc l™p và có cùng phân phËi. HÏn n˙a, Ei (S(r)
i
) = mi . Ta có
S(1)
i
+ . . . + S(V
i
i (n) 1)
n 1,
trong ó giá tr‡  v∏ trái chính là thÌi i∫m cuËi cùng tr˜Óc thÌi i∫m n mà xích  tr§ng
thái i. M∞t khác
S(1)
i
+ . . . + S(V
i
i (n))
n,
trong ó giá tr‡  v∏ trái là thÌi i∫m ¶u tiên sau thÌi i∫m n 1 mà xích  tr§ng thái i.
V™y nên
S(1)
i
+ . . . + S(V
i
i (n) 1)
n S(1)
i
+ . . . + S(V
i
i (n))
  .
Vi (n) Vi (n) Vi (n)
Do S(1)
i
, S(2)
i
, . . . là dãy bnn không âm, Îc l™p và có cùng phân phËi nên theo Lu™n m§nh
sË lÓn (xem [?]), ta có
⇣ S(1)
i
+ . . . + S(n)
i
⌘
P lim = mi = 1,
n!1 n
và do P là hÁi qui nên P(limn!1 Vi (n) = 1) = 1. Do ó, cho n ! 1, ta ˜Òc
⇣ Vi (n) 1⌘
P lim = = 1. (1.14)
n!1 n mi
CuËi cùng, gi£ s˚ (Xn )n 0 có phân phËi d¯ng (⇡i , i 2 I). Gi£ s˚ f : I ! R là hàm b‡ ch∞n và
P P
không mßt tính tÍng quát ta có th∫ gi£ s˚ | f |  1. Vì nk=01 f (Xk ) = i2I Vi (n) fi nên
n 1
1X X ⇣ V (n)
i
⌘
f (Xk ) f = ⇡i f i .
n i2I
n
k=0
Do ó, vÓi mÂi t™p con J cıa I, ta có

n 1
1X X V (n)
i
X V (n)
i
f (Xk ) f  ⇡i + ⇡i
n i2J
n i<J
n
k=0
X V (n) X ⇣ V (n) X V (n)
⌘ X
i i i
 ⇡i + + ⇡i  2 ⇡i + 2 ⇡i ,
i2J
n i<J
n i2J
n i<J
trong ó bßt Øng th˘c cuËi cùng suy ra t¯

X ⇣ V (n) ⌘ X⇣ Vi (n) ⌘ X Vi (n)
i
⇡i = ⇡i  ⇡i .
i<J
n i2J
n i2J
n
P
VÓi mÈi ✏ > 0, tÁn t§i t™p J gÁm h˙u h§n tr§ng thái sao cho i<J ⇡i < ✏/4. M∞t khác, theo
‡nh lí 1.9.9, mi = 1/⇡i , do ó, t¯ (1.14) suy ra vÓi h¶u ch≠c ch≠n mÂi w 2 ⌦, tÁn t§i N(w)
sao cho X V (n)
i ✏
⇡i < , 8n N(w).
i2J
n 4
Do ó, vÓi mÂi n > N(w), ta có

n 1
1X
f (Xk ) f < ✏,
n
k=0
t¯ ây suy ra i∑u ph£i ch˘ng minh. ⇤
1.12 Xích Markov kh£ ngh‡ch*

Ta ã bi∏t r¨ng vÓi mÈi xích Markov, quá kh˘ và t˜Ïng lai là Îc l™p vÓi nhau khi ta bi∏t
hiªn t§i. S¸ Ëi x˘ng theo thÌi gian này gÒi ˛ r¨ng ta có th∫ xem xét mÎt xích Markov vÓi
thÌi gian ch§y ng˜Òc chi∑u. M∞t khác, s¸ hÎi tˆ tÓi i∫m cân b¨ng l§i không Ëi x˘ng:
trong nhi∑u tr˜Ìng hÒp, dù phân phËi ban ¶u cıa xích nh˜ th∏ nào, xích cÙng hÎi tˆ tÓi
phân phËi d¯ng t§i vô cùng. Do ó, n∏u ta muËn có mÎt xích “ Ëi x˘ng" vÓi xích ban ¶u
thì ta c¶n ph£i xußt phát t¯ phân phËi d¯ng. Sau ây chúng ta s≥ chø ra r¨ng n∏u mÎt xích
Markov  tr§ng thái d¯ng thì khi £o chi∑u thÌi gian, nó v®n là xích Markov.
‡nh lí 1.12.1. Gi£ s˚ P là tËi gi£n và có phân phËi d¯ng ⇡. Gi£ s˚ (Xn )0nN là Markov(⇡, P) và
∞t Yn = XN n . Khi ó (Yn )0nN là Markov(⇡, P̂), trong ó P̂ = (p̂i j ) xác ‡nh bi
⇡ j p̂ ji = ⇡i pi j , 8 i, j 2 I.
HÏn n˙a, P̂ cÙng tËi gi£n và có phân phËi d¯ng là (⇡).
Ch˘ng minh. Dπ dàng ki∫m tra P̂ là ma tr™n ng®u nhiên và ⇡ là phân phËi d¯ng cıa nó.
Ti∏p theo ta ch˘ng t‰ (Yn )0nN là Markov(⇡, P̂). Th™t v™y, vì
P(Y0 = i0 , Y1 = i1 , . . . , YN = iN ) = P(X0 = iN , X1 = iN 1 , . . . , XN = i0 )
= ⇡iN piN iN 1 . . . pi1 i0 = ⇡i0 p̂i0 i1 . . . p̂iN 1 iN
,
nên theo ‡nh lí 1.2.5, (Yn )0nN là Markov(⇡, P̂). CuËi cùng, do P là tËi gi£n nên vÓi mÂi
i, j 2 I, tÁn t§i dãy tr§ng thái i0 = i, i1 , . . . , in 1 , in = j sao cho pi0 i1 . . . pin 1 in > 0. Khi ó
p̂in in 1 . . . p̂i1 i0 = ⇡i0 pi0 i1 . . . pin 1 in

/⇡in > 0,
do ó P̂ là tËi gi£n. ⇤
‡nh nghæa 1.12.2. Xích (Yn )0nN ˜Òc gÂi là xích £o chi∑u thÌi gian cıa (Xn )0nN .
C∞p ma tr™n ng®u nhiên P và Î o ˜Òc gÂi là cân b¨ng chi ti∏t n∏u
i pi j = j p ji , 8 i, j 2 I.
Sau ây ta phát bi∫u mËi liên hª gi˙a khái niªm Î o d¯ng và cân b¨ng chi ti∏t.
BÍ ∑ 1.12.3. Gi£ s˚ P và là cân b¨ng chi ti∏t, khi ó là Î o d¯ng cıa P.

P P
Ch˘ng minh. Ta có ( P)i = j2J j p ji = j2I i pi j = i . ⇤
‡nh nghæa 1.12.4. Gi£ s˚ (Xn )n 0 là Markov( , P) vÓi P tËi gi£n. Ta nói r¨ng (Xn )n 0 là kh£
ngh‡ch n∏u vÓi mÂi N 1, dãy (XN n )0nN cÙng là Markov( , P).
‡nh lí 1.12.5. Gi£ s˚ (Xn )n 0 là Markov( , P) vÓi P tËi gi£n. Khi ó hai khØng ‡nh sau là t˜Ïng
˜Ïng:
(a) (Xn )n 0 là kh£ ngh‡ch;
(b) P và là cân b¨ng chi ti∏t.
Ch˘ng minh. Tr˜Óc h∏t ta nh™n thßy t¯ (a) ho∞c (b) ∑u suy ra r¨ng là phân phËi d¯ng
cıa P. Sau ó, theo ‡nh lí 1.12.1,
(a) , (P = P̂) , (b).
Ví dˆ 1.12.6 (Du Îng ng®u nhiên trên Á th‡).
MÎt Á th‡ G = (V, E) bao gÁm t™p các ønh V = {vi , i = 1, 2, . . . , vk } và các c§nh
E = {e1 , e2 , . . . , el }. MÈi c§nh nËi hai ønh vÓi nhau. Gi˙a hai ønh không có quá mÎt c§nh.
Hai ønh ˜Òc gÂi là k∑ nhau n∏u chúng ˜Òc nËi bi mÎt c§nh. C§nh nËi hai ønh k∑
nhau vr và vs ˜Òc kí hiªu là hvr , vs i. Á th‡ ˜Òc gÂi là liên thông n∏u hai ønh bßt kì ∑u
˜Òc nËi vÓi nhau bi mÎt sË h˙u h§n c§nh. Ta chø xét Á th‡ liên thông và vô h˜Óng, khi
ó hai kí hiªu hvr , vs i và hvs , vr i ∑u chø cùng mÎt c§nh. VÓi mÈi ønh vi , ta gÂi b™c cıa vi ,
kí hiªu bi di , là tÍng sË các ønh k∑ vÓi vi .
Ví dˆ Á th‡ d˜Ói ây gÁm có 8 ønh V = {v1 , . . . , v8 } và 12 c§nh
E ={hv1 , v3 i, hv1 , v4 i, hv2 , v3 i, hv2 , v5 i, hv2 , v6 i, hv3 , v4 i,

hv3 , v7 i, hv3 , v8 i, hv4 , v8 i, hv5 , v6 i, hv6 , v7 i, hv7 , v8 i}.
B™c cıa v1 là d1 = 2 trong khi b™c cıa v3 là d3 = 5.

v1
v2 v3 v4
v5 v6 v7 v8
MÎt du Îng ng®u nhiên trên Á th‡ G = (V, E) là mÎt xích Markov vÓi t™p tr§ng thái
V và di Îng theo qui t≠c sau: n∏u du Îng ang  tr§ng thái vi t§i thÌi i∫m n thì t§i thÌi
i∫m ti∏p theo n + 1, nó s≥ chuy∫n ∏n mÎt trong các ønh k∑ vÓi vi vÓi cùng xác sußt 1/di .
Ta có ma tr™n chuy∫n cıa du Îng là
8
>
<1/di n∏u vi k∑ vÓi v j
>
pi j = >
>
:0 n∏u vi không k∑ vÓi v j .
Do Á th‡ là liên thông nên P là tËi gi£n. Xét phân phËi
⇣ d1 dk ⌘
⇡= ,..., , d = d1 + . . . + dk ,
d d
ta dπ dàng ki∫m tra ˜Òc là c∞p (⇡, P) là cân b¨ng chi ti∏t. V™y nên ⇡ là phân phËi d¯ng
cıa P.
Ví dˆ 1.12.7 (Bài toán quân mã).
Xét mÎt bàn cÌ vua kích th˜Óc 8⇥8. MÎt quân mã di chuy∫n mÎt mình trên bàn cÌ theo
qui t≠c t§i mÈi thÌi i∫m, nó s≥ chÂn ng®u nhiên mÎt trong các ô mà nó có th∫ tÓi ˜Òc và
nh£y ∏n ô ó. Nh≠c l§i r¨ng trong mÈi n˜Óc i, quân mã chø có th∫ di chuy∫n ∏n ô mà ô
ó và ô nó ang  là hai ønh Ëi diªn cıa mÎt hình ch˙ nh™t kích th˜Óc 2 ⇥ 3 trên bàn cÌ.
Gi£ s˚ quân mã xußt phát t¯ mÎt ô góc cıa bàn cÌ, h‰i trung bình sau bao nhiêu n˜Óc i nó s≥
tr l§i ô ó?
ánh sË các ô bàn cÌ l¶n l˜Òt t¯ 1 ∏n 64. GÂi T1 là tÍng sË n˜Óc i ∫ quân mã tr v∑
ô góc sË 1 l¶n ¶u tiên. Theo ‡nh lí 1.9.9, ta có E1 (T1 ) = 1/⇡1 , do ó ta chø c¶n xác ‡nh
phân phËi d¯ng ⇡. Do ma tr™n chuy∫n P = (pi j )1i,j64 có th∫ ˜Òc xác ‡nh dπ dàng, bài
toán có th∫ qui v∑ viªc gi£i hª ph˜Ïng trình tuy∏n tính 64 ©n ⇡P = ⇡ (!).
Tuy nhiên, ta nh™n thßy chuy∫n Îng cıa quân mã chính là mÎt du Îng ng®u nhiên
trên Á th‡ gÁm 64 ønh t˜Ïng ˘ng vÓi 64 ô cıa bàn cÌ. V™y nên
X
E1 (T1 ) = 1/⇡1 = di /d1 .
i
Do sË ønh có b™c 2, 3, 4, 6, 8 cıa Á th‡ l¶n l˜Òt là 4, 8, 20, 16, 16 nên

8 + 24 + 80 + 96 + 128
E1 (T1 ) = = 168.
2
1.13 Bài t™p

1. Trong ví dˆ  ti∏t khi Îng, gi£ s˚ du khách di chuy∫n d¸a trên qui lu™t mÓi nh˜
sau: T§i mÈi thÌi i∫m, du khách tung Áng thÌi hai Áng xu cân Ëi và Áng chßt.
N∏u Áng xu th˘ nhßt xßp, ng˜Ìi ó s≥  nguyên v‡ trí cho ∏n thÌi i∫m ti∏p theo;
còn n∏u Áng xu th˘ nhßt ng˚a, ng˜Ìi ó s≥ di chuy∫n ngay l™p t˘c ∏n mÎt trong
hai góc k∑ theo cùng ho∞c ng˜Òc chi∑u kim Áng hÁ phˆ thuÎc vào Áng xu th˘ hai
là sßp ho∞c ng˚a. GÂi (Xn )n 0 là v‡ trí cıa ng˜Ìi ó  thÌi i∫m th˘ n. Ch˘ng minh
r¨ng (Xn )n 0 là xích Markov và xác ‡nh ma tr™n xác sußt chuy∫n cıa nó.
2. Có ng˜Ìi cho r¨ng mÎt trong nh˙ng cách d¸ báo thÌi ti∏t có Î chính xác cao (hÏn
trên truy∑n hình) là d¸ báo r¨ng thÌi ti∏t ngày mai giËng nh˜ ngày hôm nay. Gi£
s˚ thÌi ti∏t mÈi ngày  Hà NÎi  mÎt trong hai tr§ng thái “n≠ng" và “mã". N∏u
ph˜Ïng pháp trên là úng trong 75% các tr˜Ìng hÒp thì thÌi ti∏t  Hà NÎi s≥ là mÎt
xích Markov vÓi t™p tr§ng thái I = {1, 2} vÓi 1 nghæa là n≠ng và 2 nghæa là mã. Ma
tr™n chuy∫n cıa nó là !
0.75 0.25
P= .
0.25 0.75
a) Gi£ s˚ xích xußt phát vÓi mÎt ngày n≠ng = (1, 0). Ch˘ng minh r¨ng
1 1
P(Xn = 1) = (1 + 2 n ), P(Xn = 2) = (1 2 n ).
2 2
b) Gi£ s˚ xích xußt phát vÓi mÎt ngày mã. Tính phân phËi cıa Xn và so sánh k∏t
qu£ tìm ˜Òc vÓi tr˜Ìng hÒp trên khi n ! 1.
3. Xét xích Markov gÁm hai tr§ng thái {0, 1} vÓi ma tr™n chuy∫n
!
0.2 0.8
P= .
0.6 0.4
a) Tính ma tr™n chuy∫n sau hai b˜Óc P2 .

b) Gi£ s˚ xích xußt phát  tr§ng thái 0 t§i thÌi i∫m n = 0.Tính xác sußt ∫ xích 
tr§ng thái 1 t§i thÌi i∫m n = 3.
c) Tính xác sußt ∫ xích luôn  tr§ng thái 0 t¯ thÌi i∫m n = 0 cho ∏n n = 3.
d) Gi£ s˚ P(X0 = 0) = 3/7, P(X0 = 1) = 4/7. Xác ‡nh phân phËi cıa Xn .
4. Xét xích Markov gÁm ba tr§ng thái {0, 1, 2} vÓi ma tr™n chuy∫n
0 1
BB0.2 0.8 0 CC
B C
P = BBBB 0 0.6 0.4CCCC .
@ A
0 0 1
Gi£ s˚ xích xußt phát  tr§ng thái 0 t§i thÌi i∫m n = 0.

a) Tính xác sußt ∫ xích  tr§ng thái 1 t§i thÌi i∫m n = 3.

b) P có ph£i là ma tr™n tËi gi£n không? T§i sao?
5. Gi£ s˚ (Xn )n 0 là Markov( , P). ∞t Yn = X3n . Ch˘ng minh r¨ng (Yn )n 0 là Markov( , P3 ).
6. Bài t™p sau ch˘ng t‰ hàm cıa mÎt xích Markov chã ch≠c ã là Markov. Gi£ s˚
(Xn )n 0 là xích Markov vÓi t™p tr§ng thái I = {1, 2, 3}, ma tr™n xác sußt chuy∫n
0 1
BB0 1 0CC
B C
P = BBBB0 0 1CCCC
@ A
1 0 0
và phân phËi ban ¶u = (1/3, 1/3, 1/3). Xét hàm : I ! {0, 1} cho bi
8
>
<0 n∏u i = 1
>
(i) = >
>
:1 n∏u i , 1,
và ∞t Yn = (Xn ) vÓi mÈi n 0. Ch˘ng minh r¨ng (Yn )n 0 không ph£i là xích
Markov.
7. Gieo liên ti∏p mÎt Áng xu cân Ëi và Áng chßt. GÂi Yn là sË m∞t sßp xußt hiªn
trong l¶n gieo th˘ n: Yn nh™n giá tr‡ 0 ho∞c 1 vÓi cùng xác sußt 1/2. VÓi mÈi n 1,
∞t Xn = Yn + Yn+1 . H‰i (Xn )n 1 có ph£i là mÎt xích Markov không, t§i sao?
8. Gi£ s˚ (Xn )n 0 là dãy bnn Îc l™p có phân phËi
1
P(Xn = 1) = P(Xn = 1) = , 8n 2 N.
2
Trong các dãy bnn sau, dãy nào là xích Markov:
a) (Xn )n 0 .
b) (Sn )n 0 vÓi S0 = 0, Sn = X1 + . . . + Xn vÓi mÂi n 1.
c) (Tn )n 0 vÓi Tn = (Sn , Sn+1 ).
d) (Rn )n 0 vÓi Rn = (Xn , Sn ).
e) (Yn )n 0 vÓi Yn = (Sn , 0).
9. MÎt con châu chßu nh£y qua l§i mÎt cách ng®u nhiên trên 4 ønh cıa mÎt hình
vuông. Gi£ s˚ t§i mÈi thÌi i∫m, con châu chßu s≥ nh£y ∏n mÎt trong hai ønh k∑
vÓi ønh nó ang ˘ng vÓi cùng xác sußt 1/2. ánh sË các ønh cıa hình vuông l¶n
l˜Òt là 0, 1, 2, 3 theo chi∑u kim Áng hÁ. GÂi (Xn )n 0 là v‡ trí cıa con châu chßu sau
l¶n nh£y th˘ n.
a) Gi£ s˚ (Xn ) là xích Markov và xác ‡nh ma tr™n chuy∫n cıa nó.
b) Xác ‡nh xác sußt ∫ con châu chßu quay tr l§i v‡ trí xußt phát sau 100 b˜Óc
nh£y.
10. Gi£ s˚ (Xn ) là xích Markov nh™n các giá tr‡ {1, 2, 3} vÓi ma tr™n chuy∫n
0 1
BB 0 1 p pCC
B C
P = BBBB1/3 2/3 0CCCC .
@ A
0 1 0
Tính xác sußt P(Xn = 1|X0 = 1) trong các tr˜Ìng hÒp (a) p = 1/16; (b) p = 1/6; (c)
p = 1/12.
⇣ p ⌘n ⇣ ⌘
Gi£i (b) p(n) = 6
25
+ 6
2 19
cos 3⇡n 17
sin 3⇡n
11
⇣ ⌘ 25n 4 25 4
(n) 58 55n 37 ( 1)
(c): p11 = 21 + 3 21 6n
.
11. Gi£ s˚ X0 là bnn nh™n giá tr‡ trên N. Gi£ s˚ Y1 , Y2 , . . . là dãy bnn Îc l™p, có cùng
phân phËi ∑u trên o§n [0, 1]. Gi£ s˚ G : I ⇥ [0, 1] ! I và Xn+1 = G(Xn , Yn+1 ).
Ch˘ng minh r¨ng (Xn )n 0 là xích Markov và xác ‡nh ma tr™n chuy∫n P cıa nó.
12. Biªn lu™n theo p 2 [0, 1] các lÓp liên thông cıa xích Markov có ma tr™n chuy∫n cho
bi 0 1
BB1/2 0 1/2 0 0 CC
BB CC
BB 0 1/2 0 1/2 0 CC
BBB CC
P = BBB1/2 0 1/2 0 0 CCCC
BBB 0 1/4 1/4 1/4 1/4 CCC
BB CC
@ A
0 0 0 p 1 p
Trong mÈi tr˜Ìng hÒp, chø ra lÓp nào là lÓp óng.
13. Ch˘ng minh r¨ng mÂi ma tr™n chuy∫n cıa mÎt không gian tr§ng thái h˙u h§n ∑u
có ít nhßt mÎt lÓp liên thông óng. i∑u này còn úng không n∏u không gian tr§ng
thái có vô h§n ph¶n t˚.
14. Ba b§n A, B và C chÏi c¶u lông theo lu™t ˜Òc  thua ra: mÈi l˜Òt chÏi gÁm hai ßu
thı, ng˜Ìi còn l§i Òi; ng˜Ìi th≠ng  l˜Òt th˘ n s≥ chÏi ti∏p l˜Òt th˘ n + 1 vÓi ng˜Ìi
v¯a Òi. Xác sußt ∫ b§n x th≠ng b§n y là sx /(sx +s y ) vÓi mÈi c∞p x, y 2 {A, B, C}, x , y,
và sA , sB , sC là các sË th¸c d˜Ïng th∫ hiªn "chø sË s˘c m§nh" cıa b§n A, B, C.
a) Mô t£ quá trình trên bi mÎt xích Markov và xác ‡nh ma tr™n xác sußt chuy∫n
cıa xích.
b) Xác ‡nh xác sußt cıa bi∏n cË hai b§n chÏi  l˜Òt ¶u tiên s≥ l§i g∞p nhau  l˜Òt
ßu th˘ t˜. Ch˘ng t‰ r¨ng xác sußt này không phˆ thuÎc vào viªc c∞p hai b§n
nào chÏi  tr™n ¶u.
Gi£i 14: GÂi Xn là tr§ng thái cıa l˜Òt chÏi th˘ n, trong ó Xn = x n∏u b§n x không
chÏi  l˜Òt ó vÓi x = A, B, C. Nh˜ v™y không gian tr§ng thái s≥ gÁm 3 ph¶n t˚
A, B, C.
a) Ma tr™n chuy∫n cıa (Xn ) là

0 1
BB 0 sC /(sB + sC ) sB (sB + sC ) CC
B C
P = BBBBsC /(sA + sC ) 0 sA /(sA + sC )CCCC .
@ A
sB /(sA + sB ) sA /(sA + sB ) 0
b) Ta c¶n tính xác sußt ∫ hª tr l§i tr§ng thái ¶u tiên sau 3 b˜Óc. Áp dˆng công
th˘c (1.4), ta ˜Òc
2sA sB sC
p(3)
AA
= pAB pBC pCA + pAC pCB pBA = .
(sA + sB )(sA + sC )(sB + sC )
T˜Ïng t¸ ta có p(3)
BB
= p(3)
CC
= p(3)
AA
.
15. MÎt chi∏c xe bu˛t tr ˜Òc N khách và ã bán vé ghi rõ sË gh∏ cho N ng˜Ìi. N 1
hành khách ¶u tiên lên xe và ngÁi vào các gh∏ tùy thích. Hành khách th˘ N lên xe
và muËn ngÁi vào úng v‡ trí ghi trên vé cıa mình. N∏u gh∏ cıa anh ta còn trËng,
anh ta s≥ ngÁi vào gh∏ ó. N∏u không, anh ta s≥ yêu c¶u ng˜Ìi ang ngÁi gh∏ cıa
anh ta tr£ l§i chÈ. Ng˜Ìi này s≥ tr£ l§i chÈ và i tìm gh∏ ghi trên vé cıa mình. N∏u
gh∏ ó trËng, ng˜Ìi này s≥ ngÁi vào ó, n∏u không, anh ta l§i yêu c¶u ng˜Ìi ang
ngÁi gh∏ ghi trên vé cıa mình tr£ l§i chÈ. Quá trình này ˜Òc l∞p l§i cho ∏n khi
không ai ph£i i tìm chÈ. GÂi X là tÍng sË l¶n chuy∫n chÈ, tính kì vÂng cıa X.
16. Xét xích Markov cho bi bi∫u Á
1/3
1/3
1 2 3 4
2/3
2/3
Gi£ s˚ xích xußt phát t¯ 2, hãy xác ‡nh (i) xác sußt hßp thˆ vào 4 và (ii) trung bình
mßt bao lâu thì xích b‡ hßp thˆ vào 1 ho∞c 4.
Gi£i 16 (i) 1/7. (ii) 12/7.
17. Xét xích Markov cho bi bi∫u Á
1/3 1/3
1/3
1 2 3 4 5
2/3
2/3 2/3
Gi£ s˚ xích xußt phát t¯ 2, hãy xác ‡nh (i) xác sußt hßp thˆ vào 5 và (ii) trung bình
mßt bao lâu thì xích b‡ hßp thˆ vào 1 ho∞c 5.
Gi£i 17 (i) 1/15. (ii) 11/5.
18. Gi£ s˚ (Xn )n 0 là xích Markov nh™n giá tr‡ trên t™p {0, 1, . . .} vÓi xác sußt chuy∫n cho
bi
(i + 1)2
p01 = 1, pi,i+1 + pi,i 1 = 1, pi,i+1 = pi,i 1 , i 1.
i2
Ch˘ng minh r¨ng n∏u X0 = 0 thì xác sußt Xn 1 vÓi mÂi n 1 là 6/⇡2 .
(GÒi ˛: Xét xích Markov (Yn )n 0 vÓi xác sußt chuy∫n cho bi
(i + 1)2
pY00 = 1, pYi,i+1 + pYi,i 1 = 1, pYi,i+1 = pi,i 1 , i 1.
i2
Khi ó, vÓi i∑u kiªn Y0 = 1, xác sußt ∫ Y b‡ hßp thˆ t§i 0 b¨ng xác sußt ∫ Xn 1
vÓi mÂi n 1 khi X0 = 0.)
19. Gi£ s˚ (Yn )n 1 là dãy bnn Îc l™p có cùng phân phËi
P(Y1 = 1) = P(Y1 = 1) = 1/2.
∞t X0 = 1, Xn = 1 + Y1 + . . . + Yn vÓi mÈi n 1. ∞t H0 = inf{n 0 : Xn = 0}. Xác

‡nh (s) = E(sH0 ) vÓi s 2 [0, 1).
20. Gi£ s˚ (Yn )n 1 là dãy bnn Îc l™p có cùng phân phËi
P(Y1 = 2) = P(Y1 = 1) = 1/2.
∞t X0 = 1, Xn = 1 + Y1 + . . . + Yn vÓi mÈi n 1. ∞t H0 = inf{n 0 : Xn = 0}. ∞t

(s) = E(sH0 ) vÓi s 2 [0, 1). Ch˘ng minh r¨ng s 3 2 + s = 0.
21. Gieo liên ti∏p mÎt con xúc x≠c cân Ëi và Áng chßt và gÂi Yi là sË chßm xußt hiªn 
l¶n gieo th˘ i. GÂi Xn là sË các m∞t xúc x≠c khác nhau xußt hiªn trong n l¶n gieo ¶u
tiên. Gi£ s˚ X0 = 0.
a) Ch˘ng t‰ Xn là xích Markov và tìm xác sußt chuy∫n cıa nó.

b) ∞t T = min{n : Xn = 6} là sË l¶n gieo cho tÓi khi tßt c£ các m∞t cıa con xúc x≠c
∑u ® xußt hiªn. Xác ‡nh kì vÂng cıa T.
6 k
Gi£i 21: a) P(Xn = k|Xn 1 = k) = 6k , P(Xn = k + 1|Xn 1 = k) = 6
.
b) Áp dˆng ‡nh lí 1.5.5 cho A = {6} ta ˜Òc ET = 14.7.
22. B§n An muËn s˜u t™p ı bÎ 10 hình rôbËt bên trong các gói bim bim. Gi£ s˚ trong
mÈi gói bim bim có úng mÎt hình rôbËt và xác sußt xußt hiªn cıa mÈi hình rôbËt
trong mÈi gói bim bim là ∑u b¨ng 0.1. GÂi ⌧ là tÍng sË hình rôbËt b§n An s h˙u
cho ∏n khi có ı bÎ 10 hình.
a) Tính kì vÂng và ph˜Ïng sai cıa ⌧.

b) Gi£ s˚ bÎ s˜u t™p gÁm m lo§i rôbËt. Ch˘ng minh r¨ng vÓi mÂi c > 0,
P(⌧ > dm log m + cme)  e c .
Gi£i 22. GÂi Xn là sË lo§i rôbËt khác nhau mà An s h˙u trong l¶n s˜u t™p th˘ n. Ta
có (Xn )n 0 là xích Markov vÓi không gian tr§ng thái I = {0, 1, . . . , 10}, X0 = 0 và
10 k k
P(Xn+1 = k + 1|Xn = k) = , P(Xn+1 = k|Xn = k) = , 0  k  10.
10 10
Ta thßy xích (Xn ) không gi£m vÓi 10 là tr§ng thái hßp thˆ.
GÂi ⌧k là tÍng sË lo§i rôbËt mà An có cho ∏n l¶n ¶u tiên An s˜u t™p ˜Òc úng k
lo§i rôbôt. Khi ó
⌧ = ⌧10 = (⌧10 ⌧9 ) + . . . + (⌧2 ⌧1 ) + ⌧1 .
Ta có ⌧k ⌧k 1 là bnn có phân phËi hình hÂc vÓi xác sußt thành công là (10 k + 1)/10.
Do ó E[⌧k ⌧k 1 ] = 10/(10 k + 1). V™y nên
10
X
E[⌧] = 10 k 1.
k=1
Ph˜Ïng sai cıa ⌧ ˜Òc xác ‡nh d¸a trên nh™n xét r¨ng áp dˆng tính chßt Markov
m§nh, ta có ⌧k ⌧k 1 Îc l™p vÓi ⌧l ⌧l 1 vÓi mÂi 1  l < k  10 (coi ⌧0 = 0).
Ti∏p theo, gÂi Ai là bi∏n cË lo§i rôbËt th˘ i chã xußt hiªn trong dm log m + cme hình
˜Òc s˜u t™p ¶u tiên. Ta có
m
X
m
P(⌧ > dm log m + cme) = P([i=1 Ai )  P(Ai )
i=1
⇣ m log m + cm ⌘
= m(1 m 1 )dm log m+cme  m exp = e c.
m
23. VÓi mÈi ma tr™n xác sußt chuy∫n sau, hãy xác ‡nh tr§ng thái hÁi qui, tr§ng thái
trans, lÓp liên thông óng cıa nó.
0 1 0 1
BB0.5 0.2 0.3 0 CC BB 0 0 0 0 1 CC
BB C BB C
BB 0 0.4
BB 0 0.6 0 CCCC BB 0
B 0 0.3 0 0.7CCCC
C B C
a) P = BBBB0.5 0 0.5 0 0 CCCC b) P = BBBB0.4 0.3 0.2 0.1 0 CCCC
BB C BB C
BB 0 0.5
B@ 0 0.5 0 CCCC BB 0 0.6 0 0.4 0 CCC
B CA
A @
0 0.3 0 0.2 0.5 0.5 0 0 0 0.5
0 1 0 1
BB0.2 0 0 0.3 0.5 0 CC BB0 0 0.3 0 0 0.7CC
BB C BB C
BB0.1 0.2
BB 0.2 0 0.5 0 CCCC BB0 0.8 0
B 0 0.2 0 CCCC
BB 0 0.1 C BB C
B 0.3 0 0 0.6CCCC BB0 0 0.8 0 0 0.2CCCC
c) P = BBB C d) P = BB B C.
BB0.2 0
BB 0 0.8 0 0 CCCC BB0 0.3 0.4 0.3 0
B 0 CCCC
BB 0 C BB C
BB 0 0 0.4 0 0.6CCC BB0 0.5 0 0 0.5 0 CCC
@ CA B@ CA
0 0 0 0 0.2 0.8 0 0 0.2 0 0 0.8
Gi£i 23: a) LÓp hÁi qui {2, 4}, lÓp nhßt thÌi là {1, 3} và {5}.
b)LÓp hÁi qui {2, 4}, lÓp nhßt thÌi là {1, 3} và {5}.
c) LÓp hÁi qui {1, 4, 5, 6}, lÓp nhßt thÌi là {2, 3}.
d) LÓp hÁi qui {5, 6}, {, 36}, lÓp nhßt thÌi là {1} và {4}.
24. Cho (Xn )n 0 là xích Markov tËi gi£n. Ch˘ng minh r¨ng n∏u tÁn t§i mÎt tr§ng thái i
nào ó sao cho pii > 0 thì xích là phi tu¶n hoàn.
25. Gi£ s˚ a và b là hai sË nguyên d˜Ïng. Xét xích Markov vÓi không gian tr§ng thái
I = {(x, y) : x 2 {0, . . . , a 1}, y 2 {0, . . . , b 1}},
và di chuy∫n theo qui lu™t nh˜ sau: N∏u t§i thÌi i∫m n xích  tr§ng thái (x, y) thì t§i
thÌi i∫m n + 1, xích chuy∫n ∏n tr§ng thái ((x + 1) mod a, y) ho∞c (x, (y + 1) mod b)
vÓi cùng xác sußt 1/2.
a) Ch˘ng minh r¨ng xích trên là tËi gi£n.

b) Ch˘ng minh r¨ng xích là phi tu¶n hoàn khi và chø khi a và b là hai sË nguyên tË
cùng nhau.
( x mod a là sË d˜ cıa x khi chia cho a.)
26. (Nguyên lí ph£n x§)
a) Gi£ s˚ (Xn )n 0 là du Îng ng®u nhiên Ïn gi£n Ëi x˘ng trên Z. GÂi
⌧0 = min{n 0 : Xn = 0}.
Ch˘ng minh r¨ng vÓi mÂi sË nguyên d˜Ïng j, k và r
Pk (⌧0 < r, Xr = j) = Pk (Xr = j),
và
Pk (⌧0 < r, Xr > 0) = Pk (Xr < 0).
b) Dãy bnn (Xn )n 0 nh™n giá tr‡ trên Z ˜Òc gÂi là du Îng ng®u nhiên Ïn gi£n l˜Ìi
n∏u nó có xác sußt chuy∫n xác ‡nh bi
pi,i+1 = pi,i 1 = 1/4, pii = 1/2.
Ch˘ng minh r¨ng hai Øng th˘c  ph¶n a) v®n còn úng.
Gi£i 26: Xét qtnn (Yn )n 0 ˜Òc xác ‡nh nh˜ sau:
8
> n∏u n  ⌧0
<Xn
>
Yn = >
>
: Xn n∏u n > ⌧0 .
Ta có (Yn )n 0 cÙng là Markov và có cùng phân phËi vÓi (Xn )n 0 . Do ó

Pk (⌧0 < r, Xr = j) = Pk (⌧0 < r, Yr = j) = Pk (Yr = j) = Pk (Xr = j).
Th∏ j = 1, 2, . . . vào hai v∏ cıa Øng th˘c trên và cÎng v∏ vÓi v∏ các Øng th˘c t˜Ïng
˘ng ta s≥ thu ˜Òc Øng th˘c c¶n ch˘ng minh th˘ hai.
27. Gi£ s˚ (Xn )n 0 là du Îng ng®u nhiên Ïn gi£n Ëi x˘ng trên Z. Ch˘ng minh r¨ng
vÓi mÂi sË nguyên d˜Ïng k và r,
a) Pk (⌧0 > r) = P0 ( k < Xr  k).

3
b) P0 (Xr = k)  p
r
.
12k
c) Pk (⌧0 > r)  p .
r
Gi£i 27: a) Dπ thßy Pk (Xr > 0) = Pk (Xr > 0, ⌧0  r) + Pk (⌧0 > r). Áp dˆng Bài t™p 26, ta
có Pk (Xr > 0) = Pk (Xr < 0) + Pk (⌧0 > r). Do tính Ëi x˘ng cıa du Îng ng®u nhiên,
Pk (Xr < 0) = Pk (Xr > 2k). V™y nên
Pk (⌧0 > r) = Pk (Xr > 0) Pk (Xr > 2k)
= Pk (0 < Xr  2k) = P0 ( k < Xr  k).
b) Ta có P0 (X2r = 2k) = Cr+k
2r
2 2r  Cr2r 2 2r , và P0 (X2r+1 = 2k+1) = Cr+k
2r
2 2r
 Cr2r+1 2 2r+1
.
4
Áp dˆng công th˘c Stirling ta suy ra i∑u ph£i ch˘ng minh.
c) ˜Òc suy ra tr¸c ti∏p t¯ a) và b).
28. a) Xác ‡nh phân phËi d¯ng cıa Xích Ehrenfest  Ví dˆ 1.2.3.
b) Xác ‡nh phân phËi d¯ng cıa xích Markov cßp hai  Ví dˆ 1.2.4.
1 1 3 1 1
Gi£i (28: a) ( 16 , 4 , 8 , 4 , 16 ). b) ( 12 , 16
3 3 1
, 16 , 8 ).
29. Xác ‡nh phân phËi d¯ng cıa các xích Markov có ma tr™n chuy∫n là:
0 1 0 1 0 1
BB0.5 0.4 0.1CC BB0.5 0.4 0.1CC BB0.6 0.4 0 CC
B C B C B C
a) P = BBBB0.2 0.5 0.3CCCC b) P = BBBB0.3 0.4 0.3CCCC c) P = BBBB0.2 0.6 0.2CCCC .
@ A @ A @ A
0.1 0.3 0.6 0.2 0.2 0.6 0 0.2 0.8
Gi£i 29: a) ( 11 , 19 , 17 ), b) ( 13 , 13 , 13 ), c) ( 15 , 25 , 25 ).
47 47 47
30. Xét xích Markov vÓi t™p tr§ng thái I = {0, 1, 2, . . .} và xác sußt chuy∫n
1⇣ 1 ⌘ 1⇣ 1 ⌘
pm,m+1 = 1 , vÓi m 0, pm,m 1 = 1 + , vÓi m 1,
2 m+2 2 m+2
và p00 = 1 p01 = 3/4. Xác ‡nh phân phËi d¯ng cıa X.
Gi£i 30: GÂi là phân phËi d¯ng, cÎng v∏ vÓi v∏ các ph˜Ïng trình trong hª = P
(n+1)(n+3) 3 0 P
ta ˜Òc n+1 = (n+2)(n+4) n . Do ó n = (n+1)(n+3) . Vì n n = 1 nên 0 = 4/9.
p 1 1
4 n+✏n n+1/2
Ta có n! = 2⇡e n trong ó 12n+1  ✏n  12n .
31. Xét xích Markov vÓi t™p tr§ng thái I = {1, 2, . . .} và xác sußt chuy∫n
pm,m+1 = m/(2m + 2) vÓi m 1

pm,m 1 = 1/2 vÓi m 2
pm,m = 1/(2m + 2) vÓi m 2,
và p11 = 1 p12 = 3/4. Ch˘ng minh r¨ng xích không có phân phËi d¯ng.
Gi£i 31: Gi£ s˚ là phân phËi d¯ng, cÎng v∏ vÓi v∏ các ph˜Ïng trình trong hª = P
P P
ta ˜Òc m+1 = m+1m
m vÓi mÂi m 1. Do ó m = m1 1 . Do m m = 1 nên 1 m m1 = 1.
Ph˜Ïng trình này vô nghiªm nên xích ã cho không có phân phËi d¯ng.
32. (Xích tuÍi)

Xét xích Markov vÓi t™p tr§ng thái I = {0, 1, . . .} và ma tr™n chuy∫n
pi,i+1 = 1 pi,0 = pi , 0  pi  1.
a) Xác ‡nh i∑u kiªn cıa (pn ) ∫ 0 là tr§ng thái hÁi qui.
b) Xác ‡nh i∑u kiªn cıa (pn ) ∫ 0 là tr§ng thái hÁi qui d˜Ïng.
c) Xác ‡nh phân phËi d¯ng.
Gi£i 32: GÂi Ti = inf{k 1 : Xk = i}. Ta có P0 (T0 = 1) = P0 (X1 = 0) = 1 p0 và vÓi mÂi

k 2, P0 (T0 = k) = P0 (X1 = 1, X2 = 2, . . . , Xk 1 = k 1, Xk = 0) = p0 . . . pk 2 (1 pk 1 ).
P
Theo ‡nh lí 1.7.3, tr§ng thái 0 là hÁi qui n∏u P0 (T0 < 1) = 1, t˘c là k 1 P0 (T0 = k) =
Q Q
1 k 0 pk = 1 hay k 0 pk = 0.
P P Q
Tr§ng thái 0 là hÁi qui d˜Ïng n∏u E0 (T0 ) < 1, t˘c là k 1 kP0 [T0 = k] = k 1 kj=0 p j <
1.
P
Gi£ s˚ = ( i ) là phân phËi d¯ng. Ta có i = pi 1 i 1 vÓi mÂi i 1 và 0 = j j (1
Q
p j ). Suy ra n = 0 p0 . . . pn 1 vÓi mÂi n 1 và 0 = 0 (1 j 0 p j ). Do ó hª có phân
P Qk
phËi d¯ng n∏u ⇤ = k 1 j=0 p j < 1 và khi ó n = p0 . . . pn 1 /⇤.
33. (Xích Íi mÓi)

Xét xích Markov vÓi t™p tr§ng thái I = {0, 1, . . .} và ma tr™n chuy∫n
pi,i 1 = 1 vÓi i > 0, và p0,k = pk , 0 < pk < 1.
Ch˘ng minh r¨ng xích luôn hÁi qui. Xác ‡nh i∑u kiªn cıa (pn ) ∫ xích là hÁi qui
d˜Ïng.
Gi£i 33: Dπ ki∫m tra xích là tËi gi£n. HÏn n˙a P0 (T0 = k) = P0 (X1 = k 1, X2 =
P P
k 2, . . . , Xk = 0) = pk 1 . Do v™y k P0 (T0 = k) = k pk = 1 < 1 nên xích là hÁi qui.
Xích là hÁi qui d˜Ïng n∏u
X
E0 (T0 ) = kpk 1 < 1.
k
34. MÎt con châu chßu nh£y qua l§i trên 8 ønh cıa hình l™p ph˜Ïng ABCDA0 B0 C0 D0
theo qui lu™t sau: t§i mÈi l¶n nh£y, nó di chuy∫n tÓi mÎt trong ba ønh k∑ vÓi ønh
nó ang ˘ng vÓi cùng xác sußt 1/3 và Îc l™p vÓi nh˙ng l¶n nh£y tr˜Óc ó cıa nó.
Gi£ s˚ con châu chßu xußt phát t¯ A, tính:
a) trung bình tÍng sË l¶n nh£y cho ∏n khi nó tr v∑ A l¶n ¶u tiên.
b) trung bình tÍng sË l¶n ∏n C0 tr˜Óc khi nó tr v∑ A l¶n ¶u tiên.
c) trung bình tÍng sË l¶n nh£y cho ∏n khi nó ∏n C0 l¶n ¶u tiên.
35. Gi£ s˚ (Xn ) là du Îng ng®u nhiên Ïn gi£n trên Z nh˜  mˆc 1.8.1 vÓi 0 < q < p < 1.
∞t T = inf{n : Xn = 0} và hi = Pi (T < 1). Hãy xác ‡nh hi .
Gi£i 35: hi = 1 vÓi i 0 và = (p/q)i vÓi i < 0.
36. Gi£ s˚ P là ma tr™n ng®u nhiên trên t™p h˙u h§n I. Ch˘ng minh r¨ng phân phËi ⇡ là
bßt bi∏n Ëi vÓi P khi và chø khi ⇡(I P + A) = a, trong ó A = (ai j : i, j 2 I) th‰a mãn
ai j = 1 vÓi mÂi i, j và a = (ai , i 2 I) vÓi ai = 1 vÓi mÂi i 2 I. Ch˘ng t‰ r¨ng n∏u P là tËi
gi£n thì I P + A là kh£ ngh‡ch.
Gi£i 36: Gi£ s˚ P tËi gi£n, do không gian xác sußt có h˙u h§n tr§ng thái nên theo
‡nh lí 1.7.6 xích là hÁi qui. L§i áp dˆng ‡nh lí 1.9.6 ta có P có phân phËi d¯ng nên
theo ‡nh lí 1.9.9, xích là hÁi qui d˜Ïng và phân phËi d¯ng là duy nhßt. Xét ma tr™n
chuy∫n Q = (qi j ) vÓi qi j = p ji . Ta có Q cÙng là tËi gi£n, hÁi qui d˜Ïng và có phân phËi
d¯ng duy nhßt. Gi£ s˚ tÁn t§i véc tÏ (cÎt) x , 0 sao cho (I P + A)x = 0, khi ó ax = 0,
suy ra x = Px hay x = xQ. i∑u này mâu thu®n vÓi tính duy nhßt cıa phân phËi
d¯ng.
37. (Mô hình tán x§ Bernoulli-Laplace)

Cho b qu£ bóng en và 2m b qu£ bóng tr≠ng vào hai hÎp sao cho mÈi hÎp ch˘a
úng m bóng. Ta nói r¨ng hª  tr§ng thái i n∏u trong hÎp th˘ nhßt có i bóng en,
m i bóng tr≠ng. Ng˜Ìi ta l¶n l˜Òt chuy∫n bóng gi˙a hai hÎp nh˜ sau: chÂn ra ng®u
nhiên t¯ mÈi hÎp mÎt bóng và hoán Íi v‡ trí cıa chúng. GÂi Xn là tr§ng thái cıa hª
sau n l¶n chuy∫n. Ch˘ng minh r¨ng (Xn ) là xích Markov, xác ‡nh ma tr™n chuy∫n và
phân phËi d¯ng cıa nó.
Gi£i: Phân phËi d¯ng là
⇡(i) = Cib Cm i m
2m b /C2m .
38. An ánh sË n quy∫n sách cıa mình t¯ 1 ∏n n rÁi x∏p chúng lên mÎt giá n¨m ngang.
MÈi tËi An lßy ng®u nhiên mÎt quy∫n ra Âc rÁi x∏p l§i quy∫n sách ó vào v‡ trí ¶u
tiên bên trái cıa giá. Gi£ s˚ xác sußt An chÂn quy∫n sách th˘ i mÈi l¶n ∑u b¨ng pi .
Tr§ng thái Xk cıa giá sách  sáng ngày th˘ k là th˘ t¸ t¯ trái qua ph£i cıa n quy∫n
sách  trên giá. Ch˘ng t‰ r¨ng dãy (Xk ) có phân phËi d¯ng là
pi2 pi3 pin
⇡(i1 , . . . , in ) = pi1 ... ,
1 pi1 1 pi1 pi2 1 pi1 ... pin 1
trong ó (i1 , . . . , in ) là mÎt hoán v‡ cıa (1, 2, . . . , n).
39. MÎt nghiên c˘u v∑ y t∏ cho thßy sau mÈi n´m, 25% sË ng˜Ìi hút thuËc s≥ b‰ trong
khi 75% sË ng˜Ìi còn l§i ti∏p tˆc hút. Trong sË nh˙ng ng˜Ìi không hút thuËc thì s≥
có 8% chuy∫n sang hút  n´m ti∏p theo. N∏u có 20% dân sË hút thuËc  n´m 2012
thì tø lª ng˜Ìi hút  n´m 2015, 2020 s≥ là bao nhiêu. Xác ‡nh tø lª ng˜Ìi hút thuËc
trong t˜Ïng lai xa.
8 8
Gi£i 39: GÂi Xn là tø lª ng˜Ìi hút thuËc t§i n´m 2012 + n. Ta có Xn = 33
+ (0.2 33
)0.67n .
40. Gi£ s˚ (Yn )n 1 là dãy bnn Îc l™p, cùng phân phËi và nh™n giá tr‡ trên t™p {1, 2, . . .}.
Gi£ s˚ r¨ng t™p tßt c£ các sË nguyên n th‰a mãn P(Y1 = n) > 0 có ˜Óc sË chung lÓn
nhßt b¨ng 1. ∞t µ = E(Y1 ) và
Xn = inf{m n : m = Y1 + . . . + Yk vÓi k 0 nào ó } n.
Ch˘ng minh r¨ng (Xn )n 0 là xích Markov và xác ‡nh limn!1 P(Xn = 0).
Ch˘ng t‰ r¨ng
lim P(n = Y1 + . . . + Yk vÓi k 0 nào ó } = 1/µ.

n!1
Gi£i 40: Ta có 8
> 1 n∏u Xn > 0
<X n
>
Xn+1 =>
>
:Yk 1 n∏u Xn = 0.
V™y nên (Xn ) là xích Markov vÓi ma tr™n chuy∫n cho bi
p0i = P(Y = i + 1), p ji = j 1,i 8j 1.
Do t™p giá tr‡ cıa Y có ˜Óc chung lÓn nhßt b¨ng 1 nên xích (Xn ) là phi tu¶n hoàn. Gi£
s˚ (⇡i ) là phân phËi d¯ng cıa (Xn ), khi ó (⇡i ) là nghiªm cıa hª
⇡i = ⇡0 p0i + ⇡i+1 , i = 0, 1, . . .
P
Do v™y ⇡i+1 = ⇡0 (1 p00 p01 . . . p0i ) = ⇡0 P(Y > i + 1). Mà 1 = i ⇡i = ⇡0 (1 + P(Y >
1) + P(Y > 2) + . . .) = ⇡0 E(Y) = µ⇡0 nên ⇡0 = 1/µ. Áp dˆng ‡nh lí 1.10.5 ta ˜Òc
limn!1 P(Xn = 0) = ⇡0 = 1/µ.

QTNN NgoHoangLong PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

QTNN NgoHoangLong PDF

Uploaded by

Copyright:

Available Formats

Giáo trình Nh™p môn

Lí thuy∏t Quá trình Ng®u nhiên

Ngô Hoàng Long

Ngày 25 tháng 2 n´m 2015

1 Xích Markov thÌi gian rÌi r§c 2

Xích Markov thÌi gian rÌi r§c

1.1 Khi Îng

1.2 ‡nh nghæa xích Markov

i = P(X = i) = P({w : X(w) = i}),

i) X0 có phân phËi , t˘c là

P(Xn+1 = in+1 |X0 = i0 , . . . , Xn = in ) = P(Xn+1 = in+1 |Xn = in ) = pin in+1

vÓi mÂi n 0 và i0 , . . . , in+1 2 I.

P(Xn+1 = i + 1|X0 = i0 , . . . , Xn 1 = in 1 , Xn = i) = 0.4

p(i, i) = 0.6; p(i, i + 1) = 0.4; p(i, j) = 0 8 j , i, i + 1; i = 0, 1, . . .

Xích (Xn ) có th∫ mô t£ bi bi∫u Á sau:

0.6 0.6 0.6 0.6

0.4 0.4 0.4 0.4 ...

0.4 0.4 0.4 0.4 ...

Ví dˆ 1.2.3 (Xích Ehrenfest).

và P cÙng có th∫ ˜Òc xác ‡nh bi bi∫u Á sau:

1 3/4 2/4 1/4

Ch˘ng minh. a) Gi£ s˚ (Xn )0nN là Markov( , P), khi ó

P(X0 = i0 , X1 = i1 , . . . , Xn = in ) = i0 pi0 i1 . . . pin 1 in

vÓi mÂi n = 0, 1, . . . , N. ∞t biªt ta có P(X0 = i0 ) = i0 vÓi mÂi i0 2 I và vÓi mÈi n =

P({Xm = im , . . . , Xm+n = im+n } \ A|Xm = i) = iim pim im+1 . . . pim+n 1 im+n

Tr˜Óc h∏t ta xét các t™p sÏ cßp A có d§ng

Khi ó Øng th˘c (1.2) tr thành

P(X0 = i0 , . . . , Xm+n = im+n , i = im )/P(Xm = i)

Ti∏p theo ta áp dˆng Øng th˘c (1.2) cho A = ⌦, ta ˜Òc

1.3 Ma tr™n chuy∫n

(ii) Pi (Xn = j) = P(Xn+m = j|Xm = j) = p(n)

Theo ‡nh lí này, ta s≥ gÂi p(n)

trong ó Øng th˘c cuËi cùng suy ra t¯ công th˘c (1.4). Do ó

Ta ˜Òc i∑u ph£i ch˘ng minh. ⇤

Ch˘ng minh. Theo ‡nh nghæa xác sußt i∑u kiªn, ta có

trong ó Øng th˘c th˘ ba suy ra t¯ tính Markov và Hª qu£ 1.3.2. ⇤

Sau ây ta trình bày mÎt sË ph˜Ïng pháp tính p(n)

Ví dˆ 1.3.4 (Mô hình Markov hai tr§ng thái).

Áp dˆng ph˜Ïng trình C-K, ta ˜Òc

Ví dˆ 1.3.5 (Mô hình Markov ba tr§ng thái).

Xét xích Markov xác ‡nh bi bi∫u Á sau:

Ma tr™n chuy∫n cıa xích là

Sau ây ta i tìm p(n) 11

B˜Óc 2: Tìm p(n)

vÓi các h¨ng sË a1 , . . . , aN không phˆ thuÎc n.)

B˜Óc 3: Chuy∫n bi∫u th˘c tÍng quát cıa p(n)

B˜Óc 4: Tính p(n)

1.4 Phân lÓp tr§ng thái xích Markov

Xét xích Markov có ma tr™n chuy∫n

0.2 1 p 0.2 0.2 0.5

1.5 ThÌi i∫m ch§m và xác sußt hßp thˆ

HA (w) = inf{n 0 : Xn (w) 2 A},

hAi = Pi (HA < 1).

Ví dˆ 1.5.1 (Du Îng ng®u nhiên vÓi biên hßp thˆ).

Xét xích (Xn ) cho bi bi∫u Á sau:

P(H{4} < 1|X1 = r, X0 = 2)P(X1 = r, X0 = 2)

Theo ‡nh lí 1.2.6,

Pi (HA < 1|X1 = j) = P j (HA < 1) = hAj ,

L∞p l§i bi∏n Íi trên, sau n b˜Óc ta thu ˜Òc

Do ó xi Pi (HA  n) vÓi mÂi n. Cho n ! 1, ta ˜Òc xi Pi (HA < 1) = hi vÓi mÂi

V™y hª (1.7) không ı ∫ xác ‡nh h(4) 1

Ví dˆ 1.5.3 (TÍn thßt khi chÏi b§c).

Xác sußt chuy∫n cıa xích là