Professional Documents
Culture Documents
Markov Ss
Markov Ss
Stochastic process
Memoryless
A DTMC is a discrete time and memoriless discrete event
stochastic process.
2
1 Introduction
2 What is a Markov Chain?
3 n-Step Transition Probabilities
4 Classification of States in a Markov Chain
Definition : a stochastic process with discrete state space and discrete time {Xn, n > 0}
is a discrete time Markov Chain (DTMC) iff
In a DTMC, the past history impacts on the future evolution of the system via the
current state of the system
4
Example: a mouse in a maze
1/2 1/2
1 0 start
1/2
1/4 1/2
1/4
1
1/4
2 3 4
1
1/4
exit 5
1
• Let {Xn}n=0, 1, 2, ... the position of the mouse after n rooms visited
• Assume that the mouse does not have any memory of rooms visited previously.
5
transition matrix مصفوفة االنتقال
Stage (t) Stage (t + 1)
State I Pij State j (with prob. Pij)
0 1 2 ... j ... m
0 P00 P0j
1 P10 P1j
Rows are given 2 P20 P2j
in this stage =
Rows sum to 1
i Pi0 Pij
m Pm0 Pmj Pmm
6
Homogeneous
exit 5
1
• What is the probability that the mouse is still in room 0 at time 4? (p00(4))
10
Classification of Discrete Time Markov Chains
نقول عن حالة أنها غير معزولة ( Reachableممكنة الوصول () )accessible •
إذا كان هناك حالة ما j,وكان هناك طرٌق من الحالة Jإلى الحالة i.
وإذا كان هناك طرٌق آخر من iعودة إلى jنقول عن هاتٌن الحالتٌن أنهما •
تتواصالن Communicate
عندما تكون كل حاالت السلسلة غٌر معزولة عن بعضهاٌ ,كون البٌان الممثل مرتبط •
بقوة .strongly connected
العقدة الماصة هً عقدة ال ٌخرج منها أي أسهم •
الحالة الماصة Absobingنقول عن حالة أنها ماصة إذا كانت العقدة التً تمثلها •
فً البٌان هً عقدة ماصة
نقول عن حالة 𝑖 انها تعاودية/متكررة ( )recurrentاذا كان
∀𝑗 ∈ 𝑆, ∃𝑛 ∈ 𝑁 + ; 𝑟𝑖𝑗 𝑛 > 0 ⟹ 𝑟𝑗𝑖 𝑛 > 0
إذا كان زمن العودة للمرة األولى إلى Iمنذ الخروج منها T
إذا كان التوقع الرٌاضً لهذا الزمن محدودا ,فالحالة تعاودٌة موجبة positive recurrent
أما إن كان ال نهائٌا فهً تكاودٌة معدومة null recurrent
نقول عن حالة 𝑖 انها عابرة ( )transientإن لم تكن حالة تعاودٌة
• الدورية ( )Periodicityالصفوف التعاودية
ممكن للصفوف التعاودٌة ان تكون دورية ( )Periodicأو ال دورية ()Aperiodic
• دور صف هو نمط ( )patternالتكرار الزمنً لحاالته
ٌمكن تجمٌع الحاالت التعاودٌة فً صفوف بحٌث ٌحوي كل صف كل الحاالت التعاودٌة
الممكن الوصول إلٌها من بعضها بعض
Classification of states
• Let fjj be the probability of returning to state j after leaving j.
13
Irreducible Markov chain
• A DTMC is said irreducible iff a state j can be reached in a finite number
of steps from any other state i.
14
Irreducble Markov chain
15
Periodic Markov chain
16
Classification of irreducible sub-chains
transcient sub-
chain
absorbing sub-
chain
absorbing sub-
chain
17
Probability distribution of states
18
Transient state equations
Property:
Let P be the transition matrix of a markov chain and p(0) the initial distribution,
then over the state space at time n
p(n+1) = p(n)P
p(n)= p(0)Pn
19
Theorem Steady state distribution
For a irreducible and aperiodic DTMC (Discrete Time Markov Chains)
with positive recurrent states, the distribution p(n) converges to a limit vector
p which is independent of p(0) and is the unique solution of the system:
p p P
p 1
iE
i Normalization equation
p j p i pij , j E
iE balance equation
p i 1 equilibrium equation
iE
• pi are also called stationary probabilities (also called steady state or
equilibrium distribution).
• For an irreducible and periodic DTMC, pi are the percentage of time spent in
state i
20