Professional Documents
Culture Documents
Cadenas de Markov
PROCESOS ESTOCÁSTICOS
Para cada posible valor del estado inicial s1 y para cada uno de los sucesivos
valores sn de los estados Xn , n = 2, 3, . . ., especificamos:
103
104 Cadenas de Markov
CADENAS DE MARKOV
⇓
La probabilidad del estado futuro Xn+1
Es decir,
♣ Para n = 1, 2, . . . y
= P (Xn+1 = sn+1 | Xn = sn )
Cadenas de Markov 105
EJEMPLO
PROBABILIDAD DE TRANSICIÓN
Es la probabilidad condicionada
P (Xn+1 = sj | Xn = si )
MATRIZ DE TRANSICIÓN
MATRIZ ESTOCÁSTICA
Es una matriz cuadrada cuyos elementos son no negativos y tal que la
suma de los elementos de cada fila es igual a 1.
EJEMPLO
Supongamos que el clima de una determinada región sólo puede ser soleado
(s1) o nublado (s2 ) y que las condiciones del clima en mañanas sucesivas forman
una cadena de Markov con probabilidades de transición estacionarias. La matriz
de transición está dada por:
µ ¶
0.7 0.3
P =
0.6 0.4
Si un día concreto está nublado, ¿cuál es la probabilidad de que esté nublado
el día siguiente?
p22 = 0.4
108 Cadenas de Markov
⇓
(2)
¥ pij : Elemento de la i−ésima fila y j−ésima columna de la matriz P 2
¥ P m : Potencia m−ésima de P , con (m = 2, 3, . . .) y
(m)
F pij : Elemento de la fila i y de la columna j de la matriz P m
GENERALIZANDO
(m)
P m es la matriz de probabilidades pij de que la cadena pase del estado si
al estado sj en m pasos; para cualquier valor de m, (m = 2, 3, . . .).
EJEMPLO
En el ejemplo del clima con matriz de transición
µ ¶
0.7 0.3
P =
0.6 0.4
Si un miércoles está nublado, ¿cuál es la probabilidad de que el viernes
siguiente haga sol?
¥ Calculamos la matriz de transición en dos pasos,
µ ¶
0.67 0.33
2
P =
0.66 0.34
=⇒ Probabilidad pedida es 0.66
Cadenas de Markov 109
N wi ≥ 0 para i = 1, . . . , k, y
k
X
N wi = 1.
i=1
EJEMPLO
Solución
EJEMPLO
Matriz de transición P
0.1 0.4 0.2 0.1 0.1 0.1
0.2 0.3 0.2 0.1 0.1 0.1
0.1 0.2 0.3 0.2 0.1 0.1
P =
0.1 0.1 0.2 0.3 0.2 0.1
0.1 0.1 0.1 0.2 0.3 0.2
0.1 0.1 0.1 0.1 0.4 0.2
0.14 0.23 0.2 0.15 0.16 0.12
0.13 0.24 0.2 0.15 0.16 0.12
0.12 0.2 0.21 0.18 0.17 0.12
P2 =
0.11 0.17 0.19 0.2 0.2 0.13
0.11 0.16 0.16 0.18 0.24 0.15
0.11 0.16 0.15 0.17 0.25 0.16
0.123 0.208 0.192 0.166 0.183 0.128
0.124 0.207 0.192 0.166 0.183 0.128
0.120 0.197 0.192 0.174 0.188 0.129
P3 =
0.117 0.186 0.186 0.179 0.199 0.133
0.116 0.181 0.177 0.176 0.211 0.139
0.116 0.180 0.174 0.174 0.215 0.141
SUPUESTO PRÁCTICO DE
CADENA DE MARKOV
¥ Estados
Los posibles estados son: 1, 2, 3, 4, 5 y 6
Conocido el presente,
el futuro no depende del pasado
⇓
Se cumple la condición de Markov
⇓
Es una cadena de Markov
¥ Probabilidades de transición
Matriz de transición
p11 p12 p13 p14 p15 p16
p21 p22 p23 p24 p25 p26
p31 p32 p33 p34 p35 p36
p41 p42 p43 p44 p45 p46
p51 p52 p53 p54 p55 p56
p61 p62 p63 p64 p65 p66
116 Cadenas de Markov
Desde el estado 1
Desde el estado 2
Desde el estado 3
Desde el estado 4
Desde el estado 5
Desde el estado 6
⇓
las probabilidades de transición son estacionarias
¥ Matriz de transición
p11 p12 0 p14 0 0
p21 p22 0 0 0 0
0 0 p33 0 0 p36
P =
p41 0 0 p44 0 0
0 0 0 0 p55 p56
0 0 p63 0 p65 p66
P2
Desde el estado 1
120 Cadenas de Markov
vP = ([p1 p11 + p2p21 + p4 p41 ], [p1 p12 + p2p22], [p3 p33 + p6 p63 ],
[p1 p14 + p4 p44 ], [p5 p55 + p6p65], [p3p36 + p5 p56 + p6p66])
CASO A
Desde el estado 1
Desde el estado 2
Desde el estado 3
Desde el estado 4
Desde el estado 5
Desde el estado 6
¥ Matriz de transición
1/3 1/3 0 1/3 0 0
1/2 1/2 0 0 0 0
0 0 1/2 0 0 1/2
P =
1/2 0
0 1/2 0 0
0 0 0 0 1/2 1/2
0 0 1/3 0 1/3 1/3
1
F P [estar en la celda 1 en el instante 1] =
6
1
F P [estar en la celda 2 en el instante 1] =
6
1
F P [estar en la celda 3 en el instante 1] =
6
1
F P [estar en la celda 4 en el instante 1] =
6
124 Cadenas de Markov
1
F P [estar en la celda 5 en el instante 1] =
6
1
F P [estar en la celda 6 en el instante 1] =
6
µ ¶
2 5 5 5 5 2
vP = , , , , ,
9 36 36 36 36 9
2 5
P [ Celda 1 en el instante 2] = P [ Celda 2 en el instante 2] =
9 36
5 5
P [ Celda 3 en el instante 2] = P [ Celda 4 en el instante 2] =
36 36
5 2
P [ Celda 5 en el instante 2] = P [ Celda 6 en el instante 2] =
36 9
CASO B
¥ Matriz de transición
1/3 1/3 0 1/3 0 0
1/2 1/2 0 0 0 0
0 0 1/2 0 0 1/2
P =
1/2 0
0 1/2 0 0
0 0 0 0 1/2 1/2
0 0 1/3 0 1/3 1/3
¥ En el instante 2: Calculamos vP
CASO C
¥ Matriz de transición
1/7 2/7 0 4/7 0 0
1/3 2/3 0 0 0 0
0 0 3/9 0 0 6/9
P =
1/5 0
0 0 4/5 0
0 0 0 0 5/11 6/11
0 0 3/14 0 5/14 6/14
µ ¶
1 1 1 1 1 1
v= , , , , ,
6 6 6 6 6 6
1 1
P [Celda 1 en el instante 1] = P [Celda 2 en el instante 1] =
6 6
1 1
P [Celda 3 en el instante 1] = P [Celda 4 en el instante 1] =
6 6
1 1
P [Celda 5 en el instante 1] = P [Celda 6 en el instante 1] =
6 6
Cadenas de Markov 127
¥ En el instante 2: Calculamos vP
µ ¶
71 10 23 8 125 379
vP = , , , , ,
630 63 252 35 924 1386
71 10
P [Celda 1 en el instante 2] = P [Celda 2 en el instante 2] =
630 63
23 8
P [Celda 3 en el instante 2] = P [Celda 4 en el instante 2] =
252 35
125 379
P [Celda 5 en el instante 2] = P [Celda 6 en el instante 2] =
924 1386
Bibliografía utilizada:
F D.R. Cox, H.D. Miller (1970). “The Theory Stochastic Processes”. Methuen.