CADENAS DE MARKOV

1. Definición de procesos estocásticos
Sucesión de eventos que se desarrolla en el tiempo, en el cual el resultado
en cualquier estado contiene algún elemento que depende del azar
Ejemplo 2.1
X
t
= Condiciones de tiempo en la ciudad de Ica
Ejemplo 2.2
X
t
= El valor de venta del kilogramo de pollo cada semana.
Ejemplo 2.3
X
t
= Lanzamiento de una moneda.
1. Definición de procesos estocásticos
En el caso del lanzamiento de una moneda, el resultado en cualquier
etapa es independiente de todos los resultados previos.
En los casos de la condición del clima y del precio de venta de la
carne de aves, su estado en un tiempo determinado no es aleatorio
por completo, sino que es afectado en cierto grado por el tiempo de
días previos. No obstante la sucesión es tan compleja que dicho
comportamiento cambia día a día de una manera que en apariencia
es algo aleatorio.
Por lo mencionado, decimos que un proceso estocástico discreto en
el tiempo es la relación entre variables aleatorias.
Xi Xj
Relación
1. Definición de procesos estocásticos
Ejemplo 2.4
X
t
= Temperatura registrada en cada día del año en la
ciudad de Lima.
Ejemplo 2.5
X
t
= Cantidad de alumnos que egresan semestralmente
en la especialidad de ingeniería industrial.
Ejemplo 2.6
X
t
= Número de alumnos que asisten a cada clase de IO2.
Caso 1: El estado del tiempo
• Ud. sabe que el día 23 de noviembre fue un día soleado y la
probabilidad de que el día siguiente lloviera fue de un 36%.
23 / 10
24 / 10 36%
19 / 05 20/ 05
¿ p ?
Caso 2: La ruina del jugador
 Cierto juego tiene las siguientes características:
• Se dispone de $3 para jugar.
• Se apuesta $1 por jugada.
• En cada jugada se gana $1 o se pierde $1 (no hay empate).
• Se gana $1 con probabilidad p y se pierde $1 con probabilidad 1 – p.
• La meta es tener la máxima cantidad de dinero posible.
• El juego termina cuando se llega a $5 o cuando el capital se reduce a $0.
Caso 2: La ruina del jugador
Se define X
t
como el capital al final del juego en el tiempo t.
Sabemos que:
 X
0
= 3 (constante)
 X
1
, X
2
y las demás X
t
son desconocidas (VA)
Se puede considerar que X
0
, X
1
, X
2
, X
3
, .... X
t
son procesos
estocásticos de tiempo discreto.
P =
2
3
4
0
1
1-p
0
0
0
1
0
0
1-p
0
0
2
0
p
0
1-p
0
3
0
0
p
0
1-p
4
0
0
0
p
0
1
0
1 juego
5 0 0 0 0 0
5
0
0
0
0
p
1
P =
2
3
4
0
1
1-p
0
0
0
1
0
0
1-p
0
0
2
0
p
0
1-p
0
3
0
0
p
0
1-p
4
0
0
0
p
0
1
0
1 juego
5 0 0 0 0 0
5
0
0
0
0
p
1
Caso 2: La ruina del jugador
Gráficamente
0
1
2
3 4
1
1-p
p
1-p
p
p
1-p
5
1
1-p
p
Caso 2: La ruina del jugador
Usando diagramas de árbol:
3
2
4
1 juego 1 juego 1 juego
1
3
3
5
0
2
2
4
2
4
1-p
pierde
gana
2 juegos
Xo= es el capital inicial del
jugador igual a $3
En cada jugada gana o pierde $1
con probabilidad de p o 1-p
respectivamente
El juego termina cuando alcanza
su meta que es tener $5 o pierde
todo
3
Xo X1 X2 X3
Caso 2: La ruina del jugador
2
3
4
0
1
1-p
(1-p)
2
0
0
1
0
p(1-p)
0
(1-p)
2
0
2
0
0
2p(1-p)
0
(1-p)
2
3
0
p
2
0
2p(1-p)
0
4
0
0
p
2
0
p(1-p)
1
0
2 juegos
5 0 0 0 0 0
5
0
0
0
p
2
p
1
0
1
2
3 4
1
1-p
5
1
P
2
= P*P =
p(1-p)
(1-p)
2
2p(1-p)
p
2
(1-p)
2
p
2
p
2
2p(1-p)
(1-p)
2
p(1-p)
2. Definición de Cadenas de Markov
El proceso estocástico de tiempo discreto puede estar en uno de un
número finito de estados identificados por 1, 2,...,s.

Un proceso estocástico de tiempo discreto es una CADENA DE
MARKOV sí, para t = 0,1,2,... y todos los estados,
P(X
t+1
=i
t+1
/X
t
=i
t
) =
P(X
t+1
=i
t+1
/X
0
=i
0
, X
1
=i
1
,...X
t-1
=i
t-1
, X
t
=i
t
)

Además para todos los estados i y j y toda t, P(X
t+1
=j / X
t
=i) es
independiente de t. Esta hipótesis permite escribir:
p
ij
= P(X
t+1
=j / X
t
=i)
2. Definición de Cadenas de Markov
Con frecuencia se llaman probabilidades de transición a las p
ij
en
una cadena de Markov.

La ecuación: p
ij
= P(X
t+1
=j / X
t
=i)

Indica que la ley de probabilidad que relaciona el estado del siguiente
período con el estado actual no cambia, o que permanece
estacionaria en el tiempo.

Toda cadena de Markov que cumple con esta condición se llama
cadena estacionaria de Markov.
2. Definición de Cadenas de Markov
Se necesita saber las probabilidades de encontrar la
cadena en el estado i en el tiempo “0”, es decir, P(X
0
=i) = q
i
Al vector q = [q
1
q
2
.....q
n
] se le llama vector
de condiciones iniciales o distribución
inicial de probabilidad.
Σ
j=1,n
q
j
= 1
2. Definición de Cadenas de Markov
Las probabilidades de transición se presentan como una matriz P de
probabilidad de transición s x s. La matriz de probabilidad de transición
se puede escribir como:
1 2 3 ... S
1 p
11
p
12
p
13
... p
1s
2 p
21
p
22
p
23
... P
2s
P = 3 p
31
p
32
p
33
... P
3s
... ... ... ... ... ...
S p
s1
p
s2
p
s3
... p
ss
Dado que el estado es i en el tiempo t, el proceso debe estar en algún
lugar en el tiempo t+1. Esto significa que para cada i:
Σ
j=1,s
P(X
t+1
=j / X
t
=i) = Σ
j=1,s
p
ij
= 1
(p
ij
> 0)
Período de Transición
2. Definición de Cadenas de Markov
Elementos de una Cadena de Markov:

1. Estados del Sistema: X
(t)
2. Período de Transición
3. Probabilidades de Transición  Matriz de probabilidades
4. Distribución inicial de probabilidad
CADENAS DE MARKOV
• IMPORTANCIA:
Permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado.
Permite encontrar el promedio a la larga o las probabilidades de
estado estable.
APLICACIONES
• Biología (Comportamiento de moléculas y
predicción de comportamientos).

• Genética y Paleontología (Evolución de las
especies).
• Marketing (Identificar patrones de
comportamiento de clientes).
• Gobierno (Efecto de Políticas
Gubernamentales).
Ejemplos (Cadenas de Markov)
Ejemplo 1
Supongamos, que en Lima, si un día está nublado, el
65% del tiempo será nublado al día siguiente y que si un
día está soleado, con probabilidad 38% será soleado al
día siguiente. Hallar la Matriz de Transición.
62%
35%
65%
38%
Cadena de Markov con 2 estados
s
0.38
0.35
n
0.62
0.65 n
s
Ejemplos (Cadenas de Markov)
Ejemplo 2 Cadena de Markov con 3 estados
Supongamos que el estado de ánimo de Enzo puede ser, alegre, triste o
molesto. Si está alegre, habrá una probabilidad de 80% de que siga
alegre al día siguiente y 15% de que esté triste. Si está triste, 30% de
que siga triste y 50% de que esté molesto. Y, si está molesto, 80% de
que no siga molesto y 50% de que esté alegre al día siguiente. Hallar la
Matriz de Transición.
30%
80%
20%
M
A
0.80
0.20
0.50

T
0.15
0.30
0.20
M
0.05
0.50
0.30
T
A
Ejemplos (Cadenas de Markov)
Ejemplo 3 Cadena de Markov con 4 estados
Considere el siguiente modelo para el valor de una acción. Si la acción
sube o no mañana depende de si subió o no hoy y ayer. Si la acción subió
hoy y ayer , mañana subirá con probabilidad “a”. Si la acción subió hoy y
ayer bajó, mañana subirá con probabilidad “b”. Si la acción bajó hoy y
ayer subió, la probabilidad de que suba mañana es “c”. Por último, si la
acción bajó hoy y ayer, la probabilidad de que suba mañana es “d”.
Determine la matriz de transición de un paso para la cadena de Markov.
SS
a
SB
BB
BS
1

-

b

1 - d
BS
BB
SS
a
0
b

0
SB
1-a
0
1-b
0

BS
0
c
0
d
BB
0
1-c
0
(1-d)
SB
SS
Ejemplo: línea telefónica
 Sea una línea telefónica de estados
ocupado=1 y desocupado=0. Si en el
instante t está ocupada, en el instante t+1
estará ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el
instante t está desocupada, en el t+1 estará
ocupada con probabilidad 0,1 y desocupada
con probabilidad 0,9.
Ejemplo: línea telefónica
|
|
.
|

\
|
=
7 , 0 3 , 0
1 , 0 9 , 0
Q
0 1
0,9
0,1
0,3
0,7
Ejemplo: Lanzamiento de un
dado
 Se lanza un dado repetidas veces. Cada vez
que sale menor que 5 se pierde 1 €, y cada
vez que sale 5 ó 6 se gana 2 €. El juego
acaba cuando se tienen 0 € ó 100 €.
 Sea X
t
=estado de cuentas en el instante t.
Tenemos que { X
t
} es una CM
 S={0, 1, 2, …, 100}

Ejemplo: Lanzamiento de un
dado
0 1 2 3
2/3

1
4 5

2/3 2/3 2/3 2/3 2/3
1/3 1/3 1/3 1/3
>100 99 98 97
1
2/3 2/3
1/3 1/3
2/3
1/3
1/3
1/3



Ejemplo de proceso
estocástico
 Lanzamos una moneda al aire 6 veces. El
jugador gana 1 € cada vez que sale cara (C),
y pierde 1 € cada vez que sale cruz (F).
 X
i
= estado de cuentas del jugador después
de la i-ésima jugada
 La familia de variables aleatorias {X
1
, X
2
,…,
X
6
} constituye un proceso estocástico

Ejemplo de proceso estocástico
 O={CCCCCC,CCCCCF,…}
 card(O) = 2
6
= 64
 P(e)=1/64 ¬ eeO
 T={1, 2, 3, 4, 5, 6}
 S={–6, –5, …, –1, 0, 1, 2, …, 5, 6}
 X
1
(O)={–1, 1}
1 -1

X0 X1
 X
2
(O)={–2, 0, 2}
Ejemplo de proceso
estocástico
 Si fijo ω, por ejemplo e
0
=CCFFFC, obtengo
una secuencia de valores completamente
determinista:
 X
1
(e
0
)=1, X
2
(e
0
)=2, X
3
(e
0
)=1, X
4
(e
0
)=0,
X
5
(e
0
)= –1, X
6
(e
0
)=0
 Puedo dibujar con estos valores la trayectoria
del proceso:

Ejemplo de proceso
estocástico
-2
-1
0
1
2
3
1 2 3 4 5 6
Instante de tiempo, t
V
a
l
o
r

d
e
l

p
r
o
c
e
s
o
Ejemplo de proceso
estocástico
 Si fijo t, por ejemplo t
0
=3, obtengo una de las
variables aleatorias del proceso:
9 ÷ O :
3
X
( ) e e
3
X ÷
 Los posibles valores que puede tomar el
proceso en : X
3
(O)={–3, –1, 1, 3}
Ejemplo de proceso
estocástico
 Podemos hallar la probabilidad de que el
proceso tome uno de estos valores:
| | | | | | | |
8
3
2
1
2
1
2
1
3 FCC P CCF P CFC P 1 ) ( X P
3
= · · · = + + = = e
| | | |
8
1
2
1
2
1
2
1
CCC P 3 ) ( X P
3
= · · = = = e
| | | | | | | |
8
3
2
1
2
1
2
1
3 CFF P FFC P FCF P 1 ) ( X P
3
= · · · = + + = ÷ = e
| | | |
8
1
2
1
2
1
2
1
FFF P 3 ) ( X P
3
= · · = = ÷ = e
3. Probabilidad de transición de n pasos
Si una cadena de Markov se encuentra en el estado i en el tiempo m,
la probabilidad que n períodos después la cadena de Markov esté en
el estado j, es:


p
ij
(n) = P(X
m+n
= j / X
m
=i) = P(X
n
= j / X
0
=i)
Donde p
ij
(1) = p
ij
1 2 3 ... S
1 P
11
(n) P
12
(n) P
13
(n) ... P
1s
(n)
2 P
21
(n) P
22
(n) P
23
(n) ... P
2s
(n)
P(n) = 3 P
31
(n) P
32
(n) P
33
(n) ... P
3s
(n)
... ... ... ... ... ...
S P
s1
(n) P
s2
(n) P
s3
(n) ... P
ss
(n)
Las p
ij
(n) se pueden representar en la matriz P(n):
3. Probabilidad de transición de n pasos
Se puede demostrar que p
ij
(n) es el elemento ij-ésimo de la matriz P
n
.
Entonces:
p
ij
(n) = Σ
k=1,s
p
ik
(v)p
kj
(n-v)


Para n=0, p
ij
(0) = P(X
0
= j / X
0
= i) y por lo tanto:
p
ij
(0) = 1, si i = j
p
ij
(0) = 0, si i = j


3. Probabilidad de transición de n pasos
Probabilidad de Transición de 2 pasos
P
ij
(2) = Σ
k
P
ik
* P
kj
i
j
k
P
ij
(2) = P( X
m+2
=j / X
m
=i )
3. Probabilidad de transición de n pasos
Probabilidad de Transición de 3 pasos

P
ij
(3) = Σ
k
Σ
l
( P
ik
* P
kl
* P
lj
)
i
j
k
P
ij
(3) = P( X
m+3
=j / X
m
=i )
l
3. Probabilidad de transición de n pasos
Probabilidad de Transición de “n” pasos

i
j
k l
………
En general,
P( X
n+m
=j / X
m
=i ) = P
ij
(n)
P (n) = P*P*P*.....*P (n veces)
Ejemplo
Una fotocopiadora de oficina tiene uno de dos
posibles comportamientos: FUNCIONA o NO FUNCIONA


Si funciona durante un día, la probabilidad de que al día siguiente siga
funcionando es de un 75%. Si no funciona durante un día cualquiera,
hay un 75% de probabilidad de que tampoco funcione al día siguiente.

a)Si actualmente funciona, ¿Cuál es la probabilidad de que esté
funcionando dentro de dos días?
b) Si actualmente no funciona, ¿Cuál es la probabilidad que no está
funcionando dentro de tres días?
Ejemplo - solución
Estado Descripción
1 FUNCIONA
2 NO FUNCIONA
1 2
P = 1 0.75 0.25
2 0.25 0.75
1 2
0.25
0.25
0.75
0.75
Ejemplo - solución
1 2
P = 1 0.75 0.25
2 0.25 0.75
1 2
0.25
0.25
0.75
0.75
a) b)
1 2
P
2
= 1 0.625 0.325
2 0.325 0.625
1 2
P
3
= 1 0.567 0.433
2 0.433 0.567
4. Clasificación de estados de una
Cadena de Markov
Definición:

Dados dos estados i y j, la trayectoria de i a j es la sucesión de
transiciones que comienza en i y termina en j, de modo que cada
transición tenga probabilidad positiva de presentarse.
i
j
4. Clasificación de estados de una
Cadena de Markov
Definición:
Un estado j es alcanzable desde el estado i, si hay una trayectoria
que vaya de i a j.
i
j
i
k
j
“j” es alcanzable por “i”.
4. Clasificación de estados de una
Cadena de Markov
Definición:
Dos estados, i y j se comunican, si el estado j es alcanzable desde el
estado i, y además el estado i es alcanzable desde el estado j.
i
j
i
j
k
“i” se comunica con “j”
4. Clasificación de estados de una
Cadena de Markov
Definición:
Un conjunto de estados S en una Cadena de Markov es conjunto
cerrado, si ningún estado fuera de S es alcanzable desde un
estado S.
i
j
l
k
4. Clasificación de estados de una
Cadena de Markov
Definición:
Un estado i, es estado absorbente si pii = 1
i
P
ii
= 1
4. Clasificación de estados de una
Cadena de Markov
Definición:
Un estado i es estado transitorio si hay un estado j alcanzable desde
i, pero el estado i no es alcanzable desde el estado j.
i
j
i
j
k
“i” es transitorio
Definición:
Si un estado no es transitorio, se llama estado recurrente.
4. Clasificación de estados de una
Cadena de Markov
i j
i
j
k
“i” es recurrente
Definición:
Un estado i es periódico con período k > 1, si k es el menor número
tal que todas las trayectorias que parten del estado i y regresan al
estado i tienen una longitud múltiplo de k.
4. Clasificación de estados de una Cadena de Markov
i
l
j
estado “i” es periódico
Si k>1, entonces diremos que i es periódico de periodo j. El estado j
será periódico de periodo k>1 si existen caminos que llevan desde j
hasta i pero todos tienen longitud mk, con m>0
Periodicidad
 Ejemplo: En la siguiente CM todos los estados
son periódicos de periodo k=2:


 Ejemplo: En la siguiente CM todos los estados son
periódicos de periodo k=3:
Periodicidad
 Ejemplo de CM periódica de periodo k=3:
A
1

A
2

A
3

Definición:
Si un estado recurrente no es periódico, se llama aperiódico.
4. Clasificación de estados de una
Cadena de Markov
i
j
k
i
j
k
“i” es aperiódico
Definición:
Si todos los estados de una cadena de Markov son recurrentes,
aperiódicos y se comunican entre sí, se dice que la cadena es
ergódica.
4. Clasificación de estados de una
Cadena de Markov
Ejemplo
Evaluar la siguiente cadena de Markov
1 2 3
1 0.33 0.67 0
P = 2 0.50 0 0.50
3 0 0.25 0.75
Estados recurrentes
1 2
3
0.67
0.5
0.5
0.25
0.75
La cadena de Markov es
ergódica.
Estados aperiódicos
Se comunican entre sí.



Cadenas ergódicas
 Ejemplo: Analizar la siguiente CM, con S={a, b,
c, d, e}:

|
|
|
|
|
|
.
|

\
|
=
3
1
3
1
3
1
4
1
2
1
4
1
3
2
3
1
4
3
4
1
2
1
2
1
0 0
0 0
0 0 0
0 0 0
0 0 0
Q
Ejemplos
d
b c
e
a
1/4
1/4
3/4 1/2
1/4
1/2
1/2
1/3
1/3
1/3
2/3
1/3
Clasificar los estados
 Recurrentes: a, c, e
 Transitorios: b, d
 Periódicos: ninguno
 Absorbentes: ninguno
 Ejemplo: Analizar la siguiente CM, con
S={a, b, c, d, e, f, g}:
|
|
|
|
|
|
|
|
|
.
|

\
|
=
1 0 0 0 0 0 0
0 3 , 0 0 7 , 0 0 0 0
0 0 0 0 1 0 0
0 1 0 0 0 0 0
0 0 2 , 0 0 0 0 8 , 0
0 4 , 0 4 , 0 0 0 2 , 0 0
0 0 0 0 1 0 0
Q
Ejemplos
a
e
c
b
f
d
g
1
0,8
1
0,2
0,4
0,2
0,4
0,7
0,3
1
1
Clasificar los estados
 Recurrentes: a, c, d, e, f, g
 Transitorios: b
 Periódicos: a, c, e (todos de periodo 2)
 Absorbentes: g
Ejemplos
 La siguiente CM es comunicativa, aperiódica,
recurrente y ergódica.
Ejemplos
 La siguiente CM es comunicativa, aperiódica,
recurrente y ergódica
Ejemplos
 La siguiente CM es comunicativa, recurrente
y periódica de periodo 3. No es ergódica.
5. Probabilidades de estado estable
Teorema:
Sea P la matriz de transición de una cadena ergódica de
“s” estados.
Existe un vector t = [t
1
t
2
.... t
s
] tal que:
1 2 3 ... S
1
t
1
t
2
t
3
...
t
s
2
t
1
t
2
t
3
...
t
s
lim P
n
= 3
t
1
t
2
t
3
...
t
s
n ÷ · ... ... ... ... ... ...
S
t
1
t
2
t
3
...
t
s
5. Probabilidades de estado estable
Teorema:

1 2 3 ... S
1
t
1
t
2
t
3
...
t
s
2
t
1
t
2
t
3
...
t
s
lim P
n
= 3
t
1
t
2
t
3
...
t
s
n ÷ · ... ... ... ... ... ...
S
t
1
t
2
t
3
...
t
s
El vector t = [t
1
t
2
.... t
s
], se llama distribución de estado estable o
también distribución de equilibrio para la cadena de Markov.
5. Probabilidades de estado estable
Teorema:

1 2 3 ... S
1
t
1
t
2
t
3
...
t
s
2
t
1
t
2
t
3
...
t
s
lim P
n
= 3
t
1
t
2
t
3
...
t
s
n ÷ · ... ... ... ... ... ...
S
t
1
t
2
t
3
...
t
s
Las t
j
satisfacen el siguiente sistema de ecuaciones:
t
j
=

E
k=1,s
(t
k
p
kj
) para j = 1, 2, ....s (t

=

t

P)
E
k=1,s
t
k
= 1 (Et = 1)
Ejemplo
Las compras de los consumidores están influidas por la
publicidad, el precio y muchos otros factores. Un factor clave
en las compras de los consumidores es la última compra.
Según datos recolectados en el cafetín de ingeniería industrial (2 semanas):
•Si alguien compra una bebida Coca-Cola, y se le agrada el sabor, quedará
dispuesto a comprar otra Coca-Cola (lealtad a la marca).
•Coca-Cola es la marca de interés.
•Pepsi es su competencia directa.
•El 74% de los clientes son leales. La oposición conserva el 62% de sus
clientes.
¿Que porcentaje del mercado esperará recibir Coca-Cola en el largo
plazo?
Ejemplo - solución
Estado Descripción
A Coca-Cola
B Pepsi
A B
P = A
B
0.74 0.26
0.38 0.62
Hay que resolver el
siguiente sistema:
t

=

t

P
Et

= 1

Donde: t = [t
A
t
B
]
[t
A
t
B
] =

[t
A
t
B
]

P
= [0.74t
A
+ 0.38t
B
0.26t
A
+ 0.62t
B
]
t
A
=

0.74t
A
+ 0.38t
B
t
B
=

0.26t
A
+ 0.62t
B

t
A
+ t
B


= 1

De donde: t
A
=

0.59375 t
B
=

0.40625
Coca-Cola esperará recibir el 59.375% del mercado en el largo plazo
Ejemplo – solución (elevando P
n
para estabilizarlo en el largo plazo)
A B
P = A
B
0.74
0.26
0.38 0.62
A B
P
2
= A
B
0.6464 0.3536
0.5168 0.4832
A B
P
3
= A
B
0.61270 0.38730
0.56605 0.43395
A B
P
4
= A
B
0.60057 0.39943
0.58378 0.41622
A B
P
5
= A
B
0.59621 0.40379
0.59016 0.40984
A B
P
6
= A
B
0.59463 0.40537
0.59246 0.40754
Ejemplo – solución (elevando P
n
para estabilizarlo en el largo plazo)
A B
P
9
= A
B
0.59379 0.40621
0.59369 0.40631
A B
P
10
= A
B
0.59376 0.40624
0.59373 0.40627
A B
P
11
= A
B
0.59376 0.40624
0.59374 0.40624
A B
P
12
= A
B
0.59375 0.40625
0.59375 0.40625
A B
P
7
= A
B
0.59470 0.40593
0.59328 0.40672
A B
P
8
= A
B
0.59386 0.40614
0.59358 0.40642
Ejemplo – solución (elevando P
n
para estabilizarlo en el largo plazo)
A B
P
13
= A
B
0.59375 0.40625
0.59375 0.40625
A B
P
14
= A
B
0.59375 0.40625
0.59375 0.40625
P(13) = P(14) = P(15) = ...... = P(n)
t
A
=

0.59375

t
B
=

0.40625
Podemos observar que las probabilidades se han
estabilizado, es decir, cada fila poseen valores iguales.
6. Tiempos promedio de primera pasada
En una cadena ergódica, sea µ
ij
el número esperado de transiciones
antes de alcanzar por primera vez el estado j, dado que estamos
actualmente en el estado i. µ
ij
se llama tiempo promedio de primera
pasada del estado i al estado j.

Se tiene que resolver el siguiente sistema de ecuaciones:
µ
ij
= 1 + E
k = j
p
ik
µ
kj


Cuando i = j, µ
ij
se llama tiempo promedio de recurrencia:
µ
ij
= 1/t
i

6. Tiempos promedio de primera pasada
Una computadora se inspecciona cada hora. Se encuentra que
está trabajando o descompuesta. Si está trabajando, la
probabilidad de que siga trabajando la siguiente hora es 0.87. Si
está descompuesta, se repara, lo que puede llevar más de una
hora. Siempre que la computadora esta descompuesta, la
probabilidad de que siga descompuesta la siguiente hora es
0.43.

Encontrar las µ
ij
.
Ejemplo
Ejemplo - solución
Estado Descripción
1 FUNCIONA
2 DESCOMPUESTA
1 2
P = 1
2
0.87 0.13
0.57 0.43
Las ecuaciones para hallar los t

son:
t
1
=

0.87t
1
+ 0.57t
2
t
2
=

0.13t
1
+ 0.43t
2

t
1
+ t
2
= 1

De donde: t
1
=

57/70 t
2
=

13/70

Por tanto: µ
11
= 1/t
1
= 1.23 horas
µ
22
= 1/t
2
= 5.38 horas
Hay que resolver el siguiente
sistema:
µ
ij
= 1 + E
k = j
p
ik
µ
kj

µ
12
= 1 + p
11
µ
12
= 1 + 0.87µ
12
µ
21
= 1 + p
22
µ
21

= 1 + 0.43µ
21

Donde: µ
12
= 7.69 horas
µ
21
=1.75 horas
7. Cadenas de Markov con recompensa
El costo promedio a largo plazo, por unidad de tiempo está
dado por:

g =

E
j=1,s
(t
j
C
j
)

Donde:
Cj = Inventarios
Nivel de ventas
Máquinas malogradas, etc.
8. Cadenas de Markov absorbentes
Una CM es absorbente, si tiene por lo menos un estado absorbente,
y es posible ir de cada estado no absorbente hasta por lo menos un
estado absorbente.

En una CM absorbente se puede calcular:
• Número esperado de veces que se estará en un estado transitorio
antes de llegar a un estado absorbente.
• Probabilidad de terminar en estados absorbentes.
8. Cadenas de Markov absorbentes
Se requiere una matriz de transición ordenada como la que se muestra a
continuación:
s-m columnas m columnas
s-m filas Q R
m filas 0 I
Se puede entonces determinar:
 Número esperado de veces en un estado antes de la absorción: (I – Q)
-1
 Probabilidad de terminar en cada uno de los estados absorbentes: (I – Q)
-1
R
Transitorios
Absorbentes
Transitorios Absorbentes
Así tenemos:
I es una matriz identidad de orden m x m que representa las
probabilidades de permanecer dentro de un estado absorbente.

Q es una matriz de orden (s-m) x (s-m) que representa las
probabilidades de ir de un estado transitorio hasta otro estado
transitorio.

R es una matriz de orden (s-m) x m que representa las
probabilidades de ir de un estado transitorio hasta un estado
absorbente.

O es una matriz nula de orden m x (s-m) que representa las
probabilidades de ir de un estado absorbente hasta un estado
transitorio.

8. Cadenas de Markov absorbentes
En conclusión:
8. Cadenas de Markov absorbentes
1 2 3 4 S
1 p
11
p
12
p
13
p
14
p
15
2 p
21
p
22
p
23
p
24
p
25
P =
3 p
31
p
32
p
33
p
34
p
35
4 0 0 0 1 0
S 0

0

0

0 1

Q R
O I
Se definen 4 matrices {Q, R, O, I}
8. Cadenas de Markov absorbentes
Ejemplo
A través del análisis de cuentas por cobrar pasadas, un contralor
proporciona la siguiente información:
El balance de cuentas por cobrar indica que se tiene $60000 en cuentas
por cobrar con retraso entre 0 y 30 días y $40000 en cuentas por cobrar
con retraso entre 31 y 90 días.
0-30 días 31-90 días pagadas Morosas
0-30 días 0.4 0.1 0.5 0
31-90 días 0.1 0.2 0.6 0.1
Pagadas 0 0 1 0
morosas 0 0 0 1
¿Cuál debe ser la concesión?
8. Cadenas de Markov absorbentes
Ejemplo - solución
Estado Descripción
1 CxC con retraso entre 0 y 30 días
2 CxC con retraso entre 31 y 90 días
3 Cuentas pagadas
4 Cuentas morosas
La concesión será:
60000(0.021) + 40000(0.128)= $6380
1 2 3 4
1 0.4 0.1 0.5 0
P = 2 0.1 0.2 0.6 0.1
3 0 0 1 0
4 0 0 0 1
Paso = 1 día
3 4
R = 1 0.5 0
2 0.6 0.1
Q R
O
I
1 2
Q = 1 0.4 0.1
2 0.1 0.2
1 2
(I - Q)
-1
= 1 1.702 0.213
2 0.213 1.277
3 4
(I - Q)
-1
R= 1 0.979 0.021
2 0.872 0.128
9. Ejercicios Propuestos
Problema 1
Movimiento de agua
• Sea X
i
= cantidad de agua que fluye a una represa en el período i.
• X
i
tiene la siguiente función de densidad:
X
i
1 2 3 4 5
F(X
i
) 1/8 1/4 1/4 1/4 1/8
Para todo i
independientes.
• Capacidad de la represa: 5 unidades.
• Si la represa se llena, el flujo siguiente se pierde.
• Al final de un período se dejan escapar 3 unidades de agua (si están
disponibles), cc se deja escapar toda el agua.
• Sea: Y
t
= cantidad de agua en la represa al final del período t, luego de dejar
escapar el agua.
9. Ejercicios Propuestos
Problema 1
Movimiento de agua
• Encontrar la matriz de probabilidades de transición.
• Clasificar los estados.
• Calcular las probabilidades de estado estable.
• ¿Cuál es el valor esperado de agua que se pierde a la larga?
• Si en un período dado no hay 3 unidades de agua, ésta se debe comprar
en otra parte. ¿Cuál es el valor esperado de este faltante por período?
9. Ejercicios Propuestos
Problema 2
Venta de artesanías
• Producción: 1 tapiz al día (para vender al día siguiente)
• II = 1, entonces: P(V=1) = 1/3
• II = 2, entonces: P(V>1) = ½, P(V=2) = ¼
• II = 3, entonces: P(V>1) = 2/3, P(V>2) = 1/3, P(V=3) = 1/5
• Si II =3, el artesano no produce, sólo vende.
Hallar:
 La matriz de transición asociada al proceso
 La fracción promedio de tardes en que el artesano tendrá sólo el tapiz
producido durante ese día y ningún otro
 Fracción de tardes en que el artesano no produce
 Nivel promedio de inventario al final de un día
9. Ejercicios Propuestos
Problema 3
Mercado Compartido
El mercado de un producto lo comparten 4 marcas. La tabla siguiente
nos muestra la distribución actual del mercado compartido y el
porcentaje de personas que cambian de marca luego de compras
consecutivas:
A la
marca 1
A la
marca 2
A la
marca 3
A la
marca 4
Mercado
compartido
De la marca 1 60 8 20 12 40%
De la marca 2 15 40 25 20 20%
De la marca 3 25 16 50 9 30%
De la marca 4 28 12 20 40 10%
9. Ejercicios Propuestos
Problema 3
Mercado Compartido
 Si en promedio se realiza una compra cada 2 meses, realizar una
predicción del mercado luego de 6 meses.
 ¿Cuál es la participación promedio a largo plazo del mercado para
cada marca si los patrones actuales de compra no se alteran?
9. Ejercicios Propuestos
Problema 4
Taller de Producción
• Un taller opera dos máquinas idénticas
• Cada máquina requiere de la atención del operador en momentos
aleatorios.
• La probabilidad de que la máquina requiera servicio en un período de 5
minutos es p = 0.4
• El operador es capaz de dar servicio a una máquina en 5 minutos.
• Una máquina requiere servicio siempre al inicio de un intervalo de 5
minutos.
9. Ejercicios Propuestos
Problema 5
Seis 6 bolas en dos urnas
• Se tienen tres bolas blancas y tres bolas negras en dos urnas (tres bolas
en cada urna).
• El sistema está en el estado i, i = 0,1,2,3, si la primera urna contiene i
bolas blancas.
• En cada paso se saca una bola de cada urna y se intercambian (de
urnas).
• Sea X
n
el estado del sistema después del n-ésimo paso:
 ¿Por qué {X
n
, n = 0, 1, ....} es una CM?
 Calcular la matriz de transición.
 Se tienen beneficios de 10, 20, 30 y 40 dólares por estar en los estados
0, 1, 2 y 3 respectivamente. ¿Cuál será el beneficio esperado a largo
plazo?
9. Ejercicios Propuestos
Problema 6
Vigilante nocturno
Un vigilante nocturno recorre el museo cuya planta se dibuja a
continuación, de acuerdo a estas reglas:
•Desde la pieza D, va a la pieza C, y luego al patio P.
•Desde el patio, con igual probabilidad se dirige a la pieza B, o a la
pieza C (continuando luego a D).
•Desde la pieza B, vuelve al patio.
Se solicita lo siguiente:
Hallar la Matriz de Transición.
Analizar la matriz para determinar la
posibilidad de la existencia de estados
estables.
Calcular la probabilidad de encontrarse en
cada estado después de dar 33, 34, 35 y 36
pasos. Comente.
Espacio de estados de un
proceso:
• El conjunto de todos
los posibles estados
que un proceso puede
ocupar en los distintos
movimientos se llama
espacio de estados. Un
espacio de estados
puede ser
• finito,
• infinito
• Usaremos a
1
,a
2
,.....a
n

para representar los (n)
estados de un estado
• a
i
------> a
j
para
representar que el
proceso se mueve del
estado (i) al estado (j).
Probabilidades de transición de un solo paso
• P(a
i
-----> a
j
) es la
probabilidad condicional para
que el proceso que se
encuentra en el estado a
i
se
mueva al estado a
j
en un
sólo paso, y se designa por P
ij

. Esto recibe el nombre de
probabilidad de transición de
un sólo paso. Si todas estas
probabilidades son conocidas
para todos los pares de
estados se ordenan en una
matriz cuadrada que recibe
el nombre de matriz de
transición.
• P = [p
ij
]
• Ejemplo:
• Sea una persona sentada en el
asiento de en medio de una fila de
cinco asientos [marcados con
A,B,C,D,E] de izquierda a
derecha. Esta persona se mueve
por seis veces de una silla a la
otra, estando sus movimientos
controlados por una moneda que
se tira al aire.
• a) Si no está al final de una fila
de asientos se mueve hacia la
derecha si sale CARA y hacia la
izquierda si sale CRUZ.
• b) Si está al inicio o al final se
quedará donde está salga lo que
salga.
Espacio de Estados: [ A, B, C, D, E ]

• P[A ---> A] = P[E ---> E] = 1
ya que se queda donde está.
• P[B ---> A] = 1/2 puesto
que la probabilidad de que
salga CR es 1/2.
• P[C ---> C] = 0 ya que
aquí no se puede quedar.
• La ∑p
ij
= 1
• Las matrices que tienen
elementos no negativos y a
suma de los elementos de
sus filas valen la unidad
se llaman matrices
estocásticas
A B C D E
A 1 0 0 0 0
B 1/2 0 1/2 0 0
C 0 1/2 0 1/2 0
D 0 0 1/2 0 1/2
E 0 0 0 0 1
Vector probabilidad inicial
• Existe un vector
probabilidad inicial tal
que:
• a = (a
1
, a
2
,....a
n
)
en la que los
elementos a
i
son las
probabilidades de
que el estado inicial
del proceso sea S
i
.

• En el ejemplo anterior
• El vector probabilidad
inicial sería
• a = (0, 0,1, 0, 0)
puesto que el proceso
comienza en la silla C.

Propiedad de Markov
• Considerar una secuencia S
i
,S
j
,S
k
de
un experimento cuyo vector y matriz
inicial son conocidos. Entonces la
secuencia de probabilidad será:
P( Si,Sj,Sk ) = P( Si) P( Si->Sj) P( Sj->Sk)
• Podríamos ampliar la regla para
cubrir secuencias de cualquier número
de pasos. A los procesos a los
cuales podemos aplicar esta regla se
dicen que tienen la propiedad de
Markov.
• Para tales procesos la
probabilidad de la siguiente
dirección depende del
estado presente del proceso
y no depende del estado
precedente.
• Ejemplo:
• En el problema anterior
calcular la probabilidad de
la secuencia.
• P[C,D,C,B,A,A,A] = P[C]
P[C -->D] P[D -->C]
P[C -->B]. P[B -->A]
P[A -->A] P[A -->A]
=1*1/2*1/2*1/2*1/2*1*1 =1/16
Cadena de Markov finita y
estacionara.
• Una cadena de Markov estacionara
y finita queda completamente definida
cuando se conoce:
• a) Espacio de estados finito.
• b) Una matriz [Pij] de probabilidades de
transición de un sólo paso estacionara.
• c) El vector de probabilidad inicial.
Cadena de transición de n pasos
• El diagrama es un gráfico
de una secuencia de una
muestra de una cadena de
Markov de cinco estados
A ----> E .En los doce
pasos se recorren todos
los estados.
Evidentemente el proceso
no puede quedarse nunca
atrapado. A los estados
que pueden atrapar un
proceso se les llaman
estados absorbentes.
Probabilidades de transición superiores
• La probabilidad de que el
proceso pase del estado S
i
al
S
j
en (n) pasos se llama
probabilidad de transición en
n pasos y se simboliza por :
• P
(n)
ij

• La matriz formada por
todos los P
(n)
ij
es una
matriz cuadrada y se
denomina matriz de
transición de (n) pasos.
• TEOREMA:
• Si P es la matriz de
transición de un paso en una
cadena finita de Markov,
entonces P
n
es la matriz de
transición de (n) pasos.
La probabilidad P(n)
ij
es la probabilidad de pasar
de S
i
a S
j
en dos pasos.
Suponiendo (n) estados en S.
Existen n caminos mutuamente excluyentes
S
i
---->S
1
---->S
j
S
i
---->S
2
---->S
j
.......
Las probabilidades de esos caminos son:
• p
i1
▬►p
1j
• p
i2
▬► p
2j
• ........
Por lo que por la regla de la cadena la probabilidad
del suceso S
i
---->S
j
en dos pasos será la suma de
estas dos probabilidades.
Así
P
ij
(n
) = ∑ Pir Prj
Pero por definición de la multiplicación de matrices,
la sumatoria es el elemento ij-ésimo de la matriz
P
2
. Luego
• P
2
= P
ij
• Por inducción se puede demostrar que
• P
n
= P
ij
(n
)
A B C D E
A 1 0 0 0 0
B 1/2 1/4 0 1/4 0
C 1/4 0 1/2 0 1/4
D 0 1/4 0 1/4 1/2
E 0 0 0 0 1
A B C D E
A 1 0 0 0 0
B 1/2 0 1/2 0 0
C 0 1/2 0 1/2 0
D 0 0 1/2 0 1/2
E 0 0 0 0 1
MATRIZ DE UN SOLO PASO
MATRIZ DE DOS PASOS
CADENAS DE MARKOV ABSORBENTES
• Estados ergódicos:

Sea E un subconjunto de S y E' el
complementario de E en S. Si cada estado de
E se puede alcanzar desde cualquier otro
estado de E, pero ningún estado de E' se
puede alcanzar desde E, entonces E recibe
el nombre de conjunto ergódico. Un estado
ergódico es un elemento de un conjunto
ergódico.
• CADENAS DE MARKOV
ABSORBENTES
• Son cadenas en donde
todos los estados
transitorios son absorbentes.
• CADENAS ERGODICAS
• Cadena que está formada
por un conjunto ergódico se
llama cadena ergódica. Se
distinguen dos tipos de
cadenas ergódicas:
• a) Cadena ergódica cíclica:
en ella sólo se puede entrar
en un estado a intervalos
periódicos fijos.
• b) Cadena ergódica
regular: cadena ergódica
no-cíclica.
EJEMPLO DE CADENA REGULAR
S
1
S
2
S
1
1/2 1/2
S
2
1/2 1/2
Está claro que el sistema
completo nunca estará
completamente "atrapado" en un
estado, así que la cadena es
regular.
S
1

S
2

S
3

S
1

0 3/4 1/4
S
2

1/2 0 1/2
S
3

1/4 3/4 0
Siempre es posible moverse de
un estado a cualquier otro, en
cualquier paso siendo los
movimientos no-cíclicos. Así la
cadena y la matriz son regulares.
EJEMPLO DE CADENA NO REGULAR
S
1

S
2

S
3

S
1

½ 1/4 1/4
S
2

0 1/3 1/3
S
3

0 1/4 1/4
Después de n pasos la cadena entrará
(con probabilidad 1 cuando n tiende a
∞) en S
2
o en S
3
. Una vez situada en
uno de estos estados nunca podrá pasar a
S
1
. Por lo tanto S
1
es un estado
transitorio y así la cadena es no regular y
por lo tanto no-ergódica, aunque el
conjunto [ S
2
, S
3
] sea un conjunto
ergódico.
EJEMPLO DE CADENA CICLICA
S
1

S
2

S
3

S
1

0 0 1
S
2

1 0 0
S
3

0 1 0
La cadena se mueve con período
3 a través de los conjunto
cíclicos [ S
1
] [ S
2
] y [ S
3
]. Es por
lo tanto una cadena cíclica
ergódica y no una cadena regular.
Clasificación de estados en una cadena de Markov
• Se dice que el estado i es accesible
desde el estado j si la probabilidad de
transición en n pasos de j a i es positiva,
p
(n)
ij
> 0, para algún número natural n
• Si el estado i es accesible desde el estado
j y viceversa se dice que los estados
están comunicados
Clasificación de estados de una cadena de Markov
• Estado transitorio
– Es aquél tal que después de que el proceso ha entrado ahí, nunca
regresará
– El estado i es transitorio si y sólo si existe un estado j que es
accesible desde i, pero donde el estado i no es accesible desde j
– Al no haber acceso al estado i desde j, existe una probabilidad
positiva (incluso igual a 1) de que el proceso se mueva al estado j
y nunca regrese al estado i
• Estado recurrente
– Es un estado tal que una vez que el proceso ha estado en él,
existe la seguridad de que volverá
– Un estado es recurrente si y sólo si no es transitorio
• Estado absorbente
– Es un estado tal que después de haber entrado allí, el sistema ya
nunca saldrá
– Para que un estado i sea absorbente se requiere que p
ii
= 1
Estado transitorio
• En la siguiente matriz de
transición, el estado 2 es
transitorio, ya que de él
es posible pasar
directamente al estado 0,
pero no de regreso
• Por tanto existe la
posibilidad de que el
sistema pase del estado
2 al 0 y no regrese
nuevamente
0 1 2 3
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o

n
Estado n+1
Estado transitorio
0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
El estado 2 es transitorio. Notamos que tiene una
conexión directa al estado 0, pero no de regreso
Estado recurrente
• En la siguiente matriz de
transición, todos los
estados, excepto el 2,
son recurrentes
• Esto es porque desde los
estados 0,1 y 3 se puede
acceder a cualquiera otro
estado, y a su vez, los
estados 0,1 y 3 son
accesibles desde
cualquier otro estado
0 1 2 3
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o

n
Estado n+1
Estado recurrente
0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
Los estados 1, 2 y 3 son recurrentes. Notamos que cada estado que
tiene una conexión directa desde ellos, también la tiene hacia ellos
Las flechas
coloreadas por
pares indican
las conexiones
desde y hacia
el estado 1
Estado absorbente
• En la siguiente matriz de
transición, el estado 0 y
el estado 2 son
absorbentes, ya que una
vez entrando en alguno
de ellos, el sistema no
vuelve a salir
• Esto ocurre porque la
probabilidad de pasar al
estado 0 dado que se
encuentra en el estado 0
es igual a 1
• Análogamente ocurre
para el estado 2
0 1 2 3
0 1 0 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o

n
Estado n+1
Estado absorbente
0
2 3
1
1
0.10
0.10
1
0.25
0.40
0.5
0.30
0.15
0.30
0.20
Los estados 0 y 2 son absorbentes. Notamos que una vez
que el sistema llega a alguno de ellos, no vuelve a salir
Ejemplo: La ruina del jugador
Xo es el capital inicial del jugador igual a 2 soles
En cada jugada gana o pierde 1 sol con probabilidad de p o 1-p respectivamente
El juego termina cuando alcanza su meta que es tener 4 soles o pierde todo
ENTÓNCES:
• Proceso Estocástico es la descripción de
la relación entre las variables aleatorias
Xo, X1, X2,…, Xt (donde t es el número de jugadas)
• Si Xt fuera el precio de una acción en el
periodo t, entonces se trata de un
PROCESO ESTOCÁSTICO CONTÍNUO.

Cadenas de Markov se basa en 2
conceptos: Estado y Transición.

El sistema ocupa un estado i con probabilidad pi y después
de un periodo procede a un transición para el estado j con
una probabilidad de transición tij

Entónces:
Donde N es el número de estados del sistema
Matriz de Transición de estados T
Por lo tanto, una secuencia de intentos de un experimento es
una Cadena de Markov Si:
a) El resultado del m-ésimo intento depende sólo del
resultado del m-1 ésimo intento
b) La probabilidad tij de pasar del estado i al estado j en los
intentos sucesivos del experimento permanece constante.
Vector de probabilidad de distribución de estados al inicio
Vector de probabilidad de distribución de estados
después de un periodo (jugada)
Vector de probabilidad de
distribución de estados después de
2 periodos (jugadas)
Vector de probabilidad de distribución
de estados después de 3 periodos
(jugadas)
Vector de probabilidad de distribución
de estados después de n periodos
(jugadas)
Vector de distribución de estado estable (a la larga)