Prof. Ing. Claudio L. R.

Sturla
REPBLICA ARGENTINA
CADENAS DE MARKOV
THE RECORDING, COPYING, LOAN, UNAUTHORIZED HIRE, PUBLIC SHOWING OR
BROADCAST OF THIS DATAGRAM IS STRONGLY ENCOURAGED.
Se puede reproducir libremente. Se agradecer citar la fuente.
Claudio L. R. Sturla
Bibliografa:
Winston, Wayne L., Investigacin de Operaciones, Grupo Editorial Iberoamrica S. A. de C. V.,
Mxico, ISBN 970-625-029-8, 1.994.
Software Matlab
Introduccin
A veces nos interesa saber cmo cambia una variable aleatoria a travs del tiempo.
Por ejemplo, desearamos conocer cmo evoluciona el precio de las acciones de una empresa en el
mercado a travs del tiempo.
El estudio de cmo evoluciona una variable aleatoria incluye el concepto de procesos estocsticos.
Aqu veremos esos procesos, en especial uno que se conoce como Cadenas de Markov.
Las cadenas de Markov se han aplicado en reas tales como educacin, mercadotecnia, servicios de
salud, finanzas, contabilidad y produccin.
Qu es un Proceso estocstico?
Supongamos que observamos alguna caracterstica de un sistema en puntos discretos en el tiempo (que
llamamos 0, 1, 2...).
Sea
t
X
el valor de la caracterstica del sistema en el tiempo t
En la mayor parte de los casos no se conoce
t
X
con certeza antes del tiempo t y se puede considerar
como variable aleatoria.
Un proceso estocstico de tiempo discreto es simplemente una descripcin de la relacin entre las va-
riables aleatorias
, , , ,
2 1 0
X X X
A continuacin vemos unos ejemplos de procesos estocsticos de tiempo discreto.
Ejemplo 1
La ruina del jugador.
En el tiempo 0 tengo 2 UM
En los tiempos 1, 2,... participo en un juego en el que apuesto 1 UM
Gano 1 UM con probabilidad p, y pierdo 1 UM con probabilidad 1 p
Mi meta es aumentar mi capital a 4 UM, y tan pronto como lo logre se suspende el juego.
El juego tambin se suspende si mi capital se reduce a 0 UM
Si definimos que
t
X
es mi capital despus del juego cuando el tiempo es t, si es que lo hay, entonces se
puede considerar que
t
X X X , , ,
1 0

son procesos estocsticos de tiempo discreto.
Ntese que
2
0
X
es una constante conocida, pero que
1
X y las dems
t
X
son aleatorias.
cadenas_markov.doc
195
Prof. Ing. Claudio L. R. Sturla
Por ejemplo, ad probabilid con 1 y ad probabilid con 3
1 1
X p X 1 p
Ntese que si
t t t
X X X dems las y todas entonces , 4
1 +

tambin sern igual a 4.

Igualmente, si
, dems las y todas entonces , 0
1 t t t
X X X
+

sern cero tambin.

Por razones obvias, a estos casos se les llama problema de la ruina del jugador.
Ejemplo 2
En una urna que contiene bolas hay dos sin pintar.
Se selecciona una bola al azar y se lanza una moneda.
Si la bola elegida no est pintada y la moneda da cara, pintamos la bola de rojo; si la moneda da seca, la
pintamos de negro.
Si la bola ya est pintada, entonces cambiamos su color de rojo a negro o de negro a rojo, in-
dependientemente de si la moneda da cara o seca.
Para modelar este caso como proceso estocstico, definimos a t como el tiempo despus que la moneda
ha sido lanzada por t-sima vez y se ha pintado la bola elegida.
En cualquier tiempo se puede representar el estado mediante el vector [ ] b r u , , , donde u es el nmero de
bolas sin pintar en la urna, r el nmero de bolas rojas y b el de bolas negras.
Se nos dice que
[ ] 0 0 2
0
X
Despus del primer lanzamiento, una bola habr sido pintada ya sea de rojo o de negro y el estado ser
[ ] [ ] 1 0 1 0 1 1
Por lo tanto, podemos asegurar que [ ] [ ] 1 0 1 0 1 1
1 1
X X
Es claro que debe haber alguna relacin entre las
t
X
Por ejemplo, si
[ ] [ ] 1 1 0 que asegurar podemos , 0 2 0
1

+ t t
X X
Ejemplo 3
Sea
0
X
el precio de una accin de Computadoras CSL al principio de este da hbil.
Tambin, sea
t
X
el precio de esa accin al principio del t-simo da hbil en el futuro.
Es claro que si se conocen los valores de
t
X X X , , ,
1 0

nos dicen algo acerca de la distribucin de
probabilidad de
1 + t
X
; el asunto es: qu nos dice el pasado (los precios de las acciones hasta el tiempo t)
acerca de
1 + t
X
?
La respuesta a esta pregunta es de importancia crtica en finanzas.
Veremos ms adelante este tema
Un proceso estocstico de tiempo continuo es simplemente un proceso estocstico en el que el estado
del sistema se puede examinar en cualquier tiempo y no slo en instantes discretos.
Por ejemplo, se puede considerar que el nmero de personas en un supermercado a los t minutos des-
pus de abrir, es un proceso estocstico de tiempo continuo.
Como el precio de una accin se puede observar en cualquier tiempo, y no slo al abrir la bolsa, se
puede considerar como proceso estocstico de tiempo continuo.
Al considerarlo as, se ha podido llegar a importantes resultados en la teora de finanzas, incluyendo la
famosa frmula de Black-Scholes para opcin de precio.
Qu es una Cadena de Markov?
Un tipo especial de procesos estocsticos de tiempo discreto se llama cadena de Markov.
Para simplificar nuestra presentacin supondremos que en cualquier tiempo, el proceso estocstico de
tiempo discreto puede estar en uno de un nmero finito de estados identificados por 1, 2,..., s
cadenas_markov.doc
196
Prof. Ing. Claudio L. R. Sturla
DEFINICIN Un proceso estocstico de tiempo discreto es una cadena de
Markov si, para t = 0, 1, 2, y todos los estados,
( )
( )
t t t t
t t t t t t
i X i X P
i X i X i X i X i X P


+ +
+ +
1 1
0 0 1 1 1 1 1 1
, , , ,
(1)
En esencia, la ecuacin (1) dice que la distribucin de probabilidad del estado en el tiempo t + 1 depende
de la del estado en el tiempo
( )
t
i t
y no depende de los estados por los cuales pas la cadena para llegar
a
t
i
en el tiempo t
En el estudio de las cadenas de Markov haremos la hiptesis adicional que para todos los estados i y j y
toda
( ) i X j X P t
t t

+ 1
,
es independiente de t
Esta hiptesis permite escribir
( )
ij t t
p i X j X P
+ 1
(2)
HIPTESIS DE ESTABILIDAD
donde
ij
p
es la probabilidad de que dado que el sistema est en el estado i en el tiempo t, el sistema
estar en el estado j en el tiempo t + 1
Si el sistema pasa del estado i durante un periodo al estado j durante el siguiente, se dice que ha ocu-
rrido una transicin de i a j
Con frecuencia se llaman probabilidades de transicin a las
ij
p
en una cadena de Markov.
La ecuacin (2) ndica que la ley de probabilidad que relaciona el estado del siguiente periodo con el
estado actual no cambia, o que permanece estacionaria, en el tiempo.
Por este motivo, a menudo se llama hiptesis de estabilidad a la ecuacin (2).
Toda cadena de Markov que cumple con la ecuacin (2) se llama cadena estacionaria de Markov.
El estudio de las cadenas de Markov tambin necesita que definamos
i
q
como la probabilidad de que la
cadena se encuentre en el estado i en el tiempo 0; en otras palabras,
( )
i
q i X P
0
Al vector
[ ]
s
q q q q , , ,
2 1

se le llama distribucin inicial de probabilidad de la cadena de Markov.
En la mayora de las aplicaciones, las probabilidades de transicin se presentan como una matriz P de
probabilidad de transicin s x s
La matriz de probabilidad de transicin P se puede escribir como
( )
1
1
1
1
]
1

ss s s
s
s
p p p
p p p
p p p
P

2 1
2 22 21
1 12 11
Dado que el estado es i en el tiempo t, el proceso debe estar en algn lugar en el tiempo t + 1
Esto significa que para cada i
( ) ( )
1
1
1
1
1

+
s j
j
ij
s j
j
t t
p
i X j X P
cadenas_markov.doc
197
Prof. Ing. Claudio L. R. Sturla
Tambin sabemos que cada elemento de la matriz (P) debe ser no negativo.
Por lo tanto, todos los elementos de la matriz de probabilidad de transicin son no negativos; los ele-
mentos de cada rengln deben sumar 1.
Ejemplo 1
La ruina del jugador (continuacin).
Encuentre la matriz de transicin del Ejemplo 1.
Solucin
Como la cantidad de dinero que tengo despus de t + 1 jugadas depende de los antecedentes del juego
slo hasta la cantidad de efectivo que tengo despus de t jugadas, no hay duda que se trata de una ca-
dena de Markov.
Como las reglas del juego no varan con el tiempo, tambin tenemos una cadena de Markov estacionaria.
La matriz de transicin es la siguiente (el estado i quiere decir que tenemos i UM):
( )
UM UM UM UM UM
UM
UM
UM
UM
UM
p p
p p
p p
P
4 3 2 1 0
4
3
2
1
0
1 0 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
0 0 0 0 1
1
1
1
1
1
1
]
1

Si el estado es 0 UM 4 UM no juego ms y, por lo tanto, el estado no puede cambiar; entonces

1
44 00
p p
Para los dems estados sabemos que, con probabilidad p, el estado del siguiente perodo ser mayor que
el estado actual en 1, y con probabilidad 1 p, el estado del siguiente periodo ser menor en 1 que el
estado actual.
Figura 1
Representacin grfica de la matriz de transicin para el ejemplo de la ruina del jugador
Una matriz de transicin se puede representar con una grfica en la que cada nodo represente un estado
y el arc(i, j) represente la probabilidad de transicin
ij
p
La Fig. 1 es una representacin grfica de la matriz de probabilidad de transicin para este ejemplo.
Ejemplo 2
(Continuacin)
Determine la matriz de transicin del Ejemplo 2.
Solucin
Como el estado de la urna despus del siguiente lanzamiento de la moneda depende slo del pasado del
proceso hasta el estado de la urna despus del lanzamiento actual, se trata de una cadena de Markov.
Como las reglas no varan a travs del tiempo, tenemos una cadena estacionaria de Markov.
La matriz de transicin para el Ejemplo 2 es la siguiente:
cadenas_markov.doc
198
Prof. Ing. Claudio L. R. Sturla
[ ] [ ] [ ] [ ] [ ] [ ] 1 0 1 0 1 1 0 0 2 2 0 0 0 2 0 1 1 0
[ ]
1
1
1
1
1
1
1
1
]
1

0 2 / 1 0 4 / 1 0 4 / 1
2 / 1 0 0 0 4 / 1 4 / 1
2 / 1 2 / 1 0 0 0 0
0 0 0 0 0 1
0 0 0 0 0 1
0 0 0 2 / 1 2 / 1 0
P
[ ]
[ ]
[ ]
[ ]
[ ]
[ ] 1 0 1
0 1 1
0 0 2
2 0 0
0 2 0
1 1 0
Tabla 1
Clculos de las probabilidades de transicin si el estado es [ ] 0 1 1
EVENTO PROBABILIDAD ESTADO NUEVO
Sacar cara en el lanzamiento y elegir
una bola sin pintar
[ ] 0 2 0
Elegir bola roja
[ ] 1 0 1
Sacar seca en el lanzamiento y elegir
una bola sin pintar
[ ] 1 1 0
Para ver cmo se forma la matriz de transicin, determinaremos el rengln [ ] 0 1 1
Si el estado actual es [ ] 0 1 1 , entonces debe suceder uno de los eventos que aparecen en la Tabla 1.
As el siguiente estado ser [ ] 1 0 1 con probabilidad 1/2, [ ] 0 2 0 con probabilidad 1/4 y [ ] 1 1 0
con probabilidad 1/4.
En la Figura 2 se da una representacin grfica de esta matriz de transicin.
Figura 2
Representacin grfica de la matriz de transicin para el ejemplo de la urna
Ejemplo 3
(Continuacin)
En los ltimos aos, los estudiantes de finanzas han dedicado mucho esfuerzo a contestar la pregunta de
si el precio diario de una accin se puede describir mediante una cadena de Markov.
Supongamos que el precio diario de una accin, como la de Computadoras CSL, se puede representar
por una cadena de Markov.
cadenas_markov.doc
199
Prof. Ing. Claudio L. R. Sturla
Qu nos dice esto? Simplemente que la distribucin de probabilidad del precio de las acciones maana
depende slo del precio de hoy, pero no de los precios anteriores.
Si el precio de una accin se puede representar con cadena de Markov, los "tablistas" que tratan de
predecir los precios futuros en base a los comportamientos seguidos durante el pasado estn mal.
Por ejemplo, supongamos que el precio diario de una accin de CSL sigue una cadena de Markov y el
precio de hoy es 50 UM.
Entonces, para predecir el precio de maana no importa si el precio ha aumentado o disminuido durante
cada uno de los ltimos 30 das.
En cualquier caso, o en cualquier otro caso que pudiera haber conducido al precio actual de 50 UM, la
prediccin del precio de maana se debe basar slo en el hecho de que hoy el precio de esas acciones es
de 50 UM.
En la actualidad, el consenso es que para la mayor parte de las acciones, su cotizacin diaria se puede
describir con una cadena de Markov.
A esta idea se le llama con frecuencia hiptesis del mercado eficiente.
Probabilidades de Transicin de n Etapas
Suponga que estudiamos una cadena de Markov con matriz (P) de probabilidad de transicin conocida.
Como todas las cadenas con las que trataremos son estacionarias, no nos importar identificar nuestras
cadenas de Markov como estacionarias.
Una pregunta de inters es: si una cadena de Markov est en el estado i en el tiempo m, cul es la pro-
babilidad que n periodos despus la cadena de Markov est en el estado j?
Como se trata de una cadena de Markov estacionaria, esta probabilidad ser independiente de m y, por
lo tanto, podemos escribir
( ) ( ) ( ) n P i X j X P i X j X P
ij n m n m

+ 0
donde
( ) n P
ij
se llama probabilidad en la etapa n de una transicin del estado i al estado j
Es claro que
( )
ij ij
P P 1
Para determinar
( ) 2
ij
P
ntese que si el sistema se encuentra hoy en el estado i, entonces para que el
sistema termine en el estado j dentro de 2 periodos, debemos pasar del estado i al estado k y despus
pasar del estado k al estado j (Figura 3).
Este modo de razonar nos permite escribir
( ) ( ) ( )

s k
k
ij
j k k i P
1
a de n transici de ad probabilid * a de n transici de ad probabilid 2
De acuerdo con la definicin de P, la matriz de probabilidad de transicin, replanteamos la ltima
ecuacin en la siguiente forma:
( )

s k
k
kj ik ij
p p P
1
2
(3)
El segundo miembro de la ecuacin (3) es tan slo el producto escalar del rengln i de la matriz ( ) P por
la columna j de la misma.
Por lo tanto,
( ) 2
ij
P
es el ij-simo elemento de la matriz
2
P
Generalizando este modo de razonar, se puede demostrar que para
1 n
cadenas_markov.doc
200
Prof. Ing. Claudio L. R. Sturla
( )
n
ij
P ij n P de simo elemento
(4)
Figura 3
( )
sj is j i j i ij
p p p p p p P + + +
2 2 1 1
2
Naturalmente, para n = 0,
( ) ( ) i X j X P P
ij

0 0
0
y, por lo tanto, debemos escribir
( )

'

i j
i j
P
ij
si 0
si 1
0
En el Ejemplo 4 mostraremos el uso de la ecuacin (4).
Ejemplo 4
Ejemplo de cola
Suponga que toda la industria de refrescos produce dos colas.
Cuando una persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra
sea de cola 1.
Si una persona compr cola 2, hay 80 % de probabilidades que su prxima compra sea de cola 2.
1. Si actualmente una persona es compradora de cola 2, cul es la probabilidad que compre cola 1
pasadas dos compras a partir de hoy?
2. Si en la actualidad una persona es compradora de cola 1, cul es la probabilidad que compre
cola 1 pasadas tres compras a partir de ahora?
Solucin
Consideraremos que las compras de cada una de las personas son una cadena de Markov, y que el es-
tado en cualquier momento es el tipo de cola que compr la persona por ltima vez.
Por lo tanto, las compras de cola por parte de cada una de las personas se pueden representar con una
cadena de Markov de dos estados, donde
Estado 1 = la persona acaba de comprar cola 1
Estado 2 = la persona acaba de comprar cola 2
cadenas_markov.doc
201
Prof. Ing. Claudio L. R. Sturla
Si definimos
n
X
como el tipo de cola que compra una persona en la n-sima compra futura (la compra
actual =
0
X
), entonces
, ,
1 0
X X
se puede describir como la cadena de Markov con la siguiente matriz
de transicin:
Cola 1 Cola 2
2 Cola
1 Cola
80 , 0 20 , 0
10 , 0 90 , 0
1
]
1

P
Podemos contestar ahora las preguntas 1 y 2.
1. Se busca
( ) ( )
2
21 0 2
de 21 elemento 2 2 1 P P X X P
1
]
1

1
]
1

1
]
1

66 , 0 34 , 0
17 , 0 83 , 0
80 , 0 20 , 0
10 , 0 90 , 0
80 , 0 20 , 0
10 , 0 90 , 0
2
P
Por lo tanto, ( ) 34 , 0 2
21
P
Esto significa que existe una probabilidad de 0,34 de que la persona 2 compre cola 1, despus de dos
compras a partir de ahora.
Con la teora bsica de probabilidad, podemos obtener esta respuesta siguiendo un camino distinto (Fi-
gura 4)
Figura 4
Probabilidad de que a dos perodos a partir de ahora, un comprador de cola 2 compre cola 1
Ntese que ( ) 2
21
P (probabilidad que la siguiente compra sea cola 1 y la segunda sea cola 1) + (pro-
babilidad que la siguiente compra sea cola 2 y la segunda sea cola 1) =
( ) ( ) ( ) ( ) 34 , 0 20 , 0 80 , 0 90 , 0 20 , 0
21 22 11 21
+ + p p p p
2. Buscamos ( ) 3
11
P elemento 11 de
3
P
( )
1
]
1

1
]
1

66 , 0 34 , 0
17 , 0 83 , 0
80 , 0 20 , 0
10 , 0 90 , 0
2 3
P P P
=
1
]
1

562 , 0 438 , 0
219 , 0 781 , 0
Por lo tanto, P
11
(3) = 0,781
En muchos casos no conocemos el estado de la cadena de Markov en el tiempo 0
Como se ha definido, sea
i
q
la probabilidad de que la cadena est en el estado i en el tiempo 0
cadenas_markov.doc
202
Prof. Ing. Claudio L. R. Sturla
Entonces podemos determinar la probabilidad de que el sistema est en el estado i en el tiempo n me-
diante el siguiente razonamiento (Figura 5):
Figura 5
Determinacin de la probabilidad de estar en el estado j en el tiempo n cuando se desconoce el estado
inicial
Probabilidad de estar en el estado j en el tiempo n =

s i
i 1
(probabilidad de que el estado original sea i)
* (probabilidad de pasar de i a j en n transiciones) =
=
( ) ( )
n
s i
i
ij i
P j q n P q de columna
1

(5)
donde
[ ]
n
q q q q
2 1

Para mostrar el uso de la ecuacin (5) contestaremos la siguiente pregunta:

Supongamos que el 60% de la gente toma hoy cola 1 y el 40% cola 2.
A tres compras a partir de ahora, qu fraccin de los compradores estar tomando cola 1?
Como q = [0,60 0,40] y
q
(columna 1 de
3
P
) = probabilidad de que a tres compras a partir de este momento una persona tome
cola 1
la probabilidad que se busca es
[ ] 6438 , 0
438 , 0
781 , 0
40 , 0 60 , 0
1
]
1

Por lo tanto, a tres compras de este momento el 64 % de las personas estar comprando cola 1.
Para mostrar el comportamiento de las probabilidades de transicin en n etapas para grandes valores de
n, hemos calculado algunas de las probabilidades de transicin de n etapas para el ejemplo de la cola y
las mostramos en la Tabla 2.
Cuando n es grande, P
11
(n) y P
21
(n) son casi constantes y tienden a 0,67
Esto quiere decir que para n grande, independientemente del estado inicial, hay una probabilidad de 0,67
de que una persona compre cola 1.
Igualmente, vemos que para n grande, tanto P
12
(n) como P
22
(n) son casi constantes y tienden a 0,33.
cadenas_markov.doc
203
Prof. Ing. Claudio L. R. Sturla
Esto significa que para n grande, haciendo caso omiso del estado inicial, hay una probabilidad 0,33 de
que una persona sea comprador de cola 2.
Estudiaremos con detenimiento estas tendencias de probabilidad de transicin en la etapa n
Tabla 2
Probabilidades de transicin en n etapas para el ejemplo de Cola
n P
11
(n) P
12
(n) P
21
(n) P
22
(n)
1 0,90 0,10 0,20 0,80
2 0,83 0,17 0,34 0,66
3 0,78 0,22 0,44 0,56
4 0,75 0,25 0,51 0,49
5 0,72 0,28 0,56 0,44
10 0,68 0,32 0,65 0,35
20 0,67 0,33 0,67 0,33
30 0,67 0,33 0,67 0,33
40 0,67 0,33 0,67 0,33
En el software Matlab, en la pgina 3-20 del manual Getting Started se puede mostrar cmo
convergen las probabilidades de transicin al ir aumentando los valores de la potencia (por ejemplo, P ^
5).
Clasificacin de Estados en una Cadena de Markov
Mencionamos que despus de muchas transiciones, las probabilidades de transicin de n etapas tienden a
estabilizarse.
Antes de poder describir esto con ms detalle, necesitamos estudiar cmo los matemticos clasifican los
estados de una cadena de Markov.
La siguiente matriz de transicin se usar para mostrar la mayora de las definiciones siguientes (Figura
6):
( )
1
1
1
1
1
1
]
1

2 , 0 8 , 0 0 0 0
1 , 0 4 , 0 5 , 0 0 0
0 7 , 0 3 , 0 0 0
0 0 0 5 , 0 5 , 0
0 0 0 6 , 0 4 , 0
P
DEFINICIN: Dados dos estados i y j, la trayectoria de i a j es la sucesin de
transiciones que comienza en i y termina en j, de modo que cada transicin de la
secuencia tenga probabilidad positiva de presentarse.
Figura 6
Representacin grfica de la matriz de transicin
cadenas_markov.doc
204
Prof. Ing. Claudio L. R. Sturla
DEFINICIN: Un estado j es alcanzable desde un estado i si hay una trayectoria que vaya de i a j
Para la matriz P de probabilidad de transicin representada en la Figura 6, el estado 5 es alcanzable
desde el estado 3 (a travs de la trayectoria 3 4 5), pero el estado 5 no es alcanzable desde el es-
tado 1 (no hay trayectoria que vaya de 1 a 5 en la Figura 6).
DEFINICIN: Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i
es alcanzable desde j
Los estados 1 y 2 se comunican: podemos pasar de 1 a 2 y de 2 a 1.
DEFINICIN: Un conjunto de estados S en una cadena de Markov es conjunto
cerrado si ningn estado fuera de S es alcanzable desde un estado en S
De la cadena de Markov con la matriz P de la Figura 6, tanto { } 2 , 1
1
S como { } 5 , 4 , 3
2
S son con-
juntos cerrados.
Observe que una vez que entramos a un conjunto cerrado no podemos dejarlo nunca.
En la Figura 6 ningn arco comienza en
1
S y termina en
2
S o principia en
2
S y termina en
1
S
DEFINICIN: Un estado i es estado absorbente si
ii
p
= 1
Siempre que entramos a un estado de absorcin, nunca lo podremos dejar.
En el Ejemplo 1, la ruina del jugador, los estados 0 y 4 son absorbentes.
Es natural que un estado absorbente sea un conjunto cerrado que slo contenga un estado.
DEFINICIN: Un estado i es estado transitorio si hay un estado j alcanzable desde i,
pero el estado i no es alcanzable desde el estado j
En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se
regrese a l.
cadenas_markov.doc
205
Prof. Ing. Claudio L. R. Sturla
En el ejemplo de la ruina del jugador, los estados 1, 2 y 3 son estados transitorios.
Por ejemplo (Figura 1), desde el estado 2 es posible pasar por la trayectoria 2 3 4, pero no hay
modo de regresar al estado 2 desde el estado 4.
Igualmente, en el Ejemplo 2, [2 0 0] y [1 1 0] son estados transitorios.
En la Figura 2, hay una trayectoria desde [1 0 1] a [0 0 2], pero una vez que se hayan pintado ambas
bolas, no hay manera de regresar a [1 0 1]
Despus de un gran nmero de periodos, la probabilidad de encontrarse en cualquier estado de transi-
cin i es cero.
Cada vez que entramos a un estado i de transicin, hay una probabilidad positiva de dejar i para siempre
y terminar en el estado j descrito en la definicin de estado transitorio.
As, al final, tenemos la seguridad de entrar al estado j (y en este caso nunca regresaremos al estado i).
As, suponga que en el Ejemplo 2 nos encontramos en el estado transitorio [1 0 1]
Con probabilidad 1, la bola no pintada la pintaremos finalmente y nunca regresaremos a ese estado
[1 0 1] (Figura 2).
DEFINICIN: Si un estado no es transitorio, se llama estado recurrente.
En el Ejemplo 1, los estados 0 y 4 son estados recurrentes (y tambin estados absorbentes).
En el Ejemplo 2, [0 2 0], [0 0 2] y [0 1 1] son estados recurrentes.
Para la matriz de transicin de la Figura 6, todos los estados son recurrentes.
DEFINICIN: Un estado i es peridico con periodo k >1 si k es el menor nmero tal
que todas las trayectorias que parten del estado i y regresan al estado i tienen una lon-
gitud mltiplo de k. Si un estado recurrente no es peridico, se llama aperidico.
Para la cadena de Markov cuya matriz de transicin es
( )
1
1
1
]
1

0 0 1
1 0 0
0 1 0
Q
cada estado tiene periodo 3.
Por ejemplo, si comenzamos en el estado 1, la nica manera de regresar a ese estado es seguir la tra-
yectoria 1 2 3 1 durante digamos m veces (Figura 7).
Por lo tanto, cualquier regreso al estado 1 tomar 3m transiciones, de modo que el estado 1 tiene pe-
riodo 3.
Donde nos encontremos, tenemos la seguridad de regresar all tres periodos despus.
Figura 7
Cadena peridica de Markov con k = 3
cadenas_markov.doc
206
Prof. Ing. Claudio L. R. Sturla
DEFINICIN: Si todos los estados de una cadena son recurrentes, aperidicos y se
comunican entre s, se dice que la cadena es ergdica.
El ejemplo de la ruina del jugador no es cadena ergdica porque, por ejemplo, los estados 3 y 4 no se
comunican.
El Ejemplo 2 tampoco es una cadena ergdica porque, por ejemplo, [2 0 0] y [0 1 1] no se comuni-
can.
El Ejemplo 4, el ejemplo de la cola, es cadena ergdica de Markov.
De las siguientes tres cadenas de Markov, P
1
y P
3
son ergdicas y P
2
no es ergdica.
[ ] Ergdica
4 / 3 4 / 1 0
2 / 1 0 2 / 1
0 3 / 2 3 / 1
1
1
1
1
]
1

P
[ ] ergdica No
4 / 3 4 / 1 0 0
3 / 1 3 / 2 0 0
0 0 2 / 1 2 / 1
0 0 2 / 1 2 / 1
2
1
1
1
1
]
1

P
[ ] Ergdica
3 / 1 3 / 2 0
0 3 / 1 3 / 2
4 / 1 2 / 1 4 / 1
3
1
1
1
]
1

P
P
2
no es ergdica porque hay dos clases cerradas de estados (la clase 1 = { } 2 , 1 y la clase 2 = {3, 4}) y
los estados en clases diferentes no se comunican entre si.
Probabilidades de Estado Estable y Tiempos Medios de Primer Pasaje
En nuestra descripcin del ejemplo de Cola (Ejemplo 4), encontramos que despus de largo tiempo, la
probabilidad de que la siguiente compra de una persona fuera de cola 1 tenda a 0,67, y la de que la
compra siguiente fuera de cola 2 tenda a 0,33 (Tabla 2).
Estas probabilidades no dependieron de si la persona era al principio tomador de cola 1 o de cola 2.
En esta seccin describiremos el importante concepto de probabilidades de estado estable, que se pue-
den usar para describir el comportamiento de una cadena de Markov a largo plazo.
El resultado siguiente es vital para comprender las probabilidades de estado estable y el comportamiento
a largo plazo de cadenas de Markov.
TEOREMA 1: Sea P la matriz de transicin de una cadena ergdica de s estados.
Existe entonces un vector
[ ]
s

2 1

tal que
[ ]
1
1
1
1
]
1

s
s
s
s
n
n
P lim

2 1
2 1
2 1
2 1
Recuerde que el ij-simo elemento de
n
P
es
( ) n P
ij
cadenas_markov.doc
207
Prof. Ing. Claudio L. R. Sturla
El teorema 1 establece que para cualquier estado inicial i,
( )
j ij
n
n P lim

Observe que para n grande,
n
P
tiende a una matriz con renglones idnticos.
Esto quiere decir que despus de largo tiempo, la cadena de Markov se estabiliza e, independientemente
del estado inicial i, hay una probabilidad
j

de que nos encontremos en el estado j

El vector
[ ]
s

2 1

a menudo se llama distribucin de estado estable, o tambin distribu-

cin de equilibrio para la cadena de Markov.
Cmo podemos encontrar la distribucin de probabilidades de estacionario para una cadena dada cuya
matriz de transicin es [ ] P ?
Segn el teorema 1, para n grande y para toda i,
( ) ( )
j ij ij
n P n P + 1
(6)
Como
( ) ( )( ) P j P i n P
n
ij
de columna de rengln 1 +
, podemos escribir
( ) ( )

+
s k
k
kj ik ij
p n P n P
1
1
(7)
Si n es grande, al sustituir la ecuacin (6) en la (7) se obtiene

s k
k
kj k j
p
1

(8)
En forma matricial, la ecuacin (8) se puede escribir como:
( ) P (8')
Desgraciadamente, el sistema de ecuaciones que especifica la ecuacin (8) tiene un nmero infinito de
soluciones, porque el rango de la matriz (P) siempre resulta ser 1 s (puede verse captulo 2, pro-
blema de repaso 21 de Winston).
Para obtener valores nicos de probabilidades de estado estable, note que para toda n y toda i,
( ) ( ) ( ) 1
2 1
+ + + n P n P n P
is i i

(9)
Al hacer que n tienda al infinito en la ecuacin (9), obtenemos
1
2 1
+ + +
s

(10)
As, despus de reemplazar cualquiera de las ecuaciones (8) por (10), podemos usar la ecuacin (8) para
despejar las probabilidades de estado estable.
Para mostrar cmo determinar las probabilidades de estado estable, las calcularemos para el Ejemplo 4,
de la Cola.
Recuerde que la matriz de transicin de ese ejemplo era
cadenas_markov.doc
208
Prof. Ing. Claudio L. R. Sturla
[ ]
1
]
1

80 , 0 20 , 0
10 , 0 90 , 0
P
Entonces las ecuaciones (8) u (8') producen
[ ] [ ]
1
]
1

80 , 0 20 , 0
10 , 0 90 , 0
2 1 2 1

2 1 2
2 1 1
80 , 0 10 , 0
20 , 0 90 , 0


+
+
Al reemplazar la segunda ecuacin por la condicin 1
2 1
+ , obtenemos el sistema
2 1
2 1 1
1
20 , 0 90 , 0


+
+
Al despejar
2 1
y , resulta que
3
1
y
3
2
2 1

Por lo tanto, despus de largo tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y
1/3 de probabilidad de que una persona dada compre cola 2.
Anlisis de estado transitorio
Un vistazo a la Tabla 2 muestra que para el Ejemplo 4 se alcanza el estado estable, a dos cifras deci-
males, slo despus de 10 transiciones.
No se puede dar una regla general acerca de qu tan rpido alcanzan las cadenas de Markov el estado
estable, pero si P contiene muy pocos elementos que queden cerca de 0 de 1, en general, se alcanza en
forma muy rpida el estado estable.
El comportamiento de una cadena de Markov antes de alcanzar el estado estable se llama comporta-
miento transitorio (o a plazo corto).
Para estudiar el comportamiento transitorio de una cadena de Markov, tan slo se usan las frmulas
para
( ) n P
ij
de las ecuaciones (4) y (5).
Sin embargo es bueno saber que para n grande, las probabilidades de estado estable describen con
exactitud la probabilidad de encontrarse en un estado determinado.
Interpretacin Intuitiva de las Probabilidades de Estado Estable
Se puede dar una interpretacin intuitiva de las ecuaciones (8) de probabilidad de estado estable.
Al restar
ij j
p
de ambos lados de (8) se obtiene
( )

j k
kj k ij j
p p 1
(11)
La ecuacin (11) dice que en el estado estable,
Probabilidad de que una transicin determinada deje el estado j = probabilidad de que una transicin
determinada entre al estado j (12)
Recurdese que en el estado estable, la probabilidad de que el sistema est en el estado j es
j

cadenas_markov.doc
209
Prof. Ing. Claudio L. R. Sturla
Segn esa observacin se concluye que
Probabilidad de que una transicin particular deje el estado j =
= (probabilidad de que el periodo actual comience en j)
* (probabilidad de que la transicin actual deje j) =
=
( )
jj j
p 1
y
Probabilidad de que determinada transicin entre al estado j
=

k
(probabilidad de que el periodo actual comience en
j k
* (probabilidad de que la transicin actual entre a j) =

j k
kj k
p
Es aceptable la ecuacin (11).
Si fuera violada para cualquier estado, entonces para un estado j el lado derecho de (11) sera mayor que
el lado izquierdo.
Esto ocasionara una probabilidad de "acumulacin" en el estado 1 y no existira una distribucin de
estado estable.
Se puede considerar que la ecuacin (11) dice que en el estado estable, el "flujo" de probabilidad hacia
cada estado debe ser igual al flujo de probabilidad que sale de cada estado.
Esto explica por qu las probabilidades de estado estable se llaman con frecuencia probabilidades de
equilibrio.
Actualizado al 31/8/2.003
D:\GENERAL\INVESTIGACIN OPERATIVA\GESTIN MARKOV Impreso el 18/03/2008
cadenas_markov.doc
210