2.3.

- CADENAS DE MARKOV
Las cadenas de Markov tienen la propiedad particular de
que las probabilidades que describen la forma en que el
proceso evolucionar en el futuro, depende slo del estado
actual en que se encuentra el proceso, y por lo tanto, son
independientes de los eventos ocurridos en el pasado.
Sea el proceso estocstico {Xn donde n = 0, 1, 2, .n} donde
Xn = t, es el estado t del sistema en el tiempo n.
Ejemplo: Modelo de enfermedades contagiosas
Propiedad Markoviana (independencia Condicional)
El estado futuro del sistema depende de su trayectoria
pasada solo a travs del presente:
Pij = Pr{ Xn+1=j / X0=i0, X1=i1, Xn-1= in-1, Xn=i} = Pr{ Xn+1 = j / Xn = i }
Por tanto:

Pij = Pr{ Xn+1=j / Xn=i } para todo n=0, 1, .

Llamaremos Pij la probabilidad de transicin de estar en el

estado j en el momento n+1, conocidos los estados
anteriores.
Propiedad de estacionalidad
La probabilidad del estado futuro depende del valor del estado
presente, pero no de la etapa en que nos encontramos, es
decir, no depende de n. La probabilidad de transicin no
cambia en el tiempo.

Pij = Pr{ Xn+1=j / Xn=i} = Pr{ Xn+m+1=j / Xn+m=i}

Definicin 5: Sea {Xn = 0,1,2,.n} un proceso estocstico
con la propiedad markoviana y con la propiedad de
estacionalidad, entonces este proceso se denomina cadena
de Markov en tiempo discreto.
Pij= probabilidad de transicin en una etapa
P = ( Pij ) = matriz de probabilidades de transicin en una
etapa.

 P00 P01 ... P0n

P

P
10
1
n

P ( Pij ) .

...
Pn0 ..
Pnn

Propiedades de la matriz P:
Es una matriz cuadrada y puede ser finita o infinita
P no tiene porqu ser simtrica Pij Pji
La dimensin de P corresponde al nmero de estados del
sistema.
La suma de los estados de una fila debe ser 1
n

P
j 0

ij

i = 0,1,2..n

La suma de los estados de una columna no tiene ninguna

interpretacin especial.
Ejemplo:
Una multi-tienda tiene un modelo especial de cmaras
fotogrficas que puede ordenar cada semana.

Sean D1, D2, ..Dn, las demandas durante la primera,

segunda y n-sima semana respectivamente. (se supone que
las Di son v.a. que tienen una distribucin de probabilidad
conocida)
.
X0 : nmero de cmaras que se tiene al iniciar el proceso.
Suponga que X0=0
X1 : nmero de cmaras que se tiene al final de la semana 1
X2 : nmero de cmaras que se tiene al final de la semana 2
Xn : nmero de cmaras que se tiene al final de la semana n
Suponga que la multitienda utiliza una poltica de pedidos
(s,S), es decir siempre que el nivel de inventario sea menor
que s, se ordenan hasta S unidades (S>s). Si el nivel de
inventario es mayor o igual, no se ordena. Se tiene: s=1; S=3
Se supone que las ventas se pierden cuando la demanda
excede el inventario. Entonces {Xt } para t=1, 2, n es un
proceso estocstico
El nmero posible de cmaras en inventario al final de la
semana t son: { 0, 1, 2, 3 } estados posibles del sistema.

Las v.a. Xt son dependientes y se pueden evaluar en

forma iterativa por medio de la expresin:
Max {(3 Dt+1), 0}si Xt < 1
Xt+1 =
Max {(Xt Dt+1), 0}

si Xt 1

Para este caso observe que {Xt} es una cadena de Markov.

Xt= nmero de cmaras al final de la semana t (antes de
recibir el pedido)
Dt= demanda de cmaras en la semana t. Suponga que tiene
Dt~Poisson(=1)
P00= Pr{ Xt=0 / Xt-1=0} = Pr { Dt3} = 1 - Pr { Dt 2 } = 0.08
P10= Pr{ Xt=0 / Xt-1=1} = Pr { Dt1} = 1 - Pr { Dt = 0 } = 0.632
P21= Pr{ Xt=1 / Xt-1=2} = Pr { Dt=1} = 0.368
Similarmente se obtienen las otras probabilidades

 0.080
0.632
P
0.264

0.080

0.184

0.368

0.368
0.368
0.184

0.00
0.368
0.368

0.368
0.00
0.00

0.368

Probabilidad de Transicin en m etapas

Ecuaciones de Chapman-Kolmogorov
Las ecuaciones de Chapman-Kolmogorov proporcionan un
mtodo para calcular las probabilidades de transicin de n
pasos

i
k
Etapa m
Etapa m+r

j
Etapa m+n

Pij(n) = probabilidad condicional de la v.a. X, comenzando en el

estado i se encuentre en el estado j despus de n etapas.
Pij(n) = P{Xm+n = j / Xm = i } = P{Xn = j / X0 = i }
Al ir del estado i al estado j en n pasos, el proceso estar en
algn estado k despus de exactamente r pasos

Pij(n) = Pik(r) Pkj(n-r)

k

Entonces:

Pij(n) = P(n) = P(r)P(n-r) = matriz de transicin en n etapas

Una matriz de transicin en n etapas, se puede determinar
conociendo la matriz de transicin en una etapa y elevarla n
veces.

P (n)

P00( n )

.
(n)
P0 M

... ...

P0(Mn )

.
.

... ...

(n)
PMM

Propiedades:
P(n+m) = P(n)P(m)
El producto de dos matrices de Markov siempre es una
matriz de Markov.
Ejemplo:
Para el problema de inventarios donde la matriz de transicin
de un paso estaba dado por:
0.080
0.632
P
0.264

0.080

0.184

0.368

0.368
0.368
0.184

0.00
0.368
0.368

0.368
0.00
0.00

0.368

La matriz de transicin de dos pasos es:

P ( 2)

0.249
0.283

0.351

0.249

0.286

0.300

0.252
0.319
0.286

0.233
0.233
0.300

0.165

0.233
0.097

0.165

La matriz de transicin de 4 pasos:

P

( 4)

0.289
0.282

0.284

0.289

0.286

0.261

0.285
0.283
0.286

0.268
0.263
0.261

0.164

0.166
0.171

0.164

Distribucin de Probabilidades
del proceso en la etapa n Pr{ Xn=j }
Las probabilidades de transicin de 1 n pasos son
probabilidades condicionales, por ejemplo:
Pij(n) = P{Xn = j / X0 = i }
Si se desea la probabilidad incondicional Pr{ Xn=j } es
necesario que se especifique la distribucin de probabilidad
del estado inicial:

 Pr X n 0 (n)
Pr X 1 f0
n ( n)
f1
(n)

f (n)
Pr X j j
n
f(n) = vector de distribucin de probabilidades de la variable
discreta Xn en la etapa n
f(0) = distribucin de probabilidades inicial
f j( n ) Pr{ X n j} Pr{ X n j / X 0 i} Pr{ X 0 i}
i

donde i son los estados posibles del estado inicial

f j( n ) Pij( n ) f i ( 0)
i

f (n) P(n)

f ( 0) P n

f (0)

Visitas a un estado fijo

Supongamos que X0=i (un estado fijo). Se quiere estudiar el
tiempo que transcurre hasta que ingresamos al estado j por
primera vez (j es un estado fijo)

i
j

T(i,j)= tiempo que transcurre para ir del estado i al j por

primera vez:
Pr{T(i,j)=k} = Pr{X1 j, X2 j, Xk-1 j Xk=j / X0= i} = Fk(i,j)
Donde Fk(i,j) es la probabilidad de que el tiempo de ir del
estado i al j por primera vez sea en k etapas.
FK (i, j )

P F
l j

il

K 1

(l , j )

Si k=1

F1(i,j) = Pr{T(i,j)=1} = Pij

Si k 1

FK (i, j ) Pil FK 1 (l , j )
l j

Por lo tanto la probabilidad de ir del estado i al estado j alguna

vez es:
Pr{ ir de i a j alguna vez}

F (i , j ) FK (i, j )
k 1

F (i, j ) Pi , j Pil F (l , j )
l j

Tiempo Medio
E (T (i, j ))

kF
K 1

(i, j )

Clasificacin de estados en
una cadena de Markov
Definicin 6:
Se dice que el estado j es accesible desde el estado i, si
Pij(n)>0 para alguna etapa n 0
Que el estado j sea accesible desde el estado i significa
que es posible que el sistema llegue eventualmente al estado
j si comienza en el estado i.
En general, una condicin suficiente para todos los
estados sean accesibles es que exista un valor de n para el
que Pij(n)>0 para todo i y j

Ejemplo: del jugador

El estado 2 no es accesible desde el estado 3
El estado 3 si es accesible desde el estado 2

1
1 p

0
0
1 p
0

0
p
0
0

0
0
p

Definicin:
Si el estado j es accesible desde el estado i, y el estado i es
accesible desde el estado j, entonces se dice que los estados
i y j se comunican.
Propiedades de la comunicacin
Cualquier estado se comunica consigo mismo
Pii(0)= P{X0=i/X0=i} =1
Si el estado i se comunica con el estado j, el estado j se
comunica con el estado i
i

 Si el estado i se comunica con el estado j y el estado j se

comunica con el estado k, entonces el estado i se
comunica con el estado k.
i

j
i

k
k

Si j es accesible desde i, existe n tal que Pij(n)>0

Si k es accesible desde j, existe n tal que Pjk(n)>0
El concepto de comunicacin divide el espacio de
estados en clases ajenas, es decir que dos clases
siempre son idnticas o disjuntas.
Ningn estado puede pertenecer a dos clases distintas.
Dos estados que se comunican entre si, se dice
pertenecen a la misma clase.
Definicin 7: Una matriz de una sola clase se dice
irreducible.
Ejemplo:
1/ 2
P 1 / 2
0

1/ 2
1/ 4
1/ 3

0
1 / 4
2 / 3

solo hay una clase

0
0
1/ 2 1/ 2
1/ 2 1/ 2
0
0
P
1 / 4 1 / 4 1 / 4 1 / 4

0
0
1
0

hay tres clases

Definicin 8: Sea F(i,i) la probabilidad de retornar al estado i,

alguna vez, dado que se comienza en el estado i.
1. Si F(i,i) < 1 el estado i es transitorio (o transiente)
2. Si F(i,i) = 1 el estado i es recurrente
Si E(T(i,i)) = el estado i es recurrente nulo
Si E(T(i,i)) <

el estado i es recurrente positivo

Un caso especial de un estado recurrente es un estado

absorbente. Un estado es absorbente si una vez que se
entra en l no se puede abandonar, es decir, Pii = 1
Por lo general no es fcil determinar si un estado es
recurrente o transitorio evaluando F(i,i). Por lo tanto no es
evidente si un estado debe clasificarse como recurrente o
transitorio.
Si un proceso de Markov se encuentra en el estado i y el
estado es transitorio, entonces la probabilidad de que no
regrese al estado i es (1-F(i,i)).

Por tanto el nmero esperado de periodos que el proceso

se encuentra en el estado i es finito y est dado por 1/(1-F(i,i))
Propiedades:
En una matriz de Markov de nmero finito de estados
no todos pueden ser transitorios.
Si i es recurrente y adems i se comunica con j,
entonces j es recurrente.
Si i es transitorio y adems i comunica con j, entonces j
es transitorio.
Todos los estados de una cadena de Markov de estado
finito irreducible son recurrentes.
Por tanto:
Una clase es recurrente si no se puede salir de ella
Una clase es transitoria si se puede salir de ella y
no hay forma de regresar.
Definicin 9:
Si existen dos nmeros consecutivos s y s+1 tales que el
proceso puede encontrarse en el estado i en los tiempos s y

s+1, se dice que el estado tiene periodo 1 y se llama estado

aperidico. Por tanto, un estado es peridico si, partiendo
de ese estado, solo es posible volver a l en un nmero de
etapas que sea mltiplo de un cierto nmero mayor que uno
Los

estados

recurrentes

positivos

aperidicos

se

denominan ergdicos
En una matriz de Markov finita, los estados recurrentes
son recurrentes positivos
Una cadena de Markov es ergdica si todos sus estados
son ergdicos

Evolucin del proceso en el largo plazo

Definicin 10: Para una cadena de Markov irreducible
ergdica si el

lim Pij( n )

existe y es independiente del estado

inicial i entonces tiene una distribucin estacionaria tal que:

lim Pij( n ) j
n

1
0
E (T ( j , j ))

donde:
M

j i Pij
i 0

j 0

j=0,1,2M

Las j se llaman probabilidades de estado estable de la

cadena de Markov y son iguales al inverso del tiempo
esperado de recurrencia.
La probabilidad de encontrar el proceso en un cierto
estado, por ejemplo j, despus de un nmero grande de
transiciones tiende al valor j.
Este valor es independiente de la distribucin de
probabilidad inicial definida para los estados.
Si una cadena de Markov tiene distribucin estacionaria
en que j >0 para algn j, entonces es la solucin del
sistema
T= TP
i = 1
i 0

 ( 1 , 2 ,...... n ) ( 1 , 2 ,... n )

P11
P
21

P12
P22

...
...

Pn1

P1n
P2 n

Pn 2

Pnn

Costos promedios esperados

Suponga que se incurre en un costo C(Xt) cuando el proceso
se encuentra en el estado Xt en el tiempo t, para t=0,1,.. El
costo promedio esperado por unidad de tiempo (a la larga),
est dado por:
M

j 0

C ( j)