Cadenas de Markov

FIMCP
de la Produccion Industrial Ingenier a y Administracion
Cadenas de Markov
de Operaciones II Investigacion
G. Abad, Ph.D. Andres agabad@espol.edu.ec

ESCUELA SUPERIOR POLITECNICA DEL LITORAL de la Produccion Industrial Ingenier a y Administracion
G. Abad, Ph.D. agabad@espol.edu.ec Andres
Cadenas de Markov
FIMCP
Cadenas de Markov Ejemplo: Modelo del clima en un pueblo I
Supongamos que en cierto pueblo se ha observado que 90% de todos los d as soleados son seguidos por otro d a soleado, y 80% de los d as nublados son seguidos por otro d a nublado. Como para modelar el clima de este podr amos utilizar esta informacion pueblo?
Cadenas de Markov
FIMCP
de Cadenas de Markov I Denicion
Se dice que un proceso estocastico {Xt }, (t = 0, 1, . . . ) es una cadena de Markov con estados nitos si posee las siguientes caracter sticas Un numero nito de estados Un conjunto de probabilidades iniciales P {X0 = i } para todo i estacionarias Probabilidades de transicion La propiedad Markoviana
Cadenas de Markov
FIMCP
Propiedad Markoviana
Se dice que un proceso estocastico Xt tiene la propiedad markoviana si P {Xt +1 = j |Xt = i , Xt 1 = kt 1 , . . . , X0 = k0 } = P {Xt +1 = j |Xt = i } para t = 0, 1, 2, . . . y toda sequencia de estados k0 , . . . , kt 1 , i , j
Cadenas de Markov
FIMCP
Probabilidades de transicion
La probabilidad condicional P {Xt +1 = j |Xt = i } son llamadas probabilidades de transicion
estacionaria Probabilidades de transicion

Si para cada i y j tenemos P {Xt +1 = j |Xt = i } = P {X1 = j |X0 = i } son entonces decimos que las probabilidades de transicion estacionarias y las denotamos por pij
Cadenas de Markov
FIMCP
Ejemplo: Sacando bolas de una urna I
Una urna contiene inicialmente dos bolas sin pintar. Escogemos una bola al azar y lanzamos una moneda. Si la bola escogida esta sin pintar y obtenemos una cara en la moneda, entonces pintamos sin pintar y obtenemos un sello en la bola color rojo; si la bola esta la moneda, entonces pintamos la bola color negro. Si la bola ya pintada, entonces (independientemente del resultado de la esta moneda) cambiamos el color de la bola (de rojo a negro o de negro a rojo).
Cadenas de Markov
FIMCP
Ejemplo: Modelo del clima en un pueblo 2 I

Supongamos ahora que el clima de manana depende de los dos ultimos d as de la siguiente manera: 1. Si los dos ultimos d as han sido soleados, 95% de las veces manana es soleado tambien; soleado 2. Si ayer fue nublado y hoy es soleado, manana sera un 70% de las veces; 3. Si ayer fue soleado y hoy es nublado, entonces manana sera nublado un 60% de las veces; y 4. Si los dos ultimos d as ha sido nublado, entonces manana nublado un 80%. sera modele el clima de este pueblo como Utilizando esta informacion, una cadena de Markov.
Cadenas de Markov
FIMCP
de maquinas Ejemplo: Reparacion I
a tiene dos maquinas. Una compan Durante cualquier d a, cada funcionando al inicio del d maquina que esta a tiene una 1 Si una maquina de que se dane. se dana probabilidad de 3 y estara reparada dos d durante el d a, es enviada a reparacion as de que se dan o (as durante el despues , si una maquina se dana funcionando al inicio del d d a 3, estara a 5.) Haciendo que los estados del sistema sean el numero de maquinas funcionando al para esta inicio de cada d a, obtenga la matriz de transicion situacion.
Cadenas de Markov
FIMCP
Ejemplo: Problema de inventario I

Una tienda almacena camaras que pueden ser ordenadas semanalmente. Sea D1 , D2 , . . . la demanda de la camara durante la primera semana, la segunda semana, y as respectivamente Asumimos que los Di s son variables aleatorias independientes e identicamente distribuidas
Sea X0 el numero de camaras al inicio, X1 el numero de camaras al nal de la 1era semana, X2 el numero de camaras al nal de la 2nda semana, y as sucesivamente Asumimos que X0 = 3
Cadenas de Markov
FIMCP
Ejemplo: Problema de inventario II

La tienda utiliza la siguiente pol tica de ordenamiento (s, S ) Si el numero de camaras al nal de la semana es menor a s = 1, entonces se env a una orden de S = 3 Caso contrario, la tiendo no env a una orden esta semana
Asi, {Xt } para t = 0, 1, es un proceso estocastico Las variables aleatorias Xt s son claramente dependientes y pueden ser evaluadas iterativamente por la expresion Xt +1 = max{(3 Dt +1 ), 0} si Xt < 1; max{(Xt Dt +1 ), 0} si Xt 1.
Cadenas de Markov
FIMCP
Ejemplo: Problema de inventario III

Matriz de transicion p00 p10 P= p20 p30
p01 p11 p21 p31
p02 p12 p22 p32
p03 p31 p32 p33
de Poisson con media Asumiendo que Dt +1 sigue una distribucion 1, tal que P {Dt +1 = n} =
(1)n e1 , n!
n = 0, 1, . . .
Cadenas de Markov
FIMCP
Ejemplo: Problema de inventario IV
P {Dt +1 = 0} =e1 = 0.368 P {Dt +1 = 1} =e1 = 0.368 P {Dt +1 = 2} = P {Dt +1 e1 = 0.184 2 3} =1 P {Dt +1 2} = 0.080
Cadenas de Markov
FIMCP
Ejemplo: Problema de inventario V

Dado que si Xt = 0, entonces Xt +1 = max{3 Dt +1 , 0} p03 = P {Dt +1 = 0} =e1 = 0.368 p02 = P {Dt +1 = 1} =e1 = 0.368 p01 = P {Dt +1 = 2} = p00 = P {Dt +1 e 1 = 0.184 2 3} =0.080
Cadenas de Markov
FIMCP
Ejemplo: Problema de inventario VI
De manera similar podemos encontrar los demas pij s, obteniendo as 0.080 0.632 P= 0.264 0.080
0.184 0.368 0.368 0.368 0 0 0.368 0.368 0 0.184 0.368 0.368
Cadenas de Markov
FIMCP
Ejemplo: Problema de inventario VII
Cadenas de Markov
FIMCP
Ejemplo: Apuestas
Supongamos que un jugador tiene $2 y en cada juego gana $1 con probabilidad p o pierde $1 con probabilidad 1 p. El juego termina cuando el juegador acumula $4 o pierde todo.
P=
0 1p 0 0 1p p 0 0 1p 0 0 0 0 0
0 0
0 p 0
0 0 0 p 1
Cadenas de Markov
FIMCP
de n pasos I Probabilidades de transicion

estacionarias implica La existencia de probabilidades de transicion que para cada i , j , y n (n = 0, 1, 2, . . . ) P {Xt +n = j |Xt = i } = P {Xn = j |X0 = i } para todo t = 0, 1, . . . . Para simplicar notaciones escribiremos: pij = P {Xt +1 = j |Xt = i }, pij
(n)
= P {Xt +n = j |Xt = i }.
Cadenas de Markov
FIMCP
de n pasos II Probabilidades de transicion
Naturalmente, las probabilidades condicionales pij , satisfaceran pij

M
(n)
(n)
0, para todo i , j , y n = 0, 1, 2, . . .
(n )
pij
j =0
= 1, para todo i y n = 0, 1, 2, . . .
Cadenas de Markov
FIMCP
matricial de las probabilidades de Representacion I transicion

Una representacion conveniente de las probabilidades de son las matrices transicion State 0 P (n ) = 1 . . . M O equivalentemente p00 . = . . 0
(n) p00
M p0M . . . . . .
(n) (n)
. . . . . .
pM 0
(n)
pMM
(n)
P (n)
pM 0
(n)
p0M . . . pMM
(n)
(n)
Cadenas de Markov
FIMCP
Ejemplo: La cola I
Supongamos que la industria total de bebidas gaseosas producen solo dos colas. Dado que la ultima compra de una persona es la cola 1, hay un 90% de probabilidad de que su siguiente compra sea cola 1. Dado que la ultima compra de una persona es la cola 2, entonces hay un 80% de probabilidad de que su siguiente compra sea la cola 2. 1. Si la persona acaba de comprar la cola 2, cual es la probabilidad de que compre la cola 1 dos compras despues. 2. Si la persona acaba de comprar la cola 1, cual es la probabilidad de que compre la cola 1 tres compras despues.
Cadenas de Markov
FIMCP
Ecuaciones de Chapman-Kolgomorov I
Las ecuaciones de Chapman-Kolgomorov proporcionan un (n ) pij : metodo para calcular las probabilidades de transicion
M
pij
(n)
=
k =0
pik pkj
(m) (nm)
para todo i = 1, 2, . . . , M , j = 1, 2, . . . , M y cualquier m = 1, 2, . . . , n 1 y n = m + 1, m + 2, . . .
Cadenas de Markov
FIMCP
Ecuaciones de Chapman-Kolgomorov II
En particular, con m = 1 y m = n 1 obtenemos

M M
pij
(n )
=
k =0
pik pkj
(n1)
pij
(n)
=
k =0
pik
(n1)
pkj
Estas ecuaciones nos permiten obtener las probabilidades de de n pasos recursivamente de las probabilidades pij s transicion
Cadenas de Markov
FIMCP
Ecuaciones de Chapman-Kolgomorov III

Para n = 2, tenemos
M
pij
(2)
=
k =0
pik pkj ,
para todo estado i y j
Cadenas de Markov
FIMCP
Ecuaciones de Chapman-Kolgomorov IV
Notemos que los elementos pij
(2)
son los elementos de la matriz
P (2) = P P = P 2 se puede mostrar entonces que Por induccion P (n) = P P (n1) = P P n1 = P n P (n) = P (n1) P = P n1 P = P n
Cadenas de Markov
FIMCP
Ecuaciones de Chapman-Kolgomorov V
0.080 0.632 = P2 = 0.264 0.080
P (2)
0.184 0.368 0.368 0.368 0 0 0.368 0.368 0 0.184 0.368 0.368 0.184 0.368 0.368 0.368 0 0 0.368 0.368 0 0.184 0.368 0.368 0.300 0.233 0.233 0.300 0.165 0.233 0.097 0.165
0.080 0.632 0.264 0.080 0.249 0.283 = 0.351 0.249
0.286 0.252 0.319 0.286
Cadenas de Markov
FIMCP
Ecuaciones de Chapman-Kolgomorov VI
0.249 0.283 = P4 = 0.351 0.249
P (4)
0.286 0.252 0.319 0.286
0.300 0.233 0.233 0.300 0.286 0.252 0.319 0.286 0.261 0.268 0.263 0.261
0.165 0.233 0.097 0.165 0.300 0.233 0.233 0.300 0.165 0.233 0.097 0.165
0.249 0.283 0.351 0.249 0.289 0.282 = 0.284 0.289
0.286 0.285 0.283 0.286
0.164 0.166 0.171 0.164
Cadenas de Markov
FIMCP
Ecuaciones de Chapman-Kolgomorov VII

Probabilidades incondicionales de estados Las probabilidades incondicionales de estados P {Xn = j } pueden ser obtenidas utilizando las probabilidades del estado inicial P {X0 = i }, asi
(n) (n)
P {Xn = j } =P {X0 = 0}p0j + P {X0 = 1}p1j +
+ P {X0 = M }pMj
M
(n )
=
i =0
P {X0 = i }p0i
(n )
Cadenas de Markov
FIMCP
Ecuaciones de Chapman-Kolgomorov VIII
Ejemplo: Inventario Dado que asumimos que inicialmente hab an 3 camaras tenemos
P {X0 = 0} = P {X0 = 1} = P {X0 = 2} = 0 y por consiguiente tenemos que
P {X0 = 3} = 1
P {X2 = 3} = (1)p33 = 0.165
(2)
Cadenas de Markov
FIMCP
Estados accesibles y comunicados I
Decimos que un estado j es accesible desde otro estado i (i j ) (n) si pij > 0 para algun n suciente para que todos los En general, una condicion estados sean accesibles es que exista un valor n para el cual (n) pij > 0, para todo i y j
Cadenas de Markov
FIMCP
Estados accesibles y comunicados II
Si i j y j i , entonces decimos que los estados i y j se comunican (i j ) 1. Cualquier estado se comunica consigo mismo (ya que (0) pii = P {X0 = i |X0 = i }=1) 2. Si i j , entonces j i 3. Si i j y el estado j k , entonces i k
Cadenas de Markov
FIMCP
Estados accesibles y comunicados III
Por consiguiente, los estados pueden ser particionados en una o clases separadas tal que aquellos estados que se comunican mas en una misma clase entre ellos esten Una clase puede consistir en un solo estado Si solo existe una clase, i.e. todos los estados se comunican, decimos que la cadena de Markov es irreducible
Cadenas de Markov
FIMCP
Estados recurrentes y transitorios I
de entrar al Decimos que un estado es transitorio si, despues estado, es posible que el proceso no regrese a este estado Un estado i es transitorio si y solo si existe un estado j (i = j ) accesible del estado i pero no viceversa (i.e. el estado i no es accesible desde el estado j ) visitado un Como consecuencia, un estado transitorio solo sera numero nito de veces
Cadenas de Markov
FIMCP
Estados recurrentes y transitorios II
de entrar al Decimos que un estado es recurrente si, despues a este estado estado, el proceso denitivamente regresara Un estado es recurrente si y solo si no es transitorio denitivamente visitado Dado que un estado recurrente sera de cada visita, entonces sera visitado un numero despues innito de veces si el proceso continua por siempre
Cadenas de Markov
FIMCP
Estados recurrentes y transitorios III

La recurrencia es una propiedad de las clases Todos los estado pertenecientes a una clase son recurrentes transitorios o En una cadena de Markov con estados nitos, no todos los estados pueden ser transitorios Todos los estados en una cadena de Markov irreducible son recurrentes Uno puede identicar una cadena de Markov irreducible de estados nitos (y por consiguiente concluir que todos los estados son recurrentes) mostrando que todos los estados del proceso se comunican
Cadenas de Markov
FIMCP
Estados recurrentes y transitorios IV
de entrar al Decimos que un estado es absorbente si, despues estado, el proceso nunca deja este estado El estado i es absorbente si y solo si pii = 1
Cadenas de Markov
FIMCP
Estados recurrentes y transitorios V Ejemplo

P= 0 0 0 0
1 0
1 4 1 2 3 4 1 2
0 0 1
1 3
0 0 0
2 3
0 0 0 0 0
El estado 0 y 1 son recurrentes El estado 2 es absorbente (recurrente) El estado 3 es transitorio El estado 4 es transitorio
Cadenas de Markov
FIMCP
Perioricidad de un estado I
Perioricidad de un estado
Denimos el periodo de un estado i como el entero t (t 1) tal (n) que pii = 0 para todo n distinto a t , 2t , 3t , . . . y t es el entero mas grande con esta propiedad. Considere el ejemplo del apostador
Cadenas de Markov
FIMCP
Perioricidad de un estado II
Si existen dos numeros consecutivos s y s + 1 tal que pii

(s+1) pii
(s)
>0y
> 0 decimos que el estado tiene periodo 1
Es un estado aperiodico Se puede demostrar que la perioricidad es una propiedad de las clases Si un estado i que pertenece a una clase C tiene periodo d , entonces el periodo de todos los estados en C es d
Cadenas de Markov
FIMCP
Probabilidades de estado estable
En el ejemplo de inventario observamos que 0.286 0.286 = 0.286 0.286
P (8) = P 8 = P (4) P (4)
0.285 0.285 0.285 0.285
0.264 0.264 0.264 0.264
0.166 0.166 0.166 0.166
Cadenas de Markov
FIMCP
Probabilidades de estado estable - j I
Una cadena es ergodica si es aperiodica, irreducible, y recurrente. (n) Para cualquier cadena de Markov ergodica, lim pij existe y es
n
aun: independiente de i . Mas lim pij

(n)
= j > 0
Cadenas de Markov
FIMCP
Probabilidades de estado estable - j II
Aqu , j satisface de manera unica las siguientes ecuaciones de estados estables

M
j =
i =0 M
i pij ,
para j = 0, 1, . . . , M
j = 1
j =0
Cadenas de Markov
FIMCP
Probabilidades de estado estable - j III
Notas:
Es importante notar que las probabilidades de estado estable no implica que el proceso se queda estable en algun estado
El proceso continua haciendo transiciones de un estado al otro En cualquier estado n la probabilidad de ir de un estado i a un estado j se mantiene como pij
Cadenas de Markov
FIMCP
de probabilidades j I Obtencion
Tenemos M + 2 ecuaciones en M + 1 variables. En el ejemplo de inventario tenemos
0 = 0 p00 + 1 p10 + 2 p20 + 3 p30 1 = 0 p01 + 1 p11 + 2 p21 + 3 p13 2 = 0 p02 + 1 p12 + 2 p22 + 3 p23 3 = 0 p03 + 1 p13 + 2 p23 + 3 p33
1 = 0
+ 1
+ 2
+ 3
j = 1 es necesaria
Cadenas de Markov
FIMCP
de probabilidades j II Obtencion
Substituyendo los pij tenemos
0 = 0.0800 + 0.6321 + 0.2642 + 0.0803 1 = 0.1840 + 0.3681 + 0.3682 + 0.1843 2 = 0.3680 3 = 0.3680
1 = 0
+ 0.3682 + 0.3683 + 0.3683 + 2 + 3
+ 1
Cadenas de Markov
FIMCP
de probabilidades j III Obtencion
Lo que nos da
0 = 0.286
1 = 0.285
2 = 0.263
3 = 0.166
Cadenas de Markov
FIMCP
Resultados adicionales de probabilidades de largo plazo
Si i y j son dos estados recurrentes correspondientes a clases distintas, entonces pij

(n)
= 0,
para todo n
Si j es un estado transitorio, entonces

n
lim pij
(n)
= 0,
para todo i
Cadenas de Markov
FIMCP
Probabilidad de los tiempos de la primera pasada I
hacer una armacion probabil Muchas veces es de interes stica sobre el numero de transiciones que le toma a un proceso en ir del estado i al estado j por primera vez A este numero de transiciones llamaremos tiempo de la primera pasada
Cadenas de Markov
FIMCP
Probabilidad de los tiempos de la primera pasada II
Supongamos en el ejemplo de inventario que observamos la de la cadena de Markov {Xt } siguiente realizacion X0 = 3, X1 = 2, X2 = 1, X3 = 0, X4 = 3, X5 = 1 El tiempo de la primera pasada del estado 3 al estado 1 son 2 semanas El tiempo de la primera pasada del estado 3 al estado 0 son 3 semanas
Cadenas de Markov
FIMCP
Probabilidad de los tiempos de la primera pasada III

Hagamos que fij denote la probabilidad de que el tiempo de la primera pasada del estado i al estado j sea igual a n Las siguientes relaciones recursivas son satisfechas:
(1) (2) (1) (n)
fij
=pij =
= pij ,
pik fkj ,
(1)
fij
k =j
(n ) fij
=
k =j
pik fkj
(n1)
Cadenas de Markov
FIMCP
Probabilidad de los tiempos de la primera pasada IV
En el ejemplo del inventario tenemos:

(1) (2)
f30 = p30 = 0.080 f30 =

k =j
p3k fk 0 = p31 f10 + p32 f20 + p33 f30
(1)
(1)
(1)
(1)
= 0.184(0.632) + 0.368(0.264) + 0.368(0.080) = 0.243
Cadenas de Markov
FIMCP
Probabilidad de los tiempos de la primera pasada V
Notemos que para valores jos de i y j , los valores fij no negativos tales que
(n)
son valores
fij
n=1
(n )
ya que un sistema en un estado inicial i puede que nunca llegue a un estado j (n) (n) Solo cuando = 1 podemos considerar a los valores fij n=1 fij de probabilidad de los tiempos de llegada como la distribucion
Cadenas de Markov
FIMCP
Valor esperado de los tiempos de la primera pasada I
Aun cuando puede ser tedioso encontrar los valores de fij , encontrar los valores esperados de los tiempos de la primera pasada (denotados por ij ) es relativamente simple
(n)
ij =
,
(n) n=1 nfij ,
si si
(n) n=1 fij (n) n=1 fij
<1 =1
Cadenas de Markov
FIMCP
Valor esperado de los tiempos de la primera pasada II
Si
fij
n=1
(n )
=1
de manera unica entonces ij satisfacera la ecuacion
ij = 1 +
k =j
pik kj
Cadenas de Markov
FIMCP
Valor esperado de los tiempos de la primera pasada III
En el ejemplo del inventario, tenemos las siguientes ecuaciones:
30 =1 + p31 10 + p32 20 + p33 30 20 =1 + p21 10 + p22 20 + p23 30 10 =1 + p11 10 + p12 20 + p13 30
Cadenas de Markov
FIMCP
Valor esperado de los tiempos de la primera pasada IV
Remplazando valores tenemos
30 =1 + 0.18410 + 0.36820 + 0.36830 20 =1 + 0.36810 + 0.36820 10 =1 + 0.36810
Cadenas de Markov
FIMCP
Valor esperado de los tiempos de la primera pasada V
Resolviendo el sistema tenemos
30 =3.50 semanas 20 =2.51 semanas 10 =1.58 semanas
Cadenas de Markov
FIMCP
Valor esperado de los tiempos de la primera pasada VI

Para el caso de i = j , el valor esperado ii (el tiempo esperado para regresar a un estado i por primera vez) es obtenido como
ii =
donde i es la probabilidad de estado estable As en el ejemplo del inventario tenemos 1 1
00 = 22 =
0
1
= 3.5 semanas = 3.8 semanas
11 = 33 =
1
1
= 3.51 semanas = 6.02 semanas
Cadenas de Markov
FIMCP
Estados absorbentes I
Un estado k es absorbente si pkk = 1 Si el proceso se encuentra en un estado i , la probabilidad de ser absorbido por el estado k es llamada probabilidad de absorcion por el estado k Denotada por fik
Cadenas de Markov
FIMCP
Estados absorbentes II
satisfacen las siguientes Las probabilidades de absorcion ecuaciones
M
fik =
j =0
pij fjk ,
para i = 0, 1, . . . , M
sujeto a: fkk = 1 fik = 0, si el estado i es recurrente y i = k
Cadenas de Markov
FIMCP
Ejemplo I
Considere la siguiente matriz de transicion 1 0 0 0 0.7 0.2 0.1 0 P= 0.5 0.1 0.2 0.2 0 0 0 1
f13 =p10 f03 + p11 f13 + p12 f23 + p13 f33 f23 =p20 f03 + p21 f13 + p22 f23 + p23 f33
Cadenas de Markov
FIMCP
Ejemplo II
Ya que f03 = 0 y f33 = 1, tenemos
(1 p11 )f13 =p12 f23 + p13 (1 p22 )f23 =p21 f13 + p23
Reemplazando los valores de pij y resolviendo el sistema obtenemos f13 = 0.032 y f23 = 0.254
Cadenas de Markov

Cadenas de Markov

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Cadenas de Markov

Uploaded by

Copyright:

Available Formats

FIMCP

de la Produccion Industrial Ingenier a y Administracion

G. Abad, Ph.D. Andres agabad@espol.edu.ec

G. Abad, Ph.D. agabad@espol.edu.ec Andres

de la Produccion Industrial Ingenier a y Administracion