You are on page 1of 60

Facultad de Ingeniería

Escuela de Industrias
Ingeniería Civil Industrial

ICI2212 Modelos Estocásticos
Profesor Claudio C. Araya Sassi

Unidad 5: Cadenas de Markov en Tiempo Discreto

Curso Período Verano, Enero de 2015

Cadenas de Markov en Tiempo Discreto
 Las cadenas de Markov tienen la propiedad particular de que las
probabilidades que describen la forma en que el proceso evolucionará
en el futuro dependen sólo del estado actual en que se encuentra el
proceso y, por lo tanto, son independientes de los eventos que
ocurrieron en el pasado.
 Muchos procesos se ajustan a esta descripción, por lo que las cadenas de
Markov constituyen una clase de modelo probabilístico de gran
importancia.
 Existe una amplia gama de aplicaciones de las cadenas de Markov.



Clasificación de los clientes
Secuencia del ADN
Análisis de redes genéticas
Estimación de la demanda de ventas a través del tiempo
Profesor MSc. Claudio Araya Sassi

2

Propiedad markoviana
 Es necesario hacer algunos supuestos sobre la distribución conjunta de 𝑋
0 , 𝑋1 , . . . para obtener resultados analíticos.
 Un supuesto que conduce al manejo analítico es que el proceso
estocástico es una cadena de Markov, si tiene la siguiente propiedad
esencial:
 Se dice que un proceso estocástico 𝑋𝑡 tiene la propiedad markoviana
si: 𝑷
𝑿𝒕+𝟏 = 𝒋 𝑿𝟎 = 𝒌𝟎 , 𝑿𝟏 = 𝒌𝟏 , … , 𝑿𝒕−𝟏 = 𝒌𝒕−𝟏 , 𝑿𝒕 = 𝒊 = 𝑷 𝑿𝒕+𝟏 = 𝒋 ∕ 𝑿𝒕 = 𝒊 𝒑𝒂𝒓𝒂
𝒕 = 𝟎, 𝟏, … … 𝒚 𝒕𝒐𝒅𝒂 𝒔𝒖𝒄𝒆𝒔𝒊ó𝒏 𝒊, 𝒋, 𝒌𝟎 , 𝒌𝟏 , … , 𝒌𝒕−𝟏

Profesor MSc. Claudio Araya Sassi

3

1. es independiente de los eventos pasados y sólo depende del estado actual del proceso.Propiedad markoviana  En palabras. esta propiedad markoviana establece que la probabilidad condicional de cualquier “evento” futuro dados cualquier “evento” pasado y el estado actual 𝑋𝑡 = 𝑖.  Un proceso estocástico 𝑋𝑡 (𝑡 = 0. Claudio Araya Sassi 4 . … ) es una cadena de Markov si presenta la propiedad markoviana. Profesor MSc.

 Así. … . tener probabilidades de transición estacionarias implica que las probabilidades de transición no cambian con el tiempo. Claudio Araya Sassi 5 . 𝟏. Probabilidades de transición estacionarias  Si para cada 𝑖 y 𝑗. 𝑷 𝑿𝒕+𝟏 = 𝒋 ∕ 𝑿𝒕 = 𝒊 = 𝑷 𝑿𝟏 = 𝒋 ∕ 𝑿𝟎 = 𝒊 .Probabilidades de transición Probabilidades de transición  Las probabilidades condicionales 𝑃 𝑋𝑡+1 = 𝑗 𝑋𝑡 = 𝑖 de una cadena de Markov se llaman probabilidades de transición (de un paso). Profesor MSc. ∀ 𝒕 = 𝟎.  Entonces se dice que las probabilidades de transición (de un paso) son estacionarias.

2. … . ∀ 𝒕 = 𝟎. 1.  Estas probabilidades condicionales se llaman probabilidades de transición de n pasos.  Para simplificar la notación de las probabilidades de transición estacionarias. 𝟏. para cada 𝑖 y 𝑗 y 𝑛 (𝑛 = 0.Probabilidades de transición Probabilidades de transición estacionarias  La existencia de probabilidades de transición (de un paso) estacionarias también implica que. … ) 𝑷 𝑿𝒕+𝒏 = 𝒋 ∕ 𝑿𝒕 = 𝒊 = 𝑷 𝑿𝒏 = 𝒋 ∕ 𝑿𝟎 = 𝒊 . Claudio Araya Sassi 6 . sea: 𝒑𝒊𝒋 = 𝑷 𝑿𝒕+𝟏 = 𝒋 ∕ 𝑿𝒕 = 𝒊 (𝒏) 𝒑𝒊𝒋 = 𝑷 𝑿𝒕+𝒏 = 𝒋 ∕ 𝑿𝒕 = 𝒊 Profesor MSc.

𝒑𝒊𝒋 = 𝑷 𝑿𝒕+𝟏 = 𝒋 ∕ 𝑿𝒕 = 𝒊 (𝒏) 𝒑𝒊𝒋 = 𝑷 𝑿𝒕+𝒏 = 𝒋 ∕ 𝑿𝒕 = 𝒊 𝒏=𝟎 ⟹ 𝟎 𝒑𝒊𝒋 𝒏=𝟏 ⟹ 𝒑𝒊𝒋 = 𝒑𝒊𝒋 = 𝑷 𝑿𝟎 = 𝒋 𝑿𝟎 = 𝒊 = 𝟏. 𝒊≠𝒋 𝒏 Profesor MSc. 𝒊=𝒋 𝟎. las probabilidades de transición de n pasos 𝒑𝒊𝒋 son simplemente la probabilidad condicional de que el sistema se encuentre en el estado j exactamente después de n pasos (unidades de tiempo). dado que comenzó en el estado i en cualquier tiempo t.Probabilidades de transición Probabilidades de transición estacionarias (𝒏)  Así. Claudio Araya Sassi 7 .

Claudio Araya Sassi 8 . 𝒋=𝟎 Profesor MSc. deben ser no negativas y. deben satisfacer las propiedades (𝒏) 𝒑𝒊𝒋 ≥ 𝟎 ∀ 𝒊 𝒚 𝒋. 𝒏 = 𝟎. 𝟏.Probabilidades de transición Probabilidades de transición estacionarias (𝒏)  Como las 𝒑𝒊𝒋 son probabilidades condicionales. … . 𝒏 = 𝟎. 𝑴 (𝒏) 𝒑𝒊𝒋 = 𝟏 ∀ 𝒊. 𝟏. como el proceso debe hacer una transición a algún estado. … .

Matriz de Transición de Probabilidades  Una notación conveniente para representar las probabilidades de transición de n pasos es la matriz de transición de n pasos 𝐸𝑠𝑡𝑎𝑑𝑜 0 (𝑛) 𝑃(𝑛) = 0 𝑝00 (𝑛) 1 𝑝10 ⋮ ⋮ ⋮ ⋮ (𝑛) 𝑀 𝑝𝑀0 1 ⋯ 𝑀 𝑝01 (𝑛) ⋯ (𝑛) 𝑝0𝑀 𝑝11 ⋮ ⋮ (𝑛) 𝑝𝑀1 ⋯ 𝑝1𝑀 ⋯ ⋮ ⋯ ⋮ (𝑛) ⋯ 𝑝𝑀𝑀 (𝑛) (𝑛)  La probabilidad de transición en una fila y columna dados es la de la transición del estado en esa fila al estado en la columna. Claudio Araya Sassi 9 . Profesor MSc. el superíndice 𝑛 no se escribe y se hace referencia a ésta como una matriz de transición.  Cuando 𝑛 = 1.

.  Sin embargo. Claudio Araya Sassi 10 . para t = 0.  La evolución del clima día tras día en Viña del Mar es un proceso estocástico. pero es de sólo 0. 2. es decir.6 si hoy llueve. si no llueve.  En particular. 1. Profesor MSc. el clima se observa cada día t. la probabilidad de que mañana esté seco es de 0.8 si hoy está seco. .Ejemplo de clima  El clima en la ciudad de Viña del Mar puede cambiar con rapidez de un día a otro. .  Si se comienza en algún día inicial (etiquetado como día 0). las posibilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy está seco.  Estas probabilidades no cambian si se considera la información acerca del clima en los días anteriores a hoy.

o bien. 𝟖 𝑷 𝑿𝒕+𝟏 = 𝟎 ∕ 𝑿𝒕 = 𝟏 = 𝟎. 2.. 𝑿𝒕 = 𝟎. 1. 𝟔 Profesor MSc. 𝒔𝒊 𝒅í𝒂 𝒕 𝒆𝒔 𝒔𝒆𝒄𝒐 𝟏. para t = 0. . 𝒔𝒊 𝒅í𝒂 𝒕 𝒆𝒔 𝒍𝒍𝒖𝒗𝒊𝒐𝒔𝒐 𝑷 𝑿𝒕+𝟏 = 𝟎 ∕ 𝑿𝒕 = 𝟎 = 𝟎. .Ejemplo de clima  El estado del sistema en el día t puede ser: • Estado 0 = El día t es seco. la variable aleatoria 𝑋𝑡 toma los valores. • Estado 1 = El día t es lluvioso Así. Claudio Araya Sassi 11 . .

… . el proceso estocástico tiene la propiedad markoviana. 𝟏. … … 𝒚 𝒕𝒐𝒅𝒂 𝒔𝒖𝒄𝒆𝒔𝒊ó𝒏 𝒌𝟎 .  La razón es que los estados 0 y 1 son mutuamente excluyentes y son los únicos estados posibles. 𝒌𝟏 . 𝑿𝒕−𝟏 = 𝒌𝒕−𝟏 . 𝑿𝟏 = 𝒌𝟏 . Profesor MSc.Ejemplo de clima  Aún más. como estas probabilidades no cambian si también se toma en cuenta la información del clima antes del día de hoy (día t). 𝑿𝒕 = 𝟎 = 𝑷 𝑿𝒕+𝟏 = 𝟎 ∕ 𝑿𝒕 = 𝟎 𝑷 𝑿𝒕+𝟏 = 𝟎 𝑿𝟎 = 𝒌𝟎 . por ende. las probabilidades de los dos estados deben sumar 1. 𝑿𝟏 = 𝒌𝟏 . 𝑷 𝑿𝒕+𝟏 = 𝟎 𝑿𝟎 = 𝒌𝟎 . 𝑿𝒕−𝟏 = 𝒌𝒕−𝟏 .  Por lo tanto. … . 𝒌𝒕−𝟏  Estas ecuaciones también deben cumplirse si 𝑋𝑡+1 = 0 se reemplaza con 𝑋𝑡+1 = 1. lo que lo convierte en una cadena de Markov. Claudio Araya Sassi 12 . … . 𝑿𝒕 = 𝟏 = 𝑷 𝑿𝒕+𝟏 = 𝟎 ∕ 𝑿𝒕 = 𝟏 𝒑𝒂𝒓𝒂 𝒕 = 𝟎.

6 = 0.8 = 0.Ejemplo de clima  Si se usa la notación que se introdujo en esta sección. Claudio Araya Sassi 13 . . 2.4  Por lo tanto. 𝑝00 + 𝑝01 = 1 𝑒𝑛𝑡𝑜𝑛𝑐𝑒𝑠 𝑝01 = 1 − 0. . .6  para toda t = 1.8 𝑝10 = 𝑃 𝑋𝑡+1 = 0 ∕ 𝑋𝑡 = 1 = 0. la matriz de transición es Profesor MSc.2 𝑝10 + 𝑝11 = 1 𝑒𝑛𝑡𝑜𝑛𝑐𝑒𝑠 𝑝11 = 1 − 0.. las probabilidades de transición (de un paso) son 𝑝00 = 𝑃 𝑋𝑡+1 = 0 ∕ 𝑋𝑡 = 0 = 0. por lo que éstas son las probabilidades de transición estacionarias. Además.

 Hay que tener en mente que el estado 0 hace referencia a un día seco. Claudio Araya Sassi 14 . Profesor MSc. mientras que el estado 1 significa que el día es lluvioso.Ejemplo de clima  donde estas probabilidades de transición se refieren a la transición del estado de la fila al estado de la columna. dado el estado del clima del día de hoy. así que estas probabilidades de transición proporcionan la probabilidad del estado del clima el día de mañana.

Claudio Araya Sassi 15 .Ejemplo de clima Diagrama de transición de estados del ejemplo del clima  Los nodos (círculos) representan los dos estados posibles del clima. Profesor MSc. mientras que las flechas muestran las transiciones posibles de un día al siguiente (se incluye la opción de regresar al mismo estado).  Cada una de las probabilidades de transición se escribe a continuación de la flecha correspondiente.

)  Se supone que las 𝐷𝑡 son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución Poisson con media de 1. segunda semanas. . . . 2. 𝑫𝟐 .Ejemplo de inventarios  La tienda de fotografía de Dave tiene el siguiente problema de inventario. . Representan las demandas respectivas de esta cámara (el número de unidades que se venderían si el inventario no se agota) durante la primera.  El negocio tiene en almacén un modelo especial de cámara fotográfica que se puede solicitar cada semana. entonces. . Claudio Araya Sassi 16 . respectivamente. . la variable aleatoria 𝑫𝒕 (para t = 1. .  Sean 𝑫𝟏 . Profesor MSc.. (Este numero incluye las ventas perdidas cuando se agota el inventario. .) es 𝑫𝒕 = número de cámaras que se venderían en la semana t si el inventario no se agota. .

Ejemplo de inventarios
 𝑿𝟎 el número de cámaras que se tiene en el momento de iniciar el
proceso,
 𝑿𝟏 el número de cámaras que se tienen al final de la semana 1,
 𝑿𝟐 el número de cámaras al final de la semana 2, etc.,
 Entonces la variable aleatoria 𝑿𝒕 (para t = 0, 1, 2, . . .) es 𝑿𝒕

= número de cámaras disponibles al final de la semana t.
 Suponga que 𝑿𝟎 = 𝟑 , de manera que la semana 1 se inicia con tres
cámaras a mano. 𝑿𝒕
= 𝑿 𝟎 , 𝑿𝟏 , 𝑿𝟐 , … …
 es un proceso estocástico donde la variable aleatoria 𝑋𝑡 representa el
estado del sistema en el tiempo t, a saber
Profesor MSc. Claudio Araya Sassi

17

Ejemplo de inventarios
 Estado en el tiempo t = número de cámaras disponibles al final de la
semana t.
 Al final de cada semana t (sábado en la noche), la tienda hace un pedido
que le entregan en el momento de abrir la tienda el lunes.
 La tienda usa la siguiente política para ordenar:
• Si 𝑿𝒕 = 𝟎, ordena 3 cámaras.
• Si 𝑿𝒕 > 𝟎, no ordena ninguna cámara.
 En consecuencia, el nivel de inventarios fluctúa entre un mínimo de cero
y un máximo de tres cámaras, por lo que los estados posibles del sistema
en el tiempo t (al final de la semana t) son
• Estados posibles = 0, 1, 2, o 3 cámaras disponibles.
Profesor MSc. Claudio Araya Sassi

18

Ejemplo de inventarios
 Como cada variable aleatoria 𝑿𝒕 (t = 0, 1, 2, . . .) representa el estado del
sistema al final de la semana t, sus únicos valores posibles son 0, 1, 2, 3.
 Las variables aleatorias 𝑿𝒕 son dependientes y se pueden evaluar en
forma iterativa por medio de la expresión 𝑋𝑡
+1 = 𝑚

á𝑥 3 − 𝐷𝑡+1 , 0 , 𝑠𝑖 𝑋𝑡 = 0 𝑚
á𝑥 𝑋𝑡 − 𝐷𝑡+1 , 0 , 𝑠𝑖 𝑋𝑡 ≥ 1

para t = 0, 1, 2, . . .

 Dado que el estado actual es 𝑿𝒕 = 𝒊, 𝑿𝒕+𝟏 depende sólo de 𝑫𝒕+𝟏 (la
demanda en la semana t+1) y 𝑿𝒕 .
 Como 𝑿𝒕+𝟏 es independiente de la historia del sistema de inventarios
antes del tiempo t, el proceso estocástico {𝑿𝒕 } (t = 0, 1, . . .) tiene la
propiedad markoviana y por lo tanto es una cadena de Markov.

Profesor MSc. Claudio Araya Sassi

19

… .Ejemplo de inventarios Matriz de transición (de un paso)  Dado que 𝐷𝑡+1 tiene una distribución Poisson con media de 1. Profesor MSc. Claudio Araya Sassi 20 . . 1. Entonces. 𝑛! 𝑝𝑎𝑟𝑎 𝑛 = 0. 𝑃 𝐷𝑡+1 (1)𝑛 𝑒 −1 =𝑛 = .

Ejemplo de inventarios Matriz de transición (de un paso) Profesor MSc. Claudio Araya Sassi 21 .

Ejemplo de inventarios Diagrama de transición de estados Profesor MSc. Claudio Araya Sassi 22 .

con la matriz de transición dada por Profesor MSc.  El juego termina cuando el jugador acumula 3 dólares o cuando quiebra. esto es. 0. 1.  Este modelo es una cadena de Markov en la que los estados representan la fortuna del jugador. 2 o 3 dólares. Claudio Araya Sassi 23 .Ejemplo de juego  Suponga que un jugador tiene 1 dólar y que cada jugada gana 1 dólar con probabilidad p > 0 o pierde 1 dólar con probabilidad 1 – p > 0.

Claudio Araya Sassi 24 .Ejemplo de juego Diagrama de transición de estados Profesor MSc.

𝑛 − 1 𝑛 = 𝑚 + 1. 1. si comienza en el estado i. 2. el proceso estará en algún estado k después de exactamente m (menor que n) pasos.Ecuaciones de Chapman-Kolmogorov  Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular las probabilidades de transición de n pasos: 𝑀 (𝑛) (𝑚) (𝑛−𝑚) 𝑝𝑖𝑗 = 𝑝𝑖𝑘 𝑝𝑘𝑗 𝑘=0 . … . 𝑚 + 2. el proceso vaya al estado k después de m pasos y después al estado j en n – m pasos. . 𝑀. 𝑀 𝑦 𝑐𝑢𝑎𝑙𝑞𝑢𝑖𝑒𝑟 𝑚 = 1. ∀ 𝑖 = 0. Profesor MSc. … . (𝒎) (𝒏−𝒎)  Así. … .  Estas ecuaciones simplemente señalan que al ir del estado i al estado j en n pasos. 1. 𝒑𝒊𝒌 𝒑𝒌𝒋 es sólo la probabilidad condicional de que. … . 𝑗 = 0. Claudio Araya Sassi 25 .

Claudio Araya Sassi 26 . Profesor MSc.  Los casos especiales de m = 1 y m = n – 1 conducen a las expresiones 𝑀 (𝑛) (𝑛−1) 𝑝𝑖𝑗 = 𝑝𝑖𝑘 𝑝𝑘𝑗 𝑘=0 𝑀 (𝑛) (𝑛−1) 𝑝𝑖𝑗 = 𝑝𝑖𝑘 𝑝𝑘𝑗 para todos los estados i y j. al resumir estas probabilidades condicionales sobre todos (𝒏) los estados posibles k se debe obtener 𝒑𝒊𝒋 . 𝑘=0  Estas expresiones permiten que las probabilidades de transición de n pasos se puedan obtener a partir de las probabilidades de transición de un paso de manera recursiva.Ecuaciones de Chapman-Kolmogorov  Por lo tanto.

𝑘=0 (2)  Donde 𝑝𝑖𝑗 son los elementos de la matriz 𝑷(𝟐)  También hay que notar que estos elementos se obtienen al multiplicar la matriz de transición de un paso por sí misma. 𝑷(𝟐) = 𝑷 ∙ 𝑷 = 𝑷𝟐 Profesor MSc.Ecuaciones de Chapman-Kolmogorov  Esta relación recursiva se explica mejor con la notación matricial. Claudio Araya Sassi 27 . estas expresiones se convierten en 𝑀 (2) 𝑝𝑖𝑗 = 𝑝𝑖𝑘 𝑝𝑘𝑗 para todos los estados i y j.  Para n = 2. esto es.

la matriz de probabilidades de transicion de n pasos 𝑷𝒏 se puede obtener al calcular la n-ésima potencia de la matriz de transición de un paso P. las expresiones anteriores de 𝑝𝑖𝑗 cuando m = 1 y m = n – 1 indican que la matriz de probabilidades de transición de n pasos es Entonces.Ecuaciones de Chapman-Kolmogorov (𝑛)  De la misma manera. Profesor MSc. Claudio Araya Sassi 28 .

Matrices de transición de n pasos del ejemplo del clima Profesor MSc. Claudio Araya Sassi 29 .

Claudio Araya Sassi 30 .Matrices de transición de n pasos del ejemplo de inventarios Profesor MSc.

Matrices de transición de n pasos del ejemplo de inventarios Profesor MSc. Claudio Araya Sassi 31 .

 Entonces. Claudio Araya Sassi 32 .  Esto es particularmente válido para el ejemplo del clima puesto que 𝑝𝑖𝑗 > 0 para toda 𝑖 y 𝑗.Clasificación de Estados en una Cadena de Markov Estado accesible  Se dice que el estado 𝑗 es accesible desde el estado 𝑖 si: (𝑛) 𝑝𝑖𝑗 > 0 𝑝𝑎𝑟𝑎 𝑎𝑙𝑔ú𝑛 𝑛 ≥ 0 (𝑛)  Recordemos que 𝑝𝑖𝑗 es sólo la probabilidad condicional de llegar al estado j después de n pasos. Profesor MSc. (2)  En el ejemplo de inventarios . si el sistema está en el estado i. 𝑝𝑖𝑗 > 0 para todo i y j de manera que cada estado es accesible desde cualquier otro estado. que el estado j sea accesible desde el estado i significa que es posible que el sistema llegue finalmente al estado j si comienza en el estado i.

Claudio Araya Sassi . Si el estado i se comunica con el estado j y éste con el estado k.  En el ejemplo de inventarios. mientras que la propiedad 3 se deriva de las ecuaciones de 33 Chapman-Kolmogorov. todos los estados se comunican. 1. entonces se dice que los estados i y j se comunican.Clasificación de Estados en una Cadena de Markov Estado accesible  Si el estado j es accesible desde el estado i y el estado i es accesible desde el estado j. Cualquier estado se comunica (0) 𝑝𝑖𝑖 = 𝑃 𝑋0 = 𝑖 ∕ 𝑋0 = 𝑖 = 1 consigo mismo porque 2. Profesor MSc. 3. entonces el estado j se comunica con el estado i. Si el estado i se comunica con el estado j.  Las propiedades 1 y 2 se deducen de la definición de estados que se comunican. entonces el estado i se comunica con el estado k.

el estado 0 forma una clase. se dice que la cadena de Markov es irreducible.  El ejemplo del juego contiene tres clases.  Tanto en el ejemplo del clima como en el de inventarios. Claudio Araya Sassi 34 . si todos los estados se comunican. la cadena de Markov es irreducible. el estado 3 forma otra y los estados 1 y 2 forman una tercera clase. donde se dice que dos estados que se comunican pertenecen a la misma clase.)  Si existe sólo una clase. (Una clase puede consistir en un solo estado. Profesor MSc.Clasificación de Estados en una Cadena de Markov Estado accesible  Como resultado de estas propiedades de comunicación se puede hacer una partición del espacio de estados en clases separadas. es decir.

 En el ejemplo del juego su diagrama de transición de estado indica que ambos estados (1 y 2) son transitorios ya que el proceso los abandonará tarde o temprano para entrar al estado 0 o al 3 y. Profesor MSc.  Así.Clasificación de Estados en una Cadena de Markov Estado transitorio  Un estado se llama estado transitorio si.  Por consiguiente. el proceso nunca regresa a él. existe una probabilidad positiva (quizá incluso de 1) de que el proceso se moverá al estado j y nunca regresará al estado i. el estado i es transitorio si y sólo si existe un estado 𝑗 𝑗 ≠ 𝑖 que es accesible desde el estado 𝑖 . después de haber entrado a este estado. permanecerá en dicho estado de manera indefinida. después. esto es. si el estado i es transitorio y el proceso visita este estado. Claudio Araya Sassi 35 . el estado 𝑖 no es accesible desde el estado 𝑗. un estado transitorio será visitado sólo un número finito de veces. pero no viceversa. En consecuencia.

un estado es recurrente si y sólo si no es transitorio. después de haber entrado a este estado.  Como un estado recurrente será visitado de nuevo después de cada visita. todos los estados en los diagramas de transición de estado de los ejemplos del clima y de inventario son estados recurrentes debido a que el proceso siempre regresará a cada uno de ellos. Claudio Araya Sassi 36 . podría ser visitado un número infinito de veces si el proceso continuara por siempre.Clasificación de Estados en una Cadena de Markov Estado recurrente  Se dice que un estado es recurrente si.  En el ejemplo del juego. Profesor MSc.  Por consiguiente.  Por ejemplo. una vez que el proceso haya entrado a ese estado. el proceso definitivamente regresará a ese estado. los estados 0 y 3 son recurrentes debido a que el proceso se mantendrá regresando de manera inmediata a uno de estos estados en forma indefinida.

por lo que ambos son estados absorbentes. tanto el estado 0 como el 3 del ejemplo del juego están de acuerdo con esta definición. Claudio Araya Sassi 37 .Clasificación de Estados en una Cadena de Markov Estado absorbente  Un estado se llama estado absorbente si. el estado i es un estado absorbente si y sólo si 𝑝𝑖𝑖 = 1.  Por consiguiente. el proceso nunca saldrá de él. después de haber entrado ahí.  Como se acaba de mencionar. así como también un tipo especial de estado recurrente. Profesor MSc.

 La probabilidad de que el proceso vaya del estado 3 al estado 2 en el primer paso es 1/3 . porque si el proceso entra en él (tercera fila de la matriz). Profesor MSc.Ejemplo Clasificación de Estados en una Cadena de Markov  Observe que el estado 2 es absorbente (y. nunca sale. Claudio Araya Sassi 38 . por lo tanto. Si el proceso está en el estado 2. permanece en ese estado.  El estado 3 es transitorio porque una vez que el proceso se encuentra en él. recurrente). existe una probabilidad positiva de nunca regresar.

siempre regresa al estado original. Claudio Araya Sassi 39 . nunca sale de ellos.  Los estados 0 y 1 son recurrentes. Profesor MSc.  Para comprobar todo lo anterior. observe en P que si el proceso comienza en cualquier de estos estados. nunca vuelve.  Aún más. cuando el proceso se mueve de uno de estos estados al otro.Ejemplo Clasificación de Estados en una Cadena de Markov  Cuando el proceso deja el estado 4.

3t. 4. . es posible que el proceso entre al estado 1 sólo en los tiempos 2. al comenzar en el estado 1. ..Clasificación de Estados en una Cadena de Markov Propiedades de periodicidad (𝑛)  El periodo de un estado i se define como el entero t (t>1) si 𝑝𝑖𝑗 = 0 para todos los valores de n distintos de t. . . lo que se puede verificar si (𝑛) (𝑛) se calcula 𝑝11 para toda n y se observa que 𝑝11 = 0 para n impar.. en cuyo caso se dice que el estado 1 tiene periodo 2. Claudio Araya Sassi 40 .  El proceso siempre toma dos pasos para regresar al estado 1 hasta que el proceso es absorbido en cualquiera de los estados 0 o 3. .. . y t es el entero más grande con esta propiedad. . .) Profesor MSc. (La misma conclusión también se aplica al estado 2.  Esto es evidente si se observa que el jugador puede salir a mano (ni ganar ni perder) sólo en los tiempos 2. 4.  En el problema del juego. . 2t.

el estado 1 tiene periodo 2. Profesor MSc. se dice que el estado tiene periodo 1 y se llama aperiódico.  Igual que la recurrencia es una propiedad de clase. todos los estados de esa clase tienen periodo t.  En el ejemplo del juego.Clasificación de Estados en una Cadena de Markov Propiedades de periodicidad  Si existen dos números consecutivos s y s+1 tales que el proceso puede encontrarse en el estado i en los tiempos s y s+1. Claudio Araya Sassi 41 . como se vio. el estado 2 tiene periodo 2 porque está en la misma clase que el estado 1 y. si el estado i de una clase tiene periodo t.  Esto es. se puede demostrar que la periodicidad también lo es.

 En seguida se verá que una propiedad clave a largo plazo de una cadena de Markov que es tanto irreducible como ergódica es que sus probabilidades de transición de n pasos convergirán a las probabilidades del estado estable conforme n se haga más grande. los estados recurrentes aperiódicos se llaman ergódicos.  Se dice que una cadena de Markov es ergódica si todos sus estados son ergódicos.Clasificación de Estados en una Cadena de Markov Propiedades de periodicidad  En una cadena de Markov de estado finito. Profesor MSc. Claudio Araya Sassi 42 .

Propiedades a Largo Plazo de las Cadenas de Markov Probabilidades de estado estable  Para una cadena de Markov irreducible ergódica: (𝑛) lim 𝑝𝑖𝑗 𝑒𝑥𝑖𝑠𝑡𝑒 𝑦 𝑒𝑠 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒 𝑑𝑒 𝑖. … . 𝑝𝑎𝑟𝑎 𝑗 = 0. 1. Claudio Araya Sassi 43 . 𝑀 𝑖=0 𝑀 𝜋𝑗 = 1 𝑗=0 Profesor MSc. 𝑛→∞ (𝑛) lim 𝑝𝑖𝑗 = 𝜋𝑗 > 0. 𝑛→∞  Donde las 𝜋𝑗 satisfacen de manera única las siguientes ecuaciones de estado estable 𝑀 𝜋𝑗 = 𝜋𝑖 𝑝𝑖𝑗 .

Propiedades a Largo Plazo de las Cadenas de Markov Probabilidades de estado estable  En forma matricial 𝜋𝑗 = 𝜋𝑷 Donde 𝜋 = (𝜋0 . … … . 𝜋1 .  La probabilidad de estado estable no significa que el proceso se establezca en un estado. y es independiente de la distribución de probabilidad inicial definida para los estados. Por el contrario. Claudio Araya Sassi 44 . el proceso continúa haciendo transiciones de un estado a otro y en cualquier paso n la probabilidad de transición del estado i al estado j es todavía 𝑝𝑖𝑗 .  El término probabilidad de estado estable significa que la probabilidad de encontrar el proceso en cierto estado. 𝜋𝑀 )  Las 𝜋𝑗 se llaman probabilidades de estado estable de la cadena de Markov. después de un número grande de transiciones tiende al valor 𝝅𝒋 . Profesor MSc. por ejemplo j.

La tercera ecuación solo expresa el hecho de que las probabilidades de estos estados mutuamente excluyentes deben sumar 1. en el estado estable. Claudio Araya Sassi 45 .Propiedades a Largo Plazo de las Cadenas de Markov Probabilidades de estado estable: Aplicación al ejemplo del clima Lo que se intuye detrás de la primera ecuación es que. La lógica de la segunda ecuación es la misma. solo que esta en términos del estado 1. Profesor MSc. la probabilidad de quedar en el estado 0 después de la siguiente transición debe ser igual a 1) la probabilidad de estar en el estado 0 ahora y luego permanecer en el estado 0 después de la siguiente transición mas 2) la probabilidad de estar en el estado 1 ahora y luego hacer la transición al estado 0.

Propiedades a Largo Plazo de las Cadenas de Markov Probabilidades de estado estable: Aplicación al ejemplo de inventarios Profesor MSc. Claudio Araya Sassi 46 .

si j es un estado transitorio. 𝒑𝒂𝒓𝒂 𝒕𝒐𝒅𝒐 𝒏  Este resultado es una consecuencia de la definición de clase. Profesor MSc. si i y j son estados recurrentes que pertenecen a clases distintas. la probabilidad de encontrar el proceso en un estado transitorio después de un número grande de transiciones tiende a cero.Propiedades a Largo Plazo de las Cadenas de Markov Probabilidades de estado estable  Existen otros resultados importantes respecto de las probabilidades de estado estable. entonces (𝒏) 𝒍𝒊𝒎 𝒑𝒊𝒋 = 𝟎.  En particular. Claudio Araya Sassi 47 . 𝒑𝒂𝒓𝒂 𝒕𝒐𝒅𝒐 𝒊 𝒏→∞  De este modo.  De manera similar. entonces (𝒏) 𝒑𝒊𝒋 = 𝟎.

. 5. Entonces. . y en el estado 1 en los tiempos 1. . 3. .. Profesor MSc. . estará en el estado 0 en los tiempos 2. Claudio Araya Sassi 48 . 4. . entonces el límite (𝑛) 𝑙𝑖𝑚 𝑝𝑖𝑗 𝑛→∞  Puede no existir. 6. Si se relaja el requerimiento de que los estados sean aperiódicos. Para ilustrar este punto considere la matriz de transición de dos estados  Si el proceso comienza en el estado 0 en el tiempo 0.Propiedades a Largo Plazo de las Cadenas de Markov Costo promedio esperado por unidad de tiempo  La subsección anterior estudió las cadenas de Markov de estado fi nito irreducible cuyos estados son ergódicos (recurrentes y aperiódicos).

(𝑛) 𝑙𝑖𝑚 𝑝00 no existe. 𝑝00 = 1. el siguiente límite siempre existe para una cadena de Markov irreducible de estado finito: 1 𝑙𝑖𝑚 𝑛→∞ 𝑛 𝑛 (𝑘) 𝑝𝑖𝑗 = 𝜋𝑗 . Claudio Araya Sassi 49 .Propiedades a Largo Plazo de las Cadenas de Markov Costo promedio esperado por unidad de tiempo (𝑛) 𝑠𝑖 𝑛 𝑒𝑠 𝑝𝑎𝑟 (𝑛) 𝑠𝑖 𝑛 𝑒𝑠 𝑖𝑚𝑝𝑎𝑟 𝑝00 = 1. Profesor MSc.  de manera que el 𝑛→∞  Sin embargo.  Este resultado es en extremo importante para calcular el costo promedio a largo plazo por unidad de tiempo asociado a una cadena de Markov. 𝑘=1  donde las 𝜋𝑗 satisfacen las ecuaciones de estado estable.

Propiedades a Largo Plazo de las Cadenas de Markov Costo promedio esperado por unidad de tiempo  Suponga que se incurre en un costo (u otra función de penalización) 𝐶(𝑋𝑡 ) cuando el proceso se encuentra en el estado 𝑋𝑡 en el tiempo t. . Claudio Araya Sassi 50 . . 2. C(M) y que la función 𝐶(∙) es independiente de t.. . .  Observe que 𝐶(𝑋𝑡 ) es una variable aleatoria que toma cualquiera de los valores C(0).  El costo promedio esperado en el que se incurre a lo largo de los primeros n periodos está dado por la expresión 1 𝐸 𝑛 𝑛 𝐶(𝑋𝑡 ) 𝑡=1 Profesor MSc. 1. . . C(1). para t = 0.

Propiedades a Largo Plazo de las Cadenas de Markov Costo promedio esperado por unidad de tiempo  Si se usa el resultado de que 1 𝑙𝑖𝑚 𝑛→∞ 𝑛 𝑛 (𝑘) 𝑝𝑖𝑗 = 𝜋𝑗 . Claudio Araya Sassi 51 . está dado por 1 lim 𝐸 𝑛→∞ 𝑛 𝑛 𝑀 𝐶(𝑋𝑡 ) = 𝑡=1 𝜋𝑗 𝐶(𝑗) 𝑗=0 Profesor MSc. 𝑘=1  se puede demostrar que el costo promedio esperado por unidad de tiempo (a largo plazo).

Claudio Araya Sassi 52 . por mantener el inventario es: Profesor MSc.  El costo se carga de la siguiente manera:  El costo promedio esperado por semana.Propiedades a Largo Plazo de las Cadenas de Markov Costo promedio esperado por unidad de tiempo Aplicación al ejemplo de inventarios  Donde las probabilidades de estado estables son:  Suponga que la tienda de cámaras encuentra que se debe asignar un cargo por almacenamiento por cada cámara que permanece en la tienda al final de la semana. a largo plazo.

este tiempo de primera pasada es igual al número de transiciones hasta que el proceso regresa al estado inicial i. Claudio Araya Sassi 53 .  Cuando j = i. el tiempo de primera pasada se llama tiempo de recurrencia del estado i.  En este caso. Profesor MSc.Tiempos de Primera Pasada  Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso al ir del estado i al estado j por primera vez.  Este lapso se llama tiempo de primera pasada al ir del estado i al estado j.

Claudio Araya Sassi 54 . Suponga que ocurrió lo siguiente 𝑋0 = 3.  El tiempo de primera pasada para ir del estado 3 al estado 0 es de tres semanas. reconsidere el ejemplo de inventarios. 𝑋4 = 3.  El tiempo de recurrencia del estado 3 es de cuatro semanas.Tiempos de Primera Pasada  Para ilustrar estas definiciones. 𝑋1 = 2. 𝑋3 = 0. 𝑋5 = 1  En este caso. el tiempo de primera pasada para ir del estado 3 al estado 1 es de dos semanas. donde 𝑋𝑡 es el número de cámaras en inventario al final de la semana t y se comienza con 𝑋0 = 3. 𝑋2 = 1. Profesor MSc.

 Por lo tanto. (𝑛)  En particular.  Las distribuciones de probabilidad dependen de las probabilidades de transición del proceso. estas probabilidades satisfacen las siguientes relaciones recursivas: (1) (1) 𝑓𝑖𝑗 = 𝑝𝑖𝑗 = 𝑝𝑖𝑗 (2) (1) 𝑓𝑖𝑗 = 𝑝𝑖𝑘 𝑓𝑘𝑗 𝑘≠𝑗 Profesor MSc. 𝑓𝑖𝑗 denota la probabilidad de que el tiempo de primera pasada del estado i al j sea igual a n. los tiempos de primera pasada son variables aleatorias. Claudio Araya Sassi (𝑛) 𝑓𝑖𝑗 (𝑛−1) = 𝑝𝑖𝑘 𝑓𝑘𝑗 𝑘≠𝑗 55 . este tiempo de primera pasada es n si la primera transición es del estado i a algún estado k (k ≠ j) y después el tiempo de primera pasada del estado k al estado j es n–1.  Para n > 1.Tiempos de Primera Pasada  En general.

368 0. la distribución de probabilidad de los tiempos de primera pasada al ir del estado 3 al estado 0 se obtiene de las relaciones recursivas como sigue: (1) 𝑓30 = 𝑝30 = 0. las 𝑓𝑖𝑗 son números no negativos tales que ∞ (𝑛) 𝑓𝑖𝑗 ≤1 𝑛=1 Profesor MSc. Claudio Araya Sassi 56 .08 (2) (1) (1) (1) 𝑓30 = 𝑝31 𝑓10 + 𝑝32 𝑓20 + 𝑝33 𝑓30 = 0.243 ⋮ (1)  Donde 𝑝3𝑘 y 𝑓𝑘0 = 𝑝𝑘0 se obtienen de la matriz de transición (de un paso) (𝑛)  Para i y j fijas.184 0.Tiempos de Primera Pasada  En el ejemplo de inventarios.264 + 0.368 0.632 + 0.08 = 0.

se define como: ∞ ∞ 𝜇𝑖𝑗 = 𝑠𝑖 (𝑛) <1 𝑛 =1 𝑛𝑓𝑖𝑗 𝑛=1 ∞ ∞ (𝑛) 𝑛𝑓𝑖𝑗 𝑠𝑖 𝑛=1 𝑛𝑓𝑖𝑗 𝑛=1 ∞ 𝑛  Siempre que: 𝑓𝑖𝑗 =1 𝑛=1  𝜇𝑖𝑗 satisface. Claudio Araya Sassi 57 . la ecuación 𝜇𝑖𝑗 = 1 + 𝑝𝑖𝑘 𝜇𝑘𝑗 𝑘≠𝑗 Profesor MSc. de manera única.Tiempo Esperado de Primera Pasada  El tiempo esperado de primera pasada del estado i al estado j.

Tiempo Esperado de Primera Pasada  En el ejemplo del inventario. estas ecuaciones de 𝜇𝑖𝑗 se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cámaras en el almacén.  Como todos los estados son recurrentes. Claudio Araya Sassi 58 . dado que el proceso se inicia cuando se tienen tres cámaras. el sistema de ecuaciones conduce a las expresiones 𝜇30 = 1 + 𝑝31 𝜇10 + 𝑝32 𝜇20 + 𝑝33 𝜇30 𝜇20 = 1 + 𝑝21 𝜇10 + 𝑝22 𝜇20 + 𝑝23 𝜇30 𝜇10 = 1 + 𝑝11 𝜇10 + 𝑝12 𝜇20 + 𝑝13 𝜇30 Profesor MSc.  Este tiempo esperado es igual que el tiempo esperado de primera pasada 𝜇30 .

368𝜇20 𝜇10 = 1 + 0.368𝜇10  La solución simultánea de este sistema es 𝜇10 = 1.51 𝑠𝑒𝑚𝑎𝑛𝑎𝑠 𝜇30 = 3.368𝜇30 𝜇20 = 1 + 0.368𝜇20 + 0. Claudio Araya Sassi 59 .184𝜇10 + 0.Tiempo Esperado de Primera Pasada 𝜇30 = 1 + 0.368𝜇10 + 0.58 𝑠𝑒𝑚𝑎𝑛𝑎𝑠 𝜇20 = 2.50 𝑠𝑒𝑚𝑎𝑛𝑎𝑠 Profesor MSc.

… … . en el ejemplo de inventario. 𝜋1 . donde. … . 𝜋𝑀 ). 𝜇𝑖𝑖 es el número esperado de transiciones hasta que el proceso regresa al estado inicial i. Claudio Araya Sassi 60 .  Los tiempos de recurrencia esperados correspondientes son Profesor MSc. 1. los tiempos esperados de recurrencia se calculan de inmediato como 1 𝜇𝑖𝑖 = 𝜋𝑖 𝑝𝑎𝑟𝑎 𝑖 = 0. 𝑀  Entonces.Tiempo Esperado de Recurrencia  En el caso de 𝜇𝑖𝑗 con j = i.  Después de obtener las probabilidades de estado estable (𝜋0 . y se llama tiempo esperado de recurrencia del estado i.