You are on page 1of 23

Facultad de Ingeniería

Escuela de Industrias
Ingeniería Civil Industrial

ICI2212 Modelos Estocásticos
Profesor Claudio C. Araya Sassi

Unidad 6: Cadenas de Markov en Tiempo Continuo

Curso Período Verano, Enero de 2015

Cadenas de Markov en Tiempo Continuo
 En la unidad anterior se supuso que el parámetro t del tiempo es
discreto (es decir, t = 0, 1, 2, . . .).
 Este supuesto es adecuado para muchos problemas, pero existen ciertos
casos en los que se requiere un parámetro (llamado t’) de tiempo
continuo, debido a que la evolución del proceso se observa de manera
continua a través del tiempo.
 La definición de cadena de Markov que se dio en la unidad anterior
también se extiende a esos procesos continuos.

Profesor MSc. Claudio Araya Sassi

2

𝟎 ≤ 𝒕′ < 𝒕𝟏 después salta a otro valor en el siguiente intervalo 𝒕𝟏 ≤ 𝒕′ < 𝒕𝟐 y así sucesivamente..  Si se comienza en el tiempo 0 y se deja que el parámetro de tiempo t’ corra de manera continua para 𝑡′ ≥ 0. .  Ahora considere los tres puntos en el tiempo: 1) 𝑡 ′ = 𝑟 𝑑𝑜𝑛𝑑𝑒 𝑟 ≥ 0 2) 𝑡 ′ = 𝑠 𝑑𝑜𝑛𝑑𝑒 𝑠 > 𝑟 3) 𝑡 ′ = 𝑠 + 𝑡 𝑑𝑜𝑛𝑑𝑒 𝑡 > 0 .) son puntos aleatorios en el tiempo (no necesariamente enteros). . donde los puntos de tránsito (𝑡1 . . . 𝑖𝑛𝑡𝑒𝑟𝑝𝑟𝑒𝑡𝑎𝑑𝑜𝑠 𝑐𝑜𝑚𝑜 𝑠𝑖𝑔𝑢𝑒 Profesor MSc. 𝑡2 .Formulación  Se etiquetan los estados posibles del sistema 0. Claudio Araya Sassi 3 . . M. 1. sea la variable aleatoria 𝑋(𝑡 ′ ) el estado del sistema en el tiempo 𝑡′.  Entonces 𝑿(𝒕′ ) toma uno de sus (M + 1) valores posibles en un intervalo.

Claudio Araya Sassi 4 . 𝑀 𝑋 𝑡 ′ . el paso natural es buscar la distribución de probabilidad del estado del sistema en el tiempo t’= s + t.Formulación  Por lo tanto. 𝑡′ ≥ 0 tiene la 𝑃 𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 𝑦 𝑋 𝑟 = 𝑥(𝑟) = 𝑃 𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 𝑝𝑎𝑟𝑎 𝑖. 1. . En otras palabras. ¿cuál es la probabilidad 𝑃 𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 𝑦 𝑋 𝑟 = 𝑥(𝑟) . 𝑗 = 0. 𝑠 > 𝑟 𝑦 𝑡 > 0 Profesor MSc. . . 𝑀 𝑦 𝑝𝑎𝑟𝑎 𝑡𝑜𝑑𝑎 𝑟 ≥ 0. … . Un proceso estocástico de tiempo continuo propiedad markoviana si 𝑝𝑎𝑟𝑎 𝑗 = 0. Estos estados se etiquetan como 𝑋 𝑠 =𝑖 𝑦 𝑋 𝑟 = 𝑥(𝑟)  Dada esta información. 1. el estado del sistema se ha observado en los tiempos t’= s y t’= r. … . .

Formulación  Observe que 𝑷 𝑿 𝒔 + 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 es una probabilidad de transición. de manera que 𝑃 𝑋 𝑡+𝑠 =𝑗 𝑋 𝑠 =𝑖 =𝑃 𝑋 𝑡 =𝑗 𝑋 0 =𝑖 . igual que las probabilidades de transición de las cadenas de Markov de tiempos discretos. 𝑡′ ≥ 0 es una cadena de Markov de tiempo continuo si presenta la propiedad markoviana. Probabilidades de transición estacionarias  Si las probabilidades de transición son independientes de s. ∀𝑠 >0 Función de probabilidad de transición de tiempo continuo 𝑝𝑖𝑗 (𝑡) = 𝑃 𝑋 𝑡 = 𝑗 𝑋 0 = 𝑖 lim 𝑝𝑖𝑗 𝑡→0 1. donde la única diferencia es que ahora no es necesario que t sea entero. Claudio Araya Sassi 5 . 𝑡 = 0. 𝑠𝑖 𝑖 = 𝑗 𝑠𝑖 𝑖 ≠ 𝑗  Un proceso estocástico de tiempo continuo 𝑋 𝑡 ′ . Profesor MSc.

observe que 𝑇𝑖 > 𝑡 si y solo si 𝑋 𝑡 ′ = 𝑖 para toda 𝑡′ en el intervalo 𝑠 ≤ 𝑡 ′ ≤ 𝑠 + 𝑡. independientemente de cuánto tiempo haya pasado el proceso en ese estado.Algunas variables aleatorias importantes  Cada vez que el proceso entra en el estado i.  Entonces. la cantidad de tiempo que pasa en ese estado antes de moverse a uno diferente es una variable aleatoria 𝑇𝑖 . Claudio Araya Sassi 6 . Profesor MSc. 1. . donde 𝑖 = 0.  Por lo tanto. para cualquier cantidad de tiempo fijo 𝑡 > 0. 𝑀  Suponga que el proceso entra en el estado 𝑖 en el tiempo 𝑡 ′ = 𝑠. … . . la propiedad markoviana (con probabilidades de transición estacionarias) implica que 𝑃 𝑇𝑖 > 𝑡 + 𝑠 𝑇𝑖 > 𝑠 = 𝑃 𝑇𝑖 > 𝑡  Dice que la distribución de probabilidad del tiempo que falta para que el proceso haga una transición fuera de un estado dado siempre es la misma.

llámese q. la variable aleatoria no tiene memoria.  Esta distribución tiene un solo parámetro. el proceso olvida su historia. la distribución exponencial.Algunas variables aleatorias importantes  En efecto.  Existe sólo una distribución de probabilidad (continua) que posee esta propiedad. 𝑝𝑎𝑟𝑎 𝑡 ≥ 0 Profesor MSc. donde la media es 1/q y la función de distribución acumulada es 𝑃 𝑇𝑖 ≤ 𝑡 = 1 − 𝑒 −𝑞𝑡 . Claudio Araya Sassi 7 .

donde 𝑝𝑖𝑗 satisface las condiciones 𝑝𝑖𝑖 = 0 𝑝𝑎𝑟𝑎 𝑡𝑜𝑑𝑎 𝑖 𝑀 𝑝𝑖𝑗 = 1 𝑝𝑎𝑟𝑎 𝑡𝑜𝑑𝑎 𝑖 𝑖=0 3. Claudio Araya Sassi 8 . 2. La variable aleatoria 𝑇𝑖 tiene una distribución exponencial con media 1/𝑞𝑖 . con probabilidad 𝑝𝑖𝑗 . Cuando sale de un estado 𝑖. el proceso se mueve a otro estado 𝑗.Algunas variables aleatorias importantes  Este resultado conduce a una forma equivalente para describir una cadena de Markov de tiempo continuo: 1. El siguiente estado que se visita después del estado i es independiente del tiempo que pasó en el estado i. Profesor MSc.

𝑡→0 𝑑𝑡 𝑡 𝑝𝑖𝑗 (𝑡) 𝑑 𝑞𝑖𝑗 = 𝑝𝑖𝑗 0 = lim = 𝑞𝑖 𝑝𝑖𝑗 . … … . 𝑞𝑖 = − 𝑑 1 − 𝑝𝑖𝑖 (𝑡) 𝑝𝑖𝑖 0 = lim . 2. 1. Claudio Araya Sassi 9 . 𝑡→0 𝑑𝑡 𝑡 𝑝𝑎𝑟𝑎 𝑖 = 0. 𝑀 ∀𝑗 ≠𝑖 Donde  𝑝𝑖𝑗 (𝑡) es la función de probabilidad de transición de tiempo continuo  𝑝𝑖𝑗 es la probabilidad descrita en la propiedad 2 de la diapositiva anterior  𝑞𝑖 parámetro de la distribución exponencial de 𝑇𝑖 Profesor MSc.Algunas variables aleatorias importantes Intensidades de transición  Papel análogo a las probabilidades de transición de un paso de una cadena de Markov de tiempos discretos.

𝑞𝑖 es la tasa de transición hacia fuera del estado i en el sentido de que 𝑞𝑖 es el numero esperado de veces que el proceso deja el estado i por unidad de tiempo que pasa en el estado i. Claudio Araya Sassi 10 .  De esta forma. 𝒒𝒊𝒋 es la tasa de transición del estado i al estado j en el sentido de que 𝒒𝒊𝒋 es el numero esperado de veces que el proceso transita del estado i al estado j por unidad de tiempo que pasa en el estado i.  En particular. Así. 𝑞𝑖 = 𝑞𝑖𝑗 𝑗≠𝑖 Profesor MSc. 𝒒𝒊 es el reciproco del tiempo esperado que el proceso pasa en el estado i por cada visita al estado i. 𝑞𝑖 = 1/𝐸[𝑇𝑖 ]  De manera similar.Algunas variables aleatorias importantes Intensidades de transición  La interpretación intuitiva de 𝑞𝑖 y 𝑞𝑖𝑗 es que son tasas de transición. es decir.

 Cuando ocurre la transición. donde 𝑖. la cantidad de tiempo que pasara en el estado i antes de que ocurra una transición al estado j (si no ocurre antes una transición a algún otro estado) es una variable aleatoria 𝑇𝑖𝑗 . donde cada 𝑇𝑖𝑗 tiene una distribución exponencial con parámetro 𝑞𝑖𝑗 . Claudio Araya Sassi 11 . de manera que: 𝐸 𝑇𝑖𝑗 = 1/𝑞𝑖𝑗  El tiempo que pasa en el estado i hasta que ocurre una transición (𝑇𝑖 ) es el mínimo (sobre 𝑗 ≠ 𝑖) de las 𝑇𝑖𝑗 .  Las 𝑇𝑖𝑗 son variables aleatorias independientes.Algunas variables aleatorias importantes Intensidades de transición  𝑞𝑖𝑗 es el parámetro de una distribución exponencial de una variable aleatoria relacionada 𝑇𝑖𝑗  Cada vez que el proceso entra al estado i. 𝑀 𝑦 𝑗 ≠ 𝑖. la probabilidad de que sea al estado j es 𝑝𝑖𝑗 = 𝑞𝑖𝑗 /𝑞𝑖 Profesor MSc. 𝑗 = 0. … … . 1.

 Se dice que todos los estados que se comunican forman una clase. Profesor MSc. y números no negativos 𝑡 𝑦 𝑠 (0 ≤ 𝑠 ≤ 𝑡).  Si todos los estados de una cadena forman una sola clase. 𝑀 𝑝𝑖𝑗 𝑡 = 𝑝𝑖𝑘 (𝑠)𝑝𝑘𝑗 (𝑡 − 𝑠) 𝑘=1  Se dice que un par de estados i y j se comunican si existen tiempos 𝑡1 𝑦 𝑡2 tales que 𝑝𝑖𝑗 𝑡1 > 0 𝑦 𝑝𝑖𝑗 𝑡2 > 0.Probabilidades de estado estable Ecuaciones de Chapman-Kolmogorov  Para cualesquiera estados i y j. es decir. Claudio Araya Sassi 12 . la cadena de Markov es irreducible.

. entonces. 1.  Las 𝜋𝑗 satisfacen las ecuaciones Profesor MSc. . 𝑝𝑖𝑗 𝑡 > 0. M. ∀ 𝑡 > 0 𝑦 𝑡𝑜𝑑𝑜𝑠 𝑙𝑜𝑠 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝑖 𝑦 𝑗 lim 𝑝𝑖𝑗 𝑡 = 𝜋𝑗 𝑡→∞  Siempre existe y es independiente del estado inicial de la cadena de Markov. Claudio Araya Sassi 13 . . para j = 0.Probabilidades de estado estable Probabilidades de estado estable  Si la cadena de Markov es irreducible..

1. Claudio Araya Sassi en el estado i. . las siguientes ecuaciones de estado estable proporcionan un sistema de ecuaciones mas útil para obtener las probabilidades de estado estable: tasa a la que el proceso entra al estado j desde cualquier otro estado tasa a la que el proceso deja el estado j 𝜋𝑗 𝑞𝑗 = 𝜋𝑖 𝑞𝑖𝑗 .Probabilidades de estado estable Probabilidades de estado estable  Sin embargo. 𝑖≠𝑗 𝑀 𝜋𝑗 = 1 𝑗=0 𝜋𝑗 es la probabilidad (estable) de que el proceso esté en el estado j 𝑞𝑗 es la tasa de transición hacia fuera de j dado que el proceso se encuentra en el estado j. 14 . 𝑀. 𝑝𝑎𝑟𝑎 𝑗 = 0. … … . 𝑞𝑖𝑗 es la tasa de transición del estado i al j dado que el proceso se encuentra Profesor MSc.

Como lo hacen con bastante frecuencia.Ejemplo 1 Un taller tiene dos maquinas idénticas en operación continua excepto cuando se descomponen. la tarea con mas alta prioridad para la persona de mantenimiento que trabaja tiempo completo es repararlas cuando sea necesario. Defina la variable aleatoria X(t’) como X(t’) = número de maquinas descompuestas en el tiempo t’. Profesor MSc. El tiempo que se requiere para reparar una maquina tiene distribución exponencial con media de 1/2 día. Claudio Araya Sassi 15 . Una vez que se termina la reparación. El estado (numero de maquinas descompuestas) aumenta en 1 cuando ocurre una descompostura y disminuye en 1 cuando se termina una reparación. el tiempo que transcurre hasta la siguiente descompostura tiene distribución exponencial con media de un día. Estas distribuciones son independientes.

𝑞𝑖 = 𝑞𝑖𝑗 𝑗≠𝑖 Profesor MSc. de manera que la tasa a la que se descompone (cuando esta en operación) es de uno por día. de manera que la tasa a la que se terminan las reparaciones (cuando hay maquinas descompuestas) es 2 por día. las descomposturas ocurren a una tasa de 1+1 = 2 por día. esto implica que 𝑞12 = 1 .Ejemplo 1  Como tanto las descomposturas como las reparaciones ocurren una a la vez. por lo que 𝑞01 = 2. lo que implica que 𝑞21 = 2 𝑦 𝑞10 = 2 . el tiempo esperado hasta que se descompone una maquina en operación es de un día.  Durante los tiempos en los que las dos maquinas operan. Claudio Araya Sassi 16 . 𝑞02 = 0 𝑞20 = 0  El tiempo esperado de reparación es de 1/2 día.  De manera similar.

𝑝𝑎𝑟𝑎 𝑗 = 0. . 𝑀. … … . Claudio Araya Sassi 17 . 𝑖≠𝑗 𝑀 𝜋𝑗 = 1 𝑗=0 Profesor MSc. 1.Ejemplo 1  Probabilidades de estado estable 𝜋𝑗 𝑞𝑗 = 𝜋𝑖 𝑞𝑖𝑗 .

Ejemplo 1  Diagrama de tasas Profesor MSc. Claudio Araya Sassi 18 .

𝑞02 = 𝑞20 = 𝑞03 = 𝑞30 = 𝑞13 = 𝑞31 = 0 𝑞21 = 𝑞10 = 𝑞32 = 2 𝑞12 = 2 𝑞01 = 3 𝑞23 = 1 𝑞𝑖 = 𝑞𝑖𝑗 𝑗≠𝑖 𝑞0 = 𝑞01 + 𝑞02 + 𝑞03 = 3 ⟹ 𝑞0 = 𝑞01 = 3 𝑞1 = 𝑞10 + 𝑞12 + 𝑞13 = 4 ⟹ 𝑞1 = 𝑞10 + 𝑞12 = 4 𝑞2 = 𝑞20 + 𝑞21 + 𝑞23 = 3 ⟹ 𝑞2 = 𝑞21 + 𝑞23 = 3 𝑞3 = 𝑞30 + 𝑞31 + 𝑞32 = 2 ⟹ 𝑞3 = 𝑞32 = 2 Profesor MSc. idéntica a las dos primeras. La persona de mantenimiento debe atender todas las máquinas. Claudio Araya Sassi 19 .Ejemplo 2  Suponga que ahora se agrega al taller una tercera máquina.

Ejemplo 2  Diagrama de tasas q01  3 0 q12  2 1 q10  2 q23  1 2 q21  2 Profesor MSc. Claudio Araya Sassi 3 q32  2 20 .

… . 𝑀 𝑖≠𝑗 𝑀 𝑦 𝜋𝑗 = 1 𝑗=0 𝑗=0 𝑞0 ∗ 𝜋0 = 𝑞10 ∗ 𝜋1 𝑗=1 𝑞1 ∗ 𝜋1 = 𝑞01 ∗ 𝜋0 + 𝑞21 ∗ 𝜋2 𝑗=2 𝑞2 ∗ 𝜋2 = 𝑞12 ∗ 𝜋1 + 𝑞32 ∗ 𝜋3 𝑗=3 𝑞3 ∗ 𝜋3 = 𝑞23 ∗ 𝜋2 𝜋0 + 𝜋1 + 𝜋2 + 𝜋3 = 1 Profesor MSc.Ejemplo 2  Ecuaciones de estado estable 𝜋𝑗 𝑞𝑗 = 𝜋𝑖 𝑞𝑖𝑗 𝑝𝑎𝑟𝑎 𝑗 = 0. 1. Claudio Araya Sassi 21 .

Claudio Araya Sassi 22 .Ejemplo 2  Ecuaciones de estado estable 3𝜋0 = 2𝜋1 4𝜋1 = 3𝜋0 + 2𝜋2 3𝜋2 = 2𝜋1 + 2𝜋3 2𝜋3 = 𝜋2 𝜋0 + 𝜋1 + 𝜋2 + 𝜋3 = 1 De (1) se tiene: De (2) se tiene: 4 1 2 3 (4) (5) 3 𝜋1 = 𝜋0 2 3 𝜋 = 3𝜋𝑜 + 2𝜋2 2 𝑜 De (4) se tiene: 3 𝜋2 = 𝜋0 2 1 1 3 3 𝜋3 = 𝜋2 ⟹ 𝜋3 = 𝜋 = 𝜋0 2 2 2 0 4 Profesor MSc.

Claudio Araya Sassi 23 .Ejemplo 2  Ecuaciones de estado estable Reemplazando en (5) se tiene: 𝜋0 + 3 3 3 𝜋0 + 𝜋0 + 𝜋0 = 1 2 2 4 4+6+6+3 𝜋0 = 1 4 19 𝜋 =1 4 0 𝜋0 = 𝜋1 = 3 4 6 ∗ = 2 19 19 𝜋2 = 𝜋3 = 4 19 6 19 3 4 3 ∗ = 4 19 19 Profesor MSc.