Carrera de Ingeniería Industrial

Cadenas de Markov
2da Parte

Docente : Ing. Juan Contreras Salazar

Objetivo : Sesión
Características de Markov :
Tiempos de Primer Pasada
Estados Estacionario / Estable
Estados Recurrentes
Estados Absorbentes

Revisar algunos ejemplos de Aplicación de las Cadenas
de Markov

Procesos Estocásticos
Es
un
Proceso
que
evoluciona en el tiempo de
manera probabilística.
Con ello podemos predecir
el desarrollo futuro de
procesos:
fenómenos
físicos,
económicos,
atmosféricos, entre otros

Cadena de Markov
Una cadena de Markov es una serie
de eventos, en la cual la
probabilidad de que ocurra un
evento
depende
del
evento
inmediato anterior.
Las cadenas de este tipo tienen
memoria. " Recuerdan" el último
evento y esto condiciona las
posibilidades de los eventos futuros.
Esta dependencia del evento
anterior distingue a las cadenas de
Markov de las series de eventos
independientes, como tirar una
moneda al aire o un dado.

Elementos Pnij .

Diagrama Transición 0 : Clima Seco 1 : Clima LLuvioso Diagrama de Transición .

Diagrama Transición Inventario Final Diagrama de Transición .

Estado Accesible 8 1 3 7 4 Si es accesible en ambas direcciones se dice que los estados “ i “ . j “ se comunican. se dicen que pertenecen a una misma clase. . Si los estados se comunican.

Ejecución de un proyecto ( Gantt ) .Proceso evolutivo de la salud de una persona .Participación de Mercado de una empresa 3 .Estado Transitorio Pij > 0 1 2 Ejemplo : .

Niveles de Inventario .Estado del Clima .Estado Recurrente Ejemplo : .Morosidad de Clientes .

Por consiguiente. el proceso nunca saldrá de él. el estado i es un estado absorbente si y sólo si Pij = 1 . si después de haber entrado ahí.Estado Absorbente Un estado se llama absorbente.

Evolución de seres humanos 5 6 .Termino de un proyecto . Ejemplo : .Estado Absorbente 4 1 2 La probabilidad de pasar a cualquiera de los otros son cero.Juego al azar .

Ecuaciones de Chapman .Kolmogorov Modelo matemático que nos permite calcular las probabilidades de transición en el tiempo ( n pasos ) Pn = Pn-1 * P Multiplicación de Matrices .

Probabilidad Estacionaria Condición de estado estacionario es la condición en la que la probabilidad de encontrarse en cualquier estado no varía de un período a otro. .

Se identifica con Tij. .Tiempo de Primer Paso Es el número de pasos que necesita la cadena de Markov para pasar del estado i al estado j por primera vez.

El tiempo en que un problema de fabricación suceda por primera vez. por primera vez. c..El tiempo en que pase un paciente pase de un estado de salud 1 al estado de salud 2 .El tiempo en que la compañía pasa por primera vez por una crisis financiera.. ..Tiempo de Primer Paso Ejemplos : a. b.

mientras que 15% restante cambio a Brillo. Además 85% de los usuarios de la competencia permanecieron leales a estas otras marcas. determínese la parte del mercado que corresponde a Brillo: a) en 5 años. Considerando que esta tendencias continúan. Datos del año anterior muestran que 88% de consumidores de brillo continúan usándola. mientras que 12% de los usuarios de Brillo cambiaron a otras marcas.Problema 01: El fabricante de un dentífrico llamado “Brillo” controla actualmente el 60% del mercado de una ciudad. b) a largo plazo .

Solución .> 0.Problema 01 : Sea : 1 : Estado de consumo de dentífrico “Brillo” 2 : Estado de consumo de una marca de la competencia Matriz de transición Participación de mercado ---.4 .6 0.

si hay 45 personas en la fase de aula y 21 personas en la fase de aprendizaje?. La fase 1. que incluye 3 semanas de trabajo en el aula. 10% deberán repetir la segunda fase y 20% quedan completamente fuera del programa. con el restante 40% que abandona completamente el programa de entrenamiento. De la experiencia pasada. . va seguida por la fase 2. consistente en un programa de aprendizaje de tres semanas bajo la dirección de los supervisores ya trabajando.Problema 02 El programa de entrenamiento para los supervisores de producción de cierta compañía contiene dos fases. De aquellos que pasan a la fase de aprendizaje. la compañía espera que 60% de aquellos que inician el entrenamiento en el aula logren pasar a la fase de aprendizaje. 70% se gradúan como supervisores. ¿ Cuantos supervisores puede esperar la compañía de su programa actual de entrenamiento.

4. 0 .2.3. 21/66. 45/66 .Solución .- Estado: Quedar fuera del programa Estado: Ser entrenado en aula Estado : Ser aprendiz Estado : Ser supervisor Distribución inicial -------- 0.Problema 02 : Sea : 1.

España es uno de los países del oeste de Europa más afectados por el virus (EuroHIV. Los siguientes slides muestran cómo llevar a cabo un análisis de la epidemia de VIH-SIDA utilizando una cadena de Markov homogénea con tiempos de observación anuales.Ejemplo Aplicación en Salud Desde comienzos de los años 80. En la actualidad. 2005). . por lo que el conocimiento de la evolución futura de la epidemia es un objetivo prioritario para establecer políticas sanitarias adecuadas. el SIDA se ha convertido en una de las mayores pandemias de nuestra época.

-S-). Cuando el sujeto infectado desarrolla la enfermedad se convertirá en un caso de SIDA (estado 3.Ejemplo : Estados Uno de los modelos más sencillos para el estudio de la epidemia de SIDA establece que cada sujeto de la población puede estar exclusivamente en uno de los siguientes estados: susceptible (S). infectado por VIH (VIH). -VIH-). -SIDA-). Tras el contacto con un infectado desarrollará la infección y podrá contagiar a otros individuos de la población (estado 2. El sujeto susceptible no está infectado (estado 1. Seguidamente el sujeto infectado podría morir por causa de la enfermedad (estado 4. . -M-). con SIDA (SIDA) o muerto como consecuencia de la enfermedad (M).

Sida Estado Absorbente : M . VIH .Ejemplo : Estados Estados Transitorios : S .

tanto la incidencia de VIH-SIDA como la tasa de mortalidad entre los casos de SIDA permanecerán constantes. el proceso estocástico es una cadena de Markov discreta. . Por ello. la cadena de Markov discreta será además homogénea. Si las políticas de prevención de VIH y las pautas de tratamiento no varían. pero no de su historia pasada. por lo que tanto los estados como los instantes de tiempo del proceso son discretos. Además. por lo que las probabilidades de transición no cambiarán en el tiempo.Ejemplo : Modelo a emplear Como es de esperar la observación de los sujetos se realiza de forma anual. Bajo esta hipótesis. el estado futuro en que se encuentre un individuo dependerá solo de su estado actual. siendo éste el modelo markoviano más apropiado para estudiar la evolución de la epidemia.

La suma de las probabilidades de una fila de la matriz de transición ha de ser 1. información que será utilizada para calcular las probabilidades de transición. las últimas cifras registradas sobre la epidemia de VIH-SIDA en España correspondían a 2004 (EuroHIV. la matriz de transición suele obtenerse a partir de los datos de población. 2005). 2005). un sujeto en estado susceptible no puede pasar directamente al estado SIDA ni al estado M.000064.Ejemplo : Probabilidades de Transición En epidemias humanas. Los datos publicados muestran que el número estimado de nuevos casos fue de 2750 en una población de 43´197. Según el modelo establecido.684 habitantes. . En el momento de redactar este trabajo. lo que supone una tasa de contagio de 64 casos por millón de habitantes (CNE. p12=0. prevalencia y mortalidad publicados en los registros oficiales. incidencia. por lo que p11=1-p12-p13-p14=0.999936. Como consecuencia. por tanto.

000 individuos con VIH (Cañas et al.993568.Ejemplo : Probabilidades de Transición La segunda fila de la matriz corresponde a las transiciones que pueden realizarse desde el estado VIH. .. Por último. por tanto p24=0. En 2004 se produjeron 542 muertes entre un total de 6609 casos de SIDA (EuroHIV. un sujeto VIH+ no puede pasar directamente al estado M. 2005). 2005) en una población prevalente estimada de 125.917991. se tendrá p22=1-p21-p23-p24=0. Así. 2003). p33=1-p31-p32-p34=0.0082. un individuo infectado no volverá a ser susceptible.006432. Además. Los sujetos que han desarrollado SIDA no retornarán al estado S o VIH. lo que supone p34=0. Siguiendo el modelo propuesto. por lo que p21=0. puesto que los valores de la fila han de sumar 1. por lo que p23=0. La incidencia de SIDA en 2004 fue de 804 nuevos casos (EuroHIV. por tanto p31=p32=0.

La matriz de transición para la epidemia de VIH-SIDA en España será por tanto . se tiene p44=1 y p41=p42=p43=0.Ejemplo : Probabilidades de Transición Puesto que M es un estado absorbente y los sujetos permanecen en él.

La matriz de transición contiene las probabilidades de paso de un estado a otro en un año. Las ecuaciones de Chapman-Kolmogorov permiten calcular estas probabilidades multiplicando la matriz de transición por ella misma y obteniendo la matriz de transición en dos tiempos.Ejemplo : Evolución de la Epidemia en el tiempo La evolución de la epidemia en el tiempo. Sin embargo.000064. es decir. es decir . la probabilidad de que un sujeto susceptible esté infectado al año siguiente es 0. para conocer la evolución de la epidemia es necesario calcular la probabilidad de que un sujeto susceptible actualmente pueda estar infectado dos años después.

000128 o.Ejemplo : Evolución de la Epidemia en el tiempo Así. dentro de dos años habrá 128 nuevos infectados por millón de habitantes. Análogamente. a partir de la matriz de transición en tres tiempos P3=P2*P . de forma equivalente. es posible calcular la probabilidad de que un individuo que actualmente se encuentra en un estado esté en otro determinado dentro de tres años. la probabilidad de que un sujeto susceptible en la actualidad esté infectado dos años después es 0.

Estas cifras significan que en 20 años el número de infecciones se habrá incrementado en un 29%. los casos de SIDA aumentarán un 62% y las muertes por la enfermedad serán un 154% superior. En 2024 el número de infectados por VIH habrá ascendido a 3.744 por millón de habitantes. los casos de VIH y SIDA seguirán una tendencia creciente en España. . el número de enfermos de SIDA será de 248 por millón de habitantes y las muertes por SIDA llegarán a ser de 46 por millón de habitantes.Ejemplo : Evolución de la Epidemia en el tiempo Si la incidencia y mortalidad de VIH-SIDA no se modifica.

Ejemplo : Evolución de la Epidemia en el tiempo .

Supongamos que en la sociedad sólo existen los estratos socioeconómicos alto. Estado A : Clase Alta Estado M : Clase Media Estado B : Clase Baja . es decir las probabilidades de pasar en una generación una clase social a otra. medio y bajo. Veremos a continuación la matriz de transición de un paso.Ejemplo : Clases Sociales Este es un ejemplo de la movilidad de las clases sociales.

.Ejemplo : Clases Sociales Por ejemplo el 1% de las personas que tuvieron padres de clases baja logran llegar a ser personas de clase alta.

31 Después de muchas generaciones.07.07 πM = 0. 0.Ejemplo : Clases Sociales πA = 0.62 πB = 0.31 respectivamente. . 0.62. la probabilidad de pertenecer a la clase alta. media y baja tiende a 0. es decir así se estabiliza la sociedad.

Juan Contreras Salazar .Carrera de Ingeniería Industrial Estado Absorbente Docente : Ing.

Empresa en Bancarrota 5 6 .Estado Absorbente 4 1 2 La probabilidad de pasar a cualquiera de los otros son cero.Juego al azar . Ejemplo : .Termino de un proyecto .Evolución de seres humanos .

1 .Estado Absorbente La teoría de los procesos estocásticos permite demostrar : ƒik = Σ Pij * ƒik Para i = 0 . 2 . … M ƒik = 0 ƒkk = 1 .

. la tienda considera que el cliente se mueve al estado 1. 1 a 30 días (estado 1). Los clientes que tienen más de 60 días de retraso se clasifican en la categoría de mala deuda. Las cuentas se revisan cada mes y se determina el estado de cada cliente. En general. En ocasiones. los créditos no se extienden y se espera que los clientes paguen sus cuentas dentro de 30 días. 31 a 60 días de retraso (estado 2) o mala deuda (estado 3). Si esto ocurre cuando el saldo queda dentro de los 30 días de retraso. la tienda considera que este cliente esta dentro de los 30 días. Los clientes que pagaron su saldo (en el estado 0) y después se retrasan en el pago de nuevas compras se consideran clientes nuevos que inician en el estado 1. Si esto ocurre cuando el saldo está entre 31 y 60 días de retraso. los clientes pagan sólo una parte de su cuenta. y envía las cuentas a una agencia de cobro.Ejemplo : Estado Absorbente Considere una tienda que clasifica el saldo de la cuenta de su cliente como pagada (estado 0).

Ejemplo : Estado Absorbente Después de examinar los datos de años anteriores. la tienda ha desarrollado la siguiente matriz de transición: La Tienda le interesa determinar la probabilidad de que un cliente llegue a ser un mal deudor. . dado que su comportamiento del cliente es el estado 1 y/o 2.

1* ƒ23 + 0* ƒ33 .Ejemplo : Estado Absorbente ƒik = Σ Pij * ƒik 1 0 3 2 ƒ13 = P10 * ƒ03 + P11 * ƒ13 + P12 * ƒ23 + P13 * ƒ33 ƒ13 = 0.7 * ƒ03 + 0.2 * ƒ13 + 0.

Ejemplo : Estado Absorbente ƒik = Σ Pij * ƒik 2 0 3 1 ƒ23 = P20 * ƒ03 + P21 * ƒ13 + P22 * ƒ23 + P23 * ƒ33 ƒ23 = 0.2 * ƒ33 .5 * ƒ03 + 0.1 * ƒ13 + 0.2 * ƒ23 + 0.

254 ….032 ƒ23 = 0.2 * ƒ23 + 0. .1 * ƒ13 + 0..1* ƒ23 ƒ23 = 0.Ejemplo : Estado Absorbente Como ƒ03 = 0 y ƒ33 = 1 ƒ13 = 0.2% ….2 ƒ13 = 0. 25.2 * ƒ13 + 0.4% Alrededor del 3% de los clientes cuyas cuentas tienen de 1 a 30 días de retraso y alrededor de 25% de los clientes con 31 a 60 días de retraso llegan a ser malos deudores. 3..

Después de la inspección se clasifica la condición de la máquina en uno de cuatro estados posibles: .Ejemplo : Producción Un proceso de producción incluye una máquina que se deteriora con rapidez tanto en calidad como en cantidad de producción con el trabajo pesado. por lo que se inspecciona al final de cada día.

000 ¿ Cuál es el costo esperado a largo plazo? ....Elabore el diagrama de transición b. 1 .Ejemplo : Producción El proceso se puede modelar como una cadena de Markov con matriz de transición (de un paso) P dada por: a. 2 y 3 son respectivamente $ 0/ $ 1.000 / $ 3.Encuentre las probabilidades de estado estable c.000 y $ 6.Si los costos respectivos por estar en los estados 0 .

Sweeney.. Winston. 9na Edición .Año 2010 . Larry R. Anderson / Dennis J. 11va Edición . Moore.Editorial Thomson .Año 2005 . 7ª ed. 5ta Edición . 4ta Edición . 2004 W. . México: Pearson Educación.Bibliografía Frederick S. Investigación de Operaciones. Jeffrey H.Editorial Cengage Learning G.Editorial Mcgraw-Hill David R. Weaterford . Hillier & Gerald J. Métodos Cuantitativos para los Negocios. Aplicaciones y algoritmos". Investigación de Operaciones. Lieberman. Eppen.Editorial Prentice Hall Taha.Año 2000 . Investigación de Operaciones en la Ciencia Administrativa. Investigación de Operaciones.Año 2011 . D. et al.. H.