You are on page 1of 30

Cadenas de

markov
UNIDAD 4
INVESTIGACIÓN DE OPERACIONES II

Sumario
• Procesos estocásticos
• Concepto de cadena de Markov
• Ecuaciones de Chapman-Kolmogorov
• Clasificación de estados
• Cadenas absorbentes
• Distribución estacionaria

Proceso estocástico
• Es un modelo matemático que
describe el comportamiento de
un sistema dinámico sometido a
un fenómeno de naturaleza
aleatorio.

• Sus valores no pueden ser predichos con exactitud. .Características de un proceso estocástico • Es una función aleatoria que varía en el tiempo. sino con cierta probabilidad.

• Sus valores no pueden ser predichos en el futuro con exactitud sino con probabilidad. .Ejemplo de proceso estocástico • Lanzamos una moneda al aire 6 veces. • La cosecha de uva sea exitosa en el 2015 y en el 2016.

estamos en presencia de un PROCESO ESTOCÁSTICO. .proceso estocástico • Si para un sistema S compuesto por n estados diferentes. se conoce la probabilidad de pasar de un estado a otro.

S S … S 1 P = 2 m S1 P11 P12 … P1m S2 P21 P22 … P2m … Sm … Pm1 … Pm2 … … … Pmm .Proceso estocástico • Un proceso estocástico se puede expresar mediante una matriz cuadrada P llamada “MATRIZ DE PROBABILIDAD” ó “MATRIZ DE TRANSICIÓN ó “MATRIZ ESTOCÁSTICA”.

Representación de un proceso estocástico Grafo Árbol .

.Representación del Proceso estocástico • Cuando no se especifica el estado inicial del sistema se utiliza un grafo. También llamado DIAGRAMA DE TRANSICIÓN DE ESTADOS. • Cuando se especifica el estado inicial se utiliza el árbol.

• Proceso de tipo Markov: Cuando la probabilidad de un suceso depende solamente del suceso inmediatamente .Clasificación de los procesos estocásticos • Procesos aleatorios puros: Cuando la probabilidad de que el sistema se encuentre en el estado Sj en la fecha tm es independiente de todos los estados anteriores ocurridos en fechas anteriores.

Cadenas de Markov .

“dado el presente.Definición • Las cadenas de Markov y los procesos de Markov son un tipo especial de procesos estocásticos que poseen la siguiente propiedad: • Propiedad de Markov: Conocido el estado del proceso en un momento dado. su comportamiento futuro no depende del pasado. el futuro es independiente del pasado” . Dicho de otro modo.

DIAGRAMA DE TRANSICIÓN DE ESTADOS • El diagrama de transición de estados (DTE) de una Cadena de Markov (CM) es un grafo dirigido cuyos nodos son los estados de la CM y cuyos arcos se etiquetan con la probabilidad de transición entre los estados que unen. Si dicha probabilidad es nula. q i ij j . no se pone arco.

Si en el instante t está desocupada. en el t+1 estará ocupada con probabilidad 0.9. en el instante t+1 estará ocupada con probabilidad 0. .3.7 y desocupada con probabilidad 0.EJEMPLO DIAGRAMA DE TRANSICIÓN DE ESTADOS • Sea una línea telefónica de estados ocupado=1 y desocupado=0.1 y desocupada con probabilidad 0. Si en el instante t está ocupada.

1   Q    0.9 0 1 0.3 0.1 0.3 0.LINEA TELEFÓNICA  0.7  0.7 .9 0.

S4:la máquina no puede seguir trabajando y por lo tanto debe ser remplazada por una nueva. S3:la máquina presente un deterioro importante.EJEMPLO 2 Para un proceso se utiliza una máquina que se deteriora a lo largo del tiempo. teniendo en cuenta los siguientes estados: S1: la máquina se encuentra en estado perfecto S2: la máquina presenta un deterioro no importante u puede seguir operando. pero puede seguir operando. Periódicamente es necesario inspeccionarla. con rendimiento muy bajo. .

SIENDO LA MATRIZ DE PROBAbilidad S1 S2 S3 S4 S1 0 7/8 1/16 1/16 S2 0 3/4 1/8 1/8 S3 0 0 1/2 1/2 S4 1 0 0 0 Suponer que el estado inicial de la máquina es S1.  . represente el proceso estocástico.

partiendo de S1 ? P13(2) = P12 P23 + P13 P33 = 7/8 * 1/8 + 1/16 *½ = 0.65625 ¿Cuál es la probabilidad de que el sistema se encuentre en S3 . Por lo tanto.140625 . la probabilidad de que el sistema partiendo del estado S1 se encuentre en el estado S2 en dos pasos es: (S1 . S2 .Cómo los estados del sistema son “independientes”. S2 ) P12(2) = P12 P22 = 0.

• En resumen se dice que un proceso estocástico {Xt} es una cadena de Markov de estado finito si: • Está formado por un número finito de estados • Cumple con la probabilidad Markoviana • Se da un conjunto de probabilidades iniciales P .

• Permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado.Análisis de Markov • Llamado así en honor de un matemático ruso que desarrollo el método en 1907. .

Cadenas de Markov homogénea • Una CM es homogénea si la probabilidad para que.depende sólo de Si y de Sj y de d= (α – β) independientemente de los dos instantes α y β . encontrándose el sistema en el estado Si en el instante n=β llegue al estado Sj en el instante n=α (es decir en (α – β) pasos) .

entonces se dice que Si y Sj son estados comunicantes 1 0 0 0 0 ½ ½½ 0 0 ½ ½ 0 ½ 0 0 .Estados de una cadena de Markov • Estados comunicantes: Si Sj es consecuente de Si . y Si es consecuente de Sj .

S4} C2={S1} 1 1 .S3.Diagrama de transición de estados 2 1/2 1/2 1/2 1/2 3 4 1/2 1/2 C1={S1.

(para cualquier par de estados Si. se denomina “clase comunicante”. Sj . existe por lo menos un camino que los relaciona). .• Un conjunto formado por estados comunicantes entre sí. • Las clases comunicantes constituyen una subred fuertemente conexa.

consecuente de Si . entonces se dice que Si y Sj son estados comunicantes.Estados sin retorno • Un estado Si es sin retorno cuando no se comunica con ningún otro estado del sistema. y Si es consecuente de Sj . .

pero si Tiene descendientes 1/3 2 4 1/3 1/2 1/3 1 1/3 2/3 1/3 1/2 3 .S1 es un estado sin Retorno.

 El estado Si es absorbente si pij = 1 1/3 1/3 1/3 2/3 0 1/3 0 0 1 . es decir no cambia de estado.Estados absorbentes  Un estado es absorbente cuando la probabilidad de que se quede en su mismo estado es igual a 1 .

“todos los estados del sistema pertenecen a la misma clase comunicante . en otras palabras. • Una CM es ergódica si se encuentra por lo menos un circuito que pasa por todos los nodos (estados).Cadenas de Markov irreducibles ó ergódicas • Una CM es irreducible si cada estado sj se puede alcanzar desde cualquier otro estado si después de un número finito de transiciones.

La siguiente CM es irreducible .

La siguiente CM no es irreducible 1 2 4 3 .