INSTITUTO TECNOLÓGICO DE CAMPECHE

INGENIERÍA INDUSTRIAL

INVESTIGACIÓN DE OPERACIONES II

UNIDAD IV. CADENAS DE MARKOV.

TEMA:

CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV.

TRABAJO REALIZADO POR:

ÉRIKA DEL ROSARIO LÓPEZ SÁNCHEZ.

GRUPO:

MI-6.

MAESTRO:

ING. CARLOS MARIO CABAÑAS RIVERA.

San Francisco de Campeche, Campeche; 14 de abril de 2011.

................................... Cadenas de Markov........................................Unidad IV........................ 3 Estados recurrentes y estados transitorios .............................................. 3 Clasificación de estados en una cadena de Markov ................................................................................................................................. 2 Clasificación de estados en una cadena de Markov ÍNDICE Introducción .......... 8 ...................... 5 Bibliografía ........................

si el sistema está en el estado j. Este último se realiza cuando el número de transiciones tiende a infinito. Al usar el análisis de las cadenas de Markov se estudia el comportamiento del sistema ya se en un periodo corto o a largo plazo. El estudio de este cambio incluye procesos estocásticos. En general: . Entonces. que el estado j sea accesible desde el estado i significa que es posible que el sistema llegue finalmente al estado j si comienza en el estado i. entonces se dice que los estados i y j se comunican. En tal caso es necesario encontrar un procedimiento sistemático que prediga el comportamiento del sistema en un periodo largo de tiempo. Cadenas de Markov. Donde para alguna es sólo la probabilidad condicional de llegar al estado j después de n pasos. En el presente trabajo se aborda el tema de la clasificación de los estados en las cadenas de Markov que son útiles en el estudio del comportamiento del sistema a largo plazo.Unidad IV. 3 Clasificación de estados en una cadena de Markov Clasificación de estadós en una cadena de Markóv Introducción Algunas veces se está interesado en cómo cambia una variable aleatoria con el tiempo.  Si el estado j es accesible desde el estado i y el estado i es accesible desde el estado j. Un tipo de proceso estocástico son las cadenas de Markov. Clasificación de estados en una cadena de Markov  Se dice que le estado j es accesible desde el estado i si .

8 0 0. donde se dice que dos estados que se comunican pertenecen a la misma clase. pág. entonces el estado j se comunica con el estado i. entonces el estado i se comunica con el estado k.6 1 0. Considere el siguiente diagrama de transición de estados (ejemplo del clima. Si el estado i se comunica con el estado j y éste con el estado k. se dice que la cadena de Markov es irreducible. si todos los estados se comunican.): 0. Cadenas de Markov.) Si existe sólo una clase. es decir. 678 Hillier-Lieberman. mientras que la propiedad 3 se derivan de las ecuaciones de Chapman-Kolmogorov.4 Todos los estados son accesibles y se comunican. Cualquier estado se comunica consigo mismo (porque { } ).2 0. 4 Clasificación de estados en una cadena de Markov 1. 2. la Cadena de Markov es irreducible. Si el estado i se comunica con el estado j.Unidad IV. 9ª Ed. Como resultado de estas propiedades de comunicación se puede hacer una partición del espacio de estados en clases separadas. Entonces. (Una clase puede consistir en un solo estado. . Las propiedades 1 y 2 se deducen de la definición de estados que se comunican. 3.

el estado 3 forma otra y los estados 1 y 2 forman una tercera clase. La siguiente es una posibilidad. 681) el estado 2 no es accesible desde el estado 3. existe una probabilidad (quizás de 1) de que el proceso se moverá al estado j y que nunca regresará al estado i. si el estado i es transitorio y el proceso visita este estado. Así. Cadenas de Markov. Contiene tres clases. el estado i es transitorio si y sólo si existe un estado j (j ≠ i) que es accesible desde el estado i.Unidad IV. 1 0 1-p 1 2 p 3 1 Estados recurrentes y estados transitorios Con frecuencia es útil saber si un proceso que comienza en un estado regresará alguna vez a él. el estado i no es accesible desde el estado j. Para ilustrar lo anterior considere el diagrama de transición del ejemplo del juego que se presentó anteriormente. después de haber entrado a este estado. esto es. el estado 0 forma una clase. Entonces. Un estado se llama estado transitorio si. Por consiguiente. En consecuencia un estado transitorio será visitado sólo un número finito de veces. el proceso nunca regresa a él. En él se indica que ambos estados (1 y 2) . 5 Clasificación de estados en una cadena de Markov El siguiente diagrama de transición de estado de un ejemplo de juegos (pág. los estados 2 y 3 no se comunican. pero no viceversa.

un estado es recurrente si y sólo si no es transitorio. Por consiguiente. Entonces. Inclusive en el ejemplo del juego. todos los estados de una clase son recurrentes o son transitorios. Es decir. después. La recurrencia es una propiedad de clase. . todos los estados son recurrentes debido a que el proceso siempre regresará a cada uno de ellos. una vez que el proceso haya entrado a ese estado. el siguiente tipo de estado se considera un tipo especial de estado recurrente. el estado i es un estado absorbente si y sólo si . Se dice que un estado es recurrente si. después de haber entrado a este estado. y nunca los abandonará. todos los estados de una cadena de Markov de estado finito irreducible son recurrentes. En consecuencia. el proceso nunca saldrá de él. 6 Clasificación de estados en una cadena de Markov son transitorios ya que el proceso los abandonará tarde o temprano para entrar al estado 0 o al 3 y. podría ser visitado un número infinito de veces si el proceso continuara por siempre. Como un estado recurrente será visitado de nuevo después de cada visita. Cuando se inicia en el estado i otra posibilidad es que el proceso definitivamente regrese a ese estado. Si el proceso entra en cierto estado y permanece en él al siguiente paso. los estados 0 y 3 son recurrentes debido a que el proceso se mantendrá regresando de manera inmediata a uno de estos estados en forma indefinida. el proceso definitivamente regresará a este estado. En una cadena de Markov de estado finito no todos los estados pueden se transitorios. Por consiguiente. permanecerá en dicho estado de manera indefinida. Cadenas de Markov. Un estado se llama estado absorbente si. se considera un regreso a ese estado.Unidad IV. después de haber entrado ahí. Esto es ∑ En el ejemplo del clima.

Los estados 0 y 1 son recurrentes. porque si el proceso entra en él (tercer renglón de la matriz). siempre regresa al estado original. El estado 3 es transitorio porque cada vez que el proceso se encuentra en el existe una probabilidad de nunca regresar. nunca sale. 7 Clasificación de estados en una cadena de Markov Una condición suficiente para que todos los estados sean accesibles (y. permanece en ese estado.   Cuando el proceso deja el estado 4.Unidad IV. nunca vuelve. Para comprobar lo anterior. cuando el proceso se mueve de uno de estos estados al otro. Si el proceso está en el estado 2. por tanto. observe en P que si el proceso comienza en cualquier otro de estos estados nunca sale de ellos. Cadenas de Markov. Ejemplo: Suponga que un proceso de Markov tiene la siguiente matriz de transición Estado 0 P= 1 2 3 4 0 1 2 0 0 1 3 0 0 0 4 0 0 0 1/4 3/4 1/2 1/2 0 0 1 0 0 0 1/3 2/3 0 0 0 0   Observe que el estado 2 es absorbente y por tanto recurrente. Aún más. para toda i y j. se comuniquen unos con otros) es que exista un valor de n para el cual . La probabilidad de que el proceso vaya del estado 3 al estado 2 en el primer paso es de 1/3. .

Investigación de operaciones: aplicaciones y algoritmos. México: McGraw-Hill. 9ª edición. Introducción a la Investigación de Operaciones. 7a Edición. H. 8 Clasificación de estados en una cadena de Markov Bibliografía Hillier.Unidad IV. (2010). (2004). Winston. L. 4a Edición. S. México: Pearson Educación. W. & Lieberman. J. F. (2006). . Taha. Investigación de Operaciones. Cengage Learning Editores. G. Cadenas de Markov..

Sign up to vote on this title
UsefulNot useful