INSTITUTO TECNOLGICO DE CAMPECHE

INGENIERA INDUSTRIAL INVESTIGACIN DE OPERACIONES II

UNIDAD IV. CADENAS DE MARKOV.

TEMA:

CLASIFICACIN DE ESTADOS EN UNA CADENA DE MARKOV.

TRABAJO REALIZADO POR:

RIKA DEL ROSARIO LPEZ SNCHEZ.

GRUPO:

MI-6.

MAESTRO:

ING. CARLOS MARIO CABAAS RIVERA.

San Francisco de Campeche, Campeche; 14 de abril de 2011.

Contenido
Introduccin ........................................................................................................................................ 3 Clasificacin de estados en una cadena de Markov ........................................................................... 3 Tiempo de primer retorno .................................................................................................................. 5 Estados recurrentes y estados transitorios ......................................................................................... 7 Bibliografa ........................................................................................................................................ 12

Cadenas de Markov
Introduccin

Algunas veces se est interesado en cmo cambia una variable aleatoria con el tiempo. El estudio de este cambio incluye procesos estocsticos. Un tipo de proceso estocstico son las cadenas de Markov. Al usar el anlisis de las cadenas de Markov se estudia el comportamiento del sistema ya se en un periodo corto o a largo plazo. Este ltimo se realiza cuando el nmero de transiciones tiende a infinito. En tal caso es necesario encontrar un procedimiento sistemtico que prediga el comportamiento del sistema en un periodo largo de tiempo. En el presente trabajo se aborda el tema de la clasificacin de los estados en las cadenas de Markov que son tiles en el estudio del comportamiento del sistema a largo plazo.

Clasificacin de estados en una cadena de Markov

Se dice que le estado j es accesible desde el estado i si . Donde

para alguna

es slo la probabilidad condicional de llegar al estado j

despus de n pasos, si el sistema est en el estado j. Entonces, que el estado j sea accesible desde el estado i significa que es posible que el sistema llegue finalmente al estado j si comienza en el estado i. Si el estado j es accesible desde el estado i y el estado i es accesible desde el estado j, entonces se dice que los estados i y j se comunican. En general: 1. Cualquier estado se comunica consigo mismo (porque { } ).
3

2. Si el estado i se comunica con el estado j, entonces el estado j se comunica con el estado i. 3. Si el estado i se comunica con el estado j y ste con el estado k, entonces el estado i se comunica con el estado k. Las propiedades 1 y 2 se deducen de la definicin de estados que se comunican, mientras que la propiedad 3 se derivan de las ecuaciones de Chapman-Kolmogorov. Como resultado de estas propiedades de comunicacin se puede hacer una particin del espacio de estados en clases separadas, donde se dice que dos estados que se comunican pertenecen a la misma clase. (Una clase puede consistir en un solo estado.) Si existe slo una clase, es decir, si todos los estados se comunican, se dice que la cadena de Markov es irreducible.

Considere el siguiente diagrama de transicin de estados (ejemplo del clima, pg. 678 Hillier-Lieberman, 9 Ed.):

0.2 0.8 0 0.6 1 0.4

Todos los estados son accesibles y se comunican. Entonces, la Cadena de Markov es irreducible.

El siguiente diagrama de transicin de estado de un ejemplo de juegos (pg. 681) el estado 2 no es accesible desde el estado 3. Entonces, los estados 2 y 3 no se comunican. Contiene tres clases, el estado 0 forma una clase, el estado 3 forma otra y los estados 1 y 2 forman una tercera clase.

1-p

2 p

3 1

Tiempo de primer retorno

Una definicin importante en la teora de las cadenas de Markov es el tiempo de primer retorno. Dado que el sistema est inicialmente en el estado E j, puede retornar a Ej por primera vez en el paso ensimo, con . El nmero de pasos

antes de que el sistema retorne a Ej se llama tiempo de primer retorno. Sea la probabilidad de que el primer retorno a Ej ocurra en el paso

ensimo. Entonces, dada la matriz de transicin

Se puede determinar una expresin para

como sigue:

Se puede probar por induccin que, en general,

Lo que da la expresin requerida

La probabilidad de por lo menos un retorno al estado E j est dada por

Entonces es seguro que el sistema retorna a j si el tiempo medio de retorno (recurrencia),

=1. En este caso, si

define

Si

no es seguro que el sistema retornar a Ej y, en consecuencia,

Estados recurrentes y estados transitorios

Con frecuencia es til saber si un proceso que comienza en un estado regresar alguna vez a l. La siguente es una posibilidad.
Un estado se llama estado transitorio si, despus de haber entrado a este estado, el proceso nunca regresa a l. Por consiguiente, el estado i es transitorio si y slo si existe un estado j (j i) que es accesible desde el estado i, pero no viceversa, esto es, el estado i no es accesible desde el estado j.

As, si el estado i es transitorio y el proceso visita este estado, existe una probabilidad (quizs de 1) de que el proceso se mover al estado j y que nunca regresar al estado i. en consecuencia un estado transitorio ser visitado slo un nmero finito de veces. Para ilustrar lo anterior considere el diagrama de transicin del ejemplo del juego que se present anteriormente. En l se indica que ambos estados (1 y 2) son transitorios ya que el proceso los abandonar tarde o temprano para entrar al estado 0 o al 3 y, despus, permanecer en dicho estado de manera indefinida. Cuando se inicia en el estado i otra posibilidad es que el proceso definitivamente regrese a ese estado.
Se dice que un estado es recurrente si, despus de haber entrado a este estado, el proceso definitivamente regresar a este estado. Por consiguiente, un estado es recurrente si y slo si no es transitorio.

Como un estado recurrente ser visitado de nuevo despus de cada visita, podra ser visitado un nmero infinito de veces si el proceso continuara por siempre. Esto es

En el ejemplo del clima, todos los estados son recurrentes debido a que el proceso siempre regresar a cada uno de ellos. Inclusive en el ejemplo del juego, los estados 0 y 3 son recurrentes debido a que el proceso se mantendr regresando de manera inmediata a uno de estos estados en forma indefinida, una vez que el proceso haya entrado a ese estado, y nunca los abandonar. Si el proceso entra en cierto estado y permanece en l al siguiente paso, se considera un regreso a ese estado. En consecuencia, el siguiente tipo de estado se considera un tipo especial de estado recurrente.
Un estado se llama estado absorbente si, despus de haber entrado ah, el proceso nunca saldr de l. Por consiguiente, el estado i es un estado absorbente si y slo si .

La recuerrencia es una propiedad de clase. Es decir, todos los estados de una clase son recurrentes o son transitorios. En una cadena de Markov de estado finito no todos los estados pueden se transitorios. Entonces, todos los estados de una cadena de Markov de estado finito irreducible son recurrentes. Ejemplo: Suponga que un proceso de Markov tiene la siguiente matriz de transicin

Estado 0 P= 1 2 3 4

2 0 0 1

3 0 0 0

4 0 0 0

1/4 3/4 1/2 1/2 0 0 1 0 0 0

1/3 2/3 0 0 0 0

Observe que el estado 2 es absorbente y por tanto recurrente, porque si el proceso entra en l (tercer rengln de la matriz), nunca sale. El estado 3 es transitorio porque cada vez que el proceso se encuentra en el existe una probabilidad de nunca regresar. La probabilidad de que el proceso vaya del estado 3 al estado 2 en el primer paso es de 1/3. Si el proceso est en el estado 2, permanece en ese estado. Cuando el proceso deja el estado 4, nunca vuelve. Los estados 0 y 1 son recurrentes. Para comprobar lo anterior, observe en P que sie le proceso comienza en cualquier otro de estos estados nunca sales de ellos. An ms, cuando el proceso se mueve de uno de estos estados al otro, siempre regresa al estado original.

Por este motivo los estados de una cadena de Markov se pueden clasificar con base en la definicin de los tiempos de primer retorno como sigue: 1. Un estado es transitorio si , o sea,

2. Un estado es recurrente (persistente) si 3. Un estado recurrente es nulo si y no nulo si (finito).

4. Un estado es peridico con periodo t si es posible un retorno slo en los pasos t, 2t, 3t,. Esto significa que siempre que n no sea divisible

entre t. Si un estado recurrente no es peridico, se conoce como aperidico. 5. Un estado recurrente es ergdico si es no nulo y aperidico.

Ejemplo: Una cadena de Markov con tres estados tiene como matriz de transicin

Donde 0<p<1 y 0<q<1. Se puede comprobar que E1 es recurrente.

9

Considere el siguiente modelo del valor de una accin. Al final de un da dado se registra el precio. El modelo del mercado de acciones se cambia de manera que el hecho de que una accin suba maana depende de que haya subido hoy y ayer. En particular, si la accin subi los dos das, ayer y hoy, la probabilidad de que suba maana es de 0.9. Si la accin subi hoy pero ayer baj, la probabilidad de que maana suba es de 0.6. Si la accin baj hoy pero ayer subi, la probabilidad de que maana suba es de 0.5. Por ltimo, si baj durante estos dos das, la probabilidad de que maana suba es de 0.3. Si se define el estado como la representacin del hecho de que la accin baje o suba hoy, el sistema ya no es una cadena de Markov. Sin embargo, se pueden transformar en una de ellas si se definen los estados como sigue: Estado 0: la accin aument hoy y ayer.
10

Estado 1: la accin aument hoy y ayer baj. Estado 2: la accin baj hoy y ayer aument. Estado 3: la accin baj hoy y ayer.

La figura muestra el diagrama de transicin de estado del ejemplo.

0.9 0

0.6

0.1

0.3

2 0.5

3 0.7

Estos datos conducen a una cadena de Markov de cuatro estados con la siguiente matriz de transicin:
Estado 0 1 2 3

11

En el diagrama de transicin se observa que todos los estados son recurrentes debido a que el proceso siempre regresar a cada uno de ellos. Para determinar que el estado es recurrente

Bibliografa
Hiller, F. S., & Lieberman, G. J. (2010). Introduccin a la Investigacin de Operaciones. 9 edicin. Mxico: McGraw-Hill. Taha, H. (2004). Investigacin de Operaciones. 7a Edicin. Mxico: Pearson Educacin. Winston, W. L. (2006). Investigacin de operaciones: aplicaciones y algoritmos. 4a Edicin. Cengage Learning Editores.

12