Universidad Nacional de Colombia Sede Medelln

Clasificacin de estados en una cadena de Markov Se dice que el estado j es accesible desde el estado i, si Pij(n) > 0 para alguna n 0.

Clase # 3

Clasificacin de estados

Que el estado j sea accesible desde el estado i significa que es posible que el sistema llegue eventualmente al estado j si comienza en el estado i.
3-1 3-2

En general una condicin suficiente para que todos los estados sean accesibles entre si es que exista un valor de n para el que Pij(n) > 0 para todo i y j Recordando el ejemplo del juego se puede decir que el estado 2 no es accesible desde el estado 3, ya que cuando el jugador se encuentra en el estado 3 (tiene $3) el juego termina
0 1 1 1 p P= 2 0

Observe que la matriz de transicin de n pasos para este ejemplo es de la siguiente forma donde los asteriscos representan nmeros no negativos

P (n)

0 0 1 p 0
1 2

0 p 0 0

3 0
0

0 0 p 1
3
3-3

1 1 * = 2 * 3 0
0 0

0 * * 0
1

0 * * 0
2

0 * * 1
3

Ojo: Observe que el estado 3 si es accesible desde el estado 2

3-4

Definicin. Si el estado j es accesible desde el estado i, y el estado i es accesible desde el estado j, entonces se dice que los estados i y j se comunican. Propiedades de la comunicacin. 1. Cualquier estado se comunica consigo mismo . Pii(0) = P {X0 = i / X0 = i} = 1
3-5

2. Si el estado i se comunica con el estado j, el estado j se comunica con el estado i . i j j i

3. Si el estado i se comunica con el estado j y el estado j se comunica con el estado k , entonces el estado i se comunica con el estado k i j i j k
3-6

Demostremos la propiedad 3 para el caso j k (transitividad de la comunicacin). i j es accesible desde i : k es accesible desde j : Pik(n+m) = n tal que Pij(n) > 0 m tal que Pjk(m) > 0 Por ChapmanKolmogorov

El concepto de comunicacin divide el espacio de estados en clases ajenas, es decir que 2 clases siempre son idnticas o disjuntas.

Pirn Prkm

De 2 estados que se comunican entre s, se dice pertenecen a la misma clase.

Pir(n) Prk(m) Pij(n) Pjk(m)

Pik(n+m) Pij(n) Pjk(m) > 0

Porque la suma de nmeros 0 es cualquiera de ellos Para el caso k j i la demostracin es similar
3-7

Ningn estado puede pertenecer a 2 clases distintas

3-8

Demostracin Por reduccin al absurdo Supongamos que j pertenece a dos clases distintas i i j k j i j k k Slo hay una clase
(por transitividad)

Ejemplo.

Denotemos esta flecha como ser accesible en un paso

2 P = 1 1 2 2 0
0

0 1

1 1 1

2 4 3

0 1 4 2 3
2

Son accesibles en algn nmero de pasos n (0,1) Pertenecen a la misma clase (0,2) Pertenecen a la misma clase (1,2) Pertenecen a la misma clase (0,1,2) Pertenecen a la misma clase
3-9

1 0 2
3-10

Esas dos clases resultan ser la misma

Definicin. Una matriz de una sola clase se dice irreducible.

2 P = 1 1 2 2 0
0 0 1 1 1 0 1

Definicin.
1 1 1 2 4 3 0 1 4 2 3
2

1 0 2

Slo hay una clase

Sea para un estado i, fii la probabilidad de que el proceso regrese al estado i dado que comienza en el estado i.

2 P= 2 2 1 4 3 0
0

1 1 1

2 2

0 0 1 4 0
2

4 0
1

0 0 1 4 1
3

1 2 3

El estado i se llama recurrente si fii = 1 El estado i se llama transitorio si fii < 1 Hay tres clases
(0,1) (2) (3)
3-11

Un caso especial de un estado recurrente es un estado absorbente. Un estado es absorbente si una vez que se entra en l no se puede abandonar
3-12

Por lo general no es fcil determinar si un estado es recurrente o transitorio evaluando fii. Por lo tanto no es evidente si un estado debe clasificarse como recurrente o transitorio. Teorema. Si el estado i es recurrente entonces se visitar un nmero infinito de veces.

Si un proceso de Markov se encuentra en el estado i y el estado es transitorio, entonces la probabilidad de que no regrese al estado i es 1 - fii

Teorema. El nmero esperado de perodos que el proceso se encuentra en el estado i es finito y est dado por 1 1 - fii
3-13

El nmero esperado de perodos que el proceso est en el estado i es infinito

Distribucin geomtrica

3-14

Por tanto se concluye que el estado i es recurrente si y slo si el nmero esperado de perodos que el proceso se encuentra en el estado i es infinito, dado que empez en el estado i

Demostracin 1 0 si Xn= i si Xn= i

Definamos

Bn =

Teorema. Si el estado i es recurrente entonces Pii(n) = n=1

La cantidad

Bn/ (X0 = i) n=1

representa el nmero de perodos que el proceso est en el estado i dado que X0=i Sigue
3-15 3-16

Por lo tanto su esperanza es Bn/( X0 = i) n=1

= = =

E { Bn/ (X0 = i )} n=1 P { Xn = i / (X0 = i )} n=1 Pii(n) n=1

Este resultado se puede usar para demostrar que la recurrencia es una propiedad de clase (es decir que es comn a todos los estados de la clase) Teorema. Si i es recurrente y adems i se comunica con j, entonces j es recurrente. Demostracin Como i j enteros k y m tales que

Entonces se ha demostrado que el estado i es recurrente si y slo si Pii(n) =

n=1
3-17

Pij(k) > 0 y Pji(m) > 0

3-18

Pero

Pjj(m+n+k)

Pji(m) Pii(n) Pij(k)

Forma particular de pasar de j a j en m+n+k pasos

Teorema. Si i es un estado transitorio y adems i comunica con j, entonces j es transitorio. Demostracin

Pjj(m+n+k) n=1

Pji(m) Pij(k)

n=1

Pii(n) =

Por reduccin al absurdo Si j fuera recurrente , i sera recurrente por el teorema anterior

Puesto que

Pii(n) = n=1 Pji(m) Pij(k) > 0

( i es recurrente) ( i,j se comunican)

3-19

3-20

Teorema. En una cadena de Markov de nmero finito de estados, no todos pueden ser transitorios. Demostracin Suponga que todos los estados fueran transitorios T0, despus de T0 el estado 0 nunca sera visitado T1, despus de T1 el estado 1 nunca sera visitado TM, despus de TM el estado M nunca sera visitado
3-21

Si hacemos T = Mx {T0,T1,...,TM} Despus de T ningn estado sera visitado lo que es una contradiccin.

Nota: Ser recurrente y transitorio son propiedades de clase

3-22

Corolario Todos los estados de una cadena de Markov irreducible de numero finito de estados son recurrentes Ejemplo.
0

Ejemplo.
0 1

P=

1 2 3

0 1 0 0
0

0 0 1 1
1

2 0 0 0
2

1 2 0 0 0
3

P=

2 3

1 4 1 2 0 0 1
0

3 1

0 0 1 1 3 0
2

0 0 0 2 3 0
3

2 0 0

0
1

0 0 0 0 0
4

1 2

3 4

Todos los estados se comunican (1 sola clase)

3-23

3-24

Realizaciones (0,1)
Recurrente

0 0

0 1 0 0 0 1 0 0 0 1

Y El estado 2 es un estado absorbente (por lo tanto un estado recurrente), porque una vez que el proceso entra al estado 2 nunca regresar. Y Los estados 3 y 4 son transitorios porque una vez que el proceso se encuentra en uno de ellos, existe una probabilidad positiva de que nunca regresar. Y Los estados 0 y 1 son recurrentes. Se puede demostrar que f00 =1 y f11=1. Esto no es sencillo y se puede mostrar de la siguiente manera. Sigue
3-25 3-26

Recurrente Absorbente Transitorio

(2)

(3)

2 2 2 2 2 2 2 2 2 2

(4)
Transitorio

4 0

0 0 0 0 0 1 0 0 0 1

Observe que la matriz de transicin de n pasos para este ejemplo es de la siguiente forma donde los asteriscos representan nmeros positivos
0 1
(n)

P=

2 3 4

* * 0 0 *
0

* 0 0 0 * 0 0 0 0 1 0 0 0 * * 0 * 0 0 0
1 2 3 4

Una clase es recurrente si no se puede salir de ella.

Una clase es transitoria si se puede salir de ella y no hay forma de regresar

Es intuitivamente evidente que al estar en el estado 0 o 1 se regresar a estos mismos

3-27 3-28

Definicin. El periodo de un estado i se define como el entero t (t>1) si Piin =0 para todos los valores de n distintos de t, 2t, 3t ....., y t es el entero ms grande con esa propiedad.

Ejemplo.
P= 1 1 2 1
0 0 0

2 0

0
1

1 2 0 0
2

1 0 2

Slo hay una clase recurrente con perodo 2

El estado i slo puede ser visitado en pasos mltiplos de t

3-29

Realizacin:

0 1

0 2 0 2 0 1 0 2 0 1

Siempre paso en nmeros mltiplos de 2

3-30

 P2 = 1 0 2 0
0

0 1

0 1 2 1 2
1

0 1 2 1 2
2

P3 = 1 1 2 1
0

0 0

2 0 0

1 2 0 0
2

Teorema. Tener perodo t es una propiedad de clase. Ejemplo.

0 0 1 0 P= 1 0 0 1 2 1 0 0 1 0 2

P =1 0 2 0
4

0 1

0 1 2 1 2
1

0 1 2 1 2
2

El proceso tiene perodo 2 P2n+1 = P P2n = P2

3-31

Slo hay una clase recurrente

Realizacin:

0 1

2 0 1 2 0 1 2 0 1 2
3-32

Siempre paso en nmeros mltiplos de 3

Definicin.
P2 = 1 1 0 0 2 0 1 0
0 1 2 0 0 0 1

P3 = 1 0 1 0 2 0 0 1
0 1 2

0 1 0 0

Si existen 2 nmeros consecutivos s y (s+1) tales que el proceso puede encontrarse en el estado i en los tiempos s y (s+1), se dice que el estado tienen perodo 1 y se llama estado aperidico. Definicin.

0 0 1 0 P4 = 1 0 0 1 1 0 0 2 0 1 2

El proceso tiene perodo 3

Si el estado i es recurrente , se dice recurrente positivo, si empezando en i el tiempo (nmero de pasos) esperado para volver a i es finito
3-33 3-34

Definicin. Si el estado i es recurrente , se dice recurrente nulo, si empezando en i el tiempo (nmero de pasos) esperado para volver a i es infinito Ejemplo caminata aleatoria Suponga que hay un jugador que puede pasar del estado i al estado i+1 con probabilidad p, o devolverse del estado i al i -1 con probabilidad 1-p
3-35

Nmero infinito de pasos Pi , i+1 = p Pi , i -1 = 1-p

-3 -2 -1 0 1 2 3

Este proceso tiene nicamente una clase Ser recurrente o transitoria?

Si p = 0.5 todos los estados son recurrentes

Si p 0.5 todos los estados son transitorios

3-36

Definicin. Los estados recurrentes positivos aperidicos se denominan ergdicos Teorema. En una matriz de Markov finita, los estados recurrentes son recurrentes positivos

Una cadena de Markov es ergdica si todos sus estados son ergdicos

3-37