Clase # 4

Tiempos de primera pasada Con frecuencia es conveniente poder hacer afirmaciones en trminos de probabilidades sobre el nmero de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez.

Tiempos de primera pasada y propiedades a largo plazo de las cadenas de Markov

Este lapso se llama tiempo de primera pasada al ir del estado i al estado j.

Dise: Andrs Gmez

4-1

4-2

Cuando j = i, este tiempo de primera pasada es justo el nmero de transiciones hasta que el proceso regresa al estado inicial i.

El nmero posible de cmaras en inventario al final de la semana t son 0 1 2 3 Estados posibles del sistema

Ejemplo

Recordemos el caso del almacn de cmaras donde Xt representaba el nmero de cmaras al iniciar la semana t. {Xt} para t=1,2,...,n es un proceso estocstico.
4-3

Suponga que ocurri lo siguiente: X0 = 3, X 1 = 2, X2 = 1, X3 = 0, X4 = 3, X5 = 1

4-4

En este caso, el tiempo de primera pasada para ir del estado 3 al estado 1 es dos semanas, el tiempo de primera pasada para ir del estado 3 al estado 0 es tres semanas y el tiempo de recurrencia del estado 3 es cuatro semanas.

f ij(n) denota la probabilidad de que el tiempo de primera pasada del estado i al estado j sea n.

En general los tiempo de primera pasada son variables aleatorias y por lo tanto tienen una distribucin de probabilidad asociada a ellos.

pij(1) = f ij (1) = pij pij(2) = f ij (2) + f ij(1) * pjj pij(n) = f ij(n) + f ij(1) * pjj (n-1) + f ij (2) * pjj(n -2) +...+ f ij(n -1) * pjj

4-5

4-6

f ij(1) = pij (1) = pij f ij(2) = pij (2) - f ij(1) * pjj f ij(n) = pi j(n) - f ij(1) * pjj(n -1) - f ij(2) * pjj(n -2) -...- f ij(n-1) * pjj

En el ejemplo del almacn de cmaras la distribucin de probabilidad de tiempos de primera pasada del estado 3 al 0 se obtiene as:

f 30 (1) = 0.08 f 30 (2) = 0.249 - (0.08*0.08) = 0.243

Se puede calcular la probabilidad de un tiempo de primera pasada del estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de transicin de un paso

0.080 0.632 P= 0.264 0.080

0.184 0.368 0.368 0.368 0 0 0.368 0.368 0 0.184 0.368 0.368

Para i y j fijos las fij son nmeros no negativos tales que fij(n) 1
n=1
4-7 4-8

Si

n=1

fij(n)

<1

Un proceso que al iniciar en i puede no llegar nunca al estado j

Mientras que puede ser difcil calcular f ij(n) para toda n, es relativamente sencillo obtener el tiempo esperado de primera pasada del estado i al estado j.

Si

n=1

fij(n)

=1

Las f ij(n) para n=1,2,.. pueden considerarse como una distribucin de probabilidad para la variable aleatoria, el tiempo de primera pasada

ij =

Si Si

n=1

fij(n)
n=1

<1 =1

n=1

n fij(n)

fij(n)

4-9

4-10

Siempre que

n=1

fij(n)

= 1 jj satisface satisface de manera nica la ecuacin

Ejemplo

0.080 0.632 P= 0.264 0.080

0.184 0.368 0.368 0.368 0 0 0.368 0.368 0 0.184 0.368 0.368

ij = 1 + pik kj
k j

Para calcular el tiempo esperado hasta que ya no se tengan cmaras en el almacn podemos usar las anteriores ecuaciones ij = 1 + pik kj
k j

Cuando i=j ii se denomina tiempo esperado de recurrencia para el estado i .

30 = 1+p31 10 + p32 20 + p33 30 20 = 1+p21 10 + p22 20 + p23 30 10 = 1+p11 10 + p12 20 + p13 30

4-11 4-12

La solucin simultnea a este sistema es 10 = 1.58 semanas 20 = 2.51 semanas 30 = 3.50 semanas

Definicin. Condicin de estado estacionario es la condicin en la que la probabilidad de encontrarse en cualquier estado no vara de un perodo a otro. Ejemplo.

El tiempo esperado para que el almacn se quede sin cmaras es 1.58, 2.51 y 3.50 semanas, dado que el proceso inicia con 1, 2 o 3 cmaras respectivamente.
4-13

Recordemos en el ejemplo de los inventarios la matriz de transicin de cuatro pasos que obtuvimos. Sigue
4-14

P (4 )

0. 289 0. 282 = 0. 284 0. 289

0 .286 0. 261 0. 164 0 .285 0 .268 0. 166 0 .283 0 .263 0 .171 0 .286 0. 261 0. 164

Teorema. Para una cadena de Markov irreducible ergdica el Lim Pij(n) existe y es independiente de i
n

La matriz de transicin de paso 8 es:

0 .286 0 .286 = 0 .286 0 .286 0 .285 0. 264 0 .166 0 .285 0. 264 0 .166 0 .285 0. 264 0 .166 0 .285 0. 264 0 .166 La probabilidad de estar en el estado j despus de 8 semanas parece ser independiente del inventario inicial
4-15

Mas an Lim Pij(n) = j > 0

n

(8 )

Sigue
4-16

Como se vio en probabilidad incondicional

r r Q X n = Q X 0 * Pij
O sea para n=1

Las j satisfacen las siguientes ecuaciones de estado estable j = i Pij

i=0 M i=0 M

para j= 0,1,...,M

Q X1 = Q X0 * P
Si hacemos

j= 1
M

Q X 1 = Q X 0 = tenemos
= P
4-17

= P

j= 1
i=0
4-18

Las j se llaman probabilidades de estado estable de la cadena de Markov y son iguales al inverso del tiempo esperado de recurrencia

Probabilidad de estado estable

La probabilidad de encontrar el proceso en un cierto estado, por ejemplo j, despus de un nmero grande de transiciones tiende el valor j Este valor es independiente de la distribucin de probabilidad inicial definida para los estados
4-19 4-20

1 j = jj

para j= 0,1,...,M

Las ecuaciones de estado estable consisten en M+2 ecuaciones con M+1 incgnitas j = i Pij
i=0 M i=0 M

Ejemplo. Hallemos las probabilidades de estado estable para el problema de los inventarios La matriz de transicin de por: 0.080 0 .184 0.632 0 .368 P= 0.264 0 .368 0.080 0 .184
4-21

para j= 0,1,...,M un paso estaba dada 0 .368 0 .368 0 0 0 .368 0 0 .368 0 .368
4-22

j= 1

Una de las ecuaciones es redundante, y se puede eliminar. Ojo: Esta es la nica ecuacin que no puede eliminarse

Las ecuaciones de estado estable son: 0 = 0 P00 + 1P10 + 2 P20 + 3P30 1 = 0 P01 + 1P11 + 2 P21 + 3P31 2 = 0 P02 + 1P12 + 2 P22 + 3P32 3 = 0 P03 + 1P13 + 2 P23 + 3P33 1 = 0 + 1 + 2 + 3 Donde = (0 , 1 , 2 ) Sigue
4-23

Reemplazando los Pij obtenemos: 0 = 0 0.080+ 1 0.632+ 20.264 + 3 0.080 1 = 0 0.184+ 1 0.368+ 20.368 + 30.184 2 = 0 0.368+ 1 0 3 = 0 0.368+ 1 0 + 20.368 + 30.368 + 20 + 30.368
Recuerde que una de estas es es redundante

1 = 0 + 1 + 2 + 3
4-24

Resolviendo las ecuaciones obtenemos valores: 0 = 0.285 1 = 0.285 2 = 0.264 3 = 0.166

Los tiempos esperados de recurrencia son: 00 = 3.51 11 = 3.51 22 = 3.79 33 = 6.02

Recuerde Despus de muchas semanas, la probabilidad de encontrar cero, una, dos y tres en el almacn tiende a 0.285, 0.285, 0.264, 0.166 respectivamente.
4-25

1 j = para j= 0,1,...,M jj

Se requieren de 3.51, 3.51, 3.79 y 6.02 semanas para que el proceso empezando del estado i regrese por primera vez al i con i =1,2,3,4.
4-26

Conclusiones. Existen otros resultados importantes respecto a las probabilidades de estado estable.

De manera parecida, si j es un estado transitorio, entonces Lim Pij(n) = 0 para toda i

En particular, si i y j son estados recurrentes que pertenecen a distintas clases entonces Pij(n) = 0 para toda n

Este resultado es consecuencia de la definicin de clase

4-27

Este resultado significa que la probabilidad de encontrar el proceso en un estado transitorio despus de un nmero grande de transiciones es cero.
4-28

Ejemplo. A Estudiemos el caso de la movilidad de clases sociales. Supongamos que en la sociedad slo existen los estratos socioeconmicos alto, medio y bajo. Veremos a continuacin la matriz de transicin de un paso, es decir las probabilidades de pasar en una generacin una clase social a otra. Estado 0: Clase alta Estado 1: Clase media Estado 2: Clase baja Sigue
4-29

P=
Padres

M B

0.45 0 .48 0 .07 0.05 0 .70 0 .25 0 .01 0 .50 0 .49

A M B

Hijos

Por ejemplo el 1% de las personas que tuvieron padres de clases baja logran llegar a ser personas de clase alta.
4-30

Recuerde = P 0.45 0 .48 0.07 ( A, M , B ) = ( A, M , B ) 0.05 0.70 0.25 0.01 0.50 0.49 Las ecuaciones de estado estable son: A = APAA + MPMA + B PBA M = APAM + MPMM + B PBM B = APAB + MPMB + BPBB 1 = A+ M + B Sigue
4-31

Reemplazando los Pij obtenemos: A = A0.45 + M0.05 + B0.01 M = A0.48 + M0.70 + B0.50 B = A0.07 + M0.25 + B0.49 1 = A+ M + B Sigue
4-32

Recuerde que una de estas es es redundante

Resolviendo las ecuaciones obtenemos valores: A = 0.07 B = 0.62 M = 0.31

Ejemplo. Veamos ahora el caso de una constructora que utiliza camiones para el transporte de materiales y escombros. Se sabe que el problema ms comn de los camiones es que se les obstruya el filtro de aire. El filtro puede estar limpio, parcialmente obstruido o completamente obstruido. El costo de reparacin de un camin con el filtro totalmente obstruido es $120/camin-da Sigue
4-33 4-34

Despus de muchas generaciones, la probabilidad de pertenecer a la clase alta, media y baja tiende a 0.07, 0.62, 0.31 respectivamente, es decir as se estabiliza la sociedad.

Hoy en la maana

0.10 0.80 0 .10 P = Po 0 0.50 0 .50 O 1 0 0

L L Po O

Hoy en la noche

Recuerde = P 0.10 0.80 0.10 ( L, Po , O ) = (L , Po , O ) 0 0.5 0.5 1 0 0 Las ecuaciones de estado estable son: L = LPLL + Po PPoL + OPOL

Por ejemplo la probabilidad de que el camin salga en la maana con el filtro totalmente obstruido y llegue en la noche con el filtro limpio es cero
4-35

Po = L PLPo + PoPPoPo + OPOPo O = L PLO + PoPPoO + OPOO 1 = L + Po + O Sigue

4-36

Reemplazando los Pij obtenemos: L = L0.10+ Po0+ O1 Po = L0.80+ Po 0.50+ O0 O = L 0.1 + Po0.50+ O0 1 = L + Po + O Sigue
4-37

Resolviendo las ecuaciones obtenemos valores: A = 0.286 B = 0.457 M = 0.257

Despus de un tiempo, al final de un da el 28.6% de los camiones tienen el filtro limpio, el 45.7% lo tienen parcialmente obstruido y el 25.7% totalmente obstruido
4-38

Bajo estas circunstancias mantenimiento correctivo sera

el

costo

del

25.7% * $120/camin-da = $30.84/camin-da Existe la posibilidad de hacer un mantenimiento preventivo. El costo de reparacin de un camin con el filtro parcialmente obstruido sera $20/camin-da Veamos como quedara la matriz de transicin en este caso Sigue
4-39

Hoy en la maana

0.10 0.80 0.10 P = Po 1 0 0 O 1 0 0

L L Po O

Hoy en la noche

Por ejemplo la probabilidad de que el camin salga en la ma ana con el filtro limpio y llegue en la noche con el filtro totalmente obstruido es 0.10
4-40

Recuerde = P 0.10 0. 80 0.10 ( L, Po , O ) = (L , Po , O )

1 1 0 0 0 0

Reemplazando los Pij obtenemos: L = L0.10+ Po1+ O1 Po = L0.80+ Po 0+ O0 O = L 0.1 + Po0+ O0 1 = L + Po + O

Las ecuaciones de estado estable son: L = LPLL + Po PPoL + OPOL Po = L PLPo + PoPPoPo + OPOPo O = L PLO + PoPPoO + OPOO 1 = L + Po + O Sigue
4-41

Sigue
4-42

Resolviendo las ecuaciones obtenemos valores: A = 0.53 B = 0.42 M = 0.05

Despus de un tiempo, al final de un da el 53% de los camiones tienen el filtro limpio, el 42% lo tienen parcialmente obstruido y el 5% totalmente obstruido Bajo estas circunstancias mantenimiento total sera el costo del

42% * $20/camin-da + 5% * $120/camin-da = $14.4/camin-da

4-43