Ejercicios de Cadenas de Markov Discretas Profesor Ivan Derpich Contreras EJERCICIOS RESUELTOS

1.- Considere la matriz de transicin de una etapa, donde el espacio de estados es {1,2,3,4,5}. 0,75 0 0,25 0 0 0,25 0 0 0 0,75 0 0 P = 0,75 0 0,25 0 0,8 0,2 0 0 0 0,5 0,25 0,25 0 a) Clasifique los estados del sistema, justifique. (1 punto) b) Obtenga la distribucin de probabilidades en el largo plazo si se sabe que inicialmente el sistema se encuentra en los estados 3, 4 y 5 con igual probabilidad. (1 punto) c) Calcule P{x7 = 3; x5 = 1; x4 = 2; x0 = 4 x3 = 5} , si se sabe que el sistema inicialmente se encuentra en los estados 2, 4 y 5 con igual probabilidad. (2 puntos) d) Obtenga la distribucin de probabilidades del tiempo que demora volver al estado 2. (1 punto) e) Cul es el tiempo medio que se demora en volver al estado 3? (1 punto) Desarrollo: .- Grafico de red :
0,75 0,25 2 0,75 0,5 5 0,25 0,75 0,25 1 0,25 0,8 4 3 0,2 0,25

1,3} y C2 = {2,4,5} a) Se distinguen 2 clases C1 = {

Anlisis de Recurrencia y periodicidad Clase C 1 : analizaremos el estado 1

F (1,1) = 0,75 + 0,25 * 0,75 * (0,25)

k =2

k 2

Haciendo un cambio de variable

j = k 2
j

3 1 3 4 3 1 3 1 = + * * =1 F (1,1,) = 0,75 + 0,25 * 0,75 * (0,25) = + * * 1 4 4 4 3 4 4 4 j =0 1 4 el estado 1 es recurrente , adems la clase C1 es recurrente.

Perodo: se puede volver al estado 1 en todas las etapas , es aperidico. Clase C 2 : analizaremos el estado 2

F (2,2 ) = F1 (2,2) + F2 (2,2 ) + F3 (2,2 ) = 0 +

3 1 3 1 * + * * 0,8 = 4 2 4 4

3 3 8 3 3 15 + 6 21 + * = + = = = 0,525 8 16 10 8 20 40 40 El estado 2 es transientes y la clase C 2

Perodo: se puede volver al estado 2 en etapas mltiplos de 2 y adems se puede volver al estado 2 en mltiplos de 3. Luego se puede volver en todas las etapas, excepto en la etapa 1. Luego es aperidico.

b) Veamos primero si existe distribucin estacionaria. Para ello aplicamos la proposicin 2. Dado que existe una clase recurrente y que se cumple: P X n C1 = 1 por lo tanto X n C2
y lo otros valores deben calcularse

Adems

2 = 4 = 5 = 0

3 3 1 1 = 4 ( 1 3 ) = ( 1 3 ) 4 4 y 1 + 3 = 1 3 1 1 3 = 4 4 4 X = 3; X 5 = 1; X 4 = 2; X 0 = 4 = P( X 7 = 3; X 5 = 1; X 4 = 2; X 0 = 4; X 3 = 5) = c) P 7 X = 5 3 P ( X 3 = 5) ( 2 ) (1) (1) (3 ) 1 P( X 7 = 3; X 5 = 1; X 4 = 2; X 3 = 5 / X 0 = 4 )P( X 0 = 4 ) p13 p 21 p52 p 45 3 = P ( X 3 = 5) P ( X 3 = 5) 31 11 1 (2 ) p13 = p11 p13 + p12 p 23 + p13 p33 + p14 p 43 + p15 p53 = +0+ +0+0 = 44 44 4 1 1 (1) (1) p12 = p52 = 4 2

(3 ) p 45 = p 42 ( p 21 p15 + p 22 p 25 + p 23 p35 + p 24 p 45 + p 25 p55 ) +

p 43 ( p31 p15 + p32 p 25 + p33 p35 + p34 p 45 + p35 p55 )

p 43 ( p31 * 0 + 0 * p 25 + p33 * 0 + p34 * 0 + p35 * 0 ) = 0

Luego

(3 ) p 45 = p 42 ( p 21 * 0 + 0 * p 25 + p 23 * 0 + p 24 * 0 + p 25 * 0 ) +

X 7 = 3; X 5 = 1; X 4 = 2; X 0 = 4

=0 X 3 = 5

d) F1 (2,2 ) = 0

3 1 3 * = 4 2 8 3 1 3 F3 (2,2 ) = * * 0,8 = 4 4 10 Fk (2,2 ) = 0 k > 3

e) E (T (3,3)) =

F2 (2,2 ) =

=4

2.- Una agencia de arriendo de vehculos ha definido la variable aleatoria Xt como el nmero de automviles disponibles en la agencia al empezar la semana t+1. Sea Dt una variable aleatoria que representa la demanda por automviles la semana t. La agencia utiliza una poltica de reorden (s,S) con s=1 y S=3. No se acepta demanda pendiente. Sea Xo = 3 y suponga que la variable aleatoria Dt tiene distribucin de Poisson con =1. a) b) c) d) Obtenga los valores de la variable Xt Exprese a travs de una frmula de recurrencia la relacin entre xt y Xt+1 Encuentre la matriz P (valores nmericos) Suponga ahora que el costo incurrido es un valor fijo de $ 110.000 por orden ms un valor variable de $ 25.000 por automvil. Encuentre el costo esperado de inventario.

Desarrollo:
a) b)

X t = {s, S } = { 1,2,3} si X t Dt +1 < s si X t Dt +1 s

0 P(Dt > 0 )

S = 3 X t +1 = X t Dt +1
c)

P = P(Dt = 1) P(Dt = 0) P (Dt > 1)

P(Dt = 0)

P(Dt = 2) P(Dt = 1) P(Dt > 2)

d)

110 * P(Dt > 2)

C = f1(n ) * [ 25 * 1 + 110 * P(Dt > 0) ] + f 2(n ) * [ 25 * 2 + 110 * P (Dt > 1) ] + f 3(n ) * [ 25 * 3 +

3.- Se quiere construir un modelo markoviano para estimar la dinmica de vida de un cultivo de ovas de salmn en la etapa de Maduracin de la ova. En un estanque con agua dulce, se ponen N ovas fecundadas. Despus de 8 das, las ovas que han sobrevivido se convierten en pequeos salmones, los cuales se traspasan a otros estanques para seguir su evolucin. En este proceso de Maduracin, algunas ovas se mueren. Se sabe que la distribucin de probabilidades de una ova en esta etapa de desarrollo, es exponencial con media . Sea X n el nmero de ovas vivas al inicio del da n. Se pide: a) Diga cual es el rango de la variable (2 puntos) b) Obtenga la regla de transicin (2 puntos) c) Obtenga la matriz P (2 puntos) Desarrollo Sea X n : nmero de ovas vivas al inicio del da n. Parten N ovas vivas, pero van muriendo da a
da. a) X n = {0,1,2,..., N } b) Sea p: probabilidad de que una ova que est viva al inicio del da n lo est al inicio de da n+1. Sea Ti : duracin o vida de la ova i-sima.

T > n +1 = P(T > 1) = 1 e luego si hay j ovas vivas al da siguiente pueden haber p = P i i Ti > n
j o menos. Luego X n +1 Binomial ( X n , p ) c) Matriz P: 0 0 1 1 (1 p ) 2 2 . N-1

2 0

. 0 0

N-1 0 0

N 0 0

2 0 (1 p )

2 1 1 p(1 p)
N 1 N 2 N 2 p (1 p ) N N 1 N 1 p (1 p )

p2

N 1 N 1 N 1 (1 p )

. N 1 2 N 3 ( ) p 1 p N 3

p N 1

(1 p )N

N 2 N 2 N 2 p (1 p )

(1 p )

4.- Juan y Pedro tienen 2 monedas cada uno. Se disponen a enfrentar un juego en que, en cada oportunidad, cada jugador lanza una moneda de sus monedas. Si ambas coinciden, gana Juan y se queda con la moneda de Pedro. En caso contrario, gana Pedro. El juego termina cuando uno de los jugadores gana las 4 monedas. a) Obtenga la distribucin de probabilidades del nmero de jugadas necesarias hasta que Juan logre tener 3 monedas por primera vez. b) Explique como obtendra la distribucin de probabilidades del nmero de jugadas hasta que el juego termina. Desarrollo: 1.- Sea X n : n de monedas de Juan. a.- Se debe encontrar Fk (2,3) que corresponde a la probabilidad de que se vaya por primera vez del estado 2 a estado 3 en un nmero k de etapas. Por lo tanto : Fk (2,3) = ??
Para obtener esta probabilidad se debe construir el modelo detalladamente, es decir encontrar el rango de X n , la matriz P y opcionalmente el grfico de red. Rango de la variable de estado X n : Matriz P 1 0 1 2 0 1 2

X n = {0,1,2,3,4} ,

P= 0 0 0

0 0 1 0 2 0 1 1

0 0 2 0 1 1 2

0 0

0 2 0 0

Grfico de red de la matriz P

1 0 1 0,5 2 0,5 3 0,5 4

0,5

0,5

0,5

Entonces volvamos de nuevo con Fk (2,3)

F1 (2,3) =

1 111 1 ; F2 (2,3) = 0 ; F3 (2,3) = p 21 p12 p 23 = ; = 2 222 8 2 1 1 1 2 F5 (2,3) = ( p 21 p12 ) p 23 = 2 2 2

2 k 1 k 1

F4 (2,3) = 0

Trmino general:

1 1 F2 k 1 (2,3) = ( p 21 p12 ) 2 k 1 p 23 = 2 2 F2 k (2,3) = 0 ; k = 1,2,3,...

1 1 = 2 4

1 ; k = 1,2,3,... 2

b.- El juego termina cuando se llega a que Juan tiene 0 4 monedas. Lo que se pregunta entonces, es la probabilidad de que ocurra alguno de estos dos eventos, que son excluyentes. Adems Juan tiene al inicio del juego 2 monedas. Luego lo que se pregunta es:
k =2

Fk (2,0) + Fk (2,4)

Del estado 2 al estado 0 y al estado 4 se puede llegar en etapas mltiplos de 2 solamente. Luego : 1 1 F2 k (2,0) = 2 2 1 1 F2 k (2,4) = 2 2
2k

1 = 4 1 = 4

2k

; k = 1,2,3,...
2k

2k

; k = 1,2,3,...
2k 1 + k =1 4 2k 1 1 = + = k =1 16 k =1 16

1 F2 k (2,0) + F2 k (2,4) = k =1 k =1 4

1 1 16 16 1 1 1 1 1+ 1 = 1+ 1 = + = 1 1 15 15 16 k =0 16 16 k = 0 16 1 1 16 16

1 1 2 + = = 0,1 3 15 15 15

5.- Considere una Cadena de Markov con la siguiente matriza de probabilidades de transicin:
0 1 2 1 3 0 P= 1 4 0 0 1 0 0 0 1 4 2 1 2 3 0 2 3 4 0 0 2 3 5 6 0 0 0 0 0 0 1 0 4 1 2 3 3 2 1 3 3

0 1 3

0 1 4 0 0

0 0 0

0 0 0

0 0

a) Obtenga la distribucin lmite b) Obtenga la distribucin estacionaria Desarrollo a) Es necesario clasificar los estados y su periodicidad para determinar si existe distribucin lmite. Para ello realicemos el diagrama de red de la matriz P.

0,5

2
1

2 2 3

1 1 3 1

3
6

3
7

3 4

1 2 3
4

1 1 4

Se perciben 3 clases : C1 = { 1,3,5} , C 2 = {2,4} , C 3 = {6,7} Anlisis clase C1 : dado que la clase no presenta flujos de probabilidad fuera de la clase, se puede afirmar que todos los estados de la clase son recurrentes. Adems los estados de la clase son aperiodicos. Anlisis clase C 2 : dado que esta clase tiene flujos de salida y no de entrada es una clase transientes. Adems los estados de esta clase son aperidicos. Anlisis clase C3 : igual que la clase C1 esta clase no presenta flujos de probabilidad fuera de la clase, por lo que se puede afirmar que todos los estados de la clase son recurrentes. Adems los estados de la clase son aperidicos. Dado que todos los estados son aperidicos entonces existe distribucin lmite. Para los estados de la clase C1 se pueden encontrar las probabilidades de estado estacionarios. 1 1 0 2 2 1 2 P= 0 3 3 1 1 1 3 3 3

T P' = T
1 2 1 1 2 0 2 1 3 = ( 1 3

( 1 3 5 )

0 1 3

3 1 3

5)

1 =

3 3 1 ; 5 = ; 3 = 8 8 4
(n) 21

lim P
n

F (2,1) se deben encontrar ambos trminos E [T (1,1)]

1 2 1 1 1 2 2 + * + * F (2,1) F (2,1) = + + F (2,1) 3 3 3 3 3 9 9 7 5 5 2 5 F (2,1) * 1 = F (2,1) * = F (2,1) = 9 9 7 9 9 Adems

F (2,1) = p 21 + p 24 F (4,1) =

E [T (1,1)] =

lim P
n

(n) 41

F (4,1) se debe encontrar F (4,1) E [T (1,1)]

=4

luego

lim P
n

(n) 21

5 F (2,1) 5 = = 7 = E [T (1,1)] 4 28

De la ecuacin anterior F (2,1) = p 21 + p 24 F (4,1) F (4,1) = 5 1 15 7 8 8 3 12 3 luego F (4,1) = 7 3 = 21 = 21 = * = = 2 2 2 21 2 21 7 3 3 3

( n) (n) lim P23 = lim P43 = 3 = 8 n n

F (2,1) p 21 p 24
(n) 41

lim P
n

4 F (4,1) 1 = = 7 = E [T (1,1)] 4 7

( n) (n) lim P25 = lim P45 = 5 = 8 n n

Para los estados de la Clase C3 1 P= 1 3 3 2 3 3 2 1

( 6

7 ) = ( 6 7 )

1 1

2 3

6 = 12 ; 7 = 12
1

( n) (n) lim P26 = lim P46 = 6 = 2 n n

( n) (n) lim P27 = lim P47 = 7 = 2 n n

Para los estados de la clase C 2 dado que los estados son transientes:
(n) (n) lim Pi 2 = lim Pi 4 = 0 i = 1,3,5,6,7

6.- Considere un cultivo que contiene inicialmente un solo glbulo rojo. Despus de una cantidad de tiempo el glbulo rojo muere y es reemplazado por dos nuevos glbulos rojos o bien por dos glbulos blancos. Las probabilidades de estos eventos son 1 y 4 3 respectivamente. Subsecuentemente, cada glbulo rojo se reproduce de la misma forma. 4 Por otra parte, cada glbulo blanco muere despus de una unidad de tiempo sin reproducirse. Se desea calcular la probabilidad de que el cultivo se extinga en algn momento. Formule para tal efecto un modelo detallado e indique con precisin como lo utilizara para obtener la probabilidad pedida. Desarrollo Sea X n : numero de glbulos rojos presentes en la etapa n.
8 4 1 2 6

i 1 1 X = j = 1 ; k = log( j ) P n +1 log(2 ) X n = i k 4 4 Esta Cadena de Markov es tal que existen dos clases:
k

i k

C1 = {0} y C 2 = {2,3,4,...} la clase C 2 es infinita.

La clase recurrente C1 es recurrente y la clase C 2 es transiente. La clase C1 est compuesta por un estado aperiodico. Por lo tanto, por la Proposicin 2 vista en clases, se puede asegurar que existe distribucin estacionaria. Adems por la misma proposicin se puede asegurar que j = 0 j = 1,2,... es decir j = 0 j C 2 y j 0 j C1 . Como la clase C1 tiene un solo elemento 0 = 1 . Entonces la probabilidad de que el cultivo se extinga alguna vez es uno.

EJERCICIOS PROPUESTOS
1.- Se tiene la siguiente matriz de probabilidades de transicin en una etapa :

1 6 0 1 5 1 4 1 2 0

0 1 0 0 0 14

2 5 15 0 15 0 34 0 0 0 12 0 0 14 0 0 0 0 0 12 13 0 0 0 0

Se pide: a) Diga si los estados son transientes o recurrentes (positivos o nulos) y demustrelo. (1,5 puntos) b) Diga si existe distribucin lmite y porqu. Si existe calclela. (1,5 puntos) c) Diga si existe distribucin estacionaria y porqu. Si existe calclela. (1,5 puntos) X =1 d) Calcule Pr 4 X 0 = 2 2.- El Departamento de Marketing Cuantitativo de un prestigioso banco nacional est desarrollando un modelo basado en Cadenas de Markov discretas, para estimar el nmero de clientes en el estrato ABC1. El planteamiento es el siguiente: Sea X n el nmero de clientes pertenecientes al segmento ABC1 el primer da hbil del mes n. En el banco existen solamente dos segmentos para clasificar a los clientes ABC1 y C2. En total hay N clientes en el banco y que la probabilidad de que un cliente pase de ABC1 a C2 es p1 y de C2 a ABC1 es p 2 . Suponga que los clientes no se retiran del banco, ni tampoco ingresan nuevos clientes. Si se sabe que el primer da hbil de un mes hay n1 personas en el segmento ABC1 : Cul es la probabilidad de que en el primer da hbil del mes siguiente hayan n 2 clientes en el mismo segmento ? N n 2 n1 (2 puntos)

3.- Sea X n el nmero de personas hospedadas en un cierto hotel al inicio del da n. Se sabe que pueden llegar 0,1,2 3 clientes en un da, con igual probabilidad. Adems se sabe que el tiempo de permanencia de un cliente en el hotel es exponencial con media . El hotel tiene capacidad solo para 4 personas y las que llegan cuando el hotel est lleno se van sin dejar reserva. Obtenga la matriz P. (2 puntos) Indicacin: Puede usar la siguiente aproximacin e d = 1 d

4.- El ascensor de un edificio con tres pisos realiza viajes entre los pisos regularmente. Sea X n el piso en que para el ascensor en la etapa n. Se sabe que la mitad de los viajes que parten del piso 1 se dirigen a uno de los otros pisos con igual probabilidad. Si el ascensor parte en el piso 2 el 25% de las veces termina en el piso 2. Por ultimo si su trayecto empieza en el tercer piso siempre termina en el primer piso. a) Obtenga la matriz P y el rango de la variable. X = 2; X 2 = 1; X 0 = 3 b) Obtenga P 4 X1 = 2 c) Diga si existe distribucin lmite y si es as, calclela. d) Diga si existe distribucin estacionaria y si es as calclela. 5.- Un agente comercial realiza su trabajo en tres ciudades A,B,C. Para evitar gastos trabaja durante un da en cada ciudad y alli se queda en la noche. Despus de estar trabajando en la ciudad C la probabilidad de tener que seguir trabajando en ella al da siguiente es 0,4; la probabilidad de viajar a B es 0,4. Si el viajante duerme una noche en B con probabilidad 0,2 deber seguir trabajando en la misma ciudad al da siguiente y en el 60% de los casos viajar a C. Por ltimo, si el agente trabaja en A un da permanecer en esa ciudad con probabilidad 0,1 o ir a la ciudad B con probabilidad 0,3. a) Si hoy el viajante est en la ciudad C Cual es la probabilidad de que tenga que estar en la misma ciudad en 4 das ms? b) Cules son los porcentajes de das que el viajante se encuentra en cada ciudad? c) Cul es la probabilidad de que un viajante vuelva a la ciudad A? 6.- Los consumidores de caf en la VIII Regin usan tres marcas A, B, C. En Marzo de 2008 se hizo una encuesta en lo que entrevist a las 8450 personas que compran caf y los resultados fueron: Compra actual Marca A = 1690 Marca B = 3380 Marca C = 3380 TOTALES Marca A 507 676 845 2028 Marca B 845 2028 845 3718 Marca C 338 676 1690 2704 Total 1690 3380 3380 8450

a) Si las compras se hacen mensualmente, cul ser la distribucin del mercado de caf en la VIII Regin en el mes de junio? b) A la larga, cmo se distribuirn los clientes de caf? c) En junio, cual es la proporcin de clientes leales a sus marcas de caf?
7. En una gran empresa de investigacin que ocupa varias hectreas existe un sistema de correo interno, en el cual una persona recorre distintas oficinas llevando y retirando correspondencia. Al inicio del da la persona recorre en un cierto orden todas las oficinas recogiendo la correspondencia que debe ser despachada. Al final de esto, la persona ordena la correspondencia e inicia un segundo ciclo en el cual recorre las oficinas, entregando la correspondencia previa y recolectando la nueva. Este ciclo

se repite durante el da. Suponga que las oficinas estn uniformemente distribuidas a lo largo del recorrido y que cada una genera al azar correspondencia para ser despachada, de modo que el total de correspondencia generada por el sistema en un intervalo de largo t corresponde a un Proceso de Poisson a tasa .

8.- Una agencia de arriendo de vehculos ha definido la variable aleatoria Xt como el nmero de automviles disponibles en la agencia al empezar la semana t+1. Sea Dt una variable aleatoria que representa la demanda por automviles la semana t. La agencia utiliza una poltica de reorden (s,S) con s=1 y S=3. No se acepta demanda pendiente. Sea Xo = 3 y suponga que la variable aleatoria Dt tiene distribucin de Poisson con =1. e) f) g) h) Obtenga los valores de la variable Xt Exprese a travs de una frmula de recurrencia la relacin entre xt y Xt+1 Encuentre la matriz P (valores nmericos) Suponga ahora que el costo incurrido es un valor fijo de $ 110.000 por orden ms un valor variable de $ 25.000 por automvil. Encuentre el costo esperado de inventario.

9.- Una empresa de transportes debe contratar un seguro para su flota de vehculos. Existen 4 posibles seguros con valores P1, P2, P3, y P4. De modo que : P1 > P2 > P3 > P4. El valor del seguro se paga al principio del ao y depende del tipo de seguro contratado el ao anterior y de los accidentes cobrados a la compaa de seguros durante el ao. Si durante el ao, el seguro contratado cost Pi y no se cobraron seguros, el seguro del ao siguiente costar Pi + 1; en caso contrario (esto es si se cobraron seguros) el seguro costar P1. Si el ao anterior el seguro costo P4 y no hubo daos cobrados, el seguro costar este ao tambin P4. La empresa de transportes debe decidir, al final del ao, si cobrar o no los daos acumulados por sus vehculos durante el ao. Si la empresa decide cobrar los daos, la compaa de seguros se hace cargo de stos, con excepcin de un deducible, que vale Ri para el seguro i. El dao total de la flota durante un ao cualquiera es una variable aleatoria con funcin de distribucin F y funcin de densidad f. Defina Xn como el tipo de seguro contratado en el ao n. a) Obtenga la matriz de P de este proceso. b) Obtenga una expresin explcita para el vector distribucin estacionaria de este proceso. c) Obtenga una expresin para el costo esperado anual de usar esta poltica en el largo plazo. Cmo podra encontrar la poltica ptima para este caso? 10.- En la etapa inicial un jugador tiene MM$ 2. En las etapas 1,2..... participa en un juego en el que apuesta MM$ 1. Gana el juego con probabilidad p, y lo pierde con probabilidad (1-p). Su meta es aumentar su capital a MM$ 4 y tan pronto como lo logre se retira. El juego tambin se suspende si el capital del jugador se reduce a $0 .

a) Formule la matriz de probabilidades de transicin en una etapa. Si p=0.4 b) Calcule la probabilidad de que el jugador obtenga su objetivo de juntar MM$ 4 de capital.

11.- Se tiene la siguiente Cadena de Markov : 1 p 0 0 0 0 0 0 0 1-p p 1-p 0 0 1-p p

P=

a) b) c) d)

Analice la recurrencia, periodicidad de cada estado. Es la cadena irreducible? Existen distribuciones lmite ? Si existen calclelas Existe distribucin estacionaria ? Por qu ? Si existe calclela.