Clase # 2

Ecuaciones de Chapman-Kolmogorov. Habamos dicho que Pij(n) es la probabilidad condicional de que la variable aleatoria X, comenzando en el estado i se encuentre en el estado j despus de n pasos

Ecuaciones de Chapman-Kolmogorov

Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas probabilidades de transicin de n pasos
Dise: Andrs Gmez
2-1 2-2

Pij(n) =

k=0

Pik(m) Pkj (n-m )

para toda i,j, n y 0 m n

Demostracin Sabemos que Pij(n) = P {Xn = j / X0 = i}

entonces Al ir del estado i al estado j en n pasos el proceso estar en algn estado k despus de exactamente m pasos. Es slo la probabilidad condicional de que, si se comienza en el estado i el proceso vaya al estado k despus de m pasos y despus al estado j en n-m pasos.
2-3

Pij(n+m) = P {Xn+m = j / X0 = i}

Pij(n+m) =

P {X n+m = j , Xn = k / X 0 = i}
k=0
2-4

Llamemos A: X n+m = j Llamemos B: Xn = k Llamemos C: X0 = i

M

Pij(n+m) =

k=0

P {Xn+m = j , Xn = k / X0 = i}

P {Xn+m = j / Xn = k , X0 = i} * P {Xn = k / X0 = i}
k=0

No influye por ser Markoviano el proceso

Sabemos que

P (A B) = P(A/B) * P(B) P (AB /C) = P(A/B /C) * P(B /C) P ((AB)/C) = P(A/(B C)) * P(B/C)

k=0

P {Xn+m = j / Xn = k} * P {Xn = k / X0 = i}
=

Sigue
2-5

k=0

Pkj(m) Pik (n)

k=0

Pik (n) Pkj( m )

2-6

Si hacemos

p00 ( n) P(n ) = p ( n) M0
para n=0,1,..... = Pij(n)

( n) pMM p0 M
( n)

Para m=n=1

P (2) = P (1)* P (1) = P2

Si asumimos por induccin P (n-1) = P n-1

Para m = 1 y n = r-1 P (r-1+1) = P ( r ) = P (r-1) P (1) = Pr -1 P = Pr

(n+m)

=P P

(n)

(m)
2-7 2-8

Nota: El producto de 2 matrices de Markov siempre es una matriz de Markov

La matriz de probabilidades de transicin de n pasos se puede obtener calculando la n-sima potencia de la matriz de transicin de un paso

0 Pij 1 Es decir

Pij = 1 j=0
2-9

Cuando n no es muy grande la matriz de transicin de n pasos se puede calcular fcilmente, pero si n es muy grande los clculos resultan tediosos y los errores de redondeo pueden causar inexactitudes

2-10

Ejemplo Para el problema de inventarios donde la matriz de transicin de un paso estaba dada por:
P

La matriz de transicin de 2 pasos se obtiene :

( 2)

0.080 0.632 P= 0.264 0.080

0.184 0.368 0.368 0 .368 0 0 0 .368 0.368 0 0.184 0.368 0.368

Sigue
2-11

0.080 0.632 2 = P = 0.264 0.080

0.184 0.368 0.368 0.184

0.368 0. 368 0 0 0.368 0 0.368 0. 368

0.080 0.632 0.264 0.080

0.184 0.368 0.368 0.184

0.368 0.368 0 0 0.368 0 0.368 0.368

0.249 0.283 P (2) = 0.351 0.249

0.286 0.252 0.319 0.286

0.300 0.233 0.233 0.300

0.165 0.233 0.097 0.165

2-12

La matriz de transicin de 4 pasos se obtiene :

Ejemplo
0.165 0.233 0.097 0.165

P ( 4)

0.249 0.283 4 =P = 0.351 0.249

0.286 0.252 0.319 0.286

0.300 0.233 0.233 0.300

0.165 0. 233 0.097 0.165

0.249 0.283 0.351 0.249

0.286 0.252 0.319 0.286

0.300 0 .233 0 .233 0.300

Consideremos el estado del tiempo, donde el llover maana , depende si llovi o no ayer y hoy. Estado 0 Estado 1 Estado 2 Estado 3 Llovi ayer y hoy No llovi ayer y llovi hoy Llovi ayer y no llovi hoy No llovi ni ayer ni hoy

0.289 0.282 P (4) = 0.284 0.289

0.286 0.285 0.283 0.286

0.261 0.268 0.263 0.261

0.164 0.166 0.171 0.164

2-13

2-14

La matriz de transicin de un paso es la siguiente

0 = LL

Suponga que le preguntan Cul es la probabilidad de que llueva pasado maana, dado que llovi ayer y hoy ?
0 .7 0 .5 P2 = 0 0 0 0 0.4 0.2 0 .3 0 .5 0 0 0 0 0.6 0.8 0 . 12 0 . 20 0 . 12 0 . 16
NL

P =

1 = NL 2 = LN 3 = NN

Ayer y hoy (Filas)

0. 7 0 .5 0 0

0 0 0 .4 0 .2

0. 3 0. 5 0 0

0 0 Hoy 0 .6 y 0 . 8 Maana

0 .7 0 .5 0 0 0 .21 0 . 15 0 . 20 0 . 10
LN

0 0 0.4 0.2

0 .3 0 .5 0 0

0 0 0 .6 0.8

LL

0 = LL 1 = NL 2 = LN 3 = NN P2 =

NL LN NN

(Columnas)
2-15

Ayer y hoy

0 .49 0 .35 0 .20 0 .10

LL

0 .18 0 .30 0 .48 0 .64

NN

Maana y Pasado maana

2-16

P ( llueva pasado maana/ llovi ayer y hoy) = P ( llueva maana y pasado maana / llovi ayer y hoy) + P ( no llueva maana y llueva pasado maana/ llovi ayer y hoy) = 0.49 + 0.61
LL NL
2

Distribuciones no condicionales Las probabilidades de transicin de 1 o n pasos son probabilidades condicionales; por ejemplo Pij(n) = P {Xn = j / X0 = i} Si se desea la probabilidad incondicional P {Xn = j}

P Ayer y hoy

LN NN

0 . 49 0 . 35 0 . 20 0 . 10 LL

0 .12 0 .20 0 .12 0 .16 NL

0 .21 0 .15 0 . 20 0LN . 10

Maana 0 . 18 y 0 . 30 Pasado maana 0 . 48 0 .NN 64

Es necesario que se especifique la distribucin de probabilidad del estado inicial

2-17 2-18

Denotemos esta distribucin por QX0(i) donde: Q X0 (i) = P{X0 = i} para i = 0,1,....M

Q Xn ( j ) = P { X n = j } =
=

P { X n = j , X 0 = i}

r Q X 0 = {Q X 0 (1),Q X 0 (2),...Q X 0 ( M )}
Demostracin

P{X
i

= j / X 0 = i} P { X 0 = i }

Pij ( n ) Q X
i

( i ) = Q X 0 ( i ) Pij ( n )
i

r Q X 0 = {Q Xn (1), Q Xn (2 ),...Q Xn ( M )}
2-19

En forma matricial

r r QX = QX Pij( n )
n n
2-20

En el ejemplo de inventarios se supuso que inicialmente se tenan 3 unidades en el almacn.

La probabilidad incondicional de que haya tres cmaras en inventario dos semanas despus de que el sistema se puso en marcha es:

Q X0 (0)= QX0(1) = QX0(2)=0 Q X0 (3)= 1

P{X2 = 3} = Q X0 (0) P03 (2) + QX0 (1) P13 (2) + QX0 (2) P 23 (2) + QX0(2) P33 (2) =0 *0.165+ 0*0.233 + 0*0.097 + 1*0.165 = 0.165

2-21

2-22

Si en lugar de lo anterior la probabilidad de tener 0,1,2 o 3 cmaras de inventario inicial fuera la misma, entonces Q X0 (i)= 1/4 para i=0,1,2,3

P{X2 = 3} = Q X0 (0) P03 (2) + QX0 (1) P13 (2) + QX0 (2) P 23 (2) + QX0(2) P33 (2) = *0.165+ *0.233 + *0.097 + *0.165 = 0.165 Resultado coincidencial
2-23