Cadenas de Markov ea > oN’Definicién: consideremos un proceso estocastico {X,, = 0, 1,2,...} que tiene un nimero finito de valores posibles. Si X, = i, entonces se dice que el proceso se encuentra en el esiado ( en e! instante ¢. Supondremos que cada vez que e! proceso se encuentra en el estado t pasa a un estado j con una probabilidad py. Es decir, suponemos que: PU Si Sh Xs iu Xo = io) para todos los estados iy,%, iz... -in-a-t./ ¥ t = 0. Esto se conoce como Cadena de Markov. Piles = the = T= py) =P = py donde p,; representa la probabilidad de pasar del estado ¢ al estado j en una transicién. yO 1 trangieéa Seg 0‘Se define la matriz P como la matniz de probabllidades en 1 transicion asi: dada una cadena de Markov con PQ) =P) =P ‘en donde se que cumple que Le py 2 Opera! =1,2,..8y/= 1.2, i. Shap) =t Jebee Tint Fiat” 4hs yh pie |) pis SxS alpn ps Psi Pse Ps L 4 Tut Rad .--+Pas Pod Pat LD Rit Pat - ts i ahs h Sigstados, se tiene queEjemplo 4: supongamos que la probabilidad de lluvia mariana depende de las condiciones climaticas del presente. Si llueve hoy, entonces ‘mafiana llovera con una probabilidad a y si no lueve hoy, entonces mafians lloverd con probabilidad f. Realizar: 1. Diagrama de estados que representa la cadens. 2, Esoriba la matriz de probabilidades. Estado 0: Uvere fo: N trode 3: No Llueve, tiiL ip CBO: 10K _"O?« tn a L N L nf toe] ee i ] Lp vp hes EK ELD K= Pt+y= Lo yzi-eEjemplo 2: En un dia cualquiera el estado de énimo de Carlos puede ser alegre (A), normal (N) 0 triste (T). Si hoy se encuentra alegre entonces mafiana estara alegre, normal o triste con probabilidades 0.5, 0.4 y 0.1 respectivamente. Si tiene un dia normal hoy, entonces ‘matiana estara alegre, normal o triste con probabilidades 0.3, 0.4 y 0.3 respectivamente y si hoy se encuentra triste, entonces mariana estaré alegre, roxmalo tite, con probablicades 0.2, 0.3 0.5 respectivamente A (Os 04 OY N o.> 04 03 ou T= 3 |o2 03 05 bt 6a OO" y. oOEjemplo 3: (EI clima en la Tierra de Oz). Segtin el cuento, en la Tierra de Oz in, Después de un dia con ‘buen tiempo, le sigue (con java! probebilidad) un dia con I Del riore rats seahorse modo, si el dia siguiente neva (o lover) con probablidas 1/2, pero si cambia el tiempo solo la sera un tindo gia, Be Boon Fiomnpe Bi tla Vp Cc. Nie Yoo abt fe Qu & ATO % Pz Bly Yay y Y lM Wy 1 YeEjemplo 4: (La ruina del jugador) suponga que una persona contiene una ficha para juger en une mdquina. El juego esté condiclonado para {que la persona gane opieréa por tuo ina sola cha, Est termina sol ugador se queda sna 0s eljugader gana 3 ehas 2 © 6 Coma: Pp — prerde 1-p 5 4 0 qe S mh tp EP o + 2 5 ¥ o}s4 9 0 0 0 L{4- Pp 9 0 L i Pr 0 po fat S-+ TP 3,0 0 J-P Oo ?P 4y\ 0 o 9 OLProbabilidades de Transicin de 2 Etapas. ‘Suponga que se tione una cadena de Markov de S estados, entonces la probabilidad de pasar de un estado { aun estado jen dos transicionos, asta dada por la expresion py(2) ="RO=R = WRys BHT t Pay t + sty 5 UPrs.--y $ = D3 Picky va 20% Me = isl TR, ist). By J eh, 58 Ry ha Rass Ps TTR Pa ss hee o[Pu Poa > Pas [] Pa Ba Bk Ri Ra Pes T 3 A Poa 7 Pee | (On Rae BeeProbabilidades de Transicién de 3 Etapas ‘Suponga que se tlene Una cadene de Markov de S estados, entonces la probablldad de pasar de un estado i a un estado j en 9 etapas, esta dada por la expresién Pu(3)= Py Ypwore Yorarucn =P" WPy) = Tiskuty + Ra Radi t+ + FiaPishy + PahsPy + PiaBokj + == +Ra Bs tee. cos PisRi yy + Petahy bo + Piskas Be Ta[taty HRs bo PR] +PralBePy F RePy to 7 FRR] ee. sk Pisl Ba Pag + Bo Py pot Ps Pg] s = Fu Di tanta + Pa Date boot t Tele Re Ry bes key wah Ufa ia -+ Rsd Tasky | rodProbabilidades de Transicién de n Etapas ‘Suponga que se tiene una cadena de Markov de S estados, entonces la probabilidad de pasar de un estado i a un estado j en n etapas, esta dada porla expresién mult) =f = Jy rrePa = YP) =P wt z te o—\Bj = Pala + Tiel LNG Foo + Pista adj =) S (n-1), =P pg ree % %