Cadenas de Markov Alguries veces we esta interes lo en oorio carnibte uit variable sible que oe ia con el tiempo, Por ‘como evoluciona el precia de una parte de las ac tudia do como do una. ompr nen es ico conacido cor fe salud, finanzes, comtablidad y produccion. Comenzamos par 80 estocastico, En el resto dal capituie, se analizan las ideas ba: eadenas de Mackew comercialzacidn, servic definir el concepto de ps 71 éQué es un proceso estocdstica? Suponga que se observan tiempo (id as caracteristicas de un si ). Sea X, el valor de s, X, nose conoce con certeza un a €n puntos discretos en el dos con el tiempo ¢. En la mayo po ry se podria to en ef tiempo es simplemente un: 28 Noy X15 Xap -+- A-con estoca apues: el juego, M pentar mi capi i cap Juce a $0. Si se define X,como mi c stonces Xo, X 1 Observe ¢ az el juego en el tiempo t (si existe), constante conocida, pet bilidad p, X, = 3, y con Xie y Ins X, po ores son aleatorias, Por ejemplo, con probi pheX; = 1, Observe que si X= 4 et ‘gual m les X, también, pa de ta Pu De manera similar, 8.0, Por razon: ne dos bolas sin pintar, Se eligs 0 estocistice, se define ef mpo # 60 da,Elestado en cualquier instante se podria describir mediante el vector[u r ], donde wes el niimere de bolas sin pintura en la urna, res el nimero de bolas rojas en la urna y b es ef nnimero de bolas negras.en la urna. Se tiene que X= (2 0 0). Después del lanzamien- 1 de la primera moneda, se tiene una bola pintada de rojo.o negro-y el estado seri [I 1 0] ‘0 [1 0. I), Por consiguienie, se puede estar seguro de que X= [1 1 O] 0X, [1 0-1}, Resulta claro que debe haber alguna clase de relacién entre las: X,. Por ejem- plo, siX, = [0 2 0), se puede estar seguro de que X,.. ser [0 1 1) CSL Compute Sea Xo el precio de una parie de las acciones de CSL Computer sl comienz de la jorna- da financiera actual, También, sea X, el preciode una parte de la accién de CSL al comien- zo de la J-ésima jornada financiera en el futuro, Resulta claro que conocer los valores de Xo. Xi, ++, Xemos dice algo acerca de la distribucién de probabilidad de X,,_,; la pregun- ‘a es, qué nos dice el pasado (precio de las acciones hasta cl tiempo 1) acerca de X,..;? La respuesta a esta pregunta es de importancia critica en finanzas. (Véase la secei6n 17.2 pa- ra mas. detalles). Esta seccidn se ci¢rra con una breve explicacién del proceso estociistico continuo en el tiempo. Un proceso estocastico continuo en el tiempo, es. simplemente un proceso esto- caistico en el que el estado del sistema se puede ver en cualquier instante, no silo en ins- ‘antes discretos del tiempo. Por ejemplo, el nimero de personas en un supermercado rmimutos después que la tienda abre se podria considerar como un proceso estocdstico con- tinwo en cl tiempo, (Los modelos que tienen que ver con procesos estocasticos continuos. en el tiempo, se estudian en el capitulo 20), Puesto que el precio de una parte de la aceidn se puede observar en cualquicr instante (no sdlo al comicnzo de cada jornada financiera), se podria considerar como un proceso estocistico continuo en el tiempo. Wer el precio de una parte de la accién como un proceso estocéstico continuo en el tiempo ha dado lugar a ‘muchos resultados importantes en la teoria de finanzas, come la famosa férmula de Black- Scholes para evaluar opciones. 17.2 i(ué es una cadena de Markov? Un tipo especial de proceso discreto en el tiempo se llama cadena de Markov, Para sim- plificar la exposicién, se supone que en cualquier instante, el proceso estociistice discret en el tiempo puede estar en un nimero finite de estados identificados com 1,2... DEFINICIGN # Un proceso estocistico discreto en el tiempoves una Cadena de Markov, si para 1 =0,1,2,...y los estades PUR = bre ti%y = ty Me = PR i alX, = Xo = fo) a Basicamente, (1) dice que la distribucion de probabilidad del estado en el tiempo t+ 1 depende del estado en el tiempo f (j,) y ne depende de los estados. por los que pasa la cadena en el camino a j, en el instante i En el estudio de las cadenas de Markoy, se hace la suposicién adicional de que para los cestados yj y toda f, P(Xi+r = jIX = 0) 8 independiente de 1. Esta suposicién permite escribir PUR 1 = 11Ne = = Py @ 924 curirene 47 Cafemn de Warterdonde py es la probabilidad de que dado que el sistema esti en el estado i en el tiempo 1, cestaré cn un estado fen el tiempo ¢ + 1. Sil sistema se mueve del estado i durante un pe- riodo al estado j durante el siguiente periodo, se dice que ocurrié una transiciéa de ja j Las py se denominan probabilidades de transicién para la cadena de Markov La ecuacidn (2) implica que la ley de probabilidad. que relaciona el estado del siguien- te periodo con el estado actual no cambia (o permanece estacionaria) con el tiempo. Por esta razén, (2) se llama suposicién estacionaria. Cualquier cadena de Markov que satis- face (2) se llama cadena de Markov estacionaria. Nuestro estudio de Iss cadenas de Markov también requiere que definamos 4, como: la probabilidad de que la cadena esti cn cl estado / en el tiempo 0; en otras palabras, P(Xo = 1) = qp Llamamos al vector q = {q, 2°: qq] distribueidm de probabilidad inicial ppara la cadena de Markew: En la mayoria de las aplicaciones, las prababilidades de transi- ‘ciéa se muestran como una matriz de probabilidad de transicién P de orden s Xs. La matriz de probabilidad de transicién P se puede escribir como jpu Pa Pu Pu Pa Pu Pa Pa Pal Dade que el estade en el tiempo # esi, el proceso en alguna parte debe estar en el tiempo 1+ 1, Esto significa que para casa i, © PRs = JAX =D) También sabemos que cada elemento de la matriz: P debe ser no negativo. Por consiguien- te, los elementos de la matriz-de-probabilidad de transiciém son-no negativos, y la suma de ls elementos de cada renglén debe ser igual 2 1 ad Lo 1 Laruina del jt inuacion| Encuentre la matriz de transicién para el ejemplo 1. Solueién Puesto que la cantidad de dinero que tenga después der + | jugadas depende de lo suce- dido antes en el juego s6lo par la cantidad de dinero que tengo después de # jugadas, en definitiva se tiene una cadena de Markov. Puesto que las reglas del juego no cambian con. eltiempo, xe tiene una cadena de Markov estacionaria. La matriz de transicién es como si- ‘Bue (el estado i significa que se tienen i dolares): Estado o st 82 83 ofa oo) 1]1—p 0 ol p=2| 0 | 3] 0 o Pp alo 0 Si cl estada es $0.0 $4, el juego se termina, asi que el estado ya no cambia; por consiguien- 1, Poa = Pas = 1. Para los ofros estados, se sabe que con probabilidad p, el estado del si- sguiente periodo excederi el estado actual por |, ¥ con probabilidad 1 — p, estado del ‘siguiente periodo seri | menos que el estado actual. 47. taco cafen én rt? 925FIGURA 1 epresentacién wriica de fa mats de transiciém para a rina del jogo & © > Una matriz de transicion se puede representar mediante una gréfica en la que cada nodo ‘representa un estado y un arco (i /) representa la probabilidad de transicion py La figura | ‘es tuna representaciin grifica de Ia matriz de probabilidad de transicién del ejemplo |. Determine la matriz de transicién para el cjemplo 2, Puesto. que el estado de la urns después del siguiente lanzamiento de la moneda depende Uinicamente de lo sucedido antes en el proceso hasta el estado de In urna después del lan- zamiento actual de la moneda, s¢ tiene una cadena de Markov, Puesto que las reglas no- cambian eon el tiempo, se tiene una cadena de Marko estacionaria, La matriz de transi- cidn para el ejemplo 2 es como sigue: Estado Oly O27 PoOyRoguwiqnon fo 1 q) 0 t 4 0 0 0 fo 20 1 0 0 0 0 0 pO 94 1 0 0 0 0 0 (2 0 oF 0 0 0 0 iH re fig | 4 $ o 0 0 + toy 4 0 1 0 H 0 Para ilustrar la determinaciéin de la matriz de transicién, se determina el renglén {I 1 0) de esta matriz.de transicién, Siel estado actual es [1 1 0], entonses debe ocurrir uno de Jos eventos mestradosen la tabla. Asi, el siguiente estado sera [1 0 1] con probabilidad 4.[0 2 O}conprobebilidad |. y[0 1 1] con probabilidad }, En la figura 2 se tiene una ‘representacion ghifica de esta matriz de transicign, TABLA 1 Calc as praise esc st Eel lanzamiento se obtiene cara y se lige 1 0 2 9 bola in pintar ‘Se elige una bola roja } aoy En el Ianzamiento se obtiene cruz y ee elige ory ‘una bola sin pintar cuvivaae 17 Caftea de MartonEn afos recientes, los estudiantes de finanzas han dedicado mucho esfuerzo a contestar la pregunta de si el precio diario de una purticipacién bursitil se puede deseribir por una ca- dena de Markov. Suponga que cl precio diario de un valor bursitil (como las acciones de CSL Computer) se puede describir mediante una cadena de Markov. Qué nos indica eso? ‘Simplemente que la distribucisn de probabilidad del precio de mafiana para una accién de (CSL depende sila del precio de hoy de la accién de CSL, no de los precios anteriores de la aaceién de CSL. Si mediante una cadena de Markov se puede deseribir el precio de un valor Dbursitil, entonces los “cartistas” que intentan predecir los precios futuros de las acciones ‘con hase en los patrones seguidos por los precios anteriores de las acctones estiin metiendo 1a pata. Por sjemplo, suponga que el precio diario de una participacion de la accién de CSL sigue una cadena de Marko, y el precio actual para una parte de la accidn de CSL es $50, Entonces, para predecir el precio de maiiana de una parte de la accidn de CSL, no importa si el precio se incrementé o- disminuyé durante cada tno de los itimos 30 dias. En cual- quicra de los dos casos (o-en cualquier otra situacién que pudieta haber dado lugar a un pre= cio actual de $50), una prediccidm del precio de la accién para el dia siguiente se debe basar s6lo en el hecho de que el precio actual de la accidin de CSL es $50, Esta vez, el consenso 5 que para Ia mayor parte de las acciones el precio diario de la accidn se puede deseribir como una cadena de Marko. A esta idea se le conoce como hipstests del mereado eficaz, Grupo A 1 En Smalliown, 90% de los ins solendos var acompaia- dos de dias soleadas y 40% de los dias nublides van acom- pprfados de dias mublados. Utilice extainformacién para mo= delar el clima de Smalluw como wna cadena de Markov. 2 Considere um sistema de inveniario en ef que la seciea- cia de sucesos duvaate eada period €3 caesa sigue. (1) Se observa el nivel de inventaro (Ilimelo) al eomietze del pe fiedo. (2) Si = 1, se pides 4 ~ i unidades. St 4 = 2, se pi- dden Ounishades. La entroga de las unidades pdidas es ime dlista. 3) Con peobabiidad | ls demaeda durante el periodo ce de D unidades; con probabilidad 1, fy demands durante el period es de I unidsd,y con peobubilidad |, so piden duran- te el periods 2 unidades (4) Se oboerva ef nivel de venta: rio al comienzo del siguiente period ‘Defina el estado de un periodo come el nivel de iaventae io inicial el period, Determine la matez de transi que permita modelar este sistema de inventario-como una cade ra de Markov 3. Unacompatia tcne dos miquinas, Durante cualquier dia, cada miquina que esti wabajando al comienzo del dia tiene tuna probabil de} de descomponerse. Si-duranieel ia ddescompone wna. miquina, = sna ata instalcin de repo raciOn y estar funcionando dos dias despues de que se es ccompuso, (Asi si una mbguina se descompone durante el dia 3, estar. fancionando el dia 5). Haciendo que el estado del ‘sstema sca el nimero de méguinas que funcionaa al prioc\- pio del ia, formule una matriz de probabilidad de transcion para esta situacin Grupo B 4 Respecto al prabiems 1, supongs que el clima de maar ‘de Smalltown depende del clima de los dos tltimes dins de ‘Smalltown, como sigue: (1) Silos dos limos dias han sido soleados, emionces 95% de las veces, maltana seri. soleado, 2) Su ayer estuvo lluviose y hoy esté soleado, entonces 70% ‘de las veces, maflana estar soleado, (3) Si ayer estuve sokea- do y hoy esthnublad, entences OPide ls veces, mabana e3- ‘uni nublado. (4) Si los dos. cltimos dias han sido nublados, ‘entonces 84% de las veces, mafiana extari mublado (Con esta informacién, modete el clima de Smalltown co- mo una cadena de Markov. Si el clima de mafana depende 1 si kes cl mimero mais pequeito tal que fas trayectorias que conducen del estado / de represo al estado-/ tienen una longitud que es un multiple de & Si un estado recurrente no ¢s peridico, se conoce como aperiddica, Para la cadena de Markov con matriz de transicién Q- l cada estado tiene periodo 3. Por ejemplo, si comensamos en el estado 1, la tinea forma de volver al estado | es seguir Ia trayectoria 1-2-3+1 para cierto niimero de veces (por ejem- plo, m). (Véase la figura 7.) Por consiguiente, cualquier retorno al estado 1 vendri 3er tran: siciones, asi que el estado | tiene perioda 3. Sin importar diinde estemos, se tiene la seguridad de volver tres pericdos después. =e Ss DEFINICION m Si los cstados cn una cadena son rccurrentes, periddicos y se comunican entre si se dive que la cadena es ergidicn El cjemplo de Ia ruina del jugador no es una cadena ergédica, debido a que (por ejem- plo) los estados 3 y 4 no se comunican. El ejemplo 2 también no es una cadena erpidica, ‘debido a que (por ejemplo} [2 0 0] ¥ (0 1. 1] no se comunican. El ejemplo 4, de la be- bida de cola, es una cadena de Markov ergddica. De las siguientes tres cadenas de Markov, Py y Py son engéxlicas y P no es ergidica, our Exgética ‘No engédica © Sen 1 2 0 0 shuns © ec oo Engédica hE “ee o>» ‘ Una cadena te Markov periédica t= 3 17. Cacao dels asada en aad de Marko 933