Cadenas de Markov Alguries veces we esta interes lo en oorio carnibte uit variable sible que oe ia con el tiempo, Por ‘como evoluciona el precia de una parte de las ac tudia do como do una. ompr nen es ico conacido cor fe salud, finanzes, comtablidad y produccion. Comenzamos par 80 estocastico, En el resto dal capituie, se analizan las ideas ba: eadenas de Mackew comercialzacidn, servic definir el concepto de ps 71 éQué es un proceso estocdstica? Suponga que se observan tiempo (id as caracteristicas de un si ). Sea X, el valor de s, X, nose conoce con certeza un a €n puntos discretos en el dos con el tiempo ¢. En la mayo po ry se podria to en ef tiempo es simplemente un: 28 Noy X15 Xap -+- A-con estoca apues: el juego, M pentar mi capi i cap Juce a $0. Si se define X,como mi c stonces Xo, X 1 Observe ¢ az el juego en el tiempo t (si existe), constante conocida, pet bilidad p, X, = 3, y con Xie y Ins X, po ores son aleatorias, Por ejemplo, con probi pheX; = 1, Observe que si X= 4 et ‘gual m les X, también, pa de ta Pu De manera similar, 8.0, Por razon: ne dos bolas sin pintar, Se eligs 0 estocistice, se define ef mpo # 60 da,Elestado en cualquier instante se podria describir mediante el vector[u r ], donde wes el niimere de bolas sin pintura en la urna, res el nimero de bolas rojas en la urna y b es ef nnimero de bolas negras.en la urna. Se tiene que X= (2 0 0). Después del lanzamien- 1 de la primera moneda, se tiene una bola pintada de rojo.o negro-y el estado seri [I 1 0] ‘0 [1 0. I), Por consiguienie, se puede estar seguro de que X= [1 1 O] 0X, [1 0-1}, Resulta claro que debe haber alguna clase de relacién entre las: X,. Por ejem- plo, siX, = [0 2 0), se puede estar seguro de que X,.. ser [0 1 1) CSL Compute Sea Xo el precio de una parie de las acciones de CSL Computer sl comienz de la jorna- da financiera actual, También, sea X, el preciode una parte de la accién de CSL al comien- zo de la J-ésima jornada financiera en el futuro, Resulta claro que conocer los valores de Xo. Xi, ++, Xemos dice algo acerca de la distribucién de probabilidad de X,,_,; la pregun- ‘a es, qué nos dice el pasado (precio de las acciones hasta cl tiempo 1) acerca de X,..;? La respuesta a esta pregunta es de importancia critica en finanzas. (Véase la secei6n 17.2 pa- ra mas. detalles). Esta seccidn se ci¢rra con una breve explicacién del proceso estociistico continuo en el tiempo. Un proceso estocastico continuo en el tiempo, es. simplemente un proceso esto- caistico en el que el estado del sistema se puede ver en cualquier instante, no silo en ins- ‘antes discretos del tiempo. Por ejemplo, el nimero de personas en un supermercado rmimutos después que la tienda abre se podria considerar como un proceso estocdstico con- tinwo en cl tiempo, (Los modelos que tienen que ver con procesos estocasticos continuos. en el tiempo, se estudian en el capitulo 20), Puesto que el precio de una parte de la aceidn se puede observar en cualquicr instante (no sdlo al comicnzo de cada jornada financiera), se podria considerar como un proceso estocistico continuo en el tiempo. Wer el precio de una parte de la accién como un proceso estocéstico continuo en el tiempo ha dado lugar a ‘muchos resultados importantes en la teoria de finanzas, come la famosa férmula de Black- Scholes para evaluar opciones. 17.2 i(ué es una cadena de Markov? Un tipo especial de proceso discreto en el tiempo se llama cadena de Markov, Para sim- plificar la exposicién, se supone que en cualquier instante, el proceso estociistice discret en el tiempo puede estar en un nimero finite de estados identificados com 1,2... DEFINICIGN # Un proceso estocistico discreto en el tiempoves una Cadena de Markov, si para 1 =0,1,2,...y los estades PUR = bre ti%y = ty Me = PR i alX, = Xo = fo) a Basicamente, (1) dice que la distribucion de probabilidad del estado en el tiempo t+ 1 depende del estado en el tiempo f (j,) y ne depende de los estados. por los que pasa la cadena en el camino a j, en el instante i En el estudio de las cadenas de Markoy, se hace la suposicién adicional de que para los cestados yj y toda f, P(Xi+r = jIX = 0) 8 independiente de 1. Esta suposicién permite escribir PUR 1 = 11Ne = = Py @ 924 curirene 47 Cafemn de Warterdonde py es la probabilidad de que dado que el sistema esti en el estado i en el tiempo 1, cestaré cn un estado fen el tiempo ¢ + 1. Sil sistema se mueve del estado i durante un pe- riodo al estado j durante el siguiente periodo, se dice que ocurrié una transiciéa de ja j Las py se denominan probabilidades de transicién para la cadena de Markov La ecuacidn (2) implica que la ley de probabilidad. que relaciona el estado del siguien- te periodo con el estado actual no cambia (o permanece estacionaria) con el tiempo. Por esta razén, (2) se llama suposicién estacionaria. Cualquier cadena de Markov que satis- face (2) se llama cadena de Markov estacionaria. Nuestro estudio de Iss cadenas de Markov también requiere que definamos 4, como: la probabilidad de que la cadena esti cn cl estado / en el tiempo 0; en otras palabras, P(Xo = 1) = qp Llamamos al vector q = {q, 2°: qq] distribueidm de probabilidad inicial ppara la cadena de Markew: En la mayoria de las aplicaciones, las prababilidades de transi- ‘ciéa se muestran como una matriz de probabilidad de transicién P de orden s Xs. La matriz de probabilidad de transicién P se puede escribir como jpu Pa Pu Pu Pa Pu Pa Pa Pal Dade que el estade en el tiempo # esi, el proceso en alguna parte debe estar en el tiempo 1+ 1, Esto significa que para casa i, © PRs = JAX =D) También sabemos que cada elemento de la matriz: P debe ser no negativo. Por consiguien- te, los elementos de la matriz-de-probabilidad de transiciém son-no negativos, y la suma de ls elementos de cada renglén debe ser igual 2 1 ad Lo 1 Laruina del jt inuacion| Encuentre la matriz de transicién para el ejemplo 1. Solueién Puesto que la cantidad de dinero que tenga después der + | jugadas depende de lo suce- dido antes en el juego s6lo par la cantidad de dinero que tengo después de # jugadas, en definitiva se tiene una cadena de Markov. Puesto que las reglas del juego no cambian con. eltiempo, xe tiene una cadena de Markov estacionaria. La matriz de transicién es como si- ‘Bue (el estado i significa que se tienen i dolares): Estado o st 82 83 ofa oo) 1]1—p 0 ol p=2| 0 | 3] 0 o Pp alo 0 Si cl estada es $0.0 $4, el juego se termina, asi que el estado ya no cambia; por consiguien- 1, Poa = Pas = 1. Para los ofros estados, se sabe que con probabilidad p, el estado del si- sguiente periodo excederi el estado actual por |, ¥ con probabilidad 1 — p, estado del ‘siguiente periodo seri | menos que el estado actual. 47. taco cafen én rt? 925