Scribd Logo
Upload

Welcome to Scribd!

  • CAdenasdeMArkovHiller Li

    Uploaded by

    manuel
    6 views31 pages
    OK

    Copyright

    © © All Rights Reserved

    Available Formats

    PDF or read online from Scribd

    Did you find this document useful?

    Is this content inappropriate?

    Report this Document
    OK

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    6 views31 pages

    CAdenasdeMArkovHiller Li

    Uploaded by

    manuel
    OK

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    of 31
    16.1 16 Cadenas de Markov El capitulo anterior se dedicd a la toma de decisiones ante la incertidumbre de uno o més ‘eventos futuros (con la intencién de conocer el verdadero estado de la naturaleza. Sin embar- 0, algunas decisiones deben tomar en cuenta la incertidumbre acerca de muchos eventos fu- turos, Ahora se presentaré el trabajo para la toma de decisiones en este contexto mas amplio. En particular, este capftulo presenta modelos de probabilidad para procesos que evolucio- nan on cl tiempo de una mancra probabilistica. Tales procesos se Iaman provesos estocisticos. Después de una introduccién breve de los procesos estocésticos generales en la primera sec- asi P(Dyy = OF = P{D,. = T= PUD, =2}= ; =0.184, P{D,,1 23) = 1- P(D yxy $2} = 1- (0.368 + 0.368 + 0.184) = 0.080, Paracl primer renglon de B, se trata de la transicién del estado X, = Vaalgiinestado X,,.1 ‘Como se indica al final de la seccién 16.1, X= md (3-D,1,0} si X, =0. Por Jo tanto, para la transicién a X,,1=3, X;4,=20 X,,, =], Pos = P{Dz4 = 0} = 0.368, Por = P(Dz41 = 1 = 0.368, Por = PCD, , =2} =0.184. 806 16 Cadenas de Markov Una transicién de X, =0.a X,,, =0 implica que la demanda de c4maras en la semana +1 €s 3 o més, después que se agregaron 3 cdmaras al inventario agotado el principio de la semana, de manera que Poo = P{D,4, 23} = Para los otros dos renglones de B, la fSrmula al final de la seccién 16.1 paral siguiente es- tado es Xa= mde {X, Dy 0) i X27 .080. Esto implica que X,,1 < X, entonces, p> = 0, py = Oy py; = 0. Paralas otras transiciones, Pu= PD = .368, Pro = PW, 2 1} = 1 PW,., =0} = 0.632, Par = P{D,, = 0} =0.268, Pu = P{D a= 1.368, Pao = P(Dyyy 22}=1- P{D,,1 $1} = 1- 0.368 + 0.368) = 0.264. Para el ultimo rengion de P, la semana f + 1 comienza con 3 camaras ¢n inventario y los cdlcu- los de las probabilidades de transicién son justo las mismas que para el primer rengl6i consecuencia, la matriz.de transicién completa es Esado 0 1 2 3 0 — [0.080 0.184 0.368 0.368 1 [0.632 0368 0 ©600 2 10.264 0.368 0.368 0 3 [0.080 0.184 0.368 0.368 P La informacién dada por la matriz.de transicién también se puede describir con el diagra- ma de transicién de estados de la figura 16.1. Los cuatro estados posibles para el mimero de ‘cdmaras que se tienen al final de la semana se representan por los cuatro nodos (circulos) enel FIGURA 16.1 Diagrama de transicién de estados para el ejemplo de inventarios de una tienda de chmaras. 16.2 Cadenas de Markov 807 diagrama. La flechas muestran las transiciones posibles de un estado a otro 0, en ocasiones de rregreso al mismo estado, cuando la tienda de cdmaras va de! final de una semana al final de la siguiente. Fl nimero junto a cada flecha da la probabilidad de que ocurra esa transicién en particular cuando la tienda de cémaras esté en el estado en la base de la flecha. Otros ejemplos de cadenas de Markov Un ejemplo de acciones. Considere el siguiente modelo para cl valor de una accién. Al final de un dia dado se registra el precio. Sila accidn subi6, la probabilidad de que suba mafia~ nas 0.7. Silaaccién baj6, la probabilidad de que suba mafiana es s6lo 0.5. Estaes una cadena de Markov, en donde el estado 0 representa que el precio de la accién sube y el estado 1 repre- senta que baja. La matriz. de transicidn esté dada por Estado 0 1 _ 0 [07 03 “1 [os os Un segundo ejemplo de acciones. Suponga ahora que cl modelo del mercado de ac- ciones se cambia de manera que el que una accién suba o no mafiana depende de si subié ono hoy ayer. En particular, sila accién subié los dos dias, ayer y hoy, la prohabilidad de que stba ‘mafana cs 0.9. Sila accién subié hoy pero ayer bajé, mafiana subiré con probabilidad de 0.6. Si la accidn bajé hoy pero ayer subid, entonces majiana subiré con probabilidad de 0.5. Por liltimo, si baj6 durante estos dos dfas, la probabilidad de que mafiana suba es 0.3. Si se define elestadv cum la representacién del hecho de que la accién baje 0 suba hoy, el sistema ya noes una cadena de Markov. Sin embargo, se puede transformar en una si se definen los estados como sigue:! Estado 0: Ja accion aumenté hoy y ayer. Estado 1: la accién aumenté hoy y ayer baj Estado 2: la accién bajé hoy y ayer aumenté. Estado 3: In accién bajé hoy y ayer. Esto conduce a una cadena de Markov de cuatro estados con la siguiente matriz de transicidn: Beso, 0 1 2G 09 0 01 0 060 04 0 0 05 0 05 0 030 07 anne Ejemplo de juego. Otro ejemplo se refiere al juego. Suponga que un jugador tiene $1 y que cada jugada gana $1 con probabilidad p> 0° pierde $1 con probabilidad 1 - p. Eljuego termina cuando el jugador acumula $3 o bien cuando quiebra. Este modelo es una cadena de Este ejemplo demuestra que las cadenas de Markov pueden incorporar una cantidad arbitraria de historia, peroacos- ‘ta de aumentarsignificativamente el niimero de estados. 16.3 16 Cadenae de Markov ‘Markov en la que los estados representan la fortuna del jugador, esto es, 0, $1, $2.0 $3, y con ‘matriz.de transicién dada por Estado oO 1 2 3 0 1 0 0 0 1 jl-p 0 p 0 P- 3 0 l-p 0 p 3 oO oO ol Note que tanto en el ejemplo de inventarin como en el del jugador, las etiquetas numéri- cas de los estados que alcanza el proceso coinciden con la expresidn fisica del sistema —es de- cir, los niveles de inventario real y la fortuna del jugador, respectivamente—inientras que las, ‘etiquetas numéricas de los estados en el ejemplo de la accién no tienen significado fisico. ECUACIONES DE CHAPMAN-KOLMOGOROV En la seccién 16.2 se introdujo la probabilidad de transicién de m pasos p\". Las ecuaciones de (Chapman-Kolmogoroy proporcionan un método para calcular estas probabilidades de transi- cién de n pasos: a 2 => pM elt”, para todai = 0, 1, & J=9,1,. para cualquier m = 1, 2,...,0—1, n=m+l,m42,...1 Estas ecuaciones simplemente sefialan que al ir del estado i al estado en » pasos, el proce- soestaré en algiin estado k después de exactamente m (menor que) pasos. Asi, p{ p{""™ es sélo la probabilidad condicional de que, sial comenzar en el estado, el proceso vaya al estado k después de m pasos y después al estado j en mm pasos. Al resumir estas probabilidades condicionales sobre todos los estados posibles k se debe obtener p{", Los casos especiales de m=) ae n— 1 conducen a las expresiones 2 = Za 2 of = “he pass para todos los estados/ yj, de lo cual resulta que las probabilidades de transicidn de n pasos se pueden obtener a partir de las probabilidades de transicién de un paso de manera recursiva, Esta relacién recursiva se explica mejor con la notacién matricial (véase el apéndice 4). Para n=2, estas 5 expresiones se vuelven Pp = Lemp Para toda 2Bseas ecuaciones también se cumplen en el caso trivial, cuando m= 0.0m = m, pero m= 1,2,... = 1 son los tnicos casos de interés, 16.3 Ecuaciones de Chapman-Kalmogarov 809 Note que las p??) son los elementos de la matriz P®), pero también debe observarse. que estos elementos se obtienen multiplicando la matriz de transciGn de un paso pors{mismacestoes, P® =p. p= p?, ~ Lindican De la misma manera, las expresiones anteriores para PS? cuando m= Ly m= que la matriz de probabilidades de transicién de » pasos es PO = ppl) _ pl-dp Entonces, la matriz de probabilidades de transicién de pasos P" se puede obtener calculan- do la n-ésima potencia de la matriz de transicién de un paso P. Matrices de transicién de n pasos para el ejemplo de inventarios De nuevo en el ejemplo de inventarios, la matriz de transicidin de un paso P, obtenida en la seccién 16.2, puede usarse para obtener la matriz de transicién de dos pasos P?: 0.080 0.184 0.368 0.368]/0.080 0.184 0.368 0.368 0.632 0.368 0 0 loss 0.368 0 o 0.264 0.368 0.368 0 |/0.264 0.368 0.368 0 0.080 0.184 0.368 0.368 ]|0.080 0.184 0.368 0.368 0.249 0.286 0.300 0.165 0.283 0.252 0.233 0.233 0.351 0.319 0.233 0.097|" 0.249 0.286 0.300 0.165 Asi, dado que se tiene una cémara al final de una semana, la probabilidad de que no haya cé- maras en inventario dos semanas desput .283; es decir, pi?) — 0.283. De igual manera, dado que se tienen dos cdmaras al final de una semana, la probabilidad de que haya tres cma ras cn cl almacén dus semanas después ¢s 0.097; esto es, p2) = 0.097. ‘Lamatriz de transicién de cuatro pasos tambien se puede obtener de la siguiente manera: Pp -p4_ pe, pa) 0.249 0.286 0.300 0.165)/0.249 0.286 0.300 0.165 . 0.283 0.252 0.233 0.233 ||0.283 0.252 0.233 0.233 “|0.351 0.319 0.233 0.097 |/0.351 0.319 0.233 0.097 0.249 0.286 0.300 0.165]|0.249 0.286 0.300 0.165 0.289 0.286 0.261 0.164 _ 0.282 0.285 0.268 0.166 “10.284 0.283 0.263 0.171)" 0.289 0.286 0.261 0.164 Asi, dado que queda una cémara al final de una semana, 0.282 es la probabilidad de que no haya cdmaras en inventario 4 semanas més tarde; cs decir, p{? = 0.282. De igual manera, PO = pr 16 Cadenas de Markov 16.4 dado que quedan dos cdmaras en el almacén al final de una semana, se tiene una probabilidad de 0.171 de que haya tres cémaras en el almacén 4 semanas después; estoes, p{? = 0.171. EIOR Courseware incluye una rutina para calcular P”) = P” para cualquier entero posi- tivo n <99. Probabilidades incondicionales del estado Se hizo notar que las probabilidades de transicién de uno o de pasos son probabilidades con- dicionales; por ejemplo, P(X, = j|Xo =i) = pif). Si se desea la probabilidad incondicional P{X, = j},€8 necesario que se especifique la distribucién de probabilidad del estado inicial, 0 sea, P(Xp =i} parai=0, 1,...,M. Entonces PIX, = P(X =0) pf) + P{Xy = Uh py) + + P(X = Md pS} Encl ejemplo de inventarios se supuso que al inicio se tenan tres unidades en inventario; es decir, Xp = 3. Asi, P{Xp = 0} = P{Xy = I} = P{Xp =2}=Oy P{Xp = 3}= 1. Por tanto, la probabilidad (incondicional) de que haya tres cdmaras en inventario dos semanas después de que el sistema se puso en marcha es P{X, = 3} = (1)p2 = 0.165. CLASIFICACION DE ESTADOS EN UNA CADENA DE MARKOV. Es evidente que las probabilidades de transicién asociadas a los estados juegan un papel im- portante en cl estudio de las eadenas de Markov. Para describir con més deralle las propieda~ des de una cadena de Markov es necesario presentar algunos conceptos y definiciones que se refieren a estos estados. Se dice que cl estado j es accesible desde cl estado: si p{” > 0 paraalgunam > 0. (Recuer- de que p{” es s6lo la probabilidad condicional de legar al estado j después de » pasos, sie sis- tema esti en el estado.) Entonces, que el estado j sea accesible desde el estado significa que ¢s posible que el sistema llegue eventualmente al estado j si comienza en el estado i. En el cjcimplo de inventatios, p2 > 0 para todo i, j de mancra que cada estado es accesible desde cualquier otro estado. En general, una condicién suficiente para que fdas los estados sean ac- cesibles es que exista un valor de m para el que p{” >U para todo # yj. Enel ejemplo del juego dado al final dela seccién 16.2, elestado 2 no es accesible desde el estado 3. Esto se puede decir del contexto del juego (una ver que el jugador lege al estado 3, nunca deja este estado), lo que implica que p(") = 0 para toda 2 0. Sin embargo, aun cuan- do el estado 2 no es accesible desde el estado 3, el estado 3 sf es accesible desde el estado 2 ya que, para = 1, la matriz.de transicién dada al final de la sccci6n 16.2 indica que py3 = p> 0. ‘Sicl estadoj es accesible desde el estadoi y el estado ies accesible desde el estadoj, enton- ces se dice que los estados i yj se comunican. En cl ejemplo de inventarios, todos los estados se comunican. En el ejemplo del juego, los estados 2 y 3 no se comunican. En genes 1. Cualquier estado se comunica consigo mismo (porque p) = P{Xq 2. Sielestadod se comunica con el estadoj, eutonces cl estadoy sc comunica con el estadoi. 3. Siclestado se comunica con el estado fy el estado j se comunica con el estado k, enton- ces el estado i se comunica con el estado k. La propiedades 1 y 2 se deducen de la definicién de estados que se comunican, mientras que la propiedad 3 se deriva de las ecuaciones de Chapman-Kolmogorov. 16.4 Clasificacion de estados en una cadena de Markov Bul Como resultado de estas propiedades de comunicacién, se puede hacer una particién del espacio de estados en clases ajenas, en donde se dice que dos estados que se comunican perte- necen a Ja misma clase. (Una clase puede consistir en un solo estado.) Si existe sdlo una clase, es decir, si todos los estados se comunican, se dice quela cadena de Markov es irreducible. En el ejemplo de inventarios, Ia cadena de Markov es irreducible. En el primer ejemplo de las ac- ciones (seccién 16.2), la cadena de Markov es irreducible. El ejemplo del juego contiene tres clases; cl estado 0 forma una clase, clestado 3 forma una Llase y lus estadlus Ty 2 fonunran usta clase. Estados recurrentes y estados transitorios Con frecuencia es itil hablar sobre si un proceso que comienza en un estado regresaré alguna vez a este estado. La siguiente es una posibilidad. Un estado se llama estado transitorio si, después de haber entrado a este estado, el proceso nunca regresa al, Por consiguiente, el estado es transitorio si y sélo si existe un estado (j #1) que es accesible desde ef estadioj, pero no viceversa, est0 es, el estado no es aecesible dese el estado j Asi, si el estado ies transitorio y el proceso visita este estado, existe una probabilidad positiva (quizd incluso de 1) de que el proceso se moveré al estado j y nunca regresaré al estado i, En consecuencia, un estado transitorio seré visitado sélo un niimero finito de veces. ‘Cuando se inicia en el estado‘, otra posibilidad es que el proceso definitivamente regresea ese estado, Sedice que un estadocs recurrente si, después de haber entrado aeste estado, el proceso defini- tivamente regresari-a ese estado. Por consiguiente, un estado es recurrent si s6lo sino es tran- sitorio. ‘Ya que un estado recurrente serd visitado de nuevo después de cada visita, podria ser visitado tun ntimero infinito de veces si el proceso continuara por siempre. Siel proceso entra a cierto estado y permanece en este estado al siguiente paso, se consi- dera un regreso a ese estado. Entonces, ¢l siguiente tipo de estado se considera un tipo especial de estado recurrente. ‘Un estado se llama estado absorbente si, después de haber entrado ahi el proceso munca saldrd de ese estado. Por consiguiente, el estado # es un estado absorbente si y sélo_ En ha seccidn 16.7 se estudiardn los estados absorbentes con mas detalle. La recurrencia es una propiedad de clase. Es decir, todos los estados en una clase son recu- rrentes o transitorios. Ms ain, en una cadena de Markov de estado finito, no todos los esta~ dos pueden ser transitorios. Entonces, todos los estados de una cadena de Markov de estado finito irreducible son recurrentes. Sin duda, se puede identificar una cadena de Markov de es- tado finito irreducible (y por lo tanto concluir que todos los estados son recurrentes) demos- trando que todos los estados del proceso se comunican. Ya se hizo notar que una condicién suficiente para que todos los estados sean accesibles (y por lo tanto se comuniquen unos con otros) es que exista un valor de, no dependiente dey, para el cual p{?) > 0 para todai yj. Asi, todos los estados en el ejemplo de inventarios son recurrentes, puesto que pes positiva para toda i yj. De manera parecida, el primer ejemplo sobre las acciones contiene s6lo estados Tecurrentes, ya que py es positiva para toda i yj. Al alcular p® para toda y jen el segundo ¢jemplo de acciones, se concluye que todos los estados son recurrentes porque p{?) > 0. B12 16.5 16 Cadenas de Markov ‘Como ejemplo, suponga que un proceso de Markov tiene la siguiente matriz P: Estado 0123 4 o fL2000 1 |biooo P= 2 |00100 2 loo dz0 4 110000 Es evidente que el estado 2 ¢s absorbente (y por lo tanto recurrente) porque siel proceso en- ta en él (tercer rengl6n de la matriz), nunca sale, El estado 3 es transitorio porque una vez gue el proceso se encuentra en este estado, existe una probabilidad positiva de nunca regrsar La probabilidad de que el proceso vaya del estado 3 al estado 2 en el primer paso es J. Si el Proceso esté en el estado 2, permanece en ese estado. Cuando el proceso deja el estado 4, un- ca vuelve. Los estados 0 y 1 son recurrentes. Para comprobar esto, observe en P que si cl pro- ees0 comienza en cualquicr de estos estaulus, nunca sale de ellos. Todavia mis, siempre que el proceso se mueve de uno de estos estados al otro, siempre regresa al estado original. Propiedad de periodicidad tra propiedad titl de las cadenas de Markov es la de periodicidad. Bl periodo de un estado i sedefine como el entero (¢ > 1)si p{ = 0 para todos los valores de m distintos de t,t, 3... yes el entero més grande con esta propiedad. En el problema del juego (fin de la seccién. 16.2), al comenzar en el estado 1, es posible que el proceso cnttc al estado 1 slo en los tiem- pos 2, 4,..., en cuyo caso se dice que el estado 1 tiene periodo 2. Esto es evidente si se observa que el jugador puede salir a mano (ni ganar ni perder) sélo en los tiempos 2, 4,..., lo que se puede verificar si se calcula p(t) para toda n y se observa que p(") = 0 para n impar. Siexisten dos nimeros consecutivos sy (s+ 1) tales que el proceso puede encontrarse en el estadojen los tiempos sy s +1), sedice que el estado tiene periodo 1 yse lama aperiédico. Igual que la recurrencia es una propiedad de clase, se puede demostrar que la periodi dad también es una propiedad de clase. Esto es, si el estado # en una clase ticne perivdo f, to- dos los estados de esa clase tienen periodo t. En el ejemplo del juego, el estado 2 tiene periodo 2 porque esté cn la misirma Clase que el estado 1 y como se vio, el estado 1 tiene periodo 2. En una cadena de Markov de estado finito, los estados recurrentes aperiddicos se llaman exgédicos. Se dice que una cadena de Markov es exgéica si todos sus estados son ergédicos. PROPIEDADES A LARGO PLAZO DE LAS CADENAS DE MARKOV. Probabilidades de estado estable En la seccién 16.3 se obtuvo la matriz de transicién de cuatro pasos para el ejemplo de inven tarios. Conviene examinar las probabilidades de transicién de ocho pasos dadas porla matriz. Estado, oO 1 2 3 0 0.286 0.285 0.264 0.166 1 |0.286 0.285 0.264 0.166 2 0.286 0.285 0.264 0.166 3 [0.286 0.285 0.264 0.166. P® =p? =pt.ps- 16.5 _Propiedades a largo plazo de las cadenas de Markov AIR Es notorio el hecho de que cada uno de los cuatro renglones tiene elementos idénticos. Esto significa que la probabilidad de estar en el estado después de ocho semanas parece ser inde- pendiente de! nivel de inventario inicial. En otras palabras, parece que existe una probabili- dad limite de que el sistema se encuentre en el estado j después de un mimero grande de transiciones, y que esta probabilidad es independiente del estado inicial. Estas propicdades del comportamiento a largo plazo de un proceso Markov de estado finito de hecho se cum- pln cu condicivucs iclativaniente generales, como se resume en seguida. Para una cascna de Markov ireducible ergddica el lim p{" existe yes independiente de Més atin, aoe: in po HPs donde lass; satisfacen de manera tinica as siguientes ecuaciones de estado estable j= Sip, para j=0,1,.0.44, 3 rj>0, Las 2; sc llaman probabilidades de estado estable de la cadena de Markov. El término pro- babilidad de estado estable significa que la probabilidad de encontrar el proceso en cierto estado, digamos j, después de un mimero grande de transiciones tiende al valor m,, yes inde- pendiente de la distribucién de probabilidad inicial definida para los estados, Es importante ‘observar que la probabilidad de estado estable a significa que el proceso sc cstablezca cn un estado. Por el contrario, el proceso contimia haciendo transiciones de un estado a otro y en cualquier paso 7 la probabilidad de transicién del estado i al estado j es todavia py. ‘También se pueden interpretar las ; como probabilidades estacionarias (que no deben confuundirse con las probabilidades de transicién estacionarias) en el siguiente sentido. Si la probabilidad absoluta de encontrarse en estado estd dada por zr; (esto es, P{Xo = j} = m;) para todaj, entonces la probabilidad absoluta de encontrar el proceso en el estadoj encl tiem- po n=l, 2,...también estd dada por , (es decir, P(X, =f) = )). Debe observarse que las ecuaciones de estado estable consisten en M + 2ecuaciones con 4M + Lincdgniras. Como el sistema tiene una sohucidn tinica, al menos una de las ecuaciones debe ser redundante, por lo que se puede eliminar. No puede ser la ecuacién Saj=1 % porque w; = 0 para toda j satisfurfa las otras Mf +1 ecuaciones. Es mds, las soluciones de las. otras M + lecuaciones de estado estable tienen una solucién tinica con una constante multi- plicativa yes la ecuacién final la que fuerza la solucién a ser una distribucién de probabilidad. ‘De nuevo en el ejemplo de inventarios, las ecuaciones de estado estable se pueden expre- sar como ‘0Poo + i Pio + 12 P20 + 13 P20» Por * 7 1Pis 2 P21! HsPsis Mo Por + 71 Piz + %2 Par + Hs P3025 ‘oPos + %1P13 + 2 P23 + 3 Pa» 0 +H, HR, tH3, Bla 16 Cadenae de Markov Al sustituir los valores de pj; en estas ecuaciones se obtiene .080zr» + 0.63221, + 0.2641, + 0.080z5, 0.1849 + 0.3687, + 0.3687, + 0.18475, 3687 + 0.36821 + 0.368713, 0.36820 + 0.36873, Mot Mt yt. ‘Cuando se resuelven las titimas cuatro ecuaciones se llega a la solucién simuleénea 1p =0.286, 7 ,=0.285, 2, =0.263, 3 = 0.166, que en esencia son los resultados que aparecen en la matriz P™, Asi, después de muchas sema- nas, la probabilidad de encontrar cero, una, dos y tres c4maras en el almacén tiende a 0.285, 0.285, 0.263 y 0.166. EIOR Courseware incluye una rutina para resolver las ecuaciones de estado estable para obtener las probabilidades de estado estable. Existen otros resultados importantes respecto a las probabilidades de estado estable. En particular, si y j son estados recurrentes que pertenccen a clases distintas, entonces 0) = Pi) =0, para toda n. Este resultado es una consecuencia de la definicién de clase. De manera parecida, sij es un estado transitorio, entonces lim pf =0, para toda i. welt Este resultado significa que la probabilidad de encontrar el proceso en un estado transitorio después de un niimero grande de transiciones es cero. Costo promedio esperado por unidad de tiempo Lasubseccién anterior estudié las cadenas de Markov cuyos estados son ergédicos (recurren- tes positivos y aperiddicos). Si se relaja el requerimiento de que las estados sean aperiddicas, entonces ¢l limite ‘mn po? mm By puede no existir. Para ilustrar este punto, considere la matriz. de transicién de dos estados Estado 0 1 > fol Siel proceso comienza en el estado 0 en el tiempo 0, estard en el estado 0 en los tiempos 2, 4, 6,...yenelestado 1 en los tiempos 1, 3, 5,...Entonces p{") =1sin es pary p$%) =Osines im- par, de manera que el P 16.5. Propiedades a largn plaza de lac cadanae de Markoy gis no existe. Sin embargo, el siguiente limite siempre existe para una cadena de Markov irreduci- ble con estados recurrentes positivos 1S ow sa (GEa = endonde las zr; satisfacen las ecnacinnes de estado estable dadas en la subseccién anterior. Este resultado es en extremo importante al calcular el costo promedio a la larga por unidad de tiempo, asociado a una cadena de Markov. Suponga que se iucurre en un costo (u ora fan- cién de penalizacién) C(X, ) cuando el proceso se encuentra en el estado X, en el tiempo t, parar=0, 1, 2,... Note que C(X; )cs una variable aleatoria que toma cualquiera de los valores C(O), C(2),..., CAA) y que la funcién C(-) es independiente de z. El costo promedio esperado en el que se incurre a lo largo de los primeros m periodos est dado por la expresién 1e E [: 2 acx, Si se usa el resultado de que tn Ea pa ra se puede demostrar que el costo promedio esperado por unidad de tiempo (ala larga), esté dado por * x Mim et Sax,| = 2 jC). aoe [ny a A manera de ejemplo, considere el problema de inventarios introducido en la seccién 16.1. Suponga que la tienda de cdmaras encuentra que sc debe asignar un cargo por almace- namiento por cada cdmara que permanece en la tienda al final de la semana, El costo se carga como sigue: 0 si x,-0 2 si xl On) gg Woot x, =3 Fl costo promedio esperado por semana, a la larga, por mantener el inventario, se puede ob- tener de la ecuacién anterior; esto ¢s, lim ay ax] = 0.286(0) + 0.285(2) + 0.263(8) + 0.166(18) = 5.662. woe Ln Observe que otra medida del costo promediv esperado (a la larga) por unidad de tiempo ¢s el costo promedio real por unidad de tiempo (a la larga). Se puede demostrar que esta iltima medida est dada por tin? Soex)]- Sascu 16.5 Propiedades P60 plazo de las valeiias Ue Markov Bi costo de $50 por unidad. Entonces, dada la politica de ordenar descrita en la seccién 16.1, cl costo en la semana t esté dado por = {10+ (25)(3) + 50 max {D, -3,0} si X,_, =0 atk D9 ={%) max {D, - X,_,0} Ce aa parat=1,2,. Fn eoneernencia, C(O, D,) = 85 +50 max {D, -3,0}, de manera que (0) = E{C(O, D,)} = 85+50E(méx {D, - 3,0}) = 85+ 5U[Pp(4) +2Pp(8) +3Pp6) +], donde Pp ) 1, este tiempo de primera pasada es. sila primera transici6n es del estado ia algtin estadok (k#) y después el tiempo de primera pasada del estado kal estado j es n ~ 1. Por lo tanto, es- tas prohabilidades satisfacen las siguientes relaciones recursivas: SP = PP = by, SP =D taf? i HP Deas. i Entonces, la probabilidad de un tiempo de primera pasada del estado ialj en » pasos, se pue- de caleular de manera recursiva, a partir dc las probabilidades de transicién de un paso. 16.6 Tiampae de primera pasada 819 En el ejemplo de inventarios, la distribucién de probabilidad de los tiempos de primera pasada al ir del estado 3 al estado 0 se obtienen de las relaciones recursivas como sigue: FS) = 30 = 9.080, £9) Pn f+ Peo £2) + bas fD = 0.184(0.632) + 0.368(0.264) + 0.368(0,080) = 0.243, donde fsx y Fi) = Pio 8e obtienen de la matriz de transicién (de una paso) dada en la scecién 16.2. Para y, fijos, las f{" son németos no negativos tales que x ffs. ml Desafortunadamente, esta suma puede ser estrictamente menor que 1, lo que significa que un Proceso que al iniciar se encuentra en el estado # puede nunca alcanzar el estacio j. Cuando la suma s{ es igual a 1, las f{ (para » = 1, 2, ..) pueden considerarse como una distribucién de probabilidad para la variable aleatoria, el tiempo de primera pasada. ‘Mientras que puede ser tedioso calcular f{” para toda, es relativamente sencillo obte- ner el tiempo esperado de primera pasada del estado i al estado j. Sea uy esta esperanza, que se define como Ps aye Hy =) 0 Eup dgra Siempre que Earn g Satisface, de manera tinica, la ecuacién mg a1 D Paty Esta ecuacién Teconoce que la primera transicién desde el estado i puede ser al estado j 0 al- guin otro estado k. Si es al estado , el tiempo de primera pasada es 1. Dado que la primera transicidn es a algiin estado k (k# 4), lo que ocurre con probabilidad py , el tiempo esperado de primera pasada condicional del estado ial estado j es 1+ s14,. Al combinar estos hechos, y sumar sobre todas las posibilidades para la primera transicién, se llega a esta cwuacidn. En el ejemplo del inventario, estas ecuaciones para 1 se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cémaras en el almacén, dado que el proceso inicia cuando se tienen tres cdmaras; ¢s decir, se puede obtener el tiempo esperado de primera pasa- da 1139. Como todos los estados son recurrentes, el sistema de ecuaciones conduce a las expre- siones Hao = 1+ Paittro + PsrH20 + Paatts0> 29 = 1+ Paitia + Pr220 + PrsHtao» Myo = 1+ Puittio + Fratton + Pisls0> 820 16.7 16 Cadenas de Markov Hap = 14+ 0.184149 + 0.368199 +0.368y130, Haq = 140,368 1419 + 0.368120, io = 1+ 0.368419. La solucién simulranea de este sistema es Myo = 1.58 semanas, Haq = 2.51 semanas, 2439 = 3.50 semanas, de manera que el tiempo esperado hasta que la tienda se queda sin cdmaras es 3.50 semanas. Al hacer estos célculos para j139 también se obtienen 139 Y #419. Parael caso de j.j con j = i, ,esel ntimeroesperado de transiciones hasta que el proceso regresa al estado inicial i, y se llama tiempo esperado de recurrencia para el estado i. Des- pués de obtener las probabilidades de estado estable (169, 2¢),...521,4) commu se describi6 en la seccién anterior, los tiempos esperados de recurrencia se calculan de inmediato como Entonces, para cl ejemplo de inventario, donde 29 = 0.286, 1, = 0.285, 13 = 0.263 y 33 = 0.166, los tiempos de recurrencia esperados correspondientes son Hog = 2-= 3.50 semanas, 2, = 1 = 3.80 semanas, a a py = b= 3.81 semanas, pg, = 2-= 6.02 semanas, ESTADOS ABSORBENTES Sc sefiuld cx la seccidn 16.4 que el estado k se llama estado absorbente si py = 1, de manera que ‘una vez que la cadena llega al estado permanece ahi para siempre. Sif es un estado absorben- teyel proceso comienza en el estado, la probabilidad de llegar en algiin momento ak se llama probabilidad de absorcién al estado k, dado que el sistema comenz6 en el estado. Esta pro- babilidad se denota por fy. Sise tienen dos o més estados absorbentes en una cadena de Markov y ¢s evidente que el proceso ser absorbido en uno de estos estados, es deseable encontrar estas probabilidades de absorciGn. Dichas probabilidades pueden obtenerse con sdlo resolver un sistema de ecuacio- nes lineales que considera todas las posibilidades para la primera transicin y después, dada la primera transicién, considera la probabilidad condicional de absorcién al estado &. En parti- cular, si el estado & es un estado absorhente, entonces el conjunto de probabilidades de absor- idn fi satisface el sistema de ecuaciones fa= 2 Pi fas parai=0,1,...,.M, ie sujeta a las condiciones ful, fa=0, siclestado ies recurrente ei # k. 16.7 _Fetadioe ahenrhantas 821 Las probabilidades de absorcin son importantes en las caminatas aleatorias. Una cami- nata aleatoria es una cadena de Markov con la propiedad de que, sie sistema se encuentraen elestado#, entonces en una sola transicién, o bien permanecerd en i 0 sc moveré a uno de los dos estados inmediatamente adyacentes ai. Por ejemplo, la caminata aleatoria con frecuencia ‘Sc usa como mouelu para situaciones que incluyen juegos de azar. Para ilustrar, considere un tjemplo sobre juegos de azar similar l presemtad en fa sec- ion 16.2, pero ahora suponga que dos jugadores (A y B), con $2 cada uno, aceptan seguir ju- gandoyy apostando $1 cada vezhasta que uno de ellos quiehre. La probabilidad de que A gane luna apuesta es 4, por lo que la probabilidad de que gane Bes 2. El mimero de délares que tiene el jugador A antes de cada apuesta (0, 1, 2, 3 0 4) proporciona los estados de una cadena de ‘Markov con matriz.de transicién Estado 0.123 4 oO 10000 1 j20}00 P= 2 |0 30 } ol. 3 joozo} 4 loooo1 Comenzando en el estado 2, la probabilidad de absorcién al estado 0 (A pierde todo su di ro) se puede obtener a partir del sistema de ecuaciones anterior como fay = },y la probabil- dad de que A gane $4 (B quiebre) esti dada por f,4= 4. Existen muchas otras situaciones en las que los estados absorbentes juegan un papel im- portante. Considere una tienda de departamentos que clasifica el saldo de la cuenta de un cliente como pagada (estado 0), 1 a 30 dias de retraso (estado 1), 31 a 60 dfas de retraso (esta- do 2) omala deuda (estado 3). Las cuentas se revisan cada mes y se determina el estado de cada cliente. En general, los créditos no se extienden y se espera qu¢ los clientes paguen sus cuentas dentro de 30 das. En ocasiones, los clientes pagan sdlo una parte de su cuenta. Si esto ocurre cuando el saldo queda dentro de los 30 dias de retraso (estado 1), la tienda considera que este cliente permanece en el estado 1. Si esto ocurre cuando el saldo esté entre 31 y 60 dias de re- traso, la ticnda considera que el licuite se mueve al estado 1 (1 a 30 dias de retraso). Los clien- tes que tienen més de 60 dias de retraso se clasifican en la categoria de una mala deuda (estado 3); y envia las cuentas a una agencia de cobro. Después de examinar los datos de afios anteriores, la tienda ha desarrollado la siguiente matriz de transicién:! saldo I: 130 dias 31 2.60 dias de retrazo 3: mala deuda 0: cuenta pagada 0 ° I: 1230 dias de 02 ° retraso 2: 31 260 dias de o 02 retraso }:_mata deuda ° “Los clientes que pagaron su sao (en el estado 0) y después se retrasan en el pago de nuevas compras se consideran clientes “nuevos” que inician en el estado I. 922 16.8 16 Cadenas de Markov Aunque cada cliente acaba por llegar al estado 0 o al estado 3, latienda se interesa en determi- nar la probabilidad de que un cliente llegue a ser una mala deuda dado que la cuenta pertenece alestado 1 a 30 dias de retraso, y de igual forma, si se encuentra cn 31 a 60 dias de retraso. Para obtener f,3 y fag debe resolverse el conjunto de ecuaciones presentado al principio de esta secciGn, Las siguientes dos ecuaciones se obtienen por sustitucién: fis ~ pw fos ' pufis * Pia fis * Pia fia» fas = Pro fos + Par fis + Pro fas + Pos fas Como fos = Oy fas = 1, ahora se tienen dos ecuaciones con dos incdgnitas, esto ¢s, (= pudfis= Pia + Pra fra» (~ Par) fas = Pas + Par fis: Al sustituir los valores de la matriz de transicién se llega a 0.8 fi3 = 0.193, 0.853 =0.2+0.1f;3, y la solucién es fia = 0.032, ‘fag = 0.254. Entonces, alrededor de 3% de los clientes cuyas cuentas tienen 1 a 30 dias de retraso, y 25% de los clientes con 31 2 60 dias de retraso llegan a ser una mala deuda. CADENAS DE MARKOV DE TIEMPO CONTINUO ‘Todas las secciones anteriores hacen la suposicidn de que el pardmetrot del tiempo es discreto (cs decir, t= 0, 1, 2,..). Esta suposicién es adecuada para muchos problemas, pero existen ciertos casos (como en algunos modelos de I{neas de espera) en los que se requicre un paré- metro (llamado £’) de tiempo continuo, debido a que la evolucién del proceso se observa de ‘manera continua a través del tiempo. La definicién de una cadena de Markov dada en la sec- cidn 16.1 también se extiende a esos procesos continuos. Esta seccidn est dedicada a la des- cripcién de estas “cadenas de Markov de tiempo continuo” y sus propiedades. Formulacién Como antes, sc ctiquetan los estados posibles del sistema 0, 1,..., Mf. Comenzando en el tiempo 0 y dejando que el pardmetro de tiempo t' corra de manera continua para’ 0, sea la variable aleatoria X(¢’)el estado del sistema en el tiempo’. Entonces X(t") toma uno de sus (4 +1) valores posibles en un intervalo 0 f'< fy, después salta a otro valor en el siguiente intervalo, < #” < fy y as{ sucesivamente, donde los puntos de transito (f), f,...) Son puntos aleatorios en el tiempo (no necesariamente enteros). Ahora considere los tres puntos en el tiempo 1) 2" = r (donder 0),2) "= s(donde s> r) +1 (donde r > 0), interpretados como sigue: ‘es un tiempo pasado, es el tiempo actual, + sf unidades hacia el futuro. 16.8 _Cadenas de Markov de tiempo continuo 823 Por lo tanto, el estado del sistema se ha observado en los tiempos "= sy’ = r. Estos estados se etiquetan como XW=i y Xo)=a0. Dada esta informacién, el paso natural es buscar la distribucién de probabilidad del estado del sistema en el tiempo t’ = s+ r. En otras palabras, écudl es la probabilidad PAX(s+t)= j|X(s)=iy X(r)=x(r)}, para j=0,1,...,M? ‘Sucle ser muy dificil derivar estas probabilidades condicionales. Sin embargo, esta tarea ‘se simplifica mucho siel proceso estocistico involucrado posee la siguiente propiedad clave. ‘Un proceso estocistico de tiempo continuo (X +"); 12 O}tiene la propiedad markoviana si PAX (E+ 8) = jX()= fy X= r)} = P(X(+ 3)= f1X(s)= 9, para toda, j=0,11,...,My para todar20,5> ry#>0. Observe que P{X(¢ + 5) = j| X(s)= i} ¢s una probabilidad de transicién, igual alas pro- babilidades de transicién de las cadenas de Markov de tiempos discretos estudiadas en las sec- ciones anteriores, donde Ia tinica diferencia es que ahora no es necesario que f sea entero. Si as probabilidades de wansicin son independientes de 5, de manera que PUX(e+ 9= j1X()= A= PX()= 1XO)- 9, para toda s> 0, se llaman probabilidades de transicidn estacionarias. Para simplificar la notacién se denotardn estas probabilidades estacionarias por by (t)= PAX()=j1XO)= 4}, endonde se hard referenciaa pi (t)como la funcién de probabilidad de transicién de tiem- po continuo. Se supone que 1 siizj sigeto= {9 Si ‘Ahora se pueden definir las cadenas de Markov de tiempo continuo que se estudiarin en esta seccién, Un proceso estocéstico de tiempo continuo {X(t"); t"2 0} es una cadena de Markov de tiempo continuo si tiene la propiedad markoviana. Jui se restringiré el estudio a las cadenas de Markov de ticmpo continuo con las siguientes ; fs 1p iB propiedades. 1, Un mimero finito de estados. 2. Probabilidades de transicién cstacionarias. Algunas variables aleatorias importantes En cl antilisis de las cadenas de Markov de tiempo continuo, un conjunto importante de varia- bles aleatorias es el siguiente. (Cada vez que el proceso entra en el estado i, la cantidad de tiempo que pasa en ese estado antes de moverse a uno diferente cs una variable alcatoria T,, donde #=0, 1, ...,M. 824 16 Cadenas de Markov ‘Suponga que el proceso entraen el estado en el tiempo’ = s. Entonces, para cualquier canti- dad de tiempo fija ¢> 0, observe que T; > F si y s6lo si X(t") =i para toda ¢’ en el intervalo 451’ $ s+, Por lotanto, la propiedad markoviana (con probabilidades de transicidn estaci narias) implica que PAT; >¢+5|T; > 3} = PAT; >t}. Esta ee una condicién bastante rara para una distribucién de probabilidal. Dice que la distri- bbucién de probabilidad del tiempo que fadta para que el proceso haga una transicién fuera de ‘un estado dado siempre es la misma, independientemente de cudnto tiempo haya pasado el [proceso en ese estado. En efecto, la variable aleatoria no tiene memoria; el proceso olvida su historia. Existe s6lo una distribucidn de probabilidad (continua) que posec esta propiedad, la distribucién exponencial. Fsta distribcién tiene un solo pardmetro, Ikimese q, donde la media ¢s 1/q y la funcién de distribucién acumulada es P{T; St}=1-e*, parar20. (En la secci6n 17.4 se describiran con detalle las propiedades de la distribuci6n exponencial.) Este resultado lleva a una forma equivalente para describir una cadena de Markov de tiempo continuo: 1, La variable aleatoria T; tiene una distribucién exponencial con media 1/4, 2. Cuando sale de un estado , el proceso se mueve a otro estado j, con probabilidad pen donde p,; satisface las condiciones Py =0, para todai, y a . Spy =1 para toda i i El siguiente estado que se visita después del estado i es independiente del tiempo que asd en el estado i. Igual que las probabilidades de transicién de un paso jugaron un papel primordial al des- cribir una cadena de Markov de tiempos discretos, el papel andlogo para la cadena de Markov de tiempo continuo lo tienen las intensidades de transicién. Las intensidades de transicién son % ya HC) 44 ~ $2400) ~ tin Ho apy, para toda j 44 4 pa(0)= Mon = 26 : WF, PuO)= Hn =H, para in 0,1, 2,05, donde p(t) es la funcidn de probabilidad de transicién de tiempo continuo introducida al principio dela seccion y p, es la probabilidad descrita en la propiedad 2 del parrafo anterior. Mas ain, 4, segin se defini aqui, también resulta ser el pardmetro de la distribucién exponencial para T; (vea la propiedad 1 del pérrafo anterior). La interpretaci6n intuitiva de q; y qq ¢s que son tasas de transicién. En particular, q; es la asa de rransicién hacia afuern del estado sen el sentido de que q; es ¢l ntimero esperado de veces que el proceso deja cl estado por unidad de tiempo que pasa en el estadoi. (Ast, g; esl reci- 16.8 Cadenas de Markov de tiempo continua 825 proco del tiempo esperado que el proceso pasa en el estado por cada visita al estado i; es de- Gir, 4; = 1/ E[T;}) De manera similar, qi; la tasa de transiciOn del estado i al estado jen el sentido de que q; ¢s el nimero esperado de veces que el proceso transita del estado alestado 4J por unidad de tiempo que pasa en el estado i. Asi, a= Lay je Igual que q, es l pardmetro de la distribucién exponencial para, caca gy es el pardme- tro de una distribucién exponencial para una variable aleatoria relacionada que se describe en seguida, Cada vez que e proceso entra al estado. lacantidad de tiempo que pasaré en elestado‘ antes de ‘que ocurra una transicién al estado j (sino ocurre antes una transicin a algdin otro estado) es tuna variable leatoria Ty, donde i, j= 0, 1,...,.My j # Las Ty son variables aleatorias inde. ppendientes, donde cada T, tiene una dsribuidn exponencal con parimerro q,, de manera que ElTy] = 1/45. Bltiempo que pasaen el estado’ hasta que ocurre una transici6n (T,) es el minima (Sobre j #2) de las Tj. Cuando ocurre la transicidn, la probabilidad de que sea al estado j es i= G5)% Probabilidades de estado estable Igual que las probabilidades de transicién de una cadena de Markov de tiempos discretos sa tisfacen las ecuaciones de Chapman-Kolmogorov, la funcin de probabilidad de transicién de tiempo continuo satisface estas ecuaciones. Entonces, para cualesyuiera estados yj, y ntime- 108 no negativos t ys (0S s Oy ij (P2) >0. Se dice que todos los estados que se comunican forman una clase, Si todos los esta~ dos en una cadena forman una sola clase, es decir, sila cadena de Markov es irreducible (lo que se supondré de aqui en adelante), entonces, Py(@)>0, para toda t > 0 y todos los estados i yj. Més atin, im p()= a, siempre existe y es independiente del estado inicial de la cadena de Markov, para j=0, 1,..., 4M. Estas probabilidades limitantes se conocen como las probabilidades de estado estable (0 prohabilidades estacionavias) de la cadena de Markov. Las 7; satisfacen las ecuaciones a Dim py(t, para j=0,1,..., My para todat20. & %, Sin embargo, las siguientes ecuaciones de estado estable proporcionan un sistema de ecua- ciones més titil para obtener la probabilidades de estado estable: 79; = Lig para j=0,1,...,M. rl 826 16 Cadenas de Markov You dy = La ecuaci6n de estado estable para el estado j tiene una interpretacién intuitiva. Ll lado izquierdo (7, 9,) es la tava ala que e proceso deja el estadoj, ya que x esa probabilidad (de eetado eorable) de que el proceso csid ui clestaluy y 4; es atasa de traisicion hacia atuera dey dado que l proceso se encuentra en el estado. De manera similar, cada término del lado de Techo (794) esla tase a la que el proceso enraal estado, desde elestadoi, ya que y esa asa de transicién del estado i al j dado que el proceso se encuentra en elestedey, Samecto sobre toda i= j, todo el lado derecho proporciona la tasa a la que el proceso entra al estado j desde cualquier estado, Por eso la ecuacidn global establece que la tasa ala cual cl provesu dejael es- tadoj debe ser igual la tasa ala que el proceso entra ene estado . Esta ecuacion es andloga a Jas ecuaciones de conservavidn del flujo encontradas en cursos de ingenieria y ciencias ‘Como cada una dela primeras M + Lecuacionesde estado establerequiere que las dos tasas estén balancendas (scan iguales), a veces estas ccuaciones se llaman ecuaciones de balance. Ejemplo. Untallertiene dos méquinas idénticas en operacién continua excepto cuando se descomponen. Como lo hacen con bastante frecuencia, la tarea con mis alta prioridad para ‘una persona de mantenimiento que trabaja tiempo completo es repararlas cuando sea nece- sario. El tiempo requerido para reparar una maquina tiene distribucién exponencial con media de } dia. Una vez.que se termina la reparacién, el tiempo que transcurre hasta la siguiente des- composnura tiene distribucién exponencial con media de 1 dia, Estas distribuciones son inde- pendientes. Defina la variable aleaturia X(¢’) como X(t") = mimero de méquinas descompuestas en el tiempo #', de forma que los valores posibles de X(¢")son 0, 1, 2. Par lo tanto, sise corre el pardmetro t" de manera continua desde el tiempo 0, el proceso estocéstico de tiempo continuo {X(¢"); #20} proporciona la evolucién del niimero de méquinas descompucstas. Como tanto el tiempo de reparacién como el tiempo hasta la siguiente descompostura tienen distribuciones exponenciales, {X(); "2 0} es una cadena de Marko de tiempo conti- nuo\ con estados 0, 1, 2. En consecuencia, se pueden usar las probabilidades de estado estable dadas en la subseccién anterior para encontrar la distribucién de probabilidad de estado esta- ble del nimero de méquinas descompuestas. Para hacer esto, se deben determinar todas las tasas de transiciin, esto es, las; y qy para i, j=0, 1, 2. El estado (nimero de maquinas descompuestas) aumcnta en I cuando ocurre una des- compostura y disminuye en 1 cuando se termina una reparacién, Como tanto las descompos- ‘ura como ias reparaciones ocurren una a la vez, 492 = 0 y 4a9 = 0. El tiempo esperado de Teparacién es } dfa, de manera que la tasa a la que se terminan las reparaciones (cuando hay maquinas descompuestas) ¢s 2 por dia, lo que implica que 421 = 2 49 = 2. De igual forma, el tiempo esperado hasta qui se descompone una méquina en operacidn es 1 dia, de manera que ‘La prucba cle ete hecho necesita sar dos propiedades de la distribuciénexponencial que se presentanenla seccién 17.4 (fal de memoria y el minime deexponencialeesexponencial, ya que estas propiedadesimplican que las variables aleatorias Ty inuexlwidan aes sin dua tenen dstribucion exponencil FIGURA 16.2 Referencias seleccionadas 827 4 fa=1 vm Cy ; ejemplo de una cadena de __E 7 i=? Markov de tiempo continuo. ho=2 Ja tasa a la que se descompone (cuando esté operando) es 1 por fa; esto implica que q13 = 1 Durante los tiempos en los que las dos méquinas operan, las descomposturas ocurren auna tasa de 1+1=2 por dia, asf, gq, = 2. Estas tasas de transicin se resumen en el diagrama de tasas que se muestra en la figura 16.2. Se pueden usar para calcular la tasa de transicidn total hacia afuera de cada estado. 4o = gor = 2. N= Hot 2-3. 92 = 421 ~2. Susticuyendo todas las tasas en las ecuaciones de estado estable dadas en la subseccidn ante- rior se obtiene Ecuacién de balance para el estado 0: 2, Ecuacion de balance para el estado 1: 31 = 2g + 2, Ecuacién de balance para el estado 2: 2, Las probabilidades suman 1: Hota, +m,=1 ‘Cualquiera de las ccuaciones de balance (digamos, la segunda) se puede eliminar como re- dundante, y la solucién simulténea de las ecuaciones restantes da la distribucién de estado es- table como amono-(223) Entonces, ala larga, ambas maquinas estarén descompuestas simultaneamente 20% del tiem- po y una maquina estar descompuesta otro 40% del tiempo. El siguicutc capitulo (sobre teorfa de colas) contiene muchos ejemplos de cadenas de Markov de tiempo continuo. De hecho, la mayor parte de los modelos bisicos de la teorfa de colas caen dentro de esta categoria. El ejemplo que se acaba de dar en realidad se ajusta a ‘uno de estos modelos (la variacién de fuente de entrada finita al modelo M/M/s incluido en la seccién 17.6). REFERENCIAS SELECCIONADAS 1. Heyman, D., M. Sobel: Stochastic Models in Operations Research, vol. 1, McGraw-Hill, Nueva York, 1982, 2, Kao, E. B. C.: An Introduction to Stochastic Proceses, Duxbury Press, Belmont, CA, 1997. 3. Resnick, S. I: Adventures in Stochastic Proceses, Bitkhiuser, Boston, 1992. 4. Ross, S.: Stochastic Processes, 2a. ed., Wiley, Nueva York, 1995. 5. Stewart, W. J. (ed.), Numerical Solution of Markov Chains, Marcel Dekker, Nueva York, 1991. 828 16 Cadenas de Markov 6. Taylor, H. y S. Karlin: An Introduction to Stochastic Modeling, edicién revisada, Academic Press, San Diego, 1993. 7. Tijms, H. C.: Stochastic Models: An Algorithmic Approach, Wiley, Nueva York, 1994. AYUDAS DE APRENDIZAJE PARA ESTE CAPITULO EN OR COURSEWARE Rutinas automaticas en el OR Courseware: Introducit una matriz. de transicion (Enter Transition Matrix) Ecuaciones Chapman-Kolmogorov (Chapman Kolmegorov Equations) Probabilidades de estado estable (Steady-State Probabilities) ‘Vea cl apéndive 2 para la documentacién del software. PROBLEMAS Los simbolos a la izquierda de algunos problemas (0 de sus incisos) significan lo siguiente: C: Use la computadora con las rutinas autométicas co- rrespondicntes mencionadas (u owas equivalentes) para resolver el problema. Unasterisco en el mimero del problema indica queal final del libro se da al menos una respuesta pa 16.2-1, Suponga que la probabilidad de luvia mafiana 8.0.5 sihoy llueve y que la probabilidad de un dia claro (sin ltavia) mafiana cs 0.9 si hoy esté claro. Suponga adc mis que estas probabilidades no cambian si también se proporciona informacion sobre el cima de dias anteriores ahoy. 4) Explique por que las suposiciones establecidas impli- can que la propiedad Markoviana se cumple para la evo- Jucién del ctima, +) Formule la evolucién del clima como una cadena de ‘Markov definiendo sus estados y dando su matriz de transici6n (de un paso). 16,2-2, Considere la segunda versién del modelo de ‘mercado de acciones presentado en la seccidn 16.2. Si la accién sube o no maftana depende de si subié 0 no hoy y ayer. Sila accién subié hoy y ayer, mafiana subird con pro- babilidad a. Si la accién subié hoy y ayer bajé, maftana subird con probabilidad a. Si la accién bajé hoy y ayer subié, la probabilidad de que suba maiiana es 5. Por ltimo, sila accién bajé hoy y ayer, la probabilidad de que ssuba mafiana es a, 4) Determine la matriz de transicién de un paso para la cadena de Markov. +b) Explique por que los estados usados para esta cadena de Makov hacen que la definicién matemitica de la propiedad markoviana se cumpla aunque lo que pase en el futuro (maftana) depende de los que ocurriéen el pasado (ayer) y en el presente (hoy). 16.2-3. Reconsidere el problema 16.2-2. Suponga aho- ra que el que la accién suba mafiana depende de si subi6 0 no hoy, ayer y antier. Puede este problema formularse como una cadena de Markov? Si se puede, écnsles son los estados posibles? Explique por qué estos estados dan al proceso la propiedad Markoviana mientras que los estados en el problema 16.2-2 no lo hacen. 16.3-1. Reconsidere el problema 16.2-1. Ca) Utilice la rutina de las ecuaciones de Chapman-Kol- mogorov en el OR Courseware para encontrar la ma- triz de transicién dem pasos paran =2, 5, 10, 20. ) Laprobabilidad de que llueva hoy es 0.5. Use os resul- tados del inciso a para dererminar la prohabilidad de que llueva dentro de n dias, para n =2, §, 10, 20. €.c) Urilice la ratina de probabilidades de estado extable enol OR Courseware para determinar las probabilidades de estado estable del clima. Compare las probabilidades de las matrices de transicidn de pasos obtenidas en el inciso a con estas probabilidades de estado cstable, conforme m crece. 16.3-2. Suponga que una red de comunicaciones trans- mire digitos hinarias, 0.0 1, en donde cada digito se ‘ransmite 10 veces sucesivas. Durante cada transmisién, la probabilidad de que ese digito se eransmita correcta: ‘mente ¢s 0.99. En otras palabras, sc tiene una probabili- dad de 0.01 de que el digito transmitido se registre con el Problemas del capitulo 16 valor opuesto al final dela transmisi6n, Para cada transmi- sin después de la primera, el digito transmitido es el re- gistradoal final dela transmisin anterior. Si X denotael digito binario que entra a sistema, X; el digito binario re- gistrado después de la primera transmisién, X, el digito binario registrado después de la segunda transmisién, entonces (X,,} es una cadena de Markov. a) Determine la matriz. de transicién (de un paso). 6) Utilice el OR Courseware para encontrar la matriz. de transicién de 10 pasos PO”), Con ella identifique la probabilidad de que un digito que entra ala red se re- gistre correctamente después dela iltima transmi (©) Sisponga que la red se redisefia para mejorar la proba- bilidad de la exactitud de una sola transmisién de 0.99 0,999, Repita el inciso para encontrar la nucva pro- babilidad de que un digito que entraa la red se registre sorrectamente después de la itima wansmision. 16.3-3." Una particula se mueve sobre un efreulo par puntos marcados 0, 1, 2, 3, 4 (enel sentido de las maneci- las del reloj). La particula comienza en el punto 0. En. cada paso tiene una probabilidad de 0.5 de moverse un punto en el sentido de las manecillas del reloj (sigue al 4) yuna probabilidad de 0.5 de moverse un punto en el sen- tido opuesto a las manccillas del reloj. Sea X,, (n 0) lalo- calizacién en el circulo después del paso; (X,} es enton- cs una cadena de Markov. 4) Encuentre la matriz.de transicién (de un paso). Cb) Utilice el OR Courseware para determinar la matri2, detransicién den pasos paran = 5, 10,20, 40, 80. Ce) Utilice el OR Courseware para determinar las proba- bilidades de estado estable para los estados de la cade- na de Markov. Compare las probabilidades de la matriz, de transicién de » pasos obtenida en el inciso & con es- tas probabilidades de estado estable conformen crece. 16.4-1.* Dadas las siguientes matrices de transicién (de tun paso) de una cadena de Markoy, determine las clases de las cadenas de Markov y si son recurrentes 0 no. a) Estado 0-1 2 3 © oom, Sueur © OO Our coon Om or Hoe 829 16.4-2. Dadas las siguientes matrices de transicién (de ‘un paso) de una cadena de Markov, determine las clases de las cadenas de Markov y si son recurrentes 0 no. a) Estado 0 1 2 3 noes 1 fod P- 2045 2 iabod a b) Estado 0-1 2 O 00% p= 1 [Edo a lo 1 © 16.4-3. Dada la siguiente matriz de transicién (de un paso), determine las clases de la cadena de Markov y ison recurrentes 0 no. Estado 0 12 3 4 o [, F000 1 |gh000 P= 2 [iL iboo ooo3?% 4 fooor? 16.4-4. Determine el periodo de los estados en la cade- nna de Markov que tiene la siguiente matriz de transicién (de un paso), Estado 0 12345 0 fooozo04 1 oe ee p- 2 [100000 “a lo s00 40 4 oo1000 s [lo }0040 164-5. Considera la cadena de Markov que tiene la si guiente matriz de transicién (de un paso). Esado 0 12 3 4 0 fogoto 1 |b0440 p= 2 lo}o $2 B bdo ws 4 [hod do a) Determine las clases de la cadena de Markov y, para ‘cada clase, determine si es recurrence o transituria 830 16 _Cadenas de Markov 4) Para cada una de las clases identificadas en el inciso a, determine el periodo de los estados en esa clase. 16.5-1. Reconsidere el problema 16.2-1. Suponga aho- ra que las probabilidades dadas, 0.5 y 0.9, se susticuyen por valores arbitrarios a y 8, respectivamente. Obtenga las probabilidades de estado estable del estado del clima en términos de a y 8. 16.5-2. Se dice que una matriz de transicién P es doble- ‘mente estocdstica st la suma de los elementos de cada co- fumna es igual a 1; esto es, a Yay, paratodaj. Si tal cadena es irreducible y aperiédica y consiste en 4M + Lestados, demuestre que UT yp PARI=O1,. 16.5-3. Reconsidere cl problema 16.3-3. Use los resul- tados del problema 16.5-2 para encontrar las probabilida- des de estado estable para csta cadena de Markov. Luego encuentre qué pasa con estas probabilidades si, en cada aso, la probabilidad de moverse a un punto en el senti- do de las manecillas del reloj cambia 20.9 y la probabilidad de moverse a un punto en sentido opuesto cambia a 0.1. © 16.8-4, Lacerveceria mds importante cn la costa oeste (con etiqueta A) ha contratado a un analista de IO para analizar su posicién cn el mercado. Estin preucupados en, ‘special por su mayor competidor (con etiqueta B). El analista picnsa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tre estados: los cestados A y B representan a los clientes que beben cerveza producida por las mencionadas cervecerias y el estado C representa todas las demés marcas. Los datos se toman ‘cada mes y el analista construye la siguiente matriz. de transici6n (de un paso) con datos histdricos. A 07 02 on 8 2 0 Os c |oot on 08 &€Couales son los porcentajes de mercado en el estado esta- ble para las dos cervecerias grandes? 16.5-5. Cousidere el siguiente problema de inventario de sangre al que se enfrenta un hospital, Se tiene necesi dad de un tipo raro de sangre, como AB, Kh negativo. La demanda durante un periodo de tres dias esté dada por P{D=0}=04, P(D=1}=0.3, PAiD=2}=0.2, y P(D=3}=0.1 Note que la demanda esperada es 1 pinta, ya que E(D) = 0.3(1) + 0.2(2) +0.1(3) =1. Suponga que se surte sangre cada 3 dias. El hospital propone una politica para recibir tuna pinta cada entrega y usar primero la més vieja. Sie re- quiere mas sangre de la que tiene, se hace una entrega de ‘emergencia a un costo alto, La sangre se descarta sien 21 dias no se ha usado. Denote el estado del sistema coma el rntimero de litros en inventario justo después de una entre- a. Observe que dehidoa la politica de descartar la sangre, el estado més grande posible es 7. 2) Encuentre la matriz de transicién (de un paso) para esta cadena de Markov, C4) Encuentre las probabilidades de estado estable para Jos estados de esta cadena de Markov. €)_ Use los resultados de b pata cucuntrar la probabilidad de estado estable de que sea necesario descartar una pinta durante un periodo de 3 dias. (Sugerencia: si se usa primero la sangre més vieja, una pinta tiene 21 dias solo siel estado es 7 y D=0.) 4) Utilice los resultados de b para encontrar la probabili- dad de estado de que se necesite una entrega de emer- ‘gencia durante los 3 dias entre entrega normal. 16.5-6. Una fibrica de jabén se especializa en jabén de tocador de hijo, Tas ventas fluctdan entre dos niveles, “bajo” y “alto”, y dependen de dos factores: 1) si hacen o no publicidad y 2) silos competidores anuncian y comer- cializan nuevos productos. El segundo factor esté fucra del control de la compasifa, pero les intcresa determina ccudl debe ser su politica publicitaria. Por ejemplo, el ge- rente de ventas propone hacer publicidad cuando las ven tas son bajas y no hacerla si son altas. La publicidad que se hhace eu un rimesere dado del aio tiene impacto elsiguien- te trimestre. Al principio de cada trimestre disponen de la informacién necesaria para pronosticar si las ventas serin. altas o bajas ese trimestre y deciir si hacer publicidad. El costo de la publicidad es $1 millén de délares cada trimestre del afio que se haga. Cuando se hace publicidad ‘cn.un trimestre, la probabilidad de tener ventas altas el si- guiente trimestre es } 0 3 segin si en el trimestre actual se tienen ventas bajas 0 alta Las probabilidades bajana Ly 4 cuando no se hace publicidad en el trimestre acral. Tas ganancias trimestrales de la compaiifa (sin incluir los cos- tos de publicidad) san $4 millones cuando las ventas son altas pero s6lo $2 millones cuando son bajas. (De aqui en. adelante utlice cifras en millones de délares.) 4) Construya la matriz de transicién (de un paso) para cada una de las siguientes estrategias de publicidad: i) nunca hacer publicidad, ii) siempre hacer publici- dd, ii) seguir la propuesta del gerente de ventas, 4) Determine las probabilidades de estado estable para Jos ues casos del incisu a. Peohlamae del capltula 16 ) Encuentre la ganancia promedio a la larga (reste los costos de publicidad) por trimestre para cada estrate- gia del inciso a. éCual de estas estrategias es la mejor segiin esta medida de desempefio? © 16.5-7. En laseccidn 16.5, se calculd el costo prome- dio esperado (a a larga) por semana (basado s6lo en cos- ‘tos de ordenar y costos de la demanda insatisfecha) para el «jemplo del inventario de cémaras de la seccién 16.1. Su- ponga que se cambia la politica de inventarios. Siempre quel niimero de cémarasal final dela semana sea 00 1, se coloca una orden que aumente este mimero hasta 3. De otra manera, no se coloca en orden. Vuelva a calcular el costo promedio esperado (a la lar- ga) por semana con esta mueva politica de inventarios, 16.5-8* Considere el ejemplo de inventarios de la sec- i6n 16.1 con el siguiente cambio en la politica. Si el nivel del inventario al final de la semana es 0 0 1, se ordenan 2 ‘cdmaras adicionales. De otra manera, no se ordena. Su- ‘ponga que los costos de almacenamiento son los mismos que en la segunda subseccién de la seccién 16.5. Ca) Encuentre las probabilidades de estado estable para los estados de esta cadena de Markov. 44) Fnenentre el costo de almacenamiento esperado a la larga por semana. 16.5-9. Considere la siguiente politica de inventarios para cierto producto. Si la demanda durante un periodo excede el ntimero de unidades disponibles, esta demanda insatisfecha se considera como un fatantey se surte cuan- do se recibe la siguiente orden. Sea Z,, (n= 0, 1, ...) la cantidad de inventario menos el ryimero de unidades fal- tantes antes de ordenar al final del siguiente periodon (Zp =0). SiZ, es ceroo positivo, no hay pedidos atrasados. Si Z,, ¢8 negativo, entonces -Z,, representa el niimero de uunidades faltantes y el inventario es 0. Sal final del petio- dom, Z, <1, se hace un pedido de 2m unidades, donde m scl entero més pequefio tal que Z, + 2mm z 1. Las Orde nes se surten de inmediato. Sean Dj, Dp, .. las demandas respectivas de un pro- ducto en los periodos 1, 2,.... Suponga que las D, son va- riables aleatorias, independientes ¢ idénticamente distri- buidas que oman los valores 0, 1, 2, 3, 4, cada uno con probabilidad 2. Sea X,, la cantidad en inventario después de ordenar al final del periodo m (con Xq = 2), entonces [Xna~Dyt+2m siX,,-Dy<1 xf Dy siX,1-D 21 mba ds donde {X,,} (7 = 0, 1, ..) es una cadena de Markov. Tiene sdlo dos estados: 1 y 2 ya que slo se ordena cuando Z, =0, -1, -2 0-3, en cuyo caso se piden 2, 2, 4 4 uni- dades, cono que queda X,, = 2, 1,2, 1, respectivamente. 931 4) Encuentre la matriz de transici6n (de un paso). 45) Use las ecuaciones de estado estable para obtener a ‘mano las probabilidades de eseado estable. ¢) Ahora use el resultado dado en el problema 16.5-2 para encontrar las probabilidades de estado estable. 4) Suponga que el costo de ordenar es (2 + 2m) sise colo- atuna orden, y 0 ai no, El costo del inventario por p= tiodo es Z, si Z, 2 0 y cero en otro caso. Encuentre el costo promedio esperado (a la larga) por unidad de tiempo, 16.5-10 Una unidad importante consiste en dos com- pponentes colocadas en paralelo. La unidad tiene un de ‘sempefio satisfactorio si una de las dos componentes esté ‘en operacién, Sélo una componente opera a la vez, pero -ambas componentes se mantienen operativas (capaces de ‘operar) tanto como sca posible, repardndokis cuando se neesite. Una componente operativa tiene una probabili- dad de 0.2 de descomponerse en un periodo dado. Cuan- do ocurre, la componente en paralelo opera, si esté opera- tiva, al comenzar el siguiente periodo. Sélo se puede reparar una componente a la vez. Una reparacién inicia al principio del primer periodo disponible y termina a final del siguiente. Sea X, un vector con dos elementos Uy V, donde U es el ntimero de componentes operativas al final del periodot y Vel ntimero de periodos de reparacién que transcurren para componentes que todavia no estin ope- rativas. Entonces, V =0 siU =2 0 siU = 1y la reparacisn de la componente no operativa se estd realizando. Como |a reparacién toma dos periodos, V = 1 si U=0 (pues la componente no operativa espera iniciar su reparacién ‘mientras la otra entra al segundo periodo) 0 siU'= 1 y la componente no operativa est4 en su segundo period. sf, el espacio de estados contiene cuatro estados (2, 0), 2, 0), (0, 1) y (1, 1). Denote estos estados por 0, 1, 2, 3, respectivamente. (X,} (P= 0, 1,...) esunacadena de Mat- kov (suponga que Xo= 0) con matriz de transicién (de tun paso) Fsado 0 1 2 8 0 fos 020 0 1 |o 0 02 08 a ) 3 [08 020 0 Ca) {Cua ¢s la probabilidad de que la unidad no opere después de 1 periodos (porque ambas componentes estén descompuestas), para n= 2, 5, 10, 202 Cb) &Cudles son las probabilidades de estado estable para el estado de esta cadena de Markov? €) Si cuesta $30 000 por periodo cuando la unidad no ‘opere (ambas componentes descompuestas) y cero en 932 16 Cadenas de Markov ‘otr0 caso, écudl es el costo promedio esperado (a la lar- 2) por periodo? 16.6-1. Una computadora se inspecciona cada hora. Se ‘encuentra que estd trabajando o descompuesta. Si esté trabajando, la probabilidad de que siga ax Ia siguiente hora es 0.90. Siesté descompuesta, se repara, lo que pu de llevar mée de 1 hors. Siempre que la compuradoraceté descompuesta (sin importar cudnto tiempo pase), la pro- babilidad de que siga descompucsta 1 hora més cs 0.35, ‘@) Construya la matriz de transicién de un paso para esta cadena de Markow 6) Utilice el enfoque descrito en la seccién 16.6 para en- contrar la (el tiempo esperado de primera pasada del estado i al estado ) para toda iy. 16.6-2. Un fabricante tiene una méquina que cuando std operando al comenzar el dia tiene una probabilidad de 0.1 de descomponerse en algxin momento de ese dia. Cuando esto ocurre, la reparacién se hace al siguiente dia y se termina al finalizar ese dia. 4@) Formule la evolucién del estado de la méquina como tuna cadena de Markov; identifique los tres estados po- sibles al final del dia y después construya la matriz. de transicién (de un paso). ') Utilice el enfoque descrito en la seccién 16.6 para en- contrar las 4; (tiempo esperado de primera pasada del estado ial estado) para todai yj. Use estos resultados para identificar la siguiente descompostura después aque se ha terminado una reparacién. 2) Ahora suponga que la mquina tiene ya 20 dias sin descomponerse desde la tiltima reparacién. Compare

    You might also like