PE Rincon

Introducci on a los procesos estoc asticos
Luis Rinc on Departamento de Matem aticas Facultad de Ciencias UNAM Circuito Exterior de CU 04510 M exico DF
Enero 2012
Pr ologo
El presente texto contiene material b asico en temas de procesos estoc asticos a nivel licenciatura, y es producto del mejoramiento continuo de las notas de clase que he utilizado para el curso de Procesos Estoc asticos en la Facultad de Ciencias de la Universidad Nacional Aut onoma de M exico. Est a dirigido a estudiantes de las carreras de Matem aticas, Actuar a, Matem aticas Aplicadas y otras carreras cient cas anes. Una mirada al ndice de temas le dar a al lector una idea de los temas expuestos y el orden en el que se presentan. Cada cap tulo contiene material que puede considerarse como introductorio al tema, y al nal de cada uno de ellos se proporcionan algunas referencias para que el lector pueda profundizar en lo que aqu se presenta. La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sab atica en la universidad de Nottingham durante el a no 2007, y agradezco al Prof. Belavkin su amable hospitalidad para llevar a cabo este proyecto, y a la DGAPA-UNAM por el apoyo econ omico recibido durante dicha estancia. Adem as, la publicaci on de este trabajo ha sido posible gracias al apoyo otorgado a trav es del proyecto PAPIME PE-103111. Agradezco sinceramente todos estos apoyos recibidos y expreso tambi en mi agradecimiento al grupo de personas del comit e editorial de la Facultad de Ciencias por su ayuda en la publicaci on de este trabajo. Finalmente doy las gracias por todos los comentarios que he recibido por parte de alumnos y profesores para mejorar este material. Hasta donde humanamente me sea posible mantendr e una versi on digital actualizada de este libro en la p agina web http://www.matematicas.unam.mx/lars . Luis Rinc on Enero 2012 Ciudad Universitaria, UNAM lars@fciencias.unam.mx
Contenido
1. Ideas preliminares 1.1. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6
2. Caminatas aleatorias 7 2.1. Caminatas aleatorias . . . . . . . . . . . . . . . . . . . . . . . 7 2.2. El problema del jugador . . . . . . . . . . . . . . . . . . . . . 16 2.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3. Cadenas de Markov 3.1. Propiedad de Markov . . . . . . . 3.2. Ejemplos . . . . . . . . . . . . . . 3.3. Ecuaci on de Chapman-Kolmogorov 3.4. Comunicaci on . . . . . . . . . . . . 3.5. Periodo . . . . . . . . . . . . . . . 3.6. Primeras visitas . . . . . . . . . . . 3.7. Recurrencia y transitoriedad . . . . 3.8. Tiempo medio de recurrencia . . . 3.9. Clases cerradas . . . . . . . . . . . 3.10. N umero de visitas . . . . . . . . . 3.11. Recurrencia positiva y nula . . . . 3.12. Evoluci on de distribuciones . . . . 3.13. Distribuciones estacionarias . . . . 3.14. Distribuciones l mite . . . . . . . . 3.15. Cadenas regulares . . . . . . . . . 3.16. Cadenas reversibles . . . . . . . . . 3.17. A. A. Markov . . . . . . . . . . . . iii 27 27 31 39 42 45 47 50 56 57 58 65 69 71 80 86 88 93
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
iv
Contenido 3.18. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4. El proceso de Poisson 4.1. Denici on . . . . . . . . . . . . . . 4.2. Deniciones alternativas . . . . . . 4.3. Proceso de Poisson no homog eneo 4.4. Proceso de Poisson compuesto . . . 4.5. Proceso de Poisson mixto . . . . . 4.6. Ejercicios . . . . . . . . . . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
115 115 125 129 132 134 135 145 151 153 156 159 167 169 173 173 176 178 183 188 193 199 200 202 203 205 207 209 212 217 218 224
5. Cadenas de Markov a tiempo continuo 5.1. Probabilidades de transici on . . . . . . . 5.2. El generador innitesimal . . . . . . . . 5.3. Ecuaciones de Kolmogorov . . . . . . . . 5.4. Procesos de nacimiento y muerte . . . . 5.5. Conceptos y propiedades varias . . . . . 5.6. Ejercicios . . . . . . . . . . . . . . . . . 6. Procesos de renovaci on y conabilidad 6.1. Procesos de renovaci on . . . . . . . . . 6.2. Funci on y ecuaci on de renovaci on . . . 6.3. Tiempos de vida . . . . . . . . . . . . 6.4. Teoremas de renovaci on . . . . . . . . 6.5. Conabilidad . . . . . . . . . . . . . . 6.6. Ejercicios . . . . . . . . . . . . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
7. Martingalas 7.1. Filtraciones . . . . . . . . . . . . . . . . 7.2. Tiempos de paro . . . . . . . . . . . . . 7.3. Martingalas . . . . . . . . . . . . . . . . 7.4. Ejemplos . . . . . . . . . . . . . . . . . 7.5. Procesos detenidos . . . . . . . . . . . . 7.6. Una aplicaci on: estrategias de juego . . 7.7. Teorema de paro opcional y aplicaciones 7.8. Algunas desigualdades . . . . . . . . . . 7.9. Convergencia de martingalas . . . . . . 7.10. Representaci on de martingalas . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
Contenido
7.11. J. L. Doob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 7.12. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 8. Movimiento Browniano 8.1. Denici on . . . . . . . . . . . . . . . . . . 8.2. Propiedades b asicas . . . . . . . . . . . . 8.3. Propiedades de las trayectorias . . . . . . 8.4. Movimiento Browniano multidimensional 8.5. El principio de reexi on . . . . . . . . . . 8.6. Recurrencia y transitoriedad . . . . . . . . 8.7. N. Wiener . . . . . . . . . . . . . . . . . . 8.8. P. P. L` evy . . . . . . . . . . . . . . . . . . 8.9. Ejercicios . . . . . . . . . . . . . . . . . . 9. C alculo estoc astico 9.1. Integraci on estoc astica . . . . . . . . 9.2. F ormula de It o . . . . . . . . . . . . 9.3. Ecuaciones diferenciales estoc asticas 9.4. Simulaci on . . . . . . . . . . . . . . . 9.5. Algunos modelos particulares . . . . 9.6. Ejercicios . . . . . . . . . . . . . . . Ap endice: conceptos y resultados varios Bibliograf a Indice anal tico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 240 244 248 252 255 256 263 264 265
273 . 273 . 286 . 289 . 293 . 294 . 304 307 315 318
vi
Contenido
Cap tulo 1
Ideas preliminares
Considere un sistema que puede caracterizarse por estar en cualquiera de un conjunto de estados previamente especicado. Suponga que el sistema evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo con una cierta ley de movimiento, y sea Xt el estado del sistema al tiempo t. Si se considera que la forma en la que el sistema evoluciona no es determinista, sino provocada por alg un mecanismo azaroso, entonces puede considerarse que Xt es una variable aleatoria para cada valor del ndice t. Esta colecci on de variables aleatorias es la denici on de proceso estoc astico, y sirve como modelo para representar la evoluci on aleatoria de un sistema a lo largo del tiempo. En general, las variables aleatorias que conforman un proceso no son independientes entre s , sino que est an relacionadas unas con otras de alguna manera particular. Las distintas formas en que pueden darse estas dependencias es una de las caracter sticas que distingue a unos procesos de otros. M as precisamente, la denici on de proceso estoc astico toma como base un espacio de probabilidad , F , P y puede enunciarse de la siguiente forma. Denici on 1.1 Un proceso estoc astico es una colecci on de variables aleatorias Xt : t T parametrizada por un conjunto T , llamado espacio parametral, en donde las variables toman valores en un conjunto S llamado espacio de estados. En los casos m as sencillos se toma como espacio parametral el conjunto 0, 1, 2, . . . y estos n umeros se interpretan como tiempos. En discreto T 1
1. Ideas preliminares
este caso se dice que el proceso es a tiempo discreto, y en general este tipo de procesos se denotar a por Xn : n 0, 1, . . ., o expl citamente, X0 , X1 , X2 , . . . as , para cada n, Xn es el valor del proceso o estado del sistema al tiempo n. Este modelo corresponde a un vector aleatorio de dimensi on innita. V ease la Figura 1.1.
Xn X5 X3 X1 X0 n 1 2 X2 3 4 5 X4
Figura 1.1
El espacio parametral puede tambi en tomarse como el conjunto continuo 0, . Se dice entonces que el proceso es a tiempo continuo, y se T denotar a por Xt : t 0. Por lo tanto, seguiremos la convenci on de que si el sub ndice es n, entonces los tiempos son discretos, y si el sub ndice es t, el tiempo se mide de manera continua. Los posibles espacios de estados que consideraremos son subconjuntos de Z, y un poco m as generalmente tomaremos como espacio de estados el conjunto de n umeros reales R, aunque en algunos pocos casos tambi en consideraremos a Zn o Rn . Naturalmente, espacios m as generales son posibles, tanto para el espacio parametral como para el espacio de estados. En particular, para poder hablar de variables aleatorias con valores en el espacio de estados S , es necesario asociar a este conjunto una - algebra.
Xt
Xt2 Xt1 Xt3 t t1 t2 t3
Figura 1.2
Considerando que S es un subconjunto de R, puede tomarse la - algebra de Borel de R restringida a S , es decir, S B R. Un proceso estoc astico, tambi en llamado proceso aleatorio, puede considerarse como una funci on de dos variables X:T
tal que a la pareja t, se le asocia el valor o estado X t, , lo cual tambi en puede escribirse como Xt . Para cada valor de t en T , el mapeo Xt es una variable aleatoria, mientras que para cada en jo, Xt es llamada una trayectoria o realizaci on del proceso. la funci on t Es decir, a cada del espacio muestral le corresponde una trayectoria del proceso. Es por ello que a veces se dene un proceso estoc astico como una funci on aleatoria. Una de tales trayectorias t picas que adem as cuenta con la propiedad de ser continua se muestra en la Figura 1.2, y corresponde a una trayectoria de un movimiento Browniano, proceso que deniremos y estudiaremos m as adelante. on Si A es un conjunto de estados, el evento Xn A corresponde a la situaci en donde al tiempo n el proceso toma alg un valor dentro del conjunto A. En particular, Xn x es el evento en donde al tiempo n el proceso se encuentra en el estado x. Considerando distintos tiempos, estaremos interesados
en eventos de la forma Xn1 x1 , Xn2 x2 , . . . , Xnk xk . Los diferentes tipos de procesos estoc asticos se obtienen al considerar las distintas posibilidades para el espacio parametral, el espacio de estados, las caracter sticas de las trayectorias, y principalmente las relaciones de dependencia entre las variables aleatorias que conforman el proceso. Los siguientes son algunos ejemplos generales de procesos estoc asticos. Estos son procesos que cumplen una cierta propiedad particular, no necesariamente excluyentes unas de otras. A lo largo del texto estudiaremos y deniremos con mayor precisi on algunos de estos tipos de procesos. Proceso de ensayos independientes El proceso a tiempo discreto Xn : n 0, 1, . . . puede estar constituido por variables aleatorias independientes. Este modelo representa una sucesi on de ensayos independientes de un mismo experimento aleatorio, por ejemplo, lanzar un dado o una moneda repetidas veces. El resultado u observaci on del proceso en un momento cualquiera es, por lo tanto, independiente de cualquier otra observaci on pasada o futura del proceso. Procesos de Markov Estos tipos de procesos son modelos en donde, suponiendo conocido el estado presente del sistema, los estados anteriores no tienen inuencia en los estados futuros del sistema. Esta condici on se llama propiedad de Markov y puede expresarse de la siguiente forma: para cualesquiera estados x0 , x1 , . . . , xn1 (pasado), xn (presente), xn1 (futuro), se cumple la igualdad P Xn1 xn1 X0 x0 , . . . , Xn xn P Xn1 xn1 Xn xn .
De esta forma la probabilidad del evento futuro Xn1 xn1 s olo depende el evento Xn xn , mientras que la informaci on correspondiente x0 , . . . , Xn1 xn1 es irrelevante. Los proceal evento pasado X0 sos de Markov han sido estudiados extensamente y existe un gran n umero de sistemas que surgen en muy diversas disciplinas del conocimiento para los cuales el modelo de proceso estoc astico y la propiedad de Markov son razonables. En particular, los sistemas din amicos deterministas dados por una ecuaci on diferencial pueden considerarse procesos de Markov, pues su evoluci on futura queda determinada por la posici on inicial del sistema y la ley de movimiento especicada.
5 Procesos con incrementos independientes Se dice que un proceso estoc astico a tiempo continuo Xt : t 0 tiene incrementos independientes si para cualesquiera tiempos 0 t1 t2 tn , las variables Xt1 , Xt2 Xt1 , . . . , Xtn Xtn1 son independientes. Esto quiere decir que los desplazamientos que tiene el proceso en estos intervalos disjuntos de tiempo son independientes unos de otros. Procesos estacionarios 0 es Se dice que un proceso estoc astico a tiempo continuo Xt : t estacionario en el sentido estricto si para cualesquiera tiempos t1 , . . . , tn , la distribuci on del vector Xt1 , . . . , Xtn es la misma que la del vector Xt1 h, . . . , Xtn h para cualquier valor de h 0. En particular, la distribuci on de Xt es la misma que la de Xth para cualquier h 0. Procesos con incrementos estacionarios Se dice que un proceso estoc astico a tiempo continuo Xt : t 0 tiene incrementos estacionarios si para cualesquiera tiempos s t, y para cualquier h 0, las variables Xth Xsh y Xt Xs tienen la misma distribuci on de probabilidad. Es decir, el incremento que tiene el proceso entre los tiempos s y t s olo depende de estos tiempos a trav es de la diferencia t s, y no de los valores espec cos de s y t. Martingalas Una martingala a tiempo discreto es, en t erminos generales, un proceso Xn : n 0, 1, . . . que cumple la condici on E Xn1 X0 x0 , . . . , Xn xn xn . (1.1)
En palabras, esta igualdad signica que el valor promedio del proceso al ltimo momento observatiempo futuro n 1 es el valor del proceso en su u do, es decir, xn . Esto es, se trata de una ley de movimiento aleatorio que es equilibrada o sim etrica, pues en promedio el sistema no cambia del u ltimo momento observado. A estos procesos tambi en se les conoce como procesos de juegos justos, pues si se considera una sucesi on innita de apuestas sucesivas y si Xn denota el capital de uno de los jugadores al tiempo n, entonces la propiedad de martingala (1.1) establece que el juego es justo pues en promedio el jugador no pierde ni gana en cada apuesta.
Procesos de L` evy Se dice que un proceso estoc astico a tiempo continuo Xt : t 0 es un proceso de L` evy si sus incrementos son independientes y estacionarios. M as adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos. Procesos Gausianos 0 es un Se dice que un proceso estoc astico a tiempo continuo Xt : t proceso Gausiano si para cualesquiera colecci on nita de tiempos t1 , . . . , tn , on normal o Gausiana multivariael vector Xt1 , . . . , Xtn tiene distribuci da. Nuevamente, el movimiento Browniano es un ejemplo de este tipo de procesos. En el presente texto el lector encontrar a una descripci on introductoria a algunos de estos tipos de procesos y varios resultados elementales al respecto.
1.1.
Ejercicios
1. Sean X0 , X1 , . . . los resultados de una sucesi on de ensayos independientes Bernoulli. Determine si el proceso Xn : n 0, 1, . . . a) b) c) d) tiene incrementos independientes. tiene incrementos estacionarios. es una martingala. cumple la propiedad de Markov. 0
2. Sea X una variable aleatoria con distribuci on Berp. Para cada t dena la variable Xt cos t sin t si X si X 0, 1. 0.
3. Demuestre que todo proceso a tiempo discreto Xn : n 0, 1, . . . con incrementos independientes cumple la propiedad de Markov.
a) Dibuje todas las trayectorias del proceso Xt : t b) Calcule la distribuci on de Xt . c) Calcule E Xt .
Cap tulo 2
Caminatas aleatorias
En este cap tulo se presenta una introducci on breve al tema de caminatas aleatorias en una dimensi on. Encontraremos la distribuci on de probabilidad de la posici on de una part cula que efect ua una caminata aleatoria en Z, y la probabilidad de retorno a la posici on de origen. Se plantea y resuelve despu es el problema de la ruina del jugador, y se analizan algunos aspectos de la soluci on.
2.1.
Una caminata aleatoria simple sobre el conjunto de n umeros enteros Z es un proceso estoc astico a tiempo discreto Xn : n 0, 1, . . . que evoluciona como se muestra en la Figura 2.1. Es decir, iniciando en el estado 0, al siguiente tiempo el proceso puede pasar q p al estado 1 con probabilidad p, o al estado 1 con probabilidad q , en 2 1 0 1 2 donde p q 1. Se usa la misma regla para los siguientes tiempos, es decir, Figura 2.1 pasa al estado de la derecha con probabilidad p, o al estado de la izquierda con probabilidad q . El valor de Xn es el estado del proceso al tiempo n. Este proceso cambia de un estado a otro en dos tiempos consecutivos de acuerdo con las probabilidades de transici on que se muestran en la Figu7
2. Caminatas aleatorias
ra 2.1, v alidas para cualquier n 0, y para cualesquiera enteros i y j . Estas probabilidades se pueden escribir de la forma siguiente: P Xn1 i
p si j
j Xn
i 1, q si j i 1, 0 otro caso.
Como estas probabilidades no dependen de n, se dice que son homog eneas en el tiempo, es decir, son las mismas para cualquier valor de n. A partir de estas consideraciones, es intuitivamente claro que este proceso cumple la propiedad de Markov, Xn es decir, el estado futuro del proceso depende u nicamente del estado presente y no de los estados previamente visitados. Una posible n trayectoria de este proceso se muestra en la Figura 2.2. Una caminata aleatoria puede tambi en denirse de la forma siguiente: sea 1 , 2 , . . . Figura 2.2 una sucesi on de variables aleatorias independientes e id enticamente distribuidas. Por la id entica distribuci on denotaremos a cualquiera de ellas 1 p y mediante la letra sin sub ndice. Supondremos que P P 1 q , en donde, como antes, p q 1. Entonces para n 1 se dene Xn : X0 1 n . 0. Nos interesa enconSin p erdida de generalidad supondremos que X0 trar algunas propiedades de la variable Xn , y de su comportamiento como funci on de n. Por ejemplo, a partir de la expresi on anterior, es inmediato encontrar su esperanza y varianza. Proposici on 2.1 Para cualquier entero n 1. E Xn 2. VarXn np q . 4npq . 0,
2.1. Caminatas aleatorias Demostraci on. Para la esperanza tenemos que: E Xn

n i 1
E i
n E
np q . p
Por otro lado, como E 2 pq 1 y E Var 1 p q 2 4pq . Por lo tanto, VarXn

n i 1
q,
se tiene que
Vari
n Var
4npq.
Analicemos estas dos primeras f ormulas. Si p q , es decir, si la caminata toma pasos a la derecha con mayor probabilidad, entonces el estado promedio despu es de n pasos es un n umero positivo, es decir, su comportamiento promedio es tender hacia la derecha, lo cual es intuitivamente claro. An alogamente, si p q , entonces el estado nal promedio de la caminata despu es de n pasos es un n umero negativo, es decir, en promedio la caminata tiende a moverse hacia la izquierda. En ambos casos la varianza crece conforme el n umero de pasos n crece, eso indica que mientras mayor es el n umero de pasos que se dan, mayor es la incertidumbre acerca de la etriposici on nal del proceso. Cuando p q se dice que la caminata es asim etrica, y en promedio ca. Cuando p q 12 se dice que la caminata es sim el proceso se queda en su estado inicial, pues E Xn 0, sin embargo, para tal valor de p la varianza es VarXn n, y es sencillo demostrar que ese valor es el m aximo de la expresi on 4npq , para p 0, 1. Probabilidades de transici on Como hemos supuesto que la caminata inicia en cero, es intuitivamente claro que despu es de efectuar un n umero par de pasos el proceso s olo puede terminar en una posici on par, y si se efect uan un n umero impar de pasos la posici on nal s olo puede ser un n umero impar. Adem as, es claro que despu es de efectuar n pasos, la caminata s olo puede llegar a una distancia m axima de n unidades, a la izquierda o a la derecha. Teniendo esto en mente, en el siguiente resultado se presenta la distribuci on de probabilidad de la variable Xn .
10
Proposici on 2.2 Para cualesquiera n umeros enteros x y n tales que n x n, y para el caso cuando x y n son ambos pares o ambos impares, P Xn x X0 0
1 1 n p 2 nx q 2 nx . 1 n x 2
(2.1)
Para valores de x y n que no cumplen las condiciones indicadas la probabilidad en cuesti on vale cero. Demostraci on. Suponga que se observa la posici on de la caminata despu es de efectuar n pasos. Sean Rn y Ln el n umero de pasos realizados hacia la derecha y hacia la izquierda, respectivamente. Entonces Xn Rn Ln , y adem as n Rn Ln . Sumando estas dos ecuaciones y substituyendo la n expresi on Xn i 1 i se obtiene Rn 1 n Xn 2
n 1 i 1
1 i.
Esta ecuaci on es la identidad clave para obtener el resultado buscado. Observe que esta f ormula arroja un valor entero para Rn cuando n y Xn son ambos pares o ambos impares. Como las variables independientes i toman los valores 1 y 1 con probabilidades p y q respectivamente, entonces las 1 1 i toman los valores 1 y 0 con probabilidavariables independientes 2 des p y q . Esto lleva a la conclusi on de que la variable Rn tiene distribuci on binomialn, p. Por lo tanto, para cualquier valor de x que cumpla las condiciones enunciadas se tiene que P Xn x X0 0 P Rn
1 2
n x
1 n x 2
1
p 2 nx q 2 nx .
1
En particular, cuando la caminata es sim etrica, es decir, cuando p 12, y con las mismas restricciones para n y x (n x n, ambos pares o ambos impares) se tiene la expresi on P Xn x X0 0
n 1 2 n x
1 . 2n
(2.2)
2.1. Caminatas aleatorias
11
Esta f ormula puede tambi en justicarse mediante argumentos de an alisis n combinatorio de la siguiente forma: en total hay 2 posibles trayectorias que la caminata puede seguir al efectuar n pasos, todas ellas con la misma probabilidad de ocurrir debido a la simetr a. Ahora, cu antas de estas 0, por ejemplo? Como se ha argumentado trayectorias terminan en x 1 n x, y el n umero de antes, el n umero de pasos a la derecha debe ser 2 trayectorias que cumplen la condici on es el n umero de formas en que los 1 2 n x pasos a la derecha pueden escogerse de los n pasos totales. La respuesta es entonces el cociente que aparece en (2.2). La f ormula (2.1) puede extenderse f acilmente al caso general de pasar de un estado cualquiera y a otro estado x en n pasos, como se muestra a continuaci on. Proposici on 2.3 Si los n umeros n y x y son ambos pares o ambos impares, entonces para n x y n, P Xn x X0 y
n 1 n x y 2
p 2 nxy q 2 nxy .
1 1
(2.3)
Para valores de la diferencia x y y el entero n que no cumplen las condiciones indicadas la probabilidad en cuesti on vale cero. Demostraci on. Tenemos como hip otesis que X0 y . Consideremos el proceso Zn Xn y . Entonces Zn : n 0 es ahora una caminata aleatoria que inicia en cero como en el caso antes demostrado. El resultado enunciado se obtiene de la identidad P Xn x X0 y P Zn x y Zn 0.
Probabilidad de regreso a la posici on de origen Nos plantearemos ahora el problema de encontrar la probabilidad de que una caminata aleatoria, que inicia en el origen, regrese eventualmente al 12, la punto de partida. Demostraremos que en el caso asim etrico, p probabilidad de tal evento es estrictamente menor que 1, es decir, no es seguro que ello ocurra, pero en el caso sim etrico, p 12, se cumple que con probabilidad uno la caminata regresa eventualmente al origen. Para el
12
u ltimo caso demostraremos adem as que el n umero de pasos promedio para regresar al origen es, sin embargo, innito. La demostraci on es un tanto t ecnica y hace uso de las funciones generadoras de probabilidad. Como este cap tulo es introductorio, tal vez sea mejor recomendar al lector, cuando se trate de una primera lectura, omitir los detalles de esta demostraci on. Proposici on 2.4 Para una caminata aleatoria sobre Z, la probabilidad de un eventual regreso al punto de partida es 1 pq 1 si p 1 si p q, q.
Es decir, s olo en el caso sim etrico, p q , se tiene la certeza de un eventual retorno, sin embargo el tiempo promedio de regreso en tal caso es innito. Demostraci on. Para demostrar estas armaciones utilizaremos los siguientes elementos: 0 denotaremos por pn a la probabilidad de que la a) Para cada n caminata se encuentre en el estado 0 al tiempo n, es decir, pn P Xn 0 X0 0. Esta probabilidad es distinta de cero s olo cuando n es un n umero par. Naturalmente p0 1. Denotaremos tambi en por fk a la probabilidad de que la caminata visite el estado 0 por primera ermino en ingl es vez en el paso k 0. El uso de la letra f proviene el t rst. Por conveniencia se dene f0 0. Observe que en t erminos de las probabilidades fk , la probabilidad de que la caminata regrese eventualmente al origen es k 0 fk . Esta serie es convergente, pues se trata de la suma de probabilidades de eventos disjuntos, y por lo tanto a lo sumo vale uno. Demostraremos que en el caso sim etrico la suma vale uno. Recordemos nuevamente que los valores de fk son estrictamente positivos s olo para valores pares de k distintos de cero. b) No es dif cil comprobar que se cumple la siguiente igualdad pn
n k 0
fk pnk .
(2.4)
En esta expresi on simplemente se descompone la probabilidad de regreso al origen, pn , en las distintas posibilidades en donde se efect ua
2.1. Caminatas aleatorias
13
el primer regreso al origen. Este primero regreso puede darse en el paso 1, o en el paso 2, ..., o en el u ltimo momento, el paso n. Despu es de efectuado el primer regreso se multiplica por la probabilidad de regresar al origen en el n umero de pasos restantes. Observe que el primer sumando es cero. Esta f ormula ser a demostrada m as adelante en el contexto de las cadenas de Markov, v ease la f ormula (3.2) en la p agina 49. Usaremos (2.4) para encontrar la funci on generadora de probabilidad de la colecci on de n umeros f0 , f1 , f2 , . . . , es decir, encontraremos que Gt
f k tk .
k 0
Multiplicando (2.4) por tn , sumando y cambiando el orden de las sumas se obtiene que
n 1
p n tn
fk pnk tn fk pnk tn
n k
n 1 k 0

k 0 n k
k 0
f k tk
n 0
pnk tnk
Gt Por lo tanto,
n 0
p n tn .
p n tn 1
Gt
n 0
p n tn .
(2.5)
on para la suma Para encontrar Gt se necesita encontrar una expresi que aparece en la u ltima ecuaci on, y que no es otra cosa sino la funci on generadora de los n umeros p0 , p1 , p2 , . . . Haremos esto a continuaci on. c) Para el an alisis que sigue necesitamos recordar que para cualquier n umero real a y para cualquier entero n, se tiene el coeciente binomial

a n
aa 1 a n 1 . n!
(2.6)
14
2. Caminatas aleatorias Observe que en el numerador hay n factores. Este n umero es una generalizaci on del coeciente binomial usual y aparece en la siguiente expansi on binomial innita v alida para t 1,
1 t a

n 0
a n t . n
(2.7)
En particular y como una aplicaci on de (2.6) se tiene que 2n n 2n2n 12n 2 3 2 1 n! n! 2n n! 2n 12n 3 5 3 1 n! n! 2n 2n 2n 1 2n 3 5 3 1 n! 2 2 2 2 2 n n 2 2 1 3 5 3 1 1n n n n! 2 2 2 2 2 1 2 4n n . (2.8)
d) Usando (2.7) y (2.8) podemos ahora encontrar una expresi on cerrada para la funci on generadora de la colecci on de n umeros p0 , p1 , p2 , . . .
n 0
pn t
n 0
2n n n 2n p q t n
n 0
12 n n 2n 4 n p q t
n 0
12 4pqt2 n
n (2.9)
1 4pqt2 12.
Gt 1 4pqt2 12 .
e) Substituyendo (2.9) en (2.5) se llega a la igualdad
1 4pqt212 1
2.1. Caminatas aleatorias De donde se obtiene nalmente Gt 1 1 4pqt2 12 .
15
(2.10)
Usando esta expresi on podemos ahora calcular la probabilidad de un eventual regreso al estado inicial. En efecto, por el lema de Abel,
n 0
fn
l m Gt
1
1 1 4pq 12
1 pq .
En el caso asim etrico, p 12, esta cantidad es estrictamente menor a uno y por lo tanto no hay seguridad de que la caminata sea capaz de regresar al origen. En cambio, en el caso sim etrico, p 12, esta cantidad vale uno, es decir, con probabilidad uno la cadena aleatoria sim etrica regresa eventualmente a su posici on de origen. Adem as, el tiempo promedio de regreso se obtiene derivando la funci on generadora Gt 1 1 t2 12 , es decir,
n 0
n fn
l m G t
1
l m
1 t2
r q p 0 1 r
1 p s 1
1
(a) (b)
Figura 2.3 Puede considerarse tambi en el caso de una caminata en donde sea posible permanecer en el mismo estado despu es de una unidad de tiempo. Esta
16
situaci on se ilustra en la Figura 2.3(a), en donde p, q y r son probabilidades tales que p q r 1. Tambi en pueden considerarse caminatas aleatorias en Z2 como la que se muestra en la Figura 2.3(b), en donde p q r s 1, o m as generalmente en Zn o cualquier otro conjunto reticulado. Para estos y otros modelos pueden plantearse diversas preguntas sobre el c alculo de probabilidades de los distintos eventos en caminatas aleatorias. Existe una amplia literatura sobre la teor a y aplicaciones de las caminatas aleatorias, el lector interesado en el tema puede consultar los textos sugeridos al nal del presente cap tulo. M as adelante estudiaremos algunas otras propiedades de las caminatas aleatorias en el contexto de las cadenas de Markov.
2.2.
El problema del jugador
En esta secci on consideraremos un ejemplo particular de una caminata aleatoria puesta en el contexto de un juego de apuestas. Planteamiento del problema Suponga que un jugador A apuesta sucesivamente una unidad monetaria a un jugador B . Inicialmente el jugador A tiene k unidades y B tiene N k unidades, es decir, el capital conjunto entre los dos jugadores es de N unidades monetarias. En cada apuesta el jugador A tiene proXn babilidad de ganar p, y probaN bilidad de perder q 1 p, suponga adem as que no hay empates. Sea Xn la fortuna del juk gador A al tiempo n. Entonces Xn : n 0, 1, . . . es una can minata aleatoria que inicia en el estado k y eventualmente puede Figura 2.4 terminar en el estado 0 cuando el jugador A ha perdido todo su capital, o bien, puede terminar en el estado N que corresponde a la situaci on en donde el jugador A ha ganado todo el capital. Este proceso es entonces una caminata aleatoria sobre el conjunto 0, 1, . . . , N , en donde los estados 0 y N son absorbentes,
2.2. El problema del jugador
17
pues una vez que la cadena llega a alguno de ellos, jam as lo abandona. Una posible trayectoria cuando la caminata se absorbe en el estado 0 se muestra en la Figura 2.4. Una de las preguntas que resolveremos para esta caminata es la siguiente: cu al es la probabilidad de que eventualmente el jugador A se arruine? Es decir, cu al es la probabilidad de que la caminata se absorba en el estado 0 y no en el estado N , u oscile entre estos dos estados? Este problema se conoce como el problema de la ruina del jugador, y encontraremos a continuaci on su soluci on. Como veremos, usando probabilidad condicional es posible transformar este problema en resolver una ecuaci on en diferencias. Soluci on al problema Sea el primer momento en el que la caminata visita alguno de los dos m nn 0 : Xn 0 o Xn N . Puede estados absorbentes, es decir, demostrarse que es una variable aleatoria y que es nita casi seguramente. La pregunta planteada se traduce en encontrar la probabilidad uk P X 0 X0 k.
Por el teorema de probabilidad total se obtiene la ecuaci on en diferencias uk p uk1 q uk1 , (2.11)
v alida para k 1, 2, . . . , N 1. La interpretaci on intuitiva de esta identidad es sencilla: a partir del estado k se busca la probabilidad de ruina analizando lo que sucede en la siguiente apuesta. Se tienen dos casos: el jugador gana con probabilidad p y ahora se busca la probabilidad de ruina a partir del estado k 1, o bien el jugador pierde con probabilidad q y se busca la probabilidad de ruina ahora a partir del estado k 1. Las condiciones de on es una ecuaci on en diferencias, frontera son u0 1 y uN 0. Esta ecuaci lineal, de segundo orden y homog enea. Puede encontrarse su soluci on de la siguiente forma: multiplicando el lado izquierdo de (2.11) por p q y agrupando t erminos se llega a la expresi on equivalente uk1 uk
qp uk uk1.
(2.12)
Resolviendo iterativamente, las primeras k 1 ecuaciones se escriben de la
18 forma siguiente: u2 u1 u3 u2 uk uk1 . . .
qp u1 1 qp2 u1 1 qpk1 u1 1.
Hemos usado aqu la condici on de frontera u0 1. Conviene ahora denir Sk 1 q p q pk pues al sumar las k 1 ecuaciones anteriores se obtiene uk u1 Sk1 1 u1 1. O bien, uk 1 Sk1 u1 1. (2.13)
De manera an aloga pero ahora sumando todas las ecuaciones de (2.12) se obtiene uN 1 SN 1 u1 1. Usando la segunda condici on de frontera uN 0 se llega a u1 1 1SN 1 . Substituyendo en (2.13) y simplicando se llega a la soluci on Sk1 . uk 1 SN 1 Es necesario ahora distinguir los siguientes dos casos: 1 q p q p
k
Sk
1 1 q pk1 1 q p
si p si p 12, 12.
si p si p
12, 12.
Por lo tanto, uk
kN qpk qpN 1 q pN
(2.14)
En la Figura 2.5 se muestra la gr aca de la probabilidad uk como funci on etrico del par ametro k para varios valores de p y con N 50. En el caso sim la soluci on es la l nea recta que une la probabilidad 1 con la probabilidad 0. Naturalmente la probabilidad de ruina decrece cuando el capital inicial k aumenta. En la secci on de ejercicios se sugiere otra forma de resolver la ecuaci on en diferencias (2.11).
2.2. El problema del jugador
19
uk 1 p p p p k 10 20 30 40 50 0.01 0.2 0.35 0.5
p p p
0.65 0.8 0.99
Figura 2.5
An alisis de la soluci on Es interesante analizar la f ormula (2.14) en sus varios aspectos. Por ejemplo, para el caso sim etrico p 12, es decir, cuando el juego es justo, la probabilidad de ruina es muy cercana a 1 cuando k es muy peque no comparado con N . Esto sugiere que no conviene jugar esta serie de apuestas contra adversarios demasiado ricos, aun cuando el juego sea justo. Es tambi en un tanto inesperado observar que la probabilidad uk es muy sensible a los valores de p cercanos a 12. Esto puede apreciarse en la Figura 2.6. Cuando p es distante de 12 la probabilidad uk es casi constante, pero para valores de apidamente de un extremo a otro. p cercanos a 12 la probabilidad cambia r Estas gr acas fueron elaboradas tomando N 50. N umero esperado de apuestas antes de la ruina Hemos comprobado en el ejercicio anterior que con probabilidad uno ocurre que eventualmente alguno de los dos jugadores se arruina. Es natural entonces plantearse el problema de encontrar el tiempo promedio que transcurre antes de observar la eventual ruina de alguna de las partes. Este n umero de apuestas promedio antes de la ruina puede encontrarse expl citamente, y el m etodo que usaremos para encontrarlo es nuevamente el planteamiento de una ecuaci on en diferencias que resolveremos del modo mostrado antes. Sea entonces mk el n umero esperado de apuesta antes de que termine el juego, en donde el jugador A tiene un capital inicial de k unidades, y B tiene N k.
20
uk 1 1
uk 1
uk
5 1 2 1
25 12 1
45 12 1
Figura 2.6
Proposici on 2.5 El n umero esperado de apuestas antes de la ruina es

k N
mk
1 q pk kN qp 1 q pN 1
si p si p
q, q.
Demostraci on. Condicionando sobre el resultado de la primera apuesta se obtiene que mk satisface la ecuaci on mk 1 p mk1 q mk1 ,
v alida para k 1, 2, . . . , N 1. Esta es una ecuaci on en diferencias, de segundo orden, lineal y no homog enea. Las condiciones de frontera son ahora erminos m0 0 y mN 0. Substituyendo p q mk por mk y agrupando t convenientemente la ecuaci on anterior puede reescribirse del siguiente modo: mk1 mk Recordando la notaci on Sk 1 q . mk mk1 1 p p (2.15)
qp qpk ,
y substituyendo
2.2. El problema del jugador iterativamente, las primeras k 1 ecuaciones son m2 m1 m3 m2 mk mk1 . . . S0 , qp m1 1 p 1 qp2 m1 p S1 , Sk2 . qpk1 m1 1 p
21
Aqu se ha hecho uso de la condici on de frontera m0 estas ecuaciones se obtiene mk m1 Es decir, mk m1 Sk1 m1 Sk1 1
k 2 1 Si . p i 0
0. Sumando todas
k 2 1 Si . p i 0 N 2 1 Si . p i 0
(2.16)
En particular, sumando todas las ecuaciones de (2.15) se obtiene mN m1 SN 1
Ahora se hace uso de la condici on mN m1 Substituyendo en (2.16), mk 1 SN 1
0, y se obtiene
k 2 1 Si . p i 0
N 2 k 2 Sk1 1 1 Si Si . SN 1 p i 0 p i 0
(2.17)
Nuevamente se deben distinguir los siguientes dos casos: Sk 1 q p q p

k
1 1 q pk1 1 q p
si p si p
12, 12.
22
Substituyendo en (2.17) y simplicando, despu es de algunos c alculos se llega a la respuesta enunciada. La forma en la que mk cambia al mk variar el par ametro k se muestra 625 en la Figura 2.7 cuando N 50. p 0.5 La duraci on m axima promedio del juego se obtiene cuando el juego es 12, y ambos jugadores justo, p tienen el mismo capital inicial, es p 0.1 p 0.9 k decir, k N 2. Esto arroja un 10 20 30 40 50 promedio m aximo de N 2N N 2 N 22 apuestas antes del Figura 2.7 n del juego. En el caso ilustrado, la duraci on m axima promedio del juego es de 5022 625 apuestas. Notas y referencias. El tema de caminatas aleatorias puede ser encontrado en la mayor a de los textos sobre procesos estoc asticos, ya sea de una manera expl cita o como un ejemplo importante de cadena de Markov. En particular el libro de Jones y Smith [15], y el de Basu [1] contienen un cap tulo completo sobre el tema. En el texto de Lawler [22] puede encontrarse una exposici on a nivel elemental sobre las caminatas aleatorias y la ecuaci on del calor, entre otros temas. Como lectura m as avanzada v ease el texto de Resnick [27] y el de Spitzer [32].
2.3.
Ejercicios
4. Propiedad de Markov. Demuestre que una caminata aleatoria simple Xn : n 0 sobre Z cumple la propiedad de Markov, es decir, demuestre que para cualquier valor natural de n y para cualesquiera enteros x0 , x1 , . . . , xn1 , la probabilidad P Xn1 coincide con P Xn1 xn1 X0 xn1 Xn x0 , . . . , Xn xn . xn
2.3. Ejercicios
23
5. Para una caminata aleatoria simple Xn : n 0 sobre Z demuestre que P Xn1 x p P Xn x 1 q P Xn x 1. 6. Una part cula realiza una caminata aleatoria sim etrica sobre Z empezando en cero. Encuentre la probabilidad de que la part cula se encuentre nuevamente en el origen en el sexto paso. 7. Una part cula realiza una caminata aleatoria sim etrica sobre Z empezando en cero. Cu al es la probabilidad de que la part cula regrese al estado cero por primera vez en el sexto paso? 8. Demuestre que la funci on generadora de momentos de la variable Xn de la caminata aleatoria simple sobre Z es M t E etXn
pet qet n.
A partir de esta expresi on encuentre nuevamente la esperanza y varianza de Xn . 9. Demuestre nuevamente la identidad (2.1) analizando ahora la variable Ln , es decir, demuestre primero las igualdades que aparecen abajo. Concluya que Ln tiene distribuci on binomialn, q . A partir de aqu obtenga (2.1). Ln 1 n Xn 2
n 1 1 i. 2 i 1
10. Demuestre que la probabilidad (2.1) es una funci on sim etrica de x si, y s olo si, la caminata es sim etrica. La simetr a de la probabilidad se expresa de la forma siguiente P Xn x X0 0 P Xn
X0
0.
11. Primera visita a un estado dado. Considere una caminata aleatoria simple sobre Z que empieza en cero y tal que la probabilidad de pasar al estado de la derecha es p y la probabilidad de pasar al estado de 1 p. Sea n el primer momento en el que la la izquierda es q
24
2. Caminatas aleatorias caminata visita el estado n 1. Usando an alisis del primer paso (es decir, condicionando sobre si el primer paso se efect ua a la izquierda o a la derecha) demuestre que P n
pqn
1
si p si p
12, 12.
(2.18)
En particular, la probabilidad de que la caminata se mantenga siempre en el conjunto . . . , 1, 0, 1, . . . , n1 es 1pq n en el caso p 12, y con probabilidad uno llegar a al estado n en el caso p 12. Generalice la f ormula (2.18) en el caso cuando el estado inicial es m, menor o mayor a n. 12. Un algoritmo aleatorio de b usqueda del estado cero opera del siguiente modo: si se encuentra en el estado k en alg un momento, entonces el estado del algoritmo al siguiente paso es aleatorio con distribuci on uniforme en el conjunto 0, 1, . . . , k 1. Encuentre el n umero esperado de pasos en los que el algoritmo alcanza el estado cero cuando inicia en el estado k. 13. Recurrencia. Sea Xn : n 0 una caminata aleatoria simple sobre Z que inicia en X0 0. Sea fij la probabilidad de que eventualmente la caminata visite el estado j a partir del estado i, es decir, fij P Xn j para alguna n 1 X0 i.
Lleve a cabo cada uno de los siguientes pasos para encontrar nuevamente la probabilidad de un eventual retorno a la posici on de origen f00 . a) Demuestre que f1,1 f1,0 f01
2 . f01
b) Condicionando sobre el primer paso de la caminada, demuestre que f00 pf10 q f1,0 pf10 q f01 . c) Usando la misma t ecnica que en el inciso anterior demuestre que 2 f01 p q f01 . d) Resuelva la ecuaci on cuadr atica del inciso anterior y obtenga las dos ra ces f01 1, pq .
2.3. Ejercicios e) De manera an aloga obtenga f10 1, q p.
25
f) Analice los casos p q y p q por separado para encontrar que f00 2q y f00 2p, respectivamente. Concluya que f00 2 m np, q 1 pq .
El problema de la ruina del jugador 14. Ecuaci on en diferencias. Siguiendo la notaci on usada en el problema de la ruina del jugador, demuestre la validez de la ecuaci on en diferencias que aparece abajo, para k 1, 2, . . . , N 1. uk p uk1 q uk1 .
15. Para resolver el problema del jugador se requiere resolver la ecuaci on en diferencias uk p uk1 q uk1 . Resuelva nuevamente esta ecuaci on siguiendo los siguientes pasos sugeridos en [16]: a) Proponga la soluci on uk a mk , con a y m constantes distintas de cero, y que encontraremos a continuaci on. b) Substituya la soluci on propuesta en la ecuaci on en diferencias y 2 on encuentre la ecuaci on cuadr atica pm m q 0. Esta ecuaci se conoce como la ecuaci on caracter stica de la ecuaci on en diferencias. q , esta ecuaci on cuadr atica tiene dos c) Suponiendo el caso p soluciones distintas: m1 1 y m2 q p. Dada la linealidad de la ecuaci on en diferencias, la soluci on general puede escribirse como k uk a1 mk a m a a q pk . 2 1 2 1 2 0 para encontrar d) Use las condiciones de frontera u0 1 y uN los valores de las constantes a1 y a2 , y obtener nuevamente la soluci on (2.14). q la ecuaci on caracter stica tiene una u nica ra z: e) Cuando p m1 1. Como segundo valor para m se propone k veces el valor k. Proceda como en el de la primera soluci on, es decir, m2 inciso anterior para encontrar (2.14) en este caso.
26
16. Probabilidad de ruina del segundo jugador. Si el juego se considera desde el punto de vista del jugador B , entonces se trata de la misma caminata aleatoria s olo que ahora el capital inicial es N k y la probabilidad de ganar en cada apuesta es q . Substituya estos par ametros en la soluci on (2.14) y compruebe que la probabilidad de ruina del juas gador B , denotada por vN k , es la que aparece abajo. Verique adem que uk vN k 1, es decir, la probabilidad de que eventualmente el juego termine con la ruina de alguno de los jugadores es uno. vN k
k N
qpk 1 qpN 1
si q si q
12, 12.
17. Siguiendo la notaci on usada para encontrar el n umero esperado de apuestas antes de la ruina en el problema del jugador, demuestre la siguiente igualdad v alida para k 1, 2, . . . , N 1. mk 1 p mk1 q mk1 .
18. Considere el problema de la ruina del jugador permitiendo ahora que existan empates en cada una de las apuestas. Las probabilidades de ganar, perder o empatar para el jugador A son p, q y r , respectivamente, con p q r 1. Demuestre que la probabilidad de ruina para el jugador A sigue siendo la misma expresi on (2.14). Es decir, la posibilidad de empate en cada apuesta extiende posiblemente la duraci on del juego pero no modica las probabilidades de ruina. 19. Demuestre que la duraci on promedio del juego en el problema de la ruina del jugador es siempre menor o igual a N 22 , es decir, para cada k 1, . . . , N , se cumple que mk N 22 , tanto en el caso sim etrico como en el no sim etrico.
Cap tulo 3
Cadenas de Markov
Las cadenas de Markov fueron introducidas por el matem atico ruso Andrey Markov alrededor de 1905. Su intenci on era crear un modelo probabil stico para analizar la frecuencia con la que aparecen las vocales en poemas y textos literarios. El exito del modelo propuesto por Markov radica en que es lo sucientemente complejo como para describir ciertas caracter sticas no triviales de algunos sistemas, pero al misAndrey Markov mo tiempo es lo sucientemente sencillo para (Rusia, 1856-1922) ser analizado matem aticamente. Las cadenas de Markov pueden aplicarse a una amplia gama de fen omenos cient cos y sociales, y se cuenta con una teor a matem atica extensa al respecto. En este cap tulo presentaremos una introducci on a algunos aspectos b asicos de este modelo.
3.1.
Propiedad de Markov
Vamos a considerar procesos estoc asticos a tiempo discreto Xn : n 0 que cumplen la propiedad de Markov. Para describir a esta propiedad y varias de sus condiciones equivalentes de una manera simple, a la probabilidad P Xn xn se le escribir a como pxn , es decir, el sub ndice indica tambi en la variable a la que se hace referencia. El signicado de la probabilidad 27
28
3. Cadenas de Markov
condicional pxn1 xn es an alogo. Hacemos enfasis en que esta notaci on ayuda a escribir la propiedad de Markov y sus equivalencias de una manera simple y clara. M as adelante retomaremos la notaci on que se usa de manera est andar para estas probabilidades. Denici on 3.1 Una cadena de Markov es un proceso estoc astico a tiempo discreto Xn : n 0, 1, . . . , con espacio de estados discreto, y que satis0, y para face la propiedad de Markov, esto es, para cualquier entero n cualesquiera estados x0 , . . . , xn1 , se cumple pxn1 x0 , . . . , xn pxn1 xn . (3.1)
Si al tiempo n 1 se le considera como un tiempo futuro, al tiempo n como el presente y a los tiempos 0, 1, . . . , n 1 como el pasado, entonces la condici on (3.1) establece que la distribuci on de probabilidad del estado del proceso al tiempo futuro n 1 depende u nicamente del estado del proceso al tiempo n, y no depende de los estados en los tiempos pasados 0, 1, . . . , n 1. Existen otras formas equivalentes de expresar esta propiedad, algunas de ellas se encuentran enunciadas en la secci on de ejercicios. Por ejemplo, es posible demostrar que la condici on (3.1) es equivalente a poder calcular la distribuci on conjunta de las variables X0 , X1 , . . . , Xn de la siguiente forma: px0 , x1 , . . . , xn px0 px1 x0 pxn xn1 .
Sin p erdida de generalidad tomaremos como espacio de estados de una cadena de Markov al conjunto discreto 0, 1, 2, . . . , o cualquier subconjunto nito que conste de los primeros elementos de este conjunto. Cuando el espacio de estados de una cadena de Markov es un conjunto nito se dice que la cadena es nita. Probabilidades de transici on Sean i y j dos estados de una cadena de Markov. A la probabilidad P Xn1 j Xn i
se le denota por pij n, n 1, y representa la probabilidad de transici on del estado i en el tiempo n, al estado j en el tiempo n 1. Estas probabilidades se conocen como las probabilidades de transici on en un paso. Cuando los
3.1. Propiedad de Markov
29
n umeros pij n, n1 no dependen de n se dice que la cadena es estacionaria u homog enea en el tiempo. Por simplicidad se asume tal situaci on de modo que las probabilidades de transici on en un paso se escriben como pij . Variando los ndices i y j , por ejemplo, sobre el conjunto de estados 0, 1, 2, . . . , se obtiene la matriz de probabilidades de transici on en un paso que aparece en la Figura 3.1. La entrada i, j de esta matriz es la probabilidad de transici on pij , es decir, la probabilidad de pasar del estado i al estado j en una unidad de tiempo. En general, al escribir estas matrices omitiremos escribir la identicaci on de los estados en los renglones y columnas como aparece en la Figura 3.1, tal identicaci on ser a evidente a partir de conocer el espacio de estados del proceso. El ndice i se reere al rengl on de la matriz, y el ndice j a la columna.
0
1 2
0 1 2 . . .
p00 p01 p02 p10 p11 p12 p20 p21 p22 . . . . . . . . . Figura 3.1
Proposici on 3.1 La matriz de probabilidades de transici on P ple las siguientes dos propiedades. a) pij b)
pij cum-
0. pij 1.
Demostraci on. La primera condici on es evidente a partir del hecho de que estos n umeros son probabilidades. Para la segunda propiedad observamos primero que se cumple la descomposici on disjunta:
j
X1
j .
Por lo tanto, para cualquiera estados i y j ,
30
P
j
X1
j X0
P X1
j X0
pij .
Esto u ltimo signica que a partir de cualquier estado i con probabilidad uno la cadena pasa necesariamente a alg un elemento del espacio de estados al siguiente momento. En general toda matriz cuadrada que cumpla estas dos propiedades se dice que es una matriz estoc astica. Debido a la propiedad de Markov, esta matriz captura la esencia del proceso y determina el comportamiento de la cadena en cualquier tiempo futuro. Si adem as la matriz 1, es decir, cuando la suma por columnas satisface la condici on i pij tambi en es uno, entonces se dice que es doblemente estoc astica. Distribuci on de probabilidad inicial En general puede considerarse que una cadena de Markov inicia su evoluci on partiendo de un estado i cualquiera, o m as generalmente considerando una distribuci on de probabilidad inicial sobre el espacio de estados. Una distribuci on inicial para una cadena de Markov con espacio de estados 0, 1, 2, . . . es simplemente una distribuci on de probabilidad sobre este conjunto, es decir, es una colecci on de n umeros p0 , p1 , p2 . . . que son no negativos y que suman uno. El n umero pi corresponde a la probabilidad de que la cadena inicie en el estado i. En general, la distribuci on inicial juega un papel secundario en el estudio de las cadenas de Markov. Existencia Hemos mencionado que la propiedad de Markov (3.1) es equivalente a la px0 px1 x0 pxn xn1 . Esta identidad igualdad px0 , x1 , . . . , xn establece que las distribuciones conjuntas px0 , x1 , . . . , xn se encuentran completamente especicadas por la matriz de probabilidades de transici on y por una distribuci on inicial. En el texto de Chung [5] puede encontrarse una demostraci on del hecho de que dada una matriz estoc astica y una distribuci on de probabilidad inicial, existe un espacio de probabilidad y una cadena de Markov con matriz de probabilidades de transici on y distribuci on inicial las especicadas. Es por ello que a la matriz misma se le llama a veces cadena de Markov.
3.2. Ejemplos
31
Probabilidades de transici on en n pasos La probabilidad P Xnm j Xm i corresponde a la probabilidad de pasar del estado i al tiempo m, al estado j al tiempo m n. Dado que hemos supuesto la condici on de homogeneidad en el tiempo, esta probabilidad no depende realmente de m, por lo tanto coincide con P Xn j X0 i, y se n en se le denota por pij , en le denota por pij n. A esta probabilidad tambi donde el n umero de pasos n se escribe entre par entesis para distinguirlo de alg un posible exponente, y se le llama probabilidad de transici on en n pasos. Usaremos ambas notaciones a conveniencia. Haciendo variar i y j se obtiene la matriz de probabilidades de transici on en n pasos que denotaremos por P n o P n : p00 n p01 n P n p10 n p11 n . . . . . . . Cuando el n umero de pasos n es uno, simplemente se omite su escritura en estas probabilidades de transici on, a menos que se quiera hacer enfasis en on delta ello. Adem as, cuando n 0 es natural denir pij 0 como la funci de Kronecker: 0 si i j, pij 0 ij 1 si i j. Es decir, despu es de realizar cero pasos la cadena no puede estar en otro lugar mas que en su estado de partida. Para algunas pocas cadenas de Markov encontraremos f ormulas compactas para las probabilidades de transici on pij n. Estas probabilidades en general no son f aciles de encontrar.
3.2.
Ejemplos
Estudiaremos a continuaci on algunos ejemplos particulares de cadenas de Markov. Retomaremos m as adelante varios de estos ejemplos para ilustrar otros conceptos y resultados generales de la teor a, de modo que nos referiremos a estos ejemplos por los nombres que indicaremos y, a menos que se diga lo contrario, usaremos la misma notaci on e hip otesis que aqu se presentan. Cadena de dos estados Considere una cadena de Markov con espacio de estados 0, 1, y con matriz y diagrama de transici on como aparece en la Figura 3.2, en donde 0 a 1,
32 y0 b 0 y p1
3. Cadenas de Markov 1. Suponga que la distribuci on inicial est a dada por p0 P X0 1.

a 1a 0 b 1 1b
P X0
0 1
1a a b 1b
Figura 3.2 Aunque de aspecto sencillo, esta cadena es susceptible de muchas aplicaciones pues es com un encontrar situaciones en donde se presenta siempre la dualidad de ser o no ser, estar o no estar, tener o no tener, siempre en una constante alternancia entre un estado y el otro. Cuando a 1 b, las variables X1 , X2 , . . . son independientes e id enticamente distribuidas con P Xn 0 1 a y P Xn 1 a, para cada n 1. Cuando a 1 b, as adelante daremos la soluci on al problema no Xn depende de Xn1 . M trivial de encontrar las probabilidades de transici on en n pasos. Estas probabilidades son, para a b 0, P n
p00 n p01 n p10 n p11 n 1
ab
b a b a
a b 1 ab
a b
a
b
Cadena de variables aleatorias independientes Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes con valores en el conjunto 0, 1, . . . , y con id entica distribuci on dada por las probabilidades a0 , a1 , . . . Deniremos varias cadenas de Markov a partir de esta sucesi on. n . La sucesi on Xn : n 1 es una cadena de Markov a) Sea Xn con espacio de estados 0, 1, . . . , y con probabilidades de transici on pij P Xn j Xn1 i P Xn j aj . Es decir, la matriz de
3.2. Ejemplos probabilidades de transici on es de la siguiente forma:
33
a0 a1 a2 a0 a1 a2 . . . . . . . . .
Por la hip otesis de independencia, esta cadena tiene la cualidad de poder pasar a un estado cualquiera siempre con la misma probabilidad en cualquier momento, sin importar el estado de partida. En consecuencia, para cualquiera estados i y j , y para cualquier entero on en n pasos son f aciles de caln 1, las probabilidades de transici cular y est an dadas por pij n aj . Esta cadena puede modelar, por ejemplo, una sucesi on de lanzamientos independientes de una moneda. b) Sea Xn m ax 1 , . . . , n . La sucesi on Xn : n 1 es una cadena de Markov con espacio de estados 0, 1, . . . y matriz

a0 a1 a2 a3 0 a0 a1 a2 a3 0 0 a0 a1 a2 a3 . . . . . . . . . . . .
c) Sea Xn 1 n . La sucesi on Xn : n 1 es una cadena de Markov con espacio de estados 0, 1, . . . y matriz

a0 a1 a2 0 a0 a1 0 0 a0 . . . . . . . . .
Cadena de rachas de exitos Sea 1 , 2 , . . . una sucesi on de ensayos independientes Bernoulli con probaumero bilidad de exito p, y probabilidad de fracaso q 1 p. Sea Xn el n de exitos consecutivos previos al tiempo n, incluyendo el tiempo n. Se dice que una racha de exitos de longitud r ocurre al tiempo n si en el ensayo n r se obtiene un fracaso y los resultados de los ensayos n r 1 al n son todos exitos. Gr acamente esta situaci on se ilustra en la Figura 3.3.
34
r exitos
F nr
E nr1
E n
Figura 3.3 La colecci on de variables aleatorias Xn : n 1, 2, . . . es una cadena de on Markov con espacio de estados 0, 1, . . . . Las probabilidades de transici y la matriz correspondiente se muestran en la Figura 3.4.
0 1
2 3
pij
q 0
si j si j
i 1, 0,
otro caso.
0 1 2 . . .
q p 0 0 q 0 p 0 q 0 0 p . . . . . . . . .
Figura 3.4 Las posibles transiciones de un estado a otro para esta cadena de Markov se pueden observar en la Figura 3.5. Cadena de la caminata aleatoria Una caminata aleatoria simple sobre el conjunto de n umeros enteros constituye una cadena de Markov con espacio de estados el conjunto Z, y con probabilidades de transici on
p
si j
pij
q 0
si j i 1, otro caso,
i 1,
on 2.3 de la p agina 11 en donde p q 1. Hemos demostrado en la Proposici que las probabilidades de transici on en n pasos son las siguientes: si n y j i
3.2. Ejemplos
35
0 p 1 q q 2 q 3 q r
Figura 3.5 es ambos pares o ambos impares con pij n
1 2
ji
n, entonces
n n j i
pnj i2 q nj i2 .
En otro caso pij n 0, excepto cuando n 0 e i j . M as adelante usaremos este modelo para ilustrar algunos conceptos generales de cadenas de Markov. Cadena del jugador El modelo usado para el problema del jugador estudiado en el segundo cap tulo es una caminata aleatoria sobre el conjunto de n umeros enteros 0, 1, , . . . , N , en donde los estados 0 y N son absorbentes. Las probabilidades de transici on son como las de la caminata aleatoria simple s olo que ahora p00 1 y pN N 1. Este proceso es otro ejemplo de cadena de Markov con espacio de estados nito. Hemos demostrado antes que con probabilidad uno la cadena eventualmente se absorbe en alguno de los dos estados absorbentes, hemos calculado la probabilidad de ruina, es decir, la probabilidad de que la absorci on se observe en el estado 0, y hemos adem as encontrado el tiempo medio de absorci on. Cadena de Ehrenfest Sean A y B dos urnas dentro de las cuales se encuentran distribuidas un total de N bolas de acuerdo a cierta conguraci on inicial, por ejemplo, en
36
la urna A hay i bolas y en la urna B hay N i bolas. En cada unidad de tiempo se escoge una bola al azar y se cambia de urna. Para tal efecto ... ... puede considerarse que las bolas se encuentran numeradas y que se esN i bolas i bolas coge un n umero al azar, se busca la Urna A Urna B bola con ese n umero y se cambia de urna. V ease la Figura 3.6. Sea Xn el n umero de bolas en la urna A desFigura 3.6 pu es de n extracciones. Entonces la 0, 1, . . . conscolecci on Xn : n tituye una cadena de Markov con espacio de estados nito 0, 1, . . . , N . Es claro que a partir del estado i la cadena s olo puede pasar al estadio i 1 o al estado i 1 al siguiente momento, de modo que las probabilidades son alidas para i 1, 2, . . . , N 1. Natupi,i1 iN , y pi,i1 N iN , v ralmente p01 1 y pN,N 1 1. En este caso se dice que los estados 0 y N son reejantes. La matriz de probabilidades de transici on aparece m as abajo. Este modelo fue propuesto por Ehrenfest para describir el intercambio aleatorio de mol eculas en dos regiones separadas por una membrana porosa. La regi on con mayor n umero de mol eculas tender a a liberar mas mol eculas.

0 1N 0 . . . 0 0
1 0 2N . . . 0 0
0 N 1N 0 . . . 0 0
0 0 N 2N . . . 0 0
0 0 0 . . . 1
. 0 1 N
0 0 0 . . . 0
Cadena de ramicaci on Considere una part cula u objeto que es capaz de generar otras part culas del mismo tipo al nal de un periodo establecido de tiempo. El conjunto de part culas iniciales constituye la generaci on 0. Cada una de estas part culas simult aneamente y de manera independiente genera un n umero de descendientes dentro del conjunto 0, 1, . . . , y el total de estos descendientes pertenece a la generaci on 1, estos a su vez son los progenitores de la
3.2. Ejemplos
37
generaci on 2, y as sucesivamente. Una posible sucesi on de generaciones se muestra en la Figura 3.7. El posible evento cuando una part cula no genera ning un descendiente se interpreta en el sentido de que la part cula se ha muerto o extinguido.
Generaci on
0 1 2 3 4
Xn
1 2 3 3 2
Figura 3.7 Sea k la variable aleatoria que modela el n umero de descendientes de la k- esima part cula. Para cada n 0 dena Xn como el n umero de part culas en la generaci on n. Entonces Xn : n 0, 1, . . . es una cadena de Markov con espacio de estados 0, 1, . . . y probabilidades de transici on pij P 1 un momento Xn 0, entonces se dice i j , para i 1. Si en alg que la poblaci on de part culas se ha extinguido. Naturalmente el estado 0 es un estado absorbente. Este modelo ha sido usado para determinar la probabilidad de extinci on de la descendencia de una persona. Cadena de la la de espera Considere una cola o l nea de espera de clientes que solicitan alg un tipo de servicio de un servidor. Suponga que el sistema es observado en los tiempos discretos n 0, 1, . . ., y que la la funciona del siguiente modo: cuando hay alg un cliente esperando servicio al inicio de un periodo, el cliente al frente de la la es atendido terminando el servicio al nal del periodo. Naturalmente si no existiera ning un cliente en la la al inicio de alg un periodo, entonces ning un cliente es atendido. Para cada entero n 1 dena n como el n umero de nuevos clientes que se incorporan a la la durante el periodo
38
n. Bajo ciertas condiciones es natural suponer que estas variables aleatorias son independientes, id enticamente distribuidas y con valores enteros no negativos. Suponga que P n k ak , con ak 0 y a0 a1 1. Sea X0 el n umero de clientes iniciales, y para cada n 1 dena a Xn como el n umero de clientes en la la al nal del periodo n. Las dos reglas de operaci on mencionadas se pueden escribir de la siguiente forma: Xn1 n1 Xn n1 1 si Xn si Xn 0, 1.
Esto puede escribirse como Xn1 Xn 1 n1, en donde x m axx, 0. Por lo tanto, el proceso Xn : n 0, 1, . . . es una cadena de on Markov con espacio de estados 0, 1, . . . y probabilidades de transici pij Es decir, P

si i
0, 1.
j i 1 si i a0 a1 a0 a1 0 a0 0 0 . . . . . . a2 a2 a1 a0 . . .
Cadena de inventarios Suponga que se almacena un cierto n umero de bienes en una bodega, y que se requiere una demanda aleatoria n del bien en el periodo n. Suponga que P n k ak , para k 0, 1, . . . con ak 0 y k ak 1, es decir, la distribuci on de n es la misma para cualquier n. El n umero de bienes en el almac en es revisado al nal de cada periodo y se aplica la siguiente pol tica de reabastecimiento: si al nal del periodo la cantidad del bien es menor o igual a un cierto nivel s, entonces se reabastece la bodega inmediatamente hasta un nivel m aximo S . Si al nal del periodo el n umero de bienes es mayor a s, entonces no hay ning un reabastecimiento. Naturalmente s S . Sea Xn el n umero de bienes al nal del periodo n y justo antes de aplicar la pol tica de reabastecimiento. Entonces Xn : n 0 es una cadena de Markov con
n de Chapman-Kolmogorov 3.3. Ecuacio
39
espacio de estados . . . , 2, 1, 0, 1, 2, . . . , S . Se permiten valores negativos para Xn los cuales corresponden a demandas del bien no satisfechas en su momento pero que ser an cubiertas en el siguiente reabastecimiento. El valor de Xn1 en t erminos de Xn se escribe de la forma siguiente: Xn1 Xn n1 S n1 si s si Xn Xn s. S,
Las probabilidades de transici on para esta cadena son pij P Xn1 j Xn i P n1 P n1 i j S j aij si s si i i s. S, aS j
La primera expresi on corresponde al caso cuando no hay reabastecimiento, la probabilidad de pasar de i a j es la probabilidad de que la demanda al nal en ser a de i i j de ese periodo sea de j i pues el nuevo nivel del almac j . La segunda expresi on corresponde al caso cuando hay reabastecimiento y el nuevo nivel ser a de S S j j , cuando la demanda sea S j .
3.3.
Ecuaci on de Chapman-Kolmogorov
Esta ecuaci on es una f ormula sencilla y muy u til que permite desk componer la probabilidad de pasar del estado i al estado j en n paj sos, en la suma de probabilidades de las trayectorias que van de i a i j , y que atraviesan por un estado k cualquiera en un tiempo intermer n dio r . Gr acamente, las trayectorias que van del estado i al estado j Figura 3.8 en n pasos se descomponen como se muestra en la Figura 3.8. Para nes ilustrativos se dibujan las trayectorias de manera continua pero en realidad no lo son. La ecuaci on de Chapman-Kolmogorov es importante para hacer ciertos c alculos y se usa con regularidad en el estudio de las cadenas de Markov.
40
Proposici on 3.2 (Ecuaci on de Chapman-Kolmogorov) Para cualquier par de n umeros enteros r y n tales que 0 r n, y para cualesquiera estados i y j se cumple pij n Demostraci on. Markov, pij n
pik r pkj n r .
Por el teorema de probabilidad total y la propiedad de P Xn

k

k k
P Xn P Xn
j X0 j, Xr
i k, X0
iP X0 k X0
i i
j Xr
k P Xr
pkj n r pik r .
En particular, la siguiente desigualdad ser a utilizada m as adelante: para cualquier estado k y para 0 r n, se tiene que pij n pik r pkj n r .
Como una consecuencia importante de la ecuaci on de Chapman-Kolmogorov se tiene el siguiente resultado. Proposici on 3.3 La probabilidad de transici on en n pasos, pij n, est a dada por la entrada i, j de la n- esima potencia de la matriz P , es decir, pij n
P nij .
Demostraci on. Esta identidad es consecuencia de la ecuaci on de Chapman-Kolmogorov aplicada n 1 veces. La suma que aparece abajo corresponde a la entrada i, j de la matriz resultante de multiplicar P consigo
n de Chapman-Kolmogorov 3.3. Ecuacio misma n veces. pij n

i1 ,i2 i1
41
pi,i1 1 pi1 ,j n 1 pi,i1 1 pi1 ,i2 1 pi2 ,j n 2
. . .
i1 ,...,in1 P n ij .
pi,i1 1 pi1 ,i2 1
pi ,j 1
n 1
En palabras este resultado establece que el dif cil problema de calcular las probabilidades de transici on en n pasos se transforma en obtener la n- esima potencia de la matriz de probabilidades de transici on en un paso, es decir,
P n
p00 n p01 n p10 n p11 n . . . . . .
p00 p01 p10 p11 . . . . . .
P n.
Si se conoce esta matriz y si pi P X0 i es una distribuci on inicial, entonces la distribuci on de la variable Xn es P Xn j
pi pij n.
Cuando una matriz estoc astica P es diagonalizable, es decir, cuando puede ser escrita en la forma QDQ1 en donde D es una matriz diagonal, las potencias de P se calculan f acilmente, pues P n QD n Q1 . Como D es n diagonal, D es la matriz con cada elemento de la diagonal elevado a la n- esima potencia. Ejemplo 3.1 Consideremos nuevamente la cadena general de dos estados
1a a b 1b
42
Los eigenvalores de esta matriz est an dados por la ecuaci on P I 0, y resultan ser 1 1 y 2 1 a b. Los correspondientes eigenvectores escritos como vectores rengl on son 1, 1 y a, b, respectivamente. La matriz Q est a compuesta por los eigenvectores como columnas, y si se cumple que a b 0, entonces es invertible, es decir,
1 1
a b
Q1
ab
b 1
a 1
La matriz D es la matriz diagonal que contiene a los dos eigenvalores. Puede entonces comprobarse la identidad P QDQ1 , es decir,
1a a b 1b
1 1
a b
1 0 0 1ab
ab
b 1
a 1
Por lo tanto, Pn Q D n Q1
1 1 1
a b
1 0
ab
b a b a
1 a bn a a ab b b .
0 1 a bn
b 1
a 1
1 ab
Este resultado fue mencionado cuando se present o la cadena de Markov de dos estados en la p agina 32. Ejemplo 3.2 Toda matriz estoc astica P con renglones id enticos es idempotente, es decir, para cualquier entero n 1, se cumple que P n P . Este es el caso de la cadena de variables aleatorias independientes.
3.4.
Comunicaci on
Deniremos a continuaci on el concepto de comunicaci on entre dos estados de una cadena de Markov como la posibilidad de pasar de un estado a otro en alg un n umero nito de transiciones.
n 3.4. Comunicacio
43
Denici on 3.2 Se dice que el estado j es accesible desde el estado i si existe un entero n 0 tal que pij n 0, esto se escribe simplemente como j . Se dice adem as que los estados i y j son comunicantes, y se escribe i j , si se cumple que i j yj i. i Observe que siempre se cumple que i i, pues por denici on pii 0 1. Adem as observe que si ocurre j , la accesibilidad de i a j puede darse en que i un n umero de pasos distinto que la accesibilidad de j a i. Gr acamente la accesibilidad y la comunicaci on se representan, como lo hemos hecho antes en los ejemplos, mediante echas entre nodos como se muestra en la Figura 3.9. Es sencillo vericar que la comunicaci on es una relaci on de equivalencia, es decir, cumple las siguientes propiedades. a) Es reexiva: i b) Es sim etrica: si i c) Es transitiva: si i k. i i. j , entonces j j y j i. k, entonces
Accesibilidad i j
Comunicaci on i j
Figura 3.9
En consecuencia, la comunicaci on induce una partici on del espacio de estados de una cadena de Markov dada por los subconjuntos de estados comunicantes, es decir, dos estados pertenecen al mismo elemento de la partici on si, y s olo si, son estados que se comunican. De este modo el espacio de estados de una cadena de Markov se subdivide en clases de comunicaci on. A la clase j de comunicaci on de un estado i se le denotar a por C i. Por lo tanto, i si, y s olo si, C i C j . Ejemplo 3.3 La cadena de Markov con espacio de estados 0, 1, 2, 3 y matriz de probabilidades de transici on que se muestra en la Figura 3.11 0, C 1 1, 2 y tiene tres clases de comunicaci on que son C 0 C 3 3. Es evidente que el estado 0 se comunica consigo mismo pues existe una echa que parte de tal estado y llega a el mismo. Visualmente tampoco hay duda de que la segunda colecci on de estados es una clase de on f sica del estado comunicaci on. Para la clase C 3 no existe una conexi
44
C i
C j S
Partici on de un espacio de estados en clases de comunicaci on
Figura 3.10 1, y ello hace que 3 consigo mismo, sin embargo, por denici on p33 0 esta clase de u nicamente un estado sea de comunicaci on. Observe que estas clases de comunicaci on conforman una partici on del espacio de estados.
C 0 0 1 C 1
1 1 2 0
0 0 0 0 1 2 0 12 12 0 12 0 12 0
3 C 3
Figura 3.11 El estado i de una cadena de Markov se llama absorbente si pii 1 ejemplo, el estado 0 de la cadena de la Figura 3.11 es absorbente.
1. Por
Denici on 3.3 Se dice que una cadena de Markov es irreducible si todos los estados se comunican entre s . En otras palabras, una cadena de Markov es irreducible si existe s olo una clase de comunicaci on, es decir, si la partici on generada por la relaci on de comunicaci on es trivial. Por ejemplo, la cadena de racha de exitos o la cadena de la caminata aleatoria son cadenas irreducibles, pues todos los estados se
3.5. Periodo
45
comunican entre s . La cadena de la Figura 3.11 no es irreducible, pues no se cumple que todos los estados se comuniquen.
3.5.
Periodo
El periodo es un n umero entero no negativo que se calcula para cada estado de una cadena. Una interpretaci on de este n umero ser a mencionada m as adelante y aparecer a tambi en dentro de los enunciados generales sobre el comportamiento l mite de cadenas de Markov. Denici on 3.4 El periodo de un estado i es un n umero entero no negativo denotado por di, y denido como sigue: 0 para en donde m.c.d. signica m aximo com un divisor. Cuando pii n toda n 1, se dene di 0. En particular, se dice que un estado i es 1. Cuando di k 2 se dice que i es peri odico de aperi odico si di periodo k. En palabras, para calcular el periodo de un estado i se considera el conjunto as grande de n umeros naturales n tales que pii n 0 y se obtiene el entero m que divide a todos los elementos de este conjunto. Tal divisor m aximo es el periodo del estado i. Observe que si en el conjunto mencionado aparece como elemento el n umero uno, o un n umero primo, o dos n umeros primos relativos, entonces el periodo es uno. Ejemplo 3.4 Considere una cadena de Markov con diagrama de transici on como en la Figura 3.12. No es dif cil comprobar que d0 1, d1 2, d2 2 y d3 0. Demostraremos a continuaci on que el periodo es una propiedad de clase, es decir, todos los estados de una misma clase de comunicaci on tienen el mismo periodo. De este modo uno puede hablar de clases de comunicaci on peri odicas o clases aperi odicas. di m.c.d. n 1 : pii n 0,
Figura 3.12
46
Proposici on 3.4 Si los estados i y j pertenecen a la misma clase de comunicaci on, entonces tienen el mismo periodo. Demostraci on. Claramente el resultado es v alido para i j . Suponga entonces que i y j son distintos. Como los estados i y j est an en la misma clase de comunicaci on, existen enteros n 1 y m 1 tales que pij n 0 0. Sea s 1 un entero cualquiera tal que pii s 0. Tal y pji m entero existe pues por la ecuaci on de Chapman-Kolmogorov, pii n m pij n pji m 0. Esto quiere decir que di s y lo hace de manera m axima. Por otro lado, nuevamente por la ecuaci on de Chapman-Kolmogorov, pjj n m s An alogamente, pjj n m 2s pji m pii 2s pij n 0. pji m pii spij n 0.
Por lo tanto dj n m s y dj n m 2s. Entonces dj divide a la diferencia n m 2s n m s s. Por lo tanto, todo entero s 1 0 cumple dj s. Pero di divide a s de manera m axima, tal que pii s por lo tanto di dj . De manera an aloga, escribiendo i por j , y j por i, se obtiene dj di. Se concluye entonces que di dj . El rec proco del resultado anterior es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Puede usted dar un ejemplo de tal situaci on? El siguiente resultado establece que despu es de un n umero sucientemente grande de pasos, con probabilidad positiva toda cadena puede regresar a cada estado i cada di pasos. Esta es la raz on por la que a tal n umero se le llama periodo. Proposici on 3.5 Para cada estado i, existe un entero N tal que para toda n N , se cumple pii ndi 0. Demostraci on. Si pii n 0 para cada n 1, entonces di 0 y por lo tanto la armaci on es v alida pues pii 0 1, sin embargo la interpretaci on de recurrencia peri odica no se aplica en este caso. Suponga entonces que n1 , . . . , nk son enteros tales que pii n1 0, . . ., pii nk 0. Sea d m.c.d.n1 , . . . , nk di. Como di es divisor de cada entero n1 , . . ., nk , se
3.6. Primeras visitas
47
tiene que di d, y por lo tanto existe un entero q tal que qdi d. Ahora se hace uso del siguiente resultado cuya demostraci on puede encontrarse en [17]: Sean n1 , . . . , nk enteros no negativos y sea d m.c.d.n1 , . . . , nk . Entonces existe un entero M tal que para cada m M existen enteros no negativos c1 , . . . , ck tales que md c1 n1 ck nk . Entonces existe un entero no negativo M tal que para cada m M , md c1 n1 ck nk , para algunos enteros c1 , . . . , ck , y por lo tanto, pii md pii c1 n1 ck nk pii c1 n1 pii ck nk 0. M q.
Por lo tanto, para cada m M , pii md pii mqdi 0. Dena N Se puede entonces concluir que para toda n N , pii ndi 0.
Como corolario de la proposici on anterior se tiene que si acaso es posible pasar de i a j en m pasos, entonces tambi en es posible tal transici on en m ndj pasos con n sucientemente grande, suponiendo dj 1. Proposici on 3.6 Si pij m entero N tal que para toda n 0 para alg un entero m, entonces existe un N se cumple pij m ndj 0.
Demostraci on. Por el resultado anterior y por la ecuaci on de ChapmanKolmogorov, para n sucientemente grande, se tiene que pij m ndj pij m pjj ndj 0.
3.6.
Primeras visitas
En ocasiones interesa estudiar el primer momento en el que una cadena de Markov visita un estado particular o un conjunto de estados. Deniremos a continuaci on este tiempo aleatorio y despu es demostraremos una f ormula u til que lo relaciona con las probabilidades de transici on.
48
Denici on 3.5 Sea A un subconjunto del espacio de estados de una cadena de Markov Xn : n 0. El tiempo de primera visita al conjunto A es la variable aleatoria A m n n 1 : Xn
si Xn
A para alg un n
1,
otro caso.
Es decir, A es el primer momento positivo en el cual la cadena toma un valor dentro de la colecci on de estados A, si ello eventualmente sucede. Estaremos interesados principalmente en el caso cuando el conjunto A consta de un solo estado j , y si suponemos que la cadena inicia en i, entonces el tiempo de primera visita al estado j se escribe ij . Cuando los estados i y j coinciden se escribe simplemente i . En general no es f acil encontrar la distribuci on de probabilidad de la variable aleatoria ij . Deniremos a continuaci on como fij n a la probabilidad de que ij tome el valor n. Denici on 3.6 Para cada n 1, el n umero fij n denota la probabilidad de que una cadena que inicia en el estado i, llegue al estado j por primera vez en exactamente n pasos, es decir, fij n P Xn j, Xn1 j, . . . , X1 j X0 i. j.
Adicionalmente se dene fij 0
0, incluyendo el caso i
Es decir, fij n P ij n. En particular, observe que fii n es la probabilidad de regresar por primera vez al mismo estado i en el n- esimo paso, y que fii 1 es simplemente pii 1. El uso de la letra f para esta probabilidad proviene del t ermino en ingl es rst para indicar que es la probabilidad de primera visita; saber esto ayuda a recordar su signicado. Ejemplo 3.5 Considere la cadena de Markov de dos estados. Teniendo en cuenta la Figura 3.2 de la p agina 32, es inmediato comprobar que a) f01 n b) c) d)
1 an1a, para n f10 n 1 bn1 b, para n f00 n a1 bn2 b, para n f11 n b1 an2 a, para n
1. 1. 2. 2.
3.6. Primeras visitas Ejemplo 3.6 Para la cadena de racha de exitos se tiene que a) f01 n b) f00 n q n1 p p n 1 q para n para n 1. 1.
49
El siguiente resultado establece que la probabilidad de visitar el estado j , a partir de i, en n pasos, puede descomponerse en las probabilidades de los eventos disjuntos en los que se presenta la primera visita, la cual puede efectuarse en el primer paso, o en el segundo paso, y as sucesivamente, hasta el u ltimo momento posible n. Proposici on 3.7 Para cada n pij n 1,
n k 1
fij k pjj n k.
(3.2)
Demostraci on. Dena los eventos A1 A2 A3 . . . An
Xn Xn Xn Xn
j, X1 j, X2 j, X3 j, Xn1
j, X0 j, X1 j, X2
i j, X0 j, X1
i j, X0
i j, X0 i.
j, . . . , X2
j, X1
No es dif cil darse cuenta que estos eventos son disjuntos y la uni on de todos j, X0 i. Adem as, por la propiedad de Markov, ellos es el evento Xn la probabilidad de cada uno de ellos es, para k 1, 2, . . . , n, P Ak Por lo tanto, P Xn j, X0 i P X0 i
n k 1
P X0
i fij k Pjj n k.
fij k Pjj n k.
50
En t erminos de las probabilidades de primera visita, la probabilidad de una eventual visita al estado j , a partir del estado i, es el n umero fij
n 1
fij n.
Recordemos que fij n es la probabilidad de que la primera visita al estado j , a partir de i, se efect ue exactamente en el paso n. Siendo estos eventos disjuntos para valores distintos de n, esta suma representa la probabilidad de una eventual visita al estado j .
3.7.
Recurrencia y transitoriedad
Veremos a continuaci on que los estados de una cadena de Markov pueden ser clasicados, en una primera instancia, en dos tipos, dependiendo si la cadena es capaz de regresar con certeza al estado de partida. Denici on 3.7 (I) Se dice que un estado i es recurrente si la probabilidad de eventualmente regresar a i, partiendo de i, es uno, es decir, si P Xn i para alguna n 1 X0 i 1.
Un estado que no es recurrente se llama transitorio, y en tal caso la probabilidad anterior es estrictamente menor a uno. De manera intuitiva, un estado es recurrente si con probabilidad uno la cadena es capaz de regresar eventualmente a ese estado, y cuando ello ocurre en alg un momento nito, por la propiedad de Markov, se puede regresar a el una y otra vez con probabilidad uno. Debido a este comportamiento es que al estado en cuesti on se le llama recurrente. En cambio, el estado se llama transitorio si existe una probabilidad positiva de que la cadena, iniciando en el, ya no regrese nunca a ese estado. De este modo la denici on de recurrencia y transitoriedad puede enunciarse de manera equivalente de la siguiente forma. Denici on 3.8 (II) Un estado i es recurrente si fii 1, es decir, si la probabilidad de regresar a el en un tiempo nito es uno. An alogamente, un estado i es transitorio si fii 1.
3.7. Recurrencia y transitoriedad
51
Adem as de la denici on, tenemos el siguiente criterio u til para determinar si un estado es recurrente o transitorio. Proposici on 3.8 El estado i es: a) recurrente si, y s olo si
n 1
pii n pii n
b) transitorio si, y s olo si
n 1
Demostraci on. Sea Ni la variable aleatoria que cuenta el n umero de veces que el proceso regresa al estado i a partir del primer paso, es decir, Ni cuando X0 k 1, P N i
n 1
1Xn
i. Entonces Ni tiene una distribuci on geom etrica, pues para i k, Xm k Xm i, Xm1 k 1 X0 i, Xm1 i, Xm1 i, . . . , X1 i, . . . , X1 i X0 i X0 i, X0 i i i
k X0
m 1
P Ni P Ni P Xm P Ni
m 1
i, . . . , X1 i fii m
m 1
P Ni . . . P Ni P Ni
k 1 X0 k 2 X0 1 X0
i fii
i fii 2
fiik .
i fii k1
52
La esperanza de Ni , posiblemente innita, puede calcularse de las siguientes dos formas. Primero, E Ni X0 i
k 1
P Ni
k X0
k 1
fiik
fii 1 fii si 0 si fii fii 1. 1,
Por otro lado, por el teorema de convergencia mon otona, E Ni X0 i
n 1
E 1Xn P Xn pii n.
X0
i i
n 1
i X0
n 1
El resultado se sigue de igualar estas dos expresiones. Siguiendo con la notaci on de la demostraci on anterior, observe que la esi es el n umero promedio de retornos al estado i, de peranza E Ni X0 modo que un estado i es recurrente si, y s olo si, el n umero promedio de retornos a el es innito. En contraparte, un estado i es transitorio si, y s olo si, el n umero promedio de retornos a el es nito. Ejemplo 3.7 Considere una caminata aleatoria sobre Z. En el segundo ca hemos concluido p tulo demostramos que n 0 f00 n 1 p q . De aqu que el estado 0 es recurrente en el caso sim etrico. Siendo la cadena irreducible, la cadena toda es recurrente. 2 1 Alternativamente, hemos encontrado tambi en la f ormula pii n n2 2n , para n par. Estimando los factoriales
mediante la f ormula de Stirling: n! 2 nn12 en , puede comprobarse que n 0 p00 n , conrmando nuevamente la recurrencia del estado
53
0 y de la cadena completa en el caso sim etrico. La cadena es transitoria cuando es asim etrica. Demostraremos a continuaci on que la recurrencia y la transitoriedad son propiedades de clase, es decir, si dos estados est an en una misma clase de comunicaci on, entonces ambos estados son recurrentes o ambos son transitorios. Proposici on 3.9 La recurrencia es una propiedad de clase, es decir, a) Si i es recurrente e i b) Si i es transitorio e i j , entonces j es recurrente. j , entonces j es transitorio.
Demostraci on. Como i j , existen enteros n 1ym 1 tales que pij n 0 y pji m 0. Entonces pjj m n r pji m pii r pij n. De modo que, por la ecuaci on de Chapman-Kolmogorov,
r 1
pjj m n r
pji m
r 1
pii r pij n.
Si i es recurrente, la suma del lado derecho es innita. Se sigue entonces que la suma del lado izquierdo tambi en lo es, es decir, j es recurrente. La segunda armaci on se demuestra f acilmente por contradicci on usando el primer resultado. En consecuencia, cuando una cadena es irreducible y alg un estado es recurrente, todos los estados lo son, y se dice que la cadena es recurrente. Tambi en puede presentarse la situaci on en donde el espacio de estados conste de Estados Estados recurrentes transitorios varias clases de comunicaci on recurrentes, en tal caso la cadena tambi en se llama recurrente. En conDescomposici on del espacio de estados traparte, una cadena es Figura 3.13 transitoria si todos los estados lo son, ya sea conformando una sola clase de comunicaci on de estados transitorios o varias de
54
ellas. Sin embargo, demostraremos m as adelante que cuando el espacio de estados es nito, siempre existe por lo menos un estado recurrente, y por lo tanto no existen cadenas nitas transitorias. De este modo el espacio de estados de una cadena de Markov puede descomponerse en dos subconjuntos ajenos de estados, aquellos que son transitorios y aquellos que son recurrentes. Tal partici on se muestra en la Figura 3.13. Cada uno de estos subconjuntos puede constar de ninguna, una o varias clases de comunicaci on.
Ejemplo 3.8 La cadena de dos estados es irreducible y recurrente cuando a, b 0, 1. En efecto, tenemos que f00 1 1 a, y f00 n a1 bn2 b para n 2. Por lo tanto,
n 1
f00
f00 n
1 a ab
n 2
1 bn2 1 a ab b
1.
Ejemplo 3.9 Considere la cadena de rachas de exitos. En este caso es sencillo demostrar que el estado 0 es recurrente pues
n 1
f00
f00 n
q 1 p p2
q 1p
1.
Dado que la cadena es irreducible y la recurrencia es una propiedad de clase, cualquier otro estado es recurrente. Por lo tanto, la cadena es recurrente.
Veremos a continuaci on algunos ejemplos de aplicaci on del criterio de la Proposici on 3.8.
Proposici on 3.10 Sea j un estado transitorio. Para cualquier estado inicial i, se cumple que n 1 pij n . En consecuencia, l m pij n 0.
n
3.7. Recurrencia y transitoriedad Demostraci on.
55
Usando (3.2), y siendo todos los t erminos no negativos, pij n
n 1
1 n
n 1 k 0
fij n k pjj k fij n k pjj k

k 0
k 0 n k 1
fij m pjj k
k 0 m 1
fij
k 0
pjj k
pjj k
Proposici on 3.11 Toda cadena de Markov nita tiene por lo menos un estado recurrente. Demostraci on. Por contradicci on, suponga que todos los estados son transitorios. Entonces para cualesquiera estados i y j , se cumple que la suma n 1 pij n es nita. Sumando sobre el conjunto nito de todos los posibles estados j se obtiene
j n 1
pij n
Por otro lado, intercambiando el orden de las sumas se llega a la armaci on contraria,
pij n
n 1 j
n 1
Por lo tanto es err oneo suponer que todos los estados son transitorios, debe existir por lo menos uno que es recurrente.
56
En consecuencia, toda cadena nita e irreducible es recurrente. M as adelante demostraremos que en tal caso, con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces.
3.8.
Tiempo medio de recurrencia
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a el una innidad de veces con probabilidad uno. Y hemos denido el tiempo de primera visita a un estado j , a partir de cualquier estado i, como la variable aleatoria discreta ij m n n 1 : Xn j X0 i, con la posibilidad de que tome el valor innito. Vamos a denir el tiempo medio de recurrencia como la esperanza de esta variable aleatoria en el caso cuando el estado a visitar es recurrente. Denici on 3.9 El tiempo medio de recurrencia de un estado recurrente j , a partir del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij E ij
nfij n.
n 1
Recordemos que cuando el tiempo de primera visita se reere al mismo estado de inicio y de llegada j , se escribe j en lugar de jj . En este caso el tiempo medio de recurrencia se escribe simplemente como j . Esta esperanza puede ser nita o innita, y representa el n umero de pasos promedio que a la cadena le toma regresar al estado recurrente j . Ejemplo 3.10 La cadena de Markov de dos estados es irreducible y recurrente cuando a, b 0, 1. Vamos a calcular los tiempos medios de recurrencia de estos dos estados. Tenemos que f00 1 1 a, y f00 n a1 bn2 b para n 2. Por lo tanto, 0
n 1
nf00 n
1 a ab
n 2
n1 bn2
1 1 a ab b b 2 ab .
b
3.9. Clases cerradas
57
De manera an aloga, o bien intercambiando los valores de a y b, se encuentra que 1 a ba. Observe que 10 11 1, m as adelante explicaremos la raz on de ello. Observe tambi en que estos dos tiempos medios de recurrencia son, en general, distintos. Esto ejemplica el hecho de que los tiempos medios de recurrencia no son necesariamente id enticos para cada elemento de una misma clase de comunicaci on recurrente.
3.9.
Clases cerradas
Las clases cerradas son subconjuntos de estados de una cadena de Markov que cumplen la propiedad de que partiendo de cualquiera estado de este subconjunto, no se puede pasar a cualquier otro estado fuera del subconjunto. Esta propiedad hace que a tales subconjuntos de estados se les considere como subsistemas propios de la cadena de Markov, es decir, constituyen subcadenas de Markov. Denici on 3.10 Una colecci on de estados no vac a C es cerrada si ning un estado fuera de C es accesible desde alg un estado dentro de C , es decir, si para cualquier i C y j C , i j .
i Por ejemplo, si i es un estado absorbente, entonces la colecci on C es claramente una clase cerrada. M as generalmente se tiene el siguiente ejemplo.
Ejemplo 3.11 Demostreremos que toda clase de comunicaci on recurrente es cerrada. Sea C una clase de comunicaci on recurrente. Es claro que esta clase es cerrada pues de lo contrario, si i C y j C con C recurrente, e i j , entonces necesariamente j i pues hemos supuesto que i es j , y entonces j C , contrario a la hip otesis recurrente. Por lo tanto i j C . En conclusi on, no es posible salir de una clase de comunicaci on recurrente. El siguiente resultado es una especie de rec proco del ejemplo anterior y caracteriza a aquellas clases cerradas que son irreducibles. Proposici on 3.12 Toda colecci on de estados que es cerrada e irreducible es una clase de comunicaci on.
58
Demostraci on. Sea C una colecci on no vac a de estados que es irreducible y cerrada, y sea i C . Entonces C C i pues como C es irreducible, todos sus estados se comunican y por lo tanto deben pertenecer a la misma clase de comunicaci on. Como C es cerrada, no es posible salir de tal colecci on, a, pues si existiera j C i C , de modo que la diferencia C i C es vac j , lo cual contradice el supuesto de que C es cerrada. Por lo entonces i tanto C C i.
3.10.
N umero de visitas
En esta secci on vamos a estudiar la variable aleatoria que registra el n umero de visitas que una cadena realiza sobre un estado j a partir del estado i, es decir, para cualquier tiempo nito n se dene la variable aleatoria Nij n
n k 1
1Xk
, cuando X0
i.
Cuando los estados i y j coinciden, se escribe Ni n en lugar de Nii n. Observe que 0 Nij 1 Nij 2 , es decir, se trata de una sucesi on mon otona creciente de variables aleatorias no negativas que converge casi seguramente a la variable Nij
k 1
1Xk
, cuando X0
i.
Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la diferencia cualitativa en el comportamiento de los estados transitorios respecto de los recurrentes. Proposici on 3.13 Para cualesquiera estados i y j , a) P Nij b) P Nij k k fij fjj 1
k 1
si k si k
0, 1. si k si k 0, 1.
1 fij fij fjj k1 1 fjj
mero de visitas 3.10. Nu

0 fij 1 fjj
59 si fij si 0 si fij 0, fjj 1, 1.
c) E Nij
n 1
pij n
0 y fjj
d) P Nij e) P Nij Demostraci on.
0 fij
si j es transitorio, si j es recurrente. si j es transitorio, si j es recurrente.
1 1 fij
a) La primera parte de esta igualdad es evidente. Para demostrar el caso k 1 se usa an alisis del primer paso, P Nij k
n 1
fij n P Njj
k 1
k 1
fij P Njj fij fjj
k 1
b) Este resultado se sigue de la f ormula del inciso (a) y de la igualdad P Nij k P Nij k P Nij k 1.
c) Por el teorema de convergencia mon otona, E Nij E
n 1
n 1
1Xn
X0 X0
i i
E 1Xn pij n.
n 1
60 Por otro lado, usando la primera f ormula E Nij
k 1
P Nij
k 1
fij fjj k1 si fij si 0 si fij l m P Nij 0, fjj 1, 1.
0 fij
fjj
0 y fjj k
d) Por la f ormula del inciso (a), P Nij
k k
l m fij fjj k1 . 0 fij si j es transitorio, si j es recurrente.
e) El evento que aparece en esta expresi on es el complemento del que aparece en la f ormula del inciso (d).
Distribuci on de probabilidad del n umero de visitas La variable aleatoria discreta Nij toma valores en el conjunto 0, 1, . . . , y la funci on de probabilidad que hemos encontrado para esta variable incluye los siguientes tres casos: 1. Si fij 0, entonces no es posible visitar j a partir de i, y por lo tanto P Nij 0 1, es decir, la probabilidad se concentra completamente en el valor 0. 2. Si fij 0 y fjj 1, es decir, si se puede pasar de i a j y j es recurrente, entonces para cualquier valor de k 1, P Nij k fij , y por lo fij . Mientras que P Nij 0 1 fij . Se trata tanto P Nij entonces de una medida de probabilidad concentrada en los valores 0 e .
61
3. Si fij 0 y fjj 1, es decir, si se puede pasar de i a j y j es transitorio, entonces la probabilidad se distribuye sobre los valores nitos 0, 1, . . . como indica la f ormula del inciso (b). A partir de las f ormulas reci en demostradas podemos distinguir el comportamiento del n umero de visitas en los casos cuando el estado j es transitorio o recurrente. Transitoriedad y n umero de visitas Si j es transitorio, entonces sin importar el estado inicial i, con probabilidad uno la cadena realiza s olo un n umero nito de visitas al estado j , esto es lo que dice la f ormula del inciso (e), y el n umero esperado de visitas a tal 1, es decir, estado es siempre nito por la f ormula del inciso (c) con fjj E Nij . Por lo tanto, encontramos nuevamente que n 1 pij n l m pij n 0.
Recurrencia y n umero de visitas Si j es recurrente, y si se inicia en j , entonces con probabilidad uno la cadena regresa a j una innidad de veces, esto es lo que dice la f ormula del inciso (d) fjj 1, y el n umero esperado de visitas al estado j es innito. con fij Si la cadena inicia en cualquier otro estado i, entonces existe la posibilidad umero esperado de de que la cadena nunca visite j (es decir,fij 0), y el n visitas es naturalmente cero (f ormula del inciso (c) con fij 0). Pero si la a a j una innidad de cadena visita j alguna vez (fij 0), entonces regresar veces, y el n umero esperado de visitas al estado j es innito por la f ormula del inciso (c) con fij 0 y fjj 1. N umero esperado de visitas Anteriormente hab amos demostrado un criterio para la transitoriedad y la recurrencia del estado i en t erminos de la convergencia o divergencia de ormula del inciso (c) ahora podemos la serie n 1 pii n. En vista de la f corroborar que un estado i es recurrente si, y s olo si, el n umero promedio de regresos a el es innito, y es transitorio si, y s olo si, el n umero promedio de regresos es nito. Tambi en en particular, la f ormula del inciso (d) muestra que toda cadena de Markov irreducible y recurrente, visita cada uno de sus estados una innidad de veces con probabilidad uno.
62
Ejemplo 3.12 La cadena de racha de exitos es irreducible y recurrente. Por lo tanto con probabilidad uno visita cada uno de sus estados una innidad de veces. Propiedad fuerte de Markov Para justicar adecuadamente las siguientes aplicaciones y resultados para cadenas de Markov vamos a extender la propiedad de Markov al caso de tiempos aleatorios. Supongamos que X0 , X1 , . . . es un proceso estoc astico a tiempo discreto y que es un tiempo aleatorio que indica el momento en el que ocurre alg un evento de inter es del proceso. Por ejemplo, el momento en el que el proceso llega por primera vez a un cierto estado o a un conjunto de estados. As , es un tiempo aleatorio con posibles valores 0, 1, . . . a nunca . Se incluye el valor innito pues el evento a observar podr ocurrir. A estos tiempos aleatorios los llamaremos tiempos de paro y les pediremos que cumplan con cierta condici on t ecnica. M as espec camente, 0, 1, . . . , es un tiempo de paro se dice que una variable aleatoria : respecto del proceso estoc astico indicado si para cada entero n 0, el evento n depende u nicamente de las variables X0 , X1 , . . . , Xn . Intuitivamente n puede esto signica que la ocurrencia o no ocurrencia del evento vericarse a partir de la informaci on o historia del proceso hasta el tiempo n. En el cap tulo sobre martingalas estudiaremos con m as detalle a los tiempos de paro, lo que necesitamos saber por el momento es que la propiedad de Markov que hemos mencionado para cadenas puede extenderse al caso de tiempos de paro de la siguiente forma: Proposici on 3.14 (Propiedad fuerte de Markov) Sea Xn : n 0 una cadena de Markov y sea un tiempo de paro respecto de este proceso. , el proceso X n : n 0 es una cadena Condicionado al evento de Markov, es decir, la probabilidad P X n1 es igual a P X n1 j X0 x0 , . . . , X n1 i. xn1 , X n i (3.3)
j X n
La demostraci on de la propiedad fuerte de Markov consiste en condicionar sobre el valor del tiempo de paro y desarrollar ambas probabilidades. Vea el ejercicio 78 en la p agina 107 para los detalles.
63
Ejemplo 3.13 (El problema del mono). Suponga que un mono escribe caracteres al azar en una m aquina de escribir. Cu al es la probabilidad de que eventualmente el mono escriba exactamente, y sin ning un error, las obras completas de Shakespeare? Usaremos la teor a de cadenas de Markov para demostrar que la probabilidad buscada es uno. Imaginemos entonces que un mono escribe caracteres al azar en una m aquina de escribir, y que lo hace de manera continua generando una sucesi on lineal de caracteres. Cada uno de los caracteres tiene la misma probabilidad de apareFigura 3.14 cer y se genera un caracter independientemente de otro. Sea m el total de caracteres disponibles que se pueden imprimir, y sea N la longitud de caracteres de los cuales consta las obras completas de Shakespeare. Sea Xn el n umero de caracteres correctos obtenidos inmediatamente antes e incluyendo el u ltimo momento observado n, es decir, se trata de un modelo de racha de exitos. Es claro que las variables Xn toman valores en el conjunto 0, 1, 2, . . . , N , y dado que los caracteres se nicamente del generan de manera independiente, el valor de Xn1 depende u valor de Xn y no de los anteriores, es decir, se trata efectivamente de una cadena de Markov. Considerando entonces un conjunto de s mbolos de m caracteres se tiene que P Xn1 y P Xn1 x 1 Xn 0 Xn x x 1m
m 1m.
El primer caso corresponde a obtener el caracter correcto al siguiente tiempo n 1. La segunda igualdad reeja la situaci on de cometer un error en el siguiente caracter generado cuando ya se hab an obtenido x caracteres correctos. T ecnicamente existen algunas otras posibles transiciones de algunos estados en otros, pero ello no modica substancialmente el comportamiento cualitativo del modelo. Como se ha observado, se trata de la cadena de racha de exitos, y por lo tanto la matriz de probabilidades de transici on es nita, irreducible y recurrente. Entonces, con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces. En particular, cada vez que la cadena visita el estado N el mono concluye una sucesi on exitosa
64
de caracteres, y sorprendentemente ello suceder a una innidad de veces con probabilidad uno. El lector puede encontrar otras maneras de resolver este problema en [29]. El siguiente resultado lleva el nombre de erg odico y establece el comportamiento l mite del promedio en el tiempo de la funci on que registra las visitas a un estado cualquiera. El t ermino erg odico proviene del griego ergon que signica trabajo y hodos que signica trayectoria, fue acu nado por L. Boltzmann al estudiar algunos problemas de la mec anica estad stica. La famosa hip otesis erg odica establece que los promedios temporales son iguales a los promedios espaciales en los sistemas din amicos, y esto es justamente lo que se arma en el siguiente resultado. Teorema 3.1 (Teorema erg odico para cadenas de Markov) Para cualesquiera estados i y j de una cadena de Markov irreducible se cumple que Nij n 1 c.s. (3.4) l m n n j siendo este l mite cero cuando j .
Demostraci on. Si la cadena es transitoria, entonces ambos lados de la igualdad se anulan. Suponga que la cadena es recurrente. El tiempo de n n 1 : Xn j X0 i. primera visita al estado j a partir de i es ij m Dada la recurrencia e irreducibilidad, P ij 1, y entonces para cualquier n 1 se cumple la identidad Nij ij Nij n n
1 Njj n. Nij ij n n ij n 1 Njj n l m n ij n n Njj n l m n n ij n Njj n . l m n n l m
Por lo tanto es suciente demostrar la convergencia para Njj nn pues

n
l m
3.11. Recurrencia positiva y nula
65
Sea Y k la variable que registra el n umero de pasos que transcurren entre la visita k 1 y la visita k que la cadena realiza al estado j . Sabemos j , para j 1, 2, . . . , y que el tiempo medio de recurrencia es E Y k usando la propiedad fuerte de Markov puede demostrarse que las variables Y 1, Y 2, . . . son independientes. Se tienen entonces las siguientes estimaciones Y 1 Y Njj n Njj n Njj n n Y 1 Y Njj n 1 . Njj n
Por la recurrencia, Njj n , cuando n , de modo que por la ley de los grandes n umeros, los dos extremos de esta desigualdad convergen a j casi seguramente. Por lo tanto,
n
l m
Njj n n
1 j
c. s.
Interpretaci on: para una cadena de Markov irreducible, el n umero j 1j representa el tiempo promedio que la cadena permanece en el estado j a largo plazo, suponiendo que tal cantidad es positiva. Tomando esperanza en (3.4), por el teorema de convergencia dominada, y para una cadena irreducible, se cumple que 1 j E l m
n
1 Nij n n
l m
1 E Nij n n
l m
n 1 pij k. n k 1
En particular, cuando el tiempo medio de recurrencia j es innito, o cuando el estado j es transitorio, se tiene que l m 1 pij k nk 1
n
0.
3.11.
Recurrencia positiva y nula
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a el una innidad de veces con probabilidad uno. Sin embargo, esta recurrencia puede presentarse de dos formas: cuando el tiempo
66
promedio de retorno es nito o cuando es innito. Esto lleva a la denici on de recurrencia positiva y recurrencia nula respectivamente. Consideremos entonces que j es un estado recurrente. El tiempo de primera visita a este estado, a partir de cualquier otro estado i, es la variable aleatoria discreta m n n 1 : Xn j X0 i. Recordemos que cuando el tiempo de ij primera visita se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i en lugar de ii . La esperanza de esta variable aleatoria es naturalmente el tiempo medio de recurrencia. Denici on 3.11 El tiempo medio de recurrencia de un estado recurrente j , a partir del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij E ij
nfij n.
n 1
Nuevamente cuando el tiempo medio de recurrencia se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i . Como hemos mencionado, esta esperanza puede ser nita o innita, y ello lleva a la siguiente clasicaci on de estados recurrentes. Denici on 3.12 Se dice que un estado recurrente i es: a) recurrente positivo si i b) recurrente nulo si i . .
Demostraremos a continuaci on que la recurrencia positiva y la recurrencia nula son propiedades de las clases de comunicaci on. Es decir, dos estados en una misma clase de comunicaci on recurrente, son ambos recurrentes positivos o recurrente nulos. Proposici on 3.15 Sea i un estado recurrente. Entonces, a) si i es recurrente positivo e i b) si i es recurrente nulo e i j , entonces j es recurrente positivo. j , entonces j es recurrente nulo.
Demostraci on. Observe que es suciente demostrar cualquiera de estas armaciones. Demostraremos la primera. Suponga que i es un estado recu. Como i j, rrente positivo, es decir, i es recurrente y es tal que i
3.11. Recurrencia positiva y nula
67
se tiene que j es tambi en un estado recurrente. Adem as existen enteros no negativos n y m tales que pij n 0 y pji m 0. Entonces para cualquier entero natural k, pjj n m k Sumando para k pji m pii k pij n.
1, . . . , N , y dividiendo entre N , pji m

N 1 pii k pij n. Nk 1
N 1 pjj n m k Nk 1
Haciendo N
se obtiene 1 j pji m 1 pij n i 0.
Por lo tanto el cociente 1j es estrictamente positivo. Ello signica que j es nito, es decir, j es recurrente positivo. De esta forma, el espacio de estados de toda cadena de Markov puede descomponerse en tres grandes subconjuntos ajenos de estados: transitorios, recurrentes positivos y recurrentes nulos. Esto se muestra en la Figura 3.15. Cada una de estas colecciones de estados puede estar constituida por ninguna, una o varias clase de comunicaci on.
Estados transitorios
Estados recurrentes nulos
Estados recurrentes positivos
Descomposici on del espacio de estados
Figura 3.15 Ejemplo 3.14 Anteriormente demostramos que para la caminata aleatoria sobre Z, el tiempo promedio de regreso al estado 0 es 0
n 0
n f00 n
4pq . 1 4pq
68
En el caso sim etrico, es decir, en el caso en el que la cadena es recurrente, este cociente se hace innito. Esto demuestra que el estado 0 es recurrente nulo, y por lo tanto la cadena entera es recurrente nula. Ejemplo 3.15 Demostraremos ahora que la cadena de Markov de rachas de exitos es recurrente positiva. Recordemos que dicha cadena es irreducible y recurrente. Comprobaremos que el tiempo medio de recurrencia del estado 0 es nito. En efecto, 0
n 1
n f00 n
n 1
n 1 ppn1
1 p
n 1
n pn1
1 1p
Esto demuestra que el estado 0 es recurrente positivo y siendo la cadena irreducible, es recurrente positiva. Por lo tanto, el tiempo medio de recurrencia de cada estado es nito. Hemos aprovechado la facilidad del c alculo de las probabilidades de primer regreso al estado 0. Se ha demostrado antes que toda cadena nita tiene por lo menos un estado recurrente. Demostraremos ahora que para cadenas nitas s olo puede haber dos tipos de estados: transitorios o recurrentes positivos. Proposici on 3.16 No existen estados recurrentes nulos en cadenas de Markov nitas. Demostraci on. Sea j un estado recurrente y sea C su clase de comunicaci on. La clase C es cerrada y adem as es nita, pues la cadena completa lo es. Demostraremos que j . Para cualquier i C , y k natural,
j C
pij k
1.
Entonces
n 1 pij k n k 1 j C n 1 j C
nk
pij k
1.
Haciendo n obtiene
, por el teorema erg odico aplicado a la clase cerrada C se

1
j C
1.
n de distribuciones 3.12. Evolucio
69
Para que esta suma sea uno debe existir por lo menos un valor de j en C tal que j , pues de lo contrario cada sumando ser a cero y la suma total no podr a ser uno. Por lo tanto existe un estado j que es recurrente positivo. Dado que la recurrencia positiva es una propiedad de clase, todos los elementos de C son recurrentes positivos. Observe que en particular, todos los estados de una cadena nita e irreducible son recurrentes positivos.
3.12.
Evoluci on de distribuciones
Una matriz estoc astica establece una din amica en el conjunto de las distribuciones de probabilidad denidas sobre el espacio de estados de la correspondiente cadena de Markov. Para explicar la situaci on de manera simple consideraremos un espacio de estados nito 0, 1, . . . , n, y una distribu0 , 0 , . . . , 0 . Despu es de transcurrida ci on de probabilidad inicial 0 0 n 1 la primera unidad de tiempo, la cadena se encuentre en cualquiera de sus 1 , 1 , . . . , 1 , en donde posibles estados de acuerdo a la distribuci on 1 0 n 1 la j - esima entrada de este vector es
1 j
P X1
n i 0 n i 0
j j X0 iP X0 i
P X1
0 i pij .
Es decir, el vector 1 se obtiene a partir del vector 0 y de la matriz de probabilidades de transici on P a trav es de la multiplicaci on 1 0 P , esto es,
1 1 0 , . . . , n
0 0 0 , . . . , n
p00 . . .
p0n . . . .
pn0
pnn
A su vez el vector se transforma en el vector a trav es de la ecuaci on 2 1 0 2 P P , y as sucesivamente. En general, para m 1, m m1 P 0 P m . (3.5)
70
De esta forma se obtiene una sucesi on innita de distribuciones de proba0 1 2 bilidad , , , . . ., en donde cada una de ellas, excepto la primera, es obtenida de la anterior multiplicada por la derecha por la matriz de probabilidades de transici on en un paso. Es natural preguntarse si existe alg un l mite para esta sucesi on de distribuciones. En las siguientes secciones estudiaremos tal problema y encontraremos condiciones bajo las cuales existe un u nico l mite para esta sucesi on. Ejemplo 3.16 Considere la matriz estoc astica

0 1 0 0 0 1 1/2 1/2 0
con distribuci on inicial el vector 0 110, 0, 910. Los subsecuentes vectores de probabilidad 1 , 2 , . . . se calculan a continuaci on y las gr acas de estas distribuciones se muestran en la Figura 3.16. Existir a el l mite para esta sucesi on de vectores de probabilidad? 1
2 3
0 P P 2 P 3 P . . .
1
0.45, 0.55, 0 0, 0.45, 0.55 0.275, 0.275, 0.45 0.225, 0.5, 0.275
0 1 2
0 1 2
0 1 2
0 1 2
0 1 2
Figura 3.16 Ejemplo 3.17 Considere la matriz estoc astica
0 1 1 0
3.13. Distribuciones estacionarias
71
con distribuci on inicial cualquier vector de probabilidad 0 , 1 , con 0 1. No es dif cil darse cuenta que la multiplicaci on de un vector rengl on por la matriz P tiene el efecto de intercambiar las entradas del vector. Por lo tanto la sucesi on de vectores de probabilidad es 0
1
2 3 . . .
, 1 1 , , 1 1 ,
que claramente no es convergente, pues tiene un comportamiento oscilatorio, a menos que 12. Antes de encontrar condiciones bajo las cuales la sucesi on de distribuciones de probabilidad denidas por (3.5) es convergente, estudiaremos a continuaci on el caso particular cuando la distribuci on inicial no cambia al ser multiplicada por la derecha por P . A tales distribuciones se les llama estacionarias o invariantes en el tiempo.
3.13.
Distribuciones estacionarias
Denici on 3.13 Una distribuci on de probabilidad 0 , 1 , . . . es estacionaria o invariante para una cadena de Markov con matriz de probabilidades de transici on P pij si j
i pij .
En t erminos matriciales, la distribuci on de probabilidad es estacionaria P . Esta identidad tiene como consecuencia el hecho de que para si en cualquier n umero natural n se cumpla que P n , es decir, es tambi una distribuci on estacionaria para la matriz P n . Esto signica que si la variable aleatoria inicial X0 tiene esa distribuci on , entonces la distribuci on p de Xn tambi en es pues P Xn j n , es decir, esta j i i ij distribuci on no cambia con el paso del tiempo y por ello es que se le llama
72
estacionaria o invariante. Observe que el vector de ceros cumple la condici on P , sin embargo no corresponde a una distribuci on de probabilidad. Los siguientes ejemplos muestran que las distribuciones estacionarias pueden no ser u nicas y pueden incluso no existir. Ejemplo 3.18 (Existencia m ultiple) Considere una cadena de Markov on dada sobre el conjunto de estados 0, 1, 2 y con probabilidades de transici por la siguiente matriz
1 0 0 13 13 13 0 0 1
Es inmediato comprobar que el vector 1 , 0, satisface el sistema de ecuaciones P para cada 0, 1. Existen entonces una innidad de distribuciones estacionarias para esta cadena. Observe que el vecon lineal 1 1, 0, 0 tor 1 , 0, se puede escribir como la combinaci 0, 0, 1. Ejemplo 3.19 (No existencia) Para la caminata aleatoria sim etrica simple sobre Z no existe ninguna distribuci on estacionaria pues la condici on P se traduce en el sistema de ecuaciones j 1 1 j 1 j 1 , 2 2 j
Z,
as expl citamente, iniciando con la identidad o bien j 1 j j j 1 . M 1 0 , y escribiendo algunas de estas diferencias en t erminos 1 0 de la diferencia 1 0 se encuentra que 2 1 3 2 n n1 n 0 . . . 1 0 1 0 1 0 1 0 1 0 . 1,
Sumando estas n ecuaciones se llega a que para todo entero n n1 0 .
73
El lado izquierdo es acotado pues es la diferencia de dos probabilidades mientras el lado derecho crece sin l mite cuando n es grande, a menos que 1 0 0. Esto demuestra que todas las diferencias j j 1 con j Z son cero, y por lo tanto j es constante para cualquier valor de j . Es decir, el vector constante es la soluci on al sistema de ecuaciones en diferencias planteado, pero ello es incompatible con la condici on j j 1. Por lo tanto no existe ninguna distribuci on de probabilidad que cumpla la igualdad P para esta cadena. Ejemplo 3.20 (Existencia u nica) La cadena de Markov de dos estados dada por la matriz 1a a P b 1b tiene una u nica distribuci on estacionaria dada por a b , 0 , 1 a , b ab
cuando a b 0. En cambio, cuando a b 0, la matriz resultante es la matriz identidad que acepta como distribuci on estacionaria a cualquier distribuci on de probabilidad sobre 0, 1, es decir, en este caso existe una innidad de distribuciones estacionarias para esta cadena. Con base en los ejemplos anteriores haremos algunas observaciones sobre las distribuciones estacionarias. Primeramente observe que para encontrar una posible distribuci on estacionaria de una cadena con matriz P , un primer P , sujeto a la m etodo consiste en resolver el sistema de ecuaciones condici on j j 1. M as adelante expondremos una forma alternativa de buscar distribuciones estacionarias para cadenas reversibles. Por otro lado, suponga que y son dos distribuciones estacionarias distintas para una matriz P . Entonces la combinaci on lineal convexa 1 , para en es una distribuci on estacionaria pues 0, 1, tambi
1 P
1 P
1 .
Por lo tanto, si existen dos distribuciones estacionarias distintas para una cadena, entonces existe una innidad de ellas. Esto demuestra que el conjunto de distribuciones estacionarias es un conjunto convexo. Tomando en cuenta
74
las observaciones anteriores y de acuerdo a los ejemplos mostrados, s olo hay tres situaciones sobre la existencia de distribuciones estacionarias para una cadena de Markov cualquiera: no existe ninguna distribuci on estacionaria, existe una distribuci on estacionaria y es u nica, o existe una innidad de distribuciones estacionarias. Dadas estas consideraciones, es natural plantearse el problema de encontrar condiciones necesarias y sucientes para que una cadena tenga alguna distribuci on estacionaria. Primeramente demostraremos que cuando existe una distribuci on estacionaria, esta tiene como soporte el conjunto de estados recurrentes positivos. Proposici on 3.17 (Soporte de una distribuci on estacionaria) Sea una distribuci on estacionaria para una cadena de Markov. Si j es un estado transitorio o recurrente nulo, entonces j 0. Demostraci on. Usaremos el hecho de que si j es un estado transitorio o recurrente nulo, entonces para cualquier estado i, l m 1 pij k nk 1
n
0.
Como es una distribuci on estacionaria, j

i n 1 i pij k nk 1 i i
i pij i pij k
1 pij k i nk 1
n
Tomando el l mite cuando n se obtiene j

i
, por el teorema de convergencia dominada, i l m

n
1 pij k nk 1
n
0.
75
En particular, si j 0, entonces j es un estado recurrente positivo. Esto es una consecuencia inmediata del resultado anterior y para ello puede usarse un argumento por contradicci on. Por otro lado, la proposici on reci en demostrada tambi en nos ayuda a corroborar nuevamente, por ejemplo, que una caminata aleatoria sim etrica simple no tiene distribuci on estacionaria, pues se trata de una cadena cuyos estados son todos recurrentes nulos y por lo tanto j 0 para cualquier valor entero de j . Se presenta a continuaci on una soluci on al problema de encontrar condiciones sucientes que garanticen la existencia y unicidad de la distribuci on estacionaria. Proposici on 3.18 (Existencia y unicidad de la distribuci on estacionaria) Toda cadena de Markov que es irreducible y recurrente positiva tiene una u nica distribuci on estacionaria dada por j 1 j 0,
en donde j es el tiempo medio de recurrencia del estado j . En particular, toda cadena nita e irreducible tiene una u nica distribuci on estacionaria. Demostraci on. (1) j
Sea j
1j . Demostraremos que
i pij .
(2)
1.
(3) j es u nica. Como la cadena es irreducible y recurrente positiva, se tiene que j , para cualquier estado j . Por lo tanto el cociente 1j es estrictamente positivo. Por el teorema erg odico para cadenas de Markov, l m 1 pij m nm 1
n
1 . j
76
(1) Estacionariedad. Para cualquier natural N ,

N i 0
i pij
N i 0
nl m
n 1 pki m pij n m 1
l m l m
n N 1 pki m pij n m 1i 0 n 1 pkj m 1 n m 1
j . Haciendo N ,
i pij
j .
(3.6)
Suponga que para alg un valor de j la desigualdad anterior es estricta. Sumando sobre todos los valores j , por el teorema de Fubini,
j i
i pij
pij
i .
Lo cual es una contradicci on. Por lo tanto (3.6) es una igualdad. Esto demuestra que es estacionaria. (2) Distribuci on de probabilidad. Para cualquier n umero natural N ,
N j 0
N j 0
nl m
1 pij k nk 1
n
l m l m
N n 1 pij k nk 1j 0
1 1 nk 1
n
1. Por otra parte, recordemos que si es estacionaria para P , entonces tambi en lo es para P m para cualquier m natural, es decir, j
i pij m,
(3.7)
3.13. Distribuciones estacionarias de modo que para cualquier n natural, j
77
1 pij m . nm 1
n
Haciendo n , por el teorema de convergencia dominada de Lebesgue, y usando el hecho de que j j 1, j
i 0
1 m pij m i l n nm 1
n
i 0
i j .
i
Dado que j es estrictamente positivo, se obtiene que
1.
(3) Unicidad. Sean y dos distribuciones estacionarias para la matriz P . Entonces para cualquier valor natural de n,
i j
1
i
n 1
nm
pij m
N i 0
N i 0
1
i
n 1
nm
pij m.
Haciendo n
,
j
j . i
Ahora hacemos N
para obtener
j .
(3.8)
Si esta desigualdad fuera estricta para alg un valor de j , entonces sumando sobre todos los valores de j se obtiene 1 j j j j 1, lo cual es una contradicci on. Por lo tanto (3.8) es una igualdad para cada valor de j , y ello demuestra la unicidad.
Ejemplo 3.21 La cadena de Markov de dos estados es nita e irreducible cuando a b 0, y por lo tanto es recurrente positiva. Por la Proposici on 3.18 existe una u nica distribuci on estacionaria para esta cadena. Resolviendo el sistema de ecuaciones P para 0 , 1 , con 0 1 1, se encuentra que b a 0 , 1 a . , b ab
78
Como otra aplicaci on de la Proposici on 3.18 encontramos nuevamente que, sin hacer mayores c alculos, los tiempos medios de recurrencia son 1 1 ab ab 0 , 1 . , , b a
0 1
Ejemplo 3.22 La cadena de Ehrenfest es nita e irreducible, en consecuencia es recurrente positiva. Por lo tanto tiene una u nica distribuci on estacionaria. Resolviendo el sistema de ecuaciones P junto con j j 1 se encuentra que el vector estacionario tiene distribuci on binN, p, con p 12, es decir,

N j
1 , 2N
para j
0, 1, . . . , N.
(3.9)
En efecto, el sistema de ecuaciones 0 1 2 . . . N 1 N 1 1 N
P se escribe
2 2 N N 1 3 1 3 N N 2 N 1 N N 1 N 1 . N
Se busca resolver este sistema de ecuaciones junto con la condici on j j 1. Reescribiendo cada una de estas ecuaciones en t erminos de 0 se encuentra que N j 0 , para j 0, 1, . . . , N. j Sumando todas estas ecuaciones se llega a la identidad 1 0
N k 0
N k
0 2N .
79
De donde se obtiene 0 12N y de esta forma se demuestra (3.9). En vista de la Proposici on 3.18, los tiempos medios de recurrencia para esta cadena son 1 2N 0, 1, . . . , N. j N , para j j j Para nes ilustrativos concretos podemos tomar el caso N 2, es decir, se tienen u nicamente dos bolas distribuidas en las dos urnas de la cadena de Ehrenfest. Entonces la distribuci on binomial binN, p, como el vector de probabilidad invariante de esta cadena, se escribe
0, 1 , 2 14, 12, 14.

12 14 0 1 2 Urna A Urna B
Figura 3.17 En vista del teorema erg odico, esto signica que, a largo plazo, la cadena de Ehrenfest se encontrar a en el estado 1 el 50 % del tiempo, y en los estados 0 y 2 el 25 % del tiempo en cada uno de ellos. Los tiempos medios de recurrencia son 0, 1 , 2 4, 2, 4, es decir, si por ejemplo la cadena se encuentra en alg un momento en el estado 0, entonces tardar a en promedio 4 tiempos para regresar nuevamente a ese estado. En este caso particular, estos tiempos medios de recurrencia pueden corroborarse usando la denici on b asica de esperanza. Ejemplo 3.23 La cadena de racha de exitos, aunque no es nita, es irreducible y recurrente positiva. Por lo tanto tiene una u nica distribuci on estacionaria dada por la distribuci on geo1 p, es decir, el sistema de ecua-
80 ciones ci on P junto con j j
3. Cadenas de Markov 1 tiene como u nica soluci on la distribupara j 0, 1, 2 . . .
1 p p j ,
Como consecuencia de la Proposici on 3.18, se resuelve un problema dif cil de manera inmediata: los tiempos medios de recurrencia para cada uno de los estados de esta cadena son 1 1 j j 1 p pj , para j 0, 1, 2 . . . En particular, 0 11 p. Esto conrma los c alculos realizados antes n . n f para 0 a partir de la f ormula 0 00 n 1
3.14.
Distribuciones l mite
Como hemos mencionado antes, toda matriz de probabilidades de transici on P determina una sucesi on de distribuciones de probabilidad 0 , 1 , . . . sobre el espacio de estados, dada por n n1 P 0 P n , n 1. (3.10)
Bajo ciertas condiciones tal sucesi on es convergente a una distribuci on de probabilidad l mite . Imaginemos por ahora que tal es el caso y supongamos entonces que l m n .
n
Examinaremos algunas propiedades de esta distribuci on l mite. Tomando el l mite cuando n en las dos igualdades de (3.10) se tiene que y P
0
nl m P .
n
(3.11) (3.12)
Estas igualdades revelan varias cosas. Primero, la supuesta distribuci on l mite es una distribuci on estacionaria, (3.11). Segundo, la distribuci on l mite no depende de la distribuci on inicial, pues nuevamente la igualdad (3.11) indica que se determina a trav es de la ecuaci on (3.11). Tercero, la distribuci on l mite est a dada por el l mite de las potencias de P , (3.12). Cuarto, a partir de (3.12), el l mite de las potencias de P es una matriz con todos sus renglones id enticos, siendo este regl on la distribuci on l mite. En esta secci on se establecen condiciones para obtener rigurosamente estos resultados.
3.14. Distribuciones l mite
81
Denici on 3.14 Considere una cadena de Markov con matriz de probabilidades de transici on P pij y distribuci on inicial 0 . Se le llama distribuci on l mite de esta cadena al vector
n
l m 0 P n
l m
0 i pij n.
Observe que el vector l mite en la denici on anterior podr a no ser una distribuci on de probabilidad verdadera, a pesar de esto mantendremos dicho t ermino en la denici on. Como se ha mencionado, toda posible distribuci on l mite es estacionaria pero el rec proco es en general falso, como se ilustra en el siguiente ejemplo. Ejemplo 3.24 Es inmediato comprobar que la distribuci on 12, 12 es estacionaria para la cadena con matriz
0 1 1 0
. 0,
Sin embargo las potencias de P no convergen, pues para cualquier n P 2n1
0 1 1 0
P 2n
1 0 0 1
El siguiente resultado es v alido para espacios de estados nitos o innitos, y establece que si el l mite de las probabilidades pij n, cuando n , existen y no dependen de i, entonces la distribuci on l mite podr a ser una distribuci on estacionaria. Esto es solamente una posibilidad, pues los l mites podr an ser todos cero. En el caso nito, sin embargo, demostraremos que tales l mites conforman una distribuci on de probabilidad verdadera. Proposici on 3.19 Considere una cadena de Markov con probabilidades de mn pij n existen para cada j , transici on pij tales que los l mites j l y no dependen del estado i. Entonces 1.
1. i pij .
2. j
82
Cuando el espacio de estados es nito se cumple la igualdad en el primer resultado obteni endose una distribuci on de probabilidad verdadera.
Demostraci on. Caso 1. Espacio de estados nito. Suponga que el espacio de estados es el conjunto nito 0, 1, . . . , N . Entonces la primera armaci on se cumple con igualdad pues
N j 0 N j 0
l m pij n
l m
N j 0
pij n
1.
Para la segunda armaci on se tiene que para cualquier n

N i 0 N i 0
1,
i pij
ml m
N i 0
pki m pij pki m pij
l m
m j .
l m pkj m 1
Caso 2. Espacio de estados innito. Suponga ahora que el espacio de estados es innito. En este caso no es posible garantizar la validez del intercambio de l mite y suma efectuado en el caso anterior. Para la primera armaci on se tiene que para cualquier n umero natural N 1,
N j 0 N j 0
nl m pij n
l m
N j 0
pij n
l m 1
1.
Haciendo N se obtiene el resultado buscado. Para la segunda arma1, y para cualquier ci on, nuevamente para cualquier n umero natural N
3.14. Distribuciones l mite estado j ,

N i 0
83
i pij
N i 0
l m pki n pij
N i 0
n n
l m
pki n pij
l m pkj n 1
j . Tomando el l mite cuando N
se obtiene que para cualquier estado j , i pij j . (3.13)
Si j 0 para cualquier j , entonces estas desigualdades se convierten en identidades como dice el enunciado. Suponga entonces que j j 0. Demostraremos que las desigualdades que aparecen en (3.13) no pueden ser estrictas. Suponga que para alg un estado j , i i pij j . Entonces
i,j
i pij
pij
i .
Esto es una contradicci on, por lo tanto (3.13) es en realidad una igualdad. Ahora se establecen condiciones sucientes para que exista el l mite de las probabilidades de transici on cuando el n umero de pasos n crece a innito. Este resultado es una especie de rec proco del resultado anterior, pues supone la existencia de una distribuci on estacionaria para concluir que los l mites de las probabilidades existen. Teorema 3.2 (Convergencia a la distribuci on estacionaria) Considere una cadena de Markov que es: a) irreducible, b) aperi odica, y c) con distribuci on estacionaria .
84
3. Cadenas de Markov j .
Entonces para cualesquiera estados i y j , l m pij n

n
Demostraci on. El m etodo de esta demostraci on se conoce como t ecnica 0 una cadena de Markov independiente de la de acople. Sea Yn : n original Xn : n 0, pero con la misma matriz de probabilidades de transici on. Entonces el proceso Zn : n 0 denido por Zn Xn , Yn es una cadena de Markov con probabilidades de transici on P Zn1
xn1 , yn1
Zn
xn, yn
pxn ,xn1 pyn ,yn1 ,
y puede f acilmente comprobarse que tiene distribuci on estacionaria xn ,yn x n yn .
Puede adem as vericarse que la cadena Zn : n 0 es recurrente positiva. odiAdem as es irreducible, pues como Xn : n 0 y Yn : n 0 son aperi cas, existe un n umero natural N tal que pij n pkl n 0, para toda n N . Por lo tanto pi,kj,l n 0. Sea j un estado cualquiera de la cadena original. Dena el primer momento nn en el que la cadena Zn : n 0 visita el estado j, j como j m 1 : Zn j, j . Sea adem as m nn 1 : Xn Yn . Este es el primer momento de acople de las dos cadenas. Como Zn : n 0 es recurrente, 1. Adem as j . Por la propiedad de Markov, P P Xn x, n
n j r 1 n r 1 n r 1
P Xn P Xn P Yn P Yn x,
x, Xr x Xr x Yr x Yr n,
j, j, j,
r r P Xr r P Yr j, j, j, r r r
j P Yr
P Yn
r 1
3.14. Distribuciones l mite
85
es decir, sobre el evento n, las variables Xn y Yn tienen la misma distribuci on de probabilidad. Por otro lado, P Xn j P Xn P Yn P Yn De manera an aloga, P Yn P Xn cuando n tiene que P Xn j P Y n j j, j, n P Xn n . j P P n n P Xn j, j, n n
j P P Xn j
n. Por lo tanto, 0, (3.14)
j P Y n
. Si ahora se toma X0 P Xn j iP X0
i con probabilidad uno, entonces se i i i pij n P X0
j X0
pij n.
Por otro lado, si se toma Y0 con la distribuci on estacionaria , entonces P Yn j Y0 i pij n j .
Substituyendo estas expresiones en (3.14) se conluye que pij n j 0.
El siguiente resultado establece condiciones sucientes para la existencia del l mite de las probabilidades de transici on cuando el n umero de pasos crece a innito, asegurando adem as que el l mite obtenido constituye una distribuci on de probabilidad estacionaria. Teorema 3.3 (Convergencia para cadenas de Markov) Considere una cadena de Markov que es: a) irreducible, b) recurrente positiva, y c) aperi odica.
86 Entonces las probabilidades l mite j j
3. Cadenas de Markov l m pij n existen, est an dadas por
1j , y constituyen la u nica soluci on al sistema de ecuaciones

n
j sujeto a las condiciones j 0, y
i j
i pij , 1.
(3.15)
Demostraci on. Como la cadena es irreducible y recurrente positiva, tiene nica una u nica distribuci on estacionaria dada por j 1j . Es decir, es la u soluci on al sistema de ecuaciones P , con j 0 y j j 1. Adem as, j . por la aperiodicidad, pij n
3.15.
Cadenas regulares
Las cadenas de Markov regulares son cadenas nitas que cumplen la propiedad de que a partir de un cierto momento, con probabilidad positiva se puede pasar de un estado a otro cualquiera en un paso. Demostraremos que para este tipo de cadenas siempre existe la distribuci on l mite. Denici on 3.15 Se dice que una cadena nita o su matriz de probabilidades de transici on es regular si existe un entero natural n tal que pij n 0, para cualesquiera estados i y j . En palabras, una cadena de Markov nita es regular si alguna potencia de su matriz de probabilidades de transici on tiene todas sus entradas estrictamente positivas. Otra forma de denir a una cadena regular es a trav es del siguiente resultado. Proposici on 3.20 Una matriz estoc astica es regular si, y s olo si, es nita, irreducible y aperi odica. Demostraci on. Si la matriz es regular, entonces claramente es nita, irreducible y aperi odica. Rec procamente, por la irreducibilidad, para cualesquiera dos estados i y j , existe un entero m tal que pij m 0. Entonces existe un entero N tal que pij m n dj 0, para cada n N . Como dj 1 y siendo la matriz nita, esto implica la regularidad.
3.15. Cadenas regulares
87
Para este tipo particular de cadenas nitas se conocen los siguientes resultados acerca de su comportamiento l mite. Proposici on 3.21 Toda cadena nita que adem as es: 1. regular, tiene como distribuci on l mite la u nica soluci on no negativa del sistema de ecuaciones (3.15). 2. regular y doblemente estoc astica, tiene como distribuci on l mite la distribuci on uniforme. 3. irreducible, aperi odica y doblemente estoc astica, tiene como distribuci on l mite la distribuci on uniforme. Demostraci on. 1. Como la cadena es regular, es irreducible, aperi odica, y es recurrente positiva por ser nita. Por el Teorema 3.3, la distribuci on l mite existe y est a dada por el sistema de ecuaciones (3.15). 2. Como la cadena es regular, es aperi odica, irreducible y recurrente positiva por ser nita. Entonces la distribuci on l mite existe. Por la hip otesis de doble estocasticidad y suponiendo que el espacio de 1. Tomando el estados es 0, 1, . . . , N , se tiene que N i 0 pij n 1. Por lo tanto, l mite cuando n tiende a innito se obtiene N i 0 j j 1N 1. 3. Este resultado es id entico al anterior, pues hemos demostrado que la regularidad es equivalente a la nitud, irreducibilidad y aperiodicidad conjuntamente.
Ejemplo 3.25 Sea Sn la suma de los resultados que se obtienen al lanzar un dado equilibrado n veces. Encontraremos
n
ultiplo de 7. l m P Sn es m
88
Dena el proceso Xn Sn mod. 7 cuyo espacio de estados es 0, 1, . . . , 6. No es dif cil convencerse de que Xn : n 1 es una cadena de Markov con matriz de probabilidades de transici on

0 16 16 16 16 16 16 16 0 16 16 16 16 16 1 6 16 0 16 16 16 16 16 16 16 0 16 16 16 16 16 16 16 0 16 16 16 16 16 16 16 0 16 16 16 16 16 16 16 0
El evento Sn es m ultiplo de 7 es id entico al evento Xn 0, de modo que la probabilidad de que Sn sea m ultiplo de 7 a largo plazo es el tiempo de estancia a largo plazo que la cadena Xn : n 1 pasa en el estado 0. El problema se reduce a encontrar la distribuci on l mite de P . Pero esta matriz es regular, y entonces su distribuci on l mite es la uniforme. Por lo tanto,
n
l m P Xn
17.
3.16.
Cadenas reversibles
Sea Xn : n 0 una cadena de Markov con probabilidades de transici on Xmn para pij . Sea m 1 un entero jo y dena un nuevo proceso Yn n 0, . . . , m, es decir, Yn : n 0, . . . , m es la cadena original pero vista en sentido inverso en el tiempo, ahora del tiempo m al tiempo 0. Este nuevo proceso resulta tambi en ser una cadena de Markov, pues cumple el criterio de independencia entre pasado y futuro cuando se conoce el presente, las nociones de pasado y futuro se intercambian debido al cambio en el sentido r n m, considere la probabilidad del tiempo. En efecto, para 1 condicional P y1 , . . . , yr1 , yr1 , . . . , yn yr . En t erminos del proceso Xn : n P Xm1 Xmr1 0, esta probabilidad es yr1 , yn Xmr yr .
y1 , . . . , Xmr1
yr1 , . . . , Xmn
3.16. Cadenas reversibles Por la propiedad de Markov del proceso Xn : n el producto P Xm1 P Xmr1 y1 , . . . , Xmr1 yr1 , . . . , Xmn
89 0, esta probabilidad es yr
yr1 Xmr
que en t erminos del proceso Yn : n para este proceso
0, . . . , m es la propiedad de Markov
yn Xmr
yr ,
P y1 , . . . , yr1 yr P yr1 , . . . , yn yr . Sin embargo, las probabilidades de transici on del nuevo proceso no son homog eneas pues para 0 n m, P Yn1 j Yn i P Xmn i, Xmn1 P Xmn i P Yn1 j , P Yn i i Xmn1 j j P Xmn1 j P Xmn i
P Xmn pji
es decir, estas probabilidades dependen de n a trav es del cociente P Yn1 j P Yn i. Tal dependencia desaparece cuando se toma como hip otesis la existencia de una distribuci on estacionaria para Xn : n 0, pues en tal caso la igualdad anterior se reduce a j P Yn1 j Yn i pji . (3.16) i Bajo tal hip otesis las probabilidades de transici on de la nueva cadena son ahora estacionarias. Si adicionalmente se pide que las probabilidades de transici on son las mismas para ambas cadenas, entonces de la ecuaci on (3.16) se obtiene que debe satisfacerse la ecuaci on pij pji j i , es decir, i pij j pji . Esto lleva a la siguiente denici on de reversibilidad, la cual a nade la hip otesis de irreducibilidad. Denici on 3.16 Se dice que una cadena de Markov irreducible con probabilidades de transici on pij y con distribuci on estacionaria es reversible en el tiempo si para cualesquiera estados i y j , i pij j pji . (3.17)
90
A la ecuaci on (3.17) se llama ecuaci on de balance detallado. La utilidad de las cadenas reversibles est a dada por el siguiente resultado, el cual ejemplicaremos m as adelante con un par de aplicaciones. Proposici on 3.22 Considere una cadena irreducible para la cual existe una distribuci on que cumple la identidad (3.17). Entonces es una distribuci on estacionaria y la cadena es reversible. Demostraci on. Si cumple (3.17), entonces es una distribuci on estacionaria pues i i pij . Adem a s la cadena es reversible por p j i j ji denici on. Ejemplo 3.26 Considere nuevamente la cadena de Ehrenfest. El espacio on son, para i de estados es 0, . . . , N , y las probabilidades de transici 1, . . . , N 1, i 1, N iN si j si j i 1, pij iN 0 otro caso, 1 y pN,N 1 1. Esta cadena es nita, irreducible y recurrente con p01 positiva. Estas propiedades garantizan que la cadena tiene una u nica distribuci on estacionaria. Si se desea encontrar esta distribuci on estacionaria a que resolver el sistema a trav es de la ecuaci on P , uno tendr 1 1 , N N i1 i1 i1 i1 , para i 1, . . . , N 1, i N N 1 N 1 . N N A partir de estas ecuaciones hemos demostrado en el Ejemplo 3.22 de la p agina 78 que es la distribuci on binN, 12. Alternativamente, usando el concepto de reversibilidad se puede intentar encontrar una posible soluci on al sistema de ecuaciones i pij j pji , 0 el cual, despu es de algunos c alculos, se reduce al sistema i1 N i i , i1 para i 0, 1, . . . , N
1.
3.16. Cadenas reversibles
91
Si existiera una soluci on a este sistema de ecuaciones que resulte ser una distribuci on de probabilidad, entonces por la Proposici on 3.22 sabr amos que dicha distribuci on es estacionaria y la cadena ser a reversible. Dado que las probabilidades buscadas se encuentran en t erminos de la inmediata anterior, se puedan escribir todas en t erminos de 0 y de esa forma se obtienen las siguientes expresiones

1 2 . . . N
N 0 , 1 N 0 , 2

N N
0 .
Sumando todas estas cantidades junto a 0 se tiene que 1 0

N i 0
N i
0 2N .

N N es Por lo tanto 0 12N , y encontramos nuevamente que i i 2 la soluci on al sistema. Esta es la distribuci on binN, 12. Por la Proposici on 3.22, sabemos entonces que la distribuci on encontrada es estacionaria y la cadena es reversible.
Ejemplo 3.27 Considere una caminata aleatoria no homog enea sobre el conjunto 0, 1, . . . , con probabilidades de transici on
pi
pij
qi
1 0
pi q i
si j i 1, si j i 1, si j i, otro caso,
en donde q0 0. Esta es una cadena irreducible. Si uno busca una distribu P , se tendr a que resolver ci on estacionaria a trav es de la ecuaci on el sistema de ecuaciones 0 i 0 1 p0 q1 1 , i1 qi1 i 1 pi qi i1 pi1 , para i 1.
92
Sin embargo la condici on (3.17) se traduce en el sistema m as simple i pi on de este sistema (su existencia depender a de i1 qi1 . Una posible soluci los par ametros pi y qi ), ser a la distribuci on estacionaria para esta caminata y la cadena ser a entonces reversible en el tiempo. Resumen de la notaci on utilizada. Como referencia se presenta a continuaci on una lista de la notaci on utilizada en este cap tulo. pij pij n Probabilidad de pasar del estado i al estado j en un paso, es decir, pij P X1 j X0 i. Probabilidad de pasar del estado i al estado j en n pasos, es decir, pij n P Xn j X0 i. En algunos textos aparece tambi en como n pij . En particular, se dene pij 0 ij , que vale uno cuando i j , y cero cuando i j . Probabilidad de llegar por primera vez al estado j a partir del estaj, Xn1 do i exactamente en el paso n, es decir, fij n P Xn n j, . . . , X1 j X0 i. A veces se escribe tambi en como fij . En particular se dene fij 0 0 para cualesquiera estados i y j , incluyendo el caso i j . Probabilidad de una eventual visita el estado j a partir del estado i. En t erminos de probabilidades de primeras visitas, esta probabilidad es fij k 0 fij n. Variable aleatoria que registra el n umero de visitas realizadas al estado j durante las primeras n transiciones, cuando la cadena inicia en el n estado i, es decir, Nij n i. k 1 1Xk j , cuando X0 Variable aleatoria que cuenta el n umero total de visitas realizadas al estado j cuando la cadena inicia en el estado i, es decir, Nij i. Puede tomar el valor innito. k 1 1Xk j , cuando X0 Tiempo en el que se logra la primera visita el estado j a partir del nn 1 : Xn j , cuando X0 i. Toma el estado i, es decir, ij m valor innito cuando nunca ocurre tal evento. Cuando i j se escribe i , y corresponde al tiempo del primer regreso al estado i.
fij n
fij
Nij n
Nij
ij
3.17. A. A. Markov ij
93
Tiempo medio de primera visita al estado j a partir del estado i, es decir, ij E ij . Puede ser innito. Cuando i j se escribe i y se le llama tiempo medio de recurrencia del estado i.
Notas y referencias. El tema de cadenas de Markov a tiempo discreto aparece en casi cualquier texto de procesos estoc asticos en mayor o menor profundidad, e incluso puede encontrarse tambi en en los u ltimos cap tulos de algunos textos de probabilidad. El tema es regularmente la parte inicial y obligada de un curso elemental de procesos estoc asticos. Las siguientes referencias son una muestra de algunos textos que contienen cap tulos sobre el tema de cadenas de Markov a un nivel similar al presentado: Karlin y Taylor [17], Brze zniak y Zastawniak [3], Jones y Smith [15], Hoel, Port y Stone [14], y Stirzaker [34]. Los textos de Caballero et al [4] y Norris [24], est an dedicados enteramente al tema de cadenas de Markov.
3.17.
A. A. Markov
Andrey Andreyevich Markov (Rusia, 1856 1922) tuvo una salud muy precaria durante sus primeros a nos de vida, teniendo que caminar con muletas hasta la edad de 10 a nos. En 1874 ingres o a la Facultad de F sica y Matem aticas de la universidad de San Petersburgo, y asisti o a las clases de reconocidos matem aticos de la epoca, entre ellos P. L. Chebyshev, quien tuvo una inuencia decisiva en el quehacer futuro de Markov. Se A. A. Markov gradu o brillantemente en 1878, y continu o con sus estudios de maestr a, los cuales concluy o en 1880. Trabaj o como profesor en la universidad de San Petersburgo al mismo tiempo que estudiaba para su doctorado, el cual concluy o en 1884. Continu o trabajando en la misma universidad por pr acticamente el resto de su vida. Despu es de 1900, y siguiendo los trabajos de P. L. Chebyshev, aplic o el m etodo de fracciones continuas en la teor a de la probabilidad. Markov fue el mejor exponente y continuador de las ideas de Chebyshev y de sus temas de investigaci on en probabilidad. Especialmente sobresalientes son sus trabajos sobre la ley
94
de los grandes n umeros y el teorema central del l mite, as como otros resultados fundamentales de la teor a de la probabilidad, y sobre el m etodo de m nimos cuadrados. Markov fue un profesor muy estricto pero tambi en muy claro en sus exposiciones, y demandaba mucho rigor matem atico en los argumentos de sus estudiantes. Markov desarroll o su teor a de cadenas de Markov desde un punto de vista matem atico, aunque tambi en aplic o su modelo en el an alisis de estilos de escritura en poemas. Con sus trabajos sobre cadenas de Markov fund o una nueva rama de la probabilidad e inici o la teor a de los procesos estoc asticos. Fuente: Archivo MacTutor, Universidad de St. Andrews.
3.18.
Ejercicios
Recordemos que para hacer la notaci on m as corta, a la probabilidad P Xn xn se le ha escrito como pxn , es decir, el sub ndice indica tambi en la variable a la que se hace referencia. El signicado de la probabilidad condicional pxn1 xn es an alogo. Propiedad de Markov 20. Demuestre que la propiedad de Markov (3.1) es equivalente a cada una de las siguientes condiciones. a) Esta condici on establece que la distribuci on conjunta queda especicada a trav es de la distribuci on inicial y las probabilidades de transici on en un paso: para cualesquiera estados x0 , . . . , xn , px0 , x1 , . . . , xn px0 px1 x0 pxn xn1 .
b) Esta condici on establece que el futuro, sin importar lo distante que se encuentre, depende solamente del u ltimo momento observado: para cualesquiera enteros n, m 1, pxnm x0 , . . . , xn pxnm xn .
c) Esta es la condici on de Markov para tiempos no necesariamente consecutivos: para cualesquiera enteros 0 n1 nm1 , pxnm1 xn1 , . . . , xnm pxnm1 xnm .
3.18. Ejercicios
95
d) Esta condici on expresa la independencia entre el pasado y el futuro cuando se conoce el presente: para cualesquiera enteros 0 k n, px0 , . . . , xk1 , xk1 , . . . , xn xk px0 , . . . , xk1 xk pxk1 , . . . , xn xk .
e) En esta condici on se consideran varios eventos en el futuro: para cualesquiera enteros n, m 1, pxnm , . . . , xn1 x0 , . . . , xn pxnm xnm1
pxn1
xn .
Matrices estoc asticas 21. Demuestre que: a) si P y Q dos matrices estoc asticas (o doblemente estoc asticas) de la misma dimensi on, entonces P Q tambi en es estoc astica (o doblemente estoc astica). b) si P es estoc astica (o doblemente estoc astica), entonces para cualquier entero positivo n, la potencia P n tambi en es estoc astica (o doblemente estoc astica). 22. Demuestre que una matriz cuadrada P puede ser tal que la potencia astiP n sea estoc astica para alg un entero n 2, sin ser P misma estoc ca. 23. Demuestre que si una matriz estoc astica P es sim etrica, entonces para cualquier n 1, la potencia P n tambi en es sim etrica. 24. Demuestre que toda matriz estoc astica sim etrica es doblemente estoc astica. 25. Demuestre que toda matriz estoc astica nita tiene siempre al n umero uno como valor propio.
96 Probabilidades de transici on
0 una cadena de Markov con espacio de estados 26. Sea Xn : n 0, 1, 2 y con matriz de probabilidades de transici on
P Calcule: b) P X3 a) P X2 0, X1 1, X2 0 X0 1 X1
0.4 0.3 0.3 0.3 0.2 0.5 . 0.7 0 0.3 1. 2.
27. Sea Xn : n 0 una cadena de Markov con dos estados 0, 1, con distribuci on inicial P X0 0 12, P X0 1 12, y con matriz de probabilidades de transici on
P Calcule: b) P X0 d) P X2 e) P X0 c) P X1 a) P X0 0, X1 0 X1 0. 1. 0, X1 0, X2 1, X2 1.
410 610 910 110
0.
1, X3
1.
28. Sea Xn : n 0 una cadena de Markov con espacio de estados 0, 1, con distribuci on inicial P X0 0 15, P X0 1 45, y con matriz de probabilidades de transici on
P Encuentre: a) la distribuci on de X1 .
12 12 23 13
3.18. Ejercicios b) la distribuci on de X2 . d) la esperanza condicional E X2 X1 . c) la distribuci on conjunta de X1 y X2 .
97
29. Considere una cadena de Markov de dos estados: 0 y 1, con matriz de probabilidades de transici on
15 45 12 12
Suponga que la cadena tiene una distribuci on inicial dada por el vector 35, 25. Encuentre P X1 0, P X1 1, P X2 0 y P X2 1. 30. Considere una cadena de Markov de dos estados: 0 y 1, con distribuon ci on inicial 12, 12, y con matriz de probabilidades de transici
P Encuentre: b) P X5 c) P X3 a) la distribuci on de X1 . 1 X4 0 X1 0 X98 0 X2 1 X2 0, X2 0. 0. 0.
13 23 34 14
d) P X100 e) P X1 f) P X1
0. 1. 0.
g) P X3
1, X3 0 X1
31. Ecuaci on de Chapman-Kolmogorov para cadenas no homog eneas. Considere una cadena de Markov con probabilidades de transici on no necesariamente homog eneas pij n, m P Xm j Xn i, para n m. Demuestre que para cualquier tiempo u tal que n u m, pij n, m
pik n, u pkj u, m.
32. Demuestre o proporcione un contraejemplo.
98 a) pij n pij 1 pjj n 1. 1 pji n.
b) pij n
33. Demuestre que: a) pii n pii m b) sup pij n

n
pii n m fij
n 1
pii n pii m 1 pii n.
pij n. 0. 0.
c) i d) i e)
n 1
j si, y s olo si, fij j si, y s olo si, fij fji pij n fij
n 1
pjj n 1 .
Cadenas de Markov 34. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes con entica distribuci on dada por valores en el conjunto 0, 1, . . . , y con id las probabilidades a0 , a1 , . . . Determine si el proceso Xn : n 1 dado por Xn m n 1 , . . . , n es una cadena de Markov. En caso armativo encuentre la matriz de probabilidades de transici on. 35. Para la cadena de Markov de dos estados, compruebe que: b) P X0 c) P X2 a) P X0 0, X1 0, X2
ab 1 aa p0 . 0 1 a ab p0 1 bb b1 a p1 .
2
1, X2 1
ab p0 .
36. Para la cadena de Markov de dos estados con distribuci on inicial 0 , 1, use inducci on sobre n para demostrar que para a b 0, a) P Xn b) P Xn 0 1 b ab a ab b 0 a 1 a bn . b a 1 a 1 a bn . b ?
Cu al es el l mite de esta distribuci on cuando n
3.18. Ejercicios
99
37. Encuentre la matriz de probabilidades de transici on de la cadena de Markov de cuatro estados dada por el laberinto de la Figura 3.18. A partir de cada posici on s olo se permite pasar a los estados como indica el diagrama, con id entica probabilidad para todas las posibilidades. Suponga que no se permite permanecer en la misma posici on al efectuarse un movimiento.
Figura 3.18 38. Se lanza un dado equilibrado repetidas veces. Sea Xn el n umero de lanzamientos realizados al tiempo n desde la u ltima vez que apareci o el n umero 6. Demuestre que Xn : n 1 es una cadena de Markov y encuentre las probabilidades de transici on. 39. Sea Xn : n 0 una cadena de Markov con probabilidades de tran1 un entero jo. Demuestre que los siguientes sici on pij , y sea m procesos son tambi en cadenas de Markov y encuentre las correspondientes probabilidades de transici on. b) Xnm : n a) Xnm : n 0. 0.
40. Demuestre que para cualquier entero n a) P Xn b) P Xn j j

i i
1,
P Xn1 P X0
i pij 1. i pij n.
41. Considere una cadena de Markov con espacio de estados 0, 1, . . . , N ,
100
3. Cadenas de Markov y probabilidades de transici on tales que para cualquier estado i, E Xn1 Xn i
N j 0
j pij
i,
es decir, el estado promedio despu es de una transici on es el estado inicial. Demuestre que esta cadena es una martingala y que los estados 0 y N son absorbentes. 42. Renovaciones discretas. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes id enticamente distribuidas, y con valores en el conjunto 1, 2, . . . . Interpretaremos estas variables discretas como los tiempos de vida de art culos puestos en operaci on uno despu es de otro en un proceso de renovaci on a tiempo discreto. Sea X0 0 y para cada n 1 sea Xn 1 n . Para cada k 1, 2, . . . dena Nk m ax n 1 : Xn k.
Si el conjunto indicado es vac o, entonces el m aximo se dene como cero. La variable Nk cuenta el n umero de renovaciones efectuadas hasculo ta el tiempo k. Sea Ak k XNk , es decir, Ak es la edad del art que se encuentra en operaci on al tiempo k, o bien, el tiempo transcurrido desde la u ltima renovaci on. La notaci on A proviene del t ermino en ingl es Age. Demuestre que el proceso Ak : k 1 es una cadena de Markov con espacio de estados 0, 1, . . . , y con probabilidades de transici on pi,0 P X P X i 1 , i 1 pi,i1 P X P X i 2 . i 1
43. Considere la cadena de inventarios en donde n tiene distribuci on uni1 y S 4. Encuentre la forme en el conjunto 0, 1, 2, 3, con s matriz de probabilidades de transici on de esta cadena. 0 la cadena de Markov de dos estados. Demuestre 44. Sea Xn : n que el proceso Yn Xn1 , Xn es una cadena de Markov. Determine el espacio de estados de este nuevo proceso y encuentre la matriz de probabilidades de transici on. Generalice este resultado para cualquier cadena con espacio de estados 0, 1, . . . .
3.18. Ejercicios
101
45. Se colocan N bolas negras en una primera urna, y N bolas blancas en una segunda urna. Se selecciona al azar una bola de cada urna y se intercambian. Este ensayo se repite varias veces. Sea Xn el n umero de bolas blancas en la primera urna despu es del n- esimo ensayo. Justique que Xn : n 1 es una cadena de Markov y encuentre la matriz de probabilidades de transici on. 46. Sea 0 , 1 , . . . una sucesi on de variables independientes con id entica 1 denido distribuci on Berp. Determine si el proceso Xn : n a continuaci on es una cadena de Markov. En caso armativo determine el espacio de estados y encuentre la matriz de probabilidades de transici on. a) Xn b) Xn c) Xn n n1 . Xn1 n .
Xn1 n , (m od. 2).
47. Sea 1 , 2 , . . . una sucesi on innita de variables independientes con valores en el conjunto 0, 1, 2, 3, 4 y con id entica distribuci on dada por p0 , p1 , p2 , p3 , p4 . Determine si el proceso Xn : n 1 denido a continuaci on es una cadena de Markov. En caso armativo encuentre el espacio de estados y la matriz de probabilidades de transici on. X0 Xn1 0, od. 5), para n Xn n1 (m
0.
48. Modicaci on de la cadena de Ehrenfest. Considere el esquema de dos urnas como en la cadena de Ehrenfest con un total de N bolas. Suponga ahora que un ensayo consiste en que cada una de las bolas se cambia de urna con una distribuci on de probabilidad especicada p1 , . . . , pN , sin importar la posici on de las bolas. Sea Xn el n umero de bolas en una de las urnas despu es del n- esimo ensayo. Es esta una cadena de Markov? En caso armativo encuentre la matriz de probabilidades de transici on. 0 una cadena de Markov con espacio de estados E . 49. Sea Xn : n Dena el proceso Yn : n 0 de la siguiente forma: Yn Xn , Xn1 .
102
3. Cadenas de Markov Determine el espacio de estados del proceso Yn : n 0, demuestre que es una cadena de Markov y encuentre sus probabilidades de transici on en t erminos de las probabilidades de transici on de Xn : n 0. Comunicaci on
50. Demuestre que la comunicaci on entre los estados de una cadena de Markov es una relaci on de equivalencia. 51. Dibuje un diagrama de transici on e identique las clases de comunicaci on para las siguientes cadenas de Markov.
0.4 0.6
0.3 0.5
0 0
0.7 0 0.5
0 0.2 0 0.8 0.4 0.6 0 0 0 0 1 0 0 0 0.3 0.7
52. Cu al es el n umero m aximo y m nimo de clases de comunicaci on que puede existir para una cadena de Markov de n estados? Dibuje un diagrama de transici on ilustrando cada una de estas dos situaciones. 53. Dibuje el diagrama de transici on de una cadena de Markov que sea: a) nita e irreducible. b) nita y reducible. c) innita e irreducible. d) innita y reducible. 54. Dibuje un diagrama de transici on y encuentre las clases de caci on para cada una de las siguientes cadenas de Markov. 0 0 1 12 12 0 1 0 0 a P 12 0 12 b P 12 12 0 0 0 1 13 13 13 0 1 0 0 0 0 0 1 c P 0 1 0 0 12 0 12 0 comuni0 0 0 0
3.18. Ejercicios
103
55. Considere una cadena de Markov con n estados. Demuestre que si i j con i j , entonces es posible pasar de i a j en a lo sumo n 1 pasos. Periodo 56. Dibuje un diagrama de transici on, determine las clases de comunicaci on y calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov. 13 13 13 0 12 12 0 1 0 0 0 b P a P 12 12 0 12 12 0 0 0 12 12 13 13 13 0
12 0 12 0 0 0 0 1 12 0 12 0 14 14 14 14
57. Dibuje un diagrama de transici on, determine las clases de comunicaci on y calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov.
a) P
14 14 14 14 0 12 12 0 0 0 0 1 0 0 1 0

b) P
0 0 0 0 1 0 0 1 0 0 0 0 0 12 12 0 0 1 0 0 15 15 15 15 15
58. En la Proposici on 3.4 se ha demostrado que el periodo es una propiedad de clase, es decir, dos estados que pertenecen a la misma clase de comunicaci on tienen el mismo periodo. El rec proco de tal armaci on es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Proporcione un ejemplo de tal situaci on.
104
59. Demuestre que no existe una cadena de Markov irreducible de periodo cero. 60. Demuestre que toda cadena de Markov nita tiene por lo menos un estado de periodo positivo.
Tiempo y probabilidad de primera visita 61. Demuestre que i j , si y s olo si, fij 0.
62. Use la identidad (3.2) para demostrar que para cada n 1, se cumple la desigualdad pij n P ij n. Observe que la igualdad se cumple en particular cuando j es un estado absorbente. 63. Demuestre las siguientes igualdades. a) P ij b) P ij c) P ij 1 2 pij 1.
pik 1 pkj 1.
k j
k j
n 1
pik 1 P kj
n,
para n
1.
Tiempo medio de absorci on 64. Se efect ua un sucesi on de lanzamientos independientes de una moneda equilibrada con resultados A y S . Encuentre el n umero esperado de lanzamientos para que aparezca la secuencia particular a) S . b) SA . c) SAS .
3.18. Ejercicios Recurrencia y transitoriedad
105
65. Encuentre las clases de comunicaci on de la siguiente cadena de Markov. Encuentre adem as los periodos, y clasique cada clase de comunicaci on como transitoria o recurrente.

12 12 0 0 16 16
12 12 0 0 16 16
0 0 12 12 16 16
0 0 0 0 0 0 12 0 0 12 0 0 16 16 16 16 16 16
66. Demuestre que todo estado absorbente es recurrente. 67. Determine las clases de comunicaci on de las siguientes cadenas de Markov y clasique estas como recurrentes o transitorias.
12 12 0 0 12 12 0 12 12
12 0 0 14
12 0 0 12 12 0 12 12 0 14 14 14
68. Dibuje un diagrama de transici on de una cadena de Markov tal que: a) Todos sus estados sean recurrentes. b) Todos sus estados sean transitorios. c) Tenga igual n umero de estados transitorios y recurrentes. 69. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transici on de la Figura 3.19(a) es transitorio. 70. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transici on de la Figura 3.19(b) es recurrente. Suponga que 0 1 y 0 1. Concluya que todos los estados de esta cadena son recurrentes. 71. Demuestre que si i es un estado recurrente e i j , entonces j i.
72. Demuestre que toda cadena de Markov nita tiene por lo menos una clase de comunicaci on recurrente.
106
12 0 12 2 12 1 (a) 1
1 2
1 1
1 1
(b)
Figura 3.19 Tiempo medio de recurrencia 73. Considere una sucesi on de ensayos independientes Bernoulli con resultados A y B , y con probabilidades P A p y P B q 1 p. Calcule el n umero promedio de ensayos para la primera ocurrencia de la secuencia AB . Clases cerradas 74. Demuestre que: a) La uni on de dos clases cerradas es una clase cerrada. b) Toda cadena de Markov tiene por lo menos una clase cerrada. 75. Demuestre que la colecci on de estados C es cerrada si, y s olo si, alguna de las siguientes condiciones se cumple. Para cualesquiera i C y j C, b) pij 1 a) pij n 0, para cada n 0. 1.
76. Demuestre que: a) Toda clase de comunicaci on recurrente es cerrada. b) La uni on de dos clases de comunicaci on recurrentes es una clase cerrada.
3.18. Ejercicios
107
c) La uni on de todas las clases de comunicaci on recurrentes de una cadena de Markov es una clase cerrada. 77. Proporcione ejemplos que muestren la invalidez de las siguientes armaciones. a) Si C es una clase cerrada, entonces C c es cerrada. b) Si C1 y C2 son dos clases cerradas, entonces C1 C2 es cerrada. C2 , c) Si C1 y C2 son dos clases cerradas distintas tales que C1 entonces C2 C1 es una clase cerrada. Propiedad fuerte de Markov 78. Sea Xn : n 0 una cadena de Markov con probabilidades de transici on estacionarias y sea un tiempo de paro respecto de este proceso. Suponiendo que es nito, use el m etodo de inducci on para demostrar que a) P X n1 j X n i P X1 j X0 i. Esta propiedad es la estacionariedad de las probabilidades de transici on en una versi on m as general. b) Se cumple la propiedad fuerte de Markov: La probabilidad P X n1 j X0 x0 , . . . , X n1 j X n i. xn1 , X n i
es igual a P X n1
79. Sea Xn : n 0 una cadena de Markov con espacio de estados S y sea S1 es subconjunto propio no vac o de S . Dena el proceso Yn : n 0 como el proceso original visto u nicamente cuando toma valores en S1 . a) Demuestre que 0 , 1 , . . . denidos abajo son tiempos de paro respecto del proceso Xn : n 0. 0 n m n n m n n
S1, n1 : Xn S1 ,
0 : Xn
1.
108
3. Cadenas de Markov b) Suponiendo que P n 1 para toda n 0, demuestre que Yn : n 0 es una cadena de Markov y encuentre su matriz de probabilidades de transici on. Observe que Yn Xn para n 0.
80. Sea Xn : n 0 una cadena de Markov y dena el proceso Yn : nicamente cuando cambia de n 0 como el proceso original visto u estado. a) Demuestre que 0 , 1 , . . . denidos abajo son tiempos de paro respecto del proceso Xn : n 0. 0 n 1 0, m n n n : Xn Xn , n 0. 0.
1 para toda n 0, es decir, no hay b) Suponiendo que P n estados absorbentes, demuestre que Yn : n 0 es una cadena de Markov y encuentre su matriz de probabilidades de transici on.
Recurrencia positiva y nula 81. Determine si la cadena de racha de exitos es recurrente positiva o nula. 82. Sea Xn : n 0 una cadena de Markov con espacio de estados 0, 1, 2, . . . y probabilidades de transici on p0,i pi,i1 ai para i 0, 1, 2, . . . 1, 2, 3, . . . 1 para i
Observe que se puede escribir Yn
Xn , para n
1. Encuentre condiciones sucientes sobre en donde a0 a1 estas probabilidades para que la cadena sea: a) Irreducible. b) Recurrente. c) Recurrente positiva. 83. Sea P una matriz doblemente estoc astica. Demuestre directamente que:
3.18. Ejercicios
109
a) Si P es nita, entonces todos los estados son recurrentes positivos. b) Si P es innita e irreducible, entonces todos los estados son transitorios o recurrentes nulos. Distribuciones estacionarias 84. Encuentre todas las distribuciones estacionarias, si existen, para cada una de las siguientes cadenas de Markov.
12 12 0 0 12 12 0 12 12
12 0 0 14
12 0 0 12 12 0 12 12 0 14 14 14
85. Determine si existe alguna distribuci on estacionaria para la siguiente matriz estoc astica. En caso armativo encuentre todas las distribuciones estacionarias.
1p 0 1p 0
p 0 0 1p p 0 1 0
0 p 0 0
86. Demuestre que la siguiente cadena de Markov tiene un n umero innito de distribuciones estacionarias.
12 0 12 0 0 12 0 12 12 0 12 0 . 0 12 0 12
87. Demuestre que la cadena del jugador tiene una innidad de distribuciones estacionarias. 88. Demuestre que la cadena de variables aleatorias independientes tiene una u nica distribuci on estacionaria dada por 0 , 1 , . . . a0 , a1 , . . .. 89. Demuestre que toda matriz doblemente estoc astica, aperi odica, nita e irreducible tiene una u nica distribuci on estacionaria dada por la distribuci on uniforme.
110
90. Demuestre que si la distribuci on uniforme es una distribuci on estacionaria para una cadena de Markov nita, entonces la correspondiente matriz de probabilidades de transici on es doblemente estoc astica. 91. Considere una cadena de Markov a tiempo discreto con espacio de estados nito y tal que para cada estado j los siguientes l mites existen y no dependen del estado i,
n
l m pij n
j .
Demuestre que
j es una distribuci on estacionaria.
92. Justique la existencia y unicidad, y encuentre la distribuci on estacionaria para una caminata aleatoria simple no sim etrica sobre el conjunto 0, 1, . . . , n, en donde los estados 0 y n son reejantes, es decir: p00 q , p01 p, pnn p, pn,n1 q . Las otras probabilidades de transici on son: pi,i1 p y pi,i1 q para i 1, 2, . . . , n 1. 93. Considere una caminata aleatoria Xn : n 0 sobre el conjunto 0, 1, . . . , N 1, N en donde los estados 0 y N son reejantes, es decir, P Xn1 1 Xn 0 1 y P Xn1 N 1 Xn N 1. El resto de las probabilidades de transici on son P Xn1 i 1 Xn i p i 1 Xn i q , para i 1, 2, . . . , N 1. V ease la y P Xn1 Figura 3.20. Calcule el n umero promedio de visitas que la caminata realiza a cada uno de sus estados.
1 0 1 q p i i1 1
i 1
N 1
Figura 3.20 94. Sea P la matriz de probabilidades de transici on de una cadena de Markov con n estados. Demuestre que es una distribuci on estacionaria para P si y s olo si I P A a,
3.18. Ejercicios
111
en donde I es la matriz identidad de nn, A es una matriz cuadrada de nn con el valor 1 en cada una de sus entradas, y a es un vector rengl on en en todas sus entradas. de dimensi on 1 n con el valor 1 tambi Este resultado permite encontrar la posible distribuci on estacionaria on es posible. invirtiendo la matriz I P A, cuando tal operaci Como un ejemplo v ease el siguiente ejercicio. 95. Recuerde que una matriz cuadrada de 2 2 y su inversa tienen las siguientes expresiones generales cuando ad bc 0.
a b c d
A1
ad bc
d c
b
a
Use este resultado y el ejercicio anterior para deducir nuevamente que la distribuci on estacionaria para la cadena de Markov de dos estados, cuando a b 0, es a b 0 , 1 a . , b ab 96. Demuestre que si es una distribuci on estacionaria para P , entonces lo es para P n para cualquier n natural. Por otra parte, si es estacionaria para P n para alg un n 2, entonces no necesariamente es estacionaria para P . Considere por ejemplo la matriz estoc astica
0 1 1 0
Entonces P 2 es la matriz identidad que acepta como distribuci on estacionaria a cualquier distribuci on de probabilidad 0 , 1 , sin embargo no es estacionaria para P , a menos que sea la distribuci on uniforme. Distribuciones l mite 97. Calcule la distribuci on l mite, cuando existe, de las siguientes cadenas de Markov.
112
3. Cadenas de Markov 0 0 1 1 0 0 12 12 0 13 13 13 1 0 0 0 1 0 0 12 0 0 0 0
0 1 0 0
0 0 0 1 3
1 0 1 0
0 0 0 23
0 0 0 12
0 1 0 0
98. El problema de la lluvia. Una persona se traslada todos los d as de su casa a la ocina en la ma nana, y de la ocina a su casa por la tarde. Esta persona tiene un coche que usa en cualquiera de estos dos viajes en caso de lluvia, siempre y cuando tenga el coche disponible. No siempre tiene el coche disponible pues ha decidido dejarlo en la casa o en la ocina e irse caminando cuando al salir de alguno de estos lugares no est a lloviendo. La probabilidad de lluvia por la ma nana o por la tarde es p 0, independiente un evento del otro. a) Demuestre que la proporci on de viajes a largo plazo en los cuales la persona se moja por la lluvia es p1 p2 p. b) Demuestre que la respuesta a la pregunta del inciso anterior cuando la persona posee r coches es p1 p1 p r . Cadenas regulares 99. Determine si las siguientes matrices estoc asticas son regulares.
0 1 0 0 0 1 1 0 0
0 1 0 0 12 12 12 12 0
100. Cu antas potencias de una matriz se necesitan calcular como m aximo para vericar que es regular? 0 y Yn : n 0 dos cadenas de Markov indepen101. Sean Xn : n dientes y regulares. Demuestre que Zn Xn , Yn es una cadena de Markov regular y encuentre sus probabilidades de transici on.
3.18. Ejercicios Cadenas reversibles
113
102. Resolviendo la ecuaci on de balance detallado (3.17), demuestre que la cadena de dos estados es reversible y encuentre nuevamente que, on estacionaria est a dada por cuando a b 0, la distribuci a b , 0 , 1 a . b ab
114
Cap tulo 4
El proceso de Poisson
En el presente y en el siguiente cap tulo estudiaremos el modelo de cadena de Markov a tiempo continuo. Como una introducci on a la teor a general que se expondr a m as adelante, en este cap tulo estudiaremos uno de los ejemplos m as importantes de este tipo de modelos: el proceso de Poisson. Deniremos este proceso de varias formas equivalentes y estudiaremos algunas de sus propiedades, sus generalizaciones y algunas de sus aplicaciones. El proceso de Poisson es un modelo relevante tanto en las aplicaciones como en la teor a general de los procesos estoc asticos.
4.1.
Denici on
Suponga que un mismo evento ocurre repetidas veces de manera aleatoria a lo largo del tiempo, como se muestra 0 en la Figura 4.1. Tal evento puede ser, Figura 4.1 por ejemplo, la llegada de una reclamaci on a una compa n a aseguradora o la recepci on de una llamada a un conmutador, la llegada de un cliente a una ventanilla para solicitar alg un servicio o los momentos en que una cierta maquinaria requiere reparaci on, etc etera. Suponga que las variables aleatorias T1 , T2 . . . representan los tiempos que transcurren entre una ocurrencia del evento y la siguiente ocurrencia. Suponga que estos tiempos son independientes uno del otro y que cada uno tiene distribuci on exp. Se 115
116
4. El proceso de Poisson
dene el proceso de Poisson al tiempo t como el n umero de ocurrencias del evento que se han observado hasta ese instante t. Esta es una denici on constructiva de este proceso y la formalizaremos a continuaci on. M as adelante enunciaremos otras deniciones axiom aticas equivalentes. Denici on 4.1 (Primera denici on) Sea T1 , T2 , . . . una sucesi on de variables aleatorias independientes cada una con distribuci on exp. El proceso de Poisson de par ametro es el proceso a tiempo continuo Xt : t 0 denido de la siguiente manera: Xt m ax n 1 : T1 Tn t.
Se postula adem as que el proceso inicia en cero y para ello se dene m ax 0. En palabras, la variable Xt es el entero n m aximo tal que T1 Tn es menor o igual a t, y ello equivale a contar el n umero de eventos ocurridos hasta el tiempo t. A este proceso se le llama proceso de Poisson homog eneo, tal adjetivo se reere a que el par ametro no cambia con el tiempo, es decir, es homog eneo en Xt el tiempo. Una trayectoria 3 t pica de este proceso puede observarse en la Figura 4.2, 2 la cual es no decreciente, 1 constante por partes, continua por la derecha y con t l mite por la izquierda. A W1 W2 W3 0 los tiempos T1 , T2 , . . . se les T1 T2 T3 T4 llama tiempos de estancia o tiempos de interarribo, Figura 4.2: El proceso de Poisson y los tiempos de ocurrencia de eventos. y corresponden a los tiempos que transcurren entre un salto del proceso y el siguiente salto. Hemos supuesto que estos tiempos son independientes y que todos tienen distribuci on exp. En consecuencia, T1 Tn tiene distribuci on gaman, . Esta variala variable Wn ble representa el tiempo real en el que se observa la ocurrencia del n- esimo evento. Observe la igualdad de eventos Xt n Wn t, esto equivale a decir que al tiempo t han ocurrido por lo menos n eventos si, y s olo si, el n- esimo evento ocurri o antes de t. Una de las caracter sticas sobresalientes
n 4.1. Definicio
117
de este proceso es que puede encontrarse expl citamente la distribuci on de probabilidad de la variable Xt para cualquier valor de t 0. La respuesta es la distribuci on Poisson, y de all el proceso adquiere su nombre. Proposici on 4.1 La variable Xt tiene distribuci on Poissont, es decir, para cualquier t 0, y para n 0, 1, . . . P Xt n et
tn .
n!
on de Demostraci on. Como Wn tiene distribuci on gaman, , su funci distribuci on es, para t 0, P Wn Entonces para cualquier t P Xt n t 1 et
1 n k 0
tk .
k! 0, 1, . . . n 1 t
0 y para cada n P Xt
P Wn t P Wn1 tk . et k!
n P Xt
Entonces, dado que Xt tiene una distribuci on Poissont, se tiene que t, y VarXt t. Por lo tanto t es el promedio de obserE Xt vaciones o registros del evento de inter es en el intervalo 0, t. As , mientras mayor es la longitud del intervalo de observaci on, mayor es el promedio de observaciones realizadas, y mayor tambi en la incertidumbre del n umero de observaciones. P erdida de memoria y sus consecuencias Una de las propiedades que caracterizan de manera u nica a la distribuci on exponencial dentro del conjunto de distribuciones absolutamente continuas es que satisface la propiedad de p erdida de memoria, esto es, si T tiene distribuci on exp, entonces para cualesquiera tiempos s, t 0 se cumple la igualdad P T t s T s P T t.
118
En otras palabras, condiYt Xt cionada al evento T s, 2 3 la variable T s sigue te1 2 niendo distribuci on exp. Esto signica que, para un t 1 valor de s 0 jo, tot dos los tiempos de interarris bo a partir de s, incluyendo Figura 4.3 el primero, siguen teniendo distribuci on exp, y por lo tanto el proceso de conteo de eventos a partir del tiempo s es un proceso de Poisson. La situaci on se muestra gr acamente en la Figura 4.3. Demostraremos a continuaci on que los incrementos de este proceso son estacionarios y tienen distribuci on Poisson. Proposici on 4.2 Para cualesquiera tiempos 0 P Xt Xs Demostraci on. P Xt Xs n P Xts n s t, y para n 0, 1, . . . (4.1)
ets
t sn .
n! k P Xs k.
Por el teorema de probabilidad total, n
k 0
P Xt Xs
n Xs
Nos concentraremos en analizar la probabilidad condicional indicada. Dado que al tiempo s el proceso de Poisson se encuentra en el nivel k, por la propiedad de p erdida de memoria podemos considerar que en ese momento reinicia el proceso de Poisson, y la probabilidad del evento Xt Xs n es igual a la probabilidad del evento Xts n. Por lo tanto, P Xt Xs n
k 0
P Xts n n .
n P Xs
k 0
k k
P Xts P Xts
P Xs
n 4.1. Definicio
119
Lo que hemos demostrado en la Proposici on 4.2 es que no solamente la variable Xt del proceso de Poisson tiene distribuci on Poissont, sino tambi en on Poisson, ahora con par ametro los incrementos Xt Xs tienen distribuci erdida de memoria pueden t s, cuando 0 s t. De la propiedad de p derivarse todas las propiedades del Proceso de Poisson, incluida la propiedad de Markov, la cual demostraremos a continuaci on. Proposici on 4.3 El proceso de Poisson Xt : t propiedades. a) Es un proceso de Markov. b) Tiene incrementos independientes. c) Tiene incrementos estacionarios. d) Para cualesquiera s, t transici on son P Xts Demostraci on. a) Considere las probabilidades condicionales P Xtn P Xtn xn Xt1 xn Xtn1 x1 , . . . , Xtn1 xn1 , xn1 , 0, y enteros 0 i i et j , las probabilidades de 0 satisface las siguientes
j Xs
tj i . j i!
(4.2)
para cualesquiera n tiempos 0 t1 t2 tn , y cualesquiera estados 0 x1 . . . xn . En ambos casos se establece que al tiempo tn1 ha habido es. A partir de ese momento inicia un xn1 ocurrencias del evento de inter nuevo proceso de Poisson y para que al tiempo tn hayan xn ocurrencias es necesario que en el intervalo de tiempo tn1 , tn hayan ocurrido xn xn1 eventos. Ambas probabilidades coinciden entonces con la probabilidad P Xtn Xtn1 xn xn1 y ello demuestra la propiedad de Markov. b) Considere cualesquiera n tiempos 0 t1 t2 tn , y cualesquiera estados x1 , . . . , xn . Por comodidad llamaremos sn a la suma x1 xn ,
120
para cada n 1. Por la propiedad de Markov y despu es por la propiedad de p erdida de memoria, la probabilidad conjunta P Xt1 es igual a P Xt1 P Xt1 P Xt1 s1 , Xt2 s1 P Xt2 s2 , . . . , Xtn sn s1 P Xtn sn1 x1 , Xt2
Xt
x2 , . . . , Xtn
Xt
n 1
xn
x1 P Xt2
Xt
s2 Xt1
1
x2 P Xtn
sn Xtn1 Xtn1 xn.
Las propiedades c), y d) son consecuencia inmediata de (4.1). La estacionariedad de los incrementos signica que la distribuci on de la variable Xt Xs , s t, depende de s y de t u nicamente a trav es de la diferencia para 0 t s, lo cual es evidente de (4.1). La expresi on (4.2) establece de manera clara que las probabilidades de transici on son estacionarias en el tiempo, es decir, no dependen del par ametro s, en es interesante observar y se escriben simplemente como pij t. Pero tambi que (4.2) dice que estas probabilidades son estacionarias en el espacio, es decir, dependen de los estados i y j u nicamente a trav es de la diferencia j i. En s mbolos, para j i, pij t p0,j i t.
Ejemplo 4.1 (Paradoja del autob us) Suponga que la llegada de autobuses a una estaci on se modela mediante un proceso de Poisson de par ametro , es decir, el tiempo que transcurre entre la llegada de un autob us y el siguiente es una variable aleatoria con distribuci on exp. Suponga que el tiempo es medido en minutos. La propiedad de p erdida de memoria en este contexto puede interpretarse de la siguiente forma: una persona ha llegado a la estaci on y ha esperado s minutos sin que un autob us aparezca. La probabilidad de que tenga que esperar m as de t minutos adicionales es la misma que la probabilidad de espera de m as de t minutos para una persona que acaba de llegar a la estaci on! ametro y sea Ejemplo 4.2 Sea Xt : t 0 un proceso de Poisson de par S una variable aleatoria continua con soporte el intervalo 0, e independiente del proceso de Poisson. Entonces para cualquier t 0, el incremento
n 4.1. Definicio
121
XS t Xt tiene distribuci on Poissont. En efecto, para cualquier entero k 0, y suponiendo que F s es la funci on de distribuci on de la variable S , P XS t Xt k

0
P XS t Xt P Xst Xs P Xt
k S
s dF s
0
0
k dF s
P Xt
k.
k dF s
En el siguiente ejemplo haremos uso de este peque no resultado. Ejemplo 4.3 (La suma de dos procesos de Poisson independientes es un proceso de Poisson) Sean Xt : t 0 y Yt : t 0 dos procesos de Poisson independientes de par ametros 1 y 2 respectivamente. Demostraremos que el proceso suma Xt Yt : t 0 es un proceso de Poisson de par ametro 1 2 . Denotaremos por T1 , T2 , . . . a los tiempos de interarribo del proceso suma. La forma en la que se obtienen estos tiempos se muestra en la Figura 4.4. Demostraremos que estas variables aleatorias son independientes con id entica distribuci on exp1 2 .
Xt Yt Xt Yt
Figura 4.4: Suma de dos procesos de Poisson. En el siguiente an alisis el t ermino Xs,t denotar a la diferencia Xt Xs , para 0 s t. Entonces para cualquier valor natural de n y para cualesquiera tiempos t1 , . . . , tn , el evento T1 t1 , T2 t2 , . . . , Tn tn puede expresarse como
X Y 0,t
1
0, X
Y T ,T t
1 1 2
0, . . . , X
Y T ,T t
n 1 n 1 n
0,
122 esto es,
X0,t 0 Y0,t 0 XT ,T t 0 YT ,T t 0 XT ,T t 0 YT ,T t
1 1 1 1 2 1 1 2 n 1 n 1 n n 1 n 1 n
0.
Por la independencia de los procesos, la propiedad de incrementos independientes de cada uno de ellos, y el resultado del Ejemplo 4.2, la probabilidad de este evento es P XT1 ,T1 t2
n 1
P X0,t1
0 P Y0,t1
P XT ,T t
n 1 n
0 P YT1 ,T1 t2
0 0.
0 P YTn1 ,Tn1 tn e1 2 t1 e1 2 t2
Por lo tanto, P T1 t1 , T2 t2 , . . . , Tn tn
e t
1 2
Esta identidad demuestra que las variables T1 , T2 , . . . , Tn son independientes con id entica distribuci on exp1 2 . Distribuciones asociadas al proceso de Poisson Adem as de las distribuciones exponencial y gama ya mencionadas, existen otras distribuciones de probabilidad que surgen al estudiar ciertas caracter sticas del proceso de Poisson. Por ejemplo, el siguiente resultado establece una forma de obtener la distribuci on binomial a partir del proceso de Poisson. Suponga que durante el intervalo de tiempo 0, t se han obsern ha vado n ocurrencias del evento de inter es, es decir, el evento Xt ocurrido. La pregunta es, cu antos de estos eventos ocurrieron en el subintervalo 0, s? Demostraremos a continuaci on que esta variable aleatoria tiene distribuci on binomialn, st. Proposici on 4.4 Sean s y t tiempos tales que 0 enteros tales que 0 k n. Entonces P Xs k Xt n

t, y sean k y n
n k
s k 1 nk . s t t
n 4.1. Definicio Demostraci on. P Xs Por la denici on de probabilidad condicional, k Xt n P Xt n Xs k P Xs P Xt n k .
123
Substituyendo estas probabilidades y simplicando se obtiene el resultado.
Recordando que la suma de dos procesos de Poisson independientes es nuevamente un proceso de Poisson, se puede comprobar f acilmente el siguiente resultado. Proposici on 4.5 Sean X1 t y X2 t dos procesos de Poisson independientes con par ametros 1 y 2 respectivamente, y sean k y n enteros tales que 0 k n. Entonces P X1 t k X1 t X2 t n

n k
1 1 k 1 nk . 1 2 1 2
Demostraci on. P X1 t
Por la hip otesis de independencia entre los procesos, P X1 t P X1 t P X1 t k, X1 t X2 t k, X2 t k P X2 t n nP X1 t X2 t n n.
k X1 t X2 t
n kP X1 t X2 t
n kP X1 t X2 t
Substituyendo estas probabilidades se obtiene el resultado. Proposici on 4.6 Dado el evento Xt n, el vector de tiempos reales W1, . . . , Wn tiene la misma distribuci on que el vector de las estad sticas de on orden Y1 , . . . , Yn de una muestra aleatoria Y1 , . . . , Yn de la distribuci uniforme en el intervalo 0, t, es decir, fW1,...,Wn Xt w1 , . . . , wn n
n!
tn 0
si 0
w1
wn
t,
otro caso.
124
Demostraci on. La f ormula general para la funci on de densidad conjunta de las estad sticas de orden Y1 , . . . , Yn de una muestra aleatoria Y1 , . . . , Yn de una distribuci on con funci on de densidad f y es, para y1 yn , fY1 ,...,Yn y1 , . . . , yn n! f y1 f yn .
Cuando la funci on de densidad f y es la uniforme en el intervalo 0, t, esta funci on de densidad conjunta es la que aparece en el enunciado. Demostraremos que la distribuci on conjunta de las variables W1 , . . . , Wn , condicionada en tiene esta misma funci on de densidad. Usaremos al evento Xt n tambi nuevamente la identidad de eventos Xt n Wn t. Para tiempos on de densidad conjunta condicional 0 w1 wn t, la funci fW1 ,...,Wn Xt w1 , . . . , wn n se puede obtener a trav es de las siguientes derivadas
n
w1 wn
n n
P W1
w1 , W2 1, Xw2
w2 , . . . , W n 2, . . . , Xwn
wn Xt n Xt
n n
w1 wn
P Xw1
P Xt Xwn 0, Xwn Xwn1 1, . . . w1 wn . . . , Xw2 Xw1 1, Xw1 1P Xt n

n
ew w w2 w1 ew w1 et tn n! n n! wn wn1 w2 w1 w1 tn w1 wn n!tn . Observe que bajo el signo de derivada, la probabilidad del evento Xw 1, Xw 2, . . . , Xw n, Xt n, que aparece en la primera igualdad, es id entica a la probabilidad de Xt Xw 0, Xw Xw 1, . . . , Xw Xw 1, Xw 1, pues si alguna de estas identidades (exceptuando la
2 1 1 1 2 n n n n 1 2 1 1
w1 wn
etwn ewn wn1 wn wn1
primera) fuera distinta de uno, la derivada se anula. Observa adem as para la u ltima igualdad que es preferible llevar a cabo la derivaci on en el orden
4.2. Definiciones alternativas
125
indicado, pues de esa forma las expresiones en par entesis van desapareciendo sucesivamente. La f ormula anterior nos provee de un mecanismo para obtener simulaciones por computadora de las trayectorias del proceso Poisson. El procedimiento es el siguiente: se ja un valor t y se asigna un valor para . Se genera un valor al azar de la variable Xt con distribuci on Poissont. Suponga que n. A continuaci on se generan n valores u1 , . . . , un de la distribuci on Xt unif0, t, y se ordenan estos valores de menor a mayor: u1 un . Estos son los tiempos en donde la trayectoria tiene saltos. De esta forma pueden obtenerse trayectorias como la que se muestra en la Figura 4.2.
4.2.
Deniciones alternativas
La Denici on 4.1 de proceso de Poisson es constructiva pues a partir de los tiempos de interarribo se construye el proceso de conteo correspondiente. Existen otras formas equivalentes y un tanto axiom aticas de denir a este proceso. Revisaremos y comentaremos a continuaci on dos de ellas. Una de las ventajas de contar con estas deniciones alternativas es que para demostrar que un cierto proceso es de Poisson se puede tomar cualquiera de las deniciones a conveniencia. Denici on 4.2 (Segunda denici on) Un proceso de Poisson de par ametro 0 es un proceso a tiempo continuo Xt : t 0, con espacio de estados 0, 1, . . . , y que cumple las siguientes propiedades: a) X0 0. 0, y cuando h 1 2 h oh. oh. 0, b) Tiene incrementos independientes y estacionarios. c) Para cualquier t ii) P Xth Xt i) P Xth Xt
Esta denici on hace uso de las probabilidades innitesimales del proceso y ello tiene algunas ventajas desde el punto de vista de la interpretaci on de lo que sucede en un intervalo innitesimal de tiempo t, t h. El proceso empieza en cero y por el tercer postulado la probabilidad de que pase al
126
estado uno al nal de un intervalo de tiempo peque no 0, h es h oh, la probabilidad de que el proceso no tenga ning un cambio en dicho intervalo es 1 h oh, y nalmente la probabilidad de que el proceso tenga dos o m as incrementos en tal intervalo es oh. Es decir, en un intervalo cualquiera de longitud innitesimal h s olo pueden ocurrir dos situaciones: que haya un incremento o que no lo haya. Ejemplo 4.4 Demostraremos que la variable Xts Xs tiene distribuci on on 4.2. Se dene pn t Poissont a partir de los postulados de la Denici P Xt n y se considera cualquier h 0. Denotaremos por pn t, t h a la probabilidad P Xth Xt n. Por la hip otesis de independencia, para 0, t 0 y cuando h p0 t h Haciendo h p0 t p0 t, t h p0 t 1 h oh.
cuya soluci on es p0 t c et , en donde la constante c es uno por la condici on inicial p0 0 1. Ahora encontraremos pn t para n 1. Nuevamente por independencia, pn t h Haciendo h pn t p0 t, t h pn1 t p1 t, t h oh 0 se obtiene pn t pn t 1 h oh pn1 t h oh oh.
0 se obtiene la ecuaci on diferencial p0 t p0 t,
con condici on inicial pn 0 0 para n 1. Deniendo qn t et pn t la ecuaci on diferencial se transforma en qn t qn1 t, con condiciones qn 0 0 y q0 t 1. Esta ecuaci on se resuelve iterativamente primero para es para q2 t, y as sucesivamente, en general qn t tn n! q1 t, despu Por lo tanto, pn t et tn n! Esto signica que Xt tiene distribuci on Poissont. Debido al postulado de incrementos estacionarios, la variable Xts Xs tiene la misma distribuci on que Xt .
pnt pn1t,
4.2. Definiciones alternativas
127
Denici on 4.3 (Tercera denici on) Un proceso de Poisson de par ametro 0 es un proceso a tiempo continuo Xt : t 0 con espacio de estados 0, 1, . . ., con trayectorias no decrecientes y que cumple las siguientes propiedades: a) X0 0. 0, t 0. b) Tiene incrementos independientes. c) Xts Xs Poissont, para cualesquiera s
Esta es posiblemente la denici on del proceso de Poisson que con m as frecuencia se puede encontrar en las referencias. A partir de ella inmediatamente sabemos que la variable Xt tiene distribuci on Poissont. La independencia de los incrementos es expl cita, y la estacionariedad de los mismos aparece de manera impl cita en el tercer postulado. Para demostrar la equivalencia con la denici on 4.1, el reto consiste en denir los tiempos de interarribo y demostrar que estos son variables aleatorias independientes con distribuci on exponencial. Proposici on 4.7 Las deniciones del proceso de Poisson 4.1, 4.2 y 4.3 son equivalentes.
Def. 4.3. El Demostraci on. Hemos demostrado que Def. 4.2 rec proco es inmediato, pues la propiedad de incrementos independientes y estacionarios aparecen en ambas deniciones, y para cualquier t 0 y h 0,
P Xth Xt 1 1 P Xth Xt 1 eh 1 1 h oh h oh. An alogamente P Xth Xt 2 1 P Xth Xt oh. 1 eh eh h 0 P Xth Xt 1 0
1 1 h oh h oh
128
Estos c alculos y lo desarrollado antes demuestran que Def. 4.2 Def. 4.3. Tambi en antes hemos demostrado que Def. 4.1 Def. 4.3. Para deDef. 4.1 es necesario comprobar que los tiempos mostrar Def. 4.3 de interarribo T1 , T2 , . . . son independientes con distribuci on exp. Daremos una demostraci on no completamente rigurosa de este resultado. Sean 0 tiempos cualesquiera y sean t1 , . . . , tn las longitudes que t1 , . . . , tn se muestran en la Figura 4.5.
t1 0
t1
t2
t2
tn
tn
Figura 4.5 La probabilidad de que T1 tome un valor en el intervalo t1 , T2 tome un valor en el intervalo t2 , y as sucesivamente es fT1 ,...,Tn t1 , . . . , tn t1 tn
1 1 1 2
et et t1 et et t2 et et et et et t1 tn et t
2 2 n n 1 n
t n
Al hacer t1 , . . . , tn
0 se obtiene et1 et2 etn .
fT1 ,...,Tn t1 , . . . , tn
Esto demuestra que las variables T1 , . . . , Tn son independientes y cada una de ellas tiene distribuci on exp. En conjunto esto demuestra que
Denici on 4.1 Denici on 4.3 Denici on 4.2.

Observe que la pregunta acerca de la existencia de un proceso estoc astico que cumpla los postulados de las Deniciones 4.2 o 4.3 queda resuelta al vericar la equivalencia de tales postulados con la denici on constructiva 4.1. Presentaremos a continuaci on algunas generalizaciones del proceso de Poisson. Una de tales generalizaciones que estudiaremos con mayor detalle en un cap tulo m as adelante es aquella en la que se considera que las variables
4.3. Proceso de Poisson no homog eneo
129
de interarribo no son necesariamente exponenciales, en tal caso se pierde la propiedad de Markov del proceso. A este tipo de procesos se les llama procesos de renovaci on.
4.3.
Proceso de Poisson no homog eneo
Se considera ahora que el par ametro del proceso de Poisson no es necesariamente una constante sino una funci on del tiempo. A veces a este proceso se le llama tambi en proceso de Poisson con par ametro dependiente del tiempo. Este modelo puede ser naturalmente m as adecuado para algunas situaciones reales aunque deja de cumplir la propiedad de Markov. Denici on 4.4 Un proceso de Poisson no homog eneo es un proceso a tiemametro po continuo Xt : t 0, con espacio de estados 0, 1, . . . , con par la funci on positiva y localmente integrable t, y que cumple las siguientes propiedades: a) X0 0. b) Los incrementos son independientes. c) Para cualquier t 0, y cuando h 0, ii) P Xth Xt i) P Xth Xt 1 2 t h oh. oh.
Comparando esta denici on con la Denici on 4.2 de proceso de Poisson se observa mucha similaridad excepto por dos aspectos: en lugar de la constante se escribe ahora la funci on t, y la hip otesis de incrementos estacionarios ya no aparece. Ello es consecuencia de que el par ametro var a con el tiempo, generalmente de manera decreciente. Es decir, la distribuci on de probabilion dad de la variable incremento Xts Xs depende de los valores de la funci en el intervalo s, s t. Sin embargo, y en completa analog a con el caso homog eneo, la variable Xt contin ua teniendo distribuci on Poisson, como a continuaci on demostraremos. Proposici on 4.8 La variable Xt en un proceso de Poisson no homog eneo on Poissont, en donde se dene de par ametro t tiene distribuci t
t
0
s ds,
130 es decir, para n 0, 1, . . . P Xt n et
tn .
n!
Demostraci on. La prueba es an aloga a una de las realizadas en el caso homog eneo. Se dene nuevamente pn t P Xt n y se considera cualquier n. h 0. Denotaremos por pn t, t h a la probabilidad P Xth Xt Por la hip otesis de independencia, para t 0 y cuando h 0, p0 t h p0 t p0 t, t h p0 t 1 th oh.
Calculando la derivada se obtiene la ecuaci on diferencial p0 t t p0 t, c et , en donde la constante c es uno debido a cuya soluci on es p0 t la condici on inicial p0 0 1. Ahora encontraremos pn t para n 1. Nuevamente por independencia,
pn t h pn t p0 t, t h pn1 t p1 t, t h oh pn t 1 th oh pn1 t th oh oh.
on inicial pn 0 0 Entonces pn t t pn t t pn1 t, con condici t 1. Deniendo qn t e pn t la ecuaci on diferencial se transpara n forma en qn t t qn1 t, con condiciones qn 0 0 y q0 t 1. Esta es para q2 t, y ecuaci on se resuelve iterativamente primero para q1 t, despu as sucesivamente, en general qn t tn n! y de aqu se obtiene pn t.
Las trayectorias de un proceso de Poisson no homog eneo son semejantes a las trayectorias de un proceso de Poisson, es decir, son trayectorias no decrecientes y con saltos unitarios hacia arriba, pero la frecuencia promedio con la que aparecen los saltos cambia a lo largo del tiempo. De manera an aloga al caso homog eneo, los incrementos de este proceso tambi en tienen distribuci on Poisson. Proposici on 4.9 Para el proceso de Poisson no homog eneo, la variable on Poissont s s. incremento Xts Xs tiene distribuci
4.3. Proceso de Poisson no homog eneo
131
Demostraci on. Se escribe Xts Xs Xts Xs , en donde, por el axioma de incrementos independientes, en el lado derecho aparece la suma de dos variables aleatorias independientes. Recordando que la funci on generadora de momentos de la distribuci on Poisson es M r exp er 1, al aplicar este resultado a la ecuaci on anterior se obtiene
1 MX X r. Por lo tanto, MX X r exp t s s er 1. Si la funci on t es constante igual a , entonces t t, y se recupera el proceso de Poisson homog eneo. Cuando t es continua, t es diferenciable y por lo tanto t t. A la funci on t se le llama funci on de on de valor medio. A un proceso intensidad y a t se le conoce como funci de Poisson no homog eneo en donde t : t 0 es un proceso estoc astico
t s s t s s
exp t s er 1
exp s er
se le llama proceso de Cox. El siguiente resultado establece que bajo una transformaci on del par ametro tiempo, un proceso de Poisson no homog eneo puede ser llevado a un proceso de Poisson homog eneo de par ametro uno. Antes de demostrar este resultado t es positiva, la funci on de intensiobservemos que como la funci on t dad t es continua y no decreciente, y en general no es invertible. Puede denirse, sin embargo, la inversa por la derecha 1 t nf u 0 : u t,
que cumple la identidad 1 t creciente.
t, y que es una funci on continua y
Proposici on 4.10 Sea Xt : t 0 un proceso de Poisson no homog eneo t on de intensidad t de par ametro t, y funci 0 s ds. Dena la funci on 1 t nf u 0 : u t. Entonces el proceso X1 t : t de par ametro 1. 0 es un proceso de Poisson homog eneo
Demostraci on. Usaremos la Denici on 4.3 del proceso de Poisson. El proceso X1 t : t 0 empieza en cero y tiene incrementos independient1 t2 tn , tes, pues si se consideran cualesquiera tiempos 0
132
bajo la funci on creciente 1 t estos tiempos se transforman en una nueva colecci on mon otona de tiempos 0 1 t1 1 t2
1 tn .
Por lo tanto las siguientes variables son independientes X1 t1 , X1 t2 X1 t1 , . . . , X1 tn X1 tn1 Finalmente, para cualesquiera tiempos s, t 0 el incremento X1 ts X1 s tiene distribuci on Poisson de par ametro 1 t s 1 s
t s s
t.
Pueden denirse los tiempos de interarribo T1 , T2 , . . ., y los tiempos de saltos W1 , W2 , . . . para un proceso de Poisson no homog eneo de manera an aloga al caso homog eneo. Por hip otesis los incrementos de este proceso son indeon del pendientes, sin embargo, debido a que el par ametro t es una funci tiempo, los tiempos de interarribo T1 , T2 , . . . no son independientes pues, por ejemplo, T2 depende de t para valores de t mayores a T1 . Y por las mismas razones las distribuciones de estas variables no son id enticas.
4.4.
Proceso de Poisson compuesto
Esta es una de las generalizaciones del proceso de Poisson m as conocidas y de amplia aplicaci on. La generalizaci on consiste en que ahora los saltos ya no son necesariamente unitarios. Denici on 4.5 Sea Nt : t 0 un proceso de Poisson y sea Y1 , Y2 , . . . una sucesi on de variables aleatorias independientes, id enticamente distribuidas 0. El proceso de Poisson e independientes del proceso Poisson. Sea Y0 compuesto se dene de la siguiente forma: Xt
Nt n 0
Yn .
(4.3)
4.4. Proceso de Poisson compuesto
133
Observe que la variable Xt del proceso de Poisson compuesto es una suma de variables aleatorias en donde el n umero de sumandos es aleatorio. Tal tipo de modelos encuentra aplicaci on natural en distintos contextos. Por ejemplo, la variable Xt puede interpretarse como el monto total de reclamaciones recibidas por una compa n a aseguradora al tiempo t. El proceso de Poisson determina el n umero de siniestros o reclamaciones efectuadas hasta un momento cualquiera. La variable Yn representa el mon0, para n 1. to de la n- esima reclamaci on y es natural suponer Yn En la Figura 4.6 se muestra una trayectoria de este proceso y en el Xt siguiente resultado se presentan algunas de sus propiedades b asicas. Y3 Este proceso es un ejemplo de proY2 ceso de Markov a tiempo continuo Y1 como los que estudiaremos en el sit guiente cap tulo. Cuando las variables Y1 , Y2 , . . . toman valores en el Figura 4.6 conjunto 1, 2, . . . se dice que este proceso es un proceso de Poisson generalizado, pues los saltos ya no son necesariamente unitarios. Observe que si las variables Y1 , Y2 , . . . son todas id enticamente uno, el proceso de Poisson compuesto se reduce al proceso de Poisson. Proposici on 4.11 El proceso de Poisson compuesto (4.3) cumple las siguientes propiedades: 1. Tiene incrementos independientes y estacionarios. 2. E Xt 3. VarXt t E Y . t E Y 2 .
4. CovXt , Xs
E Y 2 m ns, t. E euXt exp t MY u 1 .
5. La funci on generadora de momentos de la variable Xt es MXt u
Estos resultados se obtienen condicionando sobre el valor de Nt . En el ejercicio 135 se pide dar los detalles de estas demostraciones.
134
4.5.
Proceso de Poisson mixto
En esta generalizaci on del proceso de Poisson se considera que el par ametro no es constante sino una variable aleatoria. Denici on 4.6 Sea una variable aleatoria positiva con funci on de distribuci on F . Se dice que el proceso de conteo Xt : t 0 es un proceso 1, y de Poisson mixto con variable mezclante si para cada entero n cada sucesi on de enteros no negativos k1 , . . . , kn , y cualesquiera tiempos 0 a1 b1 a2 b2 an bn se cumple la igualdad P Xb1
Xa
k1 , Xb2
Xa k2 , . . . , Xb Xa kn n bi aik eb a dF .
2 n n i i i
i 1
ki !
(4.4)
Cuando la variable aleatoria mezclante es constante e igual a , el proceso de Poisson mixto se reduce al proceso de Poisson. Proposici on 4.12 El proceso de Poisson mixto cumple las siguientes propiedades. 1. Tiene incrementos estacionarios. 2. En general los incrementos no son independientes. Lo son en el caso del proceso de Poisson. 3. E Xt 4. VarXt t E . t2 Var t E . st Var, s, t 0.
5. CovXt , Xts Xt
Estas propiedades se obtienen condicionando sobre el valor de la variable aleatoria y sus demostraciones se dejan como ejercicio al lector. Notas y referencias. El estudio del proceso de Poisson generalmente se incluye en los cursos elementales de procesos estoc asticos. La mayor a de los textos sobre procesos estoc asticos que aparecen en la bibliograf a cuentan por lo menos con una secci on sobre este tema. Algunos textos espec cos que dedican un cap tulo entero para el proceso de Poisson y que el lector puede
4.6. Ejercicios
135
consultar para profundizar en el tema son: Basu [1], Jones y Smith [15], y Taylor y Karlin [35]. El lector puede encontrar otros resultados generales sobre el proceso de Poisson en el cap tulo sobre procesos de renovaci on, en el caso particular cuando los tiempos de interarribo son exponenciales.
4.6.
Ejercicios
Proceso de Poisson
103. Los clientes de una tienda entran al establecimiento de acuerdo a un proceso de Poisson Xt : t 0 de par ametro 4. Calcule: a) P X2 c) P X1 b) P X1 1. 3, X2 0 X3 6. e) P X2 d) P X2 3. 4 X1 2. 2.
4.
f) P X1
4 X1
104. Los pasajeros llegan a una parada de autob us de acuerdo a un proceso de Poisson Xt : t 0 de par ametro 2. Sea el momento en el que llega el primer autob us. Suponga que es una variable aleatoria con distribuci on unif0, 1 e independiente del proceso de Poisson. Calcule: b) E X . a) E X t .
2 c) E X
d) VarX .
t.
105. Sea Xt : t 0 un proceso de Poisson de par ametro el instante en el que ocurre el n- esimo evento. Calcule: a) E X5 . b) E X5 X2 c) E W2 . 1. e) E W7 W5 f) E W7 . d) E W7 X2 3. 4.
2. Sea Wn
106. Simulaci on de la distribuci on exponencial. Demuestre que si X es una variable aleatoria con distribuci on unif0, 1, entonces la variable
136
4. El proceso de Poisson aleatoria Y 1 ln1 X tiene distribuci on exp. Este resultado puede ser usado para generar valores de la distribuci on exp a partir de valores de la distribuci on unif0, 1.
107. Simulaci on de la distribuci on Poisson. Sea T1 , T2 , . . . una sucesi on de variables aleatorias independientes con id entica distribuci on exp. Dena la variable aleatoria N de la siguiente forma: N 0 k si T1 1, si T1 Tk 1 T1 Tk1 .
Demuestre que N tiene distribuci on Poisson. Este resultado puede ser usado para obtener valores de la distribuci on Poisson. 108. Sean T1 , . . . , Tn variables aleatorias independientes cada una con disT1 Tn tiene tribuci on exp. Demuestre que la suma Wn on de distribudistribuci on gaman, y que la correspondiente funci ci on puede escribirse de la siguiente forma: para cada t 0, P W n t
k n
et
tk .
k!
ametro 1, e indepen109. Sea Xt : t 0 un proceso de Poisson de par diente de una variable aleatoria con distribuci on exp con 1. Dena el proceso Yt Xt . Demuestre los siguientes dos resultados y concluya que las variables Yt y Yts Yt no son independientes. 1 t n , para n 0, 1, . . . a) P Yt n 1t 1t nm n m 1 b) P Yt n, Yts n m t s nm1 . n 1ts 0 un proceso de Poisson de par ametro . Demuestre 110. Sea Xt : t los siguientes resultados de manera sucesiva. b) P W1 a) W1 t1 , W2 t1 , W2 t2 t2
Xt
et1
c) fW1 ,W2 t1 , t2
2 et2 , para 0
Xt 0 o 1. 1 t2 t1 et t .
0, Xt2
1 2 1
t1
t2 .
4.6. Ejercicios d) fW1 t1 e) fW2 t2 et1 . 2 t1 et1 . W1 y T2 W2 W1 son independientes.
137
f) Las variables T1
111. Sea Xt : t 0 proceso de Poisson de par ametro . Sean s y t dos tiempos tales que 0 s t. Demuestre que: b) P Xs a) P Xs 0, Xt Xt ets . 1 t set .
112. Para un proceso de Poisson Xt : t 0 de par ametro demuestre que ns, t. CovXt , Xs m 113. Las funciones seno y coseno hiperb olico se denen de la siguiente forma:
que:
ex ex 2, ex ex 2. y coshx Para un proceso de Poisson Xt : t 0 de par ametro demuestre

senhx b) P Xt sea par et cosht. et senht.
a) P Xt sea impar
114. Sea Xt : t 0 un proceso de Poisson de par ametro , y sea s 0 Xts Xs : t 0 un tiempo jo. Demuestre que el proceso Yt tambi en es un proceso de Poisson de par ametro . En la Figura 4.3 en la p agina 118 se ilustra gr acamente la denici on de este nuevo proceso. 115. Sea Xt : t que: 0 un proceso de Poisson de par ametro . Demuestre
138 a) fW1 ,W2 w1 , w2 b) fW1 c) fW2 2 ew2 0 1w2 0 si 0
4. El proceso de Poisson w1 w2 ,
otro caso. si w1
W2
w1
w2 w1
0, w2 ,
si w2
otro caso.
W1
w2
ew2 w1 0
w1 , ,
otro caso.
0 un proceso de Poisson de par ametro . Sea T una 116. Sea Xt : t variable aleatoria con distribuci on exp e independiente del proceso de Poisson. Encuentre la funci on de densidad de la variable XT . 0 un proceso de Poisson de par ametro . Sean r y n 117. Sea Xt : t dos enteros tales que 1 r n, y sea t 0. Suponga que el evento Xt n ocurre. Encuentre la densidad condicional de Wr . 118. Sean X1 t : t 0 y X2 t : t 0 dos procesos de Poisson independientes con par ametros 1 y 2 respectivamente. Calcule la probabilidad de que: b) X1 t a) X1 t 1 antes que X2 t 2 antes que X2 t 1. 2.
119. Suponga que un cierto aparato el ectrico sufre desperfectos a lo largo del tiempo de acuerdo a un proceso de Poisson de par ametro . Suponga que cada vez que el aparato se descompone es enviado a reparaci on y despu es es puesto en funcionamiento nuevamente. Suponga adem as que el aparato se reemplaza completamente por uno nuevo cuando el tiempo que transcurre entre dos descomposturas sucesivas es menor o igual a una cierta constante a 0, incluyendo el tiempo antes de la primera reparaci on. Encuentre la funci on de densidad del a) Tiempo de vida u til del equipo antes de ser reemplazado. b) N umero de reparaciones antes de realizar el reemplazo. 120. Suponga que un cierto circuito recibe impulsos el ectricos de acuerdo a un proceso de Poisson de par ametro . Suponga adem as que el circuito
4.6. Ejercicios
139
se descompone al recibir el k- esimo impulso. Encuentre la funci on de densidad del tiempo de vida del circuito. 121. Sean Xt : t 0, . . . , Xt : t 0 procesos de Poisson independientes, todos de par ametro . Encuentre la distribuci on de probabilidad del primer momento en el cual: a) Ha ocurrido en cada uno de los procesos al menos un evento. b) Ocurre el primer evento en cualquiera de los procesos. 122. Sean Xt : t 0 y Xt : t 0 dos procesos de Poisson independientes con par ametros 1 y 2 , respectivamente. Sea n cualquier n umero natural, y dena el tiempo aleatorio Demuestre que X para k 0, 1, . . . P X 2
nf t
0 : Xt
n.
2 tiene distribuci on binomial negativa, es decir,
nk1 k
1 2
1 2
123. Sea Xt : t 0 un proceso de Poisson de par ametro , y sea a 0 una constante. Demuestre que Xat : t 0 es un proceso de Poisson de par ametro a. 124. Sea Xt : t 0 un proceso de Poisson de par ametro . Demuestre que, condicionado a que el proceso tiene exactamente un salto en el intervalo s, s t, el momento en el que ese salto ocurre se distribuye de manera uniforme en dicho intervalo. 125. Suponga que los mensajes llegan a una cierta cuenta de correo electr onico de acuerdo a un proceso de Poisson de par ametro . Cada mensaje recibido es de tipo basura con probabilidad y no basura con probabilidad 1 . a) Dado que hasta el tiempo t ha llegado n mensajes, encuentre la distribuci on del n umero de mensajes tipo basura que hasta ese momento han llegado.
140
4. El proceso de Poisson b) Suponiendo que se recibe un mensaje tipo basura en alg un momento, encuentre la distribuci on del n umero total de mensajes recibidos hasta la llegada del siguiente mensaje tipo basura. c) Encuentre la probabilidad de que al tiempo t hayan llegado mas mensajes tipo basura que no basura.
126. Sean T1 , T2 , . . . los tiempos de interarribo de un proceso de Poisson de par ametro , y sea c una constante positiva. Dena N m n n 1 : Tn c. Calcule E WN 1 c. 127. Suma de procesos de Poisson. Usando la Denici on 4.3, demuestre que la suma de dos procesos de Poisson independientes es nuevamente un proceso de Poisson. 128. Procesos de Poisson marcados. Sean 0 W1 W2 los momentos en los que un proceso de Poisson Xt : t 0 tiene saltos, y sea Y1 , Y2 , . . . una sucesi on de v.a.i.i.d. e independientes del proceso de Poisson. Al proceso W1 , Y1 , W2 , Y2 , . . . se le llama proceso de Poisson marcado. Considere el caso particular cuando las v.a.s Y tienen distribuci on com un Berp y dena los procesos: X0 t y X1 t
Xt
1 Yk
Yk .
k 1 Xt k 1
Demuestre que los procesos X0 t : t 0 y X1 t : t 0 son procesos de Poisson y que para cada t 0, las variables X0 t y X1 t son independientes. Nota: se dene b 0 cuando a b. a 129. Sea Xt : t 0 un proceso de Poisson de par ametro . Suponga que cada evento registrado es de tipo 1 con probabilidad , o de tipo 2 1 con probabilidad 1 . Sea Xt el n umero de eventos del tipo 1 al 2 tiempo t, y sea Xt lo correspondiente a eventos del tipo 2. Estos son ejemplos de los as llamados procesos de Poisson marcados. a) Demuestre que Xt : t 0 y Xt : t 0 son procesos de Poisson de par ametros y 1 respectivamente.
4.6. Ejercicios b) Demuestre que para cada t 2 Xt son independientes. 0 las variables aleatorias Xt
141
1 y
Distribuciones asociadas al proceso de Poisson 130. Sea t0 un tiempo positivo jo y suponga que hasta ese momento se ha observado un solo evento de un proceso de Poisson, es decir, Xt0 1. La pregunta es cu ando ocurri o tal evento? Demuestre que, condicionado al evento Xt0 1, la distribuci on del momento en el que se ha registrado el evento es uniforme en el intervalo 0, t0 . 131. Sea Xt : t 0 un proceso Poisson de tasa y sean dos tiempos s t. Dena la variable Xs,t como el n umero de eventos del 0 proceso de Poisson que ocurren en el intervalo s, t. Demuestre que, condicionada a la ocurrencia del evento Xt n, la variable Xs,t tiene distribuci on binomialn, 1 st.
132. Sea Xt : t 0 un proceso de Poisson de par ametro . Suponga que para un tiempo jo t 0 se observa el evento Xt n, con n 1. a) Demuestre que la funci on de densidad del momento en el que k n, condicionada al evento ocurre el k- esimo evento 1 Xt n, es la siguiente: para s 0, t, fWk
X s n
t
n k s k1 s nk . 1 t k t t
b) Demuestre que la funci on de densidad condicional del cociente Wk t, dado el evento Xt n, es la densidad betak, n k 1. c) Encuentre nuevamente la funci on de densidad gamak, de la variable Wk efectuando la siguiente suma
n k
fWk
Xt
s n P Xt
n.
133. Sea Xt : t 0 un proceso de Poisson de par ametro , y sean s1 , s2 s2 t. Demuestre que, condicionada y t tiempos tales que 0 s1 al evento Xt n, la variable Xs2 Xs1 tiene distribuci on binn, p con p s2 s1 t.
142 Proceso de Poisson no homog eneo
134. Sea Xt : t 0 un proceso Poisson no homog eneo de intensidad t, sean T1 , T2 , . . . los tiempos de interarribo, y sean W1 , W2 , . . . los tiempos reales de ocurrencia. Demuestre que para cualquier t 0, b) fT2 T1 t s c) fT2 t d) fWn t e) FTk f) FTk a) fT1 t et t. etss t s.
ets t s s ds.
tn1 t. n 1! 1 etss . W t s sk2 s ds, t 1 ets k 2! 0

et
k 1
2.
Proceso de Poisson compuesto 135. Demuestre las propiedades del proceso Poisson compuesto que aparecen en la Proposici on 4.11. 136. Suponga que las variables Y1 , Y2 , . . . en un proceso de Poisson compuesto tienen distribuci on com un Berp. Demuestre que el proceso se reduce al proceso de Poisson de par ametro p. 137. Suponga que los sumandos de un proceso de Poisson compuesto Xt : t 0 de par ametro tienen distribuci on exp. Encuentre la distribuci on de la variable Xt . 0 un proceso de Poisson compuesto de par ametro . 138. Sea Xt : t Suponga que cada uno de los sumandos de este proceso es constante igual a k N. Encuentre la distribuci on de Xt . 139. Suponga que los usuarios de cuentas de correo electr onico solicitan acceso al servidor de acuerdo a un proceso de Poisson homog eneo de par ametro . Suponga adem as que cada usuario se mantiene conectado al servidor un tiempo aleatorio con funci on de distribuci on F x, e
4.6. Ejercicios
143
independiente uno del otro. Sea Ct el n umero de usuarios conectados al servidor tiempo al t, y dena la funci on t Demuestre que para k P Ct 0, k et
t
0
1 F x dx. tk .
k!
Proceso de Poisson mixto 140. Demuestre las propiedades del proceso de poisson mixto que aparecen en la Proposici on 4.12. 141. Para un proceso de Poisson mixto Xt : t , demuestre que para 0 s t, CovXs , Xt 0 con variable mezclante
st E t Var.
144
Cap tulo 5
Cadenas de Markov a tiempo continuo

Vamos a estudiar ahora cadenas de Markov en donde el tiempo es continuo y las variables toman valores enteros. Consideremos un proceso a tiempo continuo Xt : t 0 que inicia en un estado i1 al tiempo cero. El proceso X t permanece en ese estado un tiempo aleatorio Ti1 , y i4 despu es salta a un nuei2 vo estado i2 distinto del i1 anterior. El sistema peri3 manece ahora en el estat do i2 un tiempo aleatorio Ti2 Ti3 Ti1 Ti4 Ti2 al cabo del cual brinca a otro estado i3 distinto del inmediato anterior, Figura 5.1 y as sucesivamente. Esta sucesi on de saltos se muestra gr acamente en la Figura 5.1. Los tiempos aleatorios T son los tiempos en los que el proceso permanece constante en alguno de sus estados, y se llaman tiempos de estancia (passage times). Los momentos en donde el proceso tiene saltos son los tiempos Wn Ti1 Tin , para n 1. El proceso 145
146
5. Cadenas de Markov a tiempo continuo
puede entonces escribirse en la forma siguiente:

i1 i2
Xt
i3 . . .
si 0 t W1 , si W1 t W2 , si W2 t W3 ,
A un proceso de estas caracter sticas se llama proceso de saltos, y parece ser una buena versi on continua de las cadenas de Markov a tiempo discreto. Sin embargo, puede comprobarse que el proceso as especicado puede no estar denido para todo tiempo t 0, y tampoco hay garant a de que se cumpla la propiedad de Markov. Explicaremos a continuaci on algunas condiciones que impondremos a los procesos de saltos particulares que estudiaremos en este cap tulo. Puede suceder que los tiempos de estancia T sean cada vez m as Wn , es decir, existe la posibilidad peque nos de tal forma que l mn de que el proceso efect ue un n umero innito de saltos durante un intervalo de tiempo acotado. En tal situaci on el proceso no estar a bien denido para todo tiempo t 0, y se dice entonces que el proceso explota en un tiempo nito. Para evitar tal comportamiento supondremos que
n
l m Wn
c.s.
y por lo tanto, para cada t 0, el valor de Xt es nito, c.s. Por otro lado, sin p erdida de generalidad supondremos que el espacio de estados es el conjunto S
0, 1, . . .
y que el tiempo de estancia asociado el estado i es la variable aleatoria Ti , la cual supondremos positiva con funci on de distribuci on Fi t. Como en el caso de cadenas a tiempo discreto, se denotar a por pij a la probabilidad de que la cadena pase del estado i al estado j al efectuar un salto. Adicionalmente impondremos la condici on pii 0, y con ello se imposibilita que la cadena salte al mismo estado de partida. Las probabilidades de saltos deben entonces satisfacer las siguientes condiciones: a) pij b) pii 0. 0.
147 c)
pij
1.
En forma de matriz, las probabilidades de saltos constituyen una matriz estoc astica de la siguiente forma:

0 p01 p02 p10 0 p12 p20 p21 0 . . . . . . . . .
Supondremos adem as que los tiempos de estancia Ti1 , Ti2 , . . . son independientes entre s , y tambi en son independientes del mecanismo mediante el cual se escoge el estado j al cual la cadena salta despu es de estar en cualquier otro estado i. Mas a un, supondremos que cada variable Ti es nita con probabilidad uno, o bien, es innita con probabilidad uno. En el primer caso se dice que el estado i es no absorbente, y en el segundo caso que es se interpreta en el sentido de que el absorbente. El hecho de que Ti proceso deja de saltar y permanece en el estado i el resto del tiempo, es decir, el estado i es absorbente. Estamos entonces suponiendo que s olo hay dos tipos de estados: absorbentes o no absorbentes. En otras palabras, con probabilidad uno el tiempo de estancia es nito o con probabilidad uno es innito. Por otra parte, un resultado no trivial establece que Un proceso de las caracter sticas arriba especicadas satisface la propiedad de Markov si, y s olo si, los tiempos de estancia en los estados no absorbentes tienen distribuci on exponencial. Este es un resultado importante cuya demostraci on omitiremos y que simplica dr asticamente el modelo general planteado. Como deseamos estudiar procesos de saltos que cumplan la propiedad de Markov, pues tal propiedad ayuda a calcular probabilidades con cierta facilidad, tendremos que suponer entonces que el tiempo de estancia en un estado no absorbente i tiene distribuci on expi , con i 0, es decir, Fi t 1 ei t para t 0.
Observe que puede considerarse que i 0 en el caso cuando Ti . Usando la misma notaci on que en el caso de tiempos discretos, recordemos
148
que el t ermino pxt signica P Xt xt . La propiedad de Markov que consideraremos tiene la siguiente forma: para cualesquiera tiempos 0 t1 t2 tn , pxtn xt1 , . . . , xtn1 pxtn xtn1 . Observe que no estamos suponiendo que se conoce la historia del proceso en todo el pasado a tiempo continuo, sino u nicamente en una colecci on arbitraria pero nita de tiempos pasados t1 , . . . , tn1 . Supondremos nuevamente que estas probabilidades de transici on son estacionarias en el tiempo, esto signica que para cada s 0 y t 0, la probabilidad P Xts j Xs i es id entica a P Xt j X0 i, es decir, no hay dependencia del valor de s. Esta probabilidad se escribe de manera breve mediante la expresi on pij t, para i y j enteros no negativos. Es decir, pij t P Xts j Xs i P Xt j X0 i.
on delta En particular para t 0 se dene nuevamente pij 0 como la funci de Kronecker, es decir, pij 0 ij 1 si i 0 si i j, j.
Haciendo variar los ndices i y j en el espacio de estados se obtiene la matriz de probabilidades de transici on al tiempo t, que denotaremos por Pt y en ocasiones se escribe tambi en como P t:
Pt
pij t
p00 t p01 t p10 t p11 t . . . . . .
Puede demostrarse que cuando el espacio de estados es nito, esta matriz es siempre estoc astica, es decir, los elementos de cada rengl on suman uno. Sin embargo, existen ejemplos en el caso de espacios de estados innito en donde no se cumple tal propiedad, es decir, en general, j pij t 1. Esta es una diferencia inesperada respecto del modelo a tiempo discreto. Denici on 5.1 A un proceso de saltos con las caracter sticas y postulados arriba se nalados se le llama cadena de Markov a tiempo continuo.
149 Observe que en un proceso de Markov a tiempo continuo las probabilidades de saltos pij y las probabilidades de transici on pij t representan aspectos distintos del proceso. Las primeras son probabilidades de cambio al estado j cuando el proceso se encuentra en el estado i y tiene un salto, mientras que las segundas son probabilidades de encontrar al proceso en el estado j , partiendo de i, al t ermino de un intervalo de tiempo de longitud t. Observe adem as que un proceso de Markov a tiempo continuo queda completamente especicado por los siguientes tres elementos: una distribuci on de probabilidad inicial en el espacio de estados, el conjunto de los par ametros no negativos i , y las probabilidades de saltos pij . En las siguientes secciones estudiaremos algunas propiedades generales de los procesos arriba descritos y revisaremos tambi en algunos modelos particulares. Ejemplo 5.1 (Proceso de Poisson) El proceso de Poisson es una cadena de Markov a tiempo continuo que empieza en cero, es decir, la distribuci on de probabilidad inicial tiene el valor uno en el estado cero, los tiempos de estancia son exponenciales de par ametro y las probabilidades de saltos de un estado a otro son pij 1 si j 0 si j i 1, i 1.
Xt 1
exp
Figura 5.2 0 una Ejemplo 5.2 (Cadena de primera ocurrencia) Sea Xt : t cadena de Markov a tiempo continuo con espacio de estados 0, 1. Suponga que X0 0 y que el proceso cambia al estado 1 despu es de un tiempo el resto del tiempo. Una aleatorio con distribuci on exp, y permanece all
150
posible trayectoria de este proceso se muestra en la Figura 5.2. Este proceso modela la situaci on de espera exponencial para la primera ocurrencia de un evento de inter es. Las probabilidades de transici on son P t
p00 t p10 t p01 t p11 t
et 0
1 et 1
Xt 1
exp
exp
exp
exp
Figura 5.3 Ejemplo 5.3 (Cadena de dos estados) Considere el proceso Xt : t 0 con espacio de estados 0, 1 y denido por la siguiente din amica: cuando el proceso entra al estado 0 permanece en el un tiempo exp, y luego va al estado 1, entonces permanece en el estado 1 un tiempo exp y despu es regresa a 0, y as sucesivamente. Se postula adem as que los tiempos de estancia en cada estado son variables aleatorias independientes. Una trayectoria de este proceso se muestra en la Figura 5.3. Para este proceso pueden enconas adelante trarse expl citamente las probabilidades de transici on pij t. M demostraremos que para cualquier t 0, p00 t p01 t p11 t p10 t et . et , et , et .
En consecuencia, por complemento o simetr a,
n 5.1. Probabilidades de transicio En notaci on matricial,
151
p00 t p01 t p10 t p11 t
et .
5.1.
Probabilidades de transici on
Hemos mencionado antes que para una cadena de Markov a tiempo continuo las probabilidades de transici on son los n umeros pij t P Xt j X0 i. El problema que uno puede plantearse es encontrar una expresi on para las probabilidades de transici on pij t para cada par de estados i y j , y para cada olo en algunos pocos tiempo t 0. Este es un problema demasiado general y s casos es posible encontrar expl citamente tales probabilidades. El siguiente resultado, sin embargo, nos permitir a obtener algunas conclusiones generales acerca de estas funciones. Proposici on 5.1 Sean i y j dos estados. Para cualquier t pij t ij ei t i ei t
t
0
0, (5.1)
ei s
k i
pik pkj s ds.
Demostraci on. Si i es un estado absorbente, es decir, si i 0, entonces la f ormula de la proposici on se reduce a pij t ij , lo cual es evidente. Si, en cambio, i no es un estado absorbente, entonces pij t P Xt P Xt j X0 j, Ti
t
0 t
i t X0
i P Xt
j, Ti
t X0
ij ei t ij ei t
fXt ,Ti
X0
j, u i du
X0
0 k i
fXt ,Xu ,Ti
j, k, u i du, j
k, u, i
i i
en donde por la propiedad de Markov y la independencia, fXt ,Xu ,Ti

X0
j, k, u i
f Xt
fX T ,X k u, i fT X u i pkj t u pik i e u .
u i 0 0
Xu ,Ti ,X0
152 Por lo tanto, pij t
ij ei t
t
0
i ei u
k i
pik pkj t u du.
Haciendo el cambio de variable su resultado.
t u en la integral se obtiene el
Las probabilidades de transici on satisfacen tambi en una versi on continua de la ecuaci on de Chapman-Kolmogorov, que en este caso se conoce como la propiedad de semigrupo. Proposici on 5.2 (Ecuaci on de Chapman-Kolmogorov) Para cualquier par de estados i y j , y para todo t 0 y s 0, pij t s En notaci on matricial, Pts Demostraci on. pij t s
pik t pkj s.
Pt Ps .
Por la propiedad de Markov,

k k k
P Xts
P Xts P Xts
j X0 j, Xt j Xt
i k X0 k P Xt
i k X0 i
pik t pkj s.
Por lo tanto, la colecci on Pt : t 0 constituye un semigrupo de matrices, esto quiere decir que cumple las siguientes propiedades: a) P0 b) Pts I , en donde I es la matriz identidad. Pt Ps , para cualesquiera t, s 0.
Por otro lado, observemos que la ecuaci on de Chapman-Kolmogorov es muy
5.2. El generador infinitesimal
153
interesante pues permite expresar a las probabilidades de transici on pij t, para cualquier tiempo t 0, en t erminos de probabilidades innitesimales, es decir, probabilidades de transici on en intervalos de tiempo de longitud muy peque na. Por ejemplo, para cualquier n natural se puede escribir pij t
k1 ,...,kn1
pi,k1 tn pk1 ,k2 tn pkn1,j tn.
Esto quiere decir que es suciente conocer el comportamiento de pij t en tiempos t peque nos para conocer su comportamiento para cualquier t 0. Especicaremos con detalle este resultado m as adelante.
5.2.
El generador innitesimal
De la f ormula general (5.1) es inmediato observar que las probabilidades de transici on pij t de una cadena de Markov a tiempo continuo son funciones continuas en t, y en particular el integrando en (5.1) es una funci on continua. Esto implica que la integral es diferenciable y por lo tanto la funci on t pij t tambi en es diferenciable, con derivada como se indica a continuaci on. Proposici on 5.3 Para cualquier par de estados i y j , y para cualquier t 0, p ij t
i pij t i
pik pkj t.
(5.2)
k i
Demostraci on. Derivando directamente la identidad (5.1) se obtiene la expresi on anunciada. La ecuaci on (5.2) constituye todo un sistema de ecuaciones diferenciales para las probabilidades de transici on pij t, en donde, como se indica en la f ormula, la derivada pij t puede depender de todas las probabilidades de transici on de la forma pkj t para k i. Observe que la derivada p ij t es 0, se una funci on continua del tiempo. Tomando ahora el l mite cuando t
154 tiene que p ij 0
i ij i
k i
pik kj
i ij i pij i si i
i pij si i
j, j.
Denici on 5.2 A las cantidades p ij 0 se les denota por gij , y se les conoce con el nombre de par ametros innitesimales del proceso. Es decir, estos par ametros son i si i j, (5.3) gij i pij si i j. Haciendo variar los ndices i y j , estos nuevos par ametros conforman una matriz G llamada el generador innitesimal del proceso de Markov, es decir,
0 0 p01 0 p02 1 p10 1 1 p12 . 2 20 2 p21 2 p . . .

. . . . . .
(5.4)
Esta matriz determina de manera u nica el comportamiento de la cadena de Markov a tiempo continuo, y es el concepto equivalente a la matriz de probabilidades de transici on en un paso para cadenas a tiempo discreto. Se trata de una matriz con las siguientes propiedades: a) gij b) gii c)
j
0, 0. gij
si i
j.
0.
La demostraci on de estas armaciones se sigue de la ecuaci on (5.3), en particular la u ltima propiedad se obtiene a partir del hecho de que pii 0 pues, gij i i pij i i 1 pii 0.
j j i
Observe que la situaci on cuando gii i es absorbente, es decir, cuando i
0 corresponde al caso cuando el estado 0.
5.2. El generador infinitesimal
155
Ejemplo 5.4 El generador innitesimal para el proceso de Poisson de par ametro es

G
0 0 . . .
0 . . .
0 0 0 . . .
(5.5)
Ejemplo 5.5 El generador innitesimal para la cadena de Markov de dos estados del Ejemplo 5.3 es
(5.6)
Demostraremos a continuaci on que el generador innitesimal caracteriza de manera u nica a la cadena de Markov. As , a esta misma matriz se le llama a veces cadena de Markov a tiempo continuo. Proposici on 5.4 El generador innitesimal determina de manera u nica a la cadena de Markov a tiempo continuo. Demostraci on. Este resultado es consecuencia de la igualdad (5.3), pues a partir del generador G gij se obtienen los par ametros iniciales que denen a la cadena de Markov: i y pij
gii ,
0
gij gii
si i si i
j, j.
(5.7)
Un proceso de Markov a tiempo continuo puede ser tambi en denido a partir del comportamiento de las probabilidades de transici on pij t cuando t 0. Tales probabilidades se llaman a veces probabilidades innitesimales, y pueden expresarse en t erminos de los par ametros innitesimales como establece el siguiente resultado y del cual omitiremos su demostraci on. Proposici on 5.5 Cuando t 1. pii t 1 gii t ot. 0,
156 2. pij t gij t ot,
5. Cadenas de Markov a tiempo continuo para i j.
Observe que las dos f ormulas de la proposici on anterior corresponden al desarrollo de la serie de Taylor de la funci on pij t alrededor de cero hasta el t ermino lineal.
5.3.
Ecuaciones de Kolmogorov
Ecuaciones retrospectivas En t erminos de los par ametros innitesimales, el sistema de ecuaciones diferenciales dado por la expresi on (5.2) puede escribirse de la siguiente forma: p ij t
gik pkj t.
(5.8)
En t erminos de matrices esta igualdad se escribe como sigue P t Expl citamente,
G P t.
(5.9)
p 00 t p01 t p t p t 11 10 . . . . . .
1 p10
0
. . .
0 p01 1 . . .
p00 t p10t
. . .
p01 t p11 t . . .
A este sistema de ecuaciones diferenciales se le conoce como las ecuaciones retrospectivas de Kolmogorov. Un poco m as adelante explicaremos el origen de este nombre y daremos un mecanismo para recordar la escritura exacta de este sistema de ecuaciones para una cadena de Markov particular: los procesos de nacimiento y muerte. Ejemplo 5.6 (Proceso de Poisson) El sistema de ecuaciones retrospectivas de Kolmogorov para el proceso de Poisson de par ametro est a dado por p ij t p ii t
piit pij t pi1,j t
para i
j.
5.3. Ecuaciones de Kolmogorov Y sabemos que la soluci on es pij t et
157
tj i j i!
para i
j.
Ejemplo 5.7 (Cadena de dos estados) El sistema de ecuaciones retrospectivas de Kolmogorov para la cadena de Markov de dos estados denida en el Ejemplo 5.3 est a dado por p 01 t p 10 t p t
11
p 00 t
p00 t p10 t, p01 t p11 t, p10t p00t, p11t p01t.
Resolveremos este sistema de ecuaciones y encontraremos las probabilidades de transici on para esta cadena. Observe que el primer par de ecuaciones est an acopladas, y lo mismo se presenta con el segundo par de ecuaciones. Estos dos sistemas de ecuaciones son independientes uno del otro y tienen la misma forma aunque con par ametros posiblemente distintos. Es suciente entonces resolver uno de estos dos sistemas para tambi en conocer la solut ci on del otro. Deniendo q00 t e p00 t, y q10 t et p10 t, el primer sistema de ecuaciones se reduce y toma la siguiente forma
t q10
t q00
et q10 t,
et q00 t.
Derivando la primera ecuaci on e incorporando la segunda se obtiene la ecuaci on diferencial
t q t q00 t q00 00
0,
0 . La ecuaci 1, y q00 on caraccon condiciones iniciales q00 0 2 ter stica asociada a esta ecuaci on de segundo orden es r r 0, y r2 . La soluci on general es entonces de la cuyas ra ces son r1 forma q00 t c1 er1 t c2 er2 t .
158
5. Cadenas de Markov a tiempo continuo y c2
Usando las condiciones iniciales se encuentra que c1 . De esta forma se llega a la soluci on p00 t et .
a Tomando complemento se encuentra una expresi on para p01 t. Por simetr pueden obtenerse tambi en las probabilidades p10 t y p11 t como aparecen enunciadas en el Ejemplo 5.3. Ecuaciones prospectivas Al sistema de ecuaciones diferenciales dado por la igualdad P t P t G se le llama sistema de ecuaciones prospectivas de Kolmogorov. La diferencia entre este sistema y el sistema retrospectivo mencionado antes es que el orden de los factores en el lado derecho es distinto. M as expl citamente, el sistema prospectivo es el siguiente p ij t
pik t gkj .
(5.10)
En algunos casos los dos sistemas de ecuaciones son equivalentes y su soluci on produce las mismas probabilidades de transici on pij t. En general, el sistema retrospectivo es el que siempre se satisface como lo hemos demostrado, y no as para el sistema prospectivo. En la siguiente secci on estudiaremos una cadena de Markov a tiempo continuo que es un tanto general y que lleva el nombre de proceso de nacimiento y muerte. Para esta cadena en particular y para todas sus simplicaciones tambi en se cumple el sistema prospectivo de ecuaciones diferenciales de Kolmogorov con algunas hip otesis adicionales. A partir de esta cadena explicaremos el origen de los t erminos prospectivo y retrospectivo. Antes de ello mostramos el sistema prospectivo para dos ejemplos de cadenas de Markov. Ejemplo 5.8 (Proceso de Poisson) El sistema de ecuaciones prospectivas de Kolmogorov para el proceso de Poisson de par ametro est a dado por p ij t p ii t
piit pij t pi,j 1t
para i
j.
5.4. Procesos de nacimiento y muerte Y sabemos que la soluci on es pij t et
159
tj i j i!
para i
j.
Ejemplo 5.9 (Cadena de dos estados) El sistema de ecuaciones prospectivas de Kolmogorov para la cadena de Markov de dos estados denida en el Ejemplo 5.3 est a dado por p 01 t p 10 t p t
11
p 00 t
p00 t p01 t, p01t p00 t, p10 t p11 t, p11t p10 t.
Puede comprobarse que su soluci on es la que se muestra en el Ejemplo 5.3.
5.4.
Procesos de nacimiento y muerte
Un proceso de nacimiento y muerte es una cadena de Markov a tiempo continuo con espacio de estados 0, 1, . . . y con generador innitesimal dado por G
1 0 . . .
1 1
2 . . .
2 2
. . .
0 1
0 0 2
en donde 0 , 1 , . . . y 1 , 2 , . . . son constantes positivas conocidas como las tasas instant aneas de nacimiento y muerte, respectivamente. De acuerdo a lo desarrollado antes, a partir de esta matriz podemos concluir que el tiempo de estancia en cualquier estado i 0 tiene distribuci on expi i , en donde se dene 0 0. Las probabilidades de saltos de un estado a otro son i si j i 1, i i i (5.11) pij si j i 1, i i 0 otro caso. De este modo, un proceso de nacimiento y muerte permanece en cada uno
160
de sus estados un tiempo exponencial, al cabo del cual salta Xt una unidad hacia arriba o una 3 unidad hacia abajo de acuerdo a las probabilidades arriba indi2 cadas. Un salto hacia arriba se 1 interpreta como un nacimiento, mientras que un salto hacia abat jo representa una muerte. Una posible trayectoria de este proFigura 5.4 ceso se muestra en la Figura 5.4 con X0 0. La variable Xt puede interpretarse como el n umero de individuos en una poblaci on al tiempo t, en donde pueden presentarse nacimientos y muertes de individuos, uno 0 y 0 0, la poblaci on puede crecer cuando se ena la vez. Como 0 cuentre en el estado cero, pero nunca decrecer por abajo de ese nivel. Otra manera alternativa de denir a los procesos de nacimiento y muerte es a trav es de los siguientes postulados: a) Los incrementos son independientes y estacionarios b) Las probabilidades de transici on son estacionarias, es decir, pij t Cuando h 0, i h oh, para i para i 0. 1. para i 0. i h oh, c) pi,i1 h e) pi,i h P Xts j Xs i.
d) pi,i1 h
1 i i h oh,
Como antes, las constantes 0 , 1 , . . . son par ametros no negativos con 0 estrictamente positivo, y corresponden a las tasas de nacimiento, y 0 , 1 , 2 , . . . son las tasas de muerte, con 0 0. No es una consecuencia que se pueda obtener de manera inmediata pero con ayuda de estos postulados se puede demostrar que el tiempo de estancia en cada estado i tiene distribuci on exponencial de par ametro i i , y que las probabilidades de saltos est an dadas por la expresi on (5.11).
5.4. Procesos de nacimiento y muerte
161
Ejemplo 5.10 Un proceso de Poisson es una cadena de nacimiento y muerte en donde las tasas instant aneas de muerte 0 , 1 , . . . son cero, y las tasas instant aneas de nacimiento 0 , 1 , . . . son todas ellas iguales a una cons0. La matriz de par ametros innitesimales es entonces de la tante forma (5.5). Ejemplo 5.11 Las ecuaciones prospectivas de Kolmogorov del proceso de Poisson de par ametro para las probabilidades pn t : p0n t son p 0 t
n
p t
p0t. pn1 t pn t,
para n
1,
Usaremos estas ecuaciones para comprobar nuevamente que Xt tiene dison inicial p0 0 1, la primera tribuci on Poissont. Usando la condici ecuaci on tiene soluci on p0 t et . Deniendo qn t et pn t, la segun t qn1t, con condiciones qn0 0n da ecuaci on se transforma en qn y q 0 t 1. Esta nueva ecuaci on se resuelve iterativamente, primero para es para q2 t, y as sucesivamente. En general, qn t tn n! q1 t, despu se obtiene pn t et tn n! para n 0. De aqu Ejemplo 5.12 Esta es otra derivaci on mas de la distribuci on Poisson en el proceso de Poisson, ahora usando las ecuaciones prospectivas de Kolmogorov y la funci on generadora de probabilidad. La variable aleatoria Xt puede tomar los valores 0, 1, . . . de modo que su funci on generadora de probabilidad es GXt u E uXt
n 0
pn t un ,
1, y en donde pn t P Xt para valores reales de u tales que u n. Consideraremos a esta funci on tambi en como funci on del tiempo t y por comodidad en los siguientes c alculos la llamaremos Gt, u. Derivando respecto de t, para el mismo radio de convergencia u 1, y usando las ecuaciones prospectivas de Kolmogorov para el proceso de Poisson se tiene
162 que G t, u
n 0
n p n t u
pn1t pntun
n 0
u 1Gt, u, de donde se obtiene la ecuaci on diferencial G G u 1. Integrando de 0 a t y usando la condici on G0, u 1 se llega a tn un. Gt, u G0, u eu1t et etu et
Esta es la funci on generadora de probabilidad de la distribuci on Poissont. Por la propiedad de unicidad se obtiene que la variable Xt tiene distribuci on Poissont. Derivaci on intuitiva de los sistemas de ecuaciones diferenciales prospectivo y retrospectivo de Kolmogorov Explicaremos a continuaci on los t erminos prospectivo y retrospectivo de los sistemas de ecuaciones diferenciales de Kolmogorov para las probabilidades de transici on pij t en el caso particular de un proceso de nacimiento y muerte. Veamos primero el caso restrospectivo. Para cualquier t 0 y 0 peque no consideremos el intervalo 0, t h visto como la siguiente h descomposici on: 0, t h 0, h h, t h.
n 0
uGt, u Gt, u
n!
Supongamos que queremos calcular la probabilidad pij t h. El sistema de ecuaciones que obtendremos se llama retrospectivo porque analiza lo que ocurre en el intervalo inicial 0, h de longitud muy peque na h. En este intervalo, a partir del estado i, u nicamente pueden ocurrir tres cosas: que haya un nacimiento, que haya una muerte o que no nazca ni muera nadie. Por lo tanto, por la propiedad de incrementos independientes y estacionarios, cuando h 0, pij t h i h pi1,j t i h pi1,j t 1 i h i h pij t oh.
5.4. Procesos de nacimiento y muerte O bien, 1 pij t h pij t h i pi1,j t i pi1,j t i i pij t
163
oh . h
0 se obtiene el sistema de ecuaciones difeTomando el l mite cuando h renciales que hemos llamado retrospectivo p 0j t p ij t 0 p1,j t 0 p0j t, i pi1,j t i pi1,j t i i pij t,
1.
As , esta ecuaci on puede leerse, o bien pueden vericarse sus coecientes y sub ndices, a partir de lo que sucede en un intervalo innitesimal al inicio del intervalo: hay un nacimiento (factor i ) y entonces el proceso debe transitar de i 1 a j , o hay una muerte (factor i ) y entonces el proceso debe pasar de i 1 a j , o bien no hay nacimientos ni decesos (factor 1 i i pero omitiendo el 1) y entonces la cadena debe pasar de i a j . De esta manera pueden vericarse los sistemas retrospectivos que hemos mencionado antes. Para el sistema prospectivo y considerando nuevamente un proceso de nacimiento y muerte, se considera la descomposici on:
0, t h 0, t t, t h.
Ahora el intervalo de longitud innitesinal h se encuentra en la parte nal del intervalo de tiempo completo. Nuevamente por la propiedad de incrementos independientes y estacionarios, cuando h 0, pij t h pi,j 1 t j 1 h pi,j 1 t j 1 h pij t 1 j h j h oh.
Reescribiendo esta ecuaci on para que en el lado izquierdo aparezca una 0 e imponiendo condiciones adiprederivada, tomando l mite cuando h cionales para la convergencia de la prederivada se obtiene la ecuaci on diferencial prospectiva p i 0 t p ij t
0 pi0t 1 pi1 t, j 1 pi,j 1 t j 1 pi,j 1 t j j pij t.
La lectura de los coecientes y sub ndices es similar a la anterior: la cadena es hay instant aneamente un nacimiento (factor pasa de i a j 1 y despu
164
j 1 ), o la cadena transita de i a j 1 y despu es hay instant aneamente una muerte (factor j 1 ), o bien la cadena pasa de i a j y no hay nacimientos ni muertes (factor 1 j j pero omitiendo el 1). Proceso de nacimiento puro Cuando en un proceso de nacimiento y muerte los par ametros de decesos 0 , 1 , . . . son todos cero, se obtiene un proceso de 0 0 0 0 nacimiento puro. La matriz de par ametros innitesima 0 1 1 0 G 0 0 2 2 les tiene la forma que se . . . . . . muestra en la Figura 5.5, en . . . donde, como antes, los par ametros 0 , 1 , . . . se conoFigura 5.5 cen como las tasas instant aneas de nacimiento. En la Figura 5.6 se muestra una trayectoria de este X t proceso cuando inicia en el 3 estado cero. Por construc2 ci on, el tiempo de estancia en el estado i tiene dis1 tribuci on exponencial con t par ametro i . Las probabilidades de saltos son eviexp0 exp1 exp2 exp3 dentemente pij 1 cuanFigura 5.6 i 1, y cero en do j cualquier otro caso. Puede demostrarse que los incrementos de un proceso de nacimiento puro son independientes pero no son necesariamente estacionarios. Un proceso de nacimiento puro puede tambi en denirse mediante las siguientes probabili0, dades innitesimales: cuando h b) P Xth Xt a) P Xth Xt 1 Xt 0 Xt k k k h oh. 1 k h oh.
En general no es f acil encontrar una f ormula para las probabilidades de
5.4. Procesos de nacimiento y muerte
165
transici on pij t, sin embargo cuando el estado inicial es cero se conoce la siguiente f ormula recursiva. Proposici on 5.6 Para cualquier t 0 y cualquier entero n 1, las probabilidades de transici on en un proceso de nacimiento puro satisfacen la relaci on: p0n t n1 en t
t 0
en s p0,n1 s ds.
(5.12)
Demostraci on. El sistema de ecuaciones diferenciales prospectivas de Kolmogorov para este proceso es p ij t j 1 pi,j 1 t j pij t.
En particular, partiendo de cero,
p00 t p0n t
n1 p0,n1 t n p0n t,
0 p00t,
1,
con las condiciones de frontera p00 0 1 y p0n 0 0, para n 1. La e0 t , mientras que para el caso primera ecuaci on tiene soluci on p00 t n 1, multiplicando por el factor integrante en t y resolviendo se obtiene la f ormula enunciada.
Proceso de muerte puro De manera an aloga puede denirse un proceso de muerte puro como un proceso de nacimiento y muerte en donde los par ametros de nacimiento 0 , 1 , . . . son todos cero. El proceso puede iniciar con una poblaci on de tama no k 1, y presentar fallecimientos sucesivos hasta una posible extinci on completa de la poblaci on. El proceso de Yule Este es un tipo particular de proceso de nacimiento puro, y para el cual es posible encontrar expl citamente las probabilidades de transici on. Este proceso puede denirse a trav es de los siguientes postulados: a) El estado inicial es X0 k 1.
166
b) Si Xt n, entonces cada uno de estos elementos puede dar nacimiento a un nuevo elemento durante un periodo de longitud innitesimal h 0 con probabilidad h oh, en donde 0, es decir, P Xth Xt 1 Xt n n h oh 1 h ohn1 1 nh oh.

Es decir, las tasas instant aneas de nacimiento son n n, que crecen de manera lineal conforme la poblaci on crece. El tiempo de estancia en el estado n tiene distribuci on expn, en consecuencia el tiempo medio de estancia en ese estado es n1 , cada vez menor conforme n crece. El sistema de ecuaciones prospectivas para pkn t, con n k, se reduce a p kn t p kk t
k pkk t, n 1 pk,n1 t n pkn t,

k 1,
t
0
k 1.
La f ormula recursiva (5.12) es, para n pkn t n 1 ent
ens pk,n1 s ds.
(5.13)
Demostraremos a continuaci on que el incremento Xt X0 tiene distribuci on binomial negativa de par ametros r, p, con r k y p et . Proposici on 5.7 Las probabilidades de transici on para el proceso de Yule son n 1 kt pkn t e 1 et nk , para n k. nk k se tiene la Demostraci on. Usaremos inducci on sobre n. Para n ecuaci on diferencial p t k p t , con condici o n inicial pkk 0 1. kk kk kt , que es de la forma enunciada. Para Esto produce la soluci on pkk t e
5.5. Conceptos y propiedades varias valores de n pkn t k 1 usaremos la f ormula recursiva (5.13), n 1 ent
t
0
167
ns
t n2 n 1 ent es nk 1 es n1k ds n1k 0 t n2 n 1 ent 1 es 1 es 1nk ds n1k 0 t n2 es es 1n1k ds n 1 ent n1k 0 t n2 d s 1 nt n 1 e e 1nk ds n1k 0 n k ds n1 n2 ent et 1nk nk n1k n 1 kt e 1 et nk . k1
n2 eks 1 es n1k ds n1k
En la siguiente secci on revisaremos muy brevemente algunos conceptos generales que se pueden denir para cadenas de Markov a tiempo continuo y que corresponden a los conceptos an alogos para el caso de tiempo discreto.
5.5.
Conceptos y propiedades varias
Comunicaci on Se dice que el estado j es accesible desde el estado i si pij t 0 para alg un j . Se dice que los estados i y j se comunican si i j t 0, y se escribe i i, y en tal caso se escribe i j . Nuevamente puede demostrarse que yj la comunicaci on es una relaci on de equivalencia, y eso lleva a una partici on del espacio de estados en clases de comunicaci on. Se dice nuevamente que la cadena es irreducible cuando todos los estados pertenecen a la misma clase de comunicaci on.
168
Tiempos de primera visita Para cualesquiera estados i y j , se dene ij nf t 0 : Xt j , cuando X0 i.
El tiempo medio de primera visita es entonces ij E ij . Cuando los estados i y j coinciden se escribe i , y i E i respectivamente. A i se le llama tiempo medio de recurrencia. Recurrencia y transitoriedad Se dice que el estado i es transitorio si, partiendo de i, con probabilidad uno el conjunto de tiempos t 0 : Xt i es acotado. En cambio, se dice que es recurrente si, partiendo de i, con probabilidad uno el conjunto t 0 : Xt i es no acotado. Cuando E i se dice que el estado i es se dice que es recurrente positivo. recurrente nulo, y cuando E i Distribuciones estacionarias Sea P t la matriz de probabilidades de transici on de una cadena de Markov a tiempo continuo. Se dice que una distribuci on de probabilidad 0, 1 , . . . sobre el espacio de estados es estacionaria si para cualquier t 0, P t . Expl citamente, si para cualquier t 0, i i pij t j . Por lo tanto, si X0 tiene como distribuci on inicial una distribuci on estacionaria , entonces p P Xt j t , es decir, la variable Xt tiene la misma disj i i ij tribuci on de probabilidad para cualquier valor de t. El siguiente resultado, cuya demostraci on omitiremos, plantea una forma alternativa de encontrar una posible distribuci on estacionaria para una cadena de Markov a tiempo continuo. Proposici on 5.8 La distribuci on es estacionaria para la cadena con generador innitesimal G si y s olo si G 0. Ejemplo 5.13 Considere la cadena de Markov de dos estados cuyo generador innitesimal est a dado por la matriz
5.6. Ejercicios
169
Se busca una distribuci on estacionaria 0 , 1 para esta cadena y para ello se hace uso de la ecuaci on G 0, junto con la condici on 0 1 1. Esto lleva a la soluci on , 0, 1 . Puede comprobarse adem as que las probabilidades de transici on mostradas en el Ejemplo 5.3 convergen a esta distribuci on estacionaria, es decir,
l m
p00 t p01 t p10 t p11 t
0 1 0 1
Cadena a tiempo discreto asociada Toda cadena de Markov a tiempo continuo Xt : t 0 tiene asociada una cadena a tiempo discreto que denotaremos por el mismo s mbolo Xn : n 0, 1, . . . , y que est a dada por la primera pero observada en los tiempos en donde se efect uan los saltos. Algunas caracter sticas de la cadena a tiempo discreto se trasladan a su versi on continua. Inversamente, a partir de una cadena a tiempo discreto puede construirse su versi on continua en el tiempo tomando tiempos exponenciales independientes entre salto y salto. Notas y referencias. La primera parte de la exposici on que hemos presentado est a basada en el texto de Hoel, Port y Stone [14]. Una exposici on m as completa del tema de cadenas de Markov a tiempo continuo puede encontrarse en Basu [1], Karlin y Taylor [17] o Stirzaker [34].
5.6.
Ejercicios
Cadenas de Markov a tiempo continuo
142. Para la cadena de Markov de dos estados, demuestre que para cualquier t 0, p00 t et .
170
143. Para la cadena de Markov de dos estados, demuestre que el tiempo de estancia promedio en el estado cero, a largo plazo, es 1 l m E t t
10 Xs ds
Observe que no es necesario establecer el estado inicial del proceso. El tiempo de estancia promedio en el estado uno a largo plazo es la fracci on complementaria. Ecuaciones de Kolmogorov 144. Escriba el sistema de ecuaciones diferenciales retrospectivas de Kolmogorov para un proceso de Poisson de par ametro y compruebe que la distribuci on Poisson satisface este sistema de ecuaciones. 0 un proceso de Poisson de par ametro y sean 145. Sea Nt : t Y1 , Y2 , . . . v.a.i.i.d. con distribuci on com un Bernoullip. Encuentre las ecuaciones de Kolmogorov retrospectivas y prospectivas del proceso Xt
Nt j 1
Yj .
Resuelva cualquiera de estos sistemas de ecuaciones y demuestre que para j i, ptj i . pij t ept j i! Procesos de nacimiento y muerte 146. Para la cadena de Markov a tiempo continuo de dos estados en donde la estancia en el estado 0 tiene distribuci on exp, y la estancia en el estado 1 es exp, demuestre que: a) p00 t b) c)
et . p01 t et . p10 t et .
5.6. Ejercicios d) p11 t
171
et .
147. Considere una cadena de Markov a tiempo continuo de dos estados en donde el tiempo de estancia en cada uno de ellos tiene distribuci on umero de veces que la cadena exp. Dena la variable Nt como el n ha efectuado saltos hasta un tiempo t 0 cualquiera. Demuestre que Nt : t 0 es un proceso de Poisson de par ametro . Procesos de nacimiento puros 148. Sea Xt : t 0 un proceso de Yule con estado inicial X0 Demuestre que: b) VarXt a) E Xt k et . k e2t 1 et . k 1.
Procesos de muerte puros 0 un proceso de muerte puro tal que X0 N 1y 149. Sea Xt : t con par ametros 1 , 2 , . . . , N . Demuestre que el area promedio de la trayectoria de este proceso hasta que alcanza el estado absorbente 0 es N k . k 1 k
172
Cap tulo 6
Procesos de renovaci on y conabilidad

En este cap tulo se presenta otra generalizaci on del proceso de Poisson. Se considera ahora que los tiempos de interarribo no son necesariamente exponenciales. A tales procesos de saltos unitarios se les conoce como procesos de renovaci on, y en general dejan de cumplir la propiedad de Markov. Adem as de estudiar algunas propiedades generales de los procesos de renovaci on, estudiaremos tambi en el concepto de conabilidad para sistemas conformados por varios componentes, los cuales son susceptibles de tener fallas en tiempos aleatorios. Este cap tulo es breve y se presentan s olo algunos aspectos elementales de los procesos de renovaci on.
6.1.
Procesos de renovaci on
Suponga que se pone en operaci on un cierto componente o art culo T1 T2 T3 T4 cuya duraci on de vida u til se mo dela mediante una variable aleato0 ria T1 . Una vez que el componente falla se reemplaza o renueva con Figura 6.1 otro componente cuyo tiempo de vida es T2 , y as sucesivamente. La colecci on de variables aleatorias T1 , T2 , . . . representa la sucesi on de tiempos 173
174
n y confiabilidad 6. Procesos de renovacio
de vida de componentes puestos en operaci on uno tras otro. Esto se ilustra en la Figura 6.1. En este contexto es natural suponer que las variables que modelan los tiempos de vida son no negativas, independientes y con la misma distribuci on de probabilidad. Un proceso de estas caracter sticas se conoce con el nombre de proceso de renovaci on. Observe que exactamente en los tiempos en los que se efect uan las renovaciones, el proceso reinicia probabil sticamente. Empezaremos por dar un primera denici on formal de un proceso de renovaci on basada en lo reci en mencionado. Denici on 6.1 (Primera denici on) Un proceso de renovaci on es una sucesi on innita de variables aleatorias T1 , T2 , . . . que son no negativas, independientes e id enticamente distribuidas. Otra forma equivalente de denir a este proceso es a trav es del registro de los tiempos reales en los que se observan las renovaciones, o bien, a trav es del conteo de renovaciones observadas hasta un tiempo cualquiera. Estos puntos de vista alternativos se denen a continuaci on.
T1 , T2 , . . ., se denen los tiempos reales de renovaci on como W0 0 y Wn T1 Tn , para n 1. El proceso de conteo de renovaciones es Nt m ax n 0 : Wn t, para cada t 0.
La variable aleatoria Wn representa el tiempo real en el que se realiza la n- esima renovaci on, mientras que Nt indica el n umero de renovaciones efectuadas hasta el tiempo t. En la literatura se le denomina proceso de renovaci on a cualquiera de los procesos Tn : n 1, 2, . . . , Wn : n 0, 1, . . . , on existe una correspondencia biun voca o Nt : t 0, pues por construcci entre cualesquiera dos de estos procesos. Denotaremos por F t a la funci on de distribuci on de los tiempos de vida. Por lo tanto, la funci on de distribuci on de Wn es la convoluci on de F t consigo misma n veces, es decir, FWn t P T1 Tn t F n t
Denici on 6.2 (Segunda denici on) Dado un proceso de renovaci on
F F t.
En particular, F 1 t
F t y cuando n F 0 t 0 1
0 se dene 0, 0.
si t si t
n 6.1. Procesos de renovacio
175
Una de las primeras preguntas que uno puede hacerse acerca de un proceso de renovaci on es la de conocer la distribuci on de la variable Nt . La respuesta no es f acil de encontrar, pues la distribuci on de esta variable depende de la distribuci on de los tiempos de vida como indica la siguiente f ormula general. Proposici on 6.1 Para cualquier n P N t n 0,
F n t F n1 t.
Demostraci on. Tomando en consideraci on que las variables Wn y Tn1 son independientes, tenemos que P Nt n P Wn P Wn t, Wn1 t, Wn Tn1 Wn

P t Tn1 F n t F n t
FWn t FWn t Tn1

0
FWn
Tn1
t u u dF u
F n t F n1 t.
F n t u dF u
En muy pocos casos es posible encontrar la distribuci on expl cita del n umero de renovaciones Nt . En el caso cuando los tiempo de vida son exponenciales sabemos que la respuesta es la distribuci on Poisson. Ejemplo 6.1 Un proceso de Poisson homog eneo de tasa es un proceso de renovaci on en donde los tiempos de vida tienen distribuci on exp(). En consecuencia, los tiempos reales de renovaci on Wn tienen distribuci on gama(n, ), cuya funci on de distribuci on es, para t 0, FWn t
t
0
xn1 ex dx n
k n
et
tk .
k!
176
La segunda igualdad puede obtenerse despu es de aplicar integraci on por partes varias veces. A partir de esta expresi on puede recuperarse la distribuci on Poisson pues por la Proposici on 6.1, P Nt n F n t F n1 t et
tn .
n!
Del mismo modo que sucedi o en el caso del proceso de Poisson, para un proceso de renovaci on tambi en es v alida la igualdad de eventos Nt n Wn t, para t 0 y para n 0 entero. Esta identidad nos ser a de utilidad m as adelante.
6.2.
Funci on y ecuaci on de renovaci on
Otra de las funciones que es natural desear conocer en un proceso de renovaci on es el n umero promedio de renovaciones efectuadas hasta un tiempo t cualquiera. A tal funci on se le llama funci on de renovaci on, y se le denota acil encontrar una por t, es decir, t E Nt . En general tampoco es f forma expl cita para esta funci on. Sin embargo, se cuenta con la siguiente ecuaci on integral general. on Proposici on 6.2 La funci on de renovaci on t satisface la ecuaci t F t
t
0
t s dF s.
(6.1)
Demostraci on. Condicionando sobre el valor del primer tiempo de vida T1 se obtiene t s dF s, en donde 0 E Nt T1 E Nt T1 Por lo tanto t
t
0
0 1 t s
si s si s
t
0
t, t.
1 t s dF s
F t
t s dF s.
n y ecuacio n de renovacio n 6.2. Funcio
177
Observe que la ecuaci on (6.1) puede escribirse como t F t F t. Debido a que se condiciona sobre el valor del primer tiempo de renovaci on, a la t ecnica de la demostraci on de este resultado se le llama a veces an alisis del primer paso o se dice tambi en que se ha utilizado un argumento de renovaci on, pues es muy frecuente su uso en el c alculo de probabilidades de ciertos eventos en los procesos de renovaci on. M as adelante tendremos oportunidad de usar nuevamente esta t ecnica. Ejemplo 6.2 Para el proceso de Poisson, el promedio de renovaciones o t. Puede comprobarse directamente que esta saltos al tiempo t es t funci on satisface (6.1) con F t 1 et , t 0. A una ecuaci on integral del tipo (6.1) se le llama ecuaci on de renovaci on, pues algunas funciones de inter es en la teor a de la renovaci on la cumplen. La denici on general se incluye a continuaci on. Denici on 6.3 Sean F t, g t y ht funciones denidas para t 0. Suponga que F t y ht son conocidas, y gt es desconocida. Se dice que g t satisface una ecuaci on de renovaci on si cumple la ecuaci on integral g t ht
t
0
gt s dF s.
(6.2)
on acotada, entonces existe una Puede demostrarse que si ht es una funci on de renovaci on (6.2) que cumple con la u nica soluci on g t a la ecuaci condici on de ser acotada sobre intervalos nitos y est a dada expl citamente por g t ht
t
en donde s es la funci on de renovaci on. La demostraci on de este resultado general puede ser encontrado en el texto de Karlin y Taylor [17]. Acerca de la funci on de renovaci on tenemos la siguiente expresi on general. Proposici on 6.3 Para cualquier t t 0,
n 1
ht s ds,
(6.3)
F n t.
(6.4)
178 Demostraci on. t
n 0
n P Nt
n 2
P Nt
F 1 t F 2 t 2 F 2 t F 3 t
F n t.
1 2 P Nt
n 1
Ejemplo 6.3 Cuando los tiempos de interarribo tienen distribuci on exp se tiene que F n t
t
0
xn1 ex dx n
k n
et
tk .
k!
Usando esta expresi on y la f ormula reci en demostrada puede corroborarse que en este caso t t. Es posible demostrar que para un proceso de renovaci on la variable Nt tiene momentos nitos de cualquier orden, y en particular para la esperanza, la suma que aparece en (6.4) siempre es convergente. Se puede tambi en demostrar que existe una correspondencia biun voca entre las funciones t y F t, y que adem as el proceso de renovaci on Nt : t 0 queda completamente especicado por la funci on promedio t. La demostraci on de estos resultados puede consultarse en [1].
6.3.
Tiempos de vida
Junto a todo proceso de renovaci on y para cada tiempo jo, pueden considerarse tres variables aleatorias no negativas, t , t y t , cuyo signicado geom etrico se muestra en la Figura 6.2, y que deniremos con mayor precisi on a continuaci on.
6.3. Tiempos de vida
179
Nt 1 Nt Nt 1
WNt
WNt 1
Figura 6.2
Tiempo de vida restante Este es el tiempo de vida u til que le resta al elemento que se encuentra en operaci on al tiempo t, y est a dado por la variable t WNt 1 t.
Esta longitud aleatoria se muestra en la Figura 6.2. Usando un argumento de renovaci on demostraremos que para cada x 0 la funci on t g t P t x satisface una ecuaci on de renovaci on. Proposici on 6.4 La funci on t de renovaci on g t Demostraci on. gt
t
0
P t
x satisface la ecuaci on
1 F t x
gt s dF s.
(6.5)
Se condiciona sobre el valor de T1 de la siguiente forma: g t
P t
x T1
s dF s.
Se consideran entonces los tres posibles casos para los valores de T1 como se muestran en la Figura 6.3.
180
T1 0
T1 t
T1 tx
Figura 6.3 Puesto que un proceso de renovaci on puede considerarse que inicia nuevamente a partir del momento en que se observa una renovaci on, se tiene que si s t x, 1 0 si t s t x, P t x T1 s P ts x si 0 s t. Por lo tanto, gt

0
P t
x T1
t
0
s dF s P ts x dF s
t x
dF s
1 F t x
t
0
gt s dF s.
Ejemplo 6.4 Cuando los tiempos de vida son exponenciales de par ametro , la u nica soluci on de la ecuaci on (6.5) es la funci on constante en t, gt P t x ex , que equivale a decir que la variable t tiene erdida de memodistribuci on exp. Esta es nuevamente la propiedad de p ria de la distribuci on exponencial. Tiempo de vida transcurrido Este es el tiempo que ha estado en uso el elemento que se encuentra en operaci on al tiempo t, y est a dado por la variable t t W Nt .
6.3. Tiempos de vida
181
V ease nuevamente la Figura 6.2. Es claro que esta variable est a acotada superiormente por el valor t, pues el elemento en uso al tiempo t no puede tener hasta ese momento un tiempo de uso mayor a t. Sea nuevamente x 0 gt P t x. Por las consideraciones anteriores, y dena la funci on t tenemos que gt 0 para t 0, x. Usando un argumento de renovaci on on de renovaci on. demostraremos que la funci on gt satisface una ecuaci Proposici on 6.5 Para t x, ecuaci on de renovaci on gt
, la funci on gt
tx
0
P t
x satisface la
1 F t
gt s dF s.
Demostraci on. Nuevamente se condiciona sobre el valor de T1 . Los tres posibles casos se muestran en la Figura 6.4.
T1 0
T1 tx
T1 t
Figura 6.4 Por lo tanto, P t Entonces, gt

0
x T1
0 P ts
si s si 0 si 0
t, tx s s t x.
t,
P t
x T1
tx
0
s dF s P ts x dF s
dF s
1 F t
tx
0
gt s dF s.
182 En resumen, gt
0 1
F t
tx
0
si 0 gt s dF s si t
t x.
x,
Ejemplo 6.5 Considerando otra vez el caso de tiempos de vida exponencial de par ametro , puede comprobarse que el tiempo de vida transcurrido tiene funci on de distribuci on P t x
1 0
ex
si 0
t,
si x t, otro caso.
Tiempo de vida total Este es el tiempo completo de vida u til que tiene el elemento que se encuentra en operaci on al tiempo t, y est a dado por la variable t t t WNt 1 WNt TNt 1 .
Nuevamente, para x 0 se dene la funci on t gt P t x. Demostraremos que esta funci on satisface una ecuaci on de renovaci on, en la cual aparecer a el t ermino x y , que signica m axx, y . Proposici on 6.6 La funci on gt renovaci on gt 1 F t P t x
t
0
x satisface la ecuaci on de
gt s dF s,
Demostraci on. la variable T1 .
Nuevamente condicionaremos sobre un posible valor de g t
P t
x T1
s dF s.
Los posibles casos para T1 se muestran en la Figura 6.5.
n 6.4. Teoremas de renovacio
183
T1 0
T1 t
T1 tx
Figura 6.5 El caso s t, t x se debe subdividir en dos casos: s modo se obtienen los siguientes resultados P t s
0
x os
x. De este x, x,
x T1
El segundo y tercer rengl on se conjuntan en las condiciones t x s t x on t x s . Por lo tanto, o s t x, lo cual se reduce a la condici g t
1 1 P ts
si si si si
t t s 0
s t x, y s s t x, y s t x, s t.
P t
x T1
t
0
s dF s P ts x dF s
t x
dF s
1 F t
t
0
gt s dF s.
Ejemplo 6.6 En el caso de tiempos de interarribo exponenciales de par ametro , puede demostrarse que el tiempo de vida total tiene funci on de distribuci on P t x 1 1 t 0 x ex si x 0, otro caso.
6.4.
Teoremas de renovaci on
En esta secci on se estudian algunos resultados sobre el comportamiento l mite de los procesos de renovaci on. Primeramente se demuestra que todo
184
proceso de renovaci on crece a innito con probabilidad uno cuando el tiempo crece a innito. Proposici on 6.7 Para todo proceso de renovaci on, l m Nt
t
c.s.
Demostraci on. Recordemos la igualdad de eventos Nt Entonces para cualquier n natural, 1

t t t
W n
t.
l m FWn t l m P Wn l m P Nt
t
P l m Nt
n.
Nt es Para la u ltima igualdad se ha utilizado el hecho de que la funci on t mon otona no decreciente. Como el resultado demostrado vale para cualquier valor de n natural, se tiene que P l m Nt 1.
t
Por lo tanto, cuando t tiende a innito el n umero de renovaciones Nt tambi en crece a innito. Por otro lado, el tiempo que le toma al proceso llegar al valor Nt es WNt y tambi en crece a innito. El siguiente resultado establece que a largo plazo habr a una renovaci on cada E T unidades de tiempo, en donde, dada la id entica distribuci on, la variable T representar a cualquiera de los tiempos de interarribo en un proceso de renovaci on. Proposici on 6.8 Para un proceso de renovaci on Nt : t E T , con 0 , se cumple
t
0 en donde
l m
W Nt Nt
c.s.
Demostraci on. Para valores enteros de n, por la ley fuerte de los grandes n umeros, Wn n casi seguramente cuando n . Ahora observe la contenci on de eventos
n W n
N t
N W N t
185
Los dos eventos del lado izquierdo tienen probabilidad uno, por lo tanto la intersecci on tambi en, y ello implica que el lado derecho tambi en tiene probabilidad uno. El siguiente resultado establece la forma en la que la variable Nt crece a innito. Observe que el cociente Nt t es una variable aleatoria que cuenta el n umero de renovaciones por unidad de tiempo efectuadas hasta el tiemla aleatoriedad po t. Demostraremos a continuaci on que cuando t desaparece y el cociente se vuelve constante. Teorema 6.1 (Teorema elemental de renovaci on) [J. L. Doob, 1948] , se tiene Para un proceso de renovaci on en donde E T , con 0 que Nt 1 c.s. l m t t t WNt 1 Nt 1 W Nt . Nt Nt Nt 1 Nt Cuando t tiende a innito ambos extremos de estas desigualdades convergen a casi seguramente. Por lo tanto el t ermino de en medio tambi en. Otra forma de interpretar el resultado anterior es diciendo que Nt crece a a la misma velocidad que la funci on lineal t. Ahora innito cuando t veremos que la esperanza de Nt tiene el mismo comportamiento. Teorema 6.2 (Teorema elemental de renovaci on) [W. Feller, 1941] Considere un proceso de renovaci on en donde E T , con 0 . Entonces t 1 . l m t t Demostraci on. Por la identidad de Wald, E Nt 1 E T E WNt 1 t t Demostraci on. lo tanto, Para cualquier t 0 se cumple WNt t WNt 1 . Por
Obteniendo de esta identidad el t ermino t y dividiendo entre t se obtiene 1 1 E WNt 1 t t
t 1. 1 . t
186 Como WNt 1
n y confiabilidad 6. Procesos de renovacio t, se tiene que E WNt 1 t l m inf

t
Ahora estimaremos el l mite superior del mismo cociente. Como WNt 1 t WNt 1 WNt TNt 1 , se tiene que E WNt 1 t E TNt 1 y por lo tanto t t 1 1 E TN 1 . t
t
t t
0. Por lo tanto
1 .
Consideremos primero el caso particular cuando las variables T son uniformemente acotadas, es decir, supongamos que existe un entero k 0 tal 1, P Tn k 1. Entonces, condicionando sobre el que para cada n valor de Nt , puede comprobarse que E TNt 1 k y por lo tanto l m sup
t
t t
1 .
Esto concluye la demostraci on en el caso particular mencionado. Ahora consideremos que las variables T no son necesariamente acotadas c.s. En este caso se denen los tiempos recortados
k Tn
Tn k
si Tn si Tn
k, k.
k Tn cuando k . A partir de estos tiempos se considera Observe que Tn k un nuevo proceso de renovaci on Nt con funci on de renovaci on k t . Se cumple k que t t y por lo tanto
l m sup
t
t t
1 . E T k
Ahora se hace k tender a innito. Por el teorema de convergencia mon otona, E T k E T , y ello prueba la desigualdad faltante. El cociente tt es el n umero de renovaciones promedio por unidad de tiempo. El resultado reci en demostrado establece que a largo plazo habr a en promedio 1E T renovaciones por unidad de tiempo. Por ejemplo, para el proceso Poisson, E T 1 y t t. Por lo tanto tt . Los siguientes dos resultados importantes se enuncian sin demostraci on y los t erminos t ecnicos a los que se hace referencia aparecen explicados en el ap endice.
187
Teorema 6.3 (Teorema de renovaci on) [D. Blackwell, 1948] Si F t es no aritm etica, entonces para cualquier h 0, l m t h t h .
etica con base d, entonces para cualquier natural n, Si F t es aritm l m t nd t nd .
Ejemplo 6.7 Para el proceso de Poisson se tiene que la funci on incremento a la que hace referencia el teorema de renovaci on de Blackwell en realidad es una constante pues, t h t t h t h h 1 h .
Teorema 6.4 (Teorema clave de renovaci on) [W. L. Smith, 1953] on a la ecuaci on de renovaci on Sea At la soluci At H t
t
0
At s dF s,
es una funci on directamente Riemann integrable. en donde H : 0, etica, Si F t es no aritm

t
l m At
H t dt.
Si F t es aritm etica con base d, entonces l m At nd d H t kd. k 0
Puede demostrarse que los teoremas de Smith y Blackwell son equivalentes, y que cualquiera de ellos implica el teorema elemental de Feller.
188
6.5.
Conabilidad
Suponga que T 0 es una variable aleatoria continua que registra el tiempo de falla de un cierto componente que se encuentra en operaci on al tiempo on de distribuci on cero. Nuevamente denotaremos por F t y f t a la funci y de densidad de esta variable aleatoria. En la teor a de la conabilidad interesa conocer la probabilidad de que el componente funcione correctamente por lo menos hasta un tiempo t cualquiera o la probabilidad de que deje de funcionar en el siguiente instante de tiempo, dado que ha funcionado bien hasta un cierto momento. Es por ello que se denen las siguientes dos funciones. Denici on 6.4 La funci on de conabilidad se dene como R t r t P T t,
mientras que la funci on de tasa de falla es f t . 1 F t
A la funci on de conabilidad se le llama tambi en funci on de supervivencia, y a la funci on de tasa de falla se le conoce tambi en como funci on hazard. A esta u ltima se le llama as pues dado que un componente ha sobrevivido al tiempo t, fallar a en el intervalo t, t t con probabilidad r t t ot, en efecto, P t T t t T t T t t P t t f t t ot 1 F t r t t ot. P t
Despu es de algunos c alculos sencillos es inmediato comprobar que estas dos funciones est an relacionadas de la siguiente forma: r t y Rt f t Rt exp d dt ln Rt,
0
r s ds.
6.5. Confiabilidad
189
Observe que la funci on de conabilidad Rt es siempre decreciente, mientras que la funci on de tasa de falla r t puede no presentar un comportamiento mon otono global. Por otro aldo, debido a que T es una variable aleatoria erminos no negativa, el tiempo promedio de falla E T puede escribirse en t de la funci on de conabilidad como sigue E T
Rt dt.
Ejemplo 6.8 Suponga que el tiempo de falla T de un componente tiene una distribuci on exponencial de par ametro . La funci on de conabilidad es t on de tasa de falla es constante r t . El hecho de Rt e , y la funci que la funci on de tasa de falla sea constante signica que la probabilidad de falla en un intervalo de tiempo peque no t, dado que el componente se encuentra operando al tiempo t, es aproximadamente t, independiente del valor de t. Esta es otra manifestaci on de la propiedad de p erdida de memoria de la distribuci on exponencial, y es la u nica distribuci on absolutamente continua con tasa de falla constante. Por otro lado, el tiempo medio de falla es E T 1. Conabilidad para sistemas en serie Considere un sistema de n componentes puestos en serie, como se muestra en la Figura 6.6. Supondremos que cada uno de estos componentes funciona de manera independiente uno del otro. Es intuitivamente claro que tal sistema en su conjunto funciona si todos y cada uno de los componentes se encuentra en buen estado. Nos interesa encontrar las funciones de conabilidad y de tasa de falla de este tipo de sistemas. Observe que el tiempo de falla T de un sistema de este tipo C1 C2 Cn es el tiempo de falla m as peque no de cada uno de los componentes, es m nT1 , . . . , Tn . Esquedecir, T Figura 6.6 mas f sicos de este tipo ayudan a justicar el plantearse la pregunta de encontrar la distribuci on de probabilidad del m nimo de n variables aleatorias independientes. No es dif cil comprobar que si los tiempos de falla T1 , . . . , Tn de los componentes del sistema en serie de la Figura 6.6 son
190
id enticamente distribuidos con funci on de distribuci on F t, y funci on de densidad f t, entonces el tiempo de falla T del sistema tiene funci on de distribuci on y funci on de densidad dadas por las siguientes expresiones: FT t y fT t 1 1 F tn , n1 F tn1 f t.
Calcularemos a continuaci on las funciones de conabilidad y de tasa de falla para sistemas en serie. Denotaremos por R1 t, . . . , Rn t las funciones de conabilidad de cada componente en el sistema, y las funciones de tasa de falla ser an r1 t, . . . , rn t. Proposici on 6.9 Las funciones de conabilidad y de tasa de falla del sistema en serie de la Figura 6.6 son a) Rt b) r t r1 t rn t. Por la independencia de los componentes, t, . . . , Tn t P Tn t t R1 t Rn t.
n k 1
R1 t Rn t.
Demostraci on. a) Rt b) r t P T1 P T1
d dt ln Rt
n d dt ln Rk t k 1
rk t.
Observe que para sistemas de n componentes conectados en serie la funci on de conabilidad Rt R1 t Rn t es una funci on decreciente de n, y en consecuencia el tiempo medio de falla tambi en es una funci on decreciente de n. Ejemplo 6.9 La funci on de conabilidad y la funci on de tasa de falla de un sistema de n componentes puestos en serie en donde cada uno de ellos tiene un tiempo de falla exponencial de par ametro son, respectivamente, R t y r t ent , nt.
6.5. Confiabilidad
191
La distribuci on del tiempo de falla T es exponencial de par ametro n. El tiempo medio de falla es E T 1n, naturalmente decreciente conforme mayor es el n umero de componentes en el sistema, es decir, mientras mas componentes haya en el sistema en serie, menor es el tiempo de vida operacional del sistema en su conjunto, pues una falla de cualesquiera de los componentes provoca que el sistema completo deje de funcionar.
Conabilidad para sistemas en paralelo Considere ahora sistemas de n componentes C1 puestos en paralelo, como se muestra en la Figura 6.7, en donde cada uno de estos componentes C2 funciona de manera independiente uno del otro. Tales tipos de sistemas funcionan en su conjunto si por lo menos uno de los componentes se Cn encuentra en buen estado. Sistemas de este tipo se utilizan cuando se desea mantener un nivel alto de conabilidad de funcionamiento, como Figura 6.7 por ejemplo los sistemas de vuelo de los aviones o los sistemas de manejo de reactores nucleares. El tiempo de falla T de un sistema de este tipo es el tiempo de falla m as ax T1 , . . . , Tn , y observe que el grande de los componentes, es decir, T m evento T t es equivalente a que todos los componentes fallen antes del tiempo t. A continuaci on calcularemos la funci on de conabilidad para sistemas en paralelo. Usaremos la misma notaci on e hip otesis que en la secci on anterior. Proposici on 6.10 La funci on de conabilidad de un sistema de n componentes conectados en paralelo como en de la Figura 6.7 es Rt Demostraci on. 1 1 R1 t 1 Rn t.
Primeramente se tiene que, por independencia, F t P T P T1 t t, . . . , Tn t
F1 t Fn t.
192 Por lo tanto, Rt
1 F1 t Fn t
1 F t
1 1 R1 t 1 Rn t. Observemos que la funci on de conabilidad Rt para sistemas en paralelo reci en encontrada es una funci on creciente de n. Es decir, mientras mas componentes haya en el sistema m as seguro es este. En consecuencia, el tiempo medio de falla es una funci on creciente de n. Por otro lado, no es dif cil demostrar que las funciones de distribuci on y de densidad del tiempo de falla T del sistema en paralelo de la Figura 6.7 son: FT t y fT t F n t, n F n1 t f t.
Puede calcularse la funci on de tasa de falla del sistema r t en t erminos on de las funciones r1 t, . . . , rn t para sistemas en paralelo, pero la expresi que resulta no es simple ni compacta como las que hemos presentado y por lo tanto la omitiremos. Ejemplo 6.10 Para un sistema de n componentes puestos en paralelo en donde cada uno de ellos tiene un tiempo de falla exponencial de par ametro se tiene que R t y r t 1 1 et n , n1 et n1 et . 1 1 et n
Conabilidad para sistemas combinados serie/paralelo Pueden tambi en considerarse sistemas que son una combinaci on de sistemas en serie y en paralelo como el que se muestra en la parte izquierda de la Figura 6.8. Sistemas de este tipo pueden ser representados de manera equivalente, como se muestra en la parte derecha de la misma gura. Para este caso, la funci on de conabilidad del sistema es R t R1 t1 1 R2 t1 R3 t.
6.6. Ejercicios
193
C2 C1 C3
C1 C1
C2 C3
Figura 6.8 Notas y referencias. En los textos de Karlin y Taylor [17], Basu [1], y Lawler [21] se pueden encontrar algunos otros resultados y aplicaciones de los procesos de renovaci on.
6.6.
Ejercicios
Procesos de renovaci on
0 un proceso de renovaci on. Indique si cada una de 150. Sea Nt : t las siguientes igualdades de eventos es falsa o verdadera. Explique en cada caso. b) Nt d) Nt e) Nt c) Nt a) Nt n n n n n
W n W n W n W n W n
t t t t t
151. Sea F t la funci on de distribuci on de una variable aleatoria no negativa. Demuestre que b) F n t a) F n t F n t, para n F m t, para n 1. m.
152. Respecto de la denici on de proceso de renovaci on, demuestre que los procesos Tn : n 1, 2, . . . , Wn : n 0, 1, . . . y Nt : t 0 pueden escribirse cada uno en t erminos de cualquier otro.
194
153. Es la suma de dos procesos de renovaci on independientes nuevamente un proceso de renovaci on? Los siguientes ejercicios dan respuesta a esta pregunta. a) Demuestre que si la suma de dos procesos de renovaci on independientes resulta ser un proceso de Poisson, entonces ambos sumandos son procesos de Poisson. b) Demuestre que si la suma de dos procesos de renovaci on independientes y con la misma funci on de distribuci on de interarribo es un proceso de renovaci on, entonces la suma y cada uno de los sumandos es un proceso de Poisson. c) Mediante un contraejemplo demuestre que, en general, la suma de dos procesos de renovaci on independientes y con la misma funci on de distribuci on de interarribo no es necesariamente un proceso de renovaci on. 154. Sea Nt : t k 1, 0 un proceso de renovaci on. Demuestre que para cada E Ntk
n 0
n 1k nk F n1 t.
155. Sea Nt : t 0 un proceso de renovaci on. Demuestre directamente que para cada n jo,
t
l m P Nt
0.
Funci on y ecuaci on de renovaci on 156. Sea Nt : t 0 un proceso de renovaci on con funci on de renovaci on t E Nt . Demuestre que para cualquier t 0, 0 157. Sea Nt : t Dena t t 1 . 1 F t
0 el proceso de conteo de un proceso de renovaci on. 2 E Nt , y 2 t E Nt . Demuestre que:
6.6. Ejercicios a) 2 t b) 2 t
n 1
195
2n 1F n t.
t
0
t 2
t s ds. 0 es un proceso de Poisson.
Encuentre adem as 2 t cuando Nt : t
158. Sea Nt : t 0 un proceso de renovaci on. Demuestre que la funci on At E WNt 1 satisface la ecuaci on de renovaci on At Tiempos de vida 159. Demuestre que el tiempo de vida restante t y el tiempo de vida transcurrido t , para un proceso de renovaci on, tienen distribuci on conjunta dada por la siguiente expresi on: para 0 y t, P t x, t y
t
t y
E T
t
0
At s dF s.
1 F t x u du.
Use ahora este resultado para demostrar que en el caso cuando el proceso de renovaci on es el proceso de Poisson, las variables t y t son independientes. 160. Considere el proceso de Poisson visto como un proceso de renovaci on, es decir, los tiempos de vida tienen distribuci on exponencial con par ametro . Demuestre que la funci on de renovaci on t t satisface la ecuaci on de renovaci on t 1 et
t
0
t ses ds.
ametro 0 visto 161. Considere un proceso de Poisson Nt : t 0 de par como un proceso de renovaci on. Para el tiempo de vida transcurrido t demuestre que:
196
n y confiabilidad 6. Procesos de renovacio a) La funci on de distribuci on de t es P t x

1 0
ex
si 0
t,
si x t, otro caso.
b) La funci on de densidad de t es f x c) E t 1 1 et . ex si 0 0 x t,
otro caso.
0 de par ametro 0 162. Considere un proceso de Poisson Nt : t visto como un proceso de renovaci on. Para el tiempo de vida total t demuestre que: a) La funci on de distribuci on de t es P t x 1 1 t 0
2 x xe
Tome el l mite cuando t y compruebe que las expresiones anteriores corresponden a las de la distribuci on exp.
x ex si x
0,
otro caso.
b) La funci on de densidad de t es f x c) E t 1 tex si x si 0 x t, t,
otro caso.
1 2 et .
163. Sea t WNt 1 t el tiempo de vida restante al tiempo t en un proceso de renovaci on.
0 y compruebe que las expresiones anteTome el l mite cuando t riores corresponden a las de la distribuci on exp.
6.6. Ejercicios a) Dibuje una posible trayectoria del proceso t : t b) Demuestre que l m 1 t
t
197 0.
s ds
0
E T 2 2E T
c.s.,
para ello observe la trayectoria dibujada en el inciso anterior, aproxime la integral por la suma de las areas de los tri angulos y use el teorema elemental de renovaci on y la ley fuerte de los grandes n umeros.
Conabilidad 164. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos en serie como en la Figura 6.6. Suponga que las correspondientes funciones de distribuci on y de densidad son F1 t, . . . , Fn t, y f1 t, . . . , fn t, respectivamente. Demuestre que las funciones de distribuci on y de densidad del tiempo de falla del sistema dado por T m n T1 , . . . , Tn son: a) F t b) f t 1 1 F1 t 1 Fn t.
n k 1
fk t 1 F1 t 1k
1 Fn t 1k n .
165. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos en paralelo como en la Figura 6.7. Suponga que las correspondientes funciones de distribuci on y de densidad son F1 t, . . . , Fn t, y f1 t, . . . , fn t, respectivamente. Demuestre que las funciones de distribuci on y de densidad del tiempo de falla del sistema dado por ax T1 , . . . , Tn son: T m a) F t b) f t F1 t Fn t.
n k 1
fk t 1 1 F1 t 1k
1 1 Fn t 1k n .
198
n y confiabilidad 6. Procesos de renovacio Conabilidad para sistemas en serie
166. Suponga que los tiempos de falla T1 , . . . , Tn de los componentes del sistema en serie de la Figura 6.6 son id enticamente distribuidos con on de densidad f t. Demuestre funci on de distribuci on F t, y funci que el tiempo de falla T del sistema tiene funci on de distribuci on y densidad dada por las siguientes expresiones: b) fT t a) FT t n1 F tn1 f t. 1 1 F tn .
Conabilidad para sistemas en paralelo 167. Demuestre que las funciones de distribuci on y de densidad del tiempo de falla T del sistema en paralelo de la Figura 6.7 son: b) fT t a) FT t n F n1 t f t. F n t.
Conabilidad para sistemas combinados serie/paralelo 168. Encuentre la funci on de conabilidad para cada uno de los sistemas de componentes que aparecen en la Figura 6.9.
C1 C3
C2
C1 C2
C3 C4
Figura 6.9
Cap tulo 7
Martingalas
Existen varias acepciones para el t ermino martingala. Una de ellas hace referencia a un tipo de proceso estoc astico que b asicamente cumple la identidad E Xn1 X0 x0 , . . . , Xn xn xn .
Hemos mencionado en la parte introductoria de este texto que este tipo de modelo corresponde a un proceso que representa la evoluJoseph Doob ci on del capital de un jugador que realiza una (E.U.A., 19102004) sucesi on de apuestas justas. Parte de la motivaci on para el estudio de este tipo de procesos fue buscar demostrar la inexistencia de estrategias ventajosas en este juego de apuestas. El concepto de martingala fue incorporado a la teor a de la probabilidad por Paul L` evy, y buena parte de su desarrollo inicial fue realizado por Joseph Doob. En este cap tulo se presenta una introducci on a la teor a de martingalas a tiempo discreto y se mencionan algunas deniciones generales que incluyen el caso de tiempo continuo. Sin embargo, los resultados se presentan u nicamente en el caso discreto. En la u ltima parte del cap tulo haremos uso de algunas herramientas de la teor a de la medida.
199
200
7. Martingalas
7.1.
Filtraciones
Sea , F , P un espacio de probabilidad para modelar un cierto experimento aleatorio. La - algebra F es la estructura que agrupa a los eventos del experimento aleatorio a los cuales se les puede calcular su probabilidad. Suponga ahora que se consideran dos sub - algebras F1 y F2 tales F2 . Entonces F2 contiene m as informaci on que F1 en el senque F1 tido de que, en general, un mayor n umero de conjuntos son considerados como eventos. M as generalmente, puede considerarse una sucesi on no decreciente de sub - algebras F1 F2 Este tipo de estructuras surgen de manera natural, por ejemplo, para un proceso estoc astico a tiempo discreto Xn : n 1, pues puede construirse la sucesi on Fn n 1 de la siguiente forma: Fn X1 , . . . , Xn ,
F2 En este caso la en donde efectivamente se cumple que F1 - algebra Fn contiene los eventos para los cuales puede determinarse su ocurrencia o no ocurrencia, s olo con la informaci on o historia del proceso hasta el tiempo n.
1 representan los resultados de Ejemplo 7.1 Si las variables Xn : n lanzar sucesivamente un dado, y si se dene el evento A como La suma de los dos primeros resultados es mayor a 3, entonces es claro que A F1 , sin embargo A F2 . Por supuesto, si sucede por ejemplo que X1 4, entonces sabemos que el evento A ocurre, pero sin esta informaci on adicional la ocurrencia o no ocurrencia del evento A no puede determinarse sino hasta el segundo lanzamiento del dado. Estas consideraciones sobre sucesiones no decrecientes de - algebras llevan a la denici on de ltraci on. Denici on 7.1 Una ltraci on es una colecci on de - algebras Fn n 1 tal on natural o can onica que Fn Fm , cuando n m. En particular, la ltraci de un proceso Xn : n 1 es aquella sucesi on de - algebras denidas por Fn X1 , . . . , Xn , n 1.
A tiempo continuo las deniciones de estos conceptos son an alogas: una ltraci on es una colecci on no numerable de sub - algebras Ft t 0 tal que
7.1. Filtraciones
201
Fs Ft , cuando 0 s t. La ltraci on natural o can onica de un proceso a tiempo continuo Xt : t 0 es la colecci on de - algebras Ft t 0 dadas Xs : 0 s t, esto es, Ft es la m nima - algebra que hace por Ft que cada una de las variables Xs , para valores de s en el intervalo 0, t, sean medibles. A la - algebra Ft se le denomina la historia del proceso al tiempo t. Regresemos al caso de tiempo discreto. Denici on 7.2 Se dice que un proceso estoc astico Xn : n 1 es adaptado a una ltraci on Fn n 1 si la variable Xn es Fn -medible, para cada n 1. Inicialmente sabemos que cada variable aleatoria Xn del proceso es F medible. La condici on de adaptabilidad requiere que Xn sea tambi en una variable aleatoria respecto de la sub - algebra Fn . Esta condici on t ecnica de adaptabilidad facilita el c alculo de probabilidades de los eventos de un proceso en ciertas situaciones. Naturalmente todo proceso es adaptado a su ltraci on natural, y puede demostrarse que la ltraci on natural es la ltraci on m as peque na respecto de la cual el proceso es adaptado. El siguiente caso particular es necesario de considerar. Denici on 7.3 Se dice que el proceso Xn : n 1 es predecible respecto de la ltraci on Fn n 0 si para cada n 1, la variable Xn es Fn1 -medible. Observe que en este caso la ltraci on debe comenzar con el sub ndice cero. Evidentemente todo proceso predecible es adaptado. La denici on de adaptabilidad es la misma en el caso de procesos a tiempo continuo, y se pueden denir adem as las siguientes dos - algebras: F y Ft
s t
t 0
Ft , Fs .
Se dice entonces que una ltraci on es continua por la derecha si Ft Ft . Si Ft es una ltraci on continua por la derecha y la - algebra inicial F0 contiene a todos los subconjuntos insignicantes de F , entonces la ltraci on se llama est andar, o bien que satisface las condiciones usuales. Algunos c alculos requieren suponer estas hip otesis.
202
7. Martingalas
7.2.
Tiempos de paro
Sea Xn : n 1 un proceso adaptado a una ltraci on Fn n 1 . Un tiempo de paro es una variable aleatoria con valores en el espacio parametral de este proceso, que registra el tiempo en el que ocurre un cierto evento del proceso de tal forma que puede determinarse si ha ocurrido o no ha ocurrido tal evento al tiempo n con la informaci on de la - algebra Fn . Esta variable aleatoria puede tomar el valor innito cuando el evento de inter es nunca ocurre. Denici on 7.4 Una variable aleatoria con valores en 1, 2, . . . es un tiempo de paro respecto de una ltraci on Fn n 1 si para cada n 1 se cumple que n Fn . Bajo la interpretaci on de que es un tiempo aleatorio en el cual ocurre un cierto evento de inter es, la condici on n Fn puede interpretarse del siguiente modo: la pregunta de si el evento de inter es ha ocurrido al tiempo n o antes, debe poder ser respondida con la informaci on dada por la ltraci on al tiempo n. No es dif cil comprobar que la condici on que aparece en la denici on es equivalente a la condici on n Fn , para cada n 1. Ejemplo 7.2 (Tiempo de primer arribo) Sea X1 , X2 , . . . una sucesi on de variables aleatorias adaptada a la ltraci on Fn n 1 . Sea A un conjunto de Borel de R, y dena m n n 1 : Xn
A,
. Es decir, es el primer momento en donde conviene denir m n en el que la sucesi on toma un valor dentro del conjunto A, si acaso ello sucede. La variable aleatoria es un tiempo de paro, pues para cualquier valor entero de n,
X1 A Xn1 A Xn A Fn .
En particular, y recordando el problema de la ruina del jugador, tomando A como el conjunto 0, N , el primer momento en el que la variable Xn 1 n toma uno de los dos valores del conjunto A es un tiempo de paro, y es el tiempo aleatorio en el cual el juego naliza, ya sea porque el jugador se arruina o porque gana todo el capital.
7.3. Martingalas
203
Ejemplo 7.3 (Tiempo de segundo arribo) Sea nuevamente X1 , X2 , . . . una sucesi on de variables aleatorias adaptada a la ltraci on Fn n 1 , y sea A un conjunto de Borel de R. Dado un tiempo de paro nito 1 , dena ahora un segundo tiempo de paro de la siguiente forma: 2 m n n 1 : Xn
A.
Es decir 2 es el primer momento, despu es de 1 , en el que el proceso toma un valor dentro del conjunto A. Naturalmente se cumple 1 2 . Esta nueva variable resulta tambi en ser un tiempo de paro, pues el siguiente conjunto es un elemento de Fn .
n 1 k 1
Xk1 A Xn1 A Xn A.
En el caso de tiempos continuos, la denici on de tiempo de paro es la siguiente.
0, es un tiempo Denici on 7.5 Una variable aleatoria : de paro respecto de una ltraci on Ft t 0 si se cumple que para cada t 0,
7.3. Martingalas
t Ft .
Denici on 7.6 Se dice que un proceso a tiempo discreto Xn : n 1 es una martingala respecto de una ltraci on Fn n 1 si cumple las siguiente tres condiciones: a) Es integrable. b) Es adaptado a la ltraci on. c) Para cualesquiera n m, E Xm Fn Xn , c.s. (7.1)
Cuando en lugar de (7.1) se cumple la desigualdad E Xm Fn Xn , entonces el proceso es una submartingala, y si E Xm Fn Xn , entonces es una supermartingala.
204
7. Martingalas
Las martingalas tienen una interpretaci on sencilla en t erminos de juegos justos que ya hemos mencionado antes: si Xn denota el capital de un jugador al tiempo n, entonces la igualdad (7.1) establece que la fortuna promedio al tiempo futuro m, dado que se conoce la historia del juego hasta el tiempo n, es su capital al tiempo n, es decir, el juego es justo pues en promedio el jugador no pierde ni gana. En este sentido, la desigualdad E Xm Fn Xn , correspondiente a la denici on de submartingala, equivale a un juego favorable al jugador. La desigualdad contraria, el caso de submartingala, corresponde a un juego desfavorable al jugador. Puede comprobarse que la condici on (7.1) es equivalente a la igualdad aparentemente m as d ebil E Xn1 Fn Xn .
Esta u ltima condici on es la que a menudo usaremos para vericar la propiedad de martingala de un proceso a tiempo discreto. Adem as, cuando la ltraci on es la natural, es decir, cuando Fn X1 , . . . , Xn , la condici on de martingala puede escribirse en la forma E Xn1 X1 , . . . , Xn Xn .
Observe que toda martingala es al mismo tiempo una submartingala y una 1 es una submartingala, entonces supermartingala, y que si Xn : n Xn : n 1 es una supermartingala. Por lo tanto, toda propiedad para submartingalas puede ser escrita tambi en para supermartingalas bajo este 1 se cambio de signo. Por otro lado, tomando esperanza en (7.1) con n obtiene la igualdad E Xm E X1 , para cada m 1,
esto quiere decir que todas las variables aleatorias que conforman una martingala tienen la misma esperanza. An alogamente, tomando esperanza ahora en la condici on de submartingala se obtiene que para cualesquiera tiempos 1 n m, (7.2) E Xm E Xn , esto puede interpretarse en el sentido de que las submartingalas son procesos cuyas trayectorias, en promedio, tienden a crecer. M as adelante demostraremos que cuando la submartingala es acotada superiormente, es convergente. Este interesante resultado es el an alogo estoc astico al hecho de que toda
7.4. Ejemplos
205
sucesi on de n umeros reales creciente y acotada es convergente. Para procesos a tiempo continuo, la condici on de martingala se escribe E Xt Fs Xs , s t, sin olvidar la condipara cualesquiera tiempos s y t tales que 0 ciones de adaptabilidad e integrabilidad para poder llamar a tal proceso una martingala.
7.4.
Ejemplos
Veremos a continuaci on algunos ejemplos de martingalas. Martingala del juego de apuestas Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes id enticamente distribuidas y con esperanza nita. Dena Xn 1 n , y 1 , . . . , n . La variable aleatoria Xn puede considere la ltraci on Fn interpretarse como la fortuna de un jugador despu es de n apuestas sucesivas en donde la ganancia o p erdida en la k- esima apuesta es k . Claramente el as, para cada n 1, proceso Xn : n 1 es integrable y es adaptado. Adem E Xn1 Fn E Xn n1 Fn Xn E n1 Fn Xn E n1 .
Cuando el resultado promedio de cualquiera de las apuestas es cero, el segundo sumando se anula y se tiene un ejemplo de martingala, es decir, un juego justo. En particular, una caminata aleatoria sim etrica es una martingala. Si el resultado promedio de las apuestas es mayor o igual a cero, entonces E Xn1 Fn Xn , y por lo tanto el proceso es una submartingala, un juego favorable al jugador. Finalmente, cuando el resultado promedio de cualquier apuesta es menor o igual a cero, el proceso es una supermartinXn , correspondiente a un juego desfavorable al gala pues E Xn1 Fn jugador. Martingala del proceso de Poisson centrado Sea Xt : t 0 un proceso de Poisson de par ametro . Entonces el proceso centrado Xt t : t 0 es una martingala. En efecto, este nuevo proceso
206 es integrable y adaptado. Adem as, para cada 0 E Xt t Fs s t,
7. Martingalas
E Xt Fs t
E Xt Xs Xs Fs t E Xt Xs Fs Xs t E Xt Xs Xs t t s Xs t Xs s.
Este ejemplo es un caso particular del siguiente resultado que el lector puede f acilmente vericar siguiendo el c alculo anterior: si un proceso integrable Xt : t 0 tiene incrementos independientes, entonces el proceso centrado Xt E Xt : t 0 es una martingala. Martingala de la esperanza condicional Sea X una variable aleatoria integrable, y sean F1 y F2 dos sub - algebras tales que F1 F2 . No es dif cil comprobar la siguiente propiedad de la esperanza condicional: E E X F2 F1 E X F1 .
Sea Fn n 1 una ltraci on dada. Usando la identidad anterior demostraremos que la sucesi on de variables aleatorias dada por Xn E X Fn es una martingala. Es claro que cada una de estas variables es integrable y por denici on de esperanza condicional el proceso es adaptado a la ltraci on. Adem as E Xn1 Fn E E X Fn1 Fn E X Fn Xn .
Martingala de la urna de Polya Suponga que una urna contiene inicialmente una bola blanca y una bola negra. Un experimento consiste en escoger una bola al azar y regresarla a la urna junto con otra bola del mismo color. Este experimento se repite varias veces. Sea Xn el n umero de bolas blancas en la urna despu es del n- esimo ensayo.
Figura 7.1
7.5. Procesos detenidos
207
Es claro que X0 1, y que despu es del n- esimo ensayo hay n 2 bolas en la urna. Adem as 1 Xn n 1, y por lo tanto E Xn . Las probabilidades de transici on son las siguientes P Xn1 y P Xn1 k 1 Xn k Xn k k , n2 n2k . n2 k
Xn Yn1 , en donde Yn1 es una Observe que se puede escribir Xn1 variable aleatoria que toma el valor 1 cuando se escoge una bola blanca en la extracci on n 1, y el valor 0 cuando la bola escogida es negra, por lo tanto, E Xn1 Xn Xn 0 n 2 Xn n2
n 1 nX 2
Es decir, hemos comprobado que el proceso Mn : n 0 es una martingala. Se modica el resultado si la conguraci on inicial de la urna es distinta a la considerada? Se modica el resultado si en lugar de agregar una bola adicional se agregan r bolas del mismo color?
Este c alculo demuestra que el proceso Xn : n 0 no es una martingala. on de Sin embargo, si se dene Mn Xn n 2, lo cual representa la fracci bolas blancas en la urna despu es de la n- esima extracci on, entonces se tiene que Xn1 Xn E Mn1 Fn E Fn Mn . n3 n2
n3 Xn . n2
7.5.
Procesos detenidos
astico adaptado a una ltraci on Fn n 0 , Sea Xn n 0 un proceso estoc y sea un tiempo de paro respecto de la misma ltraci on. En ocasiones es necesario considerar un proceso de la forma X n , en donde n m n, n. A este tipo de procesos se les llama procesos detenidos, por ejemplo, suponga que k, entonces, X
n
Xn si n Xk si n
k, k.
208
7. Martingalas
Es decir, como funci on del par ametro n el proceso se vuelve constante a partir del tiempo aleatorio . Medibilidad y adaptabilidad de X n Las variables del proceso detenido son efectivamente variables aleatorias y el proceso mismo es adaptado a la misma ltraci on, pues para cualquier n umero real x, y para cada n umero natural n,
n k 1
Xk
Xn
x.
La expresi on del lado derecho es claramente un elemento de Fn . Si el proceso original es integrable, entonces el proceso detenido es tambi en integrable, pues E X
n
E X 1
n k 1 n k 1
E Xn 1 n
k
E Xk 1 E Xk
E Xn 1 n
.
E Xn
1 es la martingala del juego de Por ejemplo, considere que Xn : n apuestas. Suponga que el jugador decide dejar de jugar cuando pierda todo su capital o cuando consigue ganar el doble de su capital inicial. El momento aleatorio en el que ocurre alguno de estos dos eventos es un tiempo de paro . El capital del jugador en cualquier tiempo n puede expresarse como X n . Se on puede demostrar que si Xn : n 0 es un proceso adaptado a la ltraci Fn n 0, y es un tiempo de paro con valores en 0, 1, . . . que adem as 1, entonces X es una variable aleatoria. es nito, es decir, P Teniendo como v alido este resultado, demostraremos a continuaci on que una martingala detenida sigue siendo martingala. 0 es una martingala, submartingala o Proposici on 7.1 Si Xn : n supermartingala, y es un tiempo de paro respecto de la misma ltraci on, : n entonces el proceso detenido X n 0 tambi en lo es. Demostraci on. Hemos demostrado antes que el proceso detenido es adaptado e integrable. Resta demostrar la propiedad de martingala. El caso
n: estrategias de juego 7.6. Una aplicacio
209
submartingala o supermartingala se obtiene modicando adecuadamente la pen ultima igualdad en el siguiente an alisis. E X
n1 Fn
n k 1 n k 1 n k 1
E Xk 1 Xk 1 Xk 1
n k
Fn E Xn1 1 n Fn
E Xn1 Fn 1 n Xn 1 n
7.6.
Una aplicaci on: estrategias de juego
Considere nuevamente la sucesi on de variables aleatorias independientes id enticamente distribuidas n tal que P 1 12 y P 1 12, y con ltraci on natural Fn n 1 . Considere las sumas Xn 1 n .
1 es una martingala que representa el total de Sabemos que Xn : n ganancias en una serie de n apuestas justas de una unidad monetaria. Suponga ahora que el monto de cada apuesta no es uno, sino una cantidad an para la n- esima apuesta. Supondremos que an es una variable aleatoria que el jugador determina a partir de la informaci on de las n 1 apuestas previas, y por lo tanto es una variable Fn1 -medible, es decir, se trata de un pro1 con ceso predecible. A la colecci on de variables aleatorias an : n esta caracter stica se le llama una estrategia de juego. Bajo una de estas estrategias, el capital del jugador despu es de la n- esima apuesta es ahora la variable aleatoria An a1 1 an n , la cual es Fn -medible. Bajo la hip otesis de que la estrategia de juego consta de variables aleatorias acotadas, se cumple que el proceso An : n 1 es
210
7. Martingalas
integrable y cumple adem as la propiedad de martingala, pues E An1 Fn E An an1 n1 Fn An an1 E n1 Fn An an1 E Xn1 Xn Fn An . Esto quiere decir que bajo cualquier estrategia de juego, el proceso de ganan1 es una martingala siempre y cuando el proceso original cias An : n Xn : n 1 lo sea. Es importante que los apostadores conozcan este resultado pues quiere decir que no existe una estrategia de juego que convierta un juego justo en un juego favorable o desfavorable al jugador. El mismo an alisis demuestra que si el proceso original Xn : n 1 es una submartingala o supermartingala y la estrategia de juego consta de variables aleatorias no negativas y acotadas, entonces el proceso An : n 1 sigue siendo una submartingala o supermartingala. Uno de los varios signicados del t emino martingala, y que parece ser el original, establece que una martingala es una estrategia de juego en la cual un jugador apuesta sucesivamente en cada lanzamiento de una moneda honesta del siguiente modo: inicialmente apuesta una unidad monetaria. En caso de perder, dobla el monto de la apuesta para el siguiente lanzamiento. En caso de ganar, vuelve a apostar una unidad monetaria en el siguiente lanzamiento. En la Figura 7.2 se muestra una tabla con algunos resultados siguiendo esta estrategia de juego.
Monto de la apuesta Resultado del lanzamiento Ganancia
An an1 E Xn1 Fn Xn
1 x -1
2 x -3
4 x -7
8 1
1 2
1 x 1
2 3
1 x 2
Figura 7.2 Bajo esta estrategia de juego resulta que cada vez que el jugador acierta se recupera de las p erdidas anteriores e incluso incrementa su fortuna en una unidad monetaria. En efecto, si el jugador pierde las primeras n apuestas y
n: estrategias de juego 7.6. Una aplicacio gana la apuesta n 1, entonces su capital al tiempo n 1 es
211
1 2
1 2 2 2
n apuestas perdidas
n 1
apuesta n 1 ganada
n 1 k 0
2k 2n
n
2 n 11 2 2 1 2n 2n 1.
De esta manera si el jugador pudiera mantener esta estrategia de juego tendr a una unidad ganada por cada acierto que haya conseguido. Parece ser una estrategia segura de ganar, sin embargo, veamos cu anto, en promedio, podr a ser su d ecit justo antes de recuperarse, es decir, calcularemos E X 1 , en donde es el tiempo de paro en el que el jugador acierta por primera vez. Puede comprobarse que este tiempo de paro es nito casi seguramente, es decir, P 1. De hecho, con probabilidad uno, el jugador tendr a eventualmente un exito aun cuando sus probabilidades de acertar fueran peque nas. Como hemos visto, despu es de n apuestas consecutivas perdidas el capital empe nado es
1 21 22 2n1
n 1
1 2n ,
y la probabilidad de perder n apuestas sucesivas y ganar la apuesta n 1 es 12n1 . Por lo tanto, E X 1 E X 1 E Xn1 P n P n n
n 1
n 1
1 2n1 21n
.
Es decir, se requerir a de un capital promedio innito y poder apostar una innidad de veces para llevar a cabo con exito esta estrategia, algo no muy factible en t erminos de dinero y tiempo.
212
7. Martingalas
7.7.
Teorema de paro opcional y aplicaciones
Hemos observado antes que para una martingala Xn : n 1 se cumple que E Xn E X1 , para cualquier valor de n. Si adem as se tiene un tiempo de paro nito , no necesariamente es cierto que E X E X1 , e incluso expresiones como E X podr an no ser nitas como en la estrategia de juego llamada martingala analizada en la secci on anterior. El siguiente resultado establece condiciones bajo las cuales la variable X tiene la misma esperanza que la martingala. 1 una marTeorema 7.1 (Teorema de paro opcional) Sea Xn n tingala y sea un tiempo de paro nito, ambos respecto de una ltraci on Fn n 1, tales que: a) X es integrable. b) l m E Xn 1
n n
0. E Xn , para cualquier n 1. 1,
Entonces
E X
Demostraci on.
La observaci on importante es que para cualquier n X X

n
X Xn 1
n n
.
es una martingala,
Tomando esperanza y usando el hecho de que X E X E X

n
E X Xn 1 n E X1 E X 1 n E Xn 1 n .
Como el proceso original es una martingala, el primer sumando es E Xn . Haciendo n , el tercer sumando se anula por hip otesis. Usando la hip otesis de integrabilidad de X y el teorema de convergencia dominada, el segundo sumando converge tambi en a cero pues es la cola de la serie convergente E X E
k 1
Xk 1
k 1
E Xk 1
7.7. Teorema de paro opcional y aplicaciones
213
Como una aplicaci on del teorema de paro opcional calcularemos algunos tiempos medios de arribo en caminatas aleatorias. Caso caminata sim etrica, barrera sim etrica Sea Xn : n 0 una caminata aleatoria sim etrica simple sobre Z que inicia en cero, y sea b 1 un entero cualquiera. Dena el tiempo de paro Xn m n n 1 : Xn b,
b
n es decir, es el primer momento en el que la caminata alcanza, en valor absoluto, el nivel b, v ease la Figura 7.3. b Nos interesa encontrar E , esto es, el n umero promedio de pasos que le toma Figura 7.3 a la caminata llegar al nivel b. Sabemos que tanto el proceso Xn : n 0 2 n : n como Xn 0 son martingalas. Suponiendo de manera preliminar que las condiciones del teorema de 2 2 1 paro opcional se cumplen, se tiene que E X E X1 0. Por lo 2 2 ltima igualdad se obtiene al observar que tanto, E E X b . La u X b. En palabras, este resultado dice que la caminata aleatoria sim etrica simple que inicia en cero necesita, en promedio, b2 pasos para alcanzar, en valor absoluto, el nivel b.
Caso caminata sim etrica, barrera asim etrica Generalizaremos ahora el c alculo del p arrafo anterior para el caso en el que se tiene una barrera inferior a y una barrera superior b, con a, b N, no necesariamente id enticos. La idea es aplicar nuevamente el teorema de paro opcional aunque los c alculos no son tan inmediatos. Supongamos entonces que Xn : n 0 es una caminata aleatoria sim etrica simple que inicia en cero y dena el tiempo de paro m n n 0 : Xn b o Xn
a,
2n : n en donde a, b N. Nuevamente el proceso centrado Xn 0 es una 2 2 martingala y por lo tanto E X E X1 1 0, de donde se obtiene
214
7. Martingalas
2 . Ahora no es tan sencillo calcular esta esperanza pues X 2 E E X puede tomar dos valores, b2 o a2 . Entonces,
Dena uk P X b X0 k. Usando an alisis del primer paso, es decir, condicionando sobre el valor que toma la caminata aleatoria en el primer paso, puede comprobarse que la probabilidad uk cumple la ecuaci on en diferencias 2uk uk1 uk1 , con condiciones de frontera ub 1 y ua uk ak . ab 0, y cuya soluci on es
2 E X
b2 P X
b a2 P X
a.
An alogamente, deniendo vk P X cumple la ecuaci on en diferencias 2vk con condiciones de frontera vb
X0
k, se encuentra que vk
vk1 vk1 , 0 y va vk bk . ab 1, y cuya soluci on es
Por lo tanto, E
2 E X 2
b2 P X
b u0 a v0 a b b2 a2 ab ab ab.
2
b a2 P X
Cuando a ca.
b se recupera el resultado del caso cuando la barrera es sim etri-
Caso caminata asim etrica, barrera asim etrica En este caso el proceso Xn : n 0 no es una martingala pero debido a la propiedad de incrementos independientes, el proceso centrado
Xn np q : n
7.7. Teorema de paro opcional y aplicaciones
215
lo es. Suponiendo nuevamente que las condiciones del teorema de paro opcional se cumplen, se tiene que E X p q E X1 p q 0. E X p q . El problema es nuevamente De donde se obtiene E encontrar E X . Tenemos que Dena nuevamente uk P X b X0 k. Usando an alisis del primer paso puede comprobarse que uk cumple la ecuaci on en diferencias uk con condiciones de frontera ub uk p uk1 q uk1 , E X b P X b a P X
a.
An alogamente, deniendo vk cumple la ecuaci on en diferencias vk con condiciones de frontera vb vk Por lo tanto, E X
pqbk pqab . 1 pq ab P X a X0 k, se encuentra que vk

p vk1 q vk1 , 0 y va
1 y ua
0, y cuya soluci on es
1, y cuya soluci on es
qpak qpab . 1 q pab
b u0 a v0 pqb pqab a qpa qpab b 1 pq ab 1 q pab 1 p q b . b a b 1 pq ab E a b 1 pq b . p q p q 1 pq ab b
Entonces,
Vericaremos a continuaci on la validez de las tres condiciones del teorema de paro opcional para esta aplicaci on cuando la caminata y las barreras son sim etricas.
216
7. Martingalas
a) Demostraremos que c.s. La estrategia consiste en considerar bloques sucesivos de 2b pasos en la caminata aleatoria. Observe que el evento es el l mite de la sucesi on decreciente de eventos 2bk, para k 1, 2, . . ., y que el evento 2bk est a contenido en el evento Ninguno de los primeros k bloques contiene u nicamente acil valores 1. La utilidad de este evento mayor radica en que es f calcular su probabilidad, como veremos a continuaci on. Tenemos que P
k k
l m P
l m P Ninguno de los primeros k bloques l m 1 12 contiene u nicamente valores

2b k
2bk
0.
2 b) Demostraremos ahora que E X que 2 E X
2 . Como X
b2 , se tiene
b2 E b2 b2 b2
k P
k 2bk j 2bk
k 0 2b k 0 j 1 2b k 0 j 1
2bk j P 2bk 1 P
b2 2b2 .
k 0
k 1 1 122b k
0, cuando .
2 n 1 c) Finalmente vericaremos que E Xn 2 E Xn n 1 n
2 E Xn 1
N P
2
E n1 n n E 1 n .
7.8. Algunas desigualdades
217
La sucesi on de eventos n es mon otona decreciente y por lo tanto convergente, su l mite es el evento que tiene probabilidad cero. El primer sumando por lo tanto se hace peque no cuando n crece. Como , la sucesi on de variables 1 n es tambi en decreciente y E consta de variables aleatorias integrables cuyo l mite es cero c.s. El segundo sumando por tanto tambi en converge a cero.
7.8.
Algunas desigualdades
En esta secci on se demostrar an algunas desigualdades asociadas a submartingalas. No haremos mayor uso de ellas en lo sucesivo pero en sus demostraciones se pondr an en pr actica algunos resultados estudiados antes. Proposici on 7.2 (Desigualdad maximal de Doob) Sea Xn : n 1 m una submartingala no negativa y dena Xn axX1 , . . . , Xn . Entonces para cualquier 0,
P Xn
Demostraci on. n
E Xn 1Xn
k n : Xk
.
.
Para cada n natural dena el tiempo de paro m n1
Es decir, es el primer momento hasta n en el que el proceso alcanza o rebasa n. Como Xn : n 1 el valor . Si tal evento nunca ocurre, entonces es una submartingala y 1 n, se tiene que E Xn E X . Observe , entonces X , y si ocurre Xn , que si ocurre el evento Xn entonces n. Por lo tanto, E Xn E X
E X 1Xn
P X
n
E X 1Xn . E Xn 1Xn
Es decir,
P Xn
E Xn E Xn 1Xn . E Xn 1Xn
218
7. Martingalas
Proposici on 7.3 (Desigualdad maximal de Doob en L2 ) Sea Xn : n 1 una submartingala no negativa y cuadrado integrable. Para Xn m axX1 , . . . , Xn se tiene que
E Xn
2 4 E Xn .
Demostraci on. El segundo momento de una variable aleatoria no negativa X puede expresarse, cuando existe, de la siguiente forma: E X 2
2
0
x P X
x dx.
Usando esta expresi on, la desigualdad maximal de la Proposici on 7.2, el teorema de Fubini y despu es la desigualdad de Cauchy-Schwarz se tiene que E X 2
n
2
0
x P Xn
E Xn 1Xn
x dx
x
dx.
x X n
X
n
Xn dP dx
Xn
0
dx dP
dP Xn Xn
2
2E Xn Xn
2 Por lo tanto, E Xn
2. E Xn
2 E Xn 2 2 2 E Xn . E Xn Elevando al cuadrado se obtiene el resultado.
7.9.
Convergencia de martingalas
En esta secci on revisaremos algunos elementos que nos llevar an a enunciar y demostrar el teorema de convergencia de submartingalas de Doob. Usaremos algunas herramientas de la teor a de la medida.
7.9. Convergencia de martingalas
219
Proposici on 7.4 Sea Xn : n 0 una submartingala y sean 1 y 2 dos tiempos de paro acotados tales que 0 1 2 N , con N N jo. Entonces E X1 E X2 . Demostraci on. E Xn1 11 Sea k jo tal que k
k
N . Entonces
k
12 n
E E Xn1 11
12 n Fn E E Xn1 Fn 11 k 12 n E Xn 11 k 12 n .
k
Por lo tanto, E X2
n 1 1 k
E X2 11
12 n E Xn 11 k 12 n E X2 11 k 12 n E Xn1 11 k 12 n E X2 n1 11 k .
Esto quiere decir que la funci on n ciente. Evaluando esta funci on en n desigualdad E Xk 11 k Entonces, E X1
N
E X2 n 11 k es mon otona crek y despu es en n N se obtiene la

k
E X2 11 E X1 11 E Xk 11 E X2 11
k 0 N k 0 N k 0
E X2 .
N umero de cruces Sea Xk : k 0 un proceso adaptado a una ltraci on Fk k 0 , y sean a b dos n umeros reales. Consideraremos que n es un n umero natural cualquiera.
220 Dena la sucesi on creciente de tiempos de paro 1 2 3 4 . . . m n k m n k m n k m n k 1 : Xk 1 : Xk 2 : Xk 3 : Xk b, a, b, a,
7. Martingalas
Si alguno de los conjuntos se nalados es vac o o bien cuando k n, para n. De esta forma se tiene la sucesi on creciente de alguna k, se dene k tiempos de paro (7.3) 1 2 n. Una de tales sucesiones se muestra en la Figura 7.4, en donde se presenta una trayectoria del proceso con sus valores unidos por una l nea continua para una mejor visualizaci on. Nos interesa contar el n umeX k ro de cruces de arriba hacia abajo, que b las trayectorias del proceso realizan sobre el a intervalo a, b. En la gr aca se muestran tres k cruces de este tipo, 1 2 3 4 5 6 los cuales se encuentran remarcados en la Figura 7.4 trayectoria. Observe que antes del valor n y para valores impares en el sub ndice de , el proceso se encuentra arriba de b en ese momento, mientras que para valores pares del sub ndice, el proceso se encuentra por abajo del nivel a, es decir, entre los tiempos 2k1 y 2k el proceso realiza un cruce de arriba hacia abajo. El n umero de cruces completos, de arriba hacia abajo, que el proceso realiza aximo entero k tal que sobre el intervalo a, b antes del tiempo n es el m 2k n, y se denota por Dn a, b, es decir, Dn a, b m ax k 1 : 2k n.
221
Si el conjunto de cruces es vac o, se dene Dn a, b 0. La letra D usada para denotar este n umero proviene del t ermino en ingl es Downcrossing. Observe que para cada n, la funci on Dn a, b : 0, 1, . . . es una variable k 2k aleatoria, pues para cada entero k, el conjunto Dn a, b n es medible. De esta manera se tiene la sucesi on mon otona de variables umero total de aleatorias D1 a, b D2 a, b que es convergente al n cruces D a, b sup k 1 : 2k . En la demostraci on que se presenta a continuaci on sobre la convergencia de submartingalas se hace uso de este n umero de cruces. Empezaremos estimando la esperanza de Dn a, b. Proposici on 7.5 Sea Xn : n E Dn a, b ba 1 0 una submartingala. Entonces ba 1
E Xn b
sup E Xn b .
n
Demostraci on. Dena la sucesi on de eventos Ak k n para k 1, 2, . . . Por la monoton a de los tiempos de paro (7.3) se tiene que A1 A2 Eventualmente los elementos de esta sucesi on son el conjunto vac o, pues no pueden efectuarse demasiados cruces en un tiempo limitado n. Observe adem as que cuando ocurre el evento A2k1 el proceso al tiempo 2k1 se encuentra por arriba de b, mientras que cuando ocurre A2k , el proceso al tiempo 2k se encuentra por abajo de a. A continuaci on usaremos la propiedad de submartingala aplicada a los tiempos de paro acotados 2k1 2k n. Tenemos entonces que E X2k1 E X2k , es decir,

X2k1 dP
X2k dP. A2k1 Ac 2k 1 , se tiene
Ac 2k1
Separando ambas regiones de integraci on como que
A2k1
X2k1 dP
Ac 2k1
X2k1 dP
A2k1
X2k dP
X2k dP.
Ahora observe que sobre el conjunto Ac 2k n. 2k 1 , se cumple que 2k 1 Por lo tanto, la segunda y cuarta integral coinciden y podemos omitirlas de
222
7. Martingalas
esta desigualdad. A nadiendo la constante b, se llega al siguiente resultado:
A2k1 A2k1
2k 1
b dP
X b dP.
2k
Entonces,
A2k1 A2k
X b dP
2k
X b dP
2k
A2k1 A2k
a bP A2k
Por lo tanto, P A2k 1
X b dP
2k
A2k1 A2k
Xn b dP.
Xn b dP b a A2k1 A2k 1 Xn b dP. b a A2k1 A2k

n P Dn a, b
n k 1 n k 1
Como P A2k
P 2k
k, k
E Dn a, b
P Dn a, b P A2k
n
bak ba
1 E Xn b .
1 A2k1 A2k
Xn b dP
Para la u ltima desigualdad se hace uso del hecho de que las diferencias on de la primera A2k1 A2k son conjuntos ajenos. Esto concluye la demostraci
223
desigualdad. La segunda desigualdad del enunciado se sigue de las siguientes estimaciones: Xn b Xn b Xn b .
Ahora estamos en condiciones de probar que toda submartingala acotada en media es convergente. Teorema 7.2 (Teorema de convergencia de submartingalas de Doob) Sea Xn : n 0 una submartingala tal que supn E Xn . Entonces existe una variable aleatoria integrable X tal que
n
l m Xn
c.s.
Demostraci on. Vericaremos primero que la convergencia de tal sucesi on de variables aleatorias es equivalente a la condici on: D a, b casi seguramente, para cualesquiera n umeros a b. Sea en y considere la umero de cruces es D a, b . sucesi on num erica X1 , X2 , . . . cuyo n Demostraremos que la sucesi on Xn : n 1 es convergente si, y s olo si, , para cualesquiera a b. D a, b
Suponga que la sucesi on es convergente pero que D a, b alg un par de n umeros a y b tales que a b. Entonces, l m inf Xn
n
para
l m sup Xn .
n
Esto contradice la hip otesis de que la sucesi on es convergente.
Suponga ahora que D a, b para cualesquiera a b. Suponga que la sucesi on no es convergente. Entonces existen a1 b1 tales que l m inf Xn
n
a1
b1
l m sup Xn .
n
Entonces, en particular, para este par de n umeros reales se tiene que D a1 , b1 , lo cual contradice la hip otesis inicial.
224
7. Martingalas
Por lo tanto es suciente demostrar que con probabilidad uno, D a, b . Para llegar a esta conclusi on demostraremos que E D a, b , pero ello es consecuencia del teorema de convergencia mon otona y la Proposici on 7.5 pues, E D a, b
n
l m E Dn a, b 1
ba E l m inf Xn
n
sup E Xn b
n
La integrabilidad del l mite X se sigue del lema de Fatou pues, EX
l m inf E Xn
n
sup E Xn
n
Como toda martingala es una submartingala, y toda supermartingala se convierte en una submartingala a trav es de un cambio de signo, se tiene que el teorema anterior es v alido en cualquiera de los tres casos. Es decir, toda martingala, submartingala o supermartingala acotada en la forma en la que indica el enunciado del teorema es convergente casi seguramente, y su l mite es una variable aleatoria integrable. La demostraci on que se ha presentado aqu sobre la convergencia de submartingalas es la prueba original de Doob de 1940. En [12] pueden encontrarse algunos otros m etodos alternativos de demostraci on. Como hemos mencionado, las submartingalas son procesos que tienen trayectorias que en promedio tienden a crecer, v ease la ecuaci on (7.2), de modo que en este caso hemos encontrado una cota superior para el n umero promedio de cruces hacia abajo. En algunos textos, por ejemplo [3], se enuncia y prueba el mismo resultado para supermartingalas, procesos cuyas trayectorias en promedio tienden a decrecer.
7.10.
Representaci on de martingalas
En esta secci on demostraremos que toda martingala que cumple la condici on de ser uniformemente integrable puede escribirse en t erminos de una esperanza condicional. Antes de enunciar el resultado explicaremos la condici on de integrabilidad uniforme para un proceso.
n de martingalas 7.10. Representacio
225
Integrabilidad uniforme Puede comprobarse que una variable aleatoria X es integrable si, y s olo si, para cada 0 puede encontrarse un n umero M 0 tal que
X dP
Considere ahora una sucesi on innita de variables aleatorias integrables 0 puede encontrarse entonces una sucesi on de X1 , X2 , . . . Para cada n umeros reales Mn 0 tales que
Xn
Mn
Xn dP
Cuando la sucesi on Mn no depende de n, es decir, cuando sea una sucesi on constante, se dice que la sucesi on de variables aleatorias es uniformemente integrable. Es evidente que la integrabilidad uniforme es m as fuerte que la simple integrabilidad de las variables de un proceso. Tenemos entonces la siguiente denici on, la cual ilustraremos despu es con un par de ejemplos. Denici on 7.7 Se dice que una sucesi on de variables aleatorias integrables umero X1 , X2 , . . . es uniformemente integrable si para cada 0 existe un n M 0 tal que para toda n 1,
Xn
Xn dP
Ejemplo 7.4 Considere el espacio muestral 0, 1 con la - algebra los subconjuntos de Borel de 0, 1, y como medida de probabilidad la medida de Lebesgue sobre dicho intervalo. La sucesi on de variables aleatorias dada por Xn n 10,1n no es uniformemente integrable pues para cualquier M 0,
Xn
Xn dP
1 si n 0 si n
M, M.
Ejemplo 7.5 Sea X una variable aleatoria integrable y sea Fn una lE X Fn es uniformetraci on. Demostraremos que la martingala Xn mente integrable. Como X es integrable, tenemos que para cada 0 0 tal que si P A , entonces A X dP . Adem as, como existe
226 Xn que
7. Martingalas E X Fn , tomando esperanzas y para cualquier M EX E Xn
0 se tiene
E X , con De modo que si se toma M P Xn M E X M . Por lo tanto,

M P Xn
Xn
Xn dP M . 0 arbitrario, entonces
Xn
Xn dP
X n
.
E X Fn dP X dP
Xn
La siguiente proposici on establece que la convergencia en media es una condici on suciente para que se cumpla la propiedad de integrabilidad uniforme en un proceso. Proposici on 7.6 Toda sucesi on X1 , X2 , . . . de variables aleatorias integrables que es convergente en media es uniformemente integrable. Demostraci on. Suponga que X1 , X2 , . . . es una sucesi on de variables aleatorias integrables convergente en media a la variable aleatoria integrable 0. Esto es, para cada 0 existe un natural X , es decir, E Xn X 2. Dado que el l mite X N tal que para cualquier n N , E Xn X es integrable, para cada 0 existe 0 tal que si P A , entonces 2. Tomando un valor de 0 m as peque no si es necesario se A X dP tiene adem as que A Xn dP , para cada n 1, . . . , N , cuando P A . Por otro lado, para cualquier n 1, E Xn
1 1 M si se toma M Es decir, P Xn M E Xn supn E Xn . Tal valor de M es nito pues como la sucesi on converge en media, es acotada en media. En particular y con el valor de M mencionado, lo anterior
M P Xn
Xn
Xn dP M .
n de martingalas 7.10. Representacio
227
demuestra la integrabilidad uniforme de las variables Xn para valores de n menores o iguales a N . Para el caso n N se tiene que

Xn
Xn dP
X n
2
X dP X dP
Xn
Xn X dP
Xn
E Xn X
El siguiente resultado es un rec proco de la proposici on anterior, s olo que hay que a nadir la condici on de que el proceso sea una submartingala, en particular, una martingala. Proposici on 7.7 Toda submartingala uniformemente integrable es convergente en media. Demostraci on. Sea Xn : n 1 una submartingala uniformemente integrable. Hemos demostrado antes que en tales condiciones la submartingala es necesariamente acotada en L1 , y por lo tanto satisface las condiciones del teorema de convergencia de martingalas de Doob. Existe entonces una variable aleatoria integrable X tal que Xn X c.s. Demostraremos que X en media, es decir, que E Xn X 0. Sea 0 arbitrario. Xn Debido a la hip otesis de integrabilidad uniforme, existe M 0 tal que para toda n 1, Xn X dP . 3 Xn X M Por otro lado, como la convergencia casi segura implica la convergencia en 3 0, cuando n , es decir, probabilidad se tiene que P Xn X existe un entero N tal que para n N , P Xn X 3 , 3M
228 en donde M E Xn X
7. Martingalas 0 es la constante de la estimaci on anterior. Entonces
X Xn
Xn X dP
Xn X
Xn X dP
M P Xn X 3 .
Xn X 3
Xn X dP 3 P Xn X 3 3
Finalmente se presenta el resultado que establece que toda martingala uniformemente integrable se puede escribir como una esperanza condicional. Teorema 7.3 (Teorema de representaci on de martingalas) on Sea Xn : n 0 una martingala uniformemente integrable, con ltraci natural Fn n 0 , y teniendo a la variable X como su l mite en media. Entonces, Xn E X Fn c.s. Demostraci on. Para cualquier m n, E Xm Fn decir que para cualquier evento A en Fn ,

Xn . Esto quiere
Xm dP
A A
Xn dP.
Entonces,
Xn X dP
Xm X dP
Xm X dP Xm X dP.
7.11. J. L. Doob Por lo demostrado antes, el u ltimo t ermino converge a cero cuando m Es decir, para cualquier A en Fn ,

229 .
Xn dP
A A
X dP.
Esto signica que Xn
E X Fn c.s.
La variable Xn E X Fn puede interpretarse como una aproximaci on de la variable desconocida X cuando se cuenta con la informaci on dada por la - algebra Fn . Conforme n crece, la informaci on acerca de X aumenta a trav es de la ltraci on, y en el l mite se obtiene o reconstruye X . Notas y referencias. Se pueden encontrar otras exposiciones introductorias al tema de martingalas a tiempo discreto en Karlin y Taylor [17], y Lawler [21]. Para lecturas m as avanzadas pueden consultarse Revuz y Yor [28] y Tudor [36].
7.11.
J. L. Doob
Joseph L. Doob (E.U.A., 19102004) empez oa tener inter es por la ciencia desde peque no, cuando cursaba la escuela secundaria. Estuvo muy interesado en el funcionamiento de la radio e incluso construy o el mismo su propio equipo. Este inter es por la electr onica, y las comunicaciones se increment o durante la preparatoria, obteniendo incluso una licencia para llevar a cabo transmisiones por radio. Dado este inter es en la electr onica, Doob J. L. Doob pens o que la f sica era el area que deb a estudiar al ingresar a la universidad. As lo hizo cuando ingres o a la Universidad de Harvard en 1926. Sin embargo, despu es de un a no de estudios se convenci o de que el curso que verdaderamente disfrut o fue el de c alculo y sus aplicaciones. Para el segundo a no se registr o en cursos de matem aticas. En 1930 obtuvo el grado de licenciatura de la Universidad de Harvard, y en 1931 el de maestr a bajo la supervisi on de J. L. Walsh en la misma universidad.
230
7. Martingalas
En junio de ese mismo a no se cas o con Elsie Field, con quien tuvo tres hijos. Al a no siguiente, en 1932, obtuvo el doctorado con un trabajo de tesis sobre las funciones anal ticas y sus valores de frontera. Tiempo despu es recibi o una beca para trabajar en la teor a de la probabilidad con H. Hotelling en la Universidad de Columbia de 1934 a 1935. Al nal de ese periodo fue contratado como profesor asociado en la Universidad de Illinois en 1935, all fue donde desarroll o su carrera como profesor hasta 1978, cuando se jubil o. Entre sus estudiantes de doctorado guran, entre otros, Paul Halmos (1938), David Blackwell (1941), J. Laurie Snell (1951) y John Walsh (1966). El trabajo de Doob se centra principalmente en la teor a de la medida, la teor a de la probabilidad y las relaciones de esta u ltima con la teor a del potencial. En particular, y profundizando parte del trabajo de Paul L` evy, durante los a nos cuarenta y cincuenta Doob desarroll o la teor a b asica de las martingalas y algunas de sus aplicaciones. En 1953 public o su libro cl asico Stochastic Processes, el cual fue reeditado en 1990. En 1984 public o Classical Potential Theory and its Probabilistic Counterparts, reimpreso en 2001. En 1994, a la edad de 84 a nos, public o su u ltimo texto titulado Measure Theory. Doob fue miembro de las Academias de Ciencias de Estados Unidos y de Francia, presidi o el Instituto de Estad stica Matem atica (IMS) en 1950, y la Sociedad Matem atica Estadounidense (AMS) de 1963 a 1964. Recibi o varios premios prestigiosos de su pa s por la trascendencia y profundidad de sus trabajos. Durante muchos a nos de su vida Doob mantuvo la costumbre y el gusto por organizar y realizar las famosas caminatas de los s abados por la tarde junto a profesores universitarios, colegas y amigos de la Universidad de Illinois. A petici on propia, las cenizas de sus restos mortales fueron esparcidas por sus compa neros en uno de sus sitios favoritos donde acostumbraba caminar junto con sus amigos. Para una informaci on m as amplia sobre la vida y el trabajo de Doob v eanse las siguientes referencias. a) Bingham N. H., Doob: a half century on, Journal of Applied Probability, Vol. 42, 257266, 2005. b) Burkholder D. y Protter P., Joseph Leo Doob, 1910-2004, Stochastic Processes and their Applications, Vol. 115, 1061-1072, 2005. c) Snell J. L., A Conversation with Joe Doob, Statistical Science, Vol. 12, N um. 4, 301311, 1997.
7.12. Ejercicios
231
d) Snell J. L., Obituary: Joseph Leonard Doob, Journal of Applied Probability, Vol. 42, 247256, 2005. Fuente: Archivo MacTutor, Universidad de St. Andrews.
7.12.
Ejercicios
Filtraciones 169. Sea Xt : t 0 un proceso adaptado a la ltraci on Ft t 0 , y sea on natural del proceso. Demuestre que para cada Gt t 0 la ltraci on natural es la t 0 se cumple Gt Ft . Esto signica que la ltraci ltraci on m as peque na respecto de la cual un proceso es adaptado. Tiempos de paro 170. Sea Xn : n 1 la sucesi on de resultados que se obtienen al lanzar sucesivamente un dado equilibrado. Sea Fn n 1 la ltraci on natural de este proceso y dena la variable como el primer tiempo n tal que X1 Xn 10. Determine si es un tiempo de paro respecto de la ltraci on dada. 171. Demuestre que la condici on en la denici on de tiempo de paro a tiempo discreto n Fn es equivalente a la condici on n Fn . 172. Sea n un entero positivo. Demuestre que la variable aleatoria constante as que es tambi en n es un tiempo de paro. Compruebe adem un tiempo de paro. 173. Sea un tiempo de paro con valores en 1, 2, . . . , y sea n un entero positivo. Demuestre que las siguientes variables tambi en son tiempos de paro. a) b) c) n.
n.
n.
232
7. Martingalas
174. Sean 1 y 2 dos tiempos de paro respecto de la misma ltraci on. Demuestre que las siguientes variables aleatorias tambi en son tiempos de paro. a) 1 b) 1 2 . 2 .
c) 1 2 .
175. Sea Xn : n 1 un proceso a tiempo discreto, y sea x un n umero real cualquiera dentro del espacio de estados del proceso. Dena las variables aleatorias: 1 como el primer momento en el que el proceso toma el valor x, 2 como el segundo momento en el que el proceso toma el valor x, etc. Demuestre que 1 2 son tiempos de paro. 176. Sea un tiempo de paro con valores en 0, tante. Demuestre que c es tiempo de paro.
y sea c
1 una cons-
177. Sea 1 , 2 , . . . una sucesi on innita de tiempos de paro respecto de la misma ltraci on. Demuestre que las siguientes funciones tambi en son tiempos de paro. a) b) c) nf 1 , 2 , . . .. sup 1 , 2 , . . .. k , es decir, es la k- esima estad stica de orden.
on Fn n 0 , y sea 178. Sea Xn : n 0 un proceso adaptado a la ltraci un tiempo de paro discreto con valores en 0, 1, . . . y que adem as 1. Demuestre que X es una variable es nito, es decir, P aleatoria. Martingalas 179. Deniciones equivalentes. Sea Xn : n 0 una martingala a tiempo discreto. Demuestre que la propiedad de martingala a) E Xm Fn Xn , para cualquier m n
7.12. Ejercicios es equivalente a la condici on b) E Xn1 Fn Xn , para cada n 1.
233
Enuncie y demuestre la equivalencia an aloga al caso submartingala E X G cuando y supermartingala. Sugerencia: E E X F G G F. 180. Demuestre que a) Toda martingala es una submartingala y una supermartingala. b) Todo proceso que es al mismo tiempo una submartingala y una supermartingala es una martingala. 181. Demuestre que para cualquier t b) E Xt c) E Xt a) E Xt s 0, 0 es una martingala. 0 es una submartingala. E Xs cuando Xt : t E Xs cuando Xt : t E Xs cuando Xt : t
0 es una supermartingala.
182. Martingala de la esperanza condicional. Sea X una variable aleatoria on a tiempo continuo. Demuestre integrable, y sea Ft t 0 una ltraci on es una martingala. que el proceso Xt : t 0 denido a continuaci Xt E X Ft .
183. Para la martingala del juego de apuestas justas Xn 1 n , 2 n : n demuestre que el proceso Xn 0 es una martingala si, y s olo si, Var 1. 184. Sea Xn : n 1 un proceso adaptado a la ltraci on Fn n 1 . Demuestre que si A es un evento F1 -medible, entonces el proceso Xn 1A : n 1 es una martingala, submartingala o supermartingala cuando Xn : n 1 lo es. 185. Sea M una constante. Demuestre que: a) Si Xn : n 0 es una submartingala, entonces Xn M : n es una submartingala. 0
234
7. Martingalas b) Si Xn : n 0 es una supermartingala, entonces Xn 0 es una supermartingala. M :n
0 and Yt : t 0 dos martingalas, submartingalas 186. Sean Xt : t o supermartingalas respecto de la misma ltraci on. Demuestre que el proceso aXt bYt c : t 0 es tambi en una martingala, submartingala o supermartingala, respectivamente, en donde a, b y c son constantes. Para el caso de submartingala y supermartingala se necesita suponer adem as que a y b son no negativos. En particular esto demuestra que la suma de dos martingalas es una martingala, y que el conjunto de martingalas respecto de la misma ltraci on y denidas en un mismo espacio de probabilidad es un espacio vectorial. 187. Sea Xn : n dado por Xn 1 un proceso integrable. Demuestre que el proceso m axX1 , . . . , Xn es una submartingala.
189. Sean Xt : t 0 y Yt : t 0 dos martingalas o supermartingalas respecto de la misma ltraci on. Demuestre que el proceso Xt Yt : t 0 es una supermartingala. 190. Martingala de de Moivre. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes cada una de ellas con la misma distribuci on dada por P 1 p y P 1 q 1 p. Sea Xn 1 n . qpXn es una martingala respecto de la lDemuestre que Yn traci on generada por el proceso Xn : n 1. 191. Sea Xt : t 0 una martingala respecto de una ltraci on Ft t 0 . Demuestre que el proceso tambi en es una martingala respecto de su ltraci on natural. En general el rec proco es falso.
188. Sean Xt : t 0 y Yt : t 0 dos martingalas o submartingalas respecto de la misma ltraci on. Demuestre que el proceso Xt Yt : t 0 es una submartingala.
192. Martingala producto. Sean 1 , 2 , . . . variables aleatorias independien1 n tes con esperanza unitaria. Demuestre que el proceso Xn es una martingala respecto de su ltraci on natural. 0 una submartingala. Demuestre que los siguientes 193. Sea Xn : n procesos tambi en son submartingalas.
7.12. Ejercicios
235
b) Xn
a) Xn
c) Xn . Suponga, en este caso, que Xn : n
m n Xn , 0.
m ax Xn , 0.
0 es una martingala.
194. Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes e id enticamente distribuidas. Dena Xn 1 n . Demuestre que: a) Si E , entonces el proceso Xn nE : n martingala. 1 es una 1 es una
2 nE 2 : n , entonces el proceso Xn b) Si E 2 martingala.
195. Sea Xt : t 0 una martingala cuadrado integrable. Demuestre que Xt2 : t 0 es una submartingala respecto de la misma ltraci on. V ease el siguiente ejercicio para una generalizaci on de este resultado. 196. Sea Xt : t 0 una martingala tal que E Xt p para cada t 0, en una submartincon p 1. Demuestre que Xt p : t 0 es tambi gala. Sugerencia: use la desigualdad de Jensen. En el siguiente ejercicio se generaliza este resultado. 197. Sea Xt : t 0 un proceso integrable, y sea g una funci on con0. Demuestre que vexa tal que gXt es integrable para cada t bajo cualquiera de las siguientes condiciones se cumple que el proceso gXt : t 0 es una submartingala. b) Cuando Xt : t decreciente. a) Cuando Xt : t 0 es una submartingala y g es una funci on no 0 es una martingala.
198. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes tales 2 que E k k , Vark k , para k 1, y con ltraci on natural Fn n 1 . Demuestre que el siguiente proceso es una martingala respecto de esta ltraci on.
2 Xn
k k 2
n k 1
2 k .
k 1
236
7. Martingalas
199. Sea n : n 0 un proceso integrable y adaptado a la ltraci on Fn n 0. Demuestre que el siguiente proceso es una martingala. Xn
n k 1
k E k
Fk1 . 0. Demuestre
200. Sea Xt : t 0 un proceso de Poisson de par ametro que los siguientes procesos son martingalas. a) Yt
201.
Xt t2 t. b) Yt exp Xt t 1 e , en donde R. Sea Xt : t 0 un proceso integrable con incrementos independientes. Demuestre que el proceso centrado Xt E Xt : t 0 es una
martingala.
202. Considere la martingala de la urna de Polya con una conguraci on inicial de una bola blanca y una negra. Suponga ahora que cuando se extrae una bola de un color se regresa a la urna junto con k bolas Xn 2 nk. Es Mn : n 0 una del mismo color. Dena Mn martingala? 203. Demuestre que el proceso Xn : n 1 de la estrategia de juego llamada martingala, cuando las apuestas son justas, es una martingala. 204. Sea Xn : n n3 , 0 una martingala. Demuestre que para 0 E Xn3 n1 n2
Xn Xn
2 1
0.
205. Sea 1 , 2 , . . . una sucesi on de variables aleatorias tal que el proceso Xn 1 n es una martingala. Demuestre que E i j 0 para i j. 0 una cadena de Markov con espacio de estados 206. Sea Xn : n 0, 1, . . .. Suponga que las probabilidades de transici on son p00 1 y pij ei ij j ! en los otros casos. Demuestre que Xn : n 0 es una martingala.
7.12. Ejercicios Teorema de paro opcional
237
207. Sea Xn 1 n una caminata aleatoria simple sobre Z y que inicia en el origen. Suponga P 1 p y P 1 q 1 p. Sean a y b dos enteros positivos jos. Dena el tiempo de paro m nn 1 : Xn a o Xn b. a) Use el teorema de paro opcional y el hecho de que q pXn : n 1 es una martingala para demostrar que P X y b) Demuestre que E
ab
P X
1 q pa , 1 q pab 1 pq b , 1 pq ab
pq
a b 1 pq b p q 1 pq ab
si p si p
q, q.
Integrabilidad uniforme 208. Demuestre que una variable aleatoria X es integrable si, y s olo si, para cada 0 existe M 0 tal que
X dP
238
7. Martingalas
Cap tulo 8
Movimiento Browniano
El fen omeno natural que ahora se conoce como movimiento Browniano tiene una interesante historia. El primer registro, aunque no as la primera observaci on, data de 1828, cuando el bot anico Robert Brown report o en una revista cient ca que granos de polen suspendidos en una cierta substancia y vistos a trav es de un microscopio realizaban un movimiento irregular e inexplicable [2]. Este extra no movimiento fue objeto de mucha discusi on y muy diversas controversias se suscitaron a partir de su diR. Brown vulgaci on en la comunidad cient ca de aquella epoca. Con la intenci on de dar una explicaci on satisfactoria del extra no fen omeno observado, se llevaron a cabo diversos experimentos y se formularon muy diversas hip otesis [23]. Hoy en d a este movimiento es entendido y explicado a trav es de las m ultiples colisiones aleatorias de las mol eculas del l quido con los granos de polen. Llegar a tal aseveraci on tom o muchos a nos, pues debi o aceptarse la teor a cin etico molecular de la materia, y el seminal trabajo de Einstein de 1905 sobre este fen omeno contribuy o decididamente a tal tarea. Aparentemente sin tener informaci on precisa de las observaciones de Brown, Einstein pudo predecir que el movimiento irregular de part culas suspendidas en l quidos deb a poder observarse a trav es de un microscopio. En [8] se puede encontrar la 239
240
8. Movimiento Browniano
reimpresi on de los primeros trabajos de Einstein sobre el movimiento Browniano. En este cap tulo se presenta una introducci on al modelo matem atico para el movimiento Browniano. Se trata del ejemplo m as importante de un proceso de Markov a tiempo continuo y con espacio de estados continuo.
8.1.
Denici on
Las observaciones reales del movimiento de granos de polen a trav es del microscopio sugieren que las trayectorias son continuas y que los desplazamientos son independientes en intervalos de tiempo disjuntos. Adem as, debido al gran n umero de colisiones del grano de polen con las mol eculas circundantes en longitudes de tiempo no peque nos, y teniendo en cuenta el teoFigura 8.1: rema central del l mite, los incrementos Movimiento Browniano pueden modelarse como variables aleatorias Gausianas. La estructura matem atica de un proceso estoc astico a tiempo continuo, denotado en este caso por Bt : t 0, ha resultado adecuada para modelar este tipo de fen omenos. En tal modelo, la variable Bt puede representar la posici on de la part cula al tiempo t. La denici on matem atica, en el caso unidimensional, es la siguiente. Denici on 8.1 (Primera denici on) Un movimiento Browniano unidimensional de par ametro 2 es un proceso estoc astico Bt : t 0 con valores en R que cumple las siguientes propiedades. 1. B0 0 c.s.
2. Las trayectorias son continuas. 3. El proceso tiene incrementos independientes. 4. Para cualesquiera tiempos 0 s t, la variable incremento Bt Bs tiene distribuci on N 0, 2 t s,
n 8.1. Definicio
241
Las condiciones que aparecen en esta denici on son consecuencia directa de las observaciones del fen omeno f sico, pero eso no garantiza que tal objeto matem atico exista. En 1923 el matem atico estadunidense Norbert Wiener demostr o la existencia y unicidad de un proceso con tales condiciones. Es por esta raz on que a menudo a este proceso tambi en se le llama proceso 0. En sentido estricto, de Wiener, y se le denota tambi en por Wt : t el movimiento Browniano es el fen omeno f sico, mientras que su modelo matem atico es el proceso de Wiener, aunque es com un llamar a ambas cosas por el mismo nombre: movimiento Browniano. Observe que la cuarta propiedad que aparece en la denici on anterior establece impl citamente que los incrementos son estacionarios. Demostraremos a continuaci on que las condiciones 3 y 4 de la denici on anterior son equivalentes a solicitar que las distribuciones nito dimensionales del proceso sean las que se especican a continuaci on. Denici on 8.2 (Segunda denici on) Un movimiento Browniano uni0 con dimensional de par ametro 2 es un proceso estoc astico Bt : t valores en R que cumple las siguientes propiedades. 1. B0 0 c.s. Bt son continuas.
2. Las trayectorias t
3. Para cualesquiera tiempos 0 t1 tn, y para cualesquiera conjuntos de Borel A1 , . . . , An de R, se cumple que la probabilidad P Bt1 es igual a
A1, . . . , Bt An
n
A1
An
pt1 , 0, x1 pt2 t1 , x1 , x2 ptn tn1 , xn1 , xn dxn dx1 , pt, x, y 1 2 2 t eyx

2
en donde
22 t .
(8.1)
Observe que la tercera propiedad de la u ltima denici on establece que la funci on de densidad del vector Bt1 , . . . , Btn evaluada en el punto x1 , . . . , xn es pt1 , 0, x1 pt2 t1 , x1 , x2 ptn tn1 , xn1 , xn .
242
En particular, la variable Bt tiene distribuci on N0, 2 t. Demostraremos a continuaci on que las dos deniciones anteriores son equivalentes. Proposici on 8.1 Las Deniciones 8.1 y 8.2 del movimiento Browniano son equivalentes. Demostraci on. I II . Se hace uso de la independencia de los incrementos y de la hip otesis de que estos tienen distribuci on normal. fBt1 ,Bt2 ,...,Btn x1 , x2 , . . . , xn fBt1 ,Bt2 Bt1 ,...,Btn Btn1 x1 , x2 x1 , . . . , xn xn1
fBt1 x1 fBt2 Bt1 x2 x1 fBtn Btn1 xn xn1 pt1 , 0, x1 pt2 t1 , x1 , x2 ptn tn1 , xn1 , xn .
pt1 , 0, x1 pt2 t1 , 0, x2 x1 ptn tn1 , 0, xn xn1
II I . De acuerdo al tercer postulado, para 0 s t, la funci on ps, 0, x pt s, x, y . de densidad del vector Bs , Bt es fBs ,Bt x, y Aplicando la f ormula general para la funci on de densidad de la diferencia de dos variables aleatorias, fY X u fX,Y x, u x dx, se obtiene
fBt Bs u
ps, 0, x pt s, x, u x dx 1 2 2 s 1 ex e
2
2s
22
1 2 2
on N0, 2 t s. Entonces es decir, Bt Bs tiene distribuci fBt1 ,Bt2 Bt1 ,...,Btn Btn1 x1 , x2 , . . . , xn fBt1 ,Bt2 ,...,Btn x1 , x2 x1 , . . . , xn xn1 x1 pt1 , 0, x1 pt2 t1 , x1 , x2 x1 pt1 , 0, x1 pt2 t1 , 0, x2 ptn tn1 , 0, xn fBt1 x1 fBt2 Bt1 x2 fBtn Btn1 xn . . . . ptn tn1 , x1 xn1 , x1 xn
2 2 t s pt s, 0, u,
u2
ts
t s
eu
22 ts dx
n 8.1. Definicio
243
Esto demuestra que las variables Bt1 , Bt2 Bt1 , . . . , Btn Btn1 son independientes, cada una de ellas con distribuci on normal con los par ametros mencionados. Se dice que un movimiento Browniano es est andar cuando 2 1. A trav es 2 t un movimiento Browniano no est andar del cambio de variable puede convertirse en uno est andar. Entonces, a menos que se especique lo contrario y sin p erdida de generalidad, a partir de ahora supondremos que el movimiento Browniano es est andar, es decir, el incremento Bt Bs tiene distribuci on N 0, t s. Puede demostrarse que los siguientes procesos tambi en son movimientos Brownianos. a) Wt b) Wt c) Wt d) Wt
B t : t
1 c Bc 2 t
0. 0, 0, con c con W0 0, 0 constante. 0. 0 jo.
:t
t B1t : t
Bt0 t Bt0 : t
con t0
Funci on de probabilidad de transici on on de probabilidad A la funci on pt, x, y denida por (8.1) se le llama funci de transici on del movimiento Browniano de par ametro 2 . En particular, la probabilidad de que un movimiento Browniano que inicia en x se encuentre es de t unidades de en un conjunto A R (apropiadamente medible) despu tiempo es pt, x, A
A
pt, x, y dy.
Hemos hecho enfasis en la tercera propiedad que aparece en la segunda denici on del movimiento Browniano, pues esta tiene la ventaja de que proporciona una expresi on expl cita para la probabilidad del conjunto de trayectorias Brownianas que cumplen las condiciones de encontrarse en el conjunto A1 al tiempo t1 , estar en el conjunto A2 al tiempo posterior t2 , etc etera. La condici on de que el movimiento Browniano inicie en el origen no es absolutamente necesaria. Pueden considerarse trayectorias Brownianas que inicien en un punto x cualquiera a trav es del proceso x Bt : t 0, x : t 0 para recordar la posici on de el cual se denota a veces por Bt
244
origen. Integrando directamente puede comprobarse que la probabilidad de transici on pt, x, y cumple la ecuaci on de Chapman-Kolmogorov, pt s, x, y
p t
pt, x, u ps, u, y du,
y tambi en cumple la ecuaci on de difusi on o ecuaci on de calor, 1 2p . 2 x2
En uno de sus trabajos de 1905 y a trav es de consideraciones te oricas f sicas, Einstein encontr o que la probabilidad de transici on pt, x, y satisface la ecuaci on de difusi on y a partir de all dedujo la expresi on Gausiana para esta probabilidad.
8.2.
Propiedades b asicas
Tenemos entonces que para el movimiento Browniano est andar cada va0 y riable aleatoria Bt tiene distribuci on N 0, t y por lo tanto E Bt 2 VarBt E Bt t. En particular E Bt Bs 2 t s, para 0 s t. El movimiento Browniano f sico real se presenta en tres dimensiones y es completamente err atico. En la Figura 8.2 se puede apreciar una posible trayectoria Browniana cuando esta se proyecta sobre una de sus coordeBt nadas. Esta gr aca fue generada en computadora y es s olo una aproximaci on del modelo matem atico. En la gr aca pueden apreciarse algunas t peque nas partes en donde aparentemente el comportamiento es lineal y suave, ello no sucede en el moFigura 8.2 delo te orico. Usando esta probabilidad de transici on demostraremos a continuaci on que el movimiento Browniano cumple la propiedad de Markov en el sentido d ebil. Proposici on 8.2 El movimiento Browniano es un proceso de Markov.
sicas 8.2. Propiedades ba Demostraci on. Para cualesquiera tiempos 0 y para cualquier evento A en R, t1 t2
245
tn
tn1 ,
P Btn1 A Bt1 x1 , . . . , Btn xn pt1 , 0, x1 pt2 t1 , x1 , x2 ptn tn1 , xn1 , xn ptn1 tn , xn , A pt1 , 0, x1 pt2 t1 , x1 , x2 ptn tn1 , xn1 , xn ptn1 tn , xn , A ptn , 0, xn ptn1 tn , xn , A ptn , 0, xn P Btn1 A Btn xn .
Puede demostrarse que cumple adem as la propiedad fuerte de Markov: si es un tiempo de paro respecto de la ltraci on del movimiento Browniano, entonces el proceso B t B : t 0 es tambi en un movimiento Browniano y es independiente de la - algebra F
A F
:A
t Ft para cada t
0.
En particular, cuando es constante t0 , el proceso Bt0 t Bt0 : t 0 es un movimiento Browniano. Como una consecuencia del hecho de que los incrementos de este proceso son independientes, demostraremos a continuaci on la propiedad de martingala. Proposici on 8.3 El movimiento Browniano es una martingala continua. Demostraci on. Claramente el proceso es adaptado a su ltraci on natural y cada variable aleatoria del proceso es integrable. Por otro lado, para cualesquiera tiempos s y t tales que 0 s t, E Bt Fs E Bt Bs Bs Fs E Bt Bs Bs Bs . E Bt Bs Fs E Bs Fs
246
El siguiente resultado no trivial se debe a Paul L` evy y establece condiciones que caracterizan de manera u nica al movimiento Browniano en t erminos de la propiedad de martingala. Teorema 8.1 (Teorema de caracterizaci on de Paul L` evy) Un proceso Xt : t 0 es un movimiento Browniano si, y s olo si, tiene trayectorias 2t : t 0 son continuas, empieza en cero, y tanto Xt : t 0 como Xt martingalas. El movimiento Browniano Bt : t 0 cumple claramente cada una de las condiciones mencionadas, aunque posiblemente no sea tan evidente que el 2 t : t proceso Bt 0 sea tambi en una martingala, ello no es dif cil de vericar y se deja como ejercicio. La parte fuerte de esta caracterizaci on radica en que estas condiciones determinan un movimiento Browniano. Usando la caracterizaci on de Paul L` evy puede demostrarse que los procesos denidos en los incisos (a), (b), (c) y (d) de la p agina 243 son movimientos Brownianos. El movimiento Browniano como l mite de una caminata aleatoria Considere una caminata aleatoria sim etrica simple sobre Z que inicia en 1 n , en donde 1 , 2 , . . . son variael origen, es decir, sea Xn bles aleatorias independientes e id enticamente distribuidas tales que P 1 P 1 12. Sabemos que E 0 y Var E 2 1. Suponga que la unidad en la variable tiempo es ahora de longitud t 1N , con N entero. El objetivo es hacer t cada vez m as peque no. Para lograr una versi on discreta del movimiento Browniano es necesario hacer tambi en un cambio en la escala en el tama no de los saltos, ahora no ser an unitarios sino de longitud t, m as adelante explicaremos las razones de esta elecci on. Dena ahora la caminata aleatoria Wnt t 1 t n , n 1.
una de cuyas trayectorias aparece en la Figura 8.3. Dada la simetr a de la 0. La raz on por la que se caminata, sigue cumpli endose que E Wnt ha tomado esa nueva escala en el tama no de los saltos es que con ello se logra similitud con el movimiento Browniano est andar al cumplirse tambi en que para cualquier valor de n, VarWnt nt Var nt. Puede demostrarse que cuando t 0 esta caminata tiende (en alg un sentido) a un
sicas 8.2. Propiedades ba
247
proceso a tiempo continuo con trayectorias continuas. El proceso l mite 3 t resultante es el movimien2 t to Browniano est andar. Est ta aproximaci on del movimiento Browniano como t 2t 3t 4t 5t 6t 7t 8t l mite de una caminata t aleatoria sugiere un meca2 t nismo para simular trayecFigura 8.3 torias Brownianas por computadora: se escoge t peque no y N el n umero de puntos que se deseen gracar. Se generan entonces N valores independientes de la variable con distribuci on uniforme en el conjunto 1, 1, y se graactica ca la sucesi on de puntos kt, Wkt , para k 0, 1, . . . , N . En la pr suelen generarse valores continuos para con distribuci on normal est andar. Este es el mecanismo seguido para generar la gr aca de la Figura 8.2 y las otras trayectorias Brownianas que aparecen en este cap tulo. Difusi on Suponga que se coloca una part cula al azar en la recta real de acuerdo a una cula se mueve densidad de probabilidad f y . Suponga ahora que esta part siguiendo un movimiento Browniano est andar unidimensional. Entonces la densidad de probabilidad de la posici on de la part cula despu es de t unidades de tiempo es la funci on f t, x dada por f t, x
en donde para la segunda igualdad se ha hecho uso de la identidad pt, y, x pt, x, y , pero ahora esta u ltima expresi on adquiere una interpretaci on interesante, pues corresponde a la esperanza de la variable f Bt para un x . A esmovimiento Browniano que inicia en x, es decir, f t, x E f Bt ta funci on tambi en se le denota por E x f Bt , y puede demostrarse que satisface la ecuaci on 1 2 f t, x f t, x. t 2 x2
f y pt, y, x dx
f y pt, x, y dx,
248
8.3.
Propiedades de las trayectorias
Antes de establecer las siguientes propiedades, recordemos la denici on de variaci on de una funci on. Sea a t0 t1 tn b una partici on m ax ti1 ti : i 0, . . . , n 1. La del intervalo a, b, y dena t variaci on de una funci on g : a, b R es el n umero l m sup
t 0 1 n i 0
gti1 gti .
Cuando este n umero es nito se dice que la funci on tiene variaci on nita en dicho intervalo. An alogamente, la variaci on cuadr atica es l m sup
t 0 n 1 i 0
gti1 gti 2 .
Demostraremos a continuaci on que sobre un intervalo de tiempo acotado a, b, casi todas las trayectorias del movimiento Browniano tienen variaci on no acotada, esto es, l m sup
t 0 1 n i 1
Bti1
Bt
c.s.
Esta propiedad es particularmente importante pues tiene como consecuencia el hecho de que no se pueden usar las trayectorias Brownianas como funciones integradoras en el sentido de Riemann-Stieltjes. El hecho de que se desee denir alg un tipo de integral respecto del movimiento Browniano ser a claro en el siguiente cap tulo cuando se estudian ecuaciones diferenciales estoc asticas. Por otro lado, demostraremos tambi en que la variaci on cuadr atica del movimiento Browniano sobre a, b es nita, de hecho, es la longitud del intervalo en cuesti on. Proposici on 8.4 La variaci on cuadr atica de una trayectoria del movimiento Browniano sobre el intervalo a, b es la longitud del intervalo, es decir, l m sup
t 0 n 1 i 1
Bti1
Bt
b a,
en el sentido L2 P .
8.3. Propiedades de las trayectorias
249
Demostraci on. Sea Pn : n 1 una sucesi on de particiones nitas del intervalo a, b. Denote por ti el incremento ti1 ti , y sea Bi la diferencia Bti1 Bti . Entonces E
Bi2 b a 2
E
i,j
Bi2 Bj 2 2b aE Bi2 b a2
i j

i i i i
E Bi 4 3ti
2
E Bi 2 E Bj 2 2b a
ti b a2
ti tj
b a
2ti 2 2ti
2
i j
ti 2 b a2
2b a m ax ti
0 i n
0.
Recordemos ahora el resultado que establece que toda toda sucesi on conon convergente casi seguvergente en el sentido L2 P tiene una subsucesi ramente. Por lo tanto existe una subsucesi on de particiones Pnk : k 1 del intervalo a, b tal que l m sup
t 0 n 1 i 1
Bti1
Bt
b a,
c.s.
Proposici on 8.5 (Variaci on del movimiento Browniano) La variaci on de una trayectoria del movimiento Browniano sobre el intervalo a, b es innita, casi seguramente, es decir, l m sup
t 0 1 n i 1
Bti1
Bt
c.s.
Demostraci on. Para cada n natural sea Pn la partici on uniforme del intervalo a, b en n subintervalos, es decir cada incremento ti ti1 ti
250
tiene longitud b an. Entonces se tiene la estimaci on

n 1 i 0
Bi
0m ax i n
Bi
n 1 i 0
Bi .
(8.2)
Sea Pnk : k
1 una subsucesi on de particiones uniformes tal que l m

n k 1 i 0
Bi
b a,
c.s.
Por otro lado, como las trayectorias del movimiento Browniano son continuas casi seguramente, se tiene que
k
l m
0 m ax i n
Bi
k
0,
c.s.
Substituyendo los u ltimos dos resultados en (8.2) se obtiene que, respecto de la subsucesi on de particiones, l m
n k 1 i 0
Bi
c.s.
De donde se sigue que el l mite superior es innito casi seguramente.
No diferenciabilidad Demostraremos a continuaci on que para cualquier tiempo t0 0 jo, con Bt no es diferenciable en t0 . M as adeprobabilidad uno la trayectoria t lante se enuncia sin demostraci on un resultado m as fuerte acerca de esta no diferenciabilidad. Proposici on 8.6 Sea t0 0 jo. Con probabilidad uno, el movimiento Browniano Bt : t 0 no es diferenciable en t0 . Demostraci on. Debido a que Bt0 t Bt0 : t 0 es tambi en un movimiento Browniano, es suciente demostrar la no diferenciabilidad de Bt en t 0. Demostraremos que con probabilidad uno, para cada n umero 1 2 n. Esta propiedad natural n existe t en el intervalo 0, 1n tal que t Bt
8.3. Propiedades de las trayectorias implica que Bt no es diferenciable en t dena el evento An y observe que A1 P An
251
0. Para cada n umero natural n
A2
1 Bt t
n,
para alg un t 0, 1n2 ,
Entonces, 1 B 4 1n4 1n 1 B1n4 n3 1 n n
P P
1 n 1 cuando n
P n2 B1n4 1 P B1
en un movimiento Browniano Hemos usado el hecho de que 1 c Bc2 t es tambi para cualquier c 0 constante. Por lo tanto P A1 P A2 1. Es decir, P An 1 para cualquier n 1. As , para cada t0 0, el conjunto de trayectorias t Bt que no son diferenciables en t0 tiene probabilidad uno. Este conjunto de trayectorias puede cambiar para cada valor de t0 , aunque cada una de ellas tenga probabilidad uno. El siguiente resultado, m as fuerte y que se enuncia sin demostraci on, asegura que con probabilidad uno no hay diferenciabilidad en ning un punto. Observe que el conjunto de tiempos t0 0 no es numerable y por lo tanto la armaci on no se sigue de manera obvia del resultado anterior. Proposici on 8.7 Con probabilidad uno, el movimiento Browniano Bt : t 0 no es diferenciable en ning un t 0. Las trayectorias Brownianas son entonces ejemplos de funciones, otrora consideradas extra nas, que son continuas pero no diferenciables en ning un punto. La gr aca de la Figura 8.2 muestra una de tales trayectorias, el zigzagueo incesante del movimiento de la part cula no permite la diferenciabilidad de su trayectoria en ning un punto. Este tipo de resultados son los que dan la pauta para buscar desarrollar una teor a de la diferenciabilidad de funciones un poco m as amplia que la proporcionada por el c alculo diferencial tradicional.
252
8.4.
Movimiento Browniano multidimensional
El movimiento Browniano que hemos estudiado con valores en R puede extenderse a un proceso con valores en Rn de la siguiente forma. Denici on 8.3 Sean B1 t, . . . , Bn t movimientos Brownianos independientes unidimensionales. El movimiento Browniano en Rn es el proceso B t
B1 t, . . . , Bn t.
En la Figura 8.4 puede apreciarse la simulaci on de una trayectoria Browniana en B 2 t R2 . En completa analog a con el caso unidimensional, este proceso puede denirse de manera alternativa mediante los siguientes postulados. Primeramente se piB1 t de que B 0 0, . . . , 0 casi seguramente. Se presupone adem as que las trayectorias t B t son continuas, y que el proceso tiene incrementos independientes. FinalFigura 8.4 mente, para cualesquiera tiempos 0 s t, el vector B t B s tiene una distribuci on normal multivariada con media el vector de ceros 0, . . . , 0, y matriz de covarianzas la matriz diagonal
2 t sn Es decir, la funci on de densidad del vector B t B s es
VarB t B s
2 t s1
0 .. .
f x1 , . . . , xn
2 2 1 ex1 2ts1 2 2 t s1 2 2 1 exn 2tsn . 2 2 t sn
Cuando los valores de los par ametros son todos uno, se dice nuevamente que el movimiento Browniano es est andar, y la funci on de densidad de B t
8.4. Movimiento Browniano multidimensional B s adquiere la expresi on compacta f x 1 , . . . , x n
253
2t s
n 2
2ts ,
2 en donde x x2 1 xn . Como en el caso unidimensional, puede considerarse un movimiento Browniano que inicie en x Rn , y entonces para cualquier t 0 la probabilidad de transici on o densidad de B t es
pt, x, y
1 e n 2 2t
Rn
y x
2t ,
que nuevamente cumple al ecuaci on de Chapman-Kolmogorov pt s, x, y pt, x, u ps, u, y du.
El proceso de Bessel Sea B t : t 0 un movimiento Browniano en Rn . El proceso de Bessel es el proceso dado por Rt B t
2 2 B1 t Bn t12 .
Es decir, Rt es la distancia Euclideana que guarda un movimiento Browniano n-dimensional respecto al origen al tiempo t, y por eso se le llama a veces movimiento Browniano radial. Se trata pues de un proceso con valores en 0, que evidentemente tiene trayectorias continuas. Puede demostrarse (v ease [1]) que este proceso cumple la propiedad de Markov y que la funci on erminos de las de probabilidades de transici on pt, x, y puede expresarse en t funciones de Bessel, y de all es de donde adquiere este nombre alternativo. Ecuaci on de calor en dominios acotados Vamos a enunciar sin demostraci on un resultado que nos llevar a a una aplicaci on del movimiento Browniano. Considere una regi on abierta y acotada on ut, x representa la D de Rn con frontera D , y suponga que la funci on en el tiempo temperatura en el punto x D al tiempo t 0. La evoluci de esta funci on est a dada por la ecuaci on de calor t ut, x d ut, x, 2
254
en donde es el operador Laplaciano, y d es una constante positiva. Suponga adem as que se tiene una temperatura inicial u0, x f x para x D , gx para x D . Sea x un punto y la condici on de frontera ut, x x D , en donde nf t 0 : Bt cualquiera en D y dena el tiempo Btx es un movimiento Browniano de par ametro 2 d, y que inicia en x. La soluci on a esta ecuaci on de calor con las condiciones mencionadas se puede expresar en t erminos del movimiento Browniano de la siguiente forma ut, x
x E f Bt 1 t
gB 1 t .
x
(8.3)
on de frontera ux gx para x D , para x D , y conservando la condici es decir, x si x D, E gB l m ut, x ux t g x si x D. Ejemplo 8.1 (El problema de la ruina del jugador con trayectorias Brownianas) Suponga que un movimiento Browniano unidimensional ini. Cu al es la cia en el punto x dentro del intervalo a, b, con 0 a b probabilidad de que el proceso tome el valor a antes que b? Una trayectoria Browniana que cumple tal condici on se muestra en la Figura 8.5(a). Este es el problema de la ruina del jugador estudiado antes s olo que ahora el capital del jugador cambia continuamente siguiendo un movimiento Browniano. Llegar primero al valor a se interpreta como ruina, y el juego es justo pues los incrementos del movimiento Browniano tienen esperanza nula. Dena x x nf t 0 : Bt a o Bt b. Nos nuevamente el tiempo de paro interesa encontrar ux
x P B
la estructura de la ecuaci on de calor hace que la soluci on Conforme t ut, x se aproxime a una funci on ux, la soluci on estacionaria de la ecuaci on de calor, que satisface ux 0, (8.4)
x E 1a B .
0, para Por la igualdad (8.4), esta funci on cumple la ecuaci on u x on es a x b, con condiciones de frontera ua 1 y ub 0. La soluci ux b xb a, cuya gr aca se muestra en la Figura 8.5(b).
n 8.5. El principio de reflexio
255
Bt b x a t 1
ux
a
Figura 8.5
8.5.
El principio de reexi on
El resultado que estudiaremos a continuaci on es llamado principio de reexi on y tiene una interpretaci on geom etrica f acil de entender. Considere un movimiento Browniano que inicia en a, y sea b otro n umero tal que b a. En la Figura 8.6 se ilustra esta situaci on. El cona junto de trayectorias que Bt tocan la l nea horizontal b en alg un tiempo y 0, t, se descompone en dos conjuntos ajenos que b son sim etricos uno del otro a y tienen id entica probabilidad: aquel conjunto de trayectorias que nalizan en t alg un punto arriba de b, y el conjunto de trayectorias Figura 8.6 que terminan por abajo de b. Una vez que una trayectoria toca el punto b es igualmente probable que nalice al tiempo t arriba de b o abajo de b. Este resultado adquiere su nombre debido a esta propiedad de reexi on y facilita el c alculo de algunas probabilidades, en particular, lo us-
256
aremos para demostrar la propiedad de recurrencia puntual del movimiento Browniano unidimensional.
a : t Proposici on 8.8 (Principio de reexi on) Sea Bt 0 un movimiento Browniano que empieza en a, y sea b a. Para cualquier t 0, a P Bs
b para alg un s 0, t
a 2 P Bt
b.
(8.5)
Demostraci on. Sea el primer momento en el que el movimiento Browa niano es igual a b, es decir, sea nf t 0 : Bt b. Esta variable aleatoria puede tomar el valor innito si el evento mencionado nunca ocurre. Entonces
a P Bs
b para alg un s 0, t
P P P
t P t. b t
a t P Bt La u ltima igualdad se debe a que P una variable aleatoria continua. Por otro lado, a P Bt
a 0, por ser Bt
a P Bt
a Bt
t P 0
t P
t,
(8.6)
en donde, por la propiedad de Markov, y condicionada a la ocurrencia del a b a B a tiene distribuci evento t, la variable Bt on N0, t 2 . Bt ab 0 t 12. Substituyendo en (8.6) se obtiene Por lo tanto P Bt P t
a 2 P Bt
b.
8.6.
Recurrencia y transitoriedad
En esta secci on encontraremos la probabilidad de que el movimiento Browniano eventualmente regrese a su posici on de origen. Veremos que la respuesta depende de la dimensi on del proceso. Empezaremos estudiando una propiedad general en el caso unidimensional.
257
Proposici on 8.9 Sea Bt : t 0 un movimiento Browniano unidimensional que inicia en cero y considere dos tiempos t1 y t2 tales que 0 t1 t2 . Entonces, P Bt 0 para alg un t t1 , t2 1 2 arctan t2 t1 t1 .
on Demostraci on. Para cualquier u 0, mediante argumentos de traslaci y por el principio de reexi on se tiene que P Bt 0 para alg un t t1 , t2 Bt1 P Bt P Bt
2 P Bt2 t1 P Bt
u para alg un t 0, t2 t1 u.
para alg un t 0, t2 t1
Por simetr a se tiene la misma probabilidad para el caso u
0. Entonces, u pt1 , 0, u du
0 para alg un t t1 , t2 P Bt 0 para alg un t t1 , t2 Bt1 u pt1 , 0, u du u pt1 , 0, u du
2 P Bt2 t1 P Bt2 t1
4 4
0
0 u
u
pt2 t1 , 0, v dv pt1 , 0, u du 1 2 ev 2t2 t1 2 t2 t1 1 2 eu 2t1 dv du. 2t1
Haciendo el cambio de variable x, y expresi on equivalente

0 x t1
t1 , v t2 t1 se obtiene la
t2 t1
1 x2 y2 2 e dy dx. 2
Ahora se resuelve esta integral usando coordenadas polares. La regi on de integraci on x, y : x 0 y y x t1 t2 t1 que se muestra en la Figu1 ra 8.7 corresponde a la regi on polar r, : r 0 y arctan t t t , 2.
2 1
258 Por lo tanto la probabilidad buscada es 4

2
arctan
t1 t2
t 1
4 2
1 r2 2 e r dr d 2
arctan
2 arctan
1 t2 t1 2
t1 t2 t1 t1 .
er
2 r dr
t1 x t2 t1
arctan
t1 t2 t1
Figura 8.7 Con ayuda de este resultado demostramos ahora la recurrencia puntual del movimiento Browniano unidimensional. Proposici on 8.10 (Recurrencia puntual del movimiento Browniano unidimensional) Con probabilidad uno el movimiento Browniano unidimensional es recurrente puntual, es decir, regresa a su posici on de origen una innidad de veces casi seguramente. Demostraci on. Haciendo t2 tender a innito en la f ormula reci en demostrada e intercambiando el l mite con la probabilidad, lo cual es v alido, pues la sucesi on de eventos es creciente, se obtiene que para cualquier valor positivo de t1 , P Bt 0 para alg un t t1 ,
t2
l m 1
2 arctan
t1 t2 t1
1.
259
Esto es, la probabilidad de que el movimiento Browniano unidimensional regrese al cero para alg un tiempo t dentro del intervalo t1 , es uno, sin importar la magnitud de t1 . Ahora, una vez que regresa a cero, por la propiedad fuerte de Markov, inicia en ese momento otro movimiento Browniano que eventualmente regresar a nuevamente a cero con probabilidad uno. De esta manera regresar a a cero una innidad de veces con probabilidad uno. Esta propiedad de recurrencia signica que una trayectoria como la que se muestra en la Figura 8.2 cruzar a una innidad de veces el eje horizontal, casi seguramente. Puede uno tambi en considerar que el movimiento inicia en un punto cualquiera x obteni endose la misma propiedad de recurrencia al punto x. La siguiente conclusi on es tambi en muy interesante: hemos mencionado tB1t : t 0, con W0 0, es tambi en un antes que el proceso Wt movimiento Browniano. Ahora, dado que Bt es cero para una innidad de valores de t en cualquier intervalo de la forma t1 , , se tiene entonces que Wt es cero una innidad de veces dentro del intervalo 0, 1t1 . Es decir, en cualquier vecindad de t 0, las trayectorias del movimiento Browniano cruzan el eje horizontal una innidad de veces, casi seguramente. Esta misma conclusi on puede obtenerse directamente de la f ormula reci en demostrada 0, es decir, tomando t2 0 jo y haciendo t1 P Bt 0 para alg un t 0, t2 l m 1
0
t1
2 arctan
t1 t2 t1
1.
En el caso de dimensiones mayores la situaci on es distinta. Proposici on 8.11 (Recurrencia y transitoriedad del movimiento Browniano) Sea B t : t 0 un movimiento Browniano n-dimensional que inicia en el origen, y sea el disco D x Rn : x r , para alg un r 0. 1. Cuando n 2, con probabilidad uno el movimiento Browniano visita la vecindad D en una innidad de tiempos no acotados. Esto es, el proceso es recurrente por vecindades. Sin embargo no es recurrente puntual, pues la probabilidad de que regrese exactamente al punto de partida es cero.
260
2. Cuando n 3, el proceso es transitorio por vecindades, es decir, existe una probabilidad positiva de que el proceso nunca regrese a la vecindad del punto de partida. Demostraci on. Sean r1 y r2 dos radios tales que 0 r1 r2 , y dena la regi on A x Rn : r1 x r2 como se muestra en la Figura 8.8. La n 2 r1 o x r2 , y x x2 frontera de A es A x R : x 1 x2 .
x r1 A r2
Figura 8.8 Suponga que el movimiento Browniano inicia en el origen y que en alg un tiempo posterior se encuentra en un punto x dentro de la regi on A. Dena la funci on f x como la probabilidad de que el movimiento Browniano que r2 antes que parte de x llegue a la circunferencia exterior x Rn : x a la circunferencia interior x Rn : x r1 . Es decir, si se dene el tiempo de paro nf t 0 : B t D , entonces f x P B escribirse como f x en donde g x : A r2 B 0 x . Esta funci on puede tambi en x ,
E gB B 0
R es la funci on indicadora g y 1 si x 0 si x r2 , r1 .
8.6. Recurrencia y transitoriedad La funci on f x satisface la ecuaci on diferencial f x con condiciones de frontera f y g y 1 si y 0 si y r2 , r1 . 0,
261
(8.7)
Dada la simetr a del movimiento Browniano, la funci on f x depende de x s olo a trav es de la magnitud x . Sea entonces f x x para alguna x . En este caso particular, conviene escribir al funci on r con r operador de Laplace en coordenadas esf ericas adquiriendo la expresi on 1 d n1 d r dr r n1 dr d2 n1 d . dr 2 r dr
Por lo tanto, la ecuaci on (8.7) se escribe r n1 r r 0, para r
r1, r2 ,
0. La soluci on
y las nuevas condiciones de frontera son r2 general de esta ecuaci on es r c1 ln r c2 c1 r 2n c2 ln x ln r1 ln r2 ln r1 2n r1 x 2n 2n 2n r1 r2
1 y r1 2, 3,
si n si n
con c1 y c2 constantes. Usando ahora las condiciones de frontera se obtiene x x
si n si n
2, 3.
(8.8) (8.9)
Estos resultados nos permitir an encontrar las probabilidades buscadas tomando algunos l mites sobre los radios r1 y r2 . Para el caso n 2, la probabilidad
262
de que el movimiento Browniano que inicia en x nunca visite la bola de radio r1 alrededor del cero es, por (8.8),
r2
l m P B
r2
l m
0.
ln x ln r1 ln r2 ln r1
r2 antes que B
r1 B 0
Es decir, la probabilidad de que el movimiento Browniano en R2 visite el disco de radio r1 alrededor del origen es uno. Y regresar a a dicho disco en una innidad de tiempos no acotados. Este comportamiento se conoce con el nombre de recurrencia por vecindades. Sin embargo, no se presenta la recurrencia puntual, es decir, la probabilidad de que el movimiento Browniano en R2 regrese exactamente al punto de origen es cero. Esto es consecuencia 0. Es decir, la probabinuevamente de (8.8) al tomar el l mite cuando r1 lidad de que el proceso tome el valor 0, 0 antes de que toque el c rculo de radio r2 es
r1
l m P B
0 r1
l m 1
0
0.
ln x ln r1 ln r2 ln r1
r1 antes que B
r2 B 0
Ahora consideremos el caso n 3. La probabilidad de que el proceso que inicia en x nunca visite el disco de radio r1 alrededor del cero es, por (8.9),
r2
l m P B
r2
l m
1 0.
2n r1 x 2n 2n 2n r1 r2 r1 n2 x
r2 antes que B
r1 B 0
Es decir, existe una probabilidad estrictamente positiva de que el proceso nunca visite el disco de radio r1 alrededor del origen, cuando inicia en x.
8.7. N. Wiener
263
Este es el comportamiento transitorio del movimiento Browniano para dimensiones n 3. Expl citamente, la probabilidad de un retorno exacto al origen es cero, pues por (8.9) esta probabilidad es
r1
l m P B
0 r1
l m 1
0
2n r1 x 2n 2n 2n r1 r2
r1 antes que B
r2 B 0
0.
Notas y referencias. El lector puede encontrar una muy interesante y motivadora exposici on hist orica sobre el descubrimiento del movimiento Browniano en el excelente libro de Edward Nelson [23]. Este libro se encuentra disponible en formato electr onico en la p agina web del autor. Para otras primeras lecturas y mas resultados sobre el movimiento Browniano pueden consultarse, por ejemplo, los textos de Karlin y Taylor [17], Lawler [21], Nelson [23], y Tudor [36].
8.7.
N. Wiener
Norbert Wiener (E.U.A., 18941964) fue un ni no prodigio. En 1903, a la edad de nueve a nos ingres o a la preparatoria Ayer en Massachusetts, la cual concluy o en 1906 para ingresar despu es al colegio Tufts, en donde estudi o matem aticas con el apoyo y asesor a de su padre. En 1909, a la edad 14 a nos, se gradu o del colegio Tufts e ingres o a la Universidad de Harvard para realizar estudios de posgrado en Zoolog a. Con ayuda de una beca ingres o despu es a la Universidad de Cornell en 1910, en donde tom o cursos de posgrado en matem aticas N. Wiener y losof a, pero su desempe no all no fue del todo satisfactorio y su padre lo regres o a Harvard para continuar sus estudios de losof a. Se gradu o en Harvard a la edad de 18 a nos con una tesis sobre l ogica matem atica bajo la direcci on de Karl Schmidt. Despu es de Harvard viaj oa
264
Cambridge, Inglaterra, para estudiar junto a Bertrand Russell y en donde asisti o a algunos cursos dictados por G. H. Hardy. En 1914 viaj o a Gottingen para estudiar ecuaciones diferenciales con David Hilbert. Regres oa Estados Unidos dos d as antes del inicio de la primera Guerra Mundial. Muri o en Estocolmo a la edad de 69 a nos despu es de sufrir un segundo ataque al coraz on. En su honor, una universidad en Per u lleva su nombre. En las siguientes referencias el lector puede encontrar mayor informaci on sobre la vida, el trabajo y el pensamiento de Norbert Wiener. a) Mandrekar V., Mathematical work of Norbert Wiener, Notices of the AMS, Vol. 42, N um. 6, pp. 664669, Junio 1995. b) Norbert Wiener 18941964, Bulletin of the AMS, Vol. 72, N um. 1, parte II, 1966. c) Wiener N., I am a mathematician: the later life of a prodigy, The MIT Press, Agosto 1964. d) Wiener N., Ex-prodigy: my childhood and youth, The MIT Press, Agosto 1964. Fuente: Archivo MacTutor, Universidad de St. Andrews.
8.8.
P. P. L` evy
Paul Pierre L` evy (Francia, 18861971) naci o dentro de una familia con tradici on matem atica. Su abuelo fue profesor de matem aticas y su padre estudi o geometr a y trabaj o en la Ecole Polytechnique. De peque no, L` evy asisti o al Lyc ee Saint Louis en Par s, en donde mostr o ser un excelente estudiante, sobresaliendo y ganando premios no s olo en matem aticas sino tambi en en griego, f sica y qu mica. Ingres o despu es a la Ecole P. P. L` evy Polytechnique y siendo all a un estudiante public o su primer art culo en matem aticas en 1905, el cual trataba temas
8.9. Ejercicios
265
de series convergentes. Despu es de un a no de servicio militar, en 1907 in gres o a la Ecole des Mines, y asisti o a cursos de matem aticas en la Sorbonne. En 1910 concluy o sus estudios en la Ecole des Mines, y realiz o a partir de entonces trabajos de investigaci on en an alisis funcional que le llevaron a obtener el grado de Docteur es Sciences en 1912 bajo el escrutinio de E. Pi card, H. Poincar e y J. Hadamard. Trabaj o como profesor en la Ecole des Mines de Saint-Etienne en Par s de 1910 a 1913, y en la Ecole Nationale Sup erieure de Mines de 1914 a 1951. Tambi en imparti o clases en la Ecole Polytechnique de 1920 a 1959, a no en el que se jubil o. En 1963 fue nombrado miembro honorario de la London Mathematical Society, y en 1964 fue elegido miembro de la Acad emie des Sciences. Paul L` evy realiz o contribuciones importantes en la teor a de la probabilidad, el an alisis funcional y las ecuaciones diferenciales parciales. Entre sus textos publicados se encuentran Le cons danalyse funtionelle (1922), Calcul des probabilit es (1925), Theorie de laddition des variables al eatoires (1937), y Processus stochastiques et mouvement Brownien (1948). Paul L` evy fue uno de los m as grandes matem aticos de su tiempo. Como cient co fue un ejemplo de individualismo absoluto, era un investigador solitario que s olo se preocupaba por plantearse problemas matem aticos de su inter es y buscaba su soluci on a trav es de la reexi on interior. No participaba mayormente en los congresos internacionales, excepto hacia el nal de su vida. A menudo encontraba por s mismo resultados ya conocidos, y otras veces descubr a resultados importantes nuevos sin darles mucha publicidad, pues los cre a ya conocidos. Paul L` evy fue un ejemplo de un hombre de pensamiento de originalidad profunda, indiferente a las escuelas y m etodos establecidos, y quien no dudaba en lanzarse sobre nuevos caminos de pensamiento, pues no tem a de ninguna manera a la soledad intelectual. Fuente: Archivo MacTutor, Universidad de St. Andrews.
8.9.
Ejercicios
Movimiento Browniano unidimensional
ametro 2 . 209. Simetr a. Sea Bt : t 0 un movimiento Browniano de par Demuestre que para cualesquiera tiempos t s, P Bt Bs 12. 210. Cambios de escala 1. Sea una constante distinta de cero. Demuestre
266
8. Movimiento Browniano que si Bt : t 0 es un movimiento Browniano est andar, entonces los siguientes procesos son movimientos Brownianos de par ametro 2 . b) Wt a) Wt Bt : t B 2 t : t 0. 0.
211. Cambios de escala 2. Sea Bt : t 0 un movimiento Browniano de par ametro 2 . Demuestre que los siguientes procesos son movimientos Brownianos est andar. b) Wt a) Wt
1
Bt : t
0.
Bt2 : t
0.
212. Traslaci on. Sea s 0 jo y sea Bt : t 0 es un movimiento Browniano est andar. Demuestre que el proceso Xt Bts Bs : t 0 es un movimiento Browniano est andar. on de 213. Sean las funciones at e2t y bt et . Calcule la funci covarianza del proceso Xt btBat : t 0 en donde Bt : t 0 un movimiento Browniano est andar. 214. Sea Bt : t 0 un movimiento Browniano de par ametro 2 . A partir de la denici on, demuestre que el proceso Wt tB1t : t 0, con ametro 2 . W0 0, es un movimiento Browniano de par 215. Movimiento Browniano con tiempo invertido. Sea s 0 jo y sea Bt : t 0 es un movimiento Browniano est andar. Demuestre que el proceso Xt Bs Bst : t 0, s es un movimiento Browniano en el intervalo 0, s. Este es un movimiento Browniano con tiempo invertido. 216. Demuestre que la probabilidad de transici on pt, x, y del movimiento Browniano unidimensional de par ametro 2 satisface la ecuaci on de difusi on, tambi en llamada ecuaci on de calor: p t 2
2p
y2
8.9. Ejercicios
267
217. Demuestre que la probabilidad de transici on pt, x, y del movimiento Browniano unidimensional de par ametro 2 cumple la ecuaci on de Chapman- Kolmogorov: pt s, x, y 218. Sea Bt : t
pt, x, u ps, u, y du.
0 un movimiento Browniano est andar. Demuestre que:

b) E Bt Bs 2 d) CovBs , Bt e) Bt , Bs c) E Bs Bt s s
a) E Bt Bs
2ts . ts . t.
t. st, para 0 s t.
219. Sea Bt : t 0 un movimiento Browniano. Demuestre que tanto el 2 t : t 0 como Bt 0 son martingalas proceso original Bt : t respecto de la ltraci on natural del movimiento Browniano. 220. Use la caracterizaci on de Paul L` evy para demostrar que los siguientes procesos son movimientos Brownianos: b) Wt d) Wt c) Wt a) Wt
B t : t
1 c Bc 2 t
0.
:t
t B1t : t
222. Sea Bt : t 0 un movimiento Browniano unidimensional est andar. Encuentre la distribuci on conjunta de las variables Mt y Xt denidas como sigue: Mt y Xt sup Bs Mt Bt .
0 s t
ametro 2 que inicia 221. Sea Bt : t 0 un movimiento Browniano de par en cero. Sea a una constante y dena el tiempo nf t 0 : Bt a. Encuentre la funci on de densidad de .
Bt0 t Bt0 : t
0,
0,
con c con W0 0,
0 constante. 0. 0 jo. con t0
268
223. Movimiento Browniano reejado en el origen. Sea Bt : t 0 un movimiento Browniano est andar. El proceso Xt Bt : t 0 corresponde a un movimiento Browniano que s olo toma valores positivos pues las trayectorias son reejadas respecto del origen hacia la parte 0 es un proceso de Marpositiva del eje. Demuestre que Xt : t kov con trayectorias continuas y que tiene funci on de probabilidad de transici on q t, x, y dada por para cualesquiera valores x, y 0, en donde pt, x, y es la correspondiente funci on de probabilidad de transici on del movimiento Browniano. Compruebe adem as que b) VarXt a) E Xt q t, x, y pt, x, y pt, x, y ,
x : t 224. Movimiento Browniano con absorci on en el origen. Sea Bt 0 un movimiento Browniano est andar que inicia en x 0. Dena el x nf t 0 : Bt 0 y el proceso tiempo
1 2t.
2t .
Xt
x si 0 Bt 0 si t
t ,
el cual representa un movimiento Browniano que inicia en x con la caracter stica de que una vez que llega al cero permanece en ese estado el resto del tiempo. a) Demuestre que Xt : t 0 es un proceso de Markov con trayectorias continuas. b) Observe que la variable Xt es mixta, es decir, no es discreta ni continua. Demuestre que la funci on de probabilidad de transici on del proceso Xt : t 0 es, en su parte continua, on para Bt : t 0, en donde pt, x, y es la correspondiente funci un movimiento Browniano que inicia en cero. Demuestre adem as que, para la parte discreta, q t, x, 0 21 F x, q t, x, y pt, 0, y x pt, 0, y x, para x, y 0,
8.9. Ejercicios
269
en donde F x es la funci on de distribuci on de la variable Bt . c) Calcule E Xt y VarXt . 225. La martingala exponencial. El proceso que se obtiene al tomar la exponencial de un movimiento Browniano no es, en general, una martingala, sin embargo, a nadiendo un t ermino extra este nuevo proceso puede convertirse en una martingala y se le llama martingala exponencial. M as espec camente, sea Bt : t 0 un movimiento Browniano est andar y sea c una constante. Dena el proceso a) Compruebe que Xt : t 0 es efectivamente una martingala respecto de la ltraci on natural del movimiento Browniano. 2 b) Compruebe que E Xt 1 y VarXt ec t 1. Xt exp cBt c2 t2 .
227. El puente Browniano en t1 , t2 . Sea Bt : t 0 un movimiento Browniano unidimensional est andar, y sean t1 y t2 dos tiempos jos tales que 0 t1 t2 . Demuestre que la distribuci on condicional de la a y Bt2 b, es N, 2 variable Bt , con t t1 , t2 , dado que Bt1 con t t1 a b a, t2 t1 t2 tt t1 . y 2 t2 t1 228. Sea Bt : t 0 un movimiento Browniano que empieza en cero. Use el principio de reexi on para demostrar que para cualquier a 0, P Bt a para alg un t 0 1.
0 un movimiento 226. El puente Browniano en 0, 1. Sea Bt : t Browniano unidimensional est andar. Demuestre que la distribuci on condicional de la variable Bt , con t 0, 1, dado que B0 0 y B1 0, es 2 1 f x ex 2t1t , para x , 2 t1 t es decir, Bt tiene distribuci on condicional N0, t1 t. A este proceso condicionado se le conoce con el nombre de puente Browniano en el intervalo unitario 0, 1. El siguiente ejercicio generaliza este resultado.
270
Movimiento Browniano multidimensional

andar en 229. Sea B t B1 t, . . . , Bn t un movimiento Browniano est 1 2 n 2 2 R , y sea r 0. Sea x x1 xn la norma Euclideana en Rn . Demuestre que la funci on de densidad de B t es, para x 0, f x 1 n2
n2
1 2
x2 t
n21
2x x2 2t e . t
En particular, demuestre que para n P B t x
2, 1 ex
2
2t .
230. Demuestre que el operator Laplaciano en R2 : f x, y

2f
x2
f
2f
y2
adquiere la siguiente expresi on en coordenadas polares: f r,

2
f 2
1 r
r12
f.
Compruebe que cuando f depende de x y de y u nicamente a trav es 2 2 x y , el Laplaciano se reduce a la expresi on: de r f r, d2 f dr 2 d f. 1 r dr
Este resultado fue usado en la demostraci on de la propiedad de recurrencia por vecindades del movimiento Browniano en R2 . 231. Demuestre que el operator Laplaciano en R3 : f x, y, z
2f
x2
2f
y2
2f
z2
adquiere la siguiente expresi on en coordenadas esf ericas: f r, , 1 r2 r f r2 r 1 1 r2 sen sen f r2 sen 2

2
f.
8.9. Ejercicios
271
Compruebe que cuando f depende de x, y y z u nicamente a trav es de 2 2 2 r x y z , el Laplaciano se reduce a la expresi on f r, d2 f dr 2 d 2 f. r dr
Este resultado fue usado en la demostraci on de la propiedad de transitoriedad del movimiento Browniano en R3 .
272
Cap tulo 9
C alculo estoc astico

En este u ltimo cap tulo se presenta una breve introducci on al c alculo estoc astico de It o y est a basado en [30]. Vamos a denir la integral de It o de un proceso estoc astico respecto del movimiento Browniano. Mostraremos adem as el uso y aplicaci on de la f ormula de It o, y resolveremos algunos modelos sencillos de ecuaciones estoc asticas.
9.1.
Integraci on estoc astica
El objetivo de esta secci on es presentar la denici on de la integral de It o de un proceso Xt respecto del movimiento Browniano, es decir, una integral de la forma
t
Xs dBs .
0
(9.1)
Este tipo de integrales no pueden denirse trayectoria por trayectoria, es decir, como si fuera una integral de Riemann-Stieltjes de una funci on respecto de otra funci on, pues en este caso la funci on integradora es una trayectoria del movimiento Browniano que, como hemos visto antes, no tiene variaci on nita. La justicaci on para desear denir este tipo de integrales ser a evidente m as adelante cuando estudiemos ecuaciones estoc asticas basadas en este tipo de integrales. Denir la integral de It o a un nivel elemental nos conducir a necesariamente a dejar sin demostraci on algunos resultados t ecnicos. Daremos la denici on de integral estoc astica en varios pasos, primero para procesos simples y despu es, por aproximaci on, para procesos m as generales. 273
274
lculo estoca stico 9. Ca
Primeras hip otesis Consideraremos como elementos iniciales un espacio de probabilidad , F , P , 0, junto y un movimiento Browniano est andar unidimensional Bt : t con su ltraci on natural Ft t 0 . Supondremos dado un proceso Xt con espacio parametral el intervalo 0, T , con T 0 jo, y que visto como fun, es FT B 0, T -medible, en donde el t ermino ci on X : 0, T FT B 0, T corresponde a la m nima - algebra generada por el espacio as que el proceso es adaptado, producto FT B 0, T . Supondremos adem es decir, para cada t en el intervalo 0, T , la variable aleatoria Xt es medible respecto de Ft . El espacio L2 P Denotaremos por L2 P al espacio vectorial de variables aleatorias X que son cuadrado integrables, es decir, que cumplen la condici on X
L2 P
2 1 2
on La funci on L2P dene una norma en L2 P , es decir, es una funci real denida sobre este espacio lineal que cumple las siguientes cuatro condiciones: a) b) c) d) X X XY X 0. 0
X X
0 c.s.
Y .
X , constante.
Se puede vericar que el espacio lineal L2 P es completo respecto de esta norma, es decir, es un espacio de Banach. Esto quiere decir que toda sucesi on de Cauchy en este espacio tiene l mite en el. A la convergencia usando esta en convergencia en media norma se le llama convergencia en L2 P , o tambi cuadr atica. Por ejemplo, la variable aleatoria Bt del movimiento Browniano pertenece a este espacio pues, Bt
L2 P
Bt
2 1 2
n estoca stica 9.1. Integracio
275
El espacio L2 P dt Denotaremos tambi en por L2 P dt al espacio lineal de todos los procesos on X Xt : 0 t T , que cumplen la condici X
L2 P dt
T
0
Xt 2 dt12
Puede demostrarse que la funci on L2P dt es efectivamente una norma y que este espacio es completo respecto de esta norma, es decir, es un espacio Bt : 0 t T de Banach. Por ejemplo, el movimiento Browniano B pertenece a este espacio pues, B
L2 P dt
E
0
T
0
Bt 2 dt 12
T T
0
E Bt 2 dt 12 t dt 12 .
T 2
Procesos simples Deniremos primero la integral de It o para procesos que tienen la forma indicada a continuaci on y que llamaremos procesos simples. Denici on 9.1 Sea 0 t0 t1 tn T una partici on nita del astico simple es un proceso de la forma intervalo 0, T . Un proceso estoc Xt
n 1 k 0
X k 1tk ,tk1 t,
(9.2)
en donde X 0 , . . . , X n1 es una colecci on de variables aleatorias adaptadas n1 a la ltraci on Ftk k 0 , y que son cuadrado integrables. on indicadora del intervalo a, b. Un La expresi on 1a,b t denota a la funci proceso simple es entonces un proceso constante por pedazos con trayectorias c` adl` ag (continuas por la derecha, con l mite por la izquierda), y las
276
condiciones solicitadas garantizan que el proceso es adaptado y tiene trayectorias cuadrado integrables. Estas propiedades permitir an dar una denici on adecuada para la integral estoc astica. Una trayectoria de este tipo de proce2 al espacio de todos los sos se muestra en la Figura 9.1. Denotaremos por H0 procesos simples. Haciendo posiblemente algunos renamientos X t en las particiones, dos procesos X n1 1 X simples pueden siempre expresarse en t erminos de una misma X 0 partici on com un. De modo que la suma de dos procesos simples tiene sentido y resultar a ser tamt bi en un proceso simple. El espatn1 tn t1 t2 2 es efectivamente un espacio H0 Figura 9.1 cio vectorial. Integral para procesos simples Esta es la denici on intuitiva de integral y establece simplemente que si el integrando es constante en alg un subintervalo, entonces la integral debe ser esa constante multiplicada por el incremento del movimiento Browniano en dicho subintervalo. Denici on 9.2 La integral estoc astica de It o de un proceso simple X de la forma (9.2), respecto del movimiento Browniano, denotada por I X , se dene como la variable aleatoria I X
T
Xs dBs
0
n 1 k 0
X k Btk1
Bt .
k
Veamos algunas propiedades de esta variable aleatoria. a) Es integrable pues siendo las variables X k y Btk1 Btk independientes, cada sumando tiene esperanza cero, y por lo tanto la esperanza de la integral es cero. b) La integral es adem as cuadrado integrable y de hecho se cumple la siguiente igualdad fundamental llamada Isometr a de It o: I X
L2 P
L2 P dt
(9.3)
277
Para comprobar esta identidad vamos a denotar nuevamente por Bk a la diferencia Btk1 Btk , y sea tk tk1 tk . Nuevamente por la independencia de X k y Bk se tiene que I X
2 L2 P
E
n 1
n 1 k 0
X k Btk1
Bt 2
k
E X j X k Bj Bk
j,k 0 n 1 k 0 n 1
E X k 2 Bk 2 E X k 2 tk Xt 2 dt
k 0
0 2 L2 P dt
Esta identidad establece que tanto el proceso simple X como la variable aleatoria I X tienen la misma norma en sus respectivos espacios. Como se ver a m as adelante, esta igualdad juega un papel primordial en la denici on general de integral estoc astica. La integral estoc astica asigna entonces a 2 una variable aleatoria en el espacio L2 P . De cada elemento del espacio H0 2 esta forma se tiene la transformaci on lineal I : H0 L2 P , que resulta ser continua por la isometr a de It o. Observe que se puede tomar como ejemplo de proceso simple el movimiento Browniano discretizado, es decir, se puede Btk , y de esta forma tener la integral tomar como proceso simple X k estoc astica discreta del movimiento Browniano respecto de s mismo,
1 n k 0
Btk Btk1
Bt .
k
Extensi on por aproximaci on Ahora extenderemos la integral estoc astica a procesos un poco m as gene2 rales. Sea H el espacio de todos los procesos Xt medibles y adaptados,
278 tales que E

0
Xt 2 dt
El espacio H2 resulta ser un subespacio lineal cerrado de L2 P dt. Observe que la u nica diferencia entre estos dos espacios es que a los elementos de H2 se les pide adem as que sean medibles y adaptados. En particular, todo proceso simple es un elemento de H2 . Tenemos entonces la contenci on de 2 es denso 2 H2 L2 P dt, en donde puede probarse que H0 espacios H0 en H2 respecto de la norma en L2 P dt. Esto signica que para cualquier 2 tales que proceso X en H2 existe un sucesi on de procesos X k en H0
k
l m X X k
L2 P dt
0.
(9.4)
Este procedimiento de aproximaci on puede llevarse a cabo de la siguiente forma: mediante la t ecnica de truncaci on todo proceso en H2 puede ser aproximado por un proceso acotado. A su vez todo proceso en H2 que es acotado se puede aproximar por procesos acotados y continuos. Y estos a su vez se aproximan por procesos simples de la forma (9.2). Los detalles completos de esta sucesi on de aproximaciones pueden encontrarse en [25]. Usando la isometr a de It o es sencillo comprobar que la sucesi on I X k es 2 una sucesi on de Cauchy en el espacio L P , en efecto, I X k I X l
L2 P
I X k X l
k l
X X L2P dt X X k L2P dt X X l
L2 P
L2 P dt
Debido a (9.4) la u ltima expresi on puede hacerse tan peque na como se desee, tomando ndices k y l sucientemente grandes. Denici on 9.3 Sea X un proceso en H2 , y sea X k una sucesi on de procesos 2 astica de X como en H0 aproximante a X . Se dene la integral estoc I X
k
l m I X k ,
en donde el l mite debe entenderse dentro del espacio L2 P , es decir, se trata de la convergencia en media cuadr atica de una sucesi on de variables aleatorias.
279
Esto signica que la variable aleatoria I X es un elemento de L2 P y es tal que l mn I X I X k L2 P 0. No es dif cil vericar que tal denici on es correcta en el sentido de que el l mite no depende de la sucesi on aproximante. En este punto empieza a perderse nuestra concepci on tradicional de integral, pues ahora esta se encuentra denida a trav es de una sucesi on aproximante del proceso a integrar. De manera gr aca esta extensi on se ilustra en la Figura 9.2.
2 H0
H2 L2 P
dt
Figura 9.2
L 2 P
La isometr a de It o se cumple tambi en para procesos en H2 como se muestra a continuaci on. Proposici on 9.1 (Isometr a de It o) Para cualquier proceso X en H2 se cumple I X L2P X L2P dt . (9.5)
2 tal que X X Demostraci on. Sea X en H2 y sea Xn en H0 n L2 P dt 0. Esta convergencia y la desigualdad a b a b implican que Xn L2P dt X L2P dt . An alogamente, como I X I Xn L2P 0 se tiene que I Xn L2P I X L2P . El resultado buscado se obtiene al tomar el l mite en la isometr a de It o como se muestra en el siguiente diagrama:
I Xn I X
L2 P
Xn X
L2 P dt
L2 P
L2 P dt
280
La propiedad de esperanza nula se cumple tambi en para procesos en H2 , pues usando probabilidad elemental, o por la desigualdad de Jensen, 0 E 2 I X I X k E I X E I X I X k 2 0, es decir, 0. 0.
De donde se obtiene E I X I X k
k
l m E I X k
De esta forma se tiene ahora la transformaci on lineal y continua I : H2 L2 P . Observe nuevamente que el movimiento Browniano Bt es un ejemplo de un proceso en el espacio H2 , y es posible demostrar que tal proceso puede ser aproximado en el sentido de la norma del espacio L2 P dt por el proceso simple Xt
n 1 k 0
Btk 1tk ,tk1 t,
en donde 0 t0 t1 tn T es una partici on de 0, T . Se tiene entonces la siguiente integral estoc astica particular, y su aproximaci on como l mite en media cuadr atica
T
Bt dBt
0
l m
n 1 k 0
Btk Btk1
Bt ,
k
en donde el l mite debe entenderse en el sentido de que la distancia m axima entre dos puntos sucesivos de la partici on tiende a cero. M as adelante calcularemos esta integral estoc astica de dos maneras, primero usando esta es usando la f ormula representaci on como l mite en el espacio L2 P , y despu de It o. La integral como un proceso Haremos ahora una peque na extensi on. Para cada t en 0, T y para cualquier 2 X en H se dene el proceso It X
T
0
Xs 10,t s dBs
Xs dBs .
0
Este peque no articio permite ver a la integral estoc astica no como una variable aleatoria sino como un proceso. Es claro que tal proceso no es
281
necesariamente continuo, sin embargo puede demostrarse que existe una versi on continua de el, y que esa versi on es una martingala respecto de la ltraci on natural del movimiento Browniano. Denotaremos por el mismo s mbolo a tal martingala continua. Extensi on por localizaci on Mediante un procedimiento llamado de localizaci on es posible extender la denici on de integral de It o a procesos medibles y adaptados que cumplen la condici on menos restrictiva P
T
0
Xt 2 dt
1.
(9.6)
Denotaremos por L2 loc el espacio de todos estos procesos. Este nuevo espacio on contiene a H2 y es tal que para cada proceso X en L2 loc existe una sucesi creciente de tiempos de paro 0 1 2 tales que n T cuando n , y para cada n 1 el proceso Xt 1n t pertenece al espacio H2 . Se dene entonces la integral estoc astica como el siguiente l mite en el espacio 2 L P ,
t
0
T
0
Xs dBs
l m
Xs 1n
10,t s dBs .
Nuevamente es posible demostrar que tal l mite existe, que existe una versi on continua de el, y que es independiente de la sucesi on de tiempos de paro localizante. En este caso la integral ya no es una martingala sino una martingala local, esto quiere decir que el proceso detenido It n X es una martingala para cada natural n. En general, la isometr a de It o ya no se cumple cuando la integral estoc astica tiene como dominio de denici on el . espacio L2 loc Ejemplo 9.1 Para el movimiento Browniano unidimensional Bt : t 0 y para cualquier funci on continua f , el proceso f Bt : 0 t T tiene trayectorias continuas y acotadas, por lo tanto se cumplen las condiciones de adaptabilidad y medibilidad y se cumple tambi en (9.6), por lo tanto este proceso es un elemento de L2 , y tiene sentido la expresi on loc
t
0
f Bs dBs ,
T.
282
Se puede demostrar que esta integral puede ser calculada mediante el siguiente l mite en el espacio L2 P , aunque tambi en se verica la convergencia en probabilidad:
t
0
f Bs dBs
l m
n 1 k 0
f Btk Btk1
Bt ,
k
(9.7)
en donde 0 t0 t1 . . . tn t es una partici on de 0, t, y nuevamente el l mite debe entenderse en el sentido de que la distancia m axima entre dos puntos sucesivos de la partici on tiende a cero. Con esto concluimos la serie de ideas generales con las cuales puede construirse la integral de It o. Las demostraciones de algunos detalles t ecnicos que hemos simplemente mencionado se pueden encontrar en [33]. El esquema simplicado del procedimiento seguido para denir la integral estoc astica se ilustra la Figura 9.3.
2 H0
Denici on Aproximaci on L 2 P
H2 L2 loc
Localizaci on
Figura 9.3 Ejemplo 9.2 Con la ayuda de la identidad (9.7) calcularemos la integral estoc astica t Bs dBs . (9.8) Sea 0 t0 t1 tn t una partici on uniforme de 0, t, es decir ti1 ti 1n. Usando la identidad ab a 1 2 1 b a2 a b2 2 2
0
n estoca stica 9.1. Integracio se obtiene

t
283
Bs dBs
0
l m
n 1 j 0
Btk Btk1
Bt
k k k 1 k
l m
n 1 j 0
2 Bt2 Bt2 1 Bt Bt 2 2
k 1
1 2 1 B t. 2 t 2 La primera suma es telesc opica mientras que la segunda suma corresponde a la variaci on cuadr atica del movimiento Browniano. Los l mites indicados son v alidos en el sentido de media cuadr atica. Observe que aparece el t ermi1 2 Bt como si se siguieran las reglas de integraci on usual, pero aparece no 2 tambi en el t ermino 1 on de It o. Ahora veamos 2 t, conocido como la correcci el cambio en la soluci on de la integral (9.8) cuando se modica ligeramente la forma de calcularla. El cambio consiste en evaluar el integrando en el extremo derecho de cada subintervalo. Observe que en este caso el proceso a integrar ya no es adaptado y por lo tanto queda fuera de la teor a desarrollada antes. Usando la identidad bb a 1 2 1 b a2 a b2 2 2
se obtiene, nuevamente en el sentido de media cuadr atica,

t
Bs dBs
0
l m
n 1 j 0
Btk1 Btk1
Bt
k k k 1 k
l m
n 1 j 0
2 Bt2 Bt2 1 Bt Bt 2 2
k 1
1 2 1 B t. 2 t 2 El signo del segundo t ermino cambi o de negativo a positivo. Esto muestra que, a diferencia de la integral de Riemann, la integral estoc astica es sensible al punto donde se eval ua el integrando. Al considerar el promedio de las dos evaluaciones en los extremos se obtiene la as llamada integral de
284 Stratonovich, denotada de la forma siguiente:

t
0
Bs dBs
1 2 B . 2 t
Observe que el t ermino adicional de la integral de It o ha desaparecido. La integral de Stratonovich tiene algunas ventajas operacionales pues sigue algunas reglas usuales del c alculo integral, pero vista como proceso deja de ser una martingala. Ejemplo 9.3 Calcularemos ahora la esperanza y varianza del proceso
t
0
Bs dBs . La esperanza es cero pues la integral estoc astica en este caso es una martingala que empieza en cero. Para la varianza se tiene que Var
t
0
Bs dBs
E E
t t
0
t
0 t 0
Bs dBs 2
2 Bs ds
2 E B s ds
s ds
0
1 2 1 Alternativamente, como 0 Bs dBs 2 Bt 2 t, las cantidades anteriores 2 pueden calcularse usando el lado derecho de esta igualdad. Claramente E 1 2 Bt 1 0. Adem as, 2 t t
1 2 t . 2
1 2 1 2 t Var Bt 2
1 2 VarBt 4 1 E Bt4 E 2 Bt2 4 1 2 3t t2 4 1 2 t . 2
n estoca stica 9.1. Integracio Ejemplo 9.4 Sean Xt y Yt dos procesos en H2 . Entonces E
t
0
285
t
0
Xs dBs
Ys dBs
t
0
E Xs Ys ds.
Esta f ormula es f acil de comprobar usando la isometr a de It o y la igualdad 1 1 2 2 2 ab 2 a b 2 a b . En efecto, E

t t
Xs dBs
0 0
Ys dBs

2
t
0
t t 1 t 1 E Xs Ys dBs 2 E Xs dBs 2 E Ys dBs 2 0 2 0 0 t 1 t 1 t 2 2 E Xs Ys ds E Xs ds E Ys 2 ds 2 0 2 0 0
E Xs Ys ds.
Propiedades de la integral La integral estoc astica de It o cumple varias propiedades aunque s olo mencionaremos algunas de ellas aqu , a manera de resumen de las caracter sticas se naladas antes. L2 P es lineal, es decir, para c constante y a) La integral It : L2 loc para cualesquiera procesos Xs y Ys en L2 loc , se cumple que
t
0
cXs Ys dBs
E
t
0
c
0
Xs dBs
Ys dBs ,
0
c.s.
b) Tiene esperanza es cero, es decir, para cualquier proceso Xs en L2 loc , Xs dBs 0, c.s.
c) Cuando la integral se restringe al espacio H2 , se cumple la isometr a de It o, es decir,

t
E
0
Xs dBs
E
0
Xs 2 ds.
286
d) Nuevamente restringida al espacio H2 , la integral es una martingala, es decir, es integrable, adaptada y para 0 s t, se cumple E
t
0
Xu dBu Fs
Xu dBu .
0
En general, para procesos en L2 loc , la integral ya no es una martingala sino una martingala local. e) Existe una versi on continua de la integral estoc astica.
9.2.
F ormula de It o
Usualmente una integral de Riemann no se calcula a partir de su denici on, en lugar de ello existen f ormulas bien conocidas que agilizan y simplican los c alculos. La misma situaci on se presenta para integrales estoc asticas: en pocos casos se calculan estas a trav es de su denici on. La famosa f ormula de It o es la herramienta fundamental para este tipo de integrales. Se enuncia a continuaci on este resultado en una versi on simple y se ejemplica su uso. M as adelante se presenta una versi on un poco m as general. En lo sucesivo haremos referencia a las siguientes espacios de funciones: una funci on real de 1 variable real es de clase C , cuando es diferenciable y su derivada es continua. An alogamente, una funci on es de clase C 2 , si es dos veces diferenciable y su segunda derivada es una funci on continua. on de clase C 2 . Teorema 9.1 (F ormula de It o) [I] Sea f x es un funci Entonces f Bt f B0
t
0
1 f Bs dBs 2
t
0
f Bs ds.
(9.9)
Explicaremos una forma de obtener este resultado usando el teorema de Taylor pero sin dar una justicaci on rigurosa. Para una funci on f x sucientemente suave, se tiene que f x f x0 f x0 x x0 Rx,
rmula de Ito 9.2. Fo en donde el residuo Rx puede escribirse como sigue R x

x
287
1
0
x0
f tx t dt
1 f x0 x x0x x02 d.
La segunda igualdad se obtiene despu es de un evidente cambio de variable. on de 0, t, entonces Por lo tanto, si 0 t0 t1 tn t es una partici f Bt f B0
n k 1 n k 1
f Bt f Bt
k k 1
f Btk1 Bk
n k 1
1
0
f Btk1
Bk Bk 2 d.
las sumas converf Bs ds d
Puede comprobarse que al tomar el l mite cuando n gen casi seguramente y entonces se obtiene la igualdad f Bt f B0
t t
0 0
f Bs dBs f Bs dBs
1
0
1
0
t
0
1 2
f Bs ds.
Esta f ormula es una versi on estoc astica de la regla de la cadena del c alculo diferencial usual, y es com un escribirla en su forma diferencial del siguiente modo: 1 df Bt f Bt dBt f Bt dt. 2 Esta expresi on debe entenderse en el sentido de su forma integral dada por la f ormula (9.9). Ilustraremos su uso mediante algunos ejemplos. Ejemplo 9.5 Sea f x
1 2 2x .
Entonces la f ormula de It o establece que

t
0
1 2 1 2 B B0 2 t 2
Bs dBs
1 2
1 ds.
0
288 Es decir,
1 2 1 B t. 2 t 2 0 Este resultado hab a sido encontrado antes, ahora lo hemos obtenido de manera inmediata a partir de la f ormula de It o. De manera an aloga, para 3 se obtiene x la funci on f x 1 3 Bs dBs
t
0 2 Bs dBs
1 3 B 3 t
t
0
Bs ds.
M as generalmente, para f x
t
0 n Bs dBs
1 n 1 n 1x
se obtiene
1 2
t
0 n1 nBs ds.
n1
n1 Bt
Ejemplo 9.6 Usaremos la f ormula de It o para encontrar una expresi on de los momentos pares de una distribuci on normal centrada. Demostraremos que 2n! n 2n E Bt t . 2n n! Los momentos impares de dicha distribuci on se anulan pues en tal caso el integrando resulta ser una funci on impar. Consideremos entonces la funci on 2n , para cualquier entero natural n. De la f x o rmula de It o se sigue f x 21 n que t 1 2n 1 2n 1 t 2n1 2n 1Bs2n2 ds. Bt B0 Bs dBs 2n 2n 2 0 0 Tomando esperanza y resolviendo de manera iterada se obtiene E
2n Bt
. . .
2n2n 1 t 2n2 ds E Bs 2 0 2n2n 1 2n 22n 3 t t1 2n4 ds dt1 E Bs 2 2 0 0
2n! t t t 2n
1
n 1
1 ds dtn1 dt1 .
No es dif cil vericar que los resultados sucesivos de estas integrales son: 3 n tn1 , t2 ormula enunn2 2!, tn3 3!, . . ., t n! De esta forma se obtiene la f ciada.
9.3. Ecuaciones diferenciales estoc asticas
289
9.3.
Ecuaciones diferenciales estoc asticas
Sea , F , P un espacio de probabilidad, y sea Bt : t 0 un movimiento Browniano unidimensional adaptado a la ltraci on Ft t 0 . Denici on 9.4 Sean bt, x y t, x dos funciones de 0, T en . Una ecuaci on estoc astica es una ecuaci on de la forma dXt bt, Xt dt t, Xt dBt , (9.10)
on inicial denida para valores de t en el intervalo 0, T , y con condici la variable aleatoria X0 que se presupone F0 -medible e independiente del movimiento Browniano. La ecuaci on (9.10) se interpreta como la ecuaci on integral Xt X0
t
0
bs, Xs ds
t
0
s, Xs dBs ,
(9.11)
en donde la primera es una integral de Riemann, mientras que la segunda es una integral estoc astica de It o. Al proceso Xt se le llama proceso de It o. Los elementos conocidos de esta ecuaci on son los coecientes bt, x y t, x, junto con la variable aleatoria inicial X0 . La inc ognita es el proceso Xt . A es o la funci on bt, x se le conoce como coeciente de tendencia (drift en ingl tambi en deriva en espa nol). A la funci on t, x se le llama coeciente de difusi on. El proceso soluci on puede interpretarse como el estado de un sistema que evoluciona de manera determinista gobernado por la parte no aleatoria de la ecuaci on (la tendencia), pero alterado por un ruido aditivo dado por la integral estoc astica (la difusi on). Para que una ecuaci on estoc astica tenga soluci on se deben pedir condiciones en los coecientes. De manera an aloga para el caso de ecuaciones diferenciales deterministas, existen teoremas b asicos de existencia y unicidad para ecuaciones estoc asticas que establecen condiciones de regularidad para los coecientes bt, x y t, x, bajo las cuales la ecuaci on (9.10) tiene soluci on u nica. El siguiente es uno de tales resultados. Teorema 9.2 (Teorema de existencia y unicidad) Si los coecientes on (9.10) satisfacen la condici on de Lipschitz en bt, x y t, x de la ecuaci
290 la variable x,
bt, x bt, y 2 t, x t, y 2 y la condici on de crecimiento en x, bt, x 2 t, x 2
K x y 2,
K 1 x 2 ,
para alguna constante K 0, entonces existe un proceso estoc astico Xt soluci on de (9.10) que es adaptado a la ltraci on, tiene trayectorias conti2 , nuas, es uniformemente acotado en L2 P , es decir, sup0 t T E Xt y adem as es u nico en el sentido de indistinguibilidad. En este caso a tal soluci on se le llama soluci on fuerte de la ecuaci on estoc astica. No presentaremos la demostraci on de este resultado, simplemente comentaremos algunos aspectos de los que consta la prueba completa. La demostraci on es semejante al caso determinista, y hace uso del m etodo de iteraciones de Picard. Mediante este m etodo se dene la sucesi on de procesos Xt
t
X0 , X0
n1 X
t
0
bs, X n ds
s
t
0
n dBs . s, Xs
Para que estas iteraciones tengan sentido es necesario vericar que los integrandos involucrados son efectivamente susceptibles de ser integrados respecto de la diferencial respectiva. Para comprobar que tal sucesi on de procesos es convergente se demuestra que, con probabilidad uno, esta sucesi on constituye una sucesi on de Cauchy en el espacio de funciones continuas C 0, T , respecto de la norma uniforme X sup0 t T Xt . Dado lo anterior, existe entonces un proceso continuo Xt , tal que con probabilidad n uno, Xt converge a Xt de manera uniforme en el intervalo 0, T . Adicionalmente puede demostrarse que el proceso l mite es L2 -acotado en 0, T , y n Xt tambi en es v alida en L2 P . Tambi en debe que la convergencia Xt demostrarse que el proceso l mite es efectivamente soluci on de la ecuaci on estoc astica. Para ello se toma el l mite en la ecuaci on que dene las iteraciones, y se verica la convergencia uniforme en 0, T con probabilidad uno, t ermino a t ermino. Los detalles de esta demostraci on pueden encontrarse por ejemplo en [33]. Observe que el teorema anterior no establece la
9.3. Ecuaciones diferenciales estoc asticas
291
forma de encontrar la soluci on a una ecuaci on estoc astica dada, sino que asegura u nicamente la existencia de dicha soluci on. La siguiente versi on de la f ormula de It o es un resultado bastante u til para resolver algunas ecuaciones estoc asticas y generaliza la versi on anteriormente enunciada. o dado Teorema 9.3 (F ormula de It o) [II] Si Xt es un proceso de It 1 2 on de clase C en t y de clase C en x, por (9.10) y f t, x es un funci entonces el proceso Yt f t, Xt es tambi en un proceso de It o y satisface la ecuaci on estoc astica dYt 1 ft t, Xt dt fx t, Xt dXt fxx t, Xt dXt 2 . 2 (9.12)
Los sub ndices indican derivada y la ecuaci on (9.10) dt dBt se substituye en (9.12) usando la tabla de multiplidt 0 0 caci on de McKean que se muestra en la Figura 9.4. dBt 0 dt Observe que como las derivadas involucradas son funciones continuas, las integrales estoc asticas reFigura 9.4 sultantes est an bien denidas. La demostraci on de este resultado sigue las mismas l neas que la versi on m as simple. Ilustraremos a continuaci on el uso de esta f ormula con varios ejemplos. Ejemplo 9.7 Demostraremos que
t t
s dBs
0
tBt
Bs ds.
0
Para vericar esta f ormula puede tomarse el proceso Xt f t, x tx. Entonces, df t, Bt dtBt
Bt y la funci on
1 ft t, Bt dt fx t, Bt dBt fxx t, Bt dBt 2 2 Bt dt t dBt .
Esta es la forma diferencial de la f ormula enunciada. Ejemplo 9.8 Considere la funci on f x eBt ex . Por la f ormula de It o, 1 2
t
0
eB
t
0
eBs dBs
eBs ds,
292 es decir, el proceso Xt
lculo estoca stico 9. Ca eBt satisface la ecuaci on diferencial dXt 1 Xt dBt Xt dt, 2
con condici on inicial X0 niano geom etrico.
1. A este proceso se le llama movimiento BrowBt 1 t es soluci on
Ejemplo 9.9 Demostraremos que el proceso Xt de la ecuaci on estoc astica dXt 1 t 1X t dt 1 t dBt,
0. Sea f t, x x1 t. El proceso Xt con condici on inicial X0 f t, Bt cumple la condici on inicial y por la f ormula de It o satisface la ecuaci on dXt 1 ft t, Bt dt fx t, Bt dBt fxx t, Bt dt 2 Bt 1 1 t2 dt 1 t dBt 1 t 1X dt dBt . t 1t
on f t, x tal que el proceso con condici on inicial X0 0. Se busca un funci soluci on pueda escribirse como Xt f t, Bt . Igualando los coecientes de esta ecuaci on con los de la f ormula de It o, dXt 1 ft t, Bt dt fx t, Bt dBt fxx t, Bt dt, 2 fx t, x et
Ejemplo 9.10 Usando el m etodo de igualaci on de coecientes resolveremos la ecuaci on dXt Xt dt et dBt ,
se obtiene el sistema de ecuaciones
1 ft t, x fxx t, x 2
f t, x.
n 9.4. Simulacio
293
De la primera ecuaci on se obtiene f t, x et x ct. Substituyendo en la segunda ecuaci on y simplicando se obtiene c t ct, cuya soluci on t es ct ce , en donde c es una constante. Por lo tanto f t, x et x c. Para que el proceso Xt f t, Bt et Bt c cumpla la condici on inicial X0 0 forzosamente la constante c debe ser cero. De esta forma la ormula de It o asegura que funci on buscada es f t, x et x. En tal caso la f efectivamente, dXt
et Bt dt et dBt Xt dt et dBt .
9.4.
Simulaci on
Una ecuaci on estoc astica ha resultado muy u til para modelar sistemas que presentan alg un tipo de ruido o perturbaci on aleatoria. Aplicaciones de tales modelos se estudian en ingenier a, nanzas y f sica entre muchas otras areas del conocimiento. Debido a la imposibilidad de encontrar soluciones expl citas a ciertas ecuaciones de inter es, los m etodos num ericos del caso determinista se han extendido al caso estoc astico. En las siguientes secciones presentaremos algunos modelos particulares de ecuaciones estoc asticas, y explicaremos un mecanismo para simular las trayectorias del proceso soluci on. Una trayectoria de un proceso Xt : t 0 que sigue la ley de movimiento de una ecuaci on estoc astica de la forma: dXt X0 bt, Xt dt t, Xt dBt , x0 ,
puede obtenerse mediante el m etodo de discretizaci on de Euler-Maruyama. En este procedimiento se divide el intervalo 0, t de manera uniforme en tn, y se dene tj j t para n subintervalos de id entica longitud t j 0, 1, 2, . . . , N . Suponiendo que Yj es un valor al azar de la distribuci on normal est andar, se denen los valores sucesivos de la trayectoria soluci on de la ecuaci on estoc astica como sigue: X0 Xtj1 x0 , Xtj
btj , Xt t tj , Xt
j j
t Yj .
M as adelante se presentar a una implementaci on de este procedimiento en MATLAB para simular trayectorias de soluciones de ecuaciones particulares.
294
9.5.
Algunos modelos particulares
Movimiento Browniano geom etrico Este modelo es de amplio uso en nanzas y sirve para representar el precio de algunos bienes que uct uan siguiendo los vaivenes de los mercados nancieros. Su denici on es la siguiente. 0 dos constantes, y x0 0. El movimiento Denici on 9.5 Sean y Browniano geom etrico es el proceso Xt : t 0 soluci on de la ecuaci on estoc astica dXt X0 y puede escribirse como sigue: Xt 1 x0 exp 2 t Bt . 2 (9.14) Xt dt Xt dBt , x0 , (9.13)
La ecuaci on (9.13) puede interpretarse de la siguiente forma: en ausencia del t ermino estoc astico, la ecuaci on se reduce a dXt Xt dt, cuya soluci on t es Xt x0 e . Esta funci on representa el comportamiento en el tiempo de un capital inicial positivo x0 que crece de manera continua y deX t terminista a una tasa efectiva del E Xt 100 %, suponiendo 0. Por otro lado, la parte estoc astica corresponde a la volatilidad de una inversi on con riesgo sujeta a las uctuaciones de los mercados nancieros. x0 t El modelo supone que dicha varia1 2 bilidad es proporcional al valor de Figura 9.5 la inversi on. A este proceso se le conoce tambi en con el nombre de movimiento Browniano exponencial. En la Figura 9.5 puede apreciarse una trayectoria de este proceso con una inversi on inicial x0 de una unidad monetaria, y con par ametros 1, y 13. La curva creciente corresponde
9.5. Algunos modelos particulares
295
al crecimiento determinista de la inversi on cuando no hay aleatoriedad, es decir, cuando el coeciente de difusi on es cero. El valor de en la simulaci on es peque no y por esa raz on la trayectoria aleatoria mostrada se mantiene cerca de la trayectoria determinista. Cuando se incrementa el valor de las trayectorias pueden diferir considerablemente. En el programa de computadora de la Figura 9.6 se muestra una manera de simular trayectorias de este proceso. El c odigo es una traducci on a MATLAB de la discretizaci on de la ecuaci on estoc astica, y es una adaptaci on del c odigo que aparece en [13]. Este programa puede ser encontrado en la p agina web de Desmond J. Higham, junto con la implementaci on de otros modelos y otras t ecnicas de discretizaci on. La funci on randn produce un valor al azar de la distribuci on normal est andar.
randn(state,100) T=2; N=300; dt=T/N; xcero=1; mu=1; sigma=1/3; dW=zeros(1,N); MBG=zeros(1,N); dW(1)=sqrt(dt)*randn; MBG(1)=xcero+mu*dt+sigma*xcero*dW(1); for j=2:N dW(j)=sqrt(dt)*randn MBG(j)=MBG(j-1)+mu*MBG(j-1)*dt+sigma*MBG(j-1)*dW(j) end plot([0:dt:T],[xcero,MBG],r-)
Figura 9.6 Observe que los coecientes de la ecuaci on (9.13) son bt, x x y t, x x, y satisfacen las condiciones para la existencia y unicidad de la soluci on. Resolveremos esta ecuaci on usando el m etodo de igualaci on de coecientes. Encontraremos una funci on f t, x tal que al aplicar la f ormula de It o al proceso Xt f t, Bt se obtenga la ecuaci on (9.13). Comparando entonces los coecientes de la f ormula general
dXt
1 ft t, Xt dt fx t, Xt dBt fxx t, Xt dt 2
296 con los de (9.13) se obtienen las igualdades f t, x
f t, x
1 ft t, x fxx t, x, 2 fx t, x.
De la segunda ecuaci on se obtiene que f t, x exp x gt, para alguna funci on gt. Substituyendo en la primera ecuaci on se obtiene g t 1 2 1 2 on es gt 2 t. De donde Xt f t, Bt adquiere la 2 , cuya soluci expresi on indicada. Demostraremos ahora algunas caracter sticas num ericas de este proceso. Proposici on 9.2 Para el movimiento Browniano geom etrico se cumple lo siguiente: 1. E Xt 2. VarXt x0 et .
2t e x2 0e
2t
1.
2s
3. CovXt , Xs
st e x2 0e
1,
para 0
t.
Demostraci on. Usaremos el hecho de que la funci on generadora de mo2 2 2 mentos de la distribuci on N, es M s exps 1 2 s . 1. Para la esperanza se tiene que E Xt 1 E x0 exp 2 t Bt 2 1 2 x0 exp t E expBt 2 1 1 x0 exp 2 t exp t 2 2 2 t x0 e .
9.5. Algunos modelos particulares 2. Ahora calcularemos la varianza. VarXt 1 Varx0 exp 2 t Bt 2 1 2 2 x0 exp2 t VarexpBt 2 1 2 2 x2 0 exp2 t E exp 2Bt E expBt 2 1 2 1 1 2 2 x2 0 exp2 t exp t2 exp2 t 2 2 2 2 2t 2 t x0 e e 1.
297
3. Calcularemos primero E Xt Xs . Observe que Bt Bs se puede escribir como 2Bs Bt Bs , siendo estos sumandos independientes. Entonces, E Xt Xs 1 2 E x 2 0 exp t s Bt Bs 2 1 2 2 x0 exp t s E exp Bt Bs 2 1 2 2Bs x2 E eBt Bs 0 exp t s E e 2 1 2 1 2 2s2 2 x2 e ts 0 exp t se 2 2 x2 0 expt s s .
Por lo tanto, CovXt , Xs E Xt Xs E Xt E Xs

tss x2 0e
2
ts x2 0e ts x2 e 1 0e s2
Proceso de Ornstein-Uhlenbeck Este modelo fue propuesto por Ornstein y Uhlenbeck para modelar la velocidad del movimiento difuso de una part cula en intervalos de tiempo peque nos.
298
Denici on 9.6 Sean y dos constantes positivas. El proceso de OrnsteinUhlenbeck es aquel proceso Xt : t 0 soluci on de la ecuaci on estoc astica dXt X0 y dado por Xt
Xt dt dBt ,
t
0
(9.15)
x0 . ets dBs .
x0 et
(9.16)
La variable Xt se interpreta como la velocidad de una part cula al tiempo t. La parte determinista Xt corresponde a la fuerza de fricci on, y el sumando dBt es un ruido aleatorio. En la Figura 9.7 se muestra una simulaci on de una trayectoria de este proceso y se compara con Xt E Xt , que calcularemos m as adelante. El proce4 x0 3 so muestra un decaimien 1 3 to conforme el tiempo avan 1 2 za y ello es debido al factor de fricci on del mode1 lo. Es inmediato vericar E Xt t que los coecientes de la 1 2 ecuaci on (9.15) satisfacen las condiciones del teoreFigura 9.7 ma de existencia y unicidad para ecuaciones estoc asticas. Vericaremos entonces que (9.16) es efectivamente la soluci on a la ecuaci on (9.15). Considere una soluci on de la forma: Xt at x0
t
0
bs dBs ,
(9.17)
en donde at y bt son funciones diferenciables. Derivando (9.17) y usando la f ormula de It o (9.12) se obtiene dXt a t x0
t
0
a t Xt dt at bt dBt . at
bs dBs dt at bt dBt
9.5. Algunos modelos particulares
299
Suponiendo a0 1 se obtiene at expt, y bt expt. Substituyendo en (9.17) se obtiene (9.16). Calcularemos a continuaci on la esperanza y varianza de este proceso.
Comparando con (9.15), las funciones at y bt deben cumplir las ecuaciones a t , at bt . at
Proposici on 9.3 Para el proceso de Ornstein-Uhlenbeck se cumple lo siguiente. a) E Xt b) VarXt x0 et . 2 1 e2t . 2 2 ts ets . e 2
c) CovXt , Xs Demostraci on.
a) Este resultado se obtiene al tomar esperanza en (9.16), y observar que la integral estoc astica es una martingala que inicia en cero. b) El c alculo de la varianza de Xt es una aplicaci on de la isometr a de It o, VarXt Var
2
t
0
ets dBs
2 E 2
t
0
ets dBs 2
t
0
e2ts ds 1 2s e 2
t 0
2 e2t
2 1 e2t . 2
300
lculo estoca stico 9. Ca s t,
c) Nuevamente usaremos la isometr a de It o. Para 0 CovXt , Xs E Xt Xs E Xt E Xs E x0 et

t 0 s
0
etu dBu
x0 es
E
2
ts esu dBu x2 0e
s
0
t
0
etu dBu
esu dBu .
La primera integral puede descomponerse en la suma de dos integrales, una sobre el intervalo 0, s y otra sobre s, t. Dada la propiedad de incrementos independientes del movimiento Browniano, el segundo sumando desaparece. De modo que, por la isometr a de It o, CovXt , Xs 2 ets E ets
2 0
s
0
eu dBu 2
e2u du
2 ts e ets . 2
Puente Browniano El puente Browniano es un movimiento Browniano con espacio parametral el intervalo unitario 0, 1 y es tal que en los extremos de este intervalo el proceso se hace cero. Una trayectoria de tal proceso se muestra en la Figura 9.8. Existen varias formas equivalentes de denir a este proceso, la siguiente es una de ellas. Denici on 9.7 El puente Browniano en el intervalo 0, 1 es aquel proceso Xt : t 0, 1 soluci on de la ecuaci on estoc astica dXt X0
t 1X t dt dBt ,
t 0, 1,
(9.18)
0.
9.5. Algunos modelos particulares y que puede ser representado de la siguiente forma Xt
301
1 t
t
0
1s
dBs .
(9.19)
Los coecientes de la ecuaci on (9.18) son bt, x x 1 t
X t
t, x
1,
que cumplen las condiciones del teorema de existencia y unicidad. Puede resolverse la ecuaci on (9.18) y obtener la representaci on (9.19) proponiendo nuevamente una soluci on de la forma Xt at x0
t
0
Figura 9.8
bs dBs ,
(9.20) 0. Derivando
en donde at y bt son dos funciones diferenciables, y x0 se obtiene nuevamente dXt a t x0

t
0
a t Xt dt at bt dBt . at
bs dBs dt at bt dBt
11 t, Igualando coecientes se obtienen las ecuaciones a tat y atbt 1. Suponiendo a0 1 se obtiene at 1 t, y por lo 11 t. Substituyendo en (9.20) se obtiene (9.19). Puede tanto bt demostrarse que l m Xt 0,
t 1
y entonces efectivamente el puente Browniano se anula al nal del intervalo. Vamos a calcular a continuaci on la esperanza, varianza y covarianza de este proceso.
302
Proposici on 9.4 Para el puente Browniano dado por (9.19) se cumple 1. E Xt 2. VarXt 0. t 1 t . s1 t, para 0 s t 1.
3. CovXt , Xs Demostraci on.
1. La integral es una martingala continua que inicia en cero, por lo tanto E Xt 0. 2. Por la isometr a de It o, VarXt dBs 1s t 1 2 1 t E 1 dBs 2 s 0 t 1 2 2 1 t E 1 ds s 0 1
0
1 t2 Var
1 1 t2 1 s t1 t. 3. Para 0 s t 1, E Xs Xt
CovXs , Xt
1 s1 tE
s
0
1u
dBu
0
1u
dBu .
Nuevamente la segunda integral puede descomponerse en la suma de dos integrales, una sobre el intervalo 0, s y otra sobre s, t. Dada la propiedad de incrementos independientes del movimiento Browniano, el segundo
9.5. Algunos modelos particulares sumando desaparece. De modo que, por la isometr a de It o, CovXs , Xt 1 dBu 2 1 u s 0 1 2 1 s1 t 1 du u 0 s 1 1 s1 t 1 u 0 s1 t.
303
1 s1 tE
Como era de esperarse, la varianza se anula en los extremos del intervalo pues all el proceso es cero con probabilidad uno. Observe adem as que la varianza se hace m axima exactamente en la mitad de dicho intervalo. El puente Browniano en 0, 1 puede representarse de varias formas, por ejemplo, se conocen las siguientes representaciones m as compactas: a) Xt b) Xt Bt tB1 , para t 0, 1. para t 0, 1.
B1t 1 tB1 ,
Notas y referencias. Para el desarrollo de la denici on de integral estoc astica respecto del movimiento Browniano hemos seguido el lineamiento general presentado en el texto de Steele [33]. All pueden encontrarse las demostraciones completas de varios de los resultados que hemos solamente enunciado. Otros trabajos en donde pueden encontrarse exposiciones elementales sobre integraci on estoc astica son ksendal [25], Kuo [20], o Klebaner [18]. Para una exposici on m as completa y general puede consultarse por ejemplo Protter [26] o Revuz y Yor [28]. En los trabajos de D. J Higham como [13] pueden encontrarse algunas primeras lecturas sobre los m etodos para simular ecuaciones estoc asticas. En el texto de Kloeden y Platen [19] se expone la teor a general, varios m etodos num ericos y diversas aplicaciones de ecuaciones estoc asticas.
304
9.6.
Ejercicios
Integral de It o
232. Demuestre que dos procesos simples pueden siempre expresarse en t erminos de una partici on com un. Con ayuda de este resultado demuestre ahora que el espacio de procesos simples es un espacio vectorial.
2 233. Demuestre que la integral estoc astica para procesos simples I : H0 L2 P es lineal y continua.
234. A partir de la denici on de integral estoc astica demuestre que:

t
a)
0 t
s dBs
2 Bs dBs
tBt
Bs ds.
0
b)
0
1 3 B 3 t
Bs ds.
0
Para el segundo inciso se puede usar la identidad x2 y x xy x2 1 3 y x3 y x3. 3
F ormula de It o
235. Use la f ormula de It o para demostrar que:
t
a)
t
0
2 Bs dBs n Bs dBs
b)
0
236. Use la f ormula de It o para demostrar que el proceso Xt : t una soluci on de la ecuaci on estoc astica indicada. a) Xt b) Xt c) Xt
2 , dX Bt t 3, Bt
t 1 3 Bt Bs ds. 3 0 1 1 t n1 B 2 nBsn1 ds. n1 t 0
0 es
dt 2Bt dBt .
1 3
dXt
tBt , dXt
3Xt dt 3Xt Xt dt t dBt . t
2 3
dB . t
9.6. Ejercicios
305
237. Use la f ormula de It o para demostrar que el proceso Xt 1 Bt 1 es soluci on de la siguiente ecuaci on estoc astica para tiempos t 0, en donde nf t 0 : Bt 1. dXt
3 2 Xt dt Xt dBt .
Ecuaciones estoc asticas

238. Demuestre que el proceso Xt estoc astica dXt expBt
t2 satisface la ecuaci on
Xt dBt .
239. Demuestre que cada una de las siguientes ecuaciones estoc asticas tiene una u nica soluci on. En cada caso encuentre dicha soluci on. Los t erminos b, y x0 son constantes. a) dXt b) dXt c) dXt
b Xt dt dBt , X0 x0 . b dt Xt dBt , X0 x0 . b Xt dt Xt dBt , X0 x0 .
Puente Browniano
240. Sea Xt : t 0, 1 un puente Browniano. Demuestre que efectivamente l m Xt 0 c.s.
t 1
241. Demuestre que los siguientes procesos son puentes Brownianos. a) Xt b) Xt Bt tB1 , B1t 1 tB1 , para t 0, 1. para t 0, 1.
306
Ap endice: conceptos y resultados varios

Igualdad de procesos Se dice que dos procesos estoc asticos Xt : t 0 y Yt : t 0 son equivalentes, o tambi en se dice que uno es una versi on o modicaci on del otro, si para cada valor de t 0 jo se cumple que P Xt Yt 1,
es decir, si las variables Xt y Yt son iguales c.s. Un tipo de igualdad m as fuerte establece que los procesos son indistinguibles si P Xt Yt para cada t 0 1.
Esto signica que con probabilidad uno las trayectorias de los dos procesos son id enticas. Claramente la indistinguibilidad es m as fuerte que la equivalencia. Sin embargo, puede demostrarse que cuando los procesos son continuos, es decir, cuando sus trayectorias son funciones continuas del par ametro, ambas nociones de igualdad coinciden. Cuando el par ametro es discreto, las deniciones son an alogas y se puede demostrar la equivalencia entre los dos tipos de igualdad sin ninguna condici on adicional. Distribuciones nito dimensionales Las distribuciones nito dimensionales de un proceso estoc astico a tiempo on de todas las funciones de distribuci on continuo Xt : t 0 es la colecci conjuntas FXt1 ,...,Xtn x1 , . . . , xn , 307
308
. Ap endice: conceptos y resultados varios
para cualesquiera tiempos 0 t1 tn, y cualquier n natural. La denici on es an aloga cuando el proceso es a tiempo discreto. Independencia de procesos Se dice que una variable aleatoria X es independiente de un proceso Xt : 0 si para cualesquiera tiempos 0 t1 t2 tn , n N , t la distribuci on conjunta de la variable X y el vector Xt1 , . . . , Xtn es el producto de las distribuciones marginales, es decir, FX,Xt1 ,...,Xtn x, x1 , . . . , xn FX x FXt1 ,...,Xtn x1 , . . . , xn ,
o en t erminos de conjuntos de Borel A, A1 , . . . , An , cuando la probabilidad conjunta P X A, Xt1 A1 , . . . , Xtn An es igual al producto
AP Xt A1 , . . . , Xt An . M as generalmente, dos procesos estoc asticos Xt : t 0 y Yt : t

1 n
P X
0 son independientes si para cualesquiera dos enteros naturales n y m, y tiempos 0 t1 t2 tn y 0 s1 s2 sm, se cumple que la distribuci on conjunta FXt1 ,...,Xtn ,Ys1 ,...,Ysm x1 , . . . , xn , y1 , . . . , ym coincide con el producto FXt1 ,...,Xtn x1 , . . . , xn FYs1 ,...,Ysm y1 , . . . , ym . En palabras, esta condici on signica que las distribuciones nito dimensionales conjuntas son el producto de las distribuciones nito dimensionales marginales. Las deniciones para el caso de tiempo discreto son an alogas. Lema de Abel a) Si la serie
k 0 ak
es convergente, entonces l m
k 0
ak tk
k 0
ak .
309 b) Inversamente, si ak 0 y l mt
k 0 k 0 ak
tk
, entonces
ak
l m
k 0
ak t k .
En Karlin y Taylor [17] puede encontrarse una demostraci on de estos resultados. Lema de Fatou
a) Sea anm : n, m N una colecci on de n umeros reales. Entonces
l m inf anm
n m
l m inf
n
anm .
b) Adem as, si anm
bm con l m sup
n
bm
, entonces l m sup anm .

n
anm
Teorema de convergencia mon otona Sea X1 , X2 , . . . una sucesi on de variables aleatorias tales que 0 X2 y l m Xn X casi seguramente. Entonces
n n
X1
l m E Xn
E l m Xn .
n
Teorema de convergencia dominada a) Sea X1 , X2 , . . . una sucesi on de variables aleatorias tales que l m Xn
n
X casi seguramente, y para cada valor de n, Xn . Entonces, Y con E Y

n
Y , para alguna variable
l m E Xn
E l m Xn .
n
b) Sea anm : n, m N una colecci on de n umeros reales tales que l mn anm bm , independiente de n, y m 0 bm . Enexiste para cada m, anm tonces,
n
l m
anm
m 0
m 0
l m anm .
310
Ecuaci on de Wald Sea X1 , X2 , . . . una sucesi on de variables aleatorias independientes con la misma distribuci on que X y con esperanza nita. Sea N una variable aleatoria con valores en el conjunto 1, 2, . . . , con esperanza nita e independiente de la sucesi on. Entonces, E
N k 1
Xk
E X E N .
Distribuci on tipo reticular Se dice que una variable aleatoria discreta X , o su distribuci on de probabilidad, es de tipo reticular o que es de tipo lattice si P X c nd 0, en donde c y d 0 son constantes reales y n 1, 2, . . . Notaci on o peque na Sean f t y g t dos funciones que se encuentran denidas y son positivas as para valores de t sucientemente grandes. Se dice que f t es de orden m peque no que g t cuando t , y se escribe f t ogt cuando t , si se cumple f t 0. l m t g t
En particular, se escribe f t o1 cuando f t converge a cero cuando . Se usa la misma notaci on cuando t tiende a alg un valor nito t particular y las funciones se encuentran denidas y son positivas en una vecindad no trivial alrededor de ese valor. En este texto se usa la notaci on o peque na para establecer el comportamiento de probabilidades dependientes del tiempo pt, cuando t se aproxima a cero a trav es de valores positivos. F ormula de Stirling Para n sucientemente grande, n! 2 nn12 en .
Esperanza condicional Sea , F , P un espacio de probabilidad. Sea X una variable aleatoria con esperanza nita y sea G una sub - algebra de F . La esperanza condicional
311 de X dado G , es una variable aleatoria denotada por E X G , que cumple las siguientes tres propiedades: a) Es G -medible. b) Tiene esperanza nita. c) Para cualquier evento G en G ,
E X G dP
X dP.
G
Es importante enfatizar que la esperanza condicional es una variable aleatoria. Usando el teorema de Radon-Nikodym (v ease por ejemplo [7]), puede demostrarse que esta variable aleatoria existe y es u nica casi seguramente. Esto signica que si existe otra variable aleatoria con las tres propiedades anteriores, entonces con probabilidad uno coincide con E X G . Cuando la - algebra G es generada por una variable aleatoria Y , es decir, cuando Y , la esperanza condicional se escribe simplemente como E X Y . G Mencionaremos a continuaci on algunas propiedades de esta variable aleatoria, en estas expresiones se postula de manera impl cita que la variable a la que se le aplica la esperanza condicional es integrable. 1. Si c es constante, entonces E c G 2. E X
c.
E X .
3. Si A es un evento, entonces E 1A 4.
, P A. Si A y B son eventos con 0 P B 1, entonces E 1A , B, B c , P A B 1B P A B c 1B .

c
on de tal que P Bi 5. Si A es un evento y B1 , . . . , Bn es una partici 0 para i 1, . . . , n, entonces E 1A B1 , . . . , Bn

n i 1
P A Bi 1Bi .
312
6. Si Y es una variable aleatoria discreta con valores en 0, 1, . . . , entonces E X Y 7. E E X G E X .
E X Y
n 0
n 1Y
8. E X G E X G . Este es un caso particular de la desigualdad de Jensen que se enunciar a m as adelante. En particular, tomando esperanza se tiene el siguiente resultado. 9. E E X G E X . G . 10. Si c es constante, entonces E c X 11. 12. 13.
Y G c E X G E Y Si X es G -medible, entonces E X G X c.s. Si X 0, entonces E X G 0. Si X Y , entonces E X G E Y G .

G2 , entonces E E X G1 G2 E E X G2 G1 E X G1 . E X .
14. Si G1
15. Si X es independiente de G , entonces E X G 16. Si G1 y G2 son independientes, entonces E X G1 G2
E X G1 E X G2 E X .
17. Si X es independiente de G2 , entonces E X G1 G2

m
E X G1 . E X G . E X G c.s.
18. Convergencia en media. m X , entonces E Xn G Si Xn
19. Teorema de convergencia mon otona. Si Xn 0 y Xn X c.s., entonces E Xn G
313 20. Si XY es integrable y X es G -medible, entonces E XY G X E Y G .
21. X es independiente de G si, y s olo si, E f X G E f X para cualquier funci on Lebesgue medible f tal que f X es integrable. 22. Desigualdad de Jensen. Si u es convexa y uX es integrable, entonces uE X G E uX G .
Funciones directamente Riemann integrables Sea H : 0, 0, una funci on Borel medible. Sea h n natural dena las funciones n h n h nf H t : n 1h sup H t : n 1h t t nh , nh .
0, y para cada
Suponga que las siguientes funciones son absolutamente convergentes h h h h
n 1
n h, n h,
n 1
y que adem as l mh 0 h l mh 0 h. Entonces se dice que la funci on H es directamente Riemann integrable. Esta condici on de integrabilidad es m as fuerte que la integrabilidad usual de Riemann, es decir, toda funci on directamente Riemann integrable es Riemann integrable, por ejemplo, a) H t b) H : 0, integrable. 10,a t es d. R. integrable.
0,
no creciente y tal que
H t dt
, es d. R.
314
Bibliograf a
[1] Basu A. K., Introduction to stochastic processes, Alpha Science International Ltd., 2003. [2] Brown R., A brief account of Microscopical Observations made in the Months of June, July, and August, 1827, on the Particles contained in the Pollen of Plants; and on the general Existence of active Molecules in Organic and Inorganic Bodies, Philosophical Magazine N. S. 4, 161-173, 1828. [3] Brze zniak Z. y Zastawniak T., Basic stochastic processes, Springer, 1999. [4] Caballero M. E. et al., Cadenas de Markov: un enfoque elemental, Aportaciones Matem aticas, Serie Textos 29, Sociedad Matem atica Mexicana, 2004. [5] Chung K. L., Markov chains with stationary transition probabilities, Springer, 1960. [6] Chung K. L. y Williams R. J., Introduction to stochastic integration, Birkh auser, 1983. [7] Cohn D. L., Measure theory, Birkh auser, 1980. [8] Einstein A., Investigations on the theory of the Brownian movement, Dover, 1956. [9] Feller W., Introducci on a la teor a de probabilidades y sus aplicaciones, Limusa, 1973. 315
316
Bibliograf a [10] Gard T. C., Introduction to stochastic dierential equations, Marcel Dekker, 1988. [11] Grimmett G. R. y Stirzaker D. R., Probability and random processes, Clarendon Press, Oxford, 1982. [12] Gut A., Probability: a graduate course, Springer, 2005. [13] Higham D. J., An algorithmic introduction to numerical simulation of stochastic dierential equations, SIAM Review Vol. 43, N um. 3, pp. 525-546, 2001. [14] Hoel P. G., Port S. C. y Stone C. J., Introduction to stochastic processes, Hougthon Miin Company, 1972. [15] Jones P. W. y Smith P., Stochastic processes: an introduction, Arnold, 2001. [16] Jordan D. W. y Smith P., Mathematical techniques, Oxford University Press, 1997. [17] Karlin S. y Taylor H. M., A rst course in stochastic processes, Academic Press, 1975. [18] Klebaner F. C., Introduction to stochastic calculus with applications, Imperial College Press, 1998. [19] Kloeden P. E. y Platen E., Numerical solution of stochastic differential equations, SpringerVerlag, 1999. [20] Kuo H., Introduction to stochastic integration, Springer, 2006. [21] Lawler G. F., Introduction to stochastic processes, Chapman & Hall / CRC, 2006. [22] Lawler G. F., Random walk and the heat equation, Student Mathematical Library, Vol. 55, AMS, 2010. [23] Nelson E., Dynamical theories of Brownian motion, Princeton University Press, 1967. [24] Norris J., Markov chains, Cambridge University Press, 1997.
Bibliograf a
317
[25] ksendal B., Stochastic dierential equations: an introduction with applications, SpringerVerlag, 1992. [26] Protter P. H., Stochastic integration and dierential equations, Springer, 1990. [27] Resnick S., Adventures in stochastic processes, Birkh auser, 1992. [28] Revuz D. y Yor M., Continuous martingales and Brownian motion, Springer-Verlag, 1991. [29] Rinc on L., Sobre el problema del mono que escribe caracteres al azar, Miscel anea Matem atica 42, Sociedad Matem atica Mexicana, 7990, 2006. [30] Rinc on L., Introducci on a la ecuaciones diferenciales estoc asticas, Memorias del Congreso Regional de la Universidad Aut onoma de Aguascalientes en Probabilidad, Noviembre de 2005. Aguascalientes, Ags. Editorial Universidad Aut onoma de Aguascalientes. Eds. Jorge A. Le on, Jorge E. Mac as y Jos e Villa. Diciembre 2006, 26-58. [31] Ross S., A rst course in probability - 4th ed., Macmillan Publishing Company, 1994. [32] Spitzer F., Principles of random walk, 2nd. ed., Springer, 2001. [33] Steele J. M., Stochastic calculus and nancial applications, SpringerVerlag, 2001. [34] Stirzaker D., Stochastic processes and models, Oxford University Press, 2005. [35] Taylor H. M. y Karlin S., An introduction to stochastic modeling, Academic Press, 1994. [36] Tudor C., Procesos estoc asticos, Aportaciones Matem aticas, Serie Textos 2, Sociedad Matem atica Mexicana, 1994.
Indice anal tico

Abel lema, 308 Cadena de Markov, 28 a tiempo continuo, 148 accesibilidad de edos, 43 comunicaci on de edos, 43 de dos estados, 31 de Ehrenfest, 35 de inventarios, 38 de la caminata aleatoria, 34 de la la de espera, 37 de rachas de exitos, 33 de ramicaci on, 36 de v.a.s independientes, 32 del jugador, 35 distribuci on inicial, 30 erg odica, 44 estacionaria, 29 existencia, 30 nita, 28 irreducible, 44 recurrente, 53 regular, 86 reversible, 89 transitoria, 53 Caminata aleatoria, 7 asim etrica, 9 318 del jugador, 16 sim etrica, 9 Chapman-Kolmogorov, 39, 244 Clase aperi odica, 45 cerrada, 57 de comunicaci on, 43 peri odica, 45 Coeciente de difusi on, 289 de tendencia, 289 Comunicaci on, 42 Conabilidad, 188 Correcci on de It o, 283 Coseno hiperb olico, 137 Cox proceso de, 131 Delta de Kronecker, 31 Deriva, 289 Desigualdad de Jensen, 313 Distribuci on estacionaria, 71 invariante, 71 l mite, 81 reticulada, 310 tipo lattice, 310
Indice anal tico Distribuci on exponencial simulaci on, 135 Distribuci on Poisson simulaci on, 136 Distribuciones nito dimensionales, 307 Doob, J. L., 229 Downcrossing, 221 Drift, 289 Ecuaci on de balance detallado, 90 de calor, 244 de Chapman-Kolmogorov, 39, 244 de difusi on, 244 de renovaci on, 176, 177 de Wald, 310 estoc astica, 289 soluci on fuerte, 290 Ecuaciones de Kolmogorov, 156 prospectivas, 158 retrospectivas, 156 Espacio C 1 , 286 C 2 , 286 L2 P , 274 L2 P dt, 275 H2 , 278 2 , 275 H0 L2 loc , 281 de estados, 1 parametral, 1 Esperanza condicional, 310 Estado absorbente, 44 aperi odico, 45 peri odico, 45 recurrente, 50 recurrente nulo, 66 recurrente positivo, 66 transitorio, 50 Estrategia de juego, 209 Euler-Maruyama, 293
319
F ormula de Stirling, 310 Fatou lema, 309 Filtraci on, 200 can onica, 200 continua por la derecha, 201 est andar, 201 natural, 200 Funci on coseno hiperb olico, 137 de conabilidad, 188 de intensidad, 131 de renovaci on, 176 de supervivencia, 188 de tasa de falla, 188 de valor medio, 131 delta de Kronecker, 31, 148 dir. Riemann integrable, 313 hazard, 188 seno hiperb olico, 137 variaci on cuadr atica de una, 248 variaci on de una, 248 Igualdad de procesos, 307 Independencia
320 de procesos, 308 Integrabilidad uniforme, 225 Integral estoc astica, 273 como un proceso, 280 de It o, 276, 278, 280, 281 de Stratonovich, 284 extensi on por aproximaci on, 277 extensi on por localizaci on, 281 para procesos simples, 276 propiedades, 285 It o correci on de, 283 f ormula de, 286, 291 integral de, 276, 278, 280, 281 isometr a de, 279 proceso de, 289 Kronecker, 31 L` evy, P. P., 264 Lema de Abel, 308 de Fatou, 309 M etodo de discretizaci on, 293 Markov, A. A., 93 Martingala, 5, 203 de de Moivre, 234 detenida, 208 estrategia de juego, 209, 210 exponencial, 269 producto, 234, 235 sub , 203 super , 203 Martingalas teorema de convergencia, 223 teorema de representaci on, 228
Indice anal tico Matriz de prob. de transici on, 29 doblemente estoc astica, 30 estoc astica, 30 regular, 86 McKean Tabla de multiplicaci on, 291 Movimiento Browniano, 239 est andar, 240, 241, 243 exponencial, 294 geom etrico, 294 martingala, 245 multidimensional, 252 probabilidad de transici on, 243 radial, 253 recurrencia por vecindades, 262 puntual, 258 reejado en el origen, 268 unidimensional, 240, 241 variaci on, 249 variaci on cuadr atica, 248 N umero de cruces, 219 Notaci on o peque na, 310 Par ametros innitesimales, 154 Periodo, 45 Probabilidades de transici on, 28, 31 de transici on en n pasos, 31 de transici on en un paso, 28 innitesimales, 125, 155 Problema de la ruina del jugador, 17 Proceso, 1 a tiempo continuo, 2
Indice anal tico a tiempo discreto, 2 adaptado, 201 con inc. estacionarios, 5 con inc. independientes, 5 de Bessel, 253 de Cox, 131 de ensayos independientes, 4 de It o, 289 de L` evy, 6 de Markov, 4 de muerte puro, 165 de nacimiento puro, 164 de nacimiento y muerte, 159 de Ornstein-Uhlenbeck, 297 de Poisson, 116, 125, 127 compuesto, 132 generalizado, 133 homog eneo, 116 marcado, 140 mixto, 134 no homog eneo, 129 simulaciones, 125 de renovaci on, 174 de saltos, 146 de Wiener, 241 de Yule, 165 detenido, 207 distribuciones n. dim., 307 equivalencia de s, 307 espacio de estados, 1 espacio parametral, 1 estacionario, 5 ltraci on de un, 200 Gausiano, 6 historia de un , 201 igualdad de s, 307
321 independencia, 308 indistinguibilidad, 307 modicaci on de un , 307 predecible, 201 realizaci on de un , 3 simple, 275 trayectoria de un , 3 versi on de un , 307 Propiedad de Markov, 4 de p erdida de memoria, 117, 180 de semigrupo, 152 Puente Browniano, 269, 300 densidad, 269 Racha de exitos, 33 Recurrencia, 50 nula, 66 positiva, 66 Renovaci on ecuaci on de, 177 funci on de, 176 Seno hiperb olico, 137 Simulaci on distribuci on exponencial, 135 distribuci on Poisson, 136 Stirling, 310 Stratonovich, 284 Submartingala, 203 Supermartingala, 203 T ecnica de acople, 84 Tabla de multiplicaci on de McKean, 291 Teorema
322 de conv. a la dist. est, 83 de conv. de martingalas, 223 de conv. dominada, 309 de conv. mon otona, 309, 312 de conv. para cadenas, 85 de Doob, 223 de paro opcional, 212 de rep. de martingalas, 228 erg odico para cadenas, 64 Tiempo s de estancia, 116, 145 s de interarribo, 116 s de paro, 202 de primera visita, 48, 56, 66 de vida restante, 179 medio de recurrencia, 56, 66 Tiempo de paro, 203 Transitoriedad, 50 Variaci on, 248 cuadr atica, 248 Wald ecuaci on de, 310 Wiener, N., 263
Indice anal tico

PE Rincon

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

PE Rincon

Uploaded by

Copyright:

Available Formats

Introducci on a los procesos estoc asticos

Contenido 3.18. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

Xt2 Xt1 Xt3 t t1 t2 t3

a) Dibuje todas las trayectorias del proceso Xt : t b) Calcule la distribuci on de Xt . c) Calcule E Xt .

2.1. Caminatas aleatorias Demostraci on. Para la esperanza tenemos que: E Xn

Por otro lado, como E 2 pq 1 y E Var 1 p q 2 4pq . Por lo tanto, VarXn

2.1. Caminatas aleatorias

2.1. Caminatas aleatorias

e) Substituyendo (2.9) en (2.5) se llega a la igualdad

2.1. Caminatas aleatorias De donde se obtiene nalmente Gt 1 1 4pqt2 12 .

El problema del jugador

2.2. El problema del jugador

Resolviendo iterativamente, las primeras k 1 ecuaciones se escriben de la

18 forma siguiente: u2 u1 u3 u2 uk uk1 . . .

2.2. El problema del jugador

uk 1 p p p p k 10 20 30 40 50 0.01 0.2 0.35 0.5

0.65 0.8 0.99

Proposici on 2.5 El n umero esperado de apuestas antes de la ruina es

En particular, sumando todas las ecuaciones de (2.15) se obtiene mN m1 SN 1

Ahora se hace uso de la condici on mN m1 Substituyendo en (2.16), mk 1 SN 1

Nuevamente se deben distinguir los siguientes dos casos: Sk 1 q p q p

2.3. Ejercicios e) De manera an aloga obtenga f10 1, q p.

3.1. Propiedad de Markov

Por lo tanto, para cualquiera estados i y j ,

3. Cadenas de Markov 1. Suponga que la distribuci on inicial est a dada por p0 P X0 1.

p00 n p01 n p10 n p11 n 1

3.2. Ejemplos probabilidades de transici on es de la siguiente forma:

c) Sea Xn 1 n . La sucesi on Xn : n 1 es una cadena de Markov con espacio de estados 0, 1, . . . y matriz

Figura 3.5 es ambos pares o ambos impares con pij n

n de Chapman-Kolmogorov 3.3. Ecuacio

Por el teorema de probabilidad total y la propiedad de P Xn

n de Chapman-Kolmogorov 3.3. Ecuacio misma n veces. pij n

pi,i1 1 pi1 ,j n 1 pi,i1 1 pi1 ,i2 1 pi2 ,j n 2

pi,i1 1 pi1 ,i2 1

p00 n p01 n p10 n p11 n . . . . . .

p00 p01 p10 p11 . . . . . .

Si se conoce esta matriz y si pi P X0 i es una distribuci on inicial, entonces la distribuci on de la variable Xn es P Xn j

Partici on de un espacio de estados en clases de comunicaci on

3.6. Primeras visitas

Adicionalmente se dene fij 0

Demostraci on. Dena los eventos A1 A2 A3 . . . An

3.7. Recurrencia y transitoriedad

b) transitorio si, y s olo si

Por otro lado, por el teorema de convergencia mon otona, E Ni X0 i

3.7. Recurrencia y transitoriedad

Veremos a continuaci on algunos ejemplos de aplicaci on del criterio de la Proposici on 3.8.

3.7. Recurrencia y transitoriedad Demostraci on.

Usando (3.2), y siendo todos los t erminos no negativos, pij n

fij n k pjj k fij n k pjj k

Tiempo medio de recurrencia

3.9. Clases cerradas

1 fij fij fjj k1 1 fjj

mero de visitas 3.10. Nu

59 si fij si 0 si fij 0, fjj 1, 1.

d) P Nij e) P Nij Demostraci on.

si j es transitorio, si j es recurrente. si j es transitorio, si j es recurrente.

fij P Njj fij fjj

c) Por el teorema de convergencia mon otona, E Nij E

60 Por otro lado, usando la primera f ormula E Nij

fij fjj k1 si fij si 0 si fij l m P Nij 0, fjj 1, 1.

d) Por la f ormula del inciso (a), P Nij

l m fij fjj k1 . 0 fij si j es transitorio, si j es recurrente.

mero de visitas 3.10. Nu

mero de visitas 3.10. Nu