Métodos Estadisticos en Ciencias de la Vida CADENAS DE MARKOV Introduccién Un proceso o sucesisn de eventos que se desarrolla en el tiempo en el cual el resultado ‘en cualquier etapa contiene algdn elemento que depende del azar se denomina proceso aleatorio o proceso estocdstico. Por ejemplo, la sucesién podria ser las condiciones del tiempo en Parand en una serie de dias consecutivos: el tiempo cambia dia a dia de una manera que en apariencia es algo aleatoria. O bien, la sucesién podrfa consistir en los precios de las acciones que cotizan en la bolsa en donde otra vez interviene cierto grado de aleatoriedad. Un ejemplo simple de un proceso estocdstico es una sucesién de ensayos de Bernoulli, por ejemplo, una sucesién de lanzamientos de una moneda. En este caso, el resultado en cualquier etapa es independiente de todos los resultados previos (esta condicién de independencia es parte de la definicién de los ensayos de Bernoulli). Sin embargo, en la mayoria de los procesos estocdsticos, cada resultado depende de lo que sucedié en etapas anteriores del proceso. Por ejemplo, el tiempo en un dia determinado no es aleatorio por completo sino que es afectado en cierto grado por el tiempo de dias previos. Bl precio de una accién al cierre de cualquier dia depende en cierta medida del comportamiento de la bolsa en dias previ El caso mais simple de un proceso estocdstico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sélo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente) Estas cadenas reciben su nombre del matemdtico ruso Andrei Andreevitch Markov (1856-1922), Como mencionamos antes, estas cadenas tiene memoria, recuerdan el tiltimo evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda. Este tipo de proceso presenta una forma de dependencia simple, pero muy ctil en muchos modelos, entre las variables aleatorias que fo: un proceso estociistico. Se utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros. Definicién ‘Una cadena de Markov es una sucesién de ensayos similares u observaciones en la cual cada ensayo tiene el mismo nimero finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sélo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo. Propiedad de Markov: Dada una secuencia de variables aleatorias X,, X,, X, tales que el valor de X,, es el estado del proceso en el tiempo n. Si la distribucién de probabilidad condicional de X,,,, en estados pasados es una funcién de X, por sf sola, centonees: P(UXns1 = Xnet Xn =X Xa = P(X net = XneXn = Xn) Donde es el estado del proceso en el instante iMétodos Estadisticos en Ciencias de la Vida Esta identidad es la denominada propiedad de Markov: del estado en ty no de Ja evolucién anterior del sistema estado ent + J s6lo depende Matriz de transicin Al trabajar con cadenas de Markov, a menudo es titil pensar la sucesién de ensayos como experimentos efectuados en cierto sistema fisico, cada resultado dejando a este sistema en cierto estado. Por ejemplo, consideremos una sucesién de elecciones politicas en cierto pais: el sistema podria tomarse como el pafs mismo y cada eleccién lo dejaria en cierto estado, es decir en el control del partido ganador. Si slo hay dos partidos politicos fuertes, Hamados A y B, los que por lo regular controlan el gobierno, entonces podemos decir que el pais se encuentra en el estado A o B si el partido A o B ganara la eleccién, Cada ensayo (0 sea cada eleccién), coloca al pais en uno de los dos estados A o B. Una sucesin de 10 elecciones podria producir resultados tales como los siguientes: A.B, A,A,B,B, B, A, B,B La primera eleccién en la sucesin deja en el poder al partido A, la segunda fue ganada por el partido B, y asf sucesivamente, hasta que la décima elecci6n la gane el partido B. Supongamos que las probabilidades de que el partido A o B ganen la proxima eleccién son determinadas por completo por el partido que esti en el poder ahora, Por ejemplo podrfamos tener las probabilidades siguientes: * Sil partido A esté en el poder, existe una probabilidad de % que el partido A ganard la proxima eleccién y una probabilidad de % de que el partido B gane la eleccién siguiente. * Sicel partido B esta en el poder, hay una probabilidad de 1/3 de que el partido A gane la eleccién siguiente y una probabilidad de 2/3 que el partido B permanezea en el poder. En tal caso, la sucesién de elecciones forman una probabilidades de los dos resultados de resultado de la eleccién precedente Lo descrito anteriormente puede representarse grificamente usando la siguiente red: dena de Markov, dado que las én estin determinadas por el Los circulos A y B se denominan Va nodos y representan los estados del CA ata 28 proceso, las flechas que van de un (a) = nodo asi 10 0 al otro son los (®) arcos y representan la probabilidad 1B de cambiar de un estado al otro La informacién probabilistica que se acaba de dar se puede representar de manera conveniente por la siguiente matriz: Resultado de la préxima eleccién AB Resultadodela A (1/4 3/4 Wltima elecci6n = BB {4/3 2/3Métodos Estadisticos en Ciencias de la Vida Esta matriz se denomina matriz de fransicién. Los elementos de la matriz de transicion representan las probabilidades de que en el préximo ensayo el estado del sistema del partido indicado a la izquierda de la matriz. cambie al estado del partido indicado arriba de la matriz. Definiciém; Consideremos un proceso de Markov en que el sistema pose n estados posibles, dados por los iimeros 1, 2, 3, ....,n. Denotemos p,, & la probabilidad de que cl sistema pase al estado j después de cualquier ensayo en donde su estado era i antes del ensayo. Los nimeros p, se denominan probabilidades de transicién y la matriz, nxn P=(p,) se conoce como matriz de transicién del sistema Observaciones: 1) La suma p, + py +... py =L. Esta suma representa la probabilidad de que el sistema pase a uno de los estados 1, 2, .....m dado que empieza en el estado i, Ya que el sistema ha de estar en uno de estos n estados, la suma de probabilidades debe ser igual a 1. Esto significa que los elementos en cualquier renglén de la matriz. de transicién deben sumar 1, 2) Cada elemento p, >0 Ejemplo: una cadena de Markov como modelo para el ADN. Es improbable que una secuencia aleatoria de A,C,G y T sea un buen modelo para el patrn de nuclestidos en una secuencia génica. Una cadena de Markov con {A, T, Gy C} podria ser una mejor aproximaci realidad: las probabilidades para el nuclestido en la posicién j+/ dependen del nuclestido en la posicién j, (Sin embargo, en la realidad las dependencias son més complejas) # Si el espacio de estados es S= (A, C,G, T}. © Lamatriz de transicién Pes de 4 x 4: Pasa Pac Pag Pat Agut pa| Poo Pec Pog Pos Pig = P(Xn41 = j|Xn =i) Pao Pac Poo Pot | paranz1,dondei,j €{A,C,G,T} Pia Pho Pag Pea Ejercicios 03 05 0.2 1. Dada la matriz de tansicién: P=| 0,4 0.2 0.4 05 04 Oo, {Cua es la probabilidad de que el préximo ensayo del sistema cambie: a) del estado 2 al 12, b) del estado I al 3?Métodos Estadisticos en Ciencias de la Vida 2. En cierta nacién hay tres partidos politicos principales, el liberal (L), el conservador (C) y el dem@crata (D). La matriz, de transicién siguiente da las probabilidades de que la nacién sea controlada por cada uno de los tres partidos politicos después de una eleccidn, conocidas las diversas posibilidades del resultado de la eleecién anterior: LocoD L (07 02 Ot c |05 03 02 D 03 04 03 Suponiendo que el partido liberal tiene el control ahora, use un diagrama de frbol para detemminar la probabilidad de que el partido conservador esté en el poder después de las dos préximas elecciones. 3. Bl valor de una accién fluctiia dfa con dia. Cuando la bolsa de valores se encuentra estable, un incremento en un dia tiende a anteceder una baja el dia siguiente, y una baja por lo regular es seguida por un alza. Podemos modelar estos cambios en el valor mediante un proceso de Markoy con dos estados, el primer estado consistente en que el valor se incrementa un dia dado, el segundo estado definido por la baja. (la posibilidad de que el valor permanezca sin ‘cambio se ignora) suponga que la matriz de transicién es la siguiente: Cambio de mafiana AB Cambiodehoy A (01 09 B los 02 Siel valor de la accién bajé hoy, calcule la probabilidad de que se ineremente 3 dias después a partir de ahora En el ejemplo que acabamos de ver, calculamos la probabilidad de que Ta accién vaya al alza al tercer dia. Suponga que deseamos calcular la probabilidad de que la accién vaya al alza o la baja al décimo dia, En este caso, el uso de un diagrama seria muy complicado, En una situacién como esa, el algebra de matrices evita dibujar un diagrama muy grande. Consideremos un sistema de n estados posibles, de modo que cada ensayo tiene n resultado posibles. En cualquier etapa en el futuro no podemos decir en qué estado se encontrar el sistema pero podrfamos estar en posiciGn de dar las probabilidades de que se encuentre en cada uno de los estados 1,2, ....m En general, sip), Py... p, Son las probabilidades de que el sistema se encuentre en Jos estados 1, 2, ss, ml, respectivamente, entonces Ia matriz fila Ixn (p, Ps p,) se conoce como matriz de estado inicial 0 vector de estado inicial del sistema, Obviamente que la suma de esa fila es 1, Denotaremos ala matriz de estado inicial con A, ya la matriz. de estado después de k ensayos 0 etapas por A,Métodos Estadisticos en Ciencias de la Vida En el ejemplo que vimos de las acciones, comenzamos con un estado inicial de baja, de modo que la matriz. de estado inicial es: A,=(0 1) En la matriz de transicién vemos que después de un dia, la accién esta en alza con probabilidad de 0,8 y en baja con probabilidad de 0.2, asf, la matriz de estado A, después de un dia esta dada por. A,=(08 0.2) La probabilidad de que la acci6n vaya al alza 0 a ta baja después de dos dias es: P, = (0.8)(0.1) + 0,2)(0,8) = 0,24 Pz = (0.80.9) + (0,2)(0.2) = 0,76 Asi que la matriz.de estado A, después de dos dias est dada por: A,=(0.24 0,76) De esta forma podemos deducir la matriz. de estado en cualquier etapa si se conoce la matriz de estado del ensayo previo. Lo generalizamos de la siguiente forma: Teorema 1: Si P denota la matriz de transicién de una cadena de Markov y A, es 1a matriz. de estado después de k ensayos, entonces la matriz de estado A,,, después del ensayo siguiente esté dada por: A, Mea = ALP Observemos lo que ocurre si hallamos P? en el ejemplo anterior. 0,73. 0.27 (4 ov Es de notar que todos los valores son no negativos, y que la suma por fila es 1, de donde P* es también una matriz, de transicién, pero ahora es la matriz de transicidn que se obtiene luego de dos pasos. La tltima fila comesponde a la matriz de estado A, =(0,24 0,76) que habfamos obtenido. {.Cual es la ventaja de trabajar con P?? {Qué signifi Luego de hacer los célculos, resulta: P ado tiene la fila (0,73 0,27)? Podemos extender este argumento a cualquier nimero de dfas en el futuro en que P° corresponde a las probabilidades de transicién en dos pasos, entonces P*, P*,...., P"™ corresponden a las probabilidades de queremos hacer la prediccién, vemos que PxP transicién en 3, 4, ...., m pasos respectivamente. La matriz P” se conoce como la matriz de transicién en m pasos de la cadena de Markov.Métodos Estadisticos en Ciencias de la Vida Ejemplo: La variacién del tiempo de un dia a otro se supone que forma una cadena de Markov con la matriz de transicién siguiente: SN LL Donde los estados posibles son $ (Soleado), N 2 . 06 02 oe (Nublado) y LL (Lluvioso) N 05 03 Dado que hoy (domingo) esté nublado, ;cual es la u (ol o4 05 probabilidad de que el miércoles sea soleado? ‘Teorema 2: Una matriz de transicién P se dice que es regular si para algdn entero o k, la matriz P* no tiene elementos iguales a cero. Si P es una matriz de transicién regular, entonces sin importar la matriz, de estado inicial, las matrices de estado sucesivas se aproximan a alguna matriz, de estado fija B en donde B.P = B. La matriz B se denomina matriz estacionaria del sistema Ejemplo: Si la matriz de transicién regular es: 08 0,2 P= 06 0.4 Por definicién, la suma de las probabilidades p, +p, =1 y ademas B.P = B, 0 sea: 08 02)_(, ) Hoe oJ Ps De alli, resolviendo el sistema que queda planteado podemos calcular la matriz, estacionaria buseada. ) y B=(p, p,) es la matriz estacionaria que se requiere. (2, Pp, Aplicaciones en Bioinformatica Buisqueda de genes Mapeo de vinculacién genética Analisis filogenético Prediccién de estructura secundaria de protefnas Buisqueda de sitios conservados vs sitios variables Prediccién de regiones que codifican proteinas dentro de genomas Modelado de familias de secuencias de protefna o ADN relacionado Prediccién de elementos de estructura secundaria en secuencias primarias de proteinaMétodos Estadisticos en Ciencias de la Vida wreicios 1. Suponga que la mattiz de transicién de cierta cadena de Markov esti dada por: (a i P= 4 3/4 Donde la primera fila y columna indica el estado 1 y la segunda fila y columna el estado 2. a) {qué representa el elemento '4 de la matriz? b) Suponiendo que el sistema se encuentra en un principio en el estado 1, con un diagrama de drbol encuentre la matriz de estado después de dos ensayos. c) Ahora mediante el teorema | encuentre la respuesta a la pregunta anterior @) {Cual es la matriz estacionaria del sistema? 2. La mattiz.de transicién de cierto proceso de Markov es: 03 05 0.2 01 06 0 04 O01 05 a) Si el sistema se encuentra en un principio en el estado 1, determine la matriz. estado después de dos etapas del proceso b) Si el sistema se encuentra inicialmente en el estado 2, encuentre la matriz de estado después de dos etapas ©) Determine la matriz estacionaria 3. Las probabilidades de que cierto pais sea gobernado por uno de tres partidos politicos X, y 0 Z después de Ia préxima eleccién estén dadas por la matriz de wansicién: x oY Z x (2 13 16 y|i4 3/4 0 ZS 2/5 2/5 a) {Cudl es la probabilidad de que el partido Z gane la préxima eleccién si el partido X esta ahora en el poder? b) {Cudl es la probabilidad de que el partido X esté en el poder después de dos elecciones si se supone que el partido Y se encuentra en el poder ahora? ©) Si el partido Z se encuentra en el poder, gcudl es la probabilidad de que estard ahi después de dos eleceiones? 4. La probabilidad de que una persona de baja estatura tenga un hijo también de baja estatura es de 0,75, mientras que la probabilidad de que un padre alto tenga un hijo algo es de 0,60 (se ignora la posibilidad de concebir un hijo de mediana estatura) a) jeudl es la probabilidad de que un hombre alto tenga un nieto de baja estatura? b) jeudl es la probabilidad de que un hombre de baja estatura tenga un nieto alto? ¢) Encuentre la matriz estacionaria del proceso y dé su intempretaciénMétodos Estadisticos en Ciencias de la Vida 5. Las granjas de cierta regién pueden clasificarse en tres tipos: agricolas, pecuarias 0 mixtas. Actualmente 30% son agricolas, 40% pecuarias y 30% mixtas. La matriz. de transicién de una aio al siguiente es: AP M A (08 01 O41 Pp |0.2 08 0 mM (Ol O1 08 Encuentre los porcentajes de los tres tipos de granjas: a) el aio préximo, b) dentro de 2 aiios, c) a largo plazo. 6. En cierto pais 90% de la energia es generada por petréleo, gas 0 carbén y 10% provenfa de la energia atmica. Cinco afios después los porcentajes eran 80% y 20% respectivamente, mientras que 5 afios mis tarde fueron 75% y 25%. Suponiendo que el proceso es de Markov con (0.8 0,2)=(0.9 O1)P (0,75 025)=(08 0,2)P Calcule la matriz de transicién P de 2 x 2. Encuentre la matriz estacionaria e& interprétela. 7. Suponga que la ocupacién de cada persona puede clasificarse como de profesional, calificado 0 no calificado. Suponga, ademas, que siempre es cierto que de los hijos de profesionales 70% son profesionales, 20% calificados y 10% no calificados, de los hijos de personas calificadas, 60% son calificados, 20% son profesionales y 20% son no calificados y de los hijos de personas no calificadas, 20% son profesionales, 30% son calificados y 50% no calificados. Suponga que el niimero total de personas con un ocupacién es el mismo en cada generacién y que en la generacién actual, 35% son profesionales, 35% calificados y 30% no calificados, Encuentre la matriz de transicin. Halle la distribucién de trabajos después de una generaci6n y después de dos generaciones.