You are on page 1of 4

CADENAS DE MARKOV

Una cadena de Markov es una sucesión de ensayos similares u observaciones
en la cual cada ensayo tiene el mismo número finito de resultados posibles y en
donde la probabilidad de cada resultado para un ensayo dado depende sólo del
resultado del ensayo inmediatamente precedente y no de cualquier resultado
previo.

Los procesos de paseo aleatorio en realidad son un caso particular de procesos
más generales que son las cadenas de Markov. En esencia, una cadena es un
proceso en tiempo discreto en el que una variable aleatoria Xn va cambiando
con el paso del tiempo. Las cadenas de Markov tienen la propiedad de que la
probabilidad de que Xn = j sólo depende del estado inmediatamente anterior del
sistema: Xn−1. Cuando en una cadena dichas probabilidades no dependen del
tiempo en que se considere, n, P (Xn = j | Xn−1 = i)

Con dos estados (A y B) en nuestro espacio de estados, hay 4 transiciones
posibles (no 2, porque un estado puede hacer una transición hacia sí mismo). Si
estamos en 'A' podemos hacer la transición a 'B' o permanecer en 'A'. Si estamos
en 'B' podríamos hacer la transición a 'A' o permanecer en 'B'. En este diagrama
de dos estados, la probabilidad de pasar de cualquier estado a cualquier otro
estado es 0.5.

Propiedad de Markov: Dada una secuencia de variables aleatorias......,,, X1 X2
X3, tales que el valor de Xn es el estado del proceso en el tiempo n. Si la
distribución de probabilidad condicional de Xn+1 en estados pasados es una
función de Xn por sí sola, entonces:

n.…. A. dados por los números 1. n. B Consideremos un sistema de n estados posibles. Cada ensayo (o sea cada elección). B. B. En . de modo que cada ensayo tiene n resultado posibles. Si sólo hay dos partidos políticos fuertes. …. llamados A y B. 2. A. coloca al país en uno de los dos estados A o B. los que por lo regular controlan el gobierno. B. 3. B. entonces podemos decir que el país se encuentra en el estado A o B si el partido A o B ganara la elección. Los números Pij se denominan probabilidades de transición y la matriz nxn P =(Pij) se conoce como matriz de transición del sistema Ejemplo. MATRIZ DE TRANSICIÓN Consideremos un proceso de Markov en que el sistema posee n estados posibles. Una sucesión de 10 elecciones podría producir resultados tales como los siguientes: A. Denotemos Pij a la probabilidad de que el sistema pase al estado j después de cualquier ensayo en donde su estado era i antes del ensayo.. B. 2. A. En cualquier etapa en el futuro no podemos decir en qué estado se encontrará el sistema pero podríamos estar en posición de dar las probabilidades de que se encuentre en cada uno de los estados 1..

la matriz k P no tiene elementos iguales a cero. respectivamente.pn) son las probabilidades de que el sistema se encuentre en los estados 1.P Teorema 2: Una matriz de transición P se dice que es regular si para algún entero positivo k. entonces sin importar la matriz de estado inicial. …. si (p1 p2….pn) se conoce como matriz de estado inicial o vector de estado inicial del sistema. La matriz B se denomina matriz estacionaria del sistema . n. Denotaremos a la matriz de estado inicial con Ao y a la matriz de estado después de k ensayos o etapas por Ak Teorema 1: Si P denota la matriz de transición de una cadena de Markov y Ak es la matriz de estado después de k ensayos.P = B. entonces la matriz fila 1xn ((p1 p2…. 2. Si P es una matriz de transición regular.. las matrices de estado sucesivas se aproximan a alguna matriz de estado fija B en donde B.. entonces la matriz de estado Ak +1 después del ensayo siguiente está dada por: Ak +1 = Ak . Obviamente que la suma de esa fila es 1.general.

pdf . BIBLIOGRAFIA  https://upcommons.bioingenieria.uc3m.es/esp/Personal/personas/jmmarin/esp/PEst/tema4p e.upc.edu/bitstream/handle/2117/10078/GilavertPuig_ EstudioComparativo.edu.ar/academica/catedras/metestad/Cadenas %20de%20Markov-1.pdf  http://www.pdf  http://halweb.