Introduccin a las Cadenas o Procesos de Markov

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de

que ocurra un evento depende del evento inmediato anterior. En efecto, las
cadenas de este tipo tienen memoria, "Recuerdan" el ltimo evento y esto
condiciona las posibilidades de los eventos futuros. Esta dependencia del
evento anterior distingue a las cadenas de Markov de las series de eventos
independientes, como tirar una moneda al aire o un dado. En los negocios, las
cadenas de Markov se han utilizado para analizar los patrones de compra, los
deudores morosos, para planear las necesidades de personal y para analizar el
reemplazo de equipo. El anlisis de Markov, llamado as en honor de un
matemtico ruso que desarrollo el mtodo en 1907, permite encontrar la
probabilidad de que un sistema se encuentre en un estado en particular en un
momento dado. Algo ms importante an, es que permite encontrar el
promedio a la larga o las probabilidades de estado estable para cada estado.
Con esta informacin se puede predecir el comportamiento del sistema a
travs del tiempo. La tarea ms difcil es reconocer cundo puede aplicarse. La
caracterstica ms importante que hay que buscar en la memoria de un evento
a otro.

Probabilidad de transiciones estacionarias de n pasos.

Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular
estas probabilidades de transicin de n pasos:

Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n

pasos, el proceso estar en algn estado k despus de exactamente m (menor
que n) pasos. As,
Es solo la probabilidad condicional de que, si se comienza en el estado i, el
proceso vaya al estado k despus de m pasos y despus al estado j en n- m
pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones

Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n

pasos se pueden obtener a partir de las probabilidades de transicin de un
paso de manera recursiva. Para n=2, estas expresiones se vuelven:

Note que las son los elementos de la matriz P(2) , pero tambin debe de
observarse que estos elementos, se obtienen multiplicando la matriz de
transicin de un paso por s misma; esto es , P(2) = P * P = P2 En trminos
ms generales, se concluye que la matriz de probabilidades de transicin de n
pasos se puede obtener de la expresin:
P (n) = P * P .... P = P n = PPn-1 = Pn-1 P.
Entonces, la matriz de probabilidades de transicin de n pasos se puede
obtener calculando la n-sima potencia de la matriz de transicin de un paso.
Para valores no muy grandes de n, la matriz de transicin de n pasos se puede
calcular en la forma que se acaba de describir, pero cuando n es grande, tales
clculos resultan tediosos y, ms an, los errores de redondeo pueden causar
inexactitudes.
Estados absorventes.
Se dice que un estado i es absorbente si la probabilidad de transicin (de un
paso) pij es igual a 1. Una cadena de Markov es Absorbente si:
a) Tiene por lo menos un estado Absorbente.
b) Es posible ir de cada estado no absorbente hasta por lo menos un estado
absorbente. No es necesario efectuar esta transicin en un paso; ni es
necesario tener la posibilidad de alcanzar cada estado absorbente a partir de
cualquier estado no absorbente. A partir del anlisis de estas cadenas, es
posible determinar los siguientes datos:
1) El nmero esperado de pasos antes de que el proceso sea absorbido.
2) El nmero esperado de veces que el proceso est en cualquier estado dado
no absorbente.
3) La probabilidad de absorcin por cualquier estado absorbente dado.
Una vez que la cadena llega al estado k permanece ah para siempre. Si k es
un estado absorbente y el proceso comienza en el estado i, la probabilidad de
llegar en algn momento a k se llama probabilidad de absorcin al estado k
dado que el sistema comenz en i. Esta probabilidad se denota por fik. Si se
tienen dos o ms estados absorbentes en una cadena de Markov y es evidente
que el proceso ser absorbido en uno de estos estados, es deseable encontrar
estas probabilidades de absorcin. Dichas probabilidades pueden obtenerse
con slo resolver un sistema de ecuaciones lineales. Si el estado k es un estado

absorbente, entonces el conjunto de probabilidades de absorcin fik satisface

el sistema de ecuaciones sujeta a las condiciones.

Las probabilidades de absorcin son

importantes en las caminatas aleatorias.
Una caminata aleatoria es una cadena de
Markov con la propiedad de que, si el
sistema se encuentra en el estado i,
entonces en una sola transicin, o bien
permanecer en i o se mover a uno de los estados - inmediatamente
adyacentes a i.
Por ejemplo, la caminata aleatoria con frecuencia se usa como a modelo para
situaciones que incluyen juegos de azar.

Estado estable.
Sea P la matriz de transicin de una cadena de M estados. Existe entonces un
vector

tal que:

Se establece que para cualquier estado inicial i ,

El vector
a menudo se llama distribucin de estado estable, o
tambin distribucin de equilibrio para la cadena de Markov. Para encontrar la
distribucin de probabilidades de estacionario para una cadena dada cuya
matriz de transicin es P, segn el teorema, para n grande y para toda i ,
(1).
Como Pij (n + 1) = (rengln i de Pn )(columna j de P), podemos escribir