CADENAS DE MARKOV

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen
memoria, "Recuerdan" el ltimo evento y esto condiciona las posibilidades de los eventos
futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las
series de eventos independientes, como tirar una moneda al aire o un dado. En los
negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra,los
deudores morosos, para planear las necesidades de personal y para analizar el reemplazo
de equipo. El anlisis de Markov, llamado as en honor de un matemtico ruso que
desarrollo el mtodo en 1907, permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado. Algo ms importante an, es
que permite encontrar el promedio a la larga o las probabilidades de estado estable para
cada estado. Con esta informacin se puede predecir el comportamiento del sistema a
travs del tiempo. La tarea ms difcil es reconocer cundo puede aplicarse. La
caracteristica ms importante que hay que buscar en la memoria de un evento a otro.
Una cadena de markov consta de unos estados E1 E2 E3 E4..E
n
. que inicialmente en un
tiempo 0 o paso 0 se le llama estado inicial, adems de esto consta de una matriz de
transicin que significa la posibilidad de que se cambie de estado en un prximo tiempo o
paso.
MATRIZ DE TRANSICIN:
Una matriz de transicin para una cadena de Markov de n estado es una matriz de n X n
con todos los registros no negativos y con la propiedad adicional de que la suma de los
registros de cada columna (o fila) es 1. Por ejemplo: las siguientes son matrices de
transicin.

REPRESENTACIN GRAFICA DE UNA MATRIZ DE TRANSICIN:
Es el arreglo numrico donde se condensa las probabilidades de un estado a otro. A travs
de una grfica de matriz de transicin se puede observar el comportamiento estacionario
representado por una cadena de Markov tal que los estados representan la categora en
que se encuentre clasificado. Como se aprecia a continuacin:


p
(r


PROPIEDADES:
1- la suma de las probabilidades de los estados debe ser igual a 1.
2- la matriz de transicin debe ser cuadrada.
3- las probabilidades de transicin deben estar entre 0 y 1


7. Cadenas absorbentes: resultados tericos




Recordando que en una cadena hay slo dos tipos de estados (absorbentes y
transientes), nos resultar conveniente llamar al conjunto de estados absorbentes
A y al conjunto de estados transientes T .

En una cadena absorbente y empezando en cualquier estado, sea transiente o
absorbente, tenemos una probabilidad positiva de llegar en algn momento a un
estado absorbente, ya que en otro caso se formara un conjunto ergdico (que no
es el total) con ms de un punto porque hay un nmero finito de estados. Desde
el punto de vista del digrafo asociado, esto se refleja en que desde todo estado
transiente existe un camino (dirigido) hacia algn estado absorbente.
En otras palabras, para cada estado u existe un estado v A y un nmero de

pasos r tales que la probabilidad de ir desde u hasta v en r pasos es positiva, o sea,
uv
> 0.

Como una vez que llegamos a un estado absorbente nos tenemos que quedar
all, podemos tomar un mismo r (el mximo de los anteriores) que sirva para todos
los estados. Del mismo modo, tomando ahora el mnimo de las probabilidades,
vemos que podemos encontrar > 0 tal que para todo estado u existe un estado
absorbente v T tal que p
(r )
.

Como estamos en un proceso de Markov, la probabilidad de que empezando
desde cualquier estado no lleguemos a un estado absorbente en a lo ms r pasos es
menor o igual que 1 . Repitiendo el razonamiento, vemos que la probabilidad de
no llegar en k r pasos (k N) a un estado absorbente es menor o igual que (1 )
k
,
pero como 1 < 1, esta probabilidad tiende a 0.
Podemos resumir este argumento en el siguiente:

7.1. Teorema. En toda cadena de Markov absorbente, la probabilidad de absorcin
(que empezando en cualquier lugar se llegue a un estado absorbente) e

Eventualmente renumerando los estados, podemos escribir la matriz de transi- cin asociada en
forma cannica:

absorbentes
z }| {
transientes
z }| {
absorbentes {

I 0

(7.2)
transientes { R Q


En este caso, si hay n estados, de los cuales m son absorbentes y n m transientes,
la submatriz I es la matriz identidad en R
mm
, la submatriz 0 R
m(nm)
tiene
todos los coeficientes 0, y las submatrices R y Q estn en R
(nm)m
y R
(nm)(nm)

respectivamente.
Puesto que comenzando desde un estado absorbente, la probabilidad de no
llegar a un estado absorbente se acerca a 0 a medida que aumenta el nmero de
pasos (por el teorema 7.1), y como las entradas de Q
k
son las probabilidades de
que empezando en un estado transiente despus de k pasos lleguemos a otro estado
transiente, tenemos:

7.3. Teorema. En una cadena de Markov absorbente cuya matriz cannica tiene la
forma de la ecuacin (7.2),
a) Q
r
0 (la matriz con todos 0s) cuando r ,
b) si I es la matriz identidad en R
(nm)(nm)
, entonces I Q es inversible y

X

(I Q)
1
=

r =0
Q
r
.

La ltima parte del teorema anterior sigue las ideas de la demostracin de que

1
1 x
X

=
k=0

x
k
,

cuando x es un nmero real con |x | < 1, y no la hacemos, pero observamos desde
ya la relacin con la variante I de la pg. 9.
Claro que si tenemos un estado transiente u T , en la forma cannica de la

matriz P tiene asociado un ndice (digamos i), pero en la matriz Q tiene asociado
otro ndice (i m). En lo que sigue, para no complicar las notaciones supondremos
implcitamente que no tenemos esta ambigedad y hacemos un corrimiento de
ndices cuando apropiado.
Poniendo
N = (I Q)
1
, (7.4)


a veces llamada matriz fundamental de la cadena absorbente, tenemos el siguiente:

7.5. Teorema. En una cadena absorbente, si se empieza en el estado transiente u
i
T ,
el nmero esperado de veces en que la cadena est en el estado transiente u
j
T es la
entrada i j de la matriz fundamental N .
Demostracin: Pongamos

1 si la cadena est en el estado u

j
en el paso s,

( j, s) =

0 en otro caso,

i j





1 1
1
2


Figura 7.1: Una cadena absorbente simple.


y para cualquier x sea E
i
( x ) el valor esperado de x si el proceso empieza en el
estado u
i
. Entonces si e
i j
es la esperanza buscada,


e
i j
= E
i


X

( j, s)

=
X
E
i
(( j, s)) =
X

(1 p
(s)

) 0 + p

(s)
1

=
X

p
(s)
,


s=0

s=0

s=0
i j i j i j
s=0

donde la suma empieza desde s = 0 pues no eliminamos la posibilidad i = j.
Recordando que p
(s)
es la entrada i j-sima de Q
s
(despus de un corrimiento
de ndices), vemos que e
i j
es la entrada i j-sima de
P

Q
s
, que es N por el
teorema 7.3.

En el teorema no excluimos la condicin i = j, lo cual trae algunos problemas de
interpretacin. Tomemos por ejemplo la cadena absorbente de la figura 7.1 donde
hay dos estados. El estado 1 es absorbente, mientras que el estado 2 es transiente
pero la probabilidad de pasar al estado 1 en un paso es 1. La matriz Q en este
caso se reduce a Q = [0], de modo que N = (I Q)
1
= [1]. Es decir, seguro que

empezando desde 2 en un paso llegamos al estado 1, as que esperamos llegar a 1
en un paso y permanecer 0 pasos en el estado 2. Esta aparente contradiccin resulta
de haber considerado el trmino s = 0 en la demostracin del teorema, y como
i i
= 1, el paso 0 siempre se cuenta en el teorema.

Tomando las precauciones debidas, tenemos entonces el siguiente corolario que
usaremos con frecuencia en las aplicaciones:

7.6. Corolario. El nmero esperado de pasos hasta la absorcin (sin contar el paso 0),
dado que el proceso comienza en el estado no-absorbente u
i
es la suma de las entradas
de la fila i-sima de N .

Veamos un ltimo resultado antes de pasar a las aplicaciones.

7.7. Teorema. Consideremos una cadena absorbente, con matriz cannica en la forma
de la ecuacin (7.2). Sea b
i j
la probabilidad de que empezando en el estado transiente
u
i
se termine en el estado absorbente u
j
, y formemos la matriz B R
(nm)m
con estos

coeficientes.
Entonces
B = N R,

donde R es como en la ecuacin (7.2) y N es la matriz fundamental de la ecuacin (7.4).

Demostracin: Buscamos una relacin de recurrencia para los coeficientes b
i j
. Si
empezamos en el estado u
i
, en el prximo paso podemos ir al estado absorbente
u
j
con probabilidad p
i j
, o a otro estado absorbente u
k
, k = j, con probabilidad
p
i k
, o ir a otro estado transiente u
`
con probabilidad p
i`
. La probabilidad de que
estando en estos estados, u
j
, u
k
o u
`
, terminemos en el estado absorbente u
j
es,
respectivamente, 1, 0 y b
` j
, de modo que
b
i j
= p
i j
+
X

` : u
`
T

p
i`
b
` j
.




Como u
i
es transiente y u
j
absorbente, p
i j
es la entrada correspondiente de
la matriz R (con algn eventual desplazamiento de ndices). De modo similar, p
i`
es la entrada i` de la matriz Q, y b
` j
es la entrada de la matriz B. Podemos
escribir entonces la ecuacin anterior en forma matricial como
B = R + QB o (I Q) B = R,
de donde sigue el resultado pues I Q es inversible con inversa N .
Vale la pena observar que la tcnica usada en la demostracin es
esencialmente la usada en la variante II de la pg. 10.

7.8. Problema. Juntando los teoremas 7.1 y 7.7, para todo estado transiente u
i

debe ser

X
b
i j
= 1.
j
A


Sin usar estos resultados, verificar directamente a partir de las definiciones que las
sumas de las filas de N R es siempre 1.
(7)























Cadenas regulares
Una cadena de Markov se dice regular (tambin primitiva o ergdica) si existe alguna potencia
positiva de la matriz de transicin cuyas entradas sean todas estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transicin de la cadena se tiene
que:

donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w,
que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas
regulares, ste vector invariante es nico.