You are on page 1of 148

CADENAS DE MARKOV

DISCRETAS
Profesor: Eduardo Navarrete
Departamento Ingeniera de Sistemas
Universidad de la Frontera
Cadenas de Markov
Las cadenas de Markov y los procesos de
Markov son un tipo especial de procesos
estocsticos que poseen la siguiente
propiedad:
Propiedad de Markov: Conocido el estado del
proceso en un momento dado, su
comportamiento futuro no depende del
pasado. Dicho de otro modo, dado el
presente, el futuro es independiente del
pasado
Propiedades Markovianas
Propiedad 1:
El tiempo en que el proceso se mantiene en un estado
particular debe ser sin memoria.
En el caso de un proceso de parmetro continuo esta
distribucin es una exponencial, en la cual su parmetro
puede variar a travs de los distintos estados.
En el caso de un proceso de parmetro discreto esta
distribucin es una poisson , al igual que en el caso
continuo su parmetro puede variar a travs de los
distintos estados.
Introduccin a las Cadenas de Markov
Clasificacin de Procesos Markovianos
Los procesos Markovianos se clasifican de acuerdo
al tipo de espacio y tipo de parmetro.
Si el espacio de estados es discreto el proceso
recibe el nombre de Cadena de Markov, en el otro
caso, de espacio continuo, se conoce como Proceso
de Markov.
Segn el parmetro temporal, en ambos casos se
dividen en procesos o cadenas de Tiempo Continuo
o Tiempo Discreto.

Introduccin a las Cadenas de Markov
Conceptos bsicos
Como las cadenas de Markov poseen espacio de
estados discreto, estos se pueden nombrar:
{E
0
, E
1
, E
2
, ...}

Sin embargo, para simplificar la notacin, se
asocian a los nmeros naturales:
Para el caso general el entero i representa al
estado E
i
.

Cadenas de Markov discretas
Conceptos bsicos
Para denotar el estado en que se encuentra la cadena
en un tiempo n se utilizar la siguiente notacin:

X
n
=i , estar en el estado i en el tiempo n.

La probabilidad de transicin para ir desde el estado i
al estado j en un paso es:
P
ij
= P[X
n+1
=j | X
n
=i]

Cadenas de Markov discretas
Cadenas de Markov
Slo estudiaremos las cadenas de Markov, con lo
cual tendremos espacios de estados S discretos y
conjuntos de instantes de tiempo T tambin
discretos, T={t
0
, t
1
, t
2
,}
Una cadena de Markov (CM) es una sucesin de
variables aleatorias X
i
, ieN, tal que:
(

=
=
(

=
+ +
t
t
t
t
X
j X
P
X X X
j X
P
1
1 0
1
,..., ,
que es la expresin algebraica de la propiedad
de Markov para T discreto.
Probabilidades de transicin
Las CM estn completamente caracterizadas por
las probabilidades de transicin en una etapa,
T t S j i
i X
j X
P
t
t
e e
(

=
=
+
, , ,
1
ij
t
t
p
i X
j X
P T t S j i =
(

=
=
e e
+1
, ,
Slo trabajaremos con CM homogneas en
el tiempo, que son aquellas en las que
donde q
ij
se llama probabilidad de transicin
en una etapa desde el estado i hasta el
estado j
Ejemplos de juegos
1. Juegos de espera
2. Ruleta simple
3. Total de sellos
4. Mquina de servicios
5. Ruleta con doblete inteligente
6. Exitos sucesivos
7. Mquina de servicios ampliada
8. Modelos de Inventarios
9
Ruina de un jugador
10
Urnas de Ehrenfest
11
Las probabilidades de transicin P
ij
se pueden
representar en una matriz cuadrada llamada
Matriz de Probabilidad de Transicin de la
cadena.
Matriz de Probabilidad de Transicin:
|
|
|
|
|
|
.
|

\
|
=
KK K
K
P P
P P
P P P
0
11 10
0 01 00
P


Cadenas de Markov discretas


Desde el
estado i
Hasta el
estado j
P
ij

O equivalentemente, el diagrama de estados puede
representarse en forma matricial de la siguiente
manera:
Representacin Matricial
1 2 3 4 5
1
2
3
4
5
P =
Conceptos bsicos
Las propiedades de la matriz de transicin de
probabilidad son:

1.

Como cada elemento de la matriz representa una
probabilidad, sta debe tener un valor entre 0 y 1.
Matriz de Probabilidad de Transicin:
.... , 2 , 1 , 0 , ; 0 1 = > > j i P
ij
Cadenas de Markov discretas
Conceptos bsicos
Las propiedades de la matriz de transicin de
probabilidad son:



Esto significa que para cada estado la suma de
todas las probabilidades de transicin sean 1.
Adems, dentro de cada fila los valores son no
negativos, estos valores estn entre 0 y 1. La suma
de los valores de la fila es 1, luego, se dice que la
matriz es de tipo estocstica.
Matriz de Probabilidad de Transicin:

=
= =
0
.... , 2 , 1 , 0 ; 1
j
ij
i para P
Cadenas de Markov discretas
Ejemplo:
Como se representa una Cadena
de Markov?
Existen dos formas de representar una cadena de
Markov; en forma GRFICA y en forma MATRICIAL
P=

(
(
(
0 3 4 1 4
1 4 0 3 4
1 4 1 4 1 2
/ /
/ /
/ / /
0
1
2
1/4
3/4
1/4
1/4
1/4
3/4
1/2
El diagrama de estados puede representarse en forma de
tabla de la siguiente manera:
En la posicin (i,j) de la matriz se coloca la probabilidad de
transitar desde el estado i al estado j
2
1
0.97

4
i
j
1. Representacin Grfica
1 2 3 4 5
1
0.97 0.03
2
3
4
5
P =
El diagrama transicin de estados :






Matriz de Probabilidad de transicin entre estados:
2 1
0.97
3
0.95
4 5
0.05
0.93
0
.
0
7
1
1. Representacin Grfica
1 2 3 4 5
1 0
0.97 0 0.03
0
2 0 0 0.95 0.05 0
3 0 0 0 0.07 0.93
4 0 0 0 1 0
5 0 0 0 0 1
P =
Dada , que corresponde a la probabilidad de
transicin del estado i al estado j en 1 paso, se
puede generalizar a que representa la
probabilidad de ir del estado i al estado j en n
transiciones como:

Cadenas de Markov discretas
ij
P
n
ij
P
0
{ | }; 0 = = = >
n
ij n
P P X j X i n
Adems i,j pertenecen al espacio de estados
Si las probabilidades de transicin son homogneas
, podemos generalizar la expresin anterior a:



Esto representa la probabilidad de pasar desde el
estado i al estado j en n pasos, partiendo desde el
estado i, sin importar como se lleg a este estado
(en general, en m pasos).
Cadenas de Markov discretas
{ | }; 0
n
ij n m m
P P X j X i n
+
= = = >
Adems i,j pertenecen al espacio de estados
Matriz de Transicin: ejemplo
.

Tiempo
n+1
Estado
0
Estado 1 Estad
o 2
Estado
3
Estado
0
0,20 0,65 0,1
5
0
Tiempo
n
Etado 1
0 0,60 0 0,40
Estado
2
0,15 0,15 0,3
0
0,40
Estado
3
0 0 0 1
Caminata Aleatoria: ejemplo de una
Cadena de Markov
P{S
n+1
=j /S
0
= 0, S
1
= i,.., S
n-1
= i
n-1
, S
n
= i} =
P{S
n
+X
n+1
= j /S
0
= 0, S
1
= i,.., S
n-1
= i
n-1
, S
n
= i}=
P{X
n+1
= j-i /S
0
= 0, S
1
= i,.., S
n-1
= i
n-1
, S
n
= i}=
P{X
n+1
= j-i}= p
j-i
= p
i,j
= P{S
n+1
=j / S
n
= i}
Ejemplo 2: caminata aleatoria con
barreras absorbentes
En el tiempo 0 tengo $ 2 y en los tiempos 1,2,3,...
participo en un juego en el que apuesto $1. Gano el
juego (y gano $1) con probabilidad p y lo pierdo
(perdiendo lo apostado) con probabilidad 1-p. Mi
meta es aumentar mi capital hasta $4 y tan pronto lo
logre me salgo del juego. Tambin salgo cuando me
arruine (capital $0).

Ejemplo 2 (cont)
- X
n
: mi capital inmediatamente despus del juego n
- Estados del proceso = {0,1,2,3,4}
- Matriz de transicin:

|
|
|
|
|
|
.
|

\
|

=
1
p
0
0
0
0
0
p
0
0
0
p 1
0
p
0
0
0
p 1
0
0
0
0
0
p 1
1
P
Ecuaciones de Chapman-Kolmogorov
La forma obtener la probabilidad de ir del estado i al
estado f en n pasos, es la expresada en esta ecuacin:






Pero lo que se est buscando es una forma ms general de
expresar esta probabilidad.
e
> =


f k i
k n P P P
kf
k
n
ik
n
if
, ,
0 ,
1
Cadenas de Markov discretas
Ecuaciones de Chapman-
Kolmogorov
Teorema: Las probabilidades de
transicin en n etapas vienen dadas por
la matriz P
n
:
) (
, ,
n
ij
t
n t
p
i X
j X
P S j i =
(

=
=
e
+
Demostracin: Por induccin sobre n
Caso base (n=1). Se sigue de la definicin
de p
ij

Ecuaciones de Chapman-
Kolmogorov
Hiptesis de induccin. Para cierto n, suponemos cierta la
conclusin del teorema.
Paso inductivo (n+1). Para cualesquiera i,jeS,
( ) ( )
=
(

=
= . =
=
(

=
=

e
+ + + + +
S k
t
n t n t
t
n t
i X
j X k X
P
i X
j X
P
1 1
{ }= =
(

=
=
(

=
=
=

e
+
+ + +
. .
1
I H
k X
j X
P
i X
k X
P
S k
n t
n t
t
n t
( ) ( ) ( ) 1
1
+
e e
+
+ +
= =
(

=
=
=

n
ij
S k
kj
n
ik
S k
n t
n t
n
ik
p p p
k X
j X
P p
Ecuaciones de Chapman-Kolmogorov
Por este teorema sabemos que la probabilidad de
transitar de i hasta j en n pasos es el elemento (i,j)
de P
n
. Para evitar computaciones de potencias
elevadas de matrices, se intenta averiguar el
comportamiento del sistema en el lmite cuando n,
llamado tambin comportamiento a largo plazo
A continuacin estudiaremos esta cuestin
Ecuaciones de Chapman-Kolmogorov
i
29
Cadenas de Markov discretas
f
E
1

E
2

E
3

E
l

Ecuaciones de Chapman-Kolmogorov
Se desea generalizar el resultado anterior, o sea, obtener
la probabilidad de estar en el estado f en el tiempo b dado
que se estuvo en el estado i en el tiempo a.

Lo anterior queda representado por la siguiente
expresin:
| | i X f X P P
a b
b a
if
= = = |
) , (
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
Si en el tiempo a se estuvo en el estado i y en el tiempo b
se est en el f, entonces en un tiempo intermedio q se pas
por algn estado k.

As es posible rescribir la expresin anterior como:
( )
| |

= = . = =
k
a q b
b a
if
i X k X f X P P |
,
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
i
Cadenas de Markov discretas
f
E
1

E
2

E
3

E
l

a q b
Ecuaciones de Chapman-Kolmogorov
La expresin anterior es independiente del tipo de proceso
estocstico que se presente, por el hecho de contar
absolutamente todos los casos.

Usando las propiedades de las probabilidades condicionales
puede escribirse de la siguiente manera:
( )
| | | | k X i X f X P i X k X P P
q a b
k
a q
b a
if
= . = = = = =

| |
,
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
Esta expresin puede simplificarse, pero debe ser
acotada a las cadenas de Markov.

Aplicando la propiedad de que el estado actual depende
exclusivamente del estado anterior, se llega a la siguiente
expresin:
| | | |
( ) ( )

=
= = = = =
k
b q
kf
q a
ik
b a
if
k
q b a q
b a
if
P P P
k X f X P i X k X P P
, , ) , (
) , (
| |
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
Sean i, k, f

e , estados genricos de la cadena de
Markov, se define la ecuacin de Chapman-
Kolmogorov :





P
ik
m
P
kf
n
representa la probabilidad de ir desde el
estado i al estado f en m+n transiciones a travs de
una ruta en la que, en el tiempo q, la Cadena de
Markov se encuentra en el estado k.
( )
e
> =

f k i
n m k P P P
n
kf
k
m
ik
n m
if
, ,
0 , ,
,
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
i
Cadenas de Markov discretas
f
E
1

E
2

E
3

E
l

a q b
m n
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
Tenemos por lo tanto un procedimiento que nos
permite calcular la probabilidad de ir de i a f en n+m
pasos, considerando todos los posibles estados
intermedios
Es conveniente en este punto introducir notacin
matricial:
Se tiene la matriz P= {pij} con M estados (matriz
de MxM), donde pij es la probabilidad de ir de un
estado i a un estado j en un paso, independiente de
las anteriores transiciones.
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov

=
+
k
m
kf ik
m
f
i
P P P
1 1
Considerando que en el primer paso se efectu la
transicin desde el estado k al estado f, tenemos
la siguiente forma para la ecuacin de Chapman-
Kolmogorov:


Para el caso especial de m=1, es decir se llega al
estado f en dos pasos se tiene la siguiente forma:

=
k
kf ik
f
i
P P P
2
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
Mf iM f i f i
f
i
M
e
f e ie
f
i
p p p p p p P
P P P
+ + + =
=

=
....
2 2 1 1
2
1
1 1 2
2
2 2
(
(
(
(

=
MM M
M
ij
p p
p
p p
p P
... ...
. .. .
. .
... ...
) (
1
22
1 11
Descomponiendo:
Matriz de
transiciones de un
paso del sistema
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
Se observa que la probabilidad de ir de i a f en 2 pasos es:




Por lo que se puede extender este resultado para obtener de
una vez las probabilidades de ir de un estado i cualquiera a un
estado j cualquiera, en dos pasos utilizando la operacin
multiplicacin entre dos matrices
| |
(
(
(
(
(

=
Mf
f
iM i f i
p
p
p p p
..
..
.. ..
1
1
) 2 (
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
2
1
22
1 11
1
22
1 11
) 2 (
.. ..
. .. .
. .
.. ..
.. ..
. .. .
. .
.. ..
P
p p
p
p p
p p
p
p p
P
MM M
M p
MM M
M p
=
(
(
(
(

(
(
(
(

=
2 ) 2 (
) 2 ( ) 2 (
} {
P P
p P
if
=
=
Que es la matriz de transiciones de 2 pasos:
Utilizando este resultado se puede extender el
anlisis al caso en que n+m=3, es decir calcular la
probabilidad de ir de i a j en 3 pasos
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov

=
=
M
e
m
f e
n
ie
f
i
P P P
1
3
2
2 2

=
=
M
e
f e ie
f
i
P P P
1
2 1 3
2
2 2
Para el caso de n+m = 3 y siguiendo con el caso en que el
estado intermedio e
2
se alcanza en un paso, para ir de un
estado i cualquiera a j tenemos que la ecuacin de Ch-K nos
queda:
Descomponiendo en casos podemos escribir la siguiente
ecuacin:
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
Utilizando el resultado obtenido anteriormente podemos escribir la
ecuacin:
| |

=
(
(
(
(
(

=
M
e
Mf
f
M e e ie f i
p
p
p p p P
1
1
1
3
2
2 2 2
..
..
.. ..
| | | |
(
(
(
(
(

+ +
(
(
(
(
(

=
Mf
f
MM M iM
Mf
f
M i f i
p
p
p p p
p
p
p p p P
..
..
.. .. ...
..
..
.. ..
1
1
1
1 11 1
3
Desarrollando la expresin resulta:
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
Se puede ver que es equivalente a:
(
(
(
(
(
(

=
MM M
iM i
M
p p
p p
p p
P
.. .. ..
.. ..
.. .. ..
.. ..
.. .. ..
1
1
1 11
(
(
(
(
(
(

=
MM M M
M f
p p p
p p p
P
) 2 (
1
) 2 (
1
) 2 (
1
) 2 (
1
) 2 (
11
) 2 (
) 2 (
.. ..
.. .. ..
.. .. .. .. ..
.. .. ..
.. ..
p
(3)
if = *
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
Por lo tanto podemos obtener la matriz de transicin de 3 pasos, es
decir:
} {
) 3 ( ) 3 (
if p P =
3 ) 3 (
P P =
Que entrega las
probabilidades p
(3)
if
de ir
de i a f en tres pasos
2 ) 2 ( ) 3 (
P P P P P = =
Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov
Generalizando este resultado para n pasos, vemos que
resolver la ecuacin de Chapman-Kolmogorov es
equivalente a encontrar la matriz de transiciones de n
pasos P
(n)
:
n n
P P =
) (
Clasificacin de Estados
Clasificacin de Estados
Un estado j, es alcanzable desde el estado i si se
puede transitar desde j a i en un nmero finito de
pasos.


Donde n representa el nmero de pasos (asociado
al parmetro de tiempo discreto).


Cadenas de Markov discretas
1.- Estado Alcanzable (accesible):
0 0 > > n P
n
ij
Clasificacin de Estados
Los estados i y j se comunican, cuando i es alcanzable desde
j y vice-versa.
Es decir, existe un n y m tal que:
Cadenas de Markov discretas
2.- Comunicacin de Estados:
( ) ( )
0 0 > >
n
ij
m
ji
P y P
Propiedades:
(i) El estado i se comunica con si mismo.
(ii) Si i se comunica con j, entonces j se comunica con i.
(iii) Si, i se comunica con j, y j con k, entonces i se
comunica con k.
Clasificacin de Estados
Un estado i es
absorbente cuando no
es posible a alcanzar
otro estado excepto a
s mismo.
Cadenas de Markov discretas
3.- Estado Absorbente:
1 =
ii
P
0
1
P
10

P
11
=1
P
00

Estado
Absorbente
Clasificacin de Estados
Un estado i es Transiente si 0< f
i
<1.

Es decir que al salir desde el estado i existe la probabilidad de no
retornar, a diferencia de los estados recurrentes, que retornar con
certeza.

Se cumple que:
Cadenas de Markov discretas
5.- Estado Transiente (Transitorio):
( )
s

=1 n
n
ii
P
el nmero esperado de visitas al estado i es finito
Clasificacin de Estados
Un estado i es peridico de periodo d si:



Si d=1, el estado se denomina Aperidico.
Cadenas de Markov discretas
6.- Periodicidad:
..... 3 , 2 , 0 d d d n P
n
ii
= >
a
b
a
b
c
a es aperidico a,b,c son peridicos d=2
Clasificacin de Estados
Dos estados que se comunican
pertenecen a la misma clase.

El concepto de comunicacin
divide el espacio de estados en
un nmero de clases disjuntas

Ejemplo grfico: 2 clases
Cadenas de Markov discretas
7.- Clases de Estados:
i
m
k
j
l
n
Pjk
Pij
Pki
Pik
Pkl
Plm
Pmn
Pnl
Pml
Clasificacin de Estados
Es una cadena que tiene
una nica clase.

X
n
es una cadena de
Markov irreductible si
todos los estados son:
recurrentes positivos
recurrentes nulos
transientes.
Cadenas de Markov discretas
8.- Cadena Irreductible:
Plk
i
m
k
j
l
n
Pjk
Pij
Pki
Pik
Pkl
Plm
Pmn
Pnl
Pml
Clasificacin de Estados
Teorema:

Si una cadena de Markov es irreductible y aperidica (d=1),
entonces pertenece a una de las siguientes clases:
Cadenas de Markov discretas
9.- Ergocidad:
1. Si todos los estados son transientes recurrentes
nulo, entonces P
ij
(n)
0 cuando n para todo i, j.
Por lo tanto no existe una distribucin de probabilidad
estacionaria.

2. Si todos los estados son recurrente positivos (espacio
de estados finito) entonces la cadena de Markov es
Ergdica. Por lo tanto existe una nica distribucin de
probabilidad estacionaria.
Cadenas Markov Discretas Regulares
Regular Si solo si
Es aperidica periodo 1
Es irreducible Todos los estados conectados
Cadenas absorbentes
Concepto de cadena absorbente
forma cannica de matriz
Sea X una CM cuyos estados son todos
transitorios o absorbentes. En tal caso diremos
que X es absorbente. Al menos uno absorbente
Si X es finita y absorbente, reordenamos S
poniendo primero los estados transitorios y
obtenemos:
|
|
.
|

\
|
=
Q R
I
P
0
|
|
.
|

\
|
=
Q R
I
P
0
Estado terminal de cadenas de Markov
absorbentes
Resultados sobre cadenas
absorbentes
Proposicin: El nmero medio de etapas que
se estar en el estado transitorio jeS antes de
la absorcin, suponiendo que empezamos en
el estado transitorio ieS, viene dado por el
elemento (i,j) de (IQ)
1

Nota: La etapa inicial tambin se cuenta, es
decir, en la diagonal de (IQ)
1
todos los
elementos son siempre mayores o iguales que
1

Estado terminal de cadenas de Markov absorbentes
Estado terminal de cadenas de Markov absorbentes
Estado terminal de cadenas de Markov absorbentes
Resultados sobre cadenas
absorbentes
Proposicin: La probabilidad de ser absorbido
por un estado absorbente jeS, suponiendo
que empezamos en el estado transitorio ieS,
viene dada por el elemento (i,j) de la matriz
(IQ)
1
R, que se denomina matriz
fundamental de la CM

Ejemplo de CM absorbente
Probabilidad de que A termine arruinndose.
La ruina de A est representada por el estado 0, que es el 2
estado absorbente. Como empezamos en el 3
er
estado
transitorio (A empieza con 3 ), debemos consultar la 3 fila, 2
columna de (IQ)
1
R, que nos da una probabilidad de 0,4 de
que A empiece con 3 y termine en la ruina.
Probabilidad de que B termine arruinndose
Como es el suceso contrario del apartado a), su probabilidad
ser 10,4=0,6. Tambin podramos haber consultado la 3 fila,
1 columna de (IQ)
1
R.

Ejemplo de CM absorbente
Nmero medio de tiradas que tarda en acabar el juego
Sumamos los nmeros medios de etapas que se estar en
cualquier estado transitorio antes de la absorcin, suponiendo
que empezamos en el 3
er
estado transitorio. Dichos nmeros
medios son los que forman la 3 fila de la matriz (IQ)
1
. El
promedio es: 0,8+1,6+2,4+1,2=6 tiradas.
Nota: si observamos la 1 columna de (IQ)
1
R, vemos
que los valores van creciendo. Esto se debe a que, cuanto
ms dinero tenga al principio A, ms probabilidad tiene
de ganar el juego.
Se desea estudiar el nmero de alumnos que estn
estudiando en la enseanza media de un colegio en
particular.
Se considerar que un alumno en un ao en particular puede
pasar de curso, repetir el curso cuantas veces sea
necesario o retirarse del establecimiento sin posibilidades
de regresar.
Ejemplo 3:
Alumno de Enseanza Media
Preguntas
1. Cual es el tiempo de permanencia en el
colegios de los alumnos que entran en 1
ao?
2. Cul es el tiempo promedio que le toma a
un alumno que entra en 1 ao graduarse?
3. Cual es la probabilidad de que un alumno
que entro en 1 ao se gradu ?
Si consideramos los siguientes porcentajes, para pasar
de curso, repetir o retirarse en cada ao:
Repetir 1 ao: 2%
Pasar a 2 ao: 97%
Retirarse al final del 1 ao: 1%
Repetir 2 ao: 3%
Pasar a 3 ao: 95%
Retirarse al final del 2 ao: 2%
Repetir 3 ao: 4%
Pasar a 4 ao: 92%
Retirarse al final del 3 ao: 2%
Repetir 4 ao: 1%
Egresar: 96%
Retirarse al final del 4 ao: 3%
Ejemplo 3:
Alumno de Enseanza Media
Definicin de estados:
Estado 1: Estar en primer ao.
Estado 2: Estar en segundo ao.
Estado 3: Estar en tercer ao.
Estado 4: Estar en cuarto ao.
Estado 5: Egresar del establecimiento.
Estado 6: Retirarse del establecimiento.
70
Ejemplo 3:
Alumno de Enseanza Media
La representacin grfica de los estados definidos es:
1 2 3
6 5
4
Ejemplo 3:
Alumno de Enseanza Media
Asociando las probabilidades, se grafica de la siguiente
forma:
1 2
6
Repetir 1 ao: 2%
Pasar a 2 ao: 97%
Retirarse al final del 1 ao:
1%
0.02
0.01
0.97
Nota: La suma de las probabilidades asociadas a
las flechas salientes del estado 1 suman 1.
Ejemplo 3:
Alumno de Enseanza Media
El diagrama de estados completo es:
1 2
6
3
5
4
0.02
0.02
0.02
0.03
0.03
0.01
0.01 0.04
0.97 0.95 0.94
0.96
1 1
Ejemplo 3:
Alumno de Enseanza Media
A partir del diagrama de estados, se obtiene la
siguiente matriz de transicin asociada al sistema.
Ejemplo:
1 2
6
3
5
4
0.02
0.02
0.02
0.03
0.03
0.01
0.01 0.04
0.97 0.95 0.94
0.96
1 1
0.02 0.97 0 0 0 0.01
0 0.03 0.95 0 0 0.02
0 0 0.04 0.94 0 0.02
0 0 0 0.01 0.96 0.03
0 0 0 0 1 0
0 0 0 0 0 1
P
(
(
(
(
=
(
(
(
(
(

Resumen sobre las Representaciones
Matriz Q
1 2 3 4
1 0,02 0,97 0 0
2 0 0,03 0,95 0
3 0 0 0,04 0,94
4 0 0 0 0,01
Matriz (I-Q )
-1
1 2 3 4
1 1 1,009 1,009 0,951
2 0 1,03 1,03 0,97
3 0 0 1,04 0,99
4 0 0 0 1,01
Tiempo promedio de permanencia en el colegio de los
alumnos que entraron el primer ao 3,969 aos
Tiempo promedio que le toma a un alumno que entro en
primer graduarse 4,08 aos
Matriz R
5 6
1 0 0,01
2 0 0,02
3 0 0,02
4 0,96 0,03
Matriz NR
5 6
1 0,913 0,079
2 0,9312 0,070
3 0,950 0,051
4 0,97 0,030
Probabilidad que un alumno que entro el primer ao se
grade 0,913
Distribucin estacionaria
CADENAS DE MARKOV REGULARES
Tiempo de permanencia en un estado
transiente
S
ii
= Tiempo de permanecia en estado
transiente i
P(S
ii
=n)= p
ii
(n-1)
(1-p
ii
) distribucin geomtrica
de parmetro (1-p
ii
)
E(S
ii
) = 1/ (1-p
ii
)
80
Anlisis Estacionario
Una cadena de Markov Regular con probabilidad
estacionaria cumple:



es decir, la probabilidad de estar en el estado e es
independiente del tiempo (n), y es constante.
k = % de permanencia en el estado transiente k de una cadena
de Markov regular en condicin estacionaria

Cadenas de Markov discretas
Definicin:
t t

= e
( )
lim ;
n
e e
n
e
Notacin
Se define la probabilidad de estar en el estado e
en el n-simo paso, y se anota:
Cadenas de Markov discretas
( )
[ ],
n
e n
P X e e t = = e
Se define el vector al que se asocia la probabilidad
de estar en cualquiera de los estados existentes
en la cadena en el n-simo, y se anota:
t t
(
H =

( ) ( ) ( )
1
......
n n n
E
Notacin
Se define la probabilidad inicial del sistema, como
la probabilidad de estar en el estado e en el
comienzo del anlisis, y se anota:
Cadenas de Markov discretas
(0) (0) (0)
1
......
E
t t
(
H =

Anlisis Transiente
Ahora se puede generalizar la expresin a:
Cadenas de Markov discretas
Ejemplo:
Este vector indica la probabilidad de estar en
cualquiera de los estados de la cadena despus
de n pasos, con la condicin inicial ( que
define el estado en el cual se inicia el proceso).
( ) ( 1) n n
P

H =H
( ) (0) ( ) n n
P H =H
(0)
H
Anlisis Transiente
Sea, la probabilidad de estar en el estado e
en un tiempo n.
Sea, , el vector que indica
la probabilidad de estar en cualquier estado
despus de n pasos.
Sea, P la matriz de transicin de estados: donde P
ij

es la probabilidad de ir desde el estado i al estado
j, en un paso.

Cadenas de Markov discretas
t
( ) n
e
t t ( H =

( ) ( ) ( )
1
......
n n n
E
Anlisis Transiente
La ecuacin de Chapman-Kolmogorov en el ltimo
paso, en forma matricial, es:
Cadenas de Markov discretas
( ) ( 1) n n
P

H =H
( ) (0) ( ) n n
P H =H
(3)

(4)
Obs: La ecuacin (3) presenta un mejor desempeo al realizar
clculos cuando el nmero de pasos es muy grande.
Anlisis Estacionario
Se define el vector de probabilidad estacionaria
como:


Se dice que la cadena de Markov tiene probabilidad
de transicin estacionaria si se cumple la ecuacin
matricial:
Cadenas de Markov discretas
Definicin:
; 0,1,2....,
j i ij
i
P P para j E t t [ = [ = =

[ = [
( )
lim
n
n
Anlisis Estacionario
Se dispone de 4 mdulos de atencin que
se van activando secuencialmente a
medida que la cantidad de usuarios que
deben ser atendidos aumenta.
Cada mdulo tiene un mximo de
usuarios a los que puede entregar
servicio.
Cuando un mdulo est completamente
utilizado, entra en servicio el siguiente
mdulo.
Si un mdulo deja de ser utilizado, el
mdulo se desactiva temporalmente,
quedando en servicio los mdulos
anteriores.

Cadenas de Markov discretas
Ejemplo:
Central
Telefnica
G1 G2 G3 G4
Anlisis Estacionario
Interesa conocer:
Cul es la probabilidad de que
cada mdulo est en uso?.
Es decir, se desea conocer,
con que probabilidad se utiliza
cada mdulo, en cualquier
instante de tiempo.
Cadenas de Markov discretas
Ejemplo:
Central
Telefnica
G1 G2 G3 G4
Anlisis Estacionario
La definicin de estados para
el ejemplo ser:

Estado 1: El mdulo 1 est
siendo utilizado.
Estado 2: El mdulo 2 est
siendo utilizado.
Estado 3: El mdulo 3 est
siendo utilizado.
Estado 4: El mdulo 4 est
siendo utilizado.
Cadenas de Markov discretas
Ejemplo:
Central
Telefnica
G1 G2 G3 G4
Anlisis Estacionario
Las probabilidades de transicin, asociada a cada
mdulo son:
Cadenas de Markov discretas
Ejemplo:
Desde el 1 al 1: 0.3
Desde el 1 al 2: 0.7
Desde el 1 al 3: 0
Desde el 1 al 4:0
Desde el 2 al 1: 0.4
Desde el 2 al 2: 0.2
Desde el 2 al 3: 0.4
Desde el 2 al 4: 0
Desde el 3 al 1: 0
Desde el 3 al 2: 0.3
Desde el 3 al 3: 0.1
Desee el 3 al 4: 0.6
Desde el 4 al 1: 0
Desde el 4 al 2: 0
Desde el 4 al 3: 0.5
Desee el 4 al 4: 0.5
Anlisis Estacionario
El diagrama de estados que representa la situacin
antes descrita es el siguiente:
Cadenas de Markov discretas
Ejemplo:
1 2 3 4
0.3 0.7
0.2
0.4
0.1
0.6 0.5
0.3 0.5
0.4
Anlisis Estacionario
La matriz de transicin asociada al ejemplo es:
Cadenas de Markov discretas
Ejemplo:
El vector de probabilidad de transicin estacionaria
es:
(
(
(
(

=
5 . 0 5 . 0 0 0
6 . 0 1 . 0 3 . 0 0
0 4 . 0 2 . 0 4 . 0
0 0 7 . 0 3 . 0
P
| |
4 3 2 1
t t t t =
[
Anlisis Estacionario
Considerando las ecuaciones matricial:
Cadenas de Markov discretas
Ejemplo:
=
[ [
P (1)
1 2 3 3 4
1= + + +
[ [ [ [ [
(2)
Condicin de probabilidades totales
En estado estacionario la
probabilidad de estar en
estado i en el paso n, es igual
a la probabilidad de estar en
estado i en el paso n+1
1 = 0,31+0,42
2 = 0,72+0,22+0,33
3 = 0,42+0,11+ 0,63
4 = 0,5 3 + 0,5 4
Hay que eliminar una
de las ecuaciones del
sistema y agregar la
ecuacin 2
Anlisis Estacionario
Resolviendo el sistema de ecuaciones anteriores, se
obtiene:
Cadenas de Markov discretas
Ejemplo:
1 0,127
2 0,222
3 0,296
4 0,355
Anlisis Estacionario
Finalmente respondiendo a la pregunta original,
Cul es la probabilidad de que cada mdulo est en
uso?.
La probabilidad de que el mdulo 1 est en uso es 0.127

La probabilidad de que el mdulo 2 est en uso es 0.222

La probabilidad de que el mdulo 3 est en uso es 0.296

La probabilidad de que el mdulo 4 est en uso es 0.355

Cadenas de Markov discretas
Ejemplo:
Eejmplo 3: un modelo para el
desplazamiento poblacional
Para efectos de una investigacin, en un determinado pas,
una familia puede clasificarse como habitante de zona
urbana, rural o suburbana. Se ha estimado que durante un
ao cualquiera, el 15% de todas las familias urbanas se
cambian a zona suburbana y el 5% a zona rural. El 6% de las
familias suburbanas pasan a zona urbana y el 4% a zona
rural. El 4% de las familias rurales pasan a zona urbana y el
6% a zona suburbana.
Cadenas de Markov: ejemplo
Tendremos la siguiente matriz de transicin

Urb. Surb. Rur.



|
|
|
.
|

\
|
=
90 0 06 0 04 0
04 0 90 0 06 0
05 0 15 0 80 0
, , ,
, , ,
, , ,
P
Cadenas de Markov

Urb
Surb.
Rural
0,15
0,04
0,05
0,04
0,06
0,06
0,8
0,90
0,90
Aplicacin de resultados anteriores
Consideremos el ejemplo 3, y supongamos que al inicio de la
investigacin, el 35% de la poblacin viva en reas urbanas, el
45% en rea suburbana, y el resto en rea rural.
a) Si inicialmente una familia vive en un rea rural, cul es la
probabilidad de que tres aos despus esta familia viva en un
rea urbana?
b) Cual es la probabilidad de que tres aos despes de iniciada
la investigacin una familia viva en el rea urbana?
Aplicacin de resultados anteriores






a) 0,0967
b) 0,2691
) , , , ( a
, , ,
, , ,
, , ,
P
t
20 0 45 0 35 0
7411 0 1622 0 0967 0
1055 0 7593 0 1352 0
1248 0 3353 0 5399 0
3
=
|
|
|
.
|

\
|
=
Ejemplo (desplazamiento poblacional:
ejemplo 3)
Dado que la matriz del ejemplo 3 es ergdica,
podemos hacer:
102
1
90 0 06 0 04 0
04 0 90 0 06 0
05 0 15 0 80 0
3 2 1
3 2 1 3 2 1
= t + t + t
|
|
|
.
|

\
|
t t t = t t t
, , ,
, , ,
, , ,
) , , ( ) , , (
continuacin
Una opcin es:


3 2 1
3 2 1 2
3 2 1 1
1
06 0 90 0 15 0
04 0 06 0 80 0
t + t + t =
t + t + t = t
t + t + t = t
, , ,
, , ,
continuacin
Cuya solucin es
(t
1
, t
2
, t
3
) = (0.2077 , 0.4918 , 0.3005)
Es decir, si con el paso del tiempo se mantiene el
comportamiento descrito por el modelo (lo cual es
muy poco probable) despus de muchos
aos,aproximadamente, el 21% de la poblacin
ocupar las zonas urbanas, el 49% las suburbanas y
el 30% la rural.
Tiempo de primera pasada
Estamos interesados en tener informacin respecto al
nmero de pasos (transiciones) que hace el proceso
al ir de un estado i a un estado j por primera vez. Se
define

T
i,j
= tiempo de primera pasada al ir del estado i al
estado j
Tiempo de primera pasada
Definimos el tiempo esperado de recurrencia
E(T
i,j
) =
ij

Se puede demostrar que se cumple:

=
+ =
t
=
j n
nj in ij
j
j j
p 1
1

Dos Posibles estados:
0 Llueve
1 No llueve
Supuesto:
El tiempo de maana slo depende del de Hoy.
Llueve Hoy Prob. que llueva maana
No llueve Hoy Prob. que llueva maana

Prediccin del Tiempo
Cadenas de Markov: Otros Ejemplos

| =

o =

La matriz de transicin P queda:

Grficamente:


108
P =

(
o o
| |
1
1
0 1
0
1
0
1
7 , 0 = o
4 , 0 = |
1 o
1 |
Cadenas de Markov: Otros Ejemplos
Prediccin del Tiempo

Sea la probabilidad que llueva hoy de 0.2
Cual es la Probabilidad incondicional de que
maana llueva?
P =

(
07 03
04 06
. .
. .
Cadenas de Markov: Otros Ejemplos
Prediccin del Tiempo

Aplicando el Teorema de Probabilidades Totales:
Sea : Probabilidad incondicional de que
llover maana.

= P(maana llover /hoy llueve) +
P(maana llover /hoy no llueve)


= + 02 08
00 10
. . P P
= + = 0 2 0 7 08 0 4 0 46 . . . . .
Cadenas de Markov: Otros Ejemplos
Prediccin del Tiempo
| | | |
0 1 0 1
1
1
[ [ [ [
=

(
o o
| |
0 0 1
= +
[ [ [
o |
1 0 1
1 1 = +
[ [ [
( ) ( ) o |
1
0 1
= +
[ [
Cadenas de Markov: Otros Ejemplos
Prediccin del Tiempo
En el caso General:
Cadenas de Markov otros ejemplos
Si a = 0.7 y b = 0.4, entonces la probabilidad lmite
que llover ser:



es decir:
0
4 7 =
[
/
1
3 7 =
[
/
| | | |
= =
[ [ [
0 1
4 7 3 7 / /
Prediccin del Tiempo
Ejemplos varios
113
Problema del ratn
Problema Ratn:
Un ratn cambia de habitculo cada
minuto con igual probabilidad a las salas
adyacentes

114
S E
H C
1/2
1/2
1/2
1/2
1/3
1/3
1/3
1/3
1/3
1/3
Matriz de probabilidades de transicin :
0 1/3 1/3 1/3
1/2 0 1/2 0
1/3 1/3 0 1/3
1/2 0 1/2 0
P =
SOLUCIONES ESTACIONARIAS



Soluciones Estacionarias parta la Cadena de Markov Regular
1 = 1/2 2 + 1/3 3 +1/2 4
2= 1/31 + 1/3 3
3= 1/31 +1/2 2 + 3 + 4 se elimina
4= 1/3 1 + 1/33
1+ 2 + 3 + 4 = 1
Sol 1=3/10 =3
2==2/10 =4
117

1
2 3 4
1
0
1/3 1/3 1/3
2
1/2 0 1/2 0
3
1/3 1/3 0 1/3
4
1/2 0 1/2 0
Preguntas
1. Cuales son las probabilidades de que en
condiciones estacionarias se encuentre en
cada una de las piezas ?
2. 1=3/10
3. 2=2/10
4. 3=3/10
5. 4=2/10
Para acabar con el ratn
Se pone queso envenenado en la cocina
Se abre la puerta de la entrada (SE)
Existe distribucin lmite porque :
El sistema tiene una sola clase final
Esa clase final es aperidica
S
C H
E
Ahora el sistema carece de distribucin lmite
-Hay dos distribuciones finales
E S
C H
S E
1/3
1/3
1/3
1/3
1/3
1/3
1/3
1/3
Que probabilidad hay de que el sistema
sea absorbido en cada estado final ?
1. E, S y H son estados transitorios.
2. C y SE son estados recurrentes o
finales.
La situacin inicial del ratn determinar la
situacin futura.
Si inicialmente est en E es ms probable
que salga de casa.
Si inicialmente est en H es ms probable
que se quede en la cocina.


Matriz de transicin: Estructura de P :
1 0 0 0 0
0 1 0 0 0
1/3 0 0 1/3 1/3
0 1/3 1/3 0 1/3
0 1/3 1/3 1/3 0
P = P =
I
O
R Q
1. Matriz identidad (tantas columnas y filas como
estados finales) (I)
2. Matriz 2 x 3 (tantas columnas como transitorios y
tantas filas como estados finales) (O)
3. Matriz 3 x 2 (Probabilidades de absorcin en un
solo salto) (R)
4. Matriz 3 x 3 (Probabilidad de transicin entre
transitorios) (Q)
1 -1/3 -1/3
-1/3 1 -1/3
-1/3 -1/3 1
Resolvemos el sistema:
1/3

0


0

1/3


0

1/3


I - Q
R
Preguntas
1. Cual es la probabilidad de que termine
envenenado ?
2. Cuanto tiempo permanecer el ratn en la
casa si parte de S ?
Matriz inversa (I-Q)
1.498 0.748 0.748
0.748 1.498 0.748 = (I-Q)
-1
0.748 0.748 1.498
2) Si parte de S permanecer en la casa

0.748+1.498+0.748 = 2,994

125
Matriz NR


NR =

1) =0,751 si parti del saln
126
SE Patio Entrada C cocina
E 0,501 0,499
S 0,249 0,751
H 0,249 0,751
Probabilidades condicionales
Una fabrica conservera mexicana de ajes ( chiles ) envasa 4 variedades de chiles:
serranos, pasilla, habaneros y poblanos. La fbrica consta de tres plantas de produccin 1,
2,y 3. La primera planta produce tres veces ms ajes que la segunda y tercera que
producen lo mismo. En cada cadena se envasas los cuatro tipos de ajes en las siguientes
proporciones.
Prob Serranos Pasilla Habaneros Poblanos
1 3/5 10% 30% 50% 10%
2 1/5 30% 40% 10% 20%
3 1/5 40% 10% 20% 30%

130
Probabilidades condicionales
1. Si se toma de la produccin diaria al azar una lata, calcule la probabilidad de que se de
las variedades serrano o pasilla
Prob de serrano = 3/5 0,1 + 1/5 0,3 + 1/5 0,3 + 1/5 0,4 = 0,20
Prob de Pasilla = 3/5 0,3 + 1/5 0,4 + 1/5 0,1 = 0,28
Prob de Serrano o pasilla = 0,48
131
Probabilidades condicionales
1. Si se toma una lata al azar y no es pasilla ni proviene de la segunda planta Cul es la
probabilidad de que provenga de la primera plantas y se de la variedad habanero?
Se puede reformular el problema inicial cambiando el espacio muestral eliminado las
pasilla y la planta 2 . Lo que cambia las probabilidades cono se indica a continuacin
Prob de elegir la 1 planta y la probabilidad de elegir la 2 es Si se elige la primera
la probabilidad de que se aun Habanero es 0,5/0,7 = 0,7143 Pore lo tanto la
probabilidad de elegir la 1 planta y un habanera en este caso ser 0,75( 0,7143)
=0,5357 Tambin se puede resolver por Bayes
132
Probabilidades condicionales
1. Si la primera planta produce el 10 % de las conservas defectuosas, la segunda un 20%
y la tercera un 15% y se elige al azar un conserva que resulta defectuosa, Calcule la
probabilidad de que provenga de la tercera planta. Calcule la probabilidad de que esa
conserva defectuosa se pasilla
D= defectuoso P(D/1) = 0,1 P(D/2) =0,2 P(D/3)= 0,15
P(3/D) = P(3) P(D/3)/P(D) = 0,03/ 0,13 = 0,23
P(D/3) = 0,23 0,1 = 0,023
133
Reemplazo de autos
2. Cada ao su auto puede estar funcionando en buen estado B, funcionando con fallas F, o
parado por una pana mayor P, de acuerdo a las siguientes probabilidades de transicin
anual y costos.
Si su auto esta pana mayor P usted procede a comparar uno similar de inmediato.

Estados B F P
B 0,85 0,10 0,05
F 0,0 0,70 0,30
Valor de venta $6 millones $ 2 millones $ 0 millones
Costo anual Operacin $ 1 milln $ 1,5 milln $ 0 milln

LE CONVIENE REEMPLAZAR SU AUTO INMEDIATAMENTE CUANDO COMIENZA A PRESENTAR
FALLAS (F) Y NO ESPERAR UNA PANA MAYOR (P)?
134
135
136
137
138
139
140
141
142
143
144
Benitez y Sandoval estn empatados en la final del Master de tenis. Cualquiera de ellos que
gane el prximo punto tendr ventajas y si tiene ventajas y vuelve a ganar ganar el juego. Si las
probabilidades de ganar el prximo punto depende del estado empate o ventaja , de la siguiente
manera para cada uno de ellos:
Estado Prob. Benitez gane prximo
punto
Prob. de Sandoval gane prximo punto
empate 2/3 1/3
ventaja 3/4 1/2

Si el juego est empatado
1) Modele el trmino del juego como una Cadena de Markov
2) Cuantos puntos ms durar el juego?
3) Cul es la probabilidad que gane Sandoval ?
Estados del juego
Estados transientes
Empate = 1
Ventaja Benitez = 2
Ventaja Sandoval = 3
Estados absorbentes
Gana Benitez = 4
Gana Sandoval = 5
145
146
147
Soluciones ion del juego
Si parten empatados

2)Duracin del juego = +1/2+1 = 3 pts

3) Probabilidad que gane Sandoval =

148