Professional Documents
Culture Documents
\
|
=
,
22 21 20
12 11 10
02 01 00
... ... ... ...
...
...
...
Matriz de transicin
Cadenas de Markov
Tiempo
n+1
Estado 0 Estado 1 Estado 2 Estado 3
Estado 0
0,20 0,65 0,15 0
Tiempo
n
Etado 1
0 0,60 0 0,40
Estado 2
0,15 0,15 0,30 0,40
Estado 3
0 0 0 1
Cadenas de Markov
Propiedades de la matriz de transicin
Por ser los q
ij
probabilidades, para espacios de
estados S discretos
| | 1 , 0 , , e e
ij
q S j i
Por ser 1 la probabilidad del suceso seguro, cada
fila ha de sumar 1, es decir,
1 , = e
eS j
ij
q S i
Una matriz que cumpla estas dos propiedades se
llama matriz estocstica
Cadenas de Markov
Diagrama de transicin de estados
El diagrama de transicin de estados (DTE) de una
CM es un grafo dirigido cuyos nodos son los
estados de la Cadena de Markov (CM) y cuyos
arcos se etiquetan con la probabilidad de transicin
entre los estados que unen. Si dicha probabilidad es
nula, no se pone arco.
i j
q
ij
Cadenas de Markov
Ejemplo: lnea telefnica
Sea una lnea telefnica de estados ocupado=1
y desocupado=0. Si en el instante t est
ocupada, en el instante t+1 estar ocupada con
probabilidad 0,7 y desocupada con probabilidad
0,3. Si en el instante t est desocupada, en el
t+1 estar ocupada con probabilidad 0,1 y
desocupada con probabilidad 0,9.
Cadenas de Markov
Ejemplo: lnea telefnica
|
|
.
|
\
|
=
7 , 0 3 , 0
1 , 0 9 , 0
Q
0 1
0,9
0,1
0,3
0,7
Cadenas de Markov
Para efectos de una investigacin, en un determinado
pas, una familia puede clasificarse como habitante de
zona urbana, rural o suburbana. Se ha estimado que
durante un ao cualquiera, el 15% de todas las familias
urbanas se cambian a zona suburbana y el 5% a zona
rural. El 6% de las familias suburbanas pasan a zona
urbana y el 4% a zona rural. El 4% de las familias
rurales pasan a zona urbana y el 6% a zona suburbana.
Ejemplo : un modelo para el desplazamiento
poblacional
Cadenas de Markov
Tendremos la siguiente matriz de transicin
Urb. Surb. Rur.
|
|
|
.
|
\
|
=
90 , 0 06 , 0 04 , 0
04 , 0 90 , 0 06 , 0
05 , 0 15 , 0 80 , 0
P
Cadenas de Markov
Urb
Surb
.
Rural
0,15
0,04
0,05
0,04
0,06
0,06
0,8
0,90
0,90
Cadenas de Markov
Despus de mucho estudio sobre el clima, hemos visto que
si un da est soleado, en el 70% de los casos el da
siguiente continua soleado y en el 30% se pone nublado.
En trminos de probabilidad, lo que nos sirve entonces para
predecir el clima, vemos que la probabilidad de que
contine soleado el da siguiente es .7 y la probabilidad de
que al da siguiente est nublado es .3. Tambin nos
fijamos en que si un da est nublado, la probabilidad de
que est soleado el da siguiente es .6 y la probabilidad de
que se ponga nublado es .4.
Ejemplo : un modelo para el clima
Cadenas de Markov
Ejemplo : un modelo para el clima
Pregunta
Hoy est nublado, cul es la probabilidad de que maana
contine nublado? cul es la probabilidad de que est
nublado pasado maana?
Podemos ilustrar esta situacin por medio de un diagrama
de rbol:
Cadenas de Markov
Ejemplo : un modelo para el clima
Figura Posibles estados del tiempo a partir de que hoy est nublado
Con la ayuda de la Figura 1 podemos predecir qu ocurrir maana si sabemos
que hoy est nublado. Vemos que la probabilidad de que maana contine
nublado es .4, es decir, si hiciramos esta prediccin
muchas veces estaramos en lo correcto cerca del 40% de las veces.
Cadenas de Markov
Ejemplo : un modelo para el clima
Si hoy est nublado, para que pasado maana est nublado,
podramos tener un da de maana soleado o nublado. As tenemos las
siguientes secuencias en orden de (hoy, maana, pasado maana):
(nublado, soleado, nublado) o (nublado, nublado, nublado) donde
pasado maana es nublado. Estas secuencias son mutuamente
excluyentes, corresponden a caminos distintos en el rbol, as tenemos
que:
P(pasado maana nublado | hoy nublado)
= P((nublado, soleado, nublado) o (nublado, nublado, nublado))
= P(nublado, soleado, nublado) + P (nublado, nublado, nublado) =
(.6 x .3) + (.4 x .4) = .34.
Cadenas de Markov
Ejemplo : un modelo para el clima
Matriz de Transicin
Cadenas de Markov
Ejemplo : un modelo para el clima
Producto de Matrices
Cadenas de Markov
Ejemplo : un modelo para el clima
Matriz de Transicin del proceso en dos pasos
Nos da las probabilidades de llegar en dos pasos a cualquier estado si partimos
de un estado particular.
Podemos extender este argumento a cualquier nmero de das en el futuro en
que queremos hacer la prediccin, vemos que corresponde a las
probabilidades de transicin en dos pasos
Cadenas de Markov
Matriz de Transicin del proceso en m pasos
En base a lo anterior, entonces
corresponden a las probabilidades de transicin en 3, 4, ...,
m pasos respectivamente.
De hecho, la matriz se conoce como la matriz de
transicin en m pasos de la cadena de Markov.
Cadenas de Markov
Ejemplo de cola
Suponga que toda la industria de refrescos produce dos colas.
Cuando una persona ha comprado la cola 1, hay una probabilidad de
90 % de que su siguiente compra sea de cola 1.
Si una persona compr cola 2, hay 80 % de probabilidades que su
prxima compra sea de cola 2.
1. Si actualmente una persona es compradora de cola 2, cul es la
probabilidad que compre cola 1pasadas dos compras a partir de hoy?
2. Si en la actualidad una persona es compradora de cola 1, cul es la
probabilidad que compre cola 1 pasadas tres compras a partir de
ahora?
Cadenas de Markov
Solucin
Consideraremos que las compras de cada una de las
personas son una cadena de Markov, y que el estado en
cualquier momento es el tipo de cola que compr la
persona por ltima vez.
Por lo tanto, las compras de cola por parte de cada una de
las personas se pueden representar con una cadena de
Markov de dos estados, donde:
Estado 1 = la persona acaba de comprar cola 1
Estado 2 = la persona acaba de comprar cola 2
Cadenas de Markov
Si definimos Xn como el tipo de cola que compra
una persona en la n-sima compra futura (la
compra actual = X0 ), entonces X0, X1, se
puede describir como la cadena de Markov con la
siguiente matriz de transicin:
Cadenas de Markov
Podemos contestar ahora las preguntas 1 y 2.
1. Se busca (P X2 = 1 | X0 = 2) = P 21(2) =
elemento 21 de PxP
Cadenas de Markov
Por lo tanto, P21 (2) = 0,34
Esto significa que existe una probabilidad de 0,34 de que la
persona 2 compre cola 1, despus de dos compras a partir de
ahora.
Con la teora bsica de probabilidad, podemos obtener esta
respuesta siguiendo un camino distinto
Cadenas de Markov
2. Buscamos P11(3) = elemento 11 de PxPxP
Por lo tanto, P11(3) = 0,781
Cadenas de Markov
En muchos casos no conocemos el estado de la cadena de
Markov en el tiempo 0.
Como se ha definido, sea qi la probabilidad de que la
cadena est en el estado i en el tiempo 0.
Entonces podemos determinar la probabilidad de que el
sistema est en el estado i en el tiempo n mediante el
siguiente razonamiento
Cadenas de Markov
Para mostrar el uso de la ecuacin contestaremos
la siguiente pregunta:
Supongamos que el 60% de la gente toma hoy
cola 1 y el 40% cola 2.
A tres compras a partir de ahora, qu fraccin de
los compradores estar tomando cola 1?
Como q = [0,60 0,40] y
= probabilidad de que a tres compras a partir de
este momento una persona tome cola 1
Cadenas de Markov
La probabilidad que se busca es
Por lo tanto, a tres compras de este
momento el 64 % de las personas estarn
comprando cola 1.
Cadenas de Markov
Tarea
El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro
piso. El piso en el que finaliza el viaje n-simo del ascensor sigue una cadena
de Markov. Se sabe que la mitad de los viajes que parten del bajo se dirigen a
cada uno de los otros dos pisos, mientras que si un viaje comienza en el
primer piso, slo el 25% de las veces finaliza en el segundo. Por ltimo, si un
trayecto comienza en el segundo piso, siempre finaliza en el bajo. Se pide:
a) Calcular la matriz de probabilidades de transicin de la cadena
b) Dibujar el grafo asociado
c) Cul es la probabilidad de que se encuentre en el primer piso despus de
3 movimientos?
d) Calcular la matriz de probabilidades de transicin de la cadena resultante
Clasificacin de Estados de
Cadenas de Markov
Se dice que el estado i es accesible o
alcanzable desde el estado j si la probabilidad
de transicin en n pasos de j a i es positiva, p
(n)
ij
> 0, para algn nmero natural n
Si el estado i es accesible desde el estado j y
viceversa se dice que los estados estn
comunicados
Clasificacin de Estados de
Cadenas de Markov
Estado transitorio
Es aqul tal que despus de que el proceso ha entrado ah, nunca
regresar
El estado i es transitorio si y slo si existe un estado j que es
accesible desde i, pero donde el estado i no es accesible desde j
Al no haber acceso al estado i desde j, existe una probabilidad
positiva (incluso igual a 1) de que el proceso se mueva al estado j
y nunca regrese al estado i
Estado recurrente
Es un estado tal que una vez que el proceso ha estado en l,
existe la seguridad de que volver
Un estado es recurrente si y slo si no es transitorio
Estado absorbente
Es un estado tal que despus de haber entrado all, el sistema ya
nunca saldr
Para que un estado i sea absorbente se requiere que p
ii
= 1
Clasificacin de Estados de
Cadenas de Markov
Conjunto Cerrado
Un conjunto de estados S en una cadena de Markov es conjunto
cerrado si ningn estado fuera de S es alcanzable desde un
estado en S.
una vez que entramos a un conjunto cerrado no podemos dejarlo
nunca.
Ejemplo: La ruina del jugador.
Probabilidad p de ganar 1 y 1p de perder 1 .
Si el estado es 0 4 no juego ms y, por lo tanto, el estado no puede
cambiar; entonces P
00
= P
44
= 1
Clasificacin de Estados de
Cadenas de Markov
0 1
2
1p
3
p p
1
1p 1p
4
p
1
Estado Transitorio
Un estado i es transitorio si hay manera de dejar el estado i de tal modo
que nunca se regrese a l.
0 1
2
1p
3
p p
1
1p 1p
4
p
1
Los estados 1, 2 y 3 son estados transitorios.
Desde el estado 2 es posible pasar por la trayectoria 2 3 4, pero
no hay modo de regresar al estado 2 desde el estado 4.
Estado Transitorio
Cules estados son Transitorios?
Estado Transitorio
R= [2 0 0] , [1 1 0] y [1 0 1] son estados transitorios
Estado Recurrente
Si un estado no es transitorio, se llama estado
recurrente.
0 1
2
1p
3
p p
1
1p 1p
4
p
1
Los estados 0 y 4 son estados recurrentes.
Estado Recurrente
R= [0 2 0], [0 0 2] y [0 1 1] son estados recurrentes
Estado Absorbente
En la siguiente matriz de
transicin, el estado 0 y
el estado 2 son
absorbentes, ya que una
vez entrando en alguno
de ellos, el sistema no
vuelve a salir
Esto ocurre porque la
probabilidad de pasar al
estado 0 dado que se
encuentra en el estado 0
es igual a 1
Anlogamente ocurre
para el estado 2
0 1 2 3
0 1 0 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o
n
Estado n+1
Un estado i es estado absorbente si P
ii
= 1
Estado Absorbente
0
2 3
1
1
0.10
0.10
1
0.25
0.40
0.5
0.30
0.15
0.30
0.20
Los estados 0 y 2
son absorbentes.
Notamos que una
vez que el sistema
llega a alguno de
ellos, no vuelve a
salir
Estado Absorbente
0 1
2
1p
3
p p
1
1p 1p
4
p
1
Los estados 0 y 4 son estados recurrentes y absorbentes.
Conjunto Cerrado
Un conjunto de estados S en una cadena de Markov es
conjunto cerrado si ningn estado fuera de S es
alcanzable desde un estado en S
De la cadena de Markov con la matriz P anterior, tanto S
1
={1,2} como S
2
= {3,4,5}
son conjuntos cerrados.
Observe que una vez que entramos a un conjunto cerrado no podemos dejarlo
nunca.
Cadenas Recurrentes y Transitorias
Ejemplo: Estado de cuentas con un to rico
(fortunes with the rich uncle). Probabilidad p de
ganar 1 y 1p de perder 1 . Cuando me
arruino, mi to me presta dinero para la prxima
tirada:
Cadenas Recurrentes y Transitorias
0 1
p
2
1p
3
p p p
1p 1p 1p 1p
p
n+1
1p
p p
1p
1p
n
Cadenas Recurrentes y Transitorias
Esta cadena se demuestra que es transitoria si
p>0,5 y recurrente en otro caso (ps0,5)
La cadena es transitoria cuando la tendencia
global es ir ganando dinero. Esto implica que
una vez visitado un estado, al final dejaremos
de visitarlo porque tendremos ms dinero.
Periodicidad
Un estado i es peridico con periodo k >1 si k
es el menor nmero tal que todas las
trayectorias que parten del estado i y regresan
al estado i tienen una longitud mltiplo de k. Si
un estado recurrente no es peridico, se llama
aperidico.
Periodicidad
Ejemplo: En la siguiente CM todos los estados
son peridicos de periodo k=2:
Ejemplo: En la siguiente CM todos los estados son
peridicos de periodo k=3:
Cadenas Ergdicas
Si todos los estados de una cadena son
recurrentes, aperidicos y se comunican entre
s, se dice que la cadena es ergdica.
Cadenas Ergdicas
Ejemplos.
Cadenas Ergdicas
Cul de las siguientes cadenas es Ergdica?
Cadenas Ergdicas
Cul de las siguientes cadenas es Ergdica?
Ergdica
NO Ergdica
Ergdica
P2 no es ergdica porque hay dos clases cerradas de estados (la clase 1 = {1, 2} y la
clase 2 = {3, 4}) y los estados en clases diferentes no se comunican entre si.
Estados Estables o Estacionarios
Existe una probabilidad lmite de que el
sistema se encuentre en el estado j, despus
de muchas transiciones, y que esta
probabilidad sea independiente del estado
inicial.?
Estados Estables o Estacionarios
Describe el importante concepto de probabilidades de
estado estable, que se pueden usar para describir el
comportamiento de una cadena de Markov a largo plazo.
Afirmacin:
Si P es la matriz de transicin de una Cadena de
Markov que tiene los estados {1,2,...k} , entonces,
para j=1,2,..,k
j
) n (
j , i
n
p
lim
t =
Estados Estables o Estacionarios
Escrito de otra forma
|
|
|
|
|
|
.
|
\
|
t
t
t
t
t
t
t
t
=
k
k
k
n
n
P lim
2
2
2
1
1
1
Al hacer que n tienda al infinito en la ecuacin obtenemos:
Estados Estables o Estacionarios
Para mostrar cmo determinar las probabilidades
de estado estable, las calcularemos para el
ejemplo de la Cola.
Recuerden que la matriz de transicin de ese
ejemplo era
Estados Estables o Estacionarios
Entonces las ecuaciones producen
Estados Estables o Estacionarios
Por lo tanto, despus de largo tiempo, hay
probabilidad 2/3 de que una persona dada compre
cola 1, y 1/3 de probabilidad de que una persona
dada compre cola 2.
Cadenas de Markov
Ejemplo.
El departamento de estudios de mercado de una fbrica
estima que el 20% de la gente que compra un producto un
mes no lo comprar el mes siguiente. Adems, el 30% de
quienes no lo compren un mes lo adquirir al mes
siguiente. En una poblacin de 1000 individuos, 100
compraron el producto el primer mes.
Cuntos lo comprarn al mes prximo?
Y dentro de dos meses?.
Cadenas de Markov
Cadenas de Markov
(C,N) = (100*0.8 + 900*0.3 , 100*0.2 + 900*0.7)
(C,N) = (100*0.7 + 900*0.45 , 100*0.3 + 900*0.55)
Cadenas de Markov
Ejemplo.
El clima en el pueblo de Centerville puede cambiar con rapidez de un
da a otro, sin embargo, las posibilidades de tener clima seco (sin
lluvia) maana es de alguna forma mayor si hoy est seco, es decir, no
llueve. En particular, la probabilidad de que maana est seco es de
0.8 si hoy est seco, pero es de slo 0.6 si hoy llueve. Estas
probabilidades no cambian si se considera la informacin acerca del
clima en los das anteriores a hoy.
La evolucin del clima da tras da en Centerville es un proceso
estocstico. Si se comienza en algn da inicial, el clima se observa
cada da t, para t=0,1,2, El estado del sistema en el da t puede ser.
Estado 0 = El da t es seco. O
Estado 1 = El da t es lluvioso
Cadenas de Markov
La matriz P contiene los estados posibles del
problema
Cadenas de Markov
La probabilidad del estado del clima dos, tres, cuatro,
cinco das a futuro se puede conocer a partir de las
matrices de transicin de dos, tres, cuatro y cinco pasos
que se calculan bajo las ecuaciones de Chapman
Kolmogorov. Partiendo de la matriz de transicin de un
paso.
Cadenas de Markov
Cadenas de Markov
Ejemplo.
Hay tres marcas nacionales de cerveza principales (B,M,S). Piense en el
volumen total (en galones) que se consumieron el ao pasado de estas tres
cervezas. En la grfica se muestra la proporcin del total del mercado( o sea,
la participacin en el mercado) de cada marca.
Sharon Sheralik es la gerente de la fbrica que produce
la cerveza B. Le gustara recuperar su posicin como
fabricante de cerveza nmero 1 en la nacin. Ella
espera cambiar su posicin en el mercado modificando
su estrategia de mercado y el envase. Espera aumentar
su participacin en el extenso mercado cervecero, en
tanto que conserva una ventaja entre los jvenes
solteros. Sabe que con una nueva campaa ganar y
perder clientes ante sus dos competidores. Lo que
Sharon necesita es una estimacin del efecto global.
Cadenas de Markov
Una cadena de Markov ofrece a Sharon un nuevo modelo para analizar
este problema. Para usarlo, suponga que se puede describir el
comportamiento de un consumidor individual mediante una cadena de
Markov. Los estados del sistema son las marcas de cerveza que los
consumidores podran comprar. Una probabilidad de transicin Pij es la
probabilidad de que un cliente que compra esta vez la marca i cambie a la
marca j la prxima vez. En la tabla siguiente se muestra la matriz de
transicin de un paso para este problema. Esta matriz indica que:
1.- El 85% de la gente que compr B la ltima vez, la comprar otra vez;
2.- El10% se aficionar a M;
3.- El 5% comprar S.
Las dems filas tienen una representacin similar. La matriz de
probabilidad es estacionarias se puede calcular con las ecuaciones de
Chapman Kolmogorov.
Cadenas de Markov
Cadenas de Markov
Cadenas de Markov
Cadenas de Markov
Cadenas de Markov
Cadenas de Markov
Observen que en la matriz de
veinticinco pasos, las tres filas
tienen elementos idnticos. Esto
se denomina probabilidad del
estado estable de la cadena de
Markov o Matriz estacionaria
Esto implica que la ventaja en el mercado de B aumentar al nuevo
nivel de 0.38. Se ha acercado a su competidor ms fuerte, de un 20%
ha pasado a un 7% de diferencia. De hecho esto depende de que la
matriz de transicin sea una buena representacin de cmo
reaccionarn los clientes ante la nueva campaa promocional.
Cadenas de Markov
Ejemplo
Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para
evitar desplazamientos innecesarios est todo el da en la misma
ciudad y all pernocta, desplazndose a otra ciudad al da siguiente, si
no tiene suficiente trabajo. Despus de estar trabajando un da en C, la
probabilidad de tener que seguir trabajando en ella al da siguiente es
0,4, la de tener que viajar a B es 0,4 y la de tener que ir a A es 0,2. Si el
viajante duerme un da en B, con probabilidad de un 20% tendr que
seguir trabajando en la misma ciudad al da siguiente, en el 60% de los
casos viajar a C, mientras que ir a A con probabilidad 0,2. Por ltimo
si el agente comercial trabaja todo un da en A, permanecer en esa
misma ciudad, al da siguiente, con una probabilidad 0,1, ir a B con
una probabilidad de 0,3 y a C con una probabilidad de 0,6.
Problema:
a) Si hoy el viajante est en C, cul es la
probabilidad de que tambin tenga que trabajar en
C al cabo de cuatro das?
b) Cuales son los porcentajes de das en los que
el agente comercial est en cada una de las tres
ciudades?
Cadenas de Markov
Solucin
La matriz de transicin P es la siguiente para el
orden A,B,C
Cadenas de Markov
El apartado a) consiste en averiguar el trmino
P
4
33
, es decir el trmino que ocupa la fila 3 y la
columna 3 de la matriz P
4
. lo cual se obtiene con
la fila 3 y la columna 3 de P
2
, cuyos valores son:
Cadenas de Markov
por tanto el trmino buscado es:
0,18.0,48+0,30.0,48+0,52.0,52= 0,5008
En b) nos piden las probabilidades estacionarias. Para ello
hay que resolver el siguiente sistema:
Cadenas de Markov
Desarrollando resulta el sistema de ecuaciones lineales:
Eliminando y en las dos primeras:
Y= (9x-2z)/2 -33x+12z = 0,
y elimino y en las dos ltimas :
Y= 1-x-z 12z=6 ;
de ambas se deduce que:
x =2/11=0,1818 y = 7/22=0.3181 z = 0,5.
En porcentajes seran el 18,18% para la ciudad A, el 31,81 para
B y el 50% para la ciudad C.
Cadenas de Markov
Ejemplo
Los consumidores de caf en el rea de
Pontevedra usan tres marcas A, B, C. En marzo de
1995 se hizo una encuesta en lo que entrevist a
las 8450 personas que compran caf y los
resultados fueron:
Cadenas de Markov
Cadenas de Markov
Problema:
a) Si las compras se hacen mensualmente, cul ser la
distribucin del mercado de caf en Pontevedra en el mes de
junio?
b) A la larga, cmo se distribuirn los clientes de caf?
c) En junio, cual es la proporcin de clientes leales a sus marcas
de caf?
Solucin
a) A la vista de las frecuencias anteriores, las probabilidades de
transicin, conservando el mismo orden que la tabla (A,B,C) es:
Cadenas de Markov
De marzo a Junio hay 4 etapas por lo que nos piden las
probabilidades de transicin al cabo de 4 meses, las que vendrn
dada por los coeficientes de P
4
Cadenas de Markov
Cadenas de Markov
b) A la larga se trata de la situacin estable:
Cadenas de Markov
Desarrollando resulta el sistema de ecuaciones lineales:
Eliminando y en las dos ltimas:
Y= 1-x-z
Z= 2/7
de ambas se deduce que:
x =5/21, y = 10/21, z = 2/7.
y elimino y en las dos primeras:
Y= (5x+2.5z)/4 -9x + 7.5z=0;
En Marzo la proporcin de clientes:
A= 2028/8450 = 0,24
B= 3718/8450 = 0,44
C= 2704/8450 = 0,32.
Cadenas de Markov
En el mes de junio la proporcin es:
es decir 23.8% para A, 47.6% para B y 28.6% para C.
(.2385 .4757 .2855)