CADENAS DE MARKOV

Algunas veces es motivo de inters, saber cmo cambia una variable aleatoria a
travs del tiemo! "or e#emlo, se desear$a conocer como evoluciona el recio de
las acciones de una emresa en el mercado a travs del tiemo, etc! Esto se e%lica
con lo &ue se conoce como un roceso estoc'stico! (a) un tio de rocesos
estoc'sticos conocidos como Cadenas de Mar*ov, &ue se ver'n a lo largo de esta
unidad!
Suonga &ue se observa una caracter$stica de un sistema en untos discretos en el
tiemo + &ue llamamos ,,-,.,/0! Sea 1t, el valor de la caracter$stica del sistema en
el tiemo t! En la ma)or arte de los casos no se conoce 1t con certe2a antes del
tiemo t ) se uede considerar como variable aleatoria! 3n roceso estoc'stico de
tiemo discreto es simlemente una descricin de la relacin entre las variables
aleatorias 1o, 1-, 1.,/ !
3n tio esecial de rocesos estoc'sticos de tiemo discreto se llama cadena de
Mar*ov! De modo &ue ara simli4icar su de4inicin suonga &ue en cual&uier
tiemo el roceso uede estar en uno de un n5mero 4inito de estados identi4icados
or -,.,/,s, con lo cual as$ se tiene &ue6
7 3n roceso estoc'stico de tiemo discreto es una cadena de Mar*ov si, ara t 8
,,-,.,/, ) todos los estados se de4ine &ue96
) ( ) . ,..., , (
1 1 0 0 1 1 1 1 1 1 t t t t t t t t t t
i X i X P i X i X i X i X i X P
+ + + +
En esencia, esta ecuacin dice &ue la distribucin de robabilidad del estado en el
tiemo t:- deende de la del estado en el tiemo t ) no deende de los estados or
los cuales as la cadena ara llegar a it en el tiemo t!
En el estudio de cadenas de Mar*ov se ;ar' la ;itesis adicional &ue ara todos
los estado i ) # ) toda t, "+1
t:-
8 # < 1
t
8 i0 es indeendiente de t! Esta ;itesis
ermite escribir
"+1
t:-
8 # < 1
t
8 i0 8
i#
Donde
i#
es la robabilidad de &ue dado &ue el sistema est' en el estado i en el
tiemo t, el sistema estar' en el estado # en el tiemo t : -! Si el sistema asa del
estado i durante un er$odo al estado # durante el er$odo siguiente, se dice &ue ;a
ocurrido una transicin de i a #! Con 4recuencia se llaman robabilidades de
transicin a las
i#
en una cadena de Mar*ov!
=a 5ltima e%resin indica &ue la le) de robabilidad &ue relaciona el estado del
siguiente er$odo con el estado actual no cambia, o &ue ermanece estacionaria, en
el tiemo! "or este motivo, a menudo se llama ;itesis de estabilidad a esta
e%resin! >oda cadena de Mar*ov &ue satis4ace a dic;a e%resin se llama
cadena estacionaria de Mar*ov!
El estudio de las cadenas de mar*ov tambin necesita &ue se de4ina a &i como la
robabilidad de &ue la cadena se encuentre en el estado i en el tiemo ,? en otras
alabras, "+ 1o 8 i0 8 &i! Al vector & 8 @&-,&.,/,&sA se le llama distribucin inicial
de robabilidad de la cadena de mar*ov! En la ma)or$a de las alicaciones, las
robabilidades de transicin se resentan como una matri2 " de robabilidades de
transicin de tamaBo s Cs! =a matri2 de robabilidad de transicin " se uede
escribir como6
1
1
1
1
1
1
]
1

1 1 1
2 21 21
1 11 11
.. ..
.. .. .. .. ..
.. .. .. .. ..
.. ..
.. ..
ss s s
s
s
p p p
p p p
p p p
P
Dado &ue el estado es i en el tiemo t, el roceso debe estar en alg5n lugar en el
tiemo t : -! Esto signi4ica &ue ara cada i6
>ambin se sabe &ue
cada elemento de la
matri2 " debe ser no
negativo! "or lo tanto, todos los elementos de la matri2 de robabilidad de
transicin son no negativos? los elementos de cada rengln deben sumar -!
Ver e#emlos en E%cel!
E#emlo -!D
3n #ugador emedernido interviene en un #uego de a2ar! En el tiemo , tiene .
dlares! En los tiemos -,.,/ articia aostando - dlar! Eana el #uego con
robabilidad ) lo ierde con robabilidad - F ! la meta del #ugador es aumentar
su caital a G dlares ) tan ronto esto suceda se sale del #uego! >ambin se sale del
#uego si ierde todo su caital! Si se de4ine a 1 como el caital de #ugador desus
del #uego cuando el tiemo es t, entonces se uede considerar &ue 1
,
, 1
-,
1
.
!!!son
rocesos estoc'sticos de tiemo discreto! Ntese &ue 1
,
8 . es una constante
conocida ero las dem's variables aleatorias son desconocidas!
DiseBe este roblema como una cadena de Mar*ov!
E#emlo .!D
3na urna contiene bolas ;abiendo dos de ellas sin intar! Se selecciona una bola al
a2ar ) se lan2a una moneda! Si la bola elegida no est' intada ) la moneda sale
'guila, se inta la bola de ro#o ero si la moneda cae sol se inta la bola de negro!
Si la bola e%tra$da )a est' intada, entonces si es ro#a se inta de negro ) viceversa
indeendientemente &ue ;a)a salido 'guila o sol en la moneda! Se de4ine a t como
el tiemo desus &ue la moneda ;a sido lan2ada or tFsima ve2 ) se ;a intado
la bola escogida! En cual&uier tiemo se uede reresentar el estado mediante el
vector @u r b A, donde u es el n5mero de bolas sin intar en la urna, r el n5mero de
bolas ro#as ) b el de bolas negras! Se dice &ue 1o 8 @. , , A! Desus del rimer
lan2amiento una bola ser' intada de ro#o o de negro!
DiseBe este roblema como una cadena de Mar*ov!
"ROHAHI=IDADES DE >RANSICIJN DE 7n9 E>A"AS!

s j
j
ij
s j
j
t t
p
i X P j X P
1
1
1
1
1 )) ( (
Suonga &ue se estudia una cadena de Mar*ov con matri2 " de robabilidades de
transicin conocida! Como todas las cadenas a tratar son estacionarias, no imorta
identi4icarlas como tales! 3na regunta de inters es Ksi una cadena de Mar*ov
est' en el estado i en el tiemo m, cu'l es la robabilidad de &ue n er$odos
desus la cadena de Mar*ov est en el estado #L! Como se trata de una cadena de
Mar*ov estacionaria, esta robabilidad ser' indeendiente de m ) or lo tanto se
uede escribir lo siguiente6
"+1
m:n
8 # < 1
m
8 i0 8 "+1
n
8 # < 1
,
8 i0 8
i#
+n0
Donde
i#
+n0
se llama robabilidad de transicin en la etaa n del estado i al estado
#!
Es claro &ue
i#
+n0
8
i#
! "ara determinar
i#
+.0
ntese &ue si el sistema se
encuentra ;o) en el estado i, entonces ara &ue el sistema termine en el estado #
dentro de . er$odos, debemos asar del estado i al estado * ) desus asar del
estado * al estado # como se ve en la 4igura siguiente6
Este modo de ra2onar ermite escribir lo siguiente6

s k
1 k
) 2 (
j) a k de n transici de dad (probabili
* k) a i de n transici de ad probabilid (
ij
p
j i
s
k
2
1
P
i1
P
is
P
ik
P
i2
P
2j
P
kj
P
sj
P
1j
Tiempo 1 Tiempo 2 Tiempo 3
De acuerdo con la de4inicin " de la matri2 de robabilidad de transicin,
relanteamos la 5ltima ecuacin de la siguiente 4orma6

s k
k
kj ik ij
p p p
1
) 2 (
El segundo miembro de esta 5ltima ecuacin es tan slo el roducto escalar del iD
simo rengln or la #Dsima columna de la matri2 "! "or lo tanto
i#
+.0
es el i#D
simo elemento de la matri2 "
.
! Eenerali2ando este modo de ra2onar se tiene &ue
ara n M -!

i#
+n0
8 elemento i#D simo de "
n
Naturalmente ara n 8 ,,
i#
+,0
8+1
,
8 # < 1
,
8 i0 ) or lo tanto, debemos escribir

'

i j si 0
i j si 1
) 0 (
ij
p
E#emlo!D
En la industria de micro rocesadores ara "C, a nivel mundial los m's vendidos
son los de marca Intel ) los AMD! Si una emresa &ue ensambla "Cs ;a comrado
de la -er! Marca, ;a) una robabilidad del N,O de &ue su siguiente comra sea de
la -er! Marca! "ero si una emresa &ue ensambla "Cs ;a comrado de la .P!
Marca, ;a) una robabilidad del Q,O de &ue su siguiente comra sea de la .P!
Marca!
a0 si actualmente una comaB$a comra de la .P! Marca, cu'l es la
robabilidad de &ue comre de la -er! Marca asadas dos comras a artir
de ;o)L
b0 si actualmente una comaB$a comra de la -er! Marca, cu'l es la
robabilidad de &ue comre de la -er! Marca asadas tres comras a artir
de ;o)L
Ver e#ercicio en E%cel!
C=ASIRICACIJN DE ES>ADOS DE 3NA CADENA DE MARKOV
=as siguientes de4iniciones ser'n de muc;a utilidad ara el estudio del
comortamiento de una cadena de Mar*ov!
=a siguiente matri2 de transicin as$ como el gra4o se usar'n ara mostrar la
ma)or$a de las de4iniciones siguientes6
1
1
1
1
1
1
]
1

2 , 0 8 , 0 0 0 0
1 , 0 4 , 0 , 0 0 0
0 ! , 0 3 , 0 0 0
0 0 0 , 0 , 0
0 0 0 " , 0 4 , 0
P
-P! De4inicin! Dados dos estados i ) #, la tra)ectoria de i a # es la sucesin &ue
comien2a en i ) termina en #, de modo &ue cada transicin de la secuencia tenga
robabilidad ositiva si se resenta!
.P! De4inicin! 3n estado # es alcan2able desde un estado i si ;a) una tra)ectoria
&ue va)a de i a #!
SP! De4inicin! Se dice &ue dos estado se comunican si # es alcan2able desde i e i es
alcan2able desde #!
-

.

T

G

S

,,G
,,T
,,G
,,-
,,U
,,T
,,S
,,Q
,,.
,,V
,,T
S-
S.
GP! De4inicin 3n con#unto de estados S en una cadena de Mar*ov es con#unto
cerrado si ning5n estado 4uera de S es alcan2able desde un estado en S!
TP! De4inicin! 3n estado i es absorbente si
ii
8 -!
VP! De4inicin! 3n estado i es transitorio si ;a) un estado # alcan2able desde i, ero
el estado i no es alcan2able desde el estado #!
UP! De4inicin! Si un estado no es transitorio, se llama recurrente!
QP! De4inicin! 3n estado i es eridico con er$odo * M - si * es el menor n5mero
tal &ue todas las tra)ectorias &ue arten del estado i regresan al estado i tienen una
longitud m5ltilo de *! Si un estado no es eridico se llama aeridico!
E#emlo!D
1
1
1
]
1

0 0 1
1 0 0
0 1 0
P
NP! De4inicin! Si todos los estados de una cadena de Mar*ov son recurrentes,
aeridicos ) se comunican entre s$, se dice &ue la cadena es Ergdica!
-
S
.
-
- -