PONTIFICIA UNIVERSIDADE CATLICA

DO RIO DE JANEIRO








DEPARTAMENTO DE ENGENHARIA MECNICA

CURSO: Mtodos Estocsticos

Cadeias de Markov


PROFESSOR : PhD. Rubens Sampaio

ALUNO : Anthony O. Roque Cc.




SEMESTRE : 2011 - I







BRASIL RIO DE JANEIRO
2011






CADEIAS DE MARKOV
Anthony Roque Ccacya
Pontifcia Universidade Catlica do Rio de Janeiro. Rua Marqus de So Vicente, 225, Gvea -
Rio de Janeiro, RJ - Brasil - 22451-900
_____________________________________________________________________________
Resumo
O presente trabalho apresenta a descrio das cadeias de Markov junto a suas propriedades mais
importantes assim como dedues das principais relaes probabilsticas que descrevem estes
processos aleatrios. Apresentam-se tambm definies importantes como tempo de ocupao e
o tempo de ocorrncia mdio, os quais esto relacionados ao estado estacionrio atingido pela
cadeia de Markov. Uma aplicao das cadeias de Markov para a previso do tempo abordada
no final.
Palavras chave:
Cadeias de Markov, processos estocsticos, variveis aleatrias discretas.
_____________________________________________________________________________
1. INTRODUO
Em um esforo por introduzir alguma dependncia na modelagem de processo aleatrios
que falaremos dos processos aleatrios de Markov e especificamente trataremos do caso no
qual o tempo discreto e os valores dos estados tambm (discrete-time/discrete value, DTDV)
o qual chamado cadeias de Markov.
Uma cadeia de Markov de tempo discreto um processo estocstico, sendo a mais simples
generalizao de uma sequencia de variveis aleatrias independentes, onde o
comportamento probabilstico futuro depende somente do estado presente do processo e no
influenciado por sua historia passada.
Pensemos num jogador de golfe, assumindo que tem a chance de fazer um Hole in one (jogada
na qual o golfista acerta a bola no buraco com apenas uma tacada) de 50 %, se ele faz essa
jogada ento suas chances na seguinte jogada permanecem iguais e se no poderia se
desanimar, diminuindo suas chances a 25% de fazer um Hole in one. Para modelar esta
situao consideramos 1
n
X = para a jogada de Hole in one e 0
n
X = de outra forma.
Etiquetando cada buraco de n, e considerando que cada partida de golfe tem 18 buracos,
resultar em uma sequencia de 18 resultados de zeros e uns. Um resultado possvel
apresentado na figura 1 que apresentada por Kay (2006).


Mtodos estocsticos
Figura 1: Resultados de trs rodadas de golfe um 1 indica um Hole on one.

Quando observarmos o grfico pode-se ver que a probabilidade de obter um Hole in one
1 3 18 54 ~ . Outra observao importante que em mdia temos que aguardar 3 tacadas para
ter a jogada de sucesso, o qual parece estar relacionado com sua probabilidade pelo inverso.
A dependncia surgida devido a que a probabilidade de uma jogada depende do resultado da
anterior pode ser representada usando a probabilidade condicional.
1
1 1 0 1 4
n n
P holeinonenoburacon noseteveholeinonenoburacon P X X

= = = =

1
1 1 1 1 2
n n
P holeinonenoburacon holeinonenoburacon P X X

= = = =


As probabilidades condicionais para cada uma das combinaes de eventos podem ser
resumidas na seguinte matriz
1 1
1 1
0 0 1 0
3 4 1 4
1 2 1 2 0 1 1 1
n n n n
n n n n
P X X P X X
P
P X X P X X


= = = =


= =

= = = =



Finalmente precisamos da probabilidade inicial de obter um Hole in one:
| | | | | |
0
0 1 ' 1 2 1 2 '
X X
p p x p x = = = =


Estas probabilidades podem ser resumidas atravs do diagrama de probabilidade de estado de
Markov (figura 2), onde se mostram as probabilidades de passar de um estado a outro ou
permanecer no mesmo estado, a probabilidade inicial de entrar no estado 0 ou 1 mostrada
em linhas tracejadas. Esta estrutura probabilstica apresentada chamada cadeia de Markov.
Figura 2: Diagrama de probabilidade de estados de Markov

Se desejamos determinar a sequencia de resultados
0 1 2
0, 1, 1 X X X = = = podemos utilizara
regula de cadeia:
| | | |
0 1 2 2 1 0 1 0 0
0, 1, 1 1 1, 0 1 0 0 P X X X P X X X P X X P X = = = = = = = = = =


Utilizando a propriedade de Markov com os valores da figura 2:
| | | | ( )( )( )
0 1 2 2 1 1 0 0
0, 1, 1 1 1 1 0 0 1 2 1 4 1 2 P X X X P X X P X X P X = = = = = = = = = =


Agora se somente estamos interessados nas FPM (funo massa de probabilidade) marginais
em um dado tempo como | |
n
P X k = para k=0,1 como, por exemplo, | |
2
1 P X = , somente
precisamos somar as outras variveis da FMP conjunta.
| | | |
| |
| | | |
1 1
2 0 1 2
0 0
1 1
2 1 1 0 0
0 0
1 1 1
2 1 1 0 0 2 1 1
0 0 0
1 , , 1
1
1 1
i j
i j
j i j
P X P X i X j X
P X X j P X j X i P X i
P X X j P X j X i P X i P X X j P X j
= =
= =
= = =
= = = = =
= = = = = =

= = = = = = = = = =

Umas questes importantes que o golfista gostaria saber, e que nosso estudo tentar
esclarecer, so:
Depois de ter passado por muitos buracos, ser que a probabilidade de um hole in one
mantida em um valor constante?
Dado que acaba de se conseguir um Hole in one, quantas tacadas em mdia devem esperar-
se at o seguinte Hole in one?
2. NOTAO E DEFINIES
Definio 3.1: uma sequncia de variveis aleatrias , 0
n
X n > se apresenta como uma cadeia
de Markov se para algum conjunto contvel S c9 e para qualquer
1 0
1, , ,...,
n n
n x x x S
+
> e ,
1 1 0 0 1 1
,...,
n n n n n n n n
P X x X x X x P X x X x

= = = = = =


O conjunto S chamado de espao de estados da cadeia. Se S um conjunto finito, a cadeia
chamada de cadeia de Markov de estados finitos.
Isto implica que a probabilidade conjunta s depender do produto da FMP condicional de
primeira ordem e da probabilidade inicial:
| | | |
1 1 1 1 2 1 0 0
, , ,
n n n n n n
P X X X P X X P X X P X X P X

=


Definio 3.2: a distribuio do estado inicial
0
X chamada de distribuio inicial da cadeia.
Denotaremos a FMP da distribuio inicial como ( )
0 i
P X i = =
Definio 3.3: uma cadeia de Markov chamada homognea ou estacionaria se
( )
1 n n
P X y X x
+
= = independente de n para qualquer x ou y. Assim:
( ) ( )
1 1 n n n n
P X y X x P X y X x constante
+
= = = = = =
Definio 3.4: Para uma cadeia de Markov estacionaria, as probabilidades
1 ij n n
p P X j X i

= = =

so chamadas de probabilidades de transio de um passo, ou
simplesmente probabilidades de transio, com 0,1,..., 1 0,1,..., 1 i K e j K = = . Onde K
so os possveis estados que pode ter a VA (varivel aleatria). A matriz
( )
ij
P p

=


chamada de matriz de probabilidade de transio, para dois estados da cadeia ou 2 K = ,
temos que 0,1; 0,1 i j = = e a matriz seria representada por:
00 01
10 11
p p
P
p p

=




Definio 3.5: Para uma cadeia de Markov estacionaria, as probabilidades
| |
0 ij n m m n
p n P X j X i P X j X i
+
= = = = = =

so chamadas de probabilidades de
transio de passo n, e a matriz
( )
( ) ( )
n
ij
P p n

=

chamada de matriz de probabilidade de
transio de passo n.
00 01 0
10 11 1
0 1
t
t
t t tt
p p p
p p p
p p p



=



P
Se o espeo da cadeia finito, com t elementos, ento a matriz de ordem t t (onde 1 t K =
). Deve ser percebido que 1
ij
j S
p
e
=

. Uma matriz com esta propriedade chamada matriz

estocstica.
Definio 3.6: finalmente definimos o estado de probabilidade no tempo n ou
equivalentemente a FMP de
n
X : | |
0,1,..., 1
n
i n
p P X i i K = = = . A qual a probabilidade
de observar um resultado i no tempo n ou equivalentemente a FMP de
n
X . Aqui o FMP
depende de n, por isto uma cadeia de Markov em geral um processo aleatrio no
estacionrio, quando olhado do ponto de vista de cada estado. Definido o vetor de
probabilidade de estados como:
0 1 1
T
n n n n
K
p p p

=

p
Assim a seguinte relao pode ser estabelecida:
1 n n
= p p P. O qual uma forma simples de
representar os clculos que esto involucrados em:
1
1
0
1,..., 1 1,..., 1
K
n n
j ij i
i
p P p para i K e j K

=
= = =

Um exemplo poderia ver representado pela sequencia de clculos:
1 0 2 1 1
...
n n
p p P p p P p p P

= = =
3. CALCULO DOS ESTADOS DE PROBABILIDADE
Vamos considerar uma forma mais geral de ir de um vetor de probabilidade de estado (
1
n
p ) no
tempo
1
n para
2
n
p no tempo
2
n , atravs da matriz de transio.
A equao resultante que leva em considerao estas transies, na matriz de transio, para
diferentes tempos conhecida como equao de Chapman-Kolmogorov, representada a partir
da seguinte relao.
0
n m n m
ij ik kj
k
p p p

+
=
=

para todo , 0 , m n e i j S > e

Foi estabelecida atravs da observao das seguintes relaes:
| |
| |
| |
| |
0 0
0
0 0
0
0 0
0
0 0
0
,
,
, , ,
,
n m
ij n m n m n
k
n m n n
k
n m n n
k
n
m n
kj ik
k
p p X j X i p X j X k X i
p X j X k X i p X k X i
p X j X k X i p X k X i
p X k X i p X i
p p

+
+ +
=

+
=

+
=

=
= = = = = = =

= = = = = =

= = = = =
=
= = =
=

Esta relao estabelece que a probabilidade de ir a partir de i para j em n m + passos
obtido pela suma de probabilidades de eventos mutuamente exclusivos (quando a realizao
de um exclui a realizao dos outros, assim a probabilidade de que um ou outro se realize
igual soma das probabilidades de que cada um deles) de ir primeiro do estado i para algum
estado k em n passos, e depois ir do estado k para o estado j em m passos.
Por exemplo, se
2 1
3 n n m e m = + = , ento:
( ) ( ) ( )
2 2 2 2 1
1 2 3 3 n n n n n
p p p p p

= = = = P P P P P P P
Agora desde o tempo
2
n , com o conjunto de probabilidades que constituem
3
P , desejamos ir
para tempo
3
n o qual representa passar por outros 3 estgios teremos que utilizar novamente
a equao de Chapman-Kolmogorov
1
3 m +
P , com
1
3 m = e o vetor de estados iniciais
1
n
p .
Assim, pode se dizer, de maneira simplista, que as equaes de Chapman-Kolmogorov
fornecem um mtodo para computar a matriz de transio para n passos no tempo.
Considerando uma cadeia de Markov de dois estados (o qual facilitar nossos clculos e a
compreenso das propriedades de sero apresentadas) o diagrama de probabilidade de
estados pode ser representado segundo a figura 3. O qual corresponda seguinte matriz de
probabilidades:
1
1
o o
| |

=

P (3.1)
Figura 3: Diagrama de Probabilidade de dois estados

Os estados de probabilidade
n
p da cadeia de Markov, podem ou no aproximar-se a um valor
de estado estacionrio. Isto depende da forma de P.
Calculo de P
Se os autovalores ( ) de P so distintos podemos dizer respeito a esta matriz: que
diagonalizavel, invertvel ( 0 = ) e que seus autovetores so linearmente independentes.
Para simplificar nosso analise consideremos 2 K = , onde | |
1 2
= V v v no singular. Ento
temos:
1
= V PV
Onde ( )
1 2
, diag = . Do anterior podemos encontrar as potencias de P:
1 2 2 1 3 3 1
= = = P VV P V V P V V em geral temos:
1 n n
= P V V (3.2)
As potencias de ( )
1 2
, diag = so fceis de encontrar assim chegamos seguinte relao:
1 1
2
0
0
n
n
n

=


P V V (3.3)
Agora determinemos o estado de probabilidade para a cadeia de Markov de dois estados,
assim precisaremos dos autovalores de 3.1, os quais so obtidos com ( ) det = P I 0. Assim
obtemos: ( )
1 2
1 1 e o | = = + . Utilizando essas razes encontramos os autovetores:
( ) ( )
1 1 1 2 2 1
1 1
1
e
| o

= = = =

P I v 0 v P I v 0 v
A partir destes encontramos as correspondentes matrizes para
1
,
n
e

V V ; para obter
n
P .
Arranjando a expresso matricial final obtida depois de aplicar 3.2.
( ) 1
n
n
| o o o
o | o | o | o |
o |
| o | |
o | o | o | o |

+ + + +

= +

+ + + +

P (3.4)
Devido ao fato de e o | serem probabilidades condicionais temos:
( )
2
0 2 1 1 1 por isso o | o | s + s s = + s . Por isso diferentes casos so abordados se
este autovalor menor que 1 em magnitude ou no.
CASO 1: ( ) 1 1 1 o | < + < Cadeias de Markov ergdicas
Temos ( ) 1 1 o | + < e quando n em 3.4 obtemos:
0 n n n
e
| o
o | o | | o
| o o | o |
o | o |


+ +

= =

+ +


+ +

P p p P
Pode ser visto que a cadeia de Markov de aproxima a um estado estacionrio sem considerar o
estado inicial de probabilidades
0
p . As probabilidades de estado tambm aproxima-se a um
vetor de estados de probabilidade estacionrio, onde seus valores no mudam, o qual vai ser
representado por:
n
| o
o | o |

= =

+ +

p (3.5)
CASO 2: ( ) 1 1 0 ou o | o | + = = = estados absorventes ou recorrentes
quando as probabilidades de transio so zero como mostrado na figura 4. Para verificar
temos 0 o | = = , os autovalores so ambos iguais a 1 e por isso = . Por isso
n
= = P P . Assim a cadeia de Markov tambm atingem o estado estacionrio e
0
= p . Mas a funo massa de probabilidade de estado estacionrio depende que qual foi o
vetor inicial de probabilidade. As realizaes possveis so 00000... e 1111.....


Figura 4: Estados de probabilidade para estados absorventes

CASO 3: ( ) 1 1 1 ou o | o | + = = =
Espera-se que os resultados devam alternar assim as nicas realizaes so 0101... e 1010..., a
realizao gerada depende o estado inicial, no se apresenta probabilidades de estado
estacionrio. Pode ser verificado que:
0 0
0 1
0 0 0
0 1
0 0
1 0
n n n
p p para par
p p
p p para impar


= = =

p p P P
n
n

Figura 5: Estados de probabilidade para uma cadeia ade Markov dois estados

4. CADEIAS DE MARKOV ERGDICAS
No primeiro caso cada elemento de P maior que zero. Isto equivalente a dizer que todas
as flechas no diagrama de transio de estados esto presentes (Figura 3). Uma matriz
estocstica que satisfaz o anterior chamada matriz estocstica irredutvel. A cadeia de
Markov associada conhecida como ergdica ou cadeia de Markov irredutvel. O teorema de
Perron Frobenius estabelece que se 0 > P ento a matriz de probabilidades de transio
sempre apresentar um autovalor igual a 1 e o restante de autovalores assumiram valores
estritamente menores a 1. A convergncia para um estado estacionrio pode ser atingida se
algum elemento igual a zero mais isto no est garantido. Assim precisamos resolver
somente no estado estacionrio a seguinte relao: = P.
O vetor calculado nico, e se iniciamos os clculos com ele o resultado de operar para
diferentes tempos (com 0,1, ,
n
e n N = P ) dar como resultado o mesmo vetor , vetor
de probabilidade estacionaria.
Outra observao de importncia que se

P converge para o estado estacionrio, onde

todas suas filas so iguais. A despeito disso ltimo pode ser deduzir que as probabilidades de
estacionarias podem ser obtidas por duas formas por resoluo de um sistema de equaes
como t t = Pou a traves da reviso de uma das filas de ,
n
quando n P , com isto ultimo
podemos estabelecer que: lim ; 0,1, , 1
n
j
ij n
j K t

= =

P .
Na realidade muitas vezes estamos somente interessados no estado estacionrio da matriz
obtida em determinado tempo e no pelo vetor de probabilidades inicial j que difcil de ser
especificado.
5. MAIS CARATERSTICAS DO ESTADO ESTACIONRIO
5.1. Tempo de ocupao de um estado
O tempo de ocupao de um estado a porcentagem de tempo ou frequncia relativa (
N
X )
que uma cadeia de Markov est em um estado particular. Pela lei dos grandes nmeros se
sabe que a frequncia relativa aproxima-se mdia dos valores obtidos para cada uma das VA
( | |
lim
N N X
X E X

= ). Assim vamos mostrar que no estado estacionrio a frao de tempo

gasto no estado j somente
j
t
No casso das caeias de Markov a lei dos grandes nmeros no pode aplicar-se diretamente.
Considerando a relao: | | ( ) | |
Y X X i X i Y X Y X
i
E Y E g X E E Y X E Y x p x

= = =




onde ( ) g X e uma varivel aleatria transformada com valores iguais a ( )
i i Y X
g x E Y x =

,
com Y X = .
A frao de tempo gasta no estado 1 para um grande valor de n
,
em uma cadeia de Markov
de dois estados, a propriedade probabilstica da mdia incondicional da funo de variveis
aleatrias
( )
j
X f X = representada por:
0
0
1 1 1
0 0
1 1 1
n N n N n N
j X j j
X
j n j n j n
E X E X E E X X i E E X X i
N N N
+ + +
= = =


= = = = =






(5.1.1)
Sabe-se que
0 0 1 1
j
j j i
E X X i P X X i P t

= = = =

. Isso porque j n > e o valor
esperado no depende do estado inicial, quando se substitui em (5.1.1) se obtm o mesmo
valor para N .
0
1
1 1
1
n N
X
j n
E X E
N
t t
+
=

=

Assim a frao de tempo no estado 1 converge para
1
t , estabelecendo que a mdia temporal
igual mdia do conjunto. Uma cadeia de Markov que atinge o estado estacionrio sem
considerar as probabilidades de seu estado inicial chamada uma cadeia de Markov ergdica.
Voltando ao problema de nosso golfista supondo j tem dado muitas tacadas, o qual assegure
que se encontra no estado estacionrio. Ento se espera que consiga fazer hole in one em 1 3
do tempo que dure a partida.
5.2. Tempo de recorrncia mdio.
O tempo de entre visitas ao mesmo estado chamado tempo de recorrncia (
R
T ) e a mdia
deste chamado tempo de recorrncia mdio. O valor de
R
T pode considerar valores no
espao de mostra { } 1, 2, . Assumindo que inicialmente estamos no estado 1 no tempo
0
n n = , para nossa cadeia de Markov de dois estados representada pela Figura 3. Ento valor
de
R
T ser 1, 2, 3... apresentando a seguinte sequencia de resultados:
0 0 0 0 0 0
1 1 2 1 2 3
1 0, 1 0, 0, 1 ...
n n n n n n
X ou X X ou X X X ou
+ + + + + +
= = = = = = , respetivamente.
Em geral a FMP dada como
( )
2
1
1
1
2
1
k R
k
P T k
k
|
|o o


=

= =


>

A qual uma FPM do tipo geomtrico. Para encontrar o tempo de recorrncia mdio
precisamos obter o valor esperado de
R
T :
( ) ( )
( ) ( )( )
( )
( ) ( )( )
( ) ( ) ( )
( )
( )
( )
2
2
1 1 1
2 2
1 1
1 1
11 1 1
1 1 1 1 1 1 1
1 1 1
1 1
1
1 1
k
R
k
k l
k k
l l
l l
FMPgeomtrica
E T k
k l
l
o
| |o o
| |o o | |o o
| |o o | o o
| |o |
o o
o |
o

=


= =


= =
= = +

= + + = + +


= + +



= + +

+
=

Dando uma olhada para
n
quando n P , obtemos finalmente:
1
1
11
R
E T
o |
o t
+
= = =


Assim o tempo de recorrncia o reciproco da probabilidade no estado estacionrio e pode
ser interpretado como o nmero de falhas antes de ter sucesso. Substitudo os valores na
cadeia de Markov de nosso jovem golfista vemos que ter que aguardar 3 tacadas em mdia
para voltar a fazer um Hole in one, depois de uma ltima jogada similar.
6. CADEIAS DE MARKOV DE K ESTADOS: EXEMPLO DE APLICAO
Assumindo que o estado do clima pode ser classificado como ser como sendo chuvoso (estado
0), nublado (estado 1) ou ensolarado (estado 2). Desejamos determinar no longo do tempo a
porcentagem de dias ensolarados. Das discusses anteriores sabemos que o valor a procurar
a probabilidade estacionaria
2
t . Assumindo como parte da matriz de transio as seguintes
probabilidades condicionais.
Atualmente est chovendo (estado 1)
00 01 02
4 8, 3 8, 1 8 p p p = = =
Atualmente est nublado (estado 2)
10 11 12
3 8, 2 8, 3 8 p p p = = =
Atualmente est ensolarado (estado 3)
20 21 22
1 8, 3 8, 4 8 p p p = = =
Por exemplo, se atualmente esta chovendo se tem uma probabilidade que no dia seguinte
continue chovendo
00
4 8 p = . O diagrama de transio para cada estado mostrado na
Figura 6.
Supondo que desejamos ter uma previso do tempo para o sbado sendo que hoje tera
feira e esta chovendo. Os dados de ingresso so | |
0
5 1 0 0 n e = = p e os clculos
envolvidos so:
| |
5
5 0
4 8 3 8 1 8 0.3370
1 0 0 3 8 2 8 3 8 0.3333
1 8 3 8 4 8 0.3296
T
n


= = =



p p P
O qual mostra que igualmente provvel que acontea algum desses estados.
Para encontrar as probabilidades estacionarias do clima necessitamos resolver = P.
Utilizando a anterior relao e sabendo que nico usaremos a seguinte relao
( )
1
T

+ = I P 11 1 onde | |
1 1
T
= 1 isto para computar a soluo direta do sistema. A
soluo encontrada | |
1 3 1 3 1 3 = . Em n igualmente provvel de chova, este
nublado ou ensolarado.
Figura 6: Diagrama de transio entre trs estados para a previso do clima

Simulao: atravs de MATLAB modelamos o comportamento do clima para diferentes dias, o
programa se encontra no anexo para ser verificado. A figura 7 mostra o tempo que se espera
para os seguintes dias.
Figura 7: comportamento do clima

Na Figura 8 nota-se que independentemente do estado inicial das condies climticas a
distribuio de probabilidade dos estados praticamente a mesma.
Figura 8: Probabilidades estacionarias para um tempo infinito




7. CONCLUSES
As cadeias de Markov um processo estocstico sem memoria e uma completa especificao
do processo dada pela matriz de transio de probabilidades.
A distribuio de estados gerada pela repetitividade de passos de um estado a outro
segundo P.
As propriedades das cadeias de Markov permitem que as propriedades estatsticas do futuro
de um sistema possam ser previstas. Em muitas aplicaes essas propriedades estatsticas so
importantes.
8. REFERENCIAS BIBLIOGRFICAS

Kao, E. (1997). An Introduction to Stochastic Processes. Duxbury Press.
Kay, S. (2006). Intuitive Probability and Random Processes using MATLAB. Rhode Island U.S.:
Springer Science.
Tamir, A. (1998). Applications of Markov Chains in Chemical Engineering. Beer-Sheva, Israel:
Elsevier Science B.V.
9. ANEXO
9.1. Programa em MATLAB para determinar o comportamento do clima em
diferentes dias
%....................................................................
% Comportamento do clima
clear all
rand('state',0)
N=1000; % Nmero de amostras desejadas
p0=[1/3 1/3 1/3]'; % vetor de probabilidade inicial
P=[4/8 3/8 1/8; 3/8 2/8 3/8;1/8 3/8 4/8]; % matriz de probabilidades de
% transio
xi=[0 1 2]'; % valores de FMP
X0=PMFdata(1,xi,p0); % gerendo X[0]
i=X0+1; % escolhendo a fila apropriada para FMP
X(1,1)=PMFdata(1,xi,P(i,:)); % gerando X[1]
i = X(1,1)+1; % escolhendo a fila apropriada para FMP
for n=2:N % gerando X[n]
i=X(n-1,1)+1; % % escolhendo a fila apropriada para FMP
X(n,1)=PMFdata(1,xi,P(i,:));
end
%Gerao do grfico
t=[1:1:N];
plot(t',X,'o-.')
xlabel('Dias')
ylabel('Clima')
grid on
axis([0 100 0 2.5])
%....................................................................

Funo para a determinao das variveis aleatrias: este programa gera as os resultados de
N ensaios de um experimento de uma varivel aleatria discreta
%....................................................................
% Parmetros de entrada:
%
% N - numero de amostras desejadas
% xi - valores de x_i's da varivel aleatria discreta (M x 1 vetor)
% pX - FMP da varivel aleatria discreta (M x 1 vetor)
%
% Output parameters:
%
% X - outcomes of N trials (N x 1 vector)
%
function x=PMFdata(N,xi,pX)
M=length(xi);M2=length(pX);
if M~=M2
message='xi and pX must have the same dimension'
end
for k=1:M ;
if k==1
bin(k,1)=pX(k); % estabelecendo o intervalo da funo de
% de distribuio acumulativa [0,pX(l)]
else
bin(k,1)=bin(k-1,1)+pX(k) ; % estabelecer intervalos de sucesso
% de FDC
end
end
u=rand(N,1); % gerar N resultados de variaveis aleatorias
for i=1:N % detrminar em qual intervalo de CDF se encontra o resultado
% e mapear dentro o valor de xi
if u(i)>0&u(i)<=bin(1)
x(i,1)=xi(1);
end
for k=2:M
if u(i)>bin(k-1)&u(i)<=bin(k)
x(i,1)=xi(k);
end
end
end
%....................................................................
9.2. Programa em MATLAB para a determinao das probabilidades
estacionrias

%....................................................................
%Determinao do vetor de estado estacionrio no tempo infinito
clear all
clc
P=[4/8 3/8 1/8; 3/8 2/8 3/8; 1/8 3/8 4/8];
p0=[1 0 0]; %substituir para os diferentes estados de iniciao
%p0= [0 1 0] e p0= [0 0 1]
k=length (p0);
n=1;
infinito=10;%supondo que n tende ao infinito
%Utilizando as propriedades das cadeias de Markov
while n<=infinito
a=zeros(1,k);
for j=1:k
for i=1:k
a(j)=p0(i)*P(i,j)+a(j);
end
end
t1(n,1)=a(1);
t2(n,1)=a(2);
t3(n,1)=a(3);
t(n,1)=n-1;
n=n+1;
p0=a;
end
%gerao do grfico
plot(t,t1,t,t2,t,t3)
xlabel('tempo')
ylabel('Probabilidade do estado')
%legenda deslocada
locLEG=legend('chuvoso','nublado','ensolarado');
set(locLEG,'Location','Northeast')
grid on
axis([0 9 0 0.8])
%....................................................................