1

PROCESSOS ESTOCÁSTICOS E
CADEIAS DE MARKOV
id1380640 pdfMachine by Broadgun Software - a great PDF writer! - a great PDF creator! - http://www.pdfmachine.com http://www.broadgun.com
2
Problemas de tomada de decisão → tomada de decisão
baseada em fenômenos que possuem incerteza associada a
eles.
Causas da incerteza: inconsistência do fenômeno natural
ou fontes de variação que estão fora de controle.
PROCESSOS ESTOCÁSTICOS
Objetivo: tratar a variabilidade quantitativamente,
incorporando-a a um modelo matemático.
Modelos probabilísticos para processos que evoluem com
o tempo de uma maneira probabilística: foco em cadeias
de Markov.
3
Um processo estocástico é definido como uma coleção
indexada de variáveis aleatórias, X
t
, no qual o índice t
varia em um dado conjunto T {X
t
, t e T}.
Em geral, T corresponde ao conjunto dos inteiros não
negativos e X
t
representa uma característica de interesse
que pode ser medida no instante t.
PROCESSOS ESTOCÁSTICOS
Exemplos:
X
1
, X
2
, X
3
, ...
¬níveis de estoques mensais de um produto.
¬demanda mensal para um produto.
¬número de programas na fila para serem processados por hora.
4
PROCESSOS ESTOCÁSTICOS
Instantes de tempo: 0, 1, 2,.sistema: categoria ou estado
número finito de estados
mutuamente excludentes
0, 1, ..., M
igualmente espaçados ou não
Representação matemática do sistema físico
Processo estocástico {X
t
}, no qual as variáveis aleatórias são
observadas em t = 0, 1, ... e no qual cada variável aleatória pode
assumir um dos M+1 inteiros 0, 1, ..., M
caracterização dos M+ 1
estados do processo
Observar o comportamento de um sistema operando por algum
período de tempo frequentemente leva à análise de um processo
estocástico
5
PROCESSOS ESTOCÁSTICOS
Estado
Discreto ¬X
t
: enumerável ou finito
Contínuo ¬ X
t
: caso contrário
Estado discreto e tempo contínuo: número de pessoas em um
supermercado em um determinado instante.
Estado contínuo e tempo discreto: perda associada ao corte de padrões
de corte diária.
Estado discreto e tempo discreto: número de peças vendidas por dia.
Classificação
Tempo
Discreto ¬ T: finito ou enumerável
Contínuo ¬ T: caso contrário
Exemplos:
6
CADEIAS DE MARKOV
Diz-se que um processo estocástico X
t
tem a propriedade Markoviana
se:
a probabilidade condicional de qualquer evento futuro dado qualquer
evento passado e o estado presente X
t
= i é independente do evento
passado e depende somente do estado presente
P(X
t+1
= j | X
0
= k
0
, X
1
= k
1
, .., X
t-1
= k
t-1
, X
t
= i)
= P(X
t+1
= j | X
t
= i)
para todo t = 0, 1, ... e toda seqüência i, j, k
0
, k
1
, ..., k
t-1
P(X
t+1
= j | X
t
= i) Probabilidades de Transição
probabilidade do estado do sistema
ser j no instante t+1 dado que o
estado é i, no instante t
7
CADEIAS DE MARKOV
Se para cada i e j, P(X
t+1
= j | X
t
= i) = P(X
1
= j | X
0
= i)
para todo t = 0, 1, 2...
probabilidades de transição (em um passo) são chamadas
estacionárias, geralmente denotadas por p
ij
probabilidade de transição não
mudam com o tempo
Probabilidade de transição
estacionárias
Probabilidades de transição estacionárias (em um passo)
implica que para cada i, j e n (n = 0, 1, 2, ...)
P(X
t+n
= j | X
t
= i) = P(X
n
= j | X
0
= i), t = 0, 1, 2, ...
probabilidades de transição em n passos,
probabilidade condicional que a variável aleatória X
iniciando no estado i, estará no estado j após n
passos (unidades de tempo)
) (n
ij
p
8
CADEIAS DE MARKOV
probabilidades condicionais: devem ser não negativas e
o processo deve fazer uma transição para algum estado
0
) (
>
n
ij
p
¯
=
=
M
j
n
ij
p
0
) (
1
para todo i e j; n = 0, 1, 2, ...
para todo i; n = 0, 1, 2, ...
) 0 (
ij
p para n = 0, é exatamente P{X
0
= j / X
0
= i} que é 1 se i = j
e 0 se i = j
para n = 1, é a probabilidade de transição (em um passo)
) (n
ij
p
) 1 (
ij
p
9
CADEIAS DE MARKOV
Notação ¬Probabilidades de transição
Matriz de Transição
em n passos

) ( ) (
0
) (
0
) (
00
n
MM
n
M
n
M
n
p p
p p


P
(n)
=
n = 1 ¬Matriz de Transição
Estados 0 1 . M
0
.
1
M .
.
) (
0
n
M
p
) (
0
n
M
p
) (
00
n
p
) (n
MM
p
Um processo estocástico {X
t
} (t=0,1,2,...) é uma Cadeia de Markov
se tiver a propriedade Markoviana
- número finito de estados
- probabilidades de transição estacionárias
Assumido: um conjunto de probabilidades iniciais P(X
0
= i) para todo i
Considere
Cadeia de Markov
10
CADEIAS DE MARKOV
Matriz de Transição ou Estocástica
- É quadrada
- Os elementos da matriz são probabilidades, isto é,
- A soma dos elementos de uma linha deve ser igual a 1
0 ≤ p
ij
≤1
11
PROCESSOS ESTOCÁSTICOS
Exemplo 1: estoque de uma loja de câmeras
Uma loja de câmeras estoca um modelo particular de câmera que pode
ser pedida semanalmente
D
1
, D
2
, ... : demanda para a filmadora durante a primeira semana,
segunda semana, ..., respectivamente
D
i
: v.a.i.i.d., distribuição de probabilidade conhecida
Assuma que X
0
= 3. Sábado à noite a loja faz um pedido que será
entregue em tempo na segunda-feira, quando a loja é aberta.
X
0
= número de câmeras disponíveis no início
X
1
= número de câmeras disponíveis no final da primeira semana
X
2
= número de câmeras disponíveis no final da segunda semana
12
PROCESSOS ESTOCÁSTICOS
A loja utiliza a política de encomenda (s, S)
 Se o número de câmeras no final da semana for menor que s = 1
(nenhuma câmera em estoque), a loja pede S = 3
 Caso contrário a loja não faz pedido
 Se demanda > estoque: vendas são perdidas
Possíveis estados do processo:
0, 1, 2, 3 que representam o número de câmeras
disponíveis no final da semana
{X
t
} para t = 0,1,2,... é um Processo Estocástico
X
t+1
= max {3 – D
t+1
,0} se X
t
< 1
max {X
t
– D
t+1
,0} se X
t
> 1
t = 0, 1, 2, ...
13
CADEIAS DE MARKOV
{X
t
}, X
t
: número de câmeras em estoque no final da semana t (antes
que um pedido seja recebido), é uma Cadeia de Markov
Exemplo 1 da loja de câmeras

33 32 31 30
23 22 21 20
13 12 11 10
03 02 01 00
p p p p
p p p p
p p p p
p p p p
P =
D
t
¬demanda durante a semana t
Distribuição de Poisson com parâmetro ì = 1
14
CADEIAS DE MARKOV
X
t+1
= max {3 – D
t+1
,0} se X
t
< 1
max {X
t
– D
t+1
,0} se X
t
> 1
Para obter p
00
é necessário avaliar P(X
t
= 0 | X
t-1
= 0)
Se X
t-1
= 0, então X
t
= max {3 – D
t
, 0}
Se X
t
= 0, então a demanda durante a semana é 3 ou mais
Desta forma:
p
00
= P(D
t
> 3) = 1 – P(D
t
s 2) = = 1 – 0,9197=
0,0803 ¬ probabilidade que uma variável aleatória do tipo Poisson com
parâmetro ì=1 assuma o valor de 3 ou mais

+ + ÷
÷ ÷ ÷
! 2
1
! 1
1
! 0
1
1
2 1 1 1 0 1
e e e
15
CADEIAS DE MARKOV
p
10
= P(X
t
= 0 | X
t-1
= 1)
Se X
t-1
= 1, então X
t
= max {1 – D
t
,0}
Para que X
t
= 0, a demanda durante a semana tem que ser 1 ou mais
Desta forma:
p
10
= P(D
t
> 1) = 1 – P(D
t
= 0) = = 0,6321
p
21
= P(X
t
= 1 | X
t-1
= 2)
Se X
t-1
= 2, então X
t
= max {2 – D
t
,0}.
Para que X
t
= 1, a demanda durante a semana tem que ser exatamente
igual a , logo:
p
21
= P(D
t
=1) = = 0,3678
! 0
1
1
0 1 ÷
÷
e
! 1
1
1 1 ÷
e
16
CADEIAS DE MARKOV
Continuando...
P =

368 0 368 0 184 0 080 0
0 368 0 368 0 264 0
0 0 368 0 632 0
368 0 368 0 184 0 080 0
, , , ,
, , ,
, ,
, , , ,
17
CADEIAS DE MARKOV
Exemplo 2: jogador
P =

÷
÷
1 0 0 0
0 1 0
0 0 1
0 0 0 1
p p
p p
Um jogador tem $1,00 e cada vez que joga ganha $1,00 com
probabilidade p > 0 ou perde $1,00 com probabilidade 1 – p. O
jogo termina quando o jogador acumula $3,00 ou $0,00. Este jogo
é uma Cadeia de Markov cujos estados representam a quantia
esperada de dinheiro que o jogador possui a cada vez que joga. O
espaço de estados é E = {0 1 2 3} e a matriz de transição P é
dada por:
18
EQUAÇÕES DE CHAPMAN-KOLMOGOROV
Probabilidades de transição em n passos,
) (n
ij
p
úteis quando o processo está no estado i é
desejada a probabilidade de que o processo estará
no estado j depois de n passos
Equações de Chapman-Kolmogorov
método para calcular probabilidades de transição em n passos
quando se vai do estado i para o estado j em n passos,
o processo estará em algum estado k depois de
exatamente v (menor que n) passos
probabilidade condicional de que, começando no estado i, o
processo vá para o estado k depois de v passos e, então para o estado
j em n-v passos
) ( ) ( v n
kj
v
ik
p p
÷
Soma das probabilidades condicionais para todo k ¬
¯
=
÷
s s =
M
k
v n
kj
v
ik
n
ij
n v n j i p p p
0
) ( ) ( ) (
0 e , , todo para ,
) (n
ij
p
19
EQUAÇÕES DE CHAPMAN-KOLMOGOROV
v = 1 ¬
¯
=
÷
=
M
k
n
kj ik
n
ij
p p p
0
) 1 ( ) (
v = n – 1 ¬
¯
=
÷
=
M
k
kj
n
ik
n
ij
p p p
0
1 ) (
Probabilidades de
transição em n
passos
Probabilidades de
transição em um
passo
para todo i, j, n
Casos especiais
20
n = 2 ¬
¯
=
=
M
k
kj ik ij
j i p p p
0
) 2 (
, todo para ,
probabilidades de transição em
um passo
P
(2)
Generalizando
P
(n)
= P · P · . · P = P
n
= PP
n-1
= P
n-1
P
P
(n)
= P
n
EQUAÇÕES DE CHAPMAN-KOLMOGOROV
P
(2)
= P·P = P
2
A matriz probabilidade de transição em n passos pode ser obtida
calculando-se a n-ésima potência da matriz de transição em um passo
21
EQUAÇÕES DE CHAPMAN-KOLMOGOROV
Exemplo 1 da loja de câmeras
P
(2)
= P
2
=
=
= 0,283 ¬ dado que existe uma câmera em estoque no final da
semana, a probabilidade de que não haverá câmera em estoque duas
semanas depois, é de 0,283
) 2 (
10
p

368 0 368 0 184 0 080 0
0 368 0 368 0 264 0
0 0 368 0 632 0
368 0 368 0 184 0 080 0
, , , ,
, , ,
, ,
, , , ,

368 0 368 0 184 0 080 0
0 368 0 368 0 264 0
0 0 368 0 632 0
368 0 368 0 184 0 080 0
, , , ,
, , ,
, ,
, , , ,

165 , 0 300 , 0 286 , 0 249 , 0
097 , 0 233 , 0 319 , 0 351 , 0
233 , 0 233 , 0 252 , 0 283 , 0
165 , 0 300 , 0 286 , 0 249 , 0
22
EQUAÇÕES DE CHAPMAN-KOLMOGOROV
Probabilidades não condicionais? P{X
n
= j} ¬ 
(n)

(0)
= [0 0 0 1] X
0
= 3

(1)
= 
(0)
P = [0 0 0 1]

(1)
= [0,080 0,184 0,368 0,368]

368 0 368 0 184 0 080 0
0 368 0 368 0 264 0
0 0 368 0 632 0
368 0 368 0 184 0 080 0
, , , ,
, , ,
, ,
, , , ,
) (n
ij
p
probabilidades condicionais
distribuição de probabilidade do estado inicial: 
(0)

(0)
= P{X
0
= i} para i = 0, 1, 2, .
23
PROCESSO MARKOVIANO – Exemplo 3 – uso da terra
O estado no ano de 1997 da ocupação da terra em uma cidade de 70 quilômetros
quadrados de área é:
Estado da ocupação da terra
I Uso residencial 30%
II Uso comercial 20%
III Uso industrial 50%

Vetor de probabilidade de estado t = [0,30 0,20 0,50]
Probabilidades de transição para
intervalos de 3 anos
0,9 0,1 0 III
0,2 0,7 0,1 II
0,1 0,1 0,8 I
III II I
Probabilidades de Transição

=
9 , 0 1 , 0 0 , 0
2 , 0 7 , 0 1 , 0
1 , 0 1 , 0 8 , 0
P
t
(1)
= t
(0)
P = [0,30 0,20 0,50]

9 , 0 1 , 0 0 , 0
2 , 0 7 , 0 1 , 0
1 , 0 1 , 0 8 , 0
= [0,26 0,22 0,52]
Prob. estado t para 2000
24
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Acessível
Estado j é dito ser acessível a partir do estado i, se
> 0, para algum n > 0
) (n
ij
p
é possível para o sistema entrar no estado j
(eventualmente) quando ele começa no estado i
Exemplo 4:
) 2 (
ij
p

165 , 0 300 , 0 286 , 0 249 , 0
097 , 0 233 , 0 319 , 0 351 , 0
233 , 0 233 , 0 252 , 0 283 , 0
165 , 0 300 , 0 286 , 0 249 , 0
=
Probabilidades de transição ¬papel importante no estudo das Cadeias de
Markov
Propriedades das Cadeias de Markov ¬conceitos e definições sobre os estados
estado todo de partir a acessível é estado todo , e todo para 0,
) 2 (
j i p
ij
>
25
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Comunicante Estado j é acessível do estado i, e o estado i
é acessível do estado j ¬estados i e j são
comunicantes
 qualquer estado se comunica com ele mesmo
 se o estado i se comunica com o estado j, então o estado j se
comunica com o estado i
 se um estado i se comunica com um estado k e o estado k se
comunica com um estado j, então o estado i se comunica com o
estado j
Equações de Chapman-Kolmogorov
26
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Todos estados comunicantes
Cadeia de Markov Irredutível
mesma classe Dois estados que se comunicam
única classe
cadeia de Markov do exemplo da loja de câmeras
Considerando as três propriedades de comunicação
espaço de estados pode ser particionado em
classes disjuntas
Exemplo 2 do jogador: 3 classes
estado 0: uma classe
estado 3: uma classe
estados 1 e 2: uma classe

÷
÷
1 0 0 0
0 1 0
0 0 1
0 0 0 1
p p
p p
27
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
f
ii
¬probabilidade que o processo irá retornar ao estado i,
dado que ele iniciou no estado i
Entrando neste estado, o processo definitivamente irá
retornar para este estado
É recorrente se não é transiente
Recorrente
Entrando neste estado, o processo pode nunca retornar
novamente para este estado
Transiente
Estado i é transiente se e somente se existe um estado j (j = i)
que é alcançável a partir do estado i, mas não vice-versa
Exemplo: P
(2)
28
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Todos os estados em uma classe
Recorrente
Entrando neste estado, o processo nunca irá deixar
este estado
Absorvente
p
ii
= 1; caso especial de estado recorrente
Transiente
Cadeia de Markov de estados finitos irredutível
todos os estados são recorrentes
Todos os estados do processo se comunicam
{
Cadeia de Markov Irredutível
ou
29
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Estado i ¬retorno a este estado é possível somente em t, 2t, ...
Aperiódico
Propriedades de periodicidade
Período do estado i
existem dois números consecutivos s e s+1 tal que o
processo pode estar no estado i nos tempos s e s+1
período 1
inteiro t (t >1) tal que = 0 para todos os valores de n com exceção
de t, 2t, 3t, ... e t é o maior inteiro com esta propriedade
) (n
ii
p
Exemplo 2 do jogador: iniciando no estado 1 é possível retornar a este
estado somente nos tempos 2, 4, . ¬período 2
aperiódico
Se o estado i em uma classe tem período t, então todos os estados nesta classe
têm período t
período do estado 2 = 2 (estado 2 está na mesma classe que o estado 1)
30
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV
Cadeia de Markov de estado finito, estados recorrentes que são
aperiódicos ¬estados ergódicos
Cadeia de Markov ergódica ¬todos os
estados são recorrentes e aperiódicos
Cadeia de Markov Ergódica
31
CLASSIFICAÇÃO DOS ESTADOS
Estado Transiente Um eventual retorno a este estado não é garantido
Estado Recorrente Entrando neste estado, um eventual retorno é garantido
Estado Absorvente Entrando neste estado, nunca mais o deixará
Estado Periódico Pode ser alcançado nos tempos t, 2t, 3t, .(t > 1)
Estado Ergódico Estado recorrente e aperiódico
Cadeia Ergódica Todos os estados são recorrentes e aperiódicos
Cadeia Irredutível Todos os estados são comunicantes
32
CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV
Estado Acessível
Exemplo 2 do jogador: Um jogador tem $1,00 e cada vez que joga ganha $1,00
com probabilidade p>0 ou perde $1,00 com probabilidade 1 – p. O jogo termina
quando o jogador acumula $3,00 ou $0,00. Este jogo é uma Cadeia de Markov
cujos estados representam a quantia esperada de dinheiro que o jogador possui a
cada vez que joga. O espaço de estados é E = {0 1 2 3} e a matriz de transição
P é dada por:

÷
÷
=
1 0 0 0
p 0 p 1 0
0 p 0 p 1
0 0 0 1
P
p: ganha $1,00
1 – p: perde $1,00
Estado 2 não é acessível a partir do estado 3 ¬ 0
) (
32
=
n
p
Estado 3 é acessível a partir do estado 2 ¬ 0
) 1 (
23
> p
Estados Comunicantes
Estados 2 e 3 do exemplo acima não são comunicantes
33
CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV
Cadeia de Markov Irredutível
Todos os estados são comunicantes ¬exemplo 1 do estoque da loja de
câmeras

165 , 0 300 , 0 286 , 0 249 , 0
097 , 0 233 , 0 319 , 0 351 , 0
233 , 0 233 , 0 252 , 0 283 , 0
165 , 0 300 , 0 286 , 0 249 , 0
P
(2)
=
34
CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV
Estado 3 é transiente ¬se o processo está no estado 3 existe uma probabilidade
positiva que ele nunca irá retornar para este estado.
Estados Recorrentes e Transientes – Exemplo 4

=
0 0 0 0 1
0 3 / 2 3 / 1 0 0
0 0 1 0 0
0 0 0 2 / 1 2 / 1
0 0 0 4 / 3 4 / 1
P
Estado 4 é transiente ¬se o processo começa neste estado imediatamente o
processo o deixa e nunca mais vai retornar para ele.
Estados 0 e 1 são recorrentes ¬se o processo começar no estado 0 ou 1,
nunca mais deixará esses estados. Sai do estado 0 e eventualmente vai
para o estado 1 e vice-versa.
Estados 2 é absorvente ¬uma vez que o processo entra no estado 2, nunca
mais o deixará.
35
CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV
Estado Periódico
Exemplo 2 – jogador: Um jogador tem $1,00 e cada vez que joga ganha $1,00
com probabilidade p>0 ou perde $1,00 com probabilidade 1 – p. O jogo termina
quando o jogador acumula $3,00 ou $0,00. Este jogo é uma Cadeia de Markov
cujos estados representam a quantia esperada de dinheiro que o jogador possui a
cada vez que joga. O espaço de estados é E = {0 1 2 3} e a matriz de transição
P é dada por:

÷
÷
=
1 0 0 0
0 1 0
0 0 1
0 0 0 1
p p
p p
P
p: ganha $1,00
1 – p: perde $1,00
O estado 1 possui período t = 2 ¬começando no estado 1, é possível para o
processo entrar no estado 1 somente nos tempo 2, 4, 6, ...
0
) (
11
=
n
p para n ímpar
36
TEMPO DE PRIMEIRA PASSAGEM
: probabilidades de transição em n passos ¬ dado que o processo está
no estado i determinar a probabilidade (condicional) que o processo estará
no estado j após n passos
Frequentemente se quer saber sobre o número de transições feitas pelo
processo para ir do estado i para o estado j pela primeira vez
comprimento de tempo ¬Tempo de Primeira Passagem
para ir do estado i para o estado j
Se j = i Tempo de Primeira Passagem
número de transições para o processo retornar
ao estado inicial i
Tempo de Recorrência para o estado i
) (n
ij
p
37
TEMPO DE PRIMEIRA PASSAGEM
Exemplo 1 do estoque de câmeras
X
0
= 3 X
1
= 2 X
2
= 1 X
3
= 0 X
4
= 3 X
5
= 1
Tempo de primeira passagem a partir do estado 3 para o estado 1: 2 semanas
Tempo de primeira passagem a partir do estado 3 para o estado 0: 3 semanas
Tempo de recorrência para o estado 3 : 4 semanas
Suponha o seguinte estado do estoque para as seis primeiras semanas
38
TEMPO DE PRIMEIRA PASSAGEM
Em geral os tempos de primeira passagem
variáveis aleatórias
probabilidade que o tempo de primeira passagem do estado i
para j seja n
distribuição de probabilidade
depende das probabilidades de transição do processo
) (n
ij
f
jj ij ij ij
p f p f
) 1 ( ) 2 ( ) 2 (
÷ =
ij ij ij
p p f = =
) 1 ( ) 1 (
probabilidade do tempo de primeira passagem do
estado i para o estado j em n passos
recursivamente
probabilidades de transição
em um passo

jj
n-
ij
n
ij
n
ij
n
ij
n
ij
p f p f p f p f
jj jj
) 1 ( ) 2 ( (2) ) 1 ( ) 1 ( ) ( ) (
÷ ÷ ÷ =
÷ ÷

39
TEMPO DE PRIMEIRA PASSAGEM
Exemplo 1 do estoque da loja de câmeras
distribuição de probabilidade do tempo de primeira passagem
de ir do estado 3 para o estado 0
Dados i e j
00
) 1 (
30
) 2 (
30
) 2 (
30
p f p f ÷ =
080 0
30
) 1 (
30
, p f = =
1
1
) (
s
¯
·
= n
n
ij
f
1 Se
1
) (
<
¯
·
= n
n
ij
f
processo inicialmente no estado i pode nunca alcançar
o estado j
1 Se
1
) (
=
¯
·
= n
n
ij
f
distribuição de probabilidade para a variável aleatória
tempo de primeira passagem
0,243 ) 080 0 )( 080 0 ( 249 0
) 2 (
30
= ÷ = , , , f

368 0 368 0 184 0 080 0
0 368 0 368 0 264 0
0 0 368 0 632 0
368 0 368 0 184 0 080 0
, , , ,
, , ,
, ,
, , , ,
P =

165 , 0 300 , 0 286 , 0 249 , 0
097 , 0 233 , 0 319 , 0 351 , 0
233 , 0 233 , 0 252 , 0 283 , 0
165 , 0 300 , 0 286 , 0 249 , 0
P
(2)
=
40
TEMPO DE PRIMEIRA PASSAGEM
Tempo de Primeira Passagem Esperado do estado i para o estado j, u
ij
kj
j k
ik ij
p  
¯
=
+ =1
¦
¦
¹
¦
¦
´
¦
=
< ·
=
¯ ¯
¯
·
=
·
=
·
=
1 se
1 se
1
) (
1
) (
1
) (
n
n
ij
n
n
ij
n
n
ij
ij
f nf
f

1
1
) (
=
¯
·
= n
n
ij
f 
ij
unicamente satisfaz a equação Sempre que
Embora calcular para todo n possa ser difícil, é relativamente simples
obter o tempo de primeira passagem esperado do estado i para o estado j
) (n
ij
f
Se i = j 
ii
, Tempo de Recorrência Esperado para o estado i
41
TEMPO DE PRIMEIRA PASSAGEM
Exemplo 1 da loja de câmeras: as equações podem ser utilizadas para
calcular o tempo esperado até que o estoque esteja vazio, assumindo que o
processo inicia com 3 câmeras, u
30
30 13 20 12 10 11 10
30 23 20 22 10 21 20
30 33 20 32 10 31 30
1
1
1
   
   
   
p p p
p p p
p p p
+ + + =
+ + + =
+ + + =
10 10
20 10 20
30 20 10 30
368 0 1
368 0 368 0 1
368 0 368 0 184 0 1
 
  
   
,
, ,
, , ,
+ =
+ + =
+ + + =

10
= 1,58 semanas

20
= 2,51 semanas

30
= 3,50 semanas
O tempo esperado até que a loja esteja com estoque vazio é
3,5 semanas

368 0 368 0 184 0 080 0
0 368 0 368 0 264 0
0 0 368 0 632 0
368 0 368 0 184 0 080 0
, , , ,
, , ,
, ,
, , , ,
P =
42
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
Probabilidades de Equilíbrio
n = 1 ¬ P
(1)
=

368 0 368 0 184 0 080 0
0 368 0 368 0 264 0
0 0 368 0 632 0
368 0 368 0 184 0 080 0
, , , ,
, , ,
, ,
, , , ,
n = 2 ¬ P
(2)
=

165 , 0 300 , 0 286 , 0 249 , 0
097 , 0 233 , 0 319 , 0 351 , 0
233 , 0 233 , 0 252 , 0 283 , 0
165 , 0 300 , 0 286 , 0 249 , 0

166 0 264 0 285 0 286 0
166 0 264 0 285 0 286 0
166 0 264 0 285 0 286 0
166 0 264 0 285 0 286 0
, , , ,
, , , ,
, , , ,
, , , ,
n = 8 ¬ P
(8)
= n = 4 ¬ P
(4)
=

164 0 261 0 286 0 289 0
171 0 263 0 283 0 284 0
166 0 268 0 285 0 282 0
164 0 261 0 286 0 289 0
, , , ,
, , , ,
, , , ,
, , , ,
43

= · = =
166 0 264 0 285 0 286 0
166 0 264 0 285 0 286 0
166 0 264 0 285 0 286 0
166 0 264 0 285 0 286 0
4 4 8 ) 8 (
, , , ,
, , , ,
, , , ,
, , , ,
P P P P
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
Cada uma das quatro linhas têm as mesmas entradas
probabilidade de estar no estado j após 8 semanas é
independente do estado inicial do estoque
Parece existir uma probabilidade limite que o sistema estará no estado j
após um grande número de transições, e esta probabilidade é
independente do estado inicial
44

j
unicamente satisfaz as equações de estado de equilíbrio abaixo
M j p
M
i
ij i j
, 0,1, para
0
 = =
¯
=
 
¯
=
=
M
j
j
0
1 

j
¬probabilidades de estado de equilíbrio ou estacionária da Cadeia de
Markov
Para qualquer Cadeia de Markov ergódica e irredutível
0 lim > =
· ÷
j
) n (
ij
n
p 
) (
lim
n
ij
n
p
· ÷
existe e é independente de i
Além disso,
M j
jj
j
, 0,1, para
1
 = =


Tempo de Recorrência Esperado
M+2 equações
M+1 variáveis
uma equação
redundante
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
45
 Probabilidade de encontrar o processo em algum estado (j) após um grande
número de transições, tende ao valor 
j
, independente da distribuição de
probabilidade inicial definida sobre os estados
Probabilidades de equilíbrio:
 Não implica que o processo fica parado em um estado. Pelo contrário, o
processo continua a fazer transições de estado para estado, e em algum passo n a
probabilidade de transição do estado i para o estado j é ainda p
ij
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
46
Exemplo 1 da loja de câmeras
¦
¦
¦
¹
¦
¦
¦
´
¦
+ + + =
+ + + =
+ + + =
+ + + =
+ + + =
3 2 1 0
33 3 23 2 13 1 03 0 3
32 3 22 2 12 1 02 0 2
31 3 21 2 11 1 01 0 1
30 3 20 2 10 1 00 0 0
1    
    
    
    
    
p p p p
p p p p
p p p p
p p p p
¦
¦
¦
¹
¦
¦
¦
´
¦
+ + + =
+ + + =
+ + + =
+ + + =
+ + + + =
3 2 1 0
3 2 1 0 3
3 2 1 0 2
3 2 1 0 1
3 2 1 0 0
1
368 0 0 0 368 0
368 0 368 0 0 368 0
184 0 368 0 368 0 184 0
080 0 264 0 632 0 080 0
   
    
    
    
    
, ,
, , ,
, , , ,
, , , ,
 = [
0

1

2

3
] = [0,286 0,285 0,264 0,166]
Após várias semanas a probabilidade de encontrar 0, 1 ,2 e 3 câmeras em
estoque tende a 0,286, 0,285, 0,264 e 0,166, respectivamente
semanas 3,50
1
0
00
= =


semanas 3,80
1
2
22
= =


semanas 6,02
1
3
33
= =

 semanas 3,51
1
1
11
= =


Tempo de recorrência esperado para a loja de câmeras
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
47
i e j ¬estados recorrentes pertencentes a classes diferentes
n , p
) n (
ij
todo para 0 =
j ¬estado transiente
i , p
) n (
ij
n
todo para 0 lim =
· ÷
probabilidade de encontrar o processo em um estado
transiente após um grande número de transições tende a zero
P
(·)
=
=

=

·
·
·
·
3 2 1 0
3 2 1 0
3 2 1 0
3 2 1 0
   
   
   
   




) (
) (
) (
) (

166 0 264 0 285 0 286 0
166 0 264 0 285 0 286 0
166 0 264 0 285 0 286 0
166 0 264 0 285 0 286 0
, , , ,
, , , ,
, , , ,
, , , ,
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV
48
CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO
Cadeia de Markov ergódica
recorrentes aperiódicos
) (
lim
n
ij
n
p
· ÷
pode não existir
Exemplo 5: considere P
P =

0 1
1 0
se o processo começa no estado 0 no tempo 0
estará no estado 0 nos tempos 2, 4, 6, .
estará no estado 1 nos tempos 1, 3, 5, .
1
) (
00
=
n
p se n é par
0
) (
00
=
n
p se n é ímpar
) (
00
lim
n
n
p
· ÷
não existe
49
CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO
importante para calcular custo médio a longo período por unidade de tempo
processo está no estado X
t
no instante t, para t = 0,1,2, .
Custo, C(X
t
) ¬função do estado da Cadeia de Markov
j
n
k
) k (
ij
n
p
n
 =
|
|
.
|

\
|
¯
=
· ÷
1
1
lim mas sempre existe
Cadeia de Markov irredutível
C(X
t
) ¬variável aleatória: C(0), C(1), ., C(M)
C(-) ¬independente de t
Custo médio esperado para os
n primeiros períodos
) (
0
j C
M
j
j ¯
=
= 
custo médio esperado por
unidade de tempo
50
CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO
Exemplo 1 do estoque da loja de câmeras: função de custo
) j ( C ) X ( C
n
E lim
M
j
j
n
t
t
n
¯ ¯
= =
· ÷
=

0 1
1

custo médio esperado do estoque
por semana
se X
t
= 0
¦
¦
¹
¦
¦
´
¦
=
18
8
2
0
) (
t
X C
se X
t
= 1
se X
t
= 2
se X
t
= 3 = 0,286(0) + 0,285(2) + 0,263(8) + 0,166(18) = 5,67
51
REFERÊNCIA
HILLIER, F. S.; LIEBERMAN, G. J. Introdução à pesquisa
operacional. 8 ed. São Paulo: McGraw-Hill, 2006.

PROCESSOS ESTOCÁSTICOS

Problemas de tomada de decisão → tomada de decisão baseada em fenômenos que possuem incerteza associada a eles. Causas da incerteza: inconsistência do fenômeno natural ou fontes de variação que estão fora de controle. Objetivo: tratar a variabilidade quantitativamente, incorporando-a a um modelo matemático. Modelos probabilísticos para processos que evoluem com o tempo de uma maneira probabilística: foco em cadeias de Markov.

2

PROCESSOS ESTOCÁSTICOS

Um processo estocástico é definido como uma coleção indexada de variáveis aleatórias, Xt, no qual o índice t varia em um dado conjunto T {Xt, t  T}. Em geral, T corresponde ao conjunto dos inteiros não negativos e Xt representa uma característica de interesse que pode ser medida no instante t.

Exemplos:

 níveis de estoques mensais de um produto.

X1, X2, X3, ...  demanda mensal para um produto.  número de programas na fila para serem processados por hora.

3

PROCESSOS ESTOCÁSTICOS

Observar o comportamento de um sistema operando por algum período de tempo frequentemente leva à análise de um processo estocástico Instantes de tempo: 0, 1, 2, sistema: categoria ou estado igualmente espaçados ou não número finito de estados mutuamente excludentes 0, 1, ..., M

caracterização dos M + 1 estados do processo

Representação matemática do sistema físico Processo estocástico {Xt}, no qual as variáveis aleatórias são observadas em t = 0, 1, ... e no qual cada variável aleatória pode assumir um dos M+1 inteiros 0, 1, ..., M

4

PROCESSOS ESTOCÁSTICOS

Classificação
Discreto  Xt: enumerável ou finito

Estado
Discreto  T: finito ou enumerável

Contínuo  Xt: caso contrário

Tempo

Contínuo  T: caso contrário

Exemplos:
Estado discreto e tempo contínuo: número de pessoas em um supermercado em um determinado instante. Estado contínuo e tempo discreto: perda associada ao corte de padrões de corte diária. Estado discreto e tempo discreto: número de peças vendidas por dia.

5

CADEIAS DE MARKOV Diz-se que um processo estocástico Xt tem a propriedade Markoviana se: P(Xt+1 = j | X0 = k0. Xt = i) = P(Xt+1 = j | Xt = i) para todo t = 0. k0. no instante t 6 .. k1.. kt-1 a probabilidade condicional de qualquer evento futuro dado qualquer evento passado e o estado presente Xt = i é independente do evento passado e depende somente do estado presente P(Xt+1 = j | Xt = i) Probabilidades de Transição probabilidade do estado do sistema ser j no instante t+1 dado que o estado é i. Xt-1 = kt-1..... . .. j. 1. e toda seqüência i. X1 = k1. .

2.. . probabilidades de transição em n passos. 1. probabilidades de transição (em um passo) são chamadas estacionárias.. 2.CADEIAS DE MARKOV Se para cada i e j. estará no estado j após n passos (unidades de tempo) 7 . (n pij ) probabilidade condicional que a variável aleatória X iniciando no estado i... 2. j e n (n = 0. P(Xt+1 = j | Xt = i) = P(X1 = j | X0 = i) para todo t = 0. 1..) P(Xt+n = j | Xt = i) = P(Xn = j | X0 = i). geralmente denotadas por pij Probabilidade de transição estacionárias probabilidade de transição não mudam com o tempo Probabilidades de transição estacionárias (em um passo) implica que para cada i. . t = 0.. 1.

. n = 0.. M p j 0 (n) ij 1 (0) para n = 0. pij é a probabilidade de transição (em um passo) 8 . . 2. n = 0.CADEIAS DE MARKOV (n pij ) probabilidades condicionais: devem ser não negativas e o processo deve fazer uma transição para algum estado ( pijn )  0 para todo i e j. pij é exatamente P{X0 = j / X0 = i} que é 1 se i = j e 0 se i  j (1) para n = 1. 1. 1. 2. .. para todo i..

..2..) é uma Cadeia de Markov se tiver a propriedade Markoviana Considere  número finito de estados  probabilidades de transição estacionárias Cadeia de Markov Assumido: um conjunto de probabilidades iniciais P(X0= i) para todo i 9 .CADEIAS DE MARKOV Notação  Probabilidades de transição Estados 0 1  M 0 (n p00) 1  ( p0n ) M M  (n pM ) 0 (n ) p MM P(n) = (n (  p00)  p0n )  M      p (n)  p ( n)  MM   M0  n = 1  Matriz de Transição Matriz de Transição em n passos Um processo estocástico {Xt} (t=0.1.

0 ≤ pij ≤1 .CADEIAS DE MARKOV Matriz de Transição ou Estocástica .Os elementos da matriz são probabilidades.A soma dos elementos de uma linha deve ser igual a 1 10 .É quadrada . isto é.

.a.PROCESSOS ESTOCÁSTICOS Exemplo 1: estoque de uma loja de câmeras Uma loja de câmeras estoca um modelo particular de câmera que pode ser pedida semanalmente D1.i. . quando a loja é aberta. : demanda para a filmadora durante a primeira semana. distribuição de probabilidade conhecida X0 = número de câmeras disponíveis no início X1 = número de câmeras disponíveis no final da primeira semana X2 = número de câmeras disponíveis no final da segunda semana Assuma que X0 = 3. Sábado à noite a loja faz um pedido que será entregue em tempo na segunda-feira. D2. segunda semana...... 11 . respectivamente Di: v.d.i. .

1. 3 que representam o número de câmeras disponíveis no final da semana Xt+1 = max {3 – Dt+1. 2. 1.0} se Xt < 1 t = 0.. 1.. ..0} se Xt  1 12 . max {Xt – Dt+1. é um Processo Estocástico Possíveis estados do processo: 0.2.. 2. a loja pede S = 3  Caso contrário a loja não faz pedido  Se demanda > estoque: vendas são perdidas {Xt} para t = 0..PROCESSOS ESTOCÁSTICOS A loja utiliza a política de encomenda (s. S)  Se o número de câmeras no final da semana for menor que s = 1 (nenhuma câmera em estoque).

Xt: número de câmeras em estoque no final da semana t (antes que um pedido seja recebido).CADEIAS DE MARKOV Exemplo 1 da loja de câmeras {Xt}. é uma Cadeia de Markov  p00 p 10 P=   p20   p30 p01 p11 p21 p31 p02 p12 p22 p32 p03  p13   p23   p33  Dt  demanda durante a semana t Distribuição de Poisson com parâmetro  = 1 13 .

0} se Xt  1 Para obter p00 é necessário avaliar P(Xt = 0 | Xt-1 = 0) Se Xt-1 = 0.0803 probabilidade que uma variável aleatória do tipo Poisson com parâmetro =1 assuma o valor de 3 ou mais 14 .CADEIAS DE MARKOV Xt+1 = max {3 – Dt+1.0} se Xt < 1 max {Xt – Dt+1.9197= 0. 0} Se Xt = 0. então a demanda durante a semana é 3 ou mais Desta forma: p00 = P(Dt  3) = 1 – P(Dt  2) =  e 1 10 e 1 11 e 1 12    1   0! 1! 2!   = 1 – 0. então Xt = max {3 – Dt.

0}.3678 1 1 1! 15 . então Xt = max {1 – Dt. Para que Xt = 1. então Xt = max {2 – Dt.CADEIAS DE MARKOV p10 = P(Xt = 0 | Xt-1 = 1) Se Xt-1 = 1. a demanda durante a semana tem que ser 1 ou mais Desta forma: e 1 10 p10 = P(Dt  1) = 1 – P(Dt = 0) = 1  = 0. logo: p21 = P(Dt=1) = e 1 = 0.6321 0! p21 = P(Xt = 1 | Xt-1 = 2) Se Xt-1 = 2.0} Para que Xt = 0. a demanda durante a semana tem que ser exatamente igual a .

632 0 .080 0 .264 0 .368 0 .080 0 .368 0    0 .. P= 0 ..368  16 .184 0 .368  0 .368 0 0    0 .CADEIAS DE MARKOV Continuando.184 0 .368 0 .368 0 .

O espaço de estados é E = {0 1 2 3} e a matriz de transição P é dada por: 0  1  1 p 0 P=   0 1 p  0  0 0 p 0 0 0  0 p  1 17 .00 com probabilidade 1 – p.00 e cada vez que joga ganha $1. Este jogo é uma Cadeia de Markov cujos estados representam a quantia esperada de dinheiro que o jogador possui a cada vez que joga.00 com probabilidade p > 0 ou perde $1.00 ou $0. O jogo termina quando o jogador acumula $3.CADEIAS DE MARKOV Exemplo 2: jogador Um jogador tem $1.00.

ik p kj para todo i. então para o estado j em n-v passos (n ) Soma das probabilidades condicionais para todo k  pij 18 . começando no estado i. o processo vá para o estado k depois de v passos e. n e 0  v  n (v (n pik ) pkj v ) quando se vai do estado i para o estado j em n passos. pij úteis quando o processo está no estado i é desejada a probabilidade de que o processo estará no estado j depois de n passos Equações de Chapman-Kolmogorov método para calcular probabilidades de transição em n passos ( pijn ) M (n )  k 0 p (v ) ( n v ) .EQUAÇÕES DE CHAPMAN-KOLMOGOROV Probabilidades de transição em n passos. j . o processo estará em algum estado k depois de exatamente v (menor que n) passos probabilidade condicional de que.

j.EQUAÇÕES DE CHAPMAN-KOLMOGOROV Casos especiais v=1 ( pijn) (  pik pkjn1) M  k 0 para todo i. n k 0 n  pik1 pkj M v=n–1 ( pijn)  Probabilidades de transição em n passos Probabilidades de transição em um passo 19 .

j probabilidades de transição em um passo P(2) = PP = P2 P(2) Generalizando P(n) = P  P    P = Pn = PPn-1 = Pn-1P P(n) = Pn A matriz probabilidade de transição em n passos pode ser obtida calculando-se a n-ésima potência da matriz de transição em um passo 20 . para todo i.EQUAÇÕES DE CHAPMAN-KOLMOGOROV n=2 ( pij2) M  ik k 0 p pkj .

300 0.368  0 .368  0 .368 0 0    0 .368  0 .097   0.368 0    0 .632 0 .184 0 . é de 0.184 0 .368 0    0 .233 0.184 0 .080 0 .165  (2 p10 ) = 0.233  0.368 0 0    0 .252 0.368  = 0.368 0 .351  0.632 0 . a probabilidade de que não haverá câmera em estoque duas semanas depois.368 0 .080 0 .286 0.080 0 .EQUAÇÕES DE CHAPMAN-KOLMOGOROV Exemplo 1 da loja de câmeras P(2) = P2 = 0 .184 0 .368 0 .368 0 .368 0 .283   0.283 21 .319 0.249  0.249 0.283  dado que existe uma câmera em estoque no final da semana.233 0.264 0 .080 0 .286 0.165  0.300 0.368 0 .264 0 .

 (0) = [0 0 0 1] (1) = (0) P = [0 0 0 1] X0 = 3 0 .368] 22 .080 0.368 0 . 1.368 0 0    0 . 2.264 0 .184 0 .EQUAÇÕES DE CHAPMAN-KOLMOGOROV (n pij ) probabilidades condicionais Probabilidades não condicionais? P{Xn = j}  (n) distribuição de probabilidade do estado inicial: (0) (0) = P{X0 = i} para i = 0.368 0 .368  0 .184 0 .368 0.368 0 .080 0 .184 0.632 0 .368 0    0 .368  (1) = [0.080 0 .

9    Prob.0 0.1 0.26 0.30 0.0 0. estado  para 2000 23 .8 0.1 0.20 0.1 0 II 0.8 0.9 (1) = (0) P = [0.2   0.50] 0.9     = [0.2 0.1 0.1 = [0.7 0.7 0.1 0.1 0.50] Probabilidades de Transição I I II III 0.2   0.52]  0.1 0.22 0.1  P   0.30 0.7 0.PROCESSO MARKOVIANO – Exemplo 3 – uso da terra O estado no ano de 1997 da ocupação da terra em uma cidade de 70 quilômetros quadrados de área é: I II III Estado da ocupação da terra Uso residencial 30% Uso comercial 20% Uso industrial 50% Vetor de probabilidade de estado Probabilidades de transição para intervalos de 3 anos  0.1 0.20 0.8 0.1 III 0.1 0.

351 0.097    0.249 0.286 0.233 0.249 0.252 0. todo estado é acessível a partir de todo estado 24 . para todo i e j .233 0.CLASSIFICAÇÃO DOS ESTADOS DE UMA CADEIA DE MARKOV Probabilidades de transição  papel importante no estudo das Cadeias de Markov Propriedades das Cadeias de Markov  conceitos e definições sobre os estados Acessível Estado j é dito ser acessível a partir do estado i.233  0. se (n pij ) > 0. para algum n > 0 é possível para o sistema entrar no estado j (eventualmente) quando ele começa no estado i ( pij2) 0.300 0.165  =   Exemplo 4: 0.300 0.286 0.165  ( pij2)  0.283 0.319 0.

e o estado i é acessível do estado j  estados i e j são comunicantes  qualquer estado se comunica com ele mesmo  se o estado i se comunica com o estado j. então o estado j se comunica com o estado i  se um estado i se comunica com um estado k e o estado k se comunica com um estado j. então o estado i se comunica com o estado j Equações de Chapman-Kolmogorov 25 .CLASSIFICAÇÃO DOS ESTADOS DE UMA CADEIA DE MARKOV Comunicante Estado j é acessível do estado i.

CLASSIFICAÇÃO DOS ESTADOS DE UMA CADEIA DE MARKOV Considerando as três propriedades de comunicação espaço de estados pode ser particionado em classes disjuntas Dois estados que se comunicam mesma classe única classe Todos estados comunicantes Cadeia de Markov Irredutível cadeia de Markov do exemplo da loja de câmeras Exemplo 2 do jogador: 3 classes estado 0: uma classe estado 3: uma classe estados 1 e 2: uma classe 0  1  0 1  p  0 1 p  0  0 0 p 0 0 0  0 p  1 26 .

dado que ele iniciou no estado i Transiente Entrando neste estado.CLASSIFICAÇÃO DOS ESTADOS DE UMA CADEIA DE MARKOV fii  probabilidade que o processo irá retornar ao estado i. o processo pode nunca retornar novamente para este estado Estado i é transiente se e somente se existe um estado j (j i) que é alcançável a partir do estado i. mas não vice-versa Entrando neste estado. o processo definitivamente irá retornar para este estado Recorrente É recorrente se não é transiente Exemplo: P(2) 27 .

CLASSIFICAÇÃO DOS ESTADOS DE UMA CADEIA DE MARKOV Entrando neste estado. o processo nunca irá deixar este estado Absorvente pii = 1. caso especial de estado recorrente Todos os estados em uma classe Recorrente ou Transiente  Cadeia de Markov de estados finitos irredutível todos os estados são recorrentes Todos os estados do processo se comunicam Cadeia de Markov Irredutível 28 .

Exemplo 2 do jogador: iniciando no estado 1 é possível retornar a este estado somente nos tempos 2. 2t. .CLASSIFICAÇÃO DOS ESTADOS DE UMA CADEIA DE MARKOV Propriedades de periodicidade Período do estado i inteiro t (t >1) tal que pii = 0 para todos os valores de n com exceção de t. . 3t. 2t... 4. e t é o maior inteiro com esta propriedade Estado i  retorno a este estado é possível somente em t.   período 2 existem dois números consecutivos s e s+1 tal que o processo pode estar no estado i nos tempos s e s+1 período 1 aperiódico Se o estado i em uma classe tem período t... então todos os estados nesta classe têm período t período do estado 2 = 2 (estado 2 está na mesma classe que o estado 1) (n ) Aperiódico 29 .

CLASSIFICAÇÃO DOS ESTADOS DE UMA CADEIA DE MARKOV Cadeia de Markov Ergódica Cadeia de Markov de estado finito. estados recorrentes que são aperiódicos  estados ergódicos Cadeia de Markov ergódica  todos os estados são recorrentes e aperiódicos 30 .

CLASSIFICAÇÃO DOS ESTADOS Um eventual retorno a este estado não é garantido Estado Transiente Estado Recorrente Entrando neste estado. 2t. nunca mais o deixará Pode ser alcançado nos tempos t. 3t. (t > 1) Estado Periódico Estado recorrente e aperiódico Estado Ergódico Todos os estados são recorrentes e aperiódicos Cadeia Ergódica Cadeia Irredutível Todos os estados são comunicantes 31 . um eventual retorno é garantido Estado Absorvente Entrando neste estado.

00.00 1 – p: perde $1.00 ou $0. O espaço de estados é E = {0 1 2 3} e a matriz de transição P é dada por: 0  1 1  p 0 P  0 1 p  0  0 0 0 p 0  0 p  0 1 p: ganha $1.00 com probabilidade p>0 ou perde $1.00 com probabilidade 1 – p.CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV Estado Acessível Exemplo 2 do jogador: Um jogador tem $1. O jogo termina quando o jogador acumula $3. Este jogo é uma Cadeia de Markov cujos estados representam a quantia esperada de dinheiro que o jogador possui a cada vez que joga.00 (n) Estado 2 não é acessível a partir do estado 3  p32  0 Estado 3 é acessível a partir do estado 2  p 23  0 (1) Estados Comunicantes Estados 2 e 3 do exemplo acima não são comunicantes 32 .00 e cada vez que joga ganha $1.

319 0.233 0.252 0.300 0.286 0.286 0.351  0.165  33 .097  0.249 0.233  0.249 P(2) = 0.283   0.300 0.CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV Cadeia de Markov Irredutível Todos os estados são comunicantes  exemplo 1 do estoque da loja de câmeras 0.165  0.233 0.

Estados 2 é absorvente  uma vez que o processo entra no estado 2. nunca mais deixará esses estados. Estado 4 é transiente  se o processo começa neste estado imediatamente o processo o deixa e nunca mais vai retornar para ele.CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV Estados Recorrentes e Transientes – Exemplo 4 0 1 / 4 3 / 4 0 1 / 2 1 / 2 0 0  P 0 0 1 0  0 1/ 3 2 / 3  0  1 0 0 0  0 0  0  0 0  Estado 3 é transiente  se o processo está no estado 3 existe uma probabilidade positiva que ele nunca irá retornar para este estado. Sai do estado 0 e eventualmente vai para o estado 1 e vice-versa. nunca mais o deixará. 34 . Estados 0 e 1 são recorrentes  se o processo começar no estado 0 ou 1.

00 O estado 1 possui período t = 2  começando no estado 1. . O jogo termina quando o jogador acumula $3..00. O espaço de estados é E = {0 1 2 3} e a matriz de transição P é dada por: 0  1 1  p 0 P  0 1 p  0  0 0 p 0 0 0 0  p  1 p: ganha $1.00 1 – p: perde $1.CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV Estado Periódico Exemplo 2 – jogador: Um jogador tem $1.00 com probabilidade p>0 ou perde $1. 6. Este jogo é uma Cadeia de Markov cujos estados representam a quantia esperada de dinheiro que o jogador possui a cada vez que joga. (n p11 )  0 para n ímpar 35 .00 ou $0. 4.00 com probabilidade 1 – p.00 e cada vez que joga ganha $1.. é possível para o processo entrar no estado 1 somente nos tempo 2.

TEMPO DE PRIMEIRA PASSAGEM (n pij ): probabilidades de transição em n passos  dado que o processo está no estado i determinar a probabilidade (condicional) que o processo estará no estado j após n passos Frequentemente se quer saber sobre o número de transições feitas pelo processo para ir do estado i para o estado j pela primeira vez comprimento de tempo  Tempo de Primeira Passagem para ir do estado i para o estado j Se j = i Tempo de Primeira Passagem número de transições para o processo retornar ao estado inicial i Tempo de Recorrência para o estado i 36 .

TEMPO DE PRIMEIRA PASSAGEM Exemplo 1 do estoque de câmeras Suponha o seguinte estado do estoque para as seis primeiras semanas X0 = 3 X1 = 2 X2 = 1 X3 = 0 X4 = 3 X5 = 1 Tempo de primeira passagem a partir do estado 3 para o estado 1: 2 semanas Tempo de primeira passagem a partir do estado 3 para o estado 0: 3 semanas Tempo de recorrência para o estado 3 : 4 semanas 37 .

TEMPO DE PRIMEIRA PASSAGEM Em geral os tempos de primeira passagem variáveis aleatórias distribuição de probabilidade depende das probabilidades de transição do processo f ij(n ) probabilidade que o tempo de primeira passagem do estado i para j seja n probabilidade do tempo de primeira passagem do estado i para o estado j em n passos recursivamente probabilidades de transição em um passo ( f ij(1)  pij1)  pij ( f ij( 2)  pij2)  f ij(1) p jj  ( f ij( n )  pijn )  f ij(1) p ( n 1)  f ij(2) p ( n  2)   f ij( n-1) p jj jj jj 38 .

165   Dados i e j  (n) ij 1 f n 1  0.080 0 .319 0.233 0.249  (0 .252 0.184 0 .300 0.097   0.368 0 0    0 .TEMPO DE PRIMEIRA PASSAGEM Exemplo 1 do estoque da loja de câmeras distribuição de probabilidade do tempo de primeira passagem de ir do estado 3 para o estado 0 0 .368 0 .368  (1 f 30 )  p30  0 .368 0 .080)  0.184 0 .233 0.300 0.286 0.080)(0 .286 0.632 0 .243 P= 0 .264 0 .351  0.368 0    0 .165  0.368  0.283 P  0.233  0.249  (2) =  0.368 0 .249 Se ( n) ij 1 1 f n 1  processo inicialmente no estado i pode nunca alcançar o estado j distribuição de probabilidade para a variável aleatória tempo de primeira passagem Se ( n) ij f n 1 39 .080 (2 (2 (1 f 30 )  p30)  f 30 ) p00 (2 f 30 )  0 .080 0 .

TEMPO DE PRIMEIRA PASSAGEM (n ) Embora calcular f ij para todo n possa ser difícil. Tempo de Recorrência Esperado para o estado i 40 . ij   se f ij( n )  1   n 1  ij      (n) se f ij( n )  1  nf ij n 1  n 1     Sempre que (n) ij 1 ij unicamente satisfaz a equação f n 1  ij  1   pik  kj k j Se i = j ii. é relativamente simples obter o tempo de primeira passagem esperado do estado i para o estado j Tempo de Primeira Passagem Esperado do estado i para o estado j.

368 0 .368 0 .368 20 10  1  0 .368 0 .58 semanas 20 = 2.632 0 .51 semanas 30 = 3.264 0 .368 30  20  1  0 .080 0 . 30 30  1  p3110  p32  20  p33 30  20  1  p2110  p22  20  p23 30 10  1  p1110  p12  20  p13  30  30  1  0 .368 0 0    0 .184 0 .36810  0 .368  10 = 1.080 0 .18410  0 .184 0 .50 semanas O tempo esperado até que a loja esteja com estoque vazio é 3.368  0 .TEMPO DE PRIMEIRA PASSAGEM Exemplo 1 da loja de câmeras: as equações podem ser utilizadas para calcular o tempo esperado até que o estoque esteja vazio. assumindo que o processo inicia com 3 câmeras.368 0    0 .368 20  0 .5 semanas 41 .36810 P= 0 .

249 0.233 0.166   0.632 0 .368 0.368 0.264 0.252 0.368 n = 2  P(2) = 0.368 0.286 0.184 0.165  0 .368 0 0    0 .286 0.285 0.261 0 .282 0.233    0.263 0 .264 0.286 0.PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV Probabilidades de Equilíbrio n = 1  P(1) = 0 .319 0.285 0.368 0.289 0.286 0.286 0.165  n = 4  P(4) = 0 .249 0.285 0.286 0.264 0.351 0.166   0.283 0.286 0.080 0 .264 0.284 0.268 0 .285 0.289 0.184 0.080 0 .264 0 .166   0 .261 0 .286 0.285 0 .166 0 .368 0    0 .300 0.164 n = 8  P(8) = 0.166 42 .300 0.171   0 .233 0.164 0.283 0 .097   0.

e esta probabilidade é independente do estado inicial 43 .264 0.286 8 4 4  P  P P   0.286  0.286 0.166 P (8) Cada uma das quatro linhas têm as mesmas entradas probabilidade de estar no estado j após 8 semanas é independente do estado inicial do estoque Parece existir uma probabilidade limite que o sistema estará no estado j após um grande número de transições.264 0.285 0.286 0.PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV 0.285 0.166 0.264 0.285 0.166  0.264 0.166  0.285 0.

1. M Markov Tempo de Recorrência Esperado 44 . .1. M j   i pij  M i 0 M+1 variáveis 1  j 0 j uma equação redundante j  probabilidades de estado de equilíbrio ou estacionária da Cadeia de j  1  jj para j  0.PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV Para qualquer Cadeia de Markov ergódica e irredutível ( lim pijn ) existe e é independente de i n Além disso. ( lim pijn )   j  0 n j unicamente satisfaz as equações de estado de equilíbrio abaixo M+2 equações M para j  0..

PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV Probabilidades de equilíbrio:  Probabilidade de encontrar o processo em algum estado (j) após um grande número de transições. e em algum passo n a probabilidade de transição do estado i para o estado j é ainda pij 45 . tende ao valor j. o processo continua a fazer transições de estado para estado. independente da distribuição de probabilidade inicial definida sobre os estados  Não implica que o processo fica parado em um estado. Pelo contrário.

285 0.080 0  0 .080 3   1  0 .184 0  0 .264 e 0.368 2  0 .51 semanas 1  00   22  1  3.368 0  0 1  0 .2 e 3 câmeras em estoque tende a 0. 1 .02 semanas 3 46 .285. respectivamente Tempo de recorrência esperado para a loja de câmeras 1  3.166.286 0. 0.264   2  0 .50 semanas 0 1 11   3. 0.368 3   0 .368 1  0 .184 3   2  0 .368  0  0  0 .632 1  0 .368 2  0 .264 0.166] Após várias semanas a probabilidade de encontrar 0.368 0 1 2 3  3 1   0   1   2   3   = [0 1 2 3] = [0.286.80 semanas 2 1 33   6.PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV Exemplo 1 da loja de câmeras  0   0 p00   1 p10   2 p 20   3 p30   1   0 p01   1 p11   2 p 21   3 p31   2   0 p02   1 p12   2 p 22   3 p32    p   p   p   p 0 03 1 13 2 23 3 33  3 1   0   1   2   3   0  0 .

286  0 .264 0 .166 i e j  estados recorrentes pertencentes a classes diferentes ( pijn )  0 .286 0 .264 0 .166  0 .286 0 . n  para todo i probabilidade de encontrar o processo em um estado transiente após um grande número de transições tende a zero 47 .286  0 .264 0 .166  0 .PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV () P() =    0  1  2  3   ()      0  (  )   0  ()     0   1  2 1  2 1  2 3  3  3 0 . para todo n j  estado transiente ( lim pijn )  0 .166 0 .264 0 .285 0 .285 0 .285 0 .285 0 .

 estará no estado 1 nos tempos 1. 6. 3. 4. 5.CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO Cadeia de Markov ergódica ( lim pijn ) pode não existir n recorrentes aperiódicos Exemplo 5: considere P P=   1 0  0 1  se o processo começa no estado 0 no tempo 0 estará no estado 0 nos tempos 2.  (n p00 )  1 (n p00 )  0 se n é par se n é ímpar (n lim p00 ) não existe n 48 .

CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO 1 mas lim  n   n  n k 1   ( pijk )    j sempre existe   Cadeia de Markov irredutível importante para calcular custo médio a longo período por unidade de tempo Custo. C(1). C(Xt)  variável aleatória: C(0).2. C(M) C()  independente de t M Custo médio esperado para os  n primeiros períodos   C ( j) j j 0 custo médio esperado por unidade de tempo 49 . C(Xt)  função do estado da Cadeia de Markov processo está no estado Xt no instante t. para t = 0.  .1.

166(18) = 5.286(0) + 0.263(8) + 0.CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO Exemplo 1 do estoque da loja de câmeras: função de custo 0 2  C( X t )   8 18  se Xt = 0 se Xt = 1 se Xt = 2 se Xt = 3 1 lim E  n  n  n M   C ( X t )   t 1   j 0 j C( j) = 0.67 custo médio esperado do estoque por semana 50 .285(2) + 0.

G. São Paulo: McGraw-Hill.. Introdução à pesquisa operacional. J. 8 ed.REFERÊNCIA HILLIER. 2006. LIEBERMAN. S. F. 51 .

Sign up to vote on this title
UsefulNot useful