UECE – Universidade Estadual do Ceará

Curso de Mestrado Acadêmico em C.C.

PROCESSOS ESTOCÁSTICOS E CADEIAS DE

MARKOV

Prof. A. Clecio F. Thomaz

Fortaleza, 01/06/2010
1 CONCEITOS E DEFINIÇÕES:

Uma matriz quadrada P(pij) é chamada de matriz

estocástica se cada uma de suas linhas é um vetor de
probabilidade, isto é, se cada entrada de P é não
negativa e a soma das entradas em cada linha é 1

Exemplos:

1/3 0 2/3
a) 3/4 1/2 -1/4 não é matriz estocástica
1/3 1/3 1/3

b) 1/4 3/4 não é matriz estocástica

1/3 1/3

0 1 0
c) 1/2 1/6 1/3 é uma matriz estocástica
1/3 2/3 0

Obs: Se P é estocástica, Pn é também estocástica

2 CADEIAS DE MARKOV:

Consideremos agora uma sequência de ensaios cujos

resultados, x1, x2, ..., satisfazem as seguintes
propriedades:

(i) Cada resultado pertence a um conjunto finito de

resultados (a1, a2, ...,am), é chamado de experimento
ou espaço dos estados do sistema; se o resultado da
n-ésima tentativa é ai dizemos que o sistema se
encontra no estado ai no instante n.

(ii) O resultado de qualquer ensaio depende no

máximo do resultado do ensaio imediatamente
anterior e não de qualquer outro dos precedentes; a
cada par de estados (ai, aj) está associada a
probabilidade Pij de que aj ocorre imediatamente após
ter ocorrido ai.

Um processo estocástico com as propriedades acima é

chamado Cadeia de Markov (finita). Os números P ij
chamados probabilidades de transição, podem ser
dispostos segundos a matriz

P11 P12 ... P1n

P21 P22 ... P2n
P=
... ... ... ...
Pm1 Pm2 ... Pmn

chamada Matriz de Transição

OBS: A matriz de transição P da cadeia de Markov é

uma matriz estocástica
3 EXEMPLOS:

1 - Um homem diariamente vai para o trabalho de

carro ou de trem. Suponha que ele nunca toma o trem
2 dias seguidos; mas, se vai de carro para o trabalho,
no dia seguinte é tão provável que vá de trem quanto
de automóvel. Montar o processo estocástico e
escrever a matriz da cadeia de Markov associada.

Solução

O espaço de estados do sistema é {t(trem), c(carro)}.

Este processo estocástico é uma cadeia de Markov,
pois o resultado em qualquer dia depende somente do
que aconteceu no dia anterior. A matriz de transição
da cadeia de Markov é:

t c
t 0 1

c 1/2 1/2

A primeira linha da matriz corresponde ao fato de que

ele nunca toma o trem duas vezes seguidas, de modo
que definitivamente vai de carro no dia seguinte ao
que tomou o trem. A segunda linha da matriz
corresponde ao fato de que no dia seguinte ao que foi
de carro, ele vai novamente de carro ou tomará o
trem com probabilidades iguais.
 2 - Considere a matriz de transição da cadeia de
markov apresentada abaixo:

A B C
A 0 1 0
B 0 0 1
C 1/2 1/2 0

Suponhamos que a distribuição de probabilidade no

estado inicial é p(0) = (0,0,1). Determine a distribuição
de probabilidade dos estados 1, 2 e 3

Solução
0 1 0
p(1) = p(0) P = ( 0, 0, 1) 0 0 1 = ( 1/2 , 1/2, 0 )
1/2 1/2 0

0 1 0
p(2) = p(1) P = (1/2 , 1/2, 0 ) 0 0 1 = ( 0 , 1/2, 1/2 )
1/2 1/2 0

0 1 0
p(3) = p(2) P = ( 0 , 1/2, 1/2 ) 0 0 1 = ( 1/4, 1/4, 1/2 )
1/2 1/2 0
3 – A cobrança de um Pênalti:
Estado 1: O jogador converte o pênalti: G(gool)
Estado 2: O jogador não converte o pênalti: NG(não gool)

Vamos supor que em 10 cobranças de pênaltis, o jogador consiga

converter 7 ou seja: a probabilidade de converter o pênalti é de 0.7 isto é
P(G)=0.7 e a probabilidade de não converter (entre as 10) é de 0.3 ou
seja P(NG)=1-P(G) = 0.3

Vamos considerar agora o caso das probabilidades condicionais: Quando

um jogador converte o pênalti numa determinada tentativa, ele fica
motivado (estimulado) para tentativa seguinte. Consideremos as
seguintes situações:
a) Se o jogador converte o pênalti numa cobrança, a probabilidade
de que ele converta a próxima cobrança é de 0.9 e é claro que a
prob. de não converter é de 1-0.9 =0.1
b) Se ele não converte o pênalti numa ocasião, a probabilidade de
converter a próxima cobrança cai para 0.6 enquanto sua prob.
de não converter é de 0.4

Os estados do sistema podem ser observados na MATRIZ DE

PROBABILIDADE DE TRANSIÇÃO seguinte:
Converter Não converter
Estado 1: converter 0.9 0.1
Estado 2: NãoConv. 0.6 0.4

Probabilidades condicionais:
P(G/G) = 0.9 P(NG/G) = 0.1
P(G/NG) = 0.6 P(NG/NG) = 0.4

MATRIZ DE PROBABILIDADE DE ESTADO:

Definiremos num determinado instante t a matriz de probabilidades (após vários

experimentos) de converter P(G) = 0.7 ou não converter pênaltis P(NG) = 0.3
como:
MEt = [0.7 0.3]
Obs: Esta matriz é composta de apenas um vetor linha contendo tantas colunas
quanto forem os estados. Note que ΣP1j = 1
CADEIAS DE MARKOV:

Def. Cadeias de Markov são sequências de resultados (estados) em que

a probabilidade de cada resultado (estado) depende do que aconteceu no
estado imediatamente anterior.

Retomemos o problema da cobrança de pênaltis e calculemos a evolução

dos estados no tempo onde se conhece a matriz de probabilidade do
estado inicial t.

No momento t+1:
0.9 0.1
[0.7 0.3] = [0.81 0.19]
0.6 0.4

No momento t+2:

0.9 0.1
[0.81 0.19] = [0.843 0.157]
0.6 0.4
Árvore de Decisão e Matriz de Transição entre Estados:

Est. t Est t+1 Est. T+2

0.81 o

o
0.7
0.19 o

o
0.843 o
0.3
o

0.157 o
Diagrama de Transição de Estado
Consideremos a matriz estocástica de transição entre 4 estados
conforme disposição abaixo:

1 2 3 4
----------------
1 1 0 0 0
2 0.4 0 0.6 0
3 0.2 0 0.1 0.7
4 0 0 0 1

Seu diagrama associado é representado por:

0.4
0.6 0.7

1 1 2 3 4 1

0.2 0.1

Nos exemplos que se seguem, pede-se:

a) Escrever um programa computacional que possa

gerar a cadeia de Markov (genérica).
b) Execute para cada caso a cadeia de Markov
considerando cinco estados: t=1,2,...5
c) Verifique a estabilidade isto é determine os valores
limites das probabilidades de estado para os dois casos