Catene di Markov

a stati finiti
approccio teorico e computazionale
—————
Appunti per l’Insegnamento di
Teoria delle Decisioni (Modelli Probabilistici)
Anno Accademico 2002/2003
Riccardo Cambini
Dipartimento di Statistica e Matematica Applicata all’Economia
Facolt` a di Economia, Universit` a di Pisa,
Via Cosimo Ridolfi 10, 56124 Pisa, ITALY
E-mail: cambric@ec.unipi.it
Versione Preliminare
Marzo 2003
2
Indice
1 Definizioni e risultati iniziali 5
1.1 Processi Stocastici . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Catene di Markov . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Equazioni di Chapman-Kolmogorov
e loro applicazioni . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.1 Probabilit` a di transizione in n passi . . . . . . . . . . 10
1.3.2 Equazioni di Chapman-Kolmogorov . . . . . . . . . . 11
1.3.3 Distribuzione delle probabilit` a a tempo t . . . . . . . . 13
1.3.4 Costi medi a tempo t . . . . . . . . . . . . . . . . . . 14
2 Classificazione degli stati 17
2.1 Stati accessibili e stati comunicanti . . . . . . . . . . . . . . . 17
2.2 Stati ricorrenti e stati transitori . . . . . . . . . . . . . . . . . 19
2.3 Classi di stati ricorrenti/transitori . . . . . . . . . . . . . . . 23
2.4 Analisi di una catena di Markov
tramite il suo grafo associato . . . . . . . . . . . . . . . . . . 24
2.5 Osservazioni finali . . . . . . . . . . . . . . . . . . . . . . . . 26
3 Propriet`a di lungo periodo 29
3.1 Probabilit` a stabilizzate . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Tempi medi di primo passaggio . . . . . . . . . . . . . . . . . 32
3.3 Probabilit` a di assorbimento . . . . . . . . . . . . . . . . . . . 34
3.4 Periodicit` a degli stati di una catena di Markov . . . . . . . . 37
3.5 Propriet` a nel lungo periodo . . . . . . . . . . . . . . . . . . . 40
3.5.1 Matrice di lungo periodo . . . . . . . . . . . . . . . . . 40
3.5.2 Comportamento asintotico . . . . . . . . . . . . . . . . 42
3.5.3 Costi medi nel lungo periodo . . . . . . . . . . . . . . 43
4 Esercizi Svolti 47
5 Un approccio computazionale 55
5.1 Propriet` a a tempo t . . . . . . . . . . . . . . . . . . . . . . . 55
5.1.1 Determinazione della matrice di transizione . . . . . . 55
5.1.2 Stocasticit` a della matrice di transizione . . . . . . . . 58
3
4 INDICE
5.1.3 Matrici di transizione in n passi . . . . . . . . . . . . . 58
5.1.4 Distribuzione delle probabilit` a a tempo t . . . . . . . . 59
5.1.5 Costi medi a tempo t . . . . . . . . . . . . . . . . . . 60
5.2 Catene con una unica classe di stati ricorrenti . . . . . . . . . 61
5.2.1 Vettori delle probabilit` a stabilizzate . . . . . . . . . . 61
5.2.2 Probabilit` a di primo passaggio . . . . . . . . . . . . . 62
5.2.3 Tempi medi di primo passaggio . . . . . . . . . . . . . 62
5.2.4 Matrice di lungo periodo . . . . . . . . . . . . . . . . . 63
5.2.5 Tempi medi di ritorno e costi medi attesi . . . . . . . 64
5.3 Catene con piu’ classi di stati ricorrenti . . . . . . . . . . . . 65
5.3.1 Vettori delle probabilit` a di assorbimento . . . . . . . . 65
5.3.2 Vettori canonici delle probabilit` a stabilizzate . . . . . 67
5.3.3 Matrice di lungo periodo . . . . . . . . . . . . . . . . . 69
5.4 Risoluzione esercizi del Capitolo 4 . . . . . . . . . . . . . . . 71
5.4.1 Esercizio 1 . . . . . . . . . . . . . . . . . . . . . . . . 71
5.4.2 Esercizio 3 . . . . . . . . . . . . . . . . . . . . . . . . 72
5.4.3 Esercizio 4 . . . . . . . . . . . . . . . . . . . . . . . . 73
5.4.4 Esercizio 5 . . . . . . . . . . . . . . . . . . . . . . . . 75
5.4.5 Esercizio 6 . . . . . . . . . . . . . . . . . . . . . . . . 76
Capitolo 1
Definizioni e risultati iniziali
1.1 Processi Stocastici
Un Processo Stocastico `e semplicemente definito come una famiglia di
variabili aleatorie {X
t
}, con t ∈ T . In particolare il processo `e detto a
parametro discreto se l’insieme T `e un insieme discreto (ad esempio T =
{1, 2, . . .} oppure T = {1, 2, . . . , m}), a parametro continuo se T `e un
intervallo non singolare dei numeri reali (ad esempio T = [0, 1]).
I processi stocastici sono altres
`
i classificati a seconda della natura delle
variabili aleatorie {X
t
}, si parler` a quindi di processi discreti se esse sono
variabili discrete, di processi continui se sono continue. I valori che pos-
sono essere assunti dalle variabili aleatorie sono detti stati , l’insieme degli
stati (ovvero il codominio delle variabili stocastiche) si denota con S; qualo-
ra risulti X
t
= k ∈ S diremo quindi che il sistema al tempo t si trova nello
stato k. Il numero degli stati di S pu` o essere finito, infinito e numerabile,
infinito e non numerabile. Nel caso in cui gli stati del processo siano in
numero finito si denota con N il loro numero. D’ora in avanti si assume che:
• T `e l’insieme degli interi non negativi, ovvero T = N = {0, 1, 2, . . .},
• il processo stocastico {X
t
} `e discreto,
• l’insieme S degli stati del processo `e numerabile.
Ad ogni istante di tempo t ∈ T il sistema si trover`a quindi in un deter-
minato stato appartenente ad un insieme numerabile di stati esaustivi e tra
loro mutuamente esclusivi; ad esempio, il processo stocastico X
0
, X
1
, X
2
, . . .,
pu` o, ad esempio, rappresentare la disponibilit` a settimanale di un certo bene
in un dato negozio. Senza perdita di generalit` a rappresenteremo gli stati
di un processo con delle “etichette” numeriche, in questo modo avremo
S = {1, 2, . . . , N} oppure S = {0, 1, 2, . . . , N − 1} nel caso di un numero
finito N di stati e S = {1, 2, . . .} oppure S = {0, 1, 2, . . .} nel caso in cui il
loro numero sia infinito.
5
6 CAPITOLO 1. DEFINIZIONI E RISULTATI INIZIALI
Introduciamo adesso il seguente esempio che verr`a utilizzato nelle varie
sezioni successive.
Esempio 1.1.1 (fotocamere) Un negozio di articoli fotografici vende un
particolare modello di fotocamera; sia D
1
, D
2
, . . ., la domanda di questa fo-
tocamera rispettivamente nella prima settimana, nella seconda, etc. etc. Si
suppone che le variabili aleatorie D
i
siano indipendenti ed identicamente
distribuite con una funzione di distribuzione di probabilit` a nota. Sia X
0
la scorta iniziale di fotocamere (non pi` u di 3), X
1
il numero di fotocamere
giacenti alla fine della prima settimana, X
2
il numero di fotocamere giacenti
alla fine della seconda settimana e cos
`
i via. Se alla fine della settimana il
negoziante rimane sprovvisto di fotocamere ne ordina 3 alla casa che gli ver-
ranno recapitate entro l’apertura della settimana successiva. Per come sono
stati descritti, {D
t
} e {X
t
} sono processi stocastici, dove D
t
∈ {0, 1, 2, . . .}
rappresenta il numero di acquirenti arrivati nella settimana per acquistare la
fotocamera, mentre X
t
∈ {0, 1, 2, 3} rappresentano la giacenza di fotocamere
alla fine della settimana.
Le variabili aleatorie X
t
sono chiaramente dipendenti e possono essere
calcolate iterativamente dalla seguente espressione:
X
t+1
=

max{(3 −D
t+1
), 0} se X
t
= 0
max{(X
t
−D
t+1
), 0} se X
t
≥ 1
t = 0, 1, 2, . . .
1.2 Catene di Markov
Le Catene di Markov (
1
) sono particolari processi stocastici {X
t
} che verif-
icano alcune particolari propriet` a.
Definizione 1.2.1 (Propriet`a di Markov) Un processo stocastico veri-
fica la propriet` a di Markov se per ogni istante di tempo t ∈ T , per ogni
coppia di stati i, j ∈ S e per ogni sequenza di stati k
0
, . . . , k
t−1
∈ S, risulta:
P{X
t+1
= j|X
0
= k
0
, . . . , X
t−1
= k
t−1
, X
t
= i} = P{X
t+1
= j|X
t
= i}
La probabilit` a condizionata (
2
) P{X
t+1
= j|X
t
= i} `e detta probabilit` a di
transizione a tempo t dallo stato i allo stato j.
1
Lo studio delle probabilit`a delle catene di eventi collegati tra loro fu iniziato nel 1906-
1908 dal matematico russo Andrei Andreieviˇc Markov (1856-1922), allievo di
ˇ
Cebiˇcev. Lo
studio delle catene di Markov si `e diffuso a partire dalla met`a del XX secolo, grazie alle
loro applicazioni nello studio dei fenomeni fisici, biologici, sociali, in cui le probabilit`a di
un evento dipendono dal risultato immediatamente precedente.
2
Si ricordi che, dati due eventi A, B ∈ Ω, con P{B} > 0, si definisce probabilit`a
condizionata il valore P{A|B} =
P{A,B}
P{B}
.
1.2. CATENE DI MARKOV 7
Questa propriet` a indica che la probabilit` a condizionata di un “evento”
futuro dati lo stato attuale e tutti gli “eventi” passati dipende esclusivamente
dallo stato attuale del processo e non dai precedenti; in pratica `e come se il
processo avesse una “perdita di memoria” riguardo al suo passato.
Definizione 1.2.2 (Probabilit`a di transizione stazionarie) Le proba-
bilit` a di transizione sono dette stazionarie se per ogni coppia di stati
i, j ∈ S si ha:
P{X
t+1
= j|X
t
= i} = P{X
1
= j|X
0
= i} ∀t ≥ 0.
Tali probabilit` a sono indicate con p
ij
= P{X
1
= j|X
0
= i}.
In pratica la stazionariet` a delle probabilit` a di transizione indica che
queste ultime non cambiano nel tempo.
Siamo adesso in grado di definire una Catena di Markov.
Definizione 1.2.3 Un processo stocastico discreto {X
t
}, t ∈ T = {0, 1, 2, . . .},
avente un insieme di stati S numerabile, `e detto Catena di Markov se
verifica le seguenti propriet` a:
i) propriet` a di Markov;
ii) probabilit` a di transizione stazionarie.
Tale processo stocastico viene inoltre detto Catena di Markov a stati
finiti nel caso in cui ammetta un numero finito N di stati.
Le catene di Markov a stati finiti possono essere facilmente studiate
per mezzo di un approccio basato sulle matrici; le probabilit` a di tran-
sizione stazionarie possono essere infatti rappresentate nella seguente forma
matriciale.
Definizione 1.2.4 Si consideri una catena di Markov a stati finiti . Si
definisce matrice di transizione la seguente matrice P:
P = (p
ij
) ∈ [0, 1]
N×N
i, j ∈ S
La matrice di transizione P verifica la seguente importante propriet` a (
3
):
Pu = u dove u = [1, 1, . . . , 1, 1]
T
3
Le matrici nonnegative tali che Pu = u sono dette matrici stocastiche. Si osservi
che per tali matrici il vettore u `e un autovettore corrispondente all’autovalore λ = 1.
8 CAPITOLO 1. DEFINIZIONI E RISULTATI INIZIALI
Esempio 1.2.1 (fotocamere) Si verifica banalmente che {X
t
} `e una cate-
na di Markov a stati finiti. Supponiamo adesso che le variabili aleatorie D
t
abbiano una distribuzione di Poisson (
4
) con parametro λ = 1, ovvero che
sia P{D
t
= k} =
λ
k
e
−λ
k!
=
1
ek!
con k = 0, 1, 2, . . . , e determiniamo la matrice
di transizione P.
• p
00
= P{X
t+1
= 0|X
t
= 0}: se X
t
= 0, ovvero sono finite le foto-
camere e quindi viene richiesto il rifornimento alla casa, allora X
t+1
=
max{(3 − D
t+1
), 0} = 0 soltanto se D
t+1
≥ 3, ovvero se vi sono stati
almeno 3 acquirenti; di conseguenza
p
00
= P{D
t
≥ 3} = 1 −P{D
t
= 0} −P{D
t
= 1} −P{D
t
= 2}
= 1 −
1
e

1
e

1
2e
= 1 −
5
2e
= 0.0803013970714
• p
10
= P{X
t+1
= 0|X
t
= 1}: se X
t
= 1, ovvero in magazzino vi `e una
sola fotocamera, allora X
t+1
= max{(1 − D
t+1
), 0} = 0 soltanto se
D
t+1
≥ 1, ovvero se vi `e stato almeno un acquirente; di conseguenza
p
10
= P{D
t
≥ 1} = 1 −P{D
t
= 0} = 1 −
1
e
= 0.632120558829
• p
21
= P{X
t+1
= 1|X
t
= 2}: se X
t
= 2, ovvero in magazzino vi sono 2
fotocamere, allora X
t+1
= max{(2 −D
t+1
), 1} = 0 soltanto se D
t+1
=
1, ovvero se vi `e stato esattamente un acquirente; di conseguenza
p
21
= P{D
t
= 1} =
1
e
= 0.367879441171
Analogamente possiamo determinare tutti gli altri valori fino ad ottenere la
seguente matrice di transizione:
P =

1 −
5
2e
1
2e
1
e
1
e
1 −
1
e
1
e
0 0
1 −
2
e
1
e
1
e
0
1 −
5
2e
1
2e
1
e
1
e
¸
¸
¸
¸
¸
=

0.0802 0.1840 0.3679 0.3679
0.6321 0.3679 0 0
0.2642 0.3679 0.3679 0
0.0802 0.1840 0.3679 0.3679
¸
¸
¸
¸
¸
Uno strumento estremamente efficace per lo studio delle catene di Markov
a stati finiti `e il cosiddetto grafo associato alla catena. Tali grafi (rap-
presentazioni composte da nodi ed archi) si determinano molto facilmente
4
Ricordando che e
λ
=
¸
+∞
k=0
λ
k
k!
, si verifica facilmente che questa `e una funzione di
densit`a di probabilit`a discreta corretta, infatti risulta
+∞
¸
k=0
P{D
t
= k} = e
−λ
+∞
¸
k=0
λ
k
k!
= 1.
1.3. EQUAZIONI DI CHAPMAN-KOLMOGOROVE LOROAPPLICAZIONI9
facendo in modo tale che ad ogni stato corrisponda un nodo ed ad ogni
valore p
ij
> 0 corrisponda un arco orientato dal nodo i al nodo j.
Esempio 1.2.2 Si consideri una catena di Markov a stati finiti avente un
insieme di stati S = {0, 1, 2, 3} composto da 4 stati ed avente la seguente
matrice di transizione P:

¸
¸
¸
¸
s0 s1 s2 s3
s0 0 0.5 0.5 0
s1 1 0 0 0
s2 0 0 0 1
s3 0.3 0 0 0.7
¸

Il grafo associato a tale matrice risulta:
Figura 1.1:
1.3 Equazioni di Chapman-Kolmogorov
e loro applicazioni
Le equazioni di Chapman-Kolmogorov (
5
), che legano tra loro le probabi-
lit` a di transizione in tempi diversi, rappresentano forse lo strumento pi` u
importante nello studio delle catene di Markov.
5
Le ricerche del matematico russo Andrei Nikolaieviˇc Kolmogorov (1903-1987) hanno
permesso alla Teoria della Probabilit`a di compiere progressi fondamentali; in partico-
lare, nel suo articolo “Analytical methods in probability theory”, pubblicato nel 1931,
Kolmogorov ha sviluppato le basi teorico-matematiche dei processi markoviani.
Il geofisico inglese Sydney Chapman (1888-1970) ha utilizzato nelle proprie ricerche
delle equazioni, ottenute senza una vera e propria teoria matematica, che sono risultate
essere casi particolari di quelle studiate da Kolmogorov per la Teoria della Probabilit`a.
10 CAPITOLO 1. DEFINIZIONI E RISULTATI INIZIALI
1.3.1 Probabilit`a di transizione in n passi
Nelle catene di Markov il concetto di probabilit` a di transizione stazionarie
pu` o essere ulteriormente esteso.
Teorema 1.3.1 Si consideri una catena di Markov. Per ogni coppia di stati
i, j ∈ S e per ogni intero n ≥ 0 risulta:
P{X
t+n
= j|X
t
= i} = P{X
n
= j|X
0
= i} ∀t ≥ 0
Dim. Per n = 0 il risultato `e banale mentre per n = 1 coincide con la
stazionariet` a delle probabilit` a di transizione della catena di Markov. Di-
mostriamo adesso il risultato per n > 1. Per il Teorema delle Probabilit` a
Totali (
6
) e per la definizione di probabilit` a condizionata risulta:
P{X
t+n
= j|X
t
= i} =
¸
k∈S
P{X
t+n
= j, X
t+n−1
= k|X
t
= i}
=
¸
k∈S
P{X
t+n
= j|X
t+n−1
= k, X
t
= i}P{X
t+n−1
= k|X
t
= i}
Per la propriet` a di Markov e la stazionariet` a delle probabilit` a di transizione
si ha inoltre:
P{X
t+n
= j|X
t+n−1
= k, X
t
= i} = P{X
t+n
= j|X
t+n−1
= k}
= P{X
n
= j|X
n−1
= k}
= P{X
n
= j|X
n−1
= k, X
0
= i}
da cui si ottiene:
P{X
t+n
= j|X
t
= i} =
¸
k∈S
P{X
n
= j|X
n−1
= k, X
0
= i}P{X
n−1
= k|X
0
= i}
=
¸
k∈S
P{X
n
= j, X
n−1
= k|X
0
= i}
= P{X
n
= j|X
0
= i}
Le precedenti probabilit` a condizionate, dette probabilit` a di transizione
stazionarie in n passi, si indicano con
p
(n)
ij
= P{X
n
= j|X
0
= i}, n ∈ {0, 1, 2, . . .}
6
Si consideri un evento A ∈ Ω ed n eventi disgiunti B
i
, i = 1, . . . , n, tali che Ω =

n
i=1
B
i
. Allora, essendo A = ∪
n
i=1
{A, B
i
}, risulta:
P{A} =
n
¸
i=1
P{A, B
i
} =
n
¸
i=1
P{A|B
i
}P{B
i
}
tale risultato rimane valido anche per n = +∞ (si veda ad esempio [10]).
1.3. EQUAZIONI DI CHAPMAN-KOLMOGOROVE LOROAPPLICAZIONI11
e rappresentano la probabilit` a condizionata di passare in n passi dallo stato
i allo stato j. Ovviamente risulta p
(1)
ij
= P{X
1
= j|X
0
= i} = p
ij
, inoltre:
p
(0)
ij
= P{X
0
= j|X
0
= i} =

1 se i = j
0 se i = j
Poich´e tali valori sono delle probabilit` a corrette si ha per definizione:
0 ≤ p
(n)
ij
≤ 1 ∀i, j ∈ S ∀n ≥ 0
¸
j∈S
p
(n)
ij
=
¸
j∈S
P{X
n
= j|X
0
= i} = 1 ∀i ∈ S ∀n ≥ 0
Nelle catene di Markov a stati finiti anche le probabilit` a di transizione
stazionarie in n passi possono essere rappresentate in forma matriciale.
Definizione 1.3.1 Si consideri una catena di Markov a stati finiti . Si
definisce matrice di transizione in n passi la seguente matrice P
(n)
:
P
(n)
= (p
(n)
ij
) ∈ [0, 1]
N×N
i, j ∈ S
Ovviamente, per quanto detto in precedenza, risulta P
(0)
= I e P
(1)
= P.
1.3.2 Equazioni di Chapman-Kolmogorov
La mancanza di memoria delle catene di Markov permette di dimostrare
che la probabilit` a di transizione in n + m passi dipende dalla probabilit` a
condizionata di arrivare dallo stato di partenza ad un certo stato k in n
passi e dalla probabilit` a di passare negli ultimi m passi dallo stato k allo
stato finale.
Teorema 1.3.2 (Equazioni di Chapman-Kolmogorov) Si consideri una
catena di Markov. Risulta:
p
(n+m)
ij
=
¸
k∈S
p
(n)
ik
p
(m)
kj
∀i, j ∈ S ∀n, m ≥ 1
Dim. Per il Teorema delle Probabilit` a Totali risulta:
p
(n+m)
ij
= P{X
n+m
= j|X
0
= i}
=
¸
k∈S
P{X
n+m
= j, X
n
= k|X
0
= i}
=
¸
k∈S
P{X
n+m
= j|X
n
= k, X
0
= i}P{X
n
= k|X
0
= i}
Per la propriet` a di Markov e la stazionariet` a delle probabilit` a di transizione
risulta quindi:
P{X
n+m
= j|X
n
= k, X
0
= i} = P{X
n+m
= j|X
n
= k}
= P{X
m
= j|X
0
= k}
12 CAPITOLO 1. DEFINIZIONI E RISULTATI INIZIALI
da cui si ha:
p
(n+m)
ij
=
¸
k∈S
P{X
m
= j|X
0
= k}P{X
n
= k|X
0
= i} =
¸
k∈S
p
(n)
ik
p
(m)
kj
Il precedente teorema permette di mostrare come le probabilit`a di tran-
sizione in n passi siano date dalla seguente sommatoria:
p
(n)
ij
=
¸
k
1
,...,k
n−1
∈S
p
ik
1
· p
k
1
k
2
· p
k
2
k
3
· . . . · p
k
n−2
k
n−1
· p
k
n−1
j
(1.3.1)
Nel caso delle catene di Markov a stati finiti le equazioni di Chapman-
Kolmogorov si possono esprimere anche in forma matriciale.
Corollario 1.3.1 Si consideri una catena di Markov a stati finiti. Risul-
ta:
P
(n+m)
= P
(n)
P
(m)
∀n, m ≥ 1
Questa forma matriciale permette di dimostrare, in modo molto sem-
plice, che in una catena di Markov a stati finiti la matrice di transizione in
n passi non `e altro che la n-esima potenza della matrice di transizione (
7
).
Corollario 1.3.2 Si consideri una catena di Markov a stati finiti. Risul-
ta:
P
(n)
= P
n
Dim. Basta osservare che per ogni k ≥ 1, posto m = 1 e n = k −1, risulta
P
(k)
= P
(k−1)
P
(1)
= P
(k−1)
P,
da cui segue che P
(n)
= P
(n−1)
P = P
(n−2)
P
2
= . . . = P
(1)
P
n−1
= P
n
.
Dalle equazioni di Chapman-Kolmogorov si derivano inoltre le seguenti
propriet` a che saranno molto utili nei paragrafi successivi.
Propriet`a 1.3.1 Si consideri una catena di Markov. Risulta:
i) p
(n+m)
ij
≥ p
(n)
ik
p
(m)
kj
∀n, m ≥ 1 ∀i, j, k ∈ S;
ii) p
(n·m)
ii

p
(n)
ii

m
∀n, m ≥ 1 ∀i ∈ S.
7
Il Corollario 1.3.2 permette di dimostrare che tutte le matrici di transizione in n passi
P
(n)
, con n ≥ 0, sono matrici stocastiche. Per n = 0 ed n = 1 il risultato `e banale, per
n ≥ 2 risulta invece (ricordando che Pu = u):
P
(n)
u = P
n
u = P
n−1
(Pu) = P
n−1
u = P
n−2
(Pu) = P
n−2
u = . . . = Pu = u
1.3. EQUAZIONI DI CHAPMAN-KOLMOGOROVE LOROAPPLICAZIONI13
Dim. i) Basta osservare che dalle equazioni di Chapman-Kolmogorov si ha
p
(n+m)
ij
=
¸
k∈S
p
(n)
ik
p
(m)
kj
≥ p
(n)
ik
p
(m)
kj
ii) Direttamente dalla i) si ottiene:
p
(n·m)
ii
= p
(n+n·(m−1))
ii
≥ p
(n)
ii
p
(n·(m−1))
ii
e procedendo im modo analogo segue che
p
(n·m)
ii
≥ p
(n)
ii
p
(n·(m−1))
ii

p
(n)
ii

2
p
(n·(m−2))
ii
≥ . . . ≥

p
(n)
ii

m
.
Esempio 1.3.1 (fotocamere) Le matrici di transizione in 2 ed in 4 passi
risultano:
P
(2)
= P
2
=

0.2495 0.2854 0.3002 0.1649
0.2833 0.2516 0.2325 0.2325
0.3510 0.3193 0.2325 0.0972
0.2495 0.2854 0.3002 0.1649
¸
¸
¸
¸
¸
P
(4)
= P
4
=

0.2896 0.2859 0.2606 0.1639
0.2816 0.2848 0.2675 0.1662
0.2839 0.2825 0.2629 0.1707
0.2896 0.2859 0.2606 0.1639
¸
¸
¸
¸
¸
Ad esempio, se alla fine di una certa settimana risulta in giacenza una sola
fotocamera abbiamo che la probabilit` a di non avere in giacenza alcuna fo-
tocamera dopo 4 settimane p
(4)
10
= 0.282.
1.3.3 Distribuzione delle probabilit`a a tempo t
Le equazioni di Chapman-Kolmogorov permettono di determinare la proba-
bilit` a di essere in un determinato stato dopo un certo numero di transizioni
del sistema.
Definizione 1.3.2 Si consideri una catena di Markov. Si denota con q
(t)
i
=
P{X
t
= i} la probabilit` a di essere nello stato i al tempo t ∈ T ; in particolare
si denota con q
(0)
i
= P{X
0
= i} la probabilit` a di essere nello stato i all’inizio
del processo.
Definizione 1.3.3 Si consideri una catena di Markov a stati finiti . Le
distribuzioni di probabilit` a a tempo t ≥ 0 si possono esprimere in forma
vettoriale tramite i vettori q
(t)
= [q
(t)
i
] e q
(0)
= [q
(0)
i
], i ∈ S.
14 CAPITOLO 1. DEFINIZIONI E RISULTATI INIZIALI
Si dimostra banalmente che, per ogni stato i ∈ S:
q
(t)
i
= P{X
t
= i} =
¸
k∈S
P{X
0
= k}P{X
t
= i|X
0
= k} =
¸
k∈S
q
(0)
k
p
(t)
ki
ovvero, in forma matriciale per le catene a stati finiti:
[q
(t)
]
T
= [q
(0)
]
T
P
(t)
= [q
(0)
]
T
P
t
.
Si osservi inoltre che i vettori q
(t)
sono dei vettori di distribuzione delle
probabilit` a corretti, risulta infatti:

q
(t)

T
u =
¸
k∈S
q
(t)
i
=
¸
k∈S
P{X
t
= i} = 1.
Esempio 1.3.2 (fotocamere) Supponiamo adesso che il negoziante, al-
l’inaugurazione dell’esercizio, sia stato rifornito di 3 fotocamere, in questo
caso il vettore delle probabilit` a iniziali del processo `e [q
(0)
]
T
= [0, 0, 0, 1]; la
probabilit` a di avere una giacenza di 0, 1, 2, 3 fotocamere dopo due settimane
risulta quindi essere
[q
(2)
]
T
= [q
(0)
]
T
P
2
= [0.2495, 0.2854, 0.3002, 0.1649].
Supponiamo adesso che il negoziante non avesse certezza della disponibilit` a
iniziale, magari perch´e la casa non poteva garantire il rifornimento di 3
fotocamere; supponendo ad esempio come probabilit` a iniziali del processo
che [q
(0)
]
T
= [0.2, 0.2, 0.5, 0.1] si ottiene
[q
(2)
]
T
= [q
(0)
]
T
P
2
= [0.3070, 0.2956, 0.2528, 0.1446].
1.3.4 Costi medi a tempo t
Associando inoltre ad ogni stato un costo, che deve essere pagato dal sis-
tema ogni qual volta si transisce in quello stato, `e possibile per mezzo delle
equazioni di Chapman-Kolmogorov studiare tutta una serie di costi medi e
costi attesi per il sistema.
Definizione 1.3.4 Si consideri una catena di Markov. Si definiscono:
i) costi del sistema i valori c
i
, i ∈ S, che indicano il costo che si deve
pagare nel caso in cui il sistema, in un qualsiasi istante, si trovi nello
stato i; nel caso in cui la catena di Markov sia a stati finiti tali costi
possono essere rappresentati dal vettore c = (c
i
) detto vettore dei
costi del sistema;
1.3. EQUAZIONI DI CHAPMAN-KOLMOGOROVE LOROAPPLICAZIONI15
ii) costi medi al tempo t i valori
c
(t)
i
=
¸
j∈S
p
(t)
ij
c
j
=
¸
j∈S
P{X
t
= j|X
0
= i}c
j
, i ∈ S
che indicano il costo medio che il sistema, partito dallo stato i, deve
supportare all’istante di tempo t; nel caso in cui la catena di Markov sia
a stati finiti tali costi medi possono essere rappresentati dal vettore
c
(t)
= P
(t)
c = (c
(t)
i
)
detto vettore dei costi medi al tempo t;
iii) costo medio atteso al tempo t il valore
ξ
(t)
=
¸
i∈S
q
(0)
i
c
(t)
i
=
¸
i∈S
¸
j∈S
q
(0)
i
p
(t)
ij
c
j
=
¸
j∈S
q
(t)
j
c
j
nel caso in cui la catena di Markov sia a stati finiti tale costo medio
pu` o essere calcolato in forma matriciale nel seguente modo:
ξ
(t)
= [q
(0)
]
T
c
(t)
= [q
(0)
]
T
P
(t)
c = [q
(t)
]
T
c
dove q
(0)
`e il vettore delle probabilit` a iniziali mentre q
(t)
`e il vettore
delle probabilit` a a tempo t;
iv) costi medi per unit` a di tempo nei primi n periodi i valori
1
n
n
¸
t=1
c
(t)
i
che nel caso delle catene a stati finiti possono essere espressi nella
seguente forma vettoriale
1
n
n
¸
t=1
c
(t)
=

1
n
n
¸
t=1
P
(t)

c
v) costo medio atteso per unit`a di tempo nei primi n periodi il
valore
1
n
n
¸
t=1
ξ
(t)
che nel caso delle catene a stati finiti pu` o essere calcolato in forma
matriciale nel seguente modo:
1
n
n
¸
t=1
ξ
(t)
=
1
n
n
¸
t=1
[q
(0)
]
T
P
(t)
c = [q
(0)
]
T

1
n
n
¸
t=1
P
(t)

c
16 CAPITOLO 1. DEFINIZIONI E RISULTATI INIZIALI
Esempio 1.3.3 (fotocamere) Supponiamo adesso che il negoziante di fo-
tocamere abbia delle spese per il mantenimento delle fotocamere in mag-
azzino e che tali spese siano date da c
0
= 0 se non ha alcuna fotocam-
era in giacenza, c
1
= 2 se ha una sola fotocamera, c
2
= 8 se ne ha 2 e
c
3
= 18 se ne ha 3. Supponendo che le probabilit` a iniziali del processo siano
[q
(0)
]
T
= [0.2, 0.2, 0.5, 0.1] abbiamo che il costo medio atteso settimanale che
il negoziante deve supportare nelle prime 4 settimane di lavoro `e di
1
4
4
¸
t=1
ξ
(t)
= [q
(0)
]
T

1
4
4
¸
t=1
P
(t)

c = 5.37706
essendo

1
4
4
¸
t=1
P
(t)

=

0.2281 0.2617 0.2979 0.2123
0.3647 0.2943 0.1938 0.1471
0.2996 0.3138 0.2784 0.1082
0.2281 0.2617 0.2979 0.2123
¸
¸
¸
¸
¸
Capitolo 2
Classificazione degli stati
2.1 Stati accessibili e stati comunicanti
Lo studio delle catene di Markov prosegue adesso con l’analisi delle carat-
teristiche e delle propriet` a degli stati del processo.
Le prime fondamentali propriet` a che legano gli stati di una catena di
Markov sono date dalla loro possibilit` a di “comunicare”.
Definizione 2.1.1 Si consideri una catena di Markov e due suoi stati i, j ∈
S.
i) Lo stato j `e detto accessibile dallo stato i se ∃n ≥ 0 tale che p
(n)
ij
> 0,
in tal caso useremo la seguente notazione:
i → j
ii) gli stati i e j sono detti comunicanti se lo stato j `e accessibile dallo
stato i ed a sua volta lo stato i `e accessibile dallo stato j:
i → j e j → i
in altre parole, i e j sono comunicanti se ∃n, m ≥ 0 tali che p
(n)
ij
> 0 e
p
(m)
ji
> 0.
iii) lo stato i `e detto assorbente se p
ii
= 1;
iv) la catena di Markov `e detta irriducibile se tutti gli stati del processo
comunicano tra loro.
Il seguente teorema puntualizza in modo formale la propriet` a che carat-
terizza due stati comunicanti.
17
18 CAPITOLO 2. CLASSIFICAZIONE DEGLI STATI
Teorema 2.1.1 Si consideri una catena di Markov e due suoi stati i, j ∈ S.
Le seguenti condizioni sono equivalenti:
i) i → j,
ii) P{∃n ≥ 0 tale che X
n
= j|X
0
= i} > 0,
iii) esistono n −1 stati k
1
, . . . , k
n−1
∈ S, tali che:
p
ik
1
· p
k
1
k
2
· p
k
2
k
3
· . . . · p
k
n−2
k
n−1
· p
k
n−1
j
> 0
Dim. i)⇔ii) Si osservi preliminarmente che
p
(n)
ij
≤ P{∃n ≥ 0 tale che X
n
= j|X
0
= i} ≤
+∞
¸
n=0
p
(n)
ij
Se vale la i) allora anche la ii) vale banalmente. Se vale la ii) allora
¸
+∞
n=0
p
(n)
ij
> 0 e quindi esiste necessariamente un n ≥ 0 tale che p
(n)
ij
> 0.
i)⇔iii) Basta ricordare la (1.3.1).
In altre parole, lo stato j `e accessibile dallo stato i se e solo se il sistema
pu` o raggiungere, in un certo numero di transizioni, lo stato j a partire dallo
stato i. Le seguenti ulteriori propriet` a permettono di partizionare gli stati
di una catena di Markov in classi di equivalenza.
Propriet`a 2.1.1 Si considerino gli stati i, j, h ∈ S.
i) ogni stato comunica con se stesso,
ii) se lo stato i comunica con lo stato j allora anche lo stato j comunica
con i,
iii) se lo stato i comunica con lo stato j e lo stato j comunica con lo stato
h allora anche lo stato i comunica con lo stato h.
Dim. i) Segue dal fatto che p
(0)
ii
= P{X
0
= i|X
0
= i} = 1.
ii) Segue banalmente dalla definizione.
iii) siano a, b, c, d ≥ 0 tali che p
(a)
ij
> 0, p
(b)
ji
> 0, p
(c)
jh
> 0 e p
(d)
hj
> 0; dalle
equazioni di Chapman-Kolmogorov segue che
p
(a+c)
ih
=
¸
k∈S
p
(a)
ik
p
(c)
kh
≥ p
(a)
ij
p
(c)
jh
> 0
p
(d+b)
hi
=
¸
k∈S
p
(d)
hk
p
(b)
ki
≥ p
(d)
hj
p
(b)
ji
> 0
da cui la tesi.
2.2. STATI RICORRENTI E STATI TRANSITORI 19
La relazione che lega due stati comunicanti verifica quindi le propriet` a
riflessiva, simmetrica e transitiva, pertanto essa `e una relazione di equiv-
alenza. Gli stati di una catena possono quindi essere partizionati in classi di
equivalenza disgiunte tali che tutti gli stati di una certa classe comunicano
tra loro (una classe pu` o essere composta anche da un singolo stato).
2.2 Stati ricorrenti e stati transitori
Vediamo adesso come `e possibile differenziare tra loro gli stati di una catena.
Definizione 2.2.1 Si consideri una catena di Markov ed un suo stato i ∈ S.
i) lo stato i `e detto transitorio se esiste uno stato j ∈ S, j = i, tale per
cui j `e accessibile da i mentre i non `e accessibile da j, ovvero se:
∃j ∈ S, j = i, tale che i → j e j → i
ii) lo stato i `e detto ricorrente se non `e transitorio, ovvero se:
∀j ∈ S risulta: { i → j =⇒ j → i }
Si osservi che uno stato assorbente i (p
ii
= 1) `e un particolare stato
ricorrente. Direttamente dalla definizione (uno stato `e ricorrente se non `e
transitorio) si ottiene la seguente propriet` a di immediata verifica.
Propriet`a 2.2.1 Ogni stato di una catena di Markov `e, in modo esclusivo,
ricorrente oppure transitorio.
Per poter studiare formalmente le propriet` a degli stati ricorrenti e degli
stati transitori necessitiamo delle seguenti variabili aleatorie, dove i ∈ S `e
uno stato della catena:
• V
i
=
¸
+∞
n=0
1
{X
n
=i}
, detta numero di passaggi in i (
1
),
• T
i
= inf{n ≥ 1 : X
n
= i}, detta tempo di primo passaggio in i,
• f
(n)
ij
= P{T
j
= n|X
0
= i}, detta probabilit` a del tempo di primo
passaggio dallo stato i allo stato j; per la (1.3.1) risulta:
f
(n)
ij
=
¸
k
1
,...,k
n−1
∈S\{j}
p
ik
1
· p
k
1
k
2
· p
k
2
k
3
· . . . · p
k
n−2
k
n−1
· p
k
n−1
j
(2.2.1)
1
La variabile aleatoria 1
{X
n
=i}
`e la funzione indicatrice di X
n
= i, ovvero:
1
{X
n
=i}
=

1 se X
n
= i
0 se X
n
= i
20 CAPITOLO 2. CLASSIFICAZIONE DEGLI STATI
• f
ij
= P{T
j
< +∞|X
0
= i} = P{∃n ≥ 1 tale che X
n
= j|X
0
= i},
detta probabilit` a di arrivo dallo stato i nello stato j (si osservi
che per definizione T
j
≥ 1); nel caso particolare in cui sia i = j allora
la variabile aleatoria f
ii
`e detta probabilit` a di ritorno in i.
Lemma 2.2.1 Si consideri una catena di Markov ed un suo stato i ∈ S.
i) E{V
i
|X
0
= i} =
¸
+∞
n=0
p
(n)
ii
,
ii) P{V
i
> r|X
0
= i} = (f
ii
)
r
,
iii) E{V
i
|X
0
= i} =
¸
+∞
r=0
P{V
i
> r|X
0
= i} =
¸
+∞
r=0
(f
ii
)
r
Dim. i) Basta osservare che:
E{V
i
|X
0
= i} = E

+∞
¸
n=0
1
{X
n
=i}
|X
0
= i
¸
=
+∞
¸
n=0
E

1
{X
n
=i}
|X
0
= i
¸
=
=
+∞
¸
n=0
P{X
n
= i|X
0
= i} =
+∞
¸
n=0
p
(n)
ii
ii) Vedi [11] pag.25.
iii) Segue dalla ii) osservando che:
+∞
¸
r=0
P{V
i
> r|X
0
= i} =
+∞
¸
r=0
+∞
¸
v=r+1
P{V
i
= v|X
0
= i}
=
+∞
¸
v=1
v−1
¸
r=0
P{V
i
= v|X
0
= i}
=
+∞
¸
v=1
vP{V
i
= v|X
0
= i} = E{V
i
|X
0
= i}
Lemma 2.2.2 Si consideri una catena di Markov e due suoi stati i, j ∈ S.
i) f
ij
=
¸
+∞
n=1
f
(n)
ij
,
ii) P{X
n
= i per infiniti n ≥ 0|X
0
= i} = lim
r→+∞
(f
ii
)
r
, in particolare
tale probabilit` a pu` o assumere solamente i valori 0 ed 1,
iii) P{∃n ≥ m+ 1 tale che X
n
= j|X
0
= i} =
¸
k∈S
p
(m)
ik
f
kj
∀m ≥ 0,
iv) lim
r→+∞
(f
ii
)
r

¸
k∈S
p
(m)
ik
f
ki
≤ f
ii
≤ 1 ∀m ≥ 0.
Dim. i) Essendo gli eventi {T
i
= n} mutuamente esclusivi (dal momento
che {T
i
= n} ∩ {T
i
= m} = ∅ per ogni n = m) risulta (
2
):
f
ij
= P{T
j
< +∞|X
0
= i} = P{∪
+∞
n=1
(T
j
= n)|X
0
= i} =
2
Si consideri una sequenza di eventi A
1
, A
2
, A
3
, . . . ∈ Ω che si escludono a vicenda
(ovvero tali che A
i
∩ A
j
= ∅ per ogni coppia i = j) tale che ∪
+∞
i=1
A
i
∈ Ω, sia inoltre B un
2.2. STATI RICORRENTI E STATI TRANSITORI 21
=
+∞
¸
n=1
P{T
j
= n|X
0
= i} =
+∞
¸
n=1
f
(n)
ij
ii) Basta osservare che, per il Lemma 2.2.1:
P{X
n
= i per infiniti n ≥ 0|X
0
= i} = P{V
i
= +∞|X
0
= i} =
= lim
r→+∞
P{V
i
> r|X
0
= i} =
= lim
r→+∞
(f
ii
)
r
La tesi segue quindi osservando che f
ii
∈ [0, 1].
iii) Per il Teorema delle Probabilit` a Totali, la Propriet` a di Markov e la
stazionariet` a delle probabilit` a di transizione, per ogni m ≥ 0 risulta:
P{∃n ≥ m+ 1 t.c. X
n
= j|X
0
= i} =
¸
k∈S
P{∃n ≥ m+ 1 t.c. X
n
= j|X
m
= k, X
0
= i}P{X
m
= k|X
0
= i} =
¸
k∈S
P{∃n ≥ m+ 1 t.c. X
n
= j|X
m
= k}p
(m)
ik
=
¸
k∈S
p
(m)
ik
P{∃n ≥ 1 t.c. X
n
= j|X
0
= k} =
¸
k∈S
p
(m)
ik
f
kj
iv) Basta osservare che, per il Lemma 2.2.1 e per quanto dimostrato in
precedenza, per ogni m ≥ 0:
lim
r→+∞
(f
ii
)
r
= P{X
n
= i per infiniti n ≥ 0|X
0
= i} ≤
≤ P{∃n ≥ m+ 1 t.c. X
n
= i|X
0
= i} ≤
≤ P{∃n ≥ 1 t.c. X
n
= i|X
0
= i} = f
ii
≤ 1
In particolare si osservi che:
• se f
ij
=
¸
+∞
n=1
f
(n)
ij
= P{T
j
< +∞|X
0
= i} < 1 il processo, partendo
dallo stato i, pu` o non raggiungere mai lo stato j;
• se f
ij
=
¸
+∞
n=1
f
(n)
ij
= P{T
j
< +∞|X
0
= i} = 1 il processo, partendo
dallo stato i, raggiunger` a sicuramente prima o poi lo stato j; in questo
altro evento. Allora (si veda ad esempio [10]):
P{∪
+∞
i=1
A
i
|B} =
P{(∪
+∞
i=1
A
i
), B}
P{B}
=
P{∪
+∞
i=1
(A
i
, B)}
P{B}
=
=
¸
+∞
i=1
P{A
i
, B}
P{B}
=
+∞
¸
i=1
P{A
i
, B}
P{B}
=
+∞
¸
i=1
P{A
i
|B}
22 CAPITOLO 2. CLASSIFICAZIONE DEGLI STATI
caso f
(n)
ij
pu` o essere considerata come la distribuzione di probabilit` a
della variabile aleatoria tempo di primo passaggio dallo stato i allo
stato j;
I precedenti lemmi permettono di dimostrare i due seguenti teoremi che
caratterizzano gli stati ricorrenti e quelli transitori.
Teorema 2.2.1 Si consideri una catena di Markov ed un suo stato i ∈ S.
Le seguenti condizioni sono equivalenti:
i) i `e ricorrente,
ii) per ogni j ∈ S risulta: { i → j =⇒ f
ji
= 1 },
iii) f
ii
=
¸
+∞
n=1
f
(n)
ii
= 1,
iv) P{X
n
= i per infiniti n ≥ 0|X
0
= i} = P{V
i
= +∞|X
0
= i} = 1,
v)
¸
+∞
n=0
p
(n)
ii
= +∞.
Dim. i)⇒ii) ????? DA FARE ?????
Se i `e assorbente,ovvero p
ii
= 1, la tesi `e banale. Sia ora j ∈ S tale che
p
(n)
ij
> 0, con n ≥ 0; essendo i ricorrente ∃m ≥ 0 tale che p
(m)
ji
> 0. Per ogni
intero k ≥ 0 risulta quindi:
p
(k(m+n))
ii
≥ (p
(m+n)
ii
)
k
≥ (p
(n)
ij
· p
(m)
ji
)
k
> 0
ii)⇒i) Sia i → j; dovendo essere
1 = f
ji
= P{∃n ≥ 1 tale che X
n
= i|X
0
= j}
allora ∃n ≥ 1 tale che p
(n)
ji
= P{X
n
= i|X
0
= j} > 0 e quindi j → i.
ii)⇒iii) Banale, dal momento che ogni stato i comunica con se stesso.
iii)⇒ii) Per la iv) del Lemma 2.2.2 risulta, ∀m ≥ 0,
¸
k∈S
p
(m)
ik
f
ki
= 1,
essendo poi
¸
k∈S
p
(m)
ik
= 1 si ottiene
¸
k∈S
p
(m)
ik
(1 −f
ki
) = 0 equivalente a:
p
(m)
ik
(1 −f
ki
) = 0 ∀k ∈ S
Di conseguenza, se i → j, ovvero se esiste un m ≥ 0 tale che p
(m)
ij
> 0, deve
necessariamente essere f
ji
= 1.
iii)⇔iv) Per la ii) del Lemma 2.2.2 , la iv) vale se e solo se lim
r→+∞
(f
ii
)
r
=
1 il che accade, essendo f
ii
∈ [0, 1], se e solo se f
ii
= 1.
iii)⇔v) Essendo f
ii
∈ [0, 1] risulta, per il Lemma 2.2.1,
¸
+∞
n=0
p
(n)
ii
=
¸
+∞
r=0
(f
ii
)
r
= +∞ se e solo se f
ii
= 1.
In altre parole, uno stato i `e ricorrente se il processo torner`a sicuramente
prima o poi nello stato i, ovvero se vi torner` a infinite volte.
2.3. CLASSI DI STATI RICORRENTI/TRANSITORI 23
Teorema 2.2.2 Si consideri una catena di Markov ed un suo stato i ∈ S.
Le seguenti condizioni sono equivalenti:
i) i `e transitorio,
ii) ∃j ∈ S tale che i → j e f
ji
< 1,
iii) f
ii
=
¸
+∞
n=1
f
(n)
ii
< 1,
iv) P{X
n
= i per infiniti n ≥ 0|X
0
= i} = P{V
i
= +∞|X
0
= i} = 0,
v)
¸
+∞
n=0
p
(n)
ii
=
1
1−f
ii
< +∞.
Dim. Essendo uno stato i transitorio se e solo se non `e ricorrente, basta
negare le condizioni del Teorema 2.2.1. Per la condizione v) si osservi che per
il Lemma 2.2.1, essendo f
ii
< 1, risulta
¸
+∞
n=0
p
(n)
ii
=
¸
+∞
r=0
(f
ii
)
r
=
1
1−f
ii
.
In altre parole, uno stato i `e transitorio se il processo pu` o non ritornarvi
mai pi` u, ovvero se vi torner` a solamente un numero finito di volte.
2.3 Classi di stati ricorrenti/transitori
Per gli stati appartenenti ad una stessa classe di equivalenza vale inoltre la
seguente importante propriet` a.
Teorema 2.3.1 In una stessa classe di stati comunicanti gli stati sono tutti
ricorrenti oppure tutti transitori.
Dim. Siano i e j due qualsiasi stati comunicanti della classe considerata,
per definizione quindi ∃n, m ≥ 0 tali che p
(n)
ij
> 0 e p
(m)
ji
> 0. Per ogni r ≥ 0
risulta:
p
(n+r+m)
ii
≥ p
(n)
ij
· p
(r)
jj
· p
(m)
ji
e p
(n+r+m)
jj
≥ p
(m)
ji
· p
(r)
ii
· p
(n)
ij
e quindi, rispettivamente dalla prima e dalla seconda disequazione, si ha:
¸
+∞
r=0
p
(r)
jj

1
p
(n)
ij
·p
(m)
ji
·
¸
+∞
r=0
p
(n+r+m)
ii

1
p
(n)
ij
·p
(m)
ji
·
¸
+∞
r=0
p
(r)
ii
(2.3.1)
¸
+∞
r=0
p
(r)
jj

¸
+∞
r=0
p
(n+r+m)
jj
≥ p
(n)
ij
· p
(m)
ji
·
¸
+∞
r=0
p
(r)
ii
(2.3.2)
Se lo stato i `e transitorio allora, per il Teorema 2.2.2,
¸
+∞
r=0
p
(r)
ii
< +∞, dalla
(2.3.1) segue quindi che
¸
+∞
r=0
p
(r)
jj
< +∞ e quindi anche j `e transitorio.
Se lo stato i `e ricorrente allora, per il Teorema 2.2.1,
¸
+∞
r=0
p
(r)
ii
= +∞,
dalla (2.3.2) segue quindi che
¸
+∞
r=0
p
(r)
jj
= +∞ e quindi anche j `e ricor-
rente.
Tale risultato ci permette, d’ora in poi, di utilizzare le seguenti notazioni:
24 CAPITOLO 2. CLASSIFICAZIONE DEGLI STATI
• T ⊂ S `e l’insieme degli stati transitori,
• r ≥ 1 `e il numero di classi di equivalenza (degli stati della catena)
composte da stati ricorrenti,
• C
1
, . . . , C
r
⊆ S sono le r classi di stati ricorrenti della catena.
Ovviamente i sottoinsiemi degli stati della catena sopra introdotti sono
disgiunti ed inoltre risulta:
T ∪ C
1
∪ . . . ∪ C
r
= S
2.4 Analisi di una catena di Markov
tramite il suo grafo associato
Un metodo pratico per studiare le propriet` a degli stati di una catena di
Markov `e quella di analizzarne il grafo associato, nel quale ad ogni stato
corrisponde un nodo ed ad ogni valore p
ij
> 0 corrisponde un arco orientato
dal nodo i al nodo j.
Uno stato j risulta accessibile dallo stato i se e solo se esiste un cammino
orientato dal nodo i al nodo j, di conseguenza due stati i e j risultano
comunicanti (e quindi appartengono alla stessa classe di equivalenza) se e
solo se appartengono ad uno stesso ciclo orientato.
Se esiste un arco uscente da una certa classe di equivalenza di nodi allora
tale classe `e composta esclusivamente da stati transitori.
Gli stati assorbenti hanno un solo arco uscente che torna al nodo stesso.
Esempio 2.4.1 (fotocamere) La catena di Markov relativa all’esempio
del negozio di fotocamere risulta irriducibile (poich´e p
(2)
ij
> 0 ∀i, j) e ricor-
rente (essendo una catena a stati finiti irriducibile).
Esempio 2.4.2 Studiamo adesso le seguenti catene, di cui forniremo soltan-
to la matrice di transizione (il simbolo “∗” indica una probabilit` a positiva),
per mezzo del corrispondente grafo associato.
a) Si consideri la seguente matrice, il cui grafo associato `e rappresentato
in Figura 2.1:
P =

0 ∗ ∗ 0
∗ 0 0 0
0 0 0 ∗
∗ 0 0 ∗
¸
¸
¸
¸
¸
abbiamo una sola classe di equivalenza e quindi la catena `e irriducibile,
inoltre essendo una catena a stati finiti risulta anche ricorrente;
2.4. ANALISI DI UNACATENADI MARKOVTRAMITE IL SUOGRAFOASSOCIATO25
Figura 2.1:
b) si consideri la seguente matrice, il cui grafo associato `e rappresentato
in Figura 2.2:
P =

0 ∗ ∗ 0
0 0 0 ∗
0 0 0 ∗
∗ 0 0 0
¸
¸
¸
¸
¸
anche in questo caso, avendo una sola classe di equivalenza, la catena
a stati finiti `e irriducibile e ricorrente;
Figura 2.2:
c) si consideri infine la seguente matrice, il cui grafo associato `e rappre-
sentato in Figura 2.3:
P =

∗ ∗ ∗ 0
0 ∗ 0 ∗
0 0 ∗ 0
0 ∗ 0 0
¸
¸
¸
¸
¸
abbiamo 3 diverse classi di equivalenza, lo stato 0 `e transitorio mentre
gli stati 1, 2 e 3 sono ricorrenti, in particolare lo stato 2 `e assorbente.
26 CAPITOLO 2. CLASSIFICAZIONE DEGLI STATI
Figura 2.3:
2.5 Osservazioni finali
Concludiamo questo capitolo osservando le seguenti propriet` a:
i) in una catena di Markov a stati finiti non tutti gli stati possono essere
transitori (se ci` o fosse vero dopo un numero finito di transizioni il
sistema potrebbe abbandonare tutti i suoi stati, il che `e assurdo);
ii) una catena di Markov irriducibile `e composta da una unica classe di
equivalenza di stati comunicanti;
iii) una condizione sufficiente (ma non necessaria) affinch´e una catena a
stati finiti sia irriducibile `e che esista un istante n > 0 tale che p
(n)
ij
> 0
∀i, j (si veda al riguardo il Teorema 3.4.3);
iv) tutti gli stati di una catena di Markov a stati finiti irriducibile sono
ricorrenti (la catena ha una sola classe di equivalenza ed i suoi stati
non possono essere tutti transitori);
v) se il sistema transisce al di fuori di una classe di equivalenza allora tale
classe `e composta esclusivamente da stati transitori ai quali il sistema
non acceder`a mai pi` u (il sistema lascia una classe di equivalenza se
transisce in uno stato che non comunica con i precedenti e quindi non
pu` o pi` u in seguito tornare in tale classe, da ci`o segue per definizione
che tutti gli stati della classe sono transitori);
vi) se il sistema transisce in uno stato appartenente ad una classe di equiv-
alenza composta soltanto da stati ricorrenti da quel momento in poi
non lascier` a pi` u tale classe (se il sistema potesse lasciare tale classe
essa sarebbe composta da stati transitori il che nega le ipotesi);
2.5. OSSERVAZIONI FINALI 27
vii) se i e j sono due stati ricorrenti appartenenti a classi di equivalenza
diverse allora p
(n)
ij
= 0 e p
(n)
ji
= 0 ∀n > 0 (se tali valori potessero essere
positivi per un qualche valore di n > 0 allora il sistema potrebbe
transire al di fuori della classe iniziale, il che `e assurdo essendo le
classi composte da stati ricorrenti);
viii) il sistema pu` o tornare sempre indefinitamente in uno stato ricorrente
mentre pu` o lasciare per sempre uno stato transitorio dopo aver transito
in esso al pi` u un numero finito di volte.
28 CAPITOLO 2. CLASSIFICAZIONE DEGLI STATI
Capitolo 3
Propriet`a di lungo periodo
3.1 Probabilit`a stabilizzate
In una sezione precedente, abbiamo studiato le distribuzioni di probabilit` a a
tempo t, che nel caso delle catene di Markov a stati finiti altro non sono che i
vettori q
(t)
, con t ≥ 0, che indicano la probabilit` a di essere in un determinato
stato dopo un numero t di transizioni del sistema; in particolare abbiamo
visto che:
[q
(t)
]
T
= [q
(0)
]
T
P
(t)
= [q
(0)
]
T
P
t
.
Vi sono dei particolari vettori delle probabilit` a iniziali q
(0)
per i quali i vettori
delle probabilit` a a tempo n risultano costanti nel tempo; tali particolari
vettori vengono chiamati vettori delle probabilit` a stabilizzate.
Definizione 3.1.1 Si consideri una catena di Markov a stati finiti e sia
u = [1, 1, . . . , 1, 1]
T
. Si definiscono equazioni degli stati stabilizzati (
1
)
le equazioni del seguente sistema lineare:
(P
T
−I)π = 0, u
T
π = 1
ovvero
π
j
=
¸
i∈S
π
i
p
ij
∀j ∈ S;
¸
j∈S
π
j
= 1 (3.1.1)
I vettori π soluzioni delle equazioni degli stati stabilizzati sono detti vettori
delle probabilit` a stabilizzate.
Si osservi che lo studio delle probabilit` a stabilizzate `e limitato alle catene
di Markov a stati finiti. Valgono le seguenti propriet` a fondamentali.
1
Si osservi che le equazioni degli stati stabilizzati {(P
T
−I)π = 0, u
T
π = 1} indicano
che il vettore π `e l’autovettore della matrice P
T
corrispondente all’autovalore λ = 1 avente
la somma delle proprie componenti uguale ad 1.
29
30 CAPITOLO 3. PROPRIET
`
A DI LUNGO PERIODO
Propriet`a 3.1.1 Si consideri una catena di Markov a stati finiti e sia
u = [1, 1, . . . , 1, 1]
T
.
i) Esiste sempre almeno un vettore delle probabilit` a stabilizzate,
ii) i vettori delle probabilit` a stabilizzate sono dei vettori di distribuzione
delle probabilit` a corretti, ovvero sono tali che π ≥ 0 e π
T
u = 1,
iii) sia π un qualsiasi vettore delle probabilit` a stabilizzate, allora:
q
(0)
= π =⇒ q
(t)
= π ∀t ≥ 1.
Dim. i) Il sistema omogeneo (P
T
−I)π = 0 ha sempre almeno ∞
1
soluzioni
(essendo λ = 1 autovalore della matrice P
T
), quindi aggiungendo al sistema
l’equazione u
T
π = 1 abbiamo sempre almeno una soluzione.
ii) Per il Teorema di Perron-Frobenius “versione debole” la matrice P
T
ammette autovettori π corrispondenti all’autovalore dominante λ
P
= 1 aven-
ti le componenti dello stesso segno (ovvero π ≥ 0 oppure π ≤ 0), poich´e si
richiede che sia u
T
π = 1 deve necessariamente essere π ≥ 0.
iii) Sia q
(0)
= π, allora risulta q
(t)
=

P
T

t
q
(0)
=

P
T

t
π; essendo
P
T
π = π si ha

P
T

t
π =

P
T

t−1
(P
T
π) =

P
T

t−1
π = . . . = π da cui la
tesi.
Si osservi che l’equazione u
T
π = 1 `e necessaria affinch´e i vettori π delle
probabilit` a stabilizzate siano dei vettori di distribuzione delle probabilit` a
corretti. Utilizzando dei risultati relativi alle matrici stocastiche, basati sulla
loro cosiddetta Forma Standard, `e possibile dimostrare le seguenti propriet` a
dei vettori delle probabilit` a stabilizzate.
Teorema 3.1.1 Si consideri una catena di Markov a stati finiti.
i) Se i ∈ S `e uno stato transitorio allora π
i
= 0 per ogni vettore π delle
probabilit` a stabilizzate,
ii) vi sono r vettori delle probabilit` a stabilizzate linearmente indipendenti
se e solo se la catena ha r classi di stati ricorrenti,
iii) vi `e un unico vettore delle probabilit` a stabilizzate π se e solo se la
catena ha una unica classe di stati ricorrenti; in particolare risulta:
π
i
= 0 ⇔ i ∈ T e π
i
> 0 ⇔ i / ∈ T,
iv) se la catena `e irriducibile allora esiste un unico vettore delle probabilit` a
stabilizzate π ed in particolare risulta π > 0.
3.1. PROBABILIT
`
A STABILIZZATE 31
Dim. Segue dalla forma standard delle matrici stocastiche e dai Teoremi
di Perron-Frobenius.
Alcuni dei vettori delle probabilit` a stabilizzate giocheranno un ruolo fon-
damentale nello studio del comportamento di lungo periodo delle catene
di Markov; tali vettori verranno chiamati vettori canonici delle probabilit` a
stabilizzate.
Definizione 3.1.2 Si consideri una catena di Markov a stati finiti avente
r classi di stati ricorrenti C
1
, . . . , C
r
. Si definiscono vettori canonici
delle probabilit` a stabilizzate gli r vettori delle probabilit` a stabilizzate
π
(1)
, . . . , π
(r)
linearmente indipendenti tali che ∀i = 1, . . . , N, ∀j = 1, . . . , r:
{ π
(j)
i
= 0 ⇔ i / ∈ C
j
} e { π
(j)
i
> 0 ⇔ i ∈ C
j
}
Si ricordi che la somma delle componenti di un vettore delle probabilit` a
stabilizzate `e uguale ad 1.
Esempio 3.1.1 (fotocamere) Calcoliamo i vettori delle probabilit` a stabi-
lizzate nel caso del negozio di articoli fotografici. Le equazioni degli stati
stabilizzati sono:

π
0
= p
00
π
0
+p
10
π
1
+p
20
π
2
+p
30
π
3
π
1
= p
01
π
0
+p
11
π
1
+p
21
π
2
+p
31
π
3
π
2
= p
02
π
0
+p
12
π
1
+p
22
π
2
+p
32
π
3
π
3
= p
03
π
0
+p
13
π
1
+p
23
π
2
+p
33
π
3
1 = π
0

1

2

3
ovvero

π
0
= 0.0802π
0
+0.6321π
1
+0.2642π
2
+0.0802π
3
π
1
= 0.1840π
0
+0.3679π
1
+0.3679π
2
+0.1840π
3
π
2
= 0.3679π
0
+0.3679π
2
+0.3679π
3
π
3
= 0.3679π
0
+0.3679π
3
1 = π
0

1

2

3
risolvendo le ultime 4 equazioni abbiamo
π = [π
0
, π
1
, π
2
, π
3
]
T
= [0.28581247, 0.28471134, 0.26313999, 0.16633620]
T
.
Si osservi che abbiamo ottenuto un unico vettore delle probabilit` a stabiliz-
zate e che tale vettore `e positivo; in effetti la catena considerata `e irriducibile
e quindi un tale risultato `e garantito dalla iv) del Teorema 3.1.1.
32 CAPITOLO 3. PROPRIET
`
A DI LUNGO PERIODO
3.2 Tempi medi di primo passaggio
Con le equazioni di Chapman-Kolmogorov abbiamo studiato le probabilit` a
di transizione in n passi. Andiamo adesso ad approfondire lo studio della
probabilit` a che il sistema passi per la prima volta da uno stato i ad uno
stato j in n passi:
f
(n)
ij
= P{T
j
= n|X
0
= i} =
=
¸
k
1
,...,k
n−1
∈S\{j}
p
ik
1
· p
k
1
k
2
· p
k
2
k
3
· . . . · p
k
n−2
k
n−1
· p
k
n−1
j
Il seguente teorema mostra un importante legame tra le probabilit` a del
tempo di primo passaggio e le probabilit` a di transizione in n passi.
Teorema 3.2.1 Si consideri una catena di Markov. Per ogni n ≥ 1 risulta:
p
(n)
ij
= f
(n)
ij
+
n−1
¸
k=1
f
(k)
ij
p
(n−k)
jj
Dim. Per la (1.3.1) risulta
p
(n)
ij
=
¸
k
1
,...,k
n−1
∈S
p
ik
1
· p
k
1
k
2
· p
k
2
k
3
· . . . · p
k
n−2
k
n−1
· p
k
n−1
j
=
=
¸
k
1
=j,k
2
,...,k
n−1
∈S
p
ik
1
· . . . · p
k
n−1
j
+
+
¸
k
1
∈S\{j},k
2
=j,k
3
,...,k
n−1
∈S
p
ik
1
· . . . · p
k
n−1
j
+
+
¸
k
1
,k
2
∈S\{j},k
3
=j,k
4
,...,k
n−1
∈S
p
ik
1
· . . . · p
k
n−1
j
+
+. . . +
¸
k
1
,...,k
n−1
∈S\{j}
p
ik
1
· . . . · p
k
n−1
j
=
= f
(1)
ij
p
(n−1)
jj
+f
(2)
ij
p
(n−2)
jj
+f
(3)
ij
p
(n−3)
jj
+. . . +f
(n)
ij
da cui la tesi.
Il precedente teorema suggerisce come le probabilit`a f
(n)
ij
possano essere
calcolate ricorsivamente per mezzo delle probabilit`a di transizione in n passi:
f
(1)
ij
= p
(1)
ij
= p
ij
f
(2)
ij
= p
(2)
ij
−f
(1)
ij
p
jj
.
.
.
f
(n)
ij
= p
(n)
ij
−f
(1)
ij
p
(n−1)
jj
−f
(2)
ij
p
(n−2)
jj
−. . . −f
(n−2)
ij
p
(2)
jj
−f
(n−1)
ij
p
jj
3.2. TEMPI MEDI DI PRIMO PASSAGGIO 33
Esempio 3.2.1 (fotocamere) Le probabilit` a di primo passaggio dallo sta-
to 3 allo stato 0 in n passi risultano:
f
(1)
30
= p
30
= 0.0802
f
(2)
30
= p
(2)
30
−f
(1)
30
p
00
= 0.2495 −0.0802 · 0.0802 = 0.2431
f
(3)
30
= p
(3)
30
−f
(1)
30
p
(2)
00
−f
(2)
30
p
00
=
= 0.2930 −0.0802 · 0.2495 −0.2431 · 0.0802 = 0.2535
f
(4)
30
= . . . = 0.1851
e cos
`
i via.
Mentre calcolare f
(n)
ij
(probabilit` a che il tempo di primo arrivo dallo stato
i allo stato j sia uguale ad n) per tutti gli n pu` o essere difficoltoso, `e rela-
tivamente semplice ottenere il tempo medio di primo passaggio dallo
stato i allo stato j, denotato con µ
ij
e definito dalla seguente espressione:
µ
ij
=

+∞ se
¸
+∞
n=1
f
(n)
ij
< 1
¸
+∞
n=1
nf
(n)
ij
se
¸
+∞
n=1
f
(n)
ij
= 1
Quando
¸
+∞
n=1
f
(n)
ij
= 1 allora µ
ij
soddisfa univocamente l’equazione:
µ
ij
= 1 +
¸
k=j
p
ik
µ
kj
Fissando quindi uno stato di arrivo j, questa espressione ci permette di
ottenere un sistema lineare la cui soluzione fornisce i tempi medi di primo
passaggio da tutti i possibili stati iniziali allo stato finale j. Nel caso in cui
sia i = j, µ
ii
`e detto tempo medio di ritorno.
Esempio 3.2.2 (fotocamere) Calcoliamo adesso i tempi medi di primo
arrivo nello stato 0:

µ
00
= 1 +p
01
µ
10
+p
02
µ
20
+p
03
µ
30
µ
10
= 1 +p
11
µ
10
+p
12
µ
20
+p
13
µ
30
µ
20
= 1 +p
21
µ
10
+p
22
µ
20
+p
23
µ
30
µ
30
= 1 +p
31
µ
10
+p
32
µ
20
+p
33
µ
30
ovvero

µ
00
= 1 + 0.184µ
10
+ 0.368µ
20
+ 0.368µ
30
µ
10
= 1 + 0.368µ
10
µ
20
= 1 + 0.368µ
10
+ 0.368µ
20
µ
30
= 1 + 0.184µ
10
+ 0.368µ
20
+ 0.368µ
30
la cui soluzione `e µ
00
= 3.50, µ
10
= 1.58, µ
20
= 2.51, µ
30
= 3.50. In altre
parole, se la scorta in magazzino `e, rispettivamente, di 0,1,2,3 fotocamere
allora la scorta viene esaurita in media in 3.50, 1.58, 2.51, 3.50 settimane.
34 CAPITOLO 3. PROPRIET
`
A DI LUNGO PERIODO
Pu` o essere utile vedere come il sistema lineare necessario per calco-
lare i tempi medi di primo passaggio possa essere espresso anche in forma
matriciale. A tal fine, fissiamo uno stato di arrivo j ∈ S, definiamo il vettore
µ
∗j
= [µ
0j
, . . . , µ
(N−1)j
]
e denominiamo con I
R
la matrice ottenuta dalla matrice identica I ponendo
a zero il j-esimo elemento principale [j, j]. Posto u = [1, 1, . . . , 1, 1]
T
si
ottiene:
(I −P · I
R
) µ
∗j
= u
Si ricordi che tale formula `e valida solamente quando
¸
+∞
n=1
f
(n)
ij
= 1.
3.3 Probabilit`a di assorbimento
Si pu` o dimostrare che se j `e uno stato transitorio allora
lim
n→+∞
p
(n)
ij
= 0 ∀i,
ovvero la probabilit` a di trovare il processo in uno stato transitorio dopo un
grande numero di transizioni tende a zero; in pratica ogni stato prima o poi
transir` a in uno stato ricorrente e sar` a “assorbito” dalla classe di tale stato.
Quando in una catena vi sono pi` u classi di equivalenza composte da stati
ricorrenti `e interessante sapere con quale probabilit` a il sistema, inizialmente
in un certo stato i, sar`a assorbito da ognuna di esse.
Definizione 3.3.1 Si consideri una catena di Markov a stati finiti avente r
classi di equivalenza composte da stati ricorrenti, denotate con C
1
, . . . , C
r
,
sia inoltre T l’insieme degli stati transitori. Si definisce probabilit` a di
assorbimento, denotata con f
iC
k
, la probabilit` a con cui il sistema a partire
dallo stato i sar`a assorbito nella classe C
k
.
Le probabilit` a di assorbimento si possono calcolare con la formula indi-
cata nel seguente teorema.
Teorema 3.3.1 Si consideri una catena di Markov a stati finiti. Risulta:
f
iC
k
=

1 se i ∈ C
k
0 se i / ∈ C
k
, i / ∈ T
¸
j∈T
p
ij
f
jC
k
+
¸
j∈C
k
p
ij
se i ∈ T
Dim. Se i `e uno stato ricorrente risulta banalmente che f
iC
k
= 1 se
i ∈ C
k
(dal momento che si `e gi` a nella classe assorbente) mentre f
iC
k
= 0
se i / ∈ C
k
, i / ∈ T (dal momento che siamo in una classe di stati ricorrenti,
diversa da C
k
, dalla quale non si pu` o pi` u uscire).
3.3. PROBABILIT
`
A DI ASSORBIMENTO 35
Sia invece ora i uno stato transitorio, se f
(n)
iC
k
`e la probabilit` a che il
sistema a partire dallo stato i venga assorbito nella classe C
k
esattamente
in n passi, risulta:
f
(1)
iC
k
=
¸
j∈C
k
p
ij
, f
(n+1)
iC
k
=
¸
j∈T
p
ij
f
(n)
jC
k
∀n ≥ 1,
e quindi:
f
iC
k
=
+∞
¸
n=1
f
(n)
iC
k
=
+∞
¸
n=1
f
(n+1)
iC
k
+f
(1)
iC
k
=
+∞
¸
n=1
¸
j∈T
p
ij
f
(n)
jC
k
+
¸
j∈C
k
p
ij
=
=
¸
j∈T
p
ij
+∞
¸
n=1
f
(n)
jC
k
+
¸
j∈C
k
p
ij
=
¸
j∈T
p
ij
f
jC
k
+
¸
j∈C
k
p
ij
.
Ovviamente risulta
¸
r
k=1
f
iC
k
= 1 per ogni stato i della catena.
Esempio 3.3.1 Consideriamo un negoziante che faccia credito ai propri
clienti; egli considerer` a il cliente in stato 0 se ha appena aperto un conto,
in stato 1 se non lo ha saldato da un mese, in stato 2 se non lo ha saldato
da 2 mesi, in stato 3 se non lo ha saldato da 3 mesi, in stato 4 se non
lo ha saldato da pi` u di 3 mesi e probabilmente non lo far` a mai ed infine
considerer`a il cliente in stato 5 se ha saldato tutto il suo debito.
Supponiamo che il processo sia una catena di Markov e che la relativa
matrice delle transizioni sia:
P =

0 0.6 0 0 0 0.4
0 0 0.5 0 0 0.5
0 0 0 0.4 0 0.6
0 0 0 0 0.3 0.7
0 0 0 0 1 0
0 0 0 0 0 1
¸
¸
¸
¸
¸
¸
¸
¸
¸
il cui corrispondente grafo associato `e rappresentato in Figura 3.1.
Gli stati 0, 1, 2 e 3 risultano transitori ed appartenenti a classi di equiv-
alenza diverse mentre gli stati 4 e 5 sono assorbenti e quindi a loro volta
appartengono a classi diverse. Indichiamo con {4} e {5} le classi di equiv-
alenza corrispondenti agli stati assorbenti 4 e 5 rispettivamente e calcoliamo
le probabilit` a di assorbimento degli stati transitori ricordando che, avendo
la catena due sole classi di stati ricorrenti, risulta f
i{4}
+f
i{5}
= 1 per ogni
stato transitorio i:

f
0{4}
= 0.6f
1{4}
f
1{4}
= 0.5f
2{4}
f
2{4}
= 0.4f
3{4}
f
3{4}
= 0.3

f
0{4}
= 0.036
f
1{4}
= 0.06
f
2{4}
= 0.12
f
3{4}
= 0.3
36 CAPITOLO 3. PROPRIET
`
A DI LUNGO PERIODO
Figura 3.1:
e conseguentemente:

f
0{5}
= 1 −f
0{4}
= 0.964
f
1{5}
= 1 −f
1{4}
= 0.94
f
2{5}
= 1 −f
2{4}
= 0.88
f
3{5}
= 1 −f
3{4}
= 0.7
In altre parole la probabilit` a che un cliente che apre un conto non lo saldi
mai `e del 3.6% mentre, ad esempio, la probabilit` a che un cliente che non
paga da 3 mesi saldi alla fine il debito `e del 70%.
Nel caso delle catene di Markov a stati finiti `e possibile definire i vettori
delle probabilit` a di assorbimento, vettori che risulteranno molto importanti
nello studio delle propriet` a di lungo periodo delle catene di Markov a stati
finiti.
Definizione 3.3.2 Si consideri una catena di Markov a stati finiti avente
r classi di stati ricorrenti C
1
, . . . , C
r
. Si definiscono vettori delle probabi-
lit` a di assorbimento gli r vettori φ
(1)
, . . . , φ
(r)
linearmente indipendenti
tali che:
φ
(k)
i
= f
iC
k
∀i = 1, . . . , N, ∀k = 1, . . . , r
E’ importante osservare la seguente propriet` a (
2
).
Propriet`a 3.3.1 Si consideri una catena di Markov a stati finiti avente
r classi di stati ricorrenti C
1
, . . . , C
r
. Risulta:

(k)
= φ
(k)
∀k = 1, . . . , r
2
La Propriet`a 3.3.1 mostra che nelle catene di Markov a stati finiti i vettori delle
probabilit`a di assorbimento altro non sono che autovettori della matrice di transizione P
corrispondenti all’autovalore λ = 1.
3.4. PERIODICIT
`
A DEGLI STATI DI UNA CATENA DI MARKOV 37
Dim. Sia P
i
, i ∈ {1, . . . , N}, una qualsiasi riga di P. Risulta:
P
i
φ
(k)
=
N
¸
j=1
p
ij
φ
(k)
j
=
N
¸
j=1
p
ij
f
jC
k
=
=
¸
j∈T
p
ij
f
jC
k
+
¸
j∈C
k
p
ij
f
jC
k
+
¸
j / ∈C
k
,j / ∈T
p
ij
f
jC
k
=
=
¸
j∈T
p
ij
f
jC
k
+
¸
j∈C
k
p
ij
= f
iC
k
= φ
(k)
i
da cui la tesi.
3.4 Periodicit`a degli stati di una catena di Markov
Un’altra propriet` a importante delle catene di Markov `e la periodicit` a dei
suoi stati.
Definizione 3.4.1 Si consideri una catena di Markov a stati finiti.
i) si definisce periodo di uno stato i il pi` u grande numero intero t ≥ 1
tale che p
(n)
ii
= 0 ∀n = t, 2t, 3t, . . .;
ii) uno stato i `e detto periodico se ammette periodo t > 1, ovvero se `e
possibile (anche se non sicuro) tornare nello stato i solamente dopo un
numero n di transizioni con n = t, 2t, 3t, . . .;
iii) uno stato i `e detto aperiodico se ha periodo t = 1, ovvero se il
processo pu`o tornare nello stato i in due istanti successivi s ed s + 1
(ovvero se ∃s ≥ 1 tale che p
(s)
ii
> 0 e p
(s+1)
ii
> 0);
iv) gli stati aperiodici e ricorrenti sono detti ergodici ;
v) una catena a stati finiti `e detta ergodica (
3
) se tutti i suoi stati ri-
correnti sono aperiodici e quindi ergodici (si osservi che in una cate-
na ergodica vi possono essere varie classi distinte di stati ricorrenti o
di stati transitori, inoltre gli eventuali stati transitori possono essere
anche periodici).
Si pu` o dimostrare che gli stati appartenenti ad una stessa classe di equiv-
alenza sono tutti aperiodici oppure sono tutti periodici aventi lo stesso peri-
odo t. Si osservi inoltre che una catena ergodica pu` o non essere irriducibile
(dal momento che pu` o essere composta da classi distinte di stati ricorrenti
o transitori).
Una condizione sufficiente per la aperiodicit` a di uno stato `e la seguente.
3
Si presti attenzione al fatto che in letteratura viene, di solito, utilizzata una definizione
di ergodicit`a pi` u forte di questa, dal momento che viene generalmente richiesto anche che
la catena non abbia stati transitori.
38 CAPITOLO 3. PROPRIET
`
A DI LUNGO PERIODO
Propriet`a 3.4.1 Se p
ii
> 0 allora lo stato i `e aperiodico.
Dim. Essendo p
ii
= p
(1)
ii
> 0 per le equazioni di Chapman-Kolmogorov si
ha p
(n)
ii
= p
(1·n)
ii

p
(1)
ii

n
> 0 ∀n ≥ 0 e quindi basta assumere s = 1.
Il seguente teorema fornisce invece una caratterizzazione della aperiod-
icit` a di uno stato.
Teorema 3.4.1 Uno stato i `e aperiodico se e solo se
∃n ≥ 0 tale che p
(n)
ii
> 0 ∀n ≥ n.
Dim. La sufficienza `e banale, dimostriamo quindi la necessariet` a.
Se p
(1)
ii
> 0 per le equazioni di Chapman-Kolmogorov abbiamo che p
(n)
ii

p
(1)
ii

n
> 0 ∀n ≥ 0 e quindi basta assumere n = 0.
Sia ora p
(1)
ii
= 0 ed s > 1 tale che p
(s)
ii
> 0 e p
(s+1)
ii
> 0, e verifichiamo
che ∀k ≥ 0 risulta p
(n+k)
ii
> 0 con n = s
2
; ogni k ≥ 0 si pu` o scrivere come
k = as +b, con a ≥ 0 e 0 ≤ b < s, di conseguenza
n +k = ss +as +b = (a +s −b)s +b(s + 1),
per le Propriet` a 1.3.1 delle equazioni di Chapman-Kolmogorov si ha quindi
p
(n+k)
ii
≥ p
((a+s−b)s)
ii
p
(b(s+1))
ii

p
(s)
ii

(a+s−b)

p
(s+1)
ii

b
> 0
da cui la tesi.
E’ possibile caratterizzare anche la aperiodicit` a di tutti gli stati di una
classe.
Teorema 3.4.2 Si consideri una catena di Markov avente una classe di
equivalenza finita E composta da m stati comunicanti. Le seguenti con-
dizioni sono equivalenti:
i) gli stati di E sono aperiodici;
ii) ∃n ≥ 0 tale che p
(n)
ij
> 0 ∀n ≥ n, ∀i, j ∈ E;
iii) ∃n ≥ 0 tale che p
(n)
ij
> 0 ∀i, j ∈ E.
Dim. i)⇒ii) Per il Teorema 3.4.1, essendo tutti gli stati di E aperiodici,
∃˜ n ≥ 0 tale che p
(n)
ii
> 0 ∀n ≥ ˜ n e ∀i ∈ E; poich´e tutti gli stati di E sono
comunicanti esiste nel sottografo loro associato un cammino orientato tra
ogni possibile coppia di nodi, per ogni coppia i, j ∈ E esister`a in particolare
un cammino orientato minimo di lunghezza v = v(i, j) ≤ m tale perci´ o che
3.4. PERIODICIT
`
A DEGLI STATI DI UNA CATENA DI MARKOV 39
p
(v)
ij
> 0; posto quindi n = ˜ n +m verifichiamo che, fissati due stati qualsiasi
i, j ∈ E, p
(n+k)
ij
> 0 ∀k ≥ 0; osservando che
n +k = (˜ n +m+k −v) +v,
con m + k − v ≥ 0, risulta, per le ipotesi e per le equazioni di Chapman-
Kolmogorov, p
(n+k)
ij
≥ p
(˜ n+m+k−v)
ii
p
(v)
ij
> 0, da cui la tesi.
ii)⇒iii) Banale.
iii)⇒i) Sia i un qualsiasi stato di E e sia s = n, per le ipotesi risul-
ta p
(s)
ii
= p
(n)
ii
> 0; poich´e tutti gli stati di E sono comunicanti esiste si-
curamente uno stato j ∈ E tale che p
ji
= p
(1)
ji
> 0, per le equazioni di
Chapman-Kolmogorov si ha quindi che
p
(s+1)
ii
≥ p
(s)
ij
p
(1)
ji
= p
(n)
ij
p
(1)
ji
> 0
da cui la tesi.
Siamo adesso in grado di determinare, per le catene di Markov a stati
finiti irriducibili, una interessante condizione di equivalenza riguardante
l’ergodicit` a della catena stessa.
Teorema 3.4.3 Si consideri una catena di Markov a stati finiti. Le seguenti
condizioni sono equivalenti:
i) la catena `e irriducibile ed ergodica;
ii) ∃n > 0 tale che p
(n)
ij
> 0 ∀i, j ∈ {1, . . . , M};
iii) ∃n > 0 tale che P
(n)
> 0 ∀n ≥ n.
Dim. Segue direttamente dal Teorema 3.4.2 osservando che una catena `e
irriducibile ed ergodica se e solo se tutti i suoi stati sono aperiodici e comu-
nicano tra loro (si ricordi che una catena a stati finiti irriducibile ha solo
stati ricorrenti e non pu` o avere stati transitori).
Esempio 3.4.1 (fotocamere) La catena di Markov relativa all’esempio
del negozio di fotocamere risulta ergodica (poich´e p
(2)
ij
> 0 ∀i, j).
Esempio 3.4.2 Consideriamo di nuovo le catene descritte nell’Esempio 2.4.2.
Nel caso a) che lo stato 3 `e aperiodico (p
(1)
33
> 0 e p
(2)
33
> 0) e quindi
anche tutti gli altri lo sono (essendo la catena composta da una sola classe
di equivalenza) risultando anche ergodici (la catena `e irriducibile).
Nel caso b) tutti gli stati sono periodici di periodo 3 (p
(n)
ii
= 0 per
n = 3, 6, 9, . . .) e quindi la catena non `e ergodica.
40 CAPITOLO 3. PROPRIET
`
A DI LUNGO PERIODO
Nel caso c) tutti gli stati risultano infine banalmente aperiodici essendo
p
00
, p
11
e p
22
positivi ma la catena non `e ergodica dal momento che lo stato
0 `e transitorio.
3.5 Propriet`a nel lungo periodo
Nel caso delle catene di Markov a stati finiti `e possibile studiarne in modo
molto semplice le propriet`a ed il comportamento nel lungo periodo.
3.5.1 Matrice di lungo periodo
I vettori canonici delle probabilit` a stabilizzate π
(1)
, . . . , π
(r)
ed i vettori delle
probabilit` a di assorbimento φ
(1)
, . . . , φ
(r)
permettono di definire la seguente
matrice.
Definizione 3.5.1 Si consideri una catena di Markov a stati finiti avente
matrice di transizione P ed r classi di stati ricorrenti C
1
, . . . , C
r
. Si definisce
matrice di lungo periodo associata a P la matrice:
L
P
= MN
T
dove M = [φ
(1)
, . . . , φ
(r)
] ed N = [π
(1)
, . . . , π
(r)
], ovvero le colonne di M sono
date dagli r vettori delle probabilit` a di assorbimento, mentre le colonne di
N sono composte dagli r vettori canonici delle probabilit` a stabilizzate.
la matrice L
P
sopra definita verifica le seguenti importanti propriet` a.
Teorema 3.5.1 Si consideri una catena di Markov a stati finiti, sia L
P
=
MN
T
la matrice di lungo periodo associata alla sua matrice di transizione
P, sia inoltre u = [1, 1, . . . , 1, 1]
T

N
ed u
r
= [1, 1, . . . , 1, 1]
T

r
. Allora
i) PM = M e P
T
N = N,
ii) N
T
M = I,
iii) N
T
u = u
r
e Mu
r
= u,
iv) L
P
`e stocastica (L
P
u = u) ed idempotente (L
P
L
P
= L
P
).
Dim. i) La condizione PM = M segue direttamente dalla Propriet` a
3.3.1, mentre la condizione P
T
N = N si ottiene dalle equazioni degli stati
stabilizzati della Definizione 3.1.1.
ii) Basta osservare che per le Definizioni 3.1.2 e 3.3.2 e per il Teorema
3.3.1 risulta:
π
(i)
T
φ
(j)
=

π
(i)
T
u = 1 se i = j
0 se i = j
3.5. PROPRIET
`
A NEL LUNGO PERIODO 41
iii) La condizione N
T
u = u
r
segue direttamente dalle equazioni degli
stati stabilizzati. Si osservi poi che per la particolare struttura dei vettori
φ
(k)
, k = 1, . . . , r, studiata nel Teorema 3.3.1 risulta, denotando con M
i
la
i-esima riga di M:
M
i
u
r
=

¸
r
k=1
φ
(k)
i
=
¸
r
k=1
f
iC
k
= 1 se i ∈ T
1 se i / ∈ T
da cui la tesi.
iv) Per le propriet` a ii) e iii) risulta:
L
P
u = MN
T
u = Mu
r
= u
L
P
L
P
= MN
T
MN
T
= M(N
T
M)N
T
= MN
T
= L
P
e quindi la matrice L
P
`e stocastica ed idempotente.
La matrice L
P
assume una struttura molto semplice nel caso in cui la
catena ammetta una unica classe di stati ricorrenti.
Teorema 3.5.2 Si consideri una catena di Markov a stati finiti avente
matrice di transizione P ed una unica classe di stati ricorrenti. Allora
L
P
= uπ
T
≥ 0
dove π ∈ [0, 1]
N
`e l’unico vettore delle probabilit` a stabilizzate ovvero `e l’unica
soluzione del sistema {(P
T
−I)π = 0, u
T
π = 1}. In particolare:
π
i
= 0 ⇔ i ∈ T e π
i
> 0 ⇔ i / ∈ T.
Dim. Essendo r = 1 segue dalla iii) del Teorema 3.5.1 che M = φ
(1)
= u;
la tesi `e quindi dimostrata per l’unicit` a del vettore delle probabilit` a stabi-
lizzate dimostrata nella iii) del Teorema 3.1.1.
Dal Teorema 3.5.2 si ottiene in modo immediato il seguente corollario.
Corollario 3.5.1 Si consideri una catena di Markov a stati finiti ir-
riducibile avente matrice di transizione P. Allora
L
P
= uπ
T
> 0
dove π ∈ (0, 1)
N
`e l’unico vettore delle probabilit` a stabilizzate ovvero `e
l’unica soluzione del sistema {(P
T
−I)π = 0, u
T
π = 1}.
42 CAPITOLO 3. PROPRIET
`
A DI LUNGO PERIODO
3.5.2 Comportamento asintotico
Il comportamento della catena a stati finiti si stabilizza nel lungo periodo
nel caso in cui la catena stessa sia ergodica.
Teorema 3.5.3 Si consideri una catena di Markov a stati finiti, sia in-
oltre u = [1, 1, . . . , 1, 1]
T
. La catena `e ergodica se e solo se:
lim
n→+∞
P
(n)
= L
P
dove L
P
`e la matrice di lungo periodo associata a P. In particolare, nel caso
in cui la catena ammetta una unica classe di stati ricorrenti risulta
lim
n→+∞
P
(n)
= uπ
T
dove π ∈ [0, 1]
N
`e l’unico vettore delle probabilit` a stabilizzate ovvero `e l’unica
soluzione del sistema {(P
T
−I)π = 0, u
T
π = 1}.
In altre parole, se una catena di Markov a stati finiti `e ergodica con una
unica classe di stati ricorrenti risulta che
lim
n→+∞
p
(n)
ij
= lim
n→+∞
P{X
n
= j|X
0
= i} = π
j
≥ 0
ovvero il limite lim
n→+∞
p
(n)
ij
esiste ed `e indipendente dallo stato iniziale i.
Si osservi inoltre che per il Teorema 3.5.2 risulta lim
n→+∞
p
(n)
ij
= 0 ∀j ∈ T,
ovvero la probabilit` a di trovarsi nel lungo periodo in uno stato transitorio j
`e nulla, qualsiasi sia lo stato di partenza i.
Il seguente corollario mostra che la probabilit` a di trovare il processo in
un certo stato j dopo un grande numero di transizioni tende al valore π
j
indipendentemente dalle probabilit` a iniziali q
(0)
.
Corollario 3.5.2 Si consideri una catena di Markov a stati finiti, sia
inoltre u = [1, 1, . . . , 1, 1]
T
. Se la catena `e ergodica con una unica classe di
stati ricorrenti allora
lim
n→+∞
q
(n)
= π
dove π ∈ [0, 1]
N
`e l’unico vettore delle probabilit` a stabilizzate.
Dim. Basta osservare che, essendo per definizione u
T
q
(0)
= 1, risulta:
lim
n→+∞
[q
(n)
]
T
= lim
n→+∞
[q
(0)
]
T
P
(n)
= [q
(0)
]
T
lim
n→+∞
P
(n)
= [q
(0)
]
T

T
= π
T
E’ importante sottolineare che la probabilit` a stabilizzata non implica che
il processo venga assorbito da un determinato stato, esso infatti continua a
transire da uno stato all’altro con probabilit` a p
ij
.
3.5. PROPRIET
`
A NEL LUNGO PERIODO 43
Si osservi infine che le probabilit` a stabilizzate, nel caso in cui la catena
sia ergodica con una unica classe di stati ricorrenti, permettono di calcolare
in modo molto semplice i tempi medi di ritorno, risulta infatti:
µ
jj
=

+∞ se j ∈ T
1
π
j
se j / ∈ T
Esempio 3.5.1 (fotocamere) Nel caso del negozio di articoli fotografici
si osserva facilmente che:
P
(8)
= P
8
= P
(4)
P
(4)
=

0.2858 0.2847 0.2631 0.1663
0.2858 0.2847 0.2632 0.1664
0.2858 0.2847 0.2631 0.1663
0.2858 0.2847 0.2631 0.1663
¸
¸
¸
¸
¸
Intuitivamente, gli elementi delle colonne delle matrici di transizione in n
passi si stanno “stabilizzando” su valori uguali. Per il Teorema 3.5.3 tali
valori devono essere uguali alle probabilit` a stabilizzate, che sono state gi`a
calcolate in precedenza:
π = [π
0
, π
1
, π
2
, π
3
]
T
= [0.28581247, 0.28471134, 0.26313999, 0.16633620]
T
I corrispondenti tempi medi di ritorno risultano µ
00
=
1
π
0
= 3.49884, µ
11
=
1
π
1
= 3.51232, µ
22
=
1
π
2
= 3.80025 e µ
33
=
1
π
3
= 6.01190.
3.5.3 Costi medi nel lungo periodo
Nel sottoparagrafo precedente abbiamo supposto di avere una catena di
Markov a stati finiti ergodica (a stati ricorrenti ed aperiodici); se rilassiamo
l’ipotesi dell’aperiodicit` a il limite lim
n→+∞
p
(n)
ij
pu` o non esistere. Conside-
riamo ad esempio una catena con matrice di transizione
P =
¸
0 1
1 0
¸
,
essa `e irriducibile, ricorrente e di periodo 2 dal momento che
P
(n)
= P
n
=

I se n `e pari
P se n `e dispari
,
ne consegue che non pu` o esistere il limite lim
n→+∞
P
(n)
. Vale tuttavia il
seguente risultato.
44 CAPITOLO 3. PROPRIET
`
A DI LUNGO PERIODO
Teorema 3.5.4 Si consideri una catena di Markov a stati finiti, sia in-
oltre u = [1, 1, . . . , 1, 1]
T
. Allora
lim
n→+∞
1
n
n
¸
t=1
P
(t)
= L
P
dove L
P
`e la matrice di lungo periodo associata a P. In particolare, nel caso
in cui la catena ammetta una unica classe di stati ricorrenti risulta
lim
n→+∞
1
n
n
¸
t=1
P
(t)
= uπ
T
dove π ∈ [0, 1]
N
`e l’unico vettore delle probabilit` a stabilizzate ovvero `e l’unica
soluzione del sistema {(P
T
−I)π = 0, u
T
π = 1}.
In altre parole si dimostra che, in una catena avente una unica classe di
stati ricorrenti, a partire da qualsiasi stato iniziale i si ha:
lim
n→+∞
1
n
n
¸
t=1
p
(t)
ij
= π
j
dove i valori nonnegativi π
1
, . . . , π
N
sono le uniche soluzioni delle equazioni
degli stati stabilizzati (3.1.1). Questo risultato `e fondamentale per calcolare
i cosiddetti costi medi per unit` a di tempo nel lungo periodo (si ricordino le
definizioni date in Definizione 1.3.4), risultati validi per qualsiasi catena con
una unica classe di stati ricorrenti (anche se non ergodica).
Teorema 3.5.5 Si consideri una catena di Markov a stati finiti avente
una unica classe di stati ricorrenti e siano u e π come nel Teorema 3.5.4.
Allora:
i) il vettore dei costi medi per unit` a di tempo nel lungo periodo
`e dato da:
lim
n→+∞
1
n
n
¸
t=1
c
(t)
= uπ
T
c
ii) il costo medio atteso per unit`a di tempo nel lungo periodo `e
dato da:
lim
n→+∞
1
n
n
¸
t=1
ξ
(t)
= π
T
c
Dim. Per il Teorema 3.5.4 risulta lim
n→+∞
1
n
¸
n
t=1
P
(t)
= uπ
T
; la i) segue
direttamente dalla iv) della Definizione 1.3.4; la ii) si ottiene osservando che
dalla v) della Definizione 1.3.4 risulta
lim
n→+∞
1
n
n
¸
t=1
ξ
(t)
= [q
(0)
]
T

T
c
3.5. PROPRIET
`
A NEL LUNGO PERIODO 45
e ricordando che [q
(0)
]
T
u = 1.
Come possiamo osservare il costo medio per unit`a di tempo nel lungo
periodo risulta, per le ipotesi assunte, indipendente dallo stato iniziale e
coincide con il costo medio atteso per unit` a di tempo nel lungo periodo; si
osservi inoltre che queste relazioni valgono anche nel caso particolare in cui la
catena sia ergodica e soddisfi quindi le ipotesi del sottoparagrafo precedente.
Esempio 3.5.2 (fotocamere) Ricordiamo che le spese per il mantenimen-
to delle fotocamere in magazzino sono date da c
0
= 0 se non vi `e alcuna
fotocamera in giacenza, c
1
= 2 se vi `e una sola fotocamera, c
2
= 8 se ve ne
sono 2 e c
3
= 18 se ne ve ne sono 3. La spesa media attesa per settimana
nel lungo periodo, relativa al mantenimento delle fotocamere in magazzino,
risulta pertanto:
lim
n→+∞
1
n
n
¸
t=1
ξ
(t)
= π
T
c =
3
¸
i=0
c
i
π
i
=
= 0 · (0.2858) + 2 · (0.2847) + 8 · (0.2631) + 18 · (0.1663)
= 5.668594197
46 CAPITOLO 3. PROPRIET
`
A DI LUNGO PERIODO
Capitolo 4
Esercizi Svolti
Esercizio 4.0.1 Assumiamo che la probabilit` a che domani piova se oggi ha
piovuto sia α ∈ (0, 1) e che la probabilit` a che domani sia bel tempo se oggi
`e stato bel tempo sia β ∈ (0, 1). Determinare la matrice di transizione della
catena di Markov e la matrice di transizione in due passi, studiare gli stati
della catena ed infine determinare le eventuali probabilit` a stabilizzate ed i
tempi medi di ritorno.
Soluzione Indichiamo con lo stato 0 la giornata piovosa e con lo stato 1 la
giornata con bel tempo:
p
00
= P{X
t+1
= 0|X
t
= 0} = α ⇒ p
01
= P{X
t+1
= 1|X
t
= 0} = 1 −α
p
11
= P{X
t+1
= 1|X
t
= 1} = β ⇒ p
10
= P{X
t+1
= 0|X
t
= 1} = 1 −β,
risulta quindi:
P =
¸
α 1 −α
1 −β β
¸
P
(2)
= P
2
=
¸
α
2
+ (1 −α)(1 −β) (1 −α)(α +β)
(1 −β)(α +β) β
2
+ (1 −α)(1 −β)
¸
Il grafo associato a questa catena `e rappresentato in Figura 4.1.
Figura 4.1:
La catena risulta irriducibile ed ergodica; le probabilit` a stabilizzate si
ottengono quindi dalle equazioni degli stati stabilizzati:

π
0
= p
00
π
0
+p
10
π
1
π
1
= p
01
π
0
+p
11
π
1
1 = π
0

1

π
1
= 1 −π
0
π
0
= απ
0
+ (1 −β)(1 −π
0
)
47
48 CAPITOLO 4. ESERCIZI SVOLTI
da cui si ottiene:
π
0
=
1 −β
2 −α −β
e π
1
=
1 −α
2 −α −β
I tempi medi di ritorno sono quindi:
µ
00
=
1
π
0
=
2 −α −β
1 −β
= 1 +
1 −α
1 −β
, µ
11
=
1
π
1
=
2 −α −β
1 −α
= 1 +
1 −β
1 −α
Esercizio 4.0.2 Una matrice di transizione P, relativa ad una catena di
Markov composta da N stati, `e detta bistocastica se la somma delle
componenti di ogni colonna `e uguale ad 1, ovvero se:
N
¸
i=1
p
ij
= 1 ∀j ∈ {1, . . . , N}
Dimostrare che se una catena, avente matrice di transizione bistocastica, `e
irriducibile ed ergodica allora:
π
j
=
1
N
∀j ∈ {1, . . . , N}
Soluzione Sia u = [1, 1, . . . , 1, 1]
T
; essendo la catena irriducibile ed ergod-
ica, le probabilit` a stabilizzate sono le uniche soluzioni delle equazioni degli
stati stabilizzati {(P
T
−I)π = 0, u
T
π = 1}; essendo inoltre P bistocastica
risulta P
T
u = u. Si osservi che il vettore π =
1
N
u verifica le equazioni degli
stati stabilizzati, infatti:
(P
T
−I)π =
1
N
(P
T
u −u) = 0 , u
T
π =
1
N
u
T
u =
1
N
N = 1
La tesi segue quindi dall’unicit` a delle equazioni degli stati stabilizzati.
Esercizio 4.0.3 Una industria produttrice di videoregistratori `e tanto sicu-
ra della qualit` a dei propri prodotti da garantire per due anni la sostituzione
dell’apparecchio in caso di guasto; le statistiche dell’azienda indicano che
soltanto l’1% dei videoregistratori si guasta durante il primo anno ed il 5%
durante il secondo. La garanzia non copre gli apparecchi forniti in sosti-
tuzione di quelli guasti. Formulare il problema come una catena di Markov,
fornirne la matrice di transizione e determinare la probabilit` a che l’industria
debba soddisfare la garanzia di un apparecchio.
Soluzione La “vita” di un videoregistratore pu` o essere rappresentata tramite
una catena di Markov avente i seguenti stati:
49
stato 0: videoregistratore nuovo,
stato 1: videoregistratore mai guasto nel primo anno,
stato 2: videoregistratore uscito di garanzia,
stato 3: videoregistratore guasto e sostituito.
La matrice di transizione risulta la seguente
P =

0 0.99 0 0.01
0 0 0.95 0.05
0 0 1 0
0 0 0 1
¸
¸
¸
¸
¸
mentre il grafo associato alla catena `e rappresentato in Figura 4.2.
Figura 4.2:
Gli stati 0 ed 1 sono transitori ed appartenenti a classi di equivalenza
diverse; gli stati 2 e 3 sono invece assorbenti ed indicheremo le loro classi
con {2} e {3}. La probabilit` a che l’industria debba sostituire l’apparecchio
`e data dalla probabilit` a di assorbimento f
0{3}
dello stato transitorio 0 nello
stato assorbente 3, probabilit` a che possiamo ottenere dal seguente sistema:

f
0{3}
= p
01
f
1{3}
+p
03
f
1{3}
= p
13

f
1{3}
= 5%
f
0{3}
= 0.99f
1{3}
+ 0.01 = 5.95%
Esercizio 4.0.4 Un certo processo produttivo `e basato su di una macchina
che si deteriora rapidamente cos
`
i che alla fine di ogni giornata essa viene
ispezionata per verificarne le condizioni. Queste ultime sono annotate e
classificate in uno dei quattro seguenti stati:
stato 0: macchina come nuova,
stato 1: macchina funzionante e poco deteriorata,
stato 2: macchina funzionante ma molto deteriorata,
stato 3: macchina danneggiata da sostituire con una nuova.
50 CAPITOLO 4. ESERCIZI SVOLTI
Il processo pu`o essere modellizzato come una catena di Markov a stati finiti
avente la seguente matrice di transizione:
P =

0
7
8
1
16
1
16
0
3
4
1
8
1
8
0 0
1
2
1
2
1 0 0 0
¸
¸
¸
¸
¸
Determinare le eventuali probabilit` a stabilizzate ed i tempi medi di ritorno;
supponendo inoltre che il costo per la manutenzione della macchina sia di
0 Euro, 1.000 Euro, 3.000 Euro e 6.000 Euro se essa `e rispettivamente nello
stato 0, 1, 2, 3, determinare il costo medio atteso giornaliero nel lungo periodo
per la manutenzione.
Soluzione Il grafo associato a questa catena `e rappresentato in Figura 4.3.
Figura 4.3:
La catena considerata risulta quindi irriducibile, ricorrente (avendo un
numero finito di stati) ed aperiodica (essendo p
11
> 0); esistono quindi le
probabilit` a stabilizzate che sono le uniche soluzioni delle equazioni degli stati
stabilizzati:

π
0
= p
00
π
0
+p
10
π
1
+p
20
π
2
+p
30
π
3
π
1
= p
01
π
0
+p
11
π
1
+p
21
π
2
+p
31
π
3
π
2
= p
02
π
0
+p
12
π
1
+p
22
π
2
+p
32
π
3
π
3
= p
03
π
0
+p
13
π
1
+p
23
π
2
+p
33
π
3
1 = π
0

1

2

3
ovvero

π
0
= π
3
π
1
=
7
8
π
0
+
3
4
π
1
π
2
=
1
16
π
0
+
1
8
π
1
+
1
2
π
2
π
3
=
1
16
π
0
+
1
8
π
1
+
1
2
π
2
1 = π
0

1

2

3
51
risolvendo il sistema abbiamo π
0
= π
2
= π
3
=
2
13
e π
1
=
7
13
; i corrispondenti
tempi medi di ritorno risultano quindi di µ
00
= µ
22
= µ
33
=
13
2
= 6, 5 giorni
e µ
11
=
13
7
= 1, 86 giorni; il costo medio atteso giornaliero nel lungo periodo
per la manutenzione risulta infine di:
lim
n→+∞
1
n
n
¸
t=1
ξ
(t)
= π
T
c =
2
13
0 +
7
13
1.000 +
2
13
3.000 +
2
13
6.000 = 1.923 Euro
Esercizio 4.0.5 Nell’isola di Atlantide vi sono quattro citt` a, denominate
C
1
, C
2
, C
3
e C
4
, aventi rispettivamente 200, 600, 1000 e 2000 abitanti; tali
citt` a sono state fondate sul mare in corrispondenza dei quattro punti car-
dinali e sono collegate tra loro solamente tramite una strada costiera. Ogni
anno, per motivi di lavoro o familiari, il 25% degli abitanti di queste quattro
citt`a si trasferisce in una delle due citt` a vicine, senza alcuna preferenza tra
esse. Calcolare la popolazione delle quattro citt`a tra un anno, tra due anni,
tra dieci anni e nel lungo periodo. Si poteva prevedere il risultato del lungo
periodo?
Soluzione Si definisce la probabilit` a p
ij
che un abitante della citt` a C
i
si
trasferisca nella citt` a C
j
. Si ottiene la seguente matrice di transizione:
P =

3
4
1
8
0
1
8
1
8
3
4
1
8
0
0
1
8
3
4
1
8
1
8
0
1
8
3
4
¸
¸
¸
¸
¸
Sia inoltre m
(k)
, k ∈ N = {0, 1, 2, . . .}, il vettore che indica il numero di abi-
tanti delle quattro citt` a; in particolare risulta m
(0)
= [200, 600, 1000, 2000]
T
.
Il numero di abitanti tra un anno delle citt` a C
i
, i = 1, 2, 3, 4, si pu` o calcolare
con la seguente formula:
m
(1)
i
=
4
¸
j=1
m
(0)
j
p
ji
che in forma matriciale si pu` o scrivere come:
[m
(1)
]
T
= [m
(0)
]
T
P = [200, 600, 1000, 2000]P = [475, 600, 1075, 1650].
Analogamente, il numero di abitanti delle citt` a tra due e tra dieci anni sar` a:

m
(2)

T
=

m
(1)

T
P =

m
(0)

T
P
2
= [637.5, 643.75, 1087.5, 1431.25]

m
(10)

T
=

m
(9)

T
P = . . . =

m
(0)

T
P
10
= [927.13, 910.92, 972.18, 989.76]
52 CAPITOLO 4. ESERCIZI SVOLTI
La catena risulta banalmente irriducibile, ricorrente (avendo un numero
finito di stati) ed aperiodica (essendo p
ii
> 0 per ogni i = 1, 2, 3, 4); es-
iste quindi il vettore π ∈ (0, 1)
N
delle probabilit` a stabilizzate che `e l’unica
soluzione delle equazioni degli stati stabilizzati date dal sistema
(P
T
−I)π = 0, u
T
π = 1
dove u = [1, 1, 1, 1]
T
. Tale soluzione risulta essere π =
1
4
u; di conseguenza
si ottiene:
[m
(∞)
]
T
= lim
k→+∞
[m
(k)
]
T
= [m
(0)
]
T
lim
k→+∞
P
k
= [m
(0)
]
T

T
=
1
4
[m
(0)
]
T
uu
T
= [950, 950, 950, 950].
Tale risultato si poteva prevedere in quanto la matrice di transizione P `e
bistocastica e quindi le sue probabilit` a stabilizzate sono equidistribuite (si
veda l’Esercizio 4.0.2).
Esercizio 4.0.6 Una scuola elementare ha 50 bambini e cinque aule allineate
lungo lo stesso corridoio. Si propone ai bambini il seguente gioco: tutti i
bambini si vanno sedere inizialmente nella prima aula del corridoio, allo scoc-
care di ogni minuto successivo i bambini che sono nella prima aula devono
spostarsi nella seconda, i bambini che sono nella seconda, terza e quarta aula
devono trasferirsi con probabilit` a p nell’aula di destra e con probabilit` a 1−p
in quella di sinistra, i bambini che sono nell’ultima aula possono decidere
indifferentemente di star fermi oppure tornare nella quarta aula. Calcolare
dopo un paio d’ore, ovvero nel lungo periodo, il numero di bambini nelle
varie aule.
Soluzione Siano A
1
, A
2
, A
3
, A
4
ed A
5
le aule del corridoi e si definisca la
probabilit` a p
ij
che un bambino nell’aula A
i
si sposti nell’aula A
j
. Si ottiene
la seguente matrice di transizione:
P =

0 1 0 0 0
1 −p 0 p 0 0
0 1 −p 0 p 0
0 0 1 −p 0 p
0 0 0
1
2
1
2
¸
¸
¸
¸
¸
¸
¸
Sia inoltre m
(k)
, k ∈ N = {0, 1, 2, . . .}, il vettore che indica il numero di
bambini nelle cinque aule; in particolare risulta m
(0)
= [50, 0, 0, 0, 0]
T
.
La catena `e banalmente irriducibile, ricorrente (avendo un numero finito
di stati) ed aperiodica (essendo p
55
> 0); in particolare il vettore π ∈ (0, 1)
N
53
delle probabilit` a stabilizzate, soluzione delle equazioni degli stati stabilizzati

(P
T
−I)π = 0, u
T
π = 1
¸
, con u = [1, 1, 1, 1, 1]
T
, esiste, `e unico, e dato da:
π =
1
p
3
+ 4p
2
−4p + 2
[(1 −p)
3
, (1 −p)
2
, p(1 −p), p
2
, 2p
3
]
T
.
Il numero di bambini presenti dopo k minuti nelle varie aule A
i
, i = 1, 2, 3, 4, 5,
si pu` o calcolare con la formula:
m
(k)
i
=
5
¸
j=1
m
(k−1)
j
p
ji
Riscrivendo tale formula in forma matriciale si ottiene

m
(k)

T
=

m
(k−1)

T
P = . . . =

m
(0)

T
P
k
pertanto, la distribuzione nel lungo periodo risulta:
[m
(∞)
]
T
= lim
k→+∞
[m
(k)
]
T
= [m
(0)
]
T
lim
k→+∞
P
k
= [m
(0)
]
T

T
= 50π
T
=
50
p
3
+ 4p
2
−4p + 2
[(1 −p)
3
, (1 −p)
2
, p(1 −p), p
2
, 2p
3
]
T
.
Esercizio 4.0.7 Posto p ∈ (0, 1), studiare le probabilit` a stabilizzate di una
catena di Markov avente quattro stati e la seguente matrice di transizione:
P =

1 −p p 0 0
p 0 1 −p 0
0 1 −p 0 p
0 0 p 1 −p
¸
¸
¸
¸
¸
Soluzione Questa matrice `e banalmente bistocastica, irriducibile ed ape-
riodica, pertanto (si veda l’Esercizio 4.0.2) il vettore delle probabilit` a stabi-
lizzate `e unico e dato da π = [
1
4
,
1
4
,
1
4
,
1
4
]
T
.
54 CAPITOLO 4. ESERCIZI SVOLTI
Capitolo 5
Un approccio
computazionale
In questo capitolo verificheremo come un software di calcolo computazionale
possa essere efficientemente utilizzato per studiare le catene di Markov a
stati finiti. Nello specifico, risolveremo i vari esercizi presentati nel capitoli
precedenti utilizzando il software Maple
TM
(
1
); a tal fine si considerano
propedeutici i primi quattro capitoli della nota didattica ”Introduzione al
calcolo simbolico”, di R. Cambini.
5.1 Propriet`a a tempo t
5.1.1 Determinazione della matrice di transizione
E’ noto che il momento pi` u delicato dello studio di un modello di tipo marko-
viano `e proprio la determinazione delle probabilit` a di transizione. A sec-
onda del particolare modello possono cambiare totalmente le tecniche da
utilizzarsi nel calcolo della matrice di transizione.
Nel caso dell’esempio sul negozio di fotocamere le probabilit` a di tran-
sizione si calcolano supponendo che i clienti intenzionati ad acquistare una
fotocamera arrivino con una distribuzione poissoniana. Iniziamo quindi a
crearci la funzione di distribuzione di cui abbiamo bisogno.
>
restart;
>
with(linalg):
Warning, the protected names norm and trace have been redefined and
unprotected
Per comodita’ creiamoci una costante uguale al numero di Nepero e.
>
e:=exp(1);
e := e
1
Il software di calcolo simbolico Maple
TM
, giunto ad oggi alla versione 8, `e prodotto
dalla Maplesoft, divisione della Waterloo Maple Inc., casa canadese di Waterloo (Ontario).
55
56 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
Definiamo poi la funzione di distribuzione poissoniana con parametro
λ = 1.
>
d:=x->1/(e*x!);
d := x →
1
e x!
La catena ha quattro stati, denominati “0”, “1”, “2” e “3”; per evitare
confusione con la numerazione degli stati, creiamo preliminarmente un array
temporaneo contenente le varie probabilit` a di transizione, successivamente
questo array verr` a convertito nella vera e propria matrice di transizione.
Si ricordi al riguardo che negli array le righe e colonne possono essere
indiciate in un qualsiasi intervallo di numeri interi, mentre le matrici altro
non sono che particolari array in cui le righe e le colonne sono indiciate a
partire dal numero intero 1.
>
T:=array(0..3,0..3);
T := array(0..3, 0..3, [])
>
T[0,0]:=1-d(0)-d(1)-d(2);
T
0, 0
:= 1 −
5
2
1
e
>
T[0,1]:=d(2);
T
0, 1
:=
1
2
1
e
>
T[0,2]:=d(1);
T
0, 2
:=
1
e
>
T[0,3]:=d(0);
T
0, 3
:=
1
e
>
T[1,0]:=1-d(0);
T
1, 0
:= 1 −
1
e
>
T[1,1]:=d(0);
T
1, 1
:=
1
e
>
T[1,2]:=0;
T
1, 2
:= 0
>
T[1,3]:=0;
T
1, 3
:= 0
>
T[2,0]:=1-d(0)-d(1);
T
2, 0
:= 1 −
2
e
>
T[2,1]:=d(1);
5.1. PROPRIET
`
A A TEMPO T 57
T
2, 1
:=
1
e
>
T[2,2]:=d(0);
T
2, 2
:=
1
e
>
T[2,3]:=0;
T
2, 3
:= 0
>
T[3,0]:=1-d(0)-d(1)-d(2);
T
3, 0
:= 1 −
5
2
1
e
>
T[3,1]:=d(2);
T
3, 1
:=
1
2
1
e
>
T[3,2]:=d(1);
T
3, 2
:=
1
e
>
T[3,3]:=d(0);
T
3, 3
:=
1
e
>
P:=convert(T,matrix);
P :=

1 −
5
2
1
e
1
2
1
e
1
e
1
e
1 −
1
e
1
e
0 0
1 −
2
e
1
e
1
e
0
1 −
5
2
1
e
1
2
1
e
1
e
1
e
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
Per avere una idea numerica delle probabilit` a di transizione dobbiamo visu-
alizzare le frazioni in numeri decimali. Il comando da utilizzare in questo
caso `e “evalf(matrice,cifre)”.
>
evalf(evalm(P),4);

.0802 .1840 .3679 .3679
.6321 .3679 0. 0.
.2642 .3679 .3679 0.
.0802 .1840 .3679 .3679
¸
¸
¸
¸
¸
>
evalf(evalm(P),6);

.080300 .183940 .367880 .367880
.632120 .367880 0. 0.
.264240 .367880 .367880 0.
.080300 .183940 .367880 .367880
¸
¸
¸
¸
¸
58 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
5.1.2 Stocasticit`a della matrice di transizione
Come `e noto, la matrice di transizione di una catena di Markov a stati
finiti deve essere una matrice stocastica, ovvero deve essere una matrice
nonnegativa tale che la somma degli elementi sulle sue righe `e sempre uguale
ad 1. Per verificare tale propriet` a basta utilizzare un vettore u avente tutte
le componenti uguali ad 1.
>
u:=vector(rowdim(P),1);
u := [1, 1, 1, 1]
La matrice di transizione P `e stocastica se Pu = u ovvero se Pu −u = 0.
>
evalm(P&*u-u);
[0, 0, 0, 0]
OK, la matrice P calcolata `e effettivamente una matrice stocastica.
5.1.3 Matrici di transizione in n passi
Per le equazioni di Chapman-Kolmogorov le matrici di transizione in n passi
relative alle catene di Markov a stati finiti sono semplicemente le poten-
ze n-esime della matrice di transizione. Calcoliamo quindi le matrici di
transizione in 2 e 4 passi.
>
P2:=evalm(P^2);
P2 :=
¸
(1 −
5
2
1
e
)
2
+
1
2
(1 −
1
e
)
e
+
1 −
2
e
e
+
1 −
5
2
1
e
e
,
1
2
1 −
5
2
1
e
e
+
2
(e)
2
,
1 −
5
2
1
e
e
+
2
(e)
2
,
1 −
5
2
1
e
e
+
1
(e)
2
¸

(1 −
1
e
) (1 −
5
2
1
e
) +
1 −
1
e
e
,
1
2
1 −
1
e
e
+
1
(e)
2
,
1 −
1
e
e
,
1 −
1
e
e
¸
¸

(1 −
2
e
) (1 −
5
2
1
e
) +
1 −
1
e
e
+
1 −
2
e
e
,
1
2
1 −
2
e
e
+
2
(e)
2
,
1 −
2
e
e
+
1
(e)
2
,
1 −
2
e
e
¸
¸
¸
(1 −
5
2
1
e
)
2
+
1
2
(1 −
1
e
)
e
+
1 −
2
e
e
+
1 −
5
2
1
e
e
,
1
2
1 −
5
2
1
e
e
+
2
(e)
2
,
1 −
5
2
1
e
e
+
2
(e)
2
,
1 −
5
2
1
e
e
+
1
(e)
2
¸
Come si vede, Maple svolge i calcoli in modo estremamente preciso ma
essi possono diventare illeggibili. Pertanto conviene sicuramente avere una
rappresentazione con numeri decimali delle matrici di transizione in due e
quattro passi.
5.1. PROPRIET
`
A A TEMPO T 59
>
evalf(evalm(P2),6);

.249470 .285440 .300211 .164876
.283303 .251607 .232544 .232544
.350971 .319274 .232544 .0972086
.249470 .285440 .300211 .164876
¸
¸
¸
¸
¸
>
P4:=evalm(P^4):
>
evalf(%,6);

.289598 .285939 .260581 .163876
.281586 .284795 .267449 .166166
.283875 .282505 .262870 .170744
.289598 .285939 .260581 .163876
¸
¸
¸
¸
¸
5.1.4 Distribuzione delle probabilit`a a tempo t
Per determinare la distribuzione delle probabilit` a a tempo t occorre innanzi
tutto definire il vettore della distribuzione delle probabilit` a iniziali, ovvero
delle probabilit` a a tempo zero. Si ricordi che tale vettore `e di fatto uno dei
dati del problema.
Come primo caso, supponiamo che all’apertura del negozio sicuramente
il negoziante abbia a disposizione tre fotocamere.
>
q0:=vector(4,[0,0,0,1]);
q0 := [0, 0, 0, 1]
Le probabilit` a di avere 0,1,2,3 fotocamere in giacenza dopo due settimane
risultano pertanto:
>
evalm(q0&*P2):
>
q2:=evalf(%,6);
q2 := [.249470, .285440, .300211, .164876]
>
evalm(q0&*P4):
>
q4:=evalf(%,6);
q4 := [.289598, .285939, .260581, .163876]
Ovviamente si ottengono risultati completamente diversi se si utilizza un
diverso vettore delle probabilit` a iniziali.
>
q0:=vector(4,[2/10,2/10,5/10,1/10]);
q0 :=
¸
1
5
,
1
5
,
1
2
,
1
10

>
evalm(q0&*P2):
>
q2:=evalf(%,6);
q2 := [.306986, .295590, .252843, .144576]
>
evalm(q0&*P4):
>
q4:=evalf(%,6);
60 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
q4 := [.285133, .283993, .263099, .167770]
5.1.5 Costi medi a tempo t
Definiamo innanzi tutto il vettore delle probabilit` a iniziali ed il vettore dei
costi del sistema.
>
q0:=vector(4,[2/10,2/10,5/10,1/10]);
q0 :=
¸
1
5
,
1
5
,
1
2
,
1
10

>
c:=vector(4,[0,2,8,18]);
c := [0, 2, 8, 18]
Ricalcoliamoci poi, per comodit` a, le matrici di transizione in 2,3,4 passi.
>
P1:=evalm(P):
>
P2:=evalm(P^2):
>
P3:=evalm(P^3):
>
P4:=evalm(P^4):
Il vettore dei costi medi al tempo t = 3 risulta:
>
evalm(P3&*c):
>
c3:=evalf(%,6);
c3 := [5.43003, 6.16437, 5.54203, 5.43003]
Il costo medio atteso al tempo t = 3 `e:
>
evalm(q0&*P3&*c):
>
xi3:=evalf(%,6);
ξ3 := 5.63289
Il vettore dei costi medi per unit` a di tempo nei primi quattro periodi sar` a:
>
M4:=evalm((1/4)*(P1+P2+P3+P4)):
>
evalf(%,6);

.228100 .261747 .297886 .212266
.364730 .294317 .193827 .147119
.299586 .313773 .278429 .108208
.228100 .261747 .297886 .212266
¸
¸
¸
¸
¸
>
evalm(M4&*c):
>
c4m:=evalf(%,6);
c4m := [6.72735, 4.78741, 4.80273, 6.72735]
Il costo medio atteso per unit`a di tempo nei primi quattro periodi risulta:
>
evalm(q0&*M4&*c):
>
xi3m:=evalf(%,6);
xi3m := 5.37705
Si osservi che, per evitare errori di approssimazione, abbiamo sempre
utilizzato le probabilita’ di transizione in forma frazionaria, limitando ai soli
risultati finali l’approssimazione con cifre decimali.
5.2. CATENE CON UNA UNICA CLASSE DI STATI RICORRENTI 61
5.2 Catene con una unica classe di stati ricorrenti
5.2.1 Vettori delle probabilit`a stabilizzate
Vediamo adesso come possiamo calcolare il vettore delle probabilit`a stabi-
lizzate risolvendo il sistema delle “equazioni degli stati stabilizzati”:
(P
T
−I)π = 0, u
T
π = 1
ovvero il sistema
¸
P
T
−I
u
T
¸
π =
¸
0
1
¸
Poich´e Maple risolve solamente i sistemi lineari nella loro forma canonica
Ax = b, dobbiamo preliminarmente crearci la matrice dei coefficienti A ed
il vettore b dei termini noti.
>
A1:=evalm(transpose(P)-1);
A1 :=


5
2
1
e
1 −
1
e
1 −
2
e
1 −
5
2
1
e
1
2
1
e
1
e
−1
1
e
1
2
1
e
1
e
0
1
e
−1
1
e
1
e
0 0
1
e
−1
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
>
b1:=matrix(rowdim(P),1,0);
b1 :=

0
0
0
0
¸
¸
¸
¸
¸
>
A2:=matrix(1,rowdim(P),1);
A2 :=

1 1 1 1

>
b2:=matrix(1,1,1);
b2 :=

1

A questo punto abbiamo tutto il necessario per creare A e b. Si osservi
che la soluzione del sistema sar`a un vettore colonna, ovvero una matrice con
una sola colonna, pertanto per comodit` a trasformeremo subito tale soluzione
in un vettore.
>
A:=stackmatrix(A1,A2):
>
b:=stackmatrix(b1,b2):
>
linsolve(A,b):
>
pi:=convert(%,vector);
62 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
π :=
¸
2
3 e −3 (e)
2
−1 + (e)
3
e %1
,
1 +e
%1
, 2
e −1
%1
, 2
(e −1)
2
e %1
¸
%1 := −e + 2 (e)
2
+ 1
>
evalf(%,8);
[.28581242, .28471135, .26314000, .16633619]
5.2.2 Probabilit`a di primo passaggio
Queste probabilit` a si possono calcolare ricorsivamente come spiegato nel
precedente paragrafo 3.2.
Nello specifico, calcoleremo di seguito le probabilit` a di primo passaggio
dallo stato 3 allo stato 0 in 1,2,3,4 passi. Si faccia attenzione al riguar-
do che la probabilit` a di transizione dallo stato i allo stato j `e localizzata
nell’elemento [i + 1, j + 1] della matrice P.
Definiamo preliminarmente lo stato di partenza i e lo stato di arrivo j.
>
i:=3; j:=0;
i := 3
j := 0
Abbiamo quindi tutto il necessario per calcolare le probabilit` a di primo
passaggio dallo stato i allo stato j in 1,2,3,4 passi.
>
f1:=evalm(P[i+1,j+1]):
>
evalf(%,6);
.080300
>
f2:=evalm(P2[i+1,j+1]-f1*P[j+1,j+1]):
>
evalf(%,6);
.243022
>
f3:=evalm(P3[i+1,j+1]-f1*P2[j+1,j+1]-f2*P[j+1,j+1]):
>
evalf(%,6);
.253485
>
f4:=evalm(P4[i+1,j+1]-f1*P3[j+1,j+1]-f2*P2[j+1,j+1]-f3*P[j+1,j+1]):
>
evalf(%,6);
.185086
5.2.3 Tempi medi di primo passaggio
I tempi medi di primo passaggio µ
ij
dallo stato i allo stato j si calcolano in
forma matriciale con la seguente formula:
(I −P · I
R
) µ
∗j
= u
dove µ
∗j
= [µ
0j
, . . . , µ
(N−1)j
], u = [1, 1, . . . , 1, 1]
T
, I
R
`e la matrice ottenuta
dalla matrice identica I ponendo a zero il j-esimo elemento principale [j, j].
5.2. CATENE CON UNA UNICA CLASSE DI STATI RICORRENTI 63
nello specifico, calcoliamo adesso i tempi medi di primo passaggio nello
stato j = 0. Ricordiamoci come sempre che lo stato generico j corrisponde
nella matrice di transizione alla riga ed alla colonna (j + 1)-esima.
>
j:=0;
j := 0
>
u:=vector(rowdim(P),1);
u := [1, 1, 1, 1]
>
matrix(rowdim(P),rowdim(P),0):
>
IR:=evalm(%+1):
>
IR[j+1,j+1]:=0:
>
evalm(IR);

0 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
¸
¸
¸
¸
¸
>
evalm(1-P&*IR):
>
mu:=linsolve(%,u);
µ :=
¸
1
2
e (−e + 2 (e)
2
+ 1)
(e −1)
3
,
e
e −1
,
(e)
2
(e −1)
2
,
1
2
e (−e + 2 (e)
2
+ 1)
(e −1)
3
¸
>
evalf(%,6);
[3.49879, 1.58198, 2.50266, 3.49879]
5.2.4 Matrice di lungo periodo
Nel caso in cui la catena abbia una unica classe di stati ricorrenti la matrice
di lungo periodo si calcola con la formula:
L
P
= uπ
T
≥ 0
dove u = [1, 1, . . . , 1, 1]
T
e π ∈ [0, 1]
N
`e l’unico vettore delle probabilit` a
stabilizzate.
Questi vettori sono stati gi` a calcolati, quindi possiamo procedere diret-
tamente al calcolo di L
P
. Si osservi che, per evitare problemi con il prodotto
tra vettori, dobbiamo preventivamente trasformare i vettori u e π in matrici.
>
uu:=convert(u,matrix):
>
pp:=convert(pi,matrix):
>
LP:=evalm(uu&*transpose(pp));
>
evalf(%,6);
64 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
LP :=

2
3 e −3 (e)
2
−1 + (e)
3
e %1
1 +e
%1
2
e −1
%1
2
(e −1)
2
e %1
2
3 e −3 (e)
2
−1 + (e)
3
e %1
1 +e
%1
2
e −1
%1
2
(e −1)
2
e %1
2
3 e −3 (e)
2
−1 + (e)
3
e %1
1 +e
%1
2
e −1
%1
2
(e −1)
2
e %1
2
3 e −3 (e)
2
−1 + (e)
3
e %1
1 +e
%1
2
e −1
%1
2
(e −1)
2
e %1
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
%1 := −e + 2 (e)
2
+ 1
%2 := [2
3 e −3 (e)
2
−1 + (e)
3
e %1
,
1 +e
%1
, 2
e −1
%1
, 2
(e −1)
2
e %1
]

.285806 .284712 .263140 .166336
.285806 .284712 .263140 .166336
.285806 .284712 .263140 .166336
.285806 .284712 .263140 .166336
¸
¸
¸
¸
¸
%1 := [.285806, .284712, .263140, .166336]
5.2.5 Tempi medi di ritorno e costi medi attesi
A questo punto, i tempi medi di ritorno possono essere calcolati in modo
estremamente semplice prendendo il reciproco delle probabilit` a stabilizzate.
>
for i from 1 to vectdim(pi) do
>
evalf(1/pi[i],6)
>
end do;
3.49886
3.51232
3.80025
6.01190
Per quanto riguarda i costi medi attesi, ricordiamoci preliminarmente il
vettore dei costi:
>
evalm(c);
[0, 2, 8, 18]
Il costo medio atteso per unit`a di tempo nel lungo periodo `e dato da:
>
cmlp:=evalm(pi&*c);
cmlp := 2
1 +e
−e + 2 (e)
2
+ 1
+
16 (e −1)
−e + 2 (e)
2
+ 1
+
36 (e −1)
2
e (−e + 2 (e)
2
+ 1)
>
evalf(%,6);
5.66860
5.3. CATENE CON PIU’ CLASSI DI STATI RICORRENTI 65
5.3 Catene con piu’ classi di stati ricorrenti
Nel caso in cui la catena sotto studio abbia pi` u classi di stati ricorrenti,
possiamo determinare per ciascuna di queste classi di stati ricorrenti un vet-
tore “canonico” delle probabilit` a stabilizzate ed un vettore delle probabilit` a
di assorbimento. Vediamo adesso come calcolare tali valori utilizzando la
catena di Markov introdotta nell’Esempio 3.3.1.
>
restart;
>
with(linalg):
Warning, the protected names norm and trace have been redefined and
unprotected
>
PP:=matrix(6,6,0):
>
PP[1,2]:=6/10:
>
PP[1,6]:=4/10:
>
PP[2,3]:=5/10:
>
PP[2,6]:=5/10:
>
PP[3,4]:=4/10:
>
PP[3,6]:=6/10:
>
PP[4,5]:=3/10:
>
PP[4,6]:=7/10:
>
PP[5,5]:=1:
>
PP[6,6]:=1:
>
evalm(PP);

0
3
5
0 0 0
2
5
0 0
1
2
0 0
1
2
0 0 0
2
5
0
3
5
0 0 0 0
3
10
7
10
0 0 0 0 1 0
0 0 0 0 0 1
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
Si osservi che questa catena ha quattro stati transitori (ovvero 0,1,2 e
3) e due stati ricorrenti (ovvero 4 e 5) che risultano anche essere assorbenti.
Gli stati ricorrenti sono a loro volta ripartiti in due classi distinte, ovvero
C
1
= {4} e C
2
= {5}.
5.3.1 Vettori delle probabilit`a di assorbimento
Per calcolare il vettore delle probabilit` a di assorbimento nella classe di stati
ricorrenti C
k
dobbiamo risolvere il seguente sistema lineare:
(P −I)φ = 0 , φ
i
=

1 se i ∈ C
k
0 se i / ∈ C
k
, i / ∈ T
66 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
Denotando con u
i
l’i-esimo vettore della base canonica di
n
, ovvero il
vettore avente tutte le componenti nulle ad esclusione della i-esima uguale
ad 1, possiamo riscrivere tale sistema nella seguente forma:
(P −I)φ = 0
u
T
i
φ = 1 se i ∈ C
k
u
T
i
φ = 0 se i / ∈ C
k
, i / ∈ T
Si ricordi che, poich´e Maple risolve i sistemi lineari solamente nella loro
forma canonica Ax = b, dobbiamo preliminarmente crearci la matrice A
dei coefficienti ed il vettore b dei termini noti. Iniziamo dal vettore delle
probabilit` a di assorbimento nella classe C
1
= {4}.
>
A1:=evalm(PP-1);
>
b1:=matrix(rowdim(PP),1,0);
A1 :=

−1
3
5
0 0 0
2
5
0 −1
1
2
0 0
1
2
0 0 −1
2
5
0
3
5
0 0 0 −1
3
10
7
10
0 0 0 0 0 0
0 0 0 0 0 0
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
b1 :=

0
0
0
0
0
0
¸
¸
¸
¸
¸
¸
¸
¸
¸
>
A2:=matrix(1,rowdim(PP),0):
>
A2[1,5]:=1:
>
evalm(A2);
>
b2:=matrix(1,1,1);

0 0 0 0 1 0

b2 :=

1

>
A3:=matrix(1,rowdim(PP),0):
>
A3[1,6]:=1:
>
evalm(A3);
>
b3:=matrix(1,1,0);

0 0 0 0 0 1

5.3. CATENE CON PIU’ CLASSI DI STATI RICORRENTI 67
b3 :=

0

>
A:=stackmatrix(A1,A2,A3):
>
b:=stackmatrix(b1,b2,b3):
>
linsolve(A,b):
>
phi1:=convert(%,vector);
>
evalf(%,4);
φ1 :=
¸
9
250
,
3
50
,
3
25
,
3
10
, 1, 0

[.03600, .06000, .1200, .3000, 1., 0.]
Adesso non ci resta che calcolare, in modo analogo, il vettore delle pro-
babilit` a di assorbimento nella classe C
2
= {5}. Si osservi che, a tal fine,
dobbiamo solamente modificare i vettori b2 e b3.
>
b2:=matrix(1,1,0);
>
b3:=matrix(1,1,1);
b2 :=

0

b3 :=

1

>
A:=stackmatrix(A1,A2,A3):
>
b:=stackmatrix(b1,b2,b3):
>
linsolve(A,b):
>
phi2:=convert(%,vector);
>
evalf(%,4);
φ2 :=
¸
241
250
,
47
50
,
22
25
,
7
10
, 0, 1

[.9640, .9400, .8800, .7000, 0., 1.]
5.3.2 Vettori canonici delle probabilit` a stabilizzate
Per calcolare il vettore canonico delle probabilit` a stabilizzate corrispon-
dente alla classe di stati ricorrenti C
k
dobbiamo risolvere il seguente sistema
lineare:
(P
T
−I)π = 0
u
T
π = 1
u
T
i
π = 0 se i / ∈ C
k
dove u
i
`e l’i-esimo vettore della base canonica di
n
.
Questa volta sar` a il vettore dei termini noti ad essere lo stesso per
entrambi i vettori delle probabilit` a stabilizzate.
Iniziamo a calcolare il vettore canonico delle probabilit` a stabilizzate
corrispondente alla classe C
1
= {4}.
>
A1:=evalm(transpose(PP)-1);
>
b1:=matrix(rowdim(PP),1,0);
68 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
A1 :=

−1 0 0 0 0 0
3
5
−1 0 0 0 0
0
1
2
−1 0 0 0
0 0
2
5
−1 0 0
0 0 0
3
10
0 0
2
5
1
2
3
5
7
10
0 0
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
b1 :=

0
0
0
0
0
0
¸
¸
¸
¸
¸
¸
¸
¸
¸
>
A2:=matrix(1,rowdim(PP),1);
>
b2:=matrix(1,1,1);
A2 :=

1 1 1 1 1 1

b2 :=

1

>
matrix(rowdim(PP),rowdim(PP),0):
>
Id:=evalm(%+1);
Id :=

1 0 0 0 0 0
0 1 0 0 0 0
0 0 1 0 0 0
0 0 0 1 0 0
0 0 0 0 1 0
0 0 0 0 0 1
¸
¸
¸
¸
¸
¸
¸
¸
¸
>
A3:=delrows(Id,5..5);
>
b3:=matrix(rowdim(A3),1,0);
A3 :=

1 0 0 0 0 0
0 1 0 0 0 0
0 0 1 0 0 0
0 0 0 1 0 0
0 0 0 0 0 1
¸
¸
¸
¸
¸
¸
¸
b3 :=

0
0
0
0
0
¸
¸
¸
¸
¸
¸
¸
5.3. CATENE CON PIU’ CLASSI DI STATI RICORRENTI 69
>
A:=stackmatrix(A1,A2,A3):
>
b:=stackmatrix(b1,b2,b3):
>
linsolve(A,b):
>
pi1:=convert(%,vector);
π1 := [0, 0, 0, 0, 1, 0]
Passiamo adesso a calcolare il vettore canonico delle probabilit` a stabi-
lizzate corrispondente alla classe di stati ricorrenti C
2
= {5}. A tal fine
dobbiamo solamente modificare la matrice A3.
>
A3:=delrows(Id,6..6);
A3 :=

1 0 0 0 0 0
0 1 0 0 0 0
0 0 1 0 0 0
0 0 0 1 0 0
0 0 0 0 1 0
¸
¸
¸
¸
¸
¸
¸
>
A:=stackmatrix(A1,A2,A3):
>
b:=stackmatrix(b1,b2,b3):
>
linsolve(A,b):
>
pi2:=convert(%,vector);
π2 := [0, 0, 0, 0, 0, 1]
5.3.3 Matrice di lungo periodo
Una volta determinati i vettori canonici delle probabilit` a stabilizzate ed i
vettori delle probabilit` a di assorbimento abbiamo tutto il necessario per cal-
colare con estrema facilit`a la matrice di lungo periodo, basta infatti utilizzare
la formula:
L
P
= MN
T
dove M = [φ
(1)
, . . . , φ
(r)
] ed N = [π
(1)
, . . . , π
(r)
], ovvero le colonne di M sono
date dagli r vettori delle probabilit` a di assorbimento, mentre le colonne
di N sono composte dagli r vettori canonici delle probabilit` a stabilizzate
(attenzione all’ordine con cui tali vettori sono incolonnati nelle rispettive
matrici).
>
M:=concat(phi1,phi2);
70 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
M :=

9
250
241
250
3
50
47
50
3
25
22
25
3
10
7
10
1 0
0 1
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
>
N:=concat(pi1,pi2);
N :=

0 0
0 0
0 0
0 0
1 0
0 1
¸
¸
¸
¸
¸
¸
¸
¸
¸
>
LP:=evalm(M&*transpose(N));
LP :=

0 0 0 0
9
250
241
250
0 0 0 0
3
50
47
50
0 0 0 0
3
25
22
25
0 0 0 0
3
10
7
10
0 0 0 0 1 0
0 0 0 0 0 1
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
>
evalf(%,6);

0. 0. 0. 0. .0360000 .964000
0. 0. 0. 0. .0600000 .940000
0. 0. 0. 0. .120000 .880000
0. 0. 0. 0. .300000 .700000
0. 0. 0. 0. 1. 0.
0. 0. 0. 0. 0. 1.
¸
¸
¸
¸
¸
¸
¸
¸
¸
Verifichiamo empiricamente tale risultato con una potenza della matrice
di transizione P di grado abbastanza elevato.
>
evalf(evalm(PP^30),6);
5.4. RISOLUZIONE ESERCIZI DEL CAPITOLO 4 71

0. 0. 0. 0. .0360000 .964000
0. 0. 0. 0. .0600000 .940000
0. 0. 0. 0. .120000 .880000
0. 0. 0. 0. .300000 .700000
0. 0. 0. 0. 1. 0.
0. 0. 0. 0. 0. 1.
¸
¸
¸
¸
¸
¸
¸
¸
¸
5.4 Risoluzione esercizi del Capitolo 4
In questa sezione vengono presentati alcuni dei possibili svolgimenti al com-
puter degli esercizi risolti nel Capitolo 4.
5.4.1 Esercizio 1
Inizializziamo Maple:
>
restart;
>
with(linalg):
Warning, the protected names norm and trace have been redefined and
unprotected
Creiamo per comodit`a l’array temporaneo:
>
T:=array(0..1,0..1);
T := array(0..1, 0..1, [])
>
T[0,0]:=alpha;
T
0, 0
:= α
>
T[0,1]:=1-alpha;
T
0, 1
:= 1 −α
>
T[1,1]:=beta;
T
1, 1
:= β
>
T[1,0]:=1-beta;
T
1, 0
:= 1 −β
La matrice di transizione risulta:
>
P:=convert(T,matrix);
P :=
¸
α 1 −α
1 −β β
¸
La matrice di transizione in due passi `e:
>
P2:=evalm(P^2);
P2 :=
¸
α
2
+ (1 −α) (1 −β) α(1 −α) + (1 −α) β
(1 −β) α +β (1 −β) (1 −α) (1 −β) +β
2
¸
72 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
Vediamo adesso il vettore delle probabilit` a stabilizzate di questa catena
avente una unica classe di stati ricorrenti:
>
A1:=evalm(transpose(P)-1):
>
b1:=matrix(rowdim(P),1,0):
>
A2:=matrix(1,rowdim(P),1):
>
b2:=matrix(1,1,1):
>
A:=stackmatrix(A1,A2):
>
b:=stackmatrix(b1,b2):
>
linsolve(A,b):
>
pi:=convert(%,vector);
π :=
¸
−1 +β
α +β −2
,
−1 +α
α +β −2

I tempi medi di ritorno risultano:
>
mu00:=1/pi[1];
µ00 :=
α +β −2
−1 +β
>
mu11:=1/pi[2];
µ11 :=
α +β −2
−1 +α
5.4.2 Esercizio 3
Inizializziamo Maple:
>
restart;
>
with(linalg):
Warning, the protected names norm and trace have been redefined and
unprotected
La matrice di transizione `e:
>
P:=matrix(4,4,[0,0.99,0,0.01,0,0,0.95,0.05,0,0,1,0,0,0,0,1]);
P :=

0 .99 0 .01
0 0 .95 .05
0 0 1 0
0 0 0 1
¸
¸
¸
¸
¸
La catena ha due classi di stati ricorrenti C
1
= {2} e C
2
= {3}. Per
risolvere l’esercizio dobbiamo adesso calcolare la probabilit` a di assorbimento
nella classe di stati ricorrenti C
2
= {3}.
>
A1:=evalm(P-1);
>
b1:=matrix(rowdim(P),1,0);
A1 :=

−1 .99 0 .01
0 −1 .95 .05
0 0 0 0
0 0 0 0
¸
¸
¸
¸
¸
5.4. RISOLUZIONE ESERCIZI DEL CAPITOLO 4 73
b1 :=

0
0
0
0
¸
¸
¸
¸
¸
>
A2:=matrix(1,rowdim(P),0):
>
A2[1,4]:=1:
>
evalm(A2);
>
b2:=matrix(1,1,1);

0 0 0 1

b2 :=

1

>
A3:=matrix(1,rowdim(P),0):
>
A3[1,3]:=1:
>
evalm(A3);
>
b3:=matrix(1,1,0);

0 0 1 0

b3 :=

0

>
A:=stackmatrix(A1,A2,A3):
>
b:=stackmatrix(b1,b2,b3):
>
linsolve(A,b):
>
phi:=convert(%,vector);
φ := [.05950000000, .05000000000, 0., 1]
La probabilit` a di essere assorbiti nella classe C
2
= {3} partendo dallo stato
0 `e quindi data da:
>
phi[1];
.05950000000
5.4.3 Esercizio 4
Inizializziamo Maple:
>
restart;
>
with(linalg):
Warning, the protected names norm and trace have been redefined and
unprotected
La matrice di transizione `e:
>
P:=matrix(4,4,[0,7/8,1/16,1/16,0,3/4,1/8,1/8,0,0,1/2,1/2,1,0,0,0]);
74 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
P :=

0
7
8
1
16
1
16
0
3
4
1
8
1
8
0 0
1
2
1
2
1 0 0 0
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
mentre il vettore dei costi `e:
>
c:=vector(4,[0,1000,3000,6000]);
c := [0, 1000, 3000, 6000]
Questa catena `e irriducibile ed ergodica. Calcoliamo il vettore delle
probabilit` a stabilizzate:
>
A1:=evalm(transpose(P)-1):
>
b1:=matrix(rowdim(P),1,0):
>
A2:=matrix(1,rowdim(P),1):
>
b2:=matrix(1,1,1):
>
A:=stackmatrix(A1,A2):
>
b:=stackmatrix(b1,b2):
>
linsolve(A,b):
>
pi:=convert(%,vector);
π :=
¸
2
13
,
7
13
,
2
13
,
2
13

I tempi medi di ritorno risultano:
>
mu00:=1/pi[1];
>
mu11:=1/pi[2];
>
mu22:=1/pi[3];
>
mu33:=1/pi[4];
µ00 :=
13
2
µ11 :=
13
7
µ22 :=
13
2
µ33 :=
13
2
Mentre il costo medio atteso nel lungo periodo risulta:
>
evalm(pi&*c);
25000
13
>
evalf(%);
1923.076923
5.4. RISOLUZIONE ESERCIZI DEL CAPITOLO 4 75
5.4.4 Esercizio 5
Inizializziamo Maple:
>
restart;
>
with(linalg):
Warning, the protected names norm and trace have been redefined and
unprotected
La matrice di transizione `e:
>
P:=matrix(4,4,[3/4,1/8,0,1/8,1/8,3/4,1/8,0,0,1/8,3/4,1/8,1/8,0,1/8,3/
>
4]);
P :=

3
4
1
8
0
1
8
1
8
3
4
1
8
0
0
1
8
3
4
1
8
1
8
0
1
8
3
4
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
mentre il numero iniziale degli abitanti delle citt` a `e:
>
m0:=vector(4,[200,600,1000,2000]);
m0 := [200, 600, 1000, 2000]
Il numero di abitanti tra 1,2,10 anni sar` a quindi:
>
m1:=evalm(m0&*P):
>
evalf(%);
[475., 600., 1075., 1650.]
>
m2:=evalm(m0&*P^2):
>
evalf(%,5);
[637.50, 643.75, 1087.5, 1431.2]
>
m10:=evalm(m0&*P^10):
>
evalf(%,5);
[927.13, 910.92, 972.18, 989.76]
Il vettore delle probabilit` a stabilizzate risulta:
>
A1:=evalm(transpose(P)-1):
>
b1:=matrix(rowdim(P),1,0):
>
A2:=matrix(1,rowdim(P),1):
>
b2:=matrix(1,1,1):
>
A:=stackmatrix(A1,A2):
>
b:=stackmatrix(b1,b2):
>
linsolve(A,b):
>
pi:=convert(%,vector);
π :=
¸
1
4
,
1
4
,
1
4
,
1
4

76 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
e conseguentemente si ottiene la seguente matrice di lungo periodo:
>
u:=matrix(vectdim(pi),1,1):
>
pp:=convert(pi,matrix):
>
LP:=evalm(u&*transpose(pp));
LP :=

1
4
1
4
1
4
1
4
1
4
1
4
1
4
1
4
1
4
1
4
1
4
1
4
1
4
1
4
1
4
1
4
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
%1 := [
1
4
,
1
4
,
1
4
,
1
4
]
La distribuzione degli abitanti nel lungo periodo risulta pertanto:
>
minf:=evalm(m0&*LP):
>
evalf(%,5);
[950., 950., 950., 950.]
5.4.5 Esercizio 6
Inizializziamo Maple:
>
restart;
>
with(linalg):
Warning, the protected names norm and trace have been redefined and
unprotected
La matrice di transizione risulta:
>
P:=matrix(5,5,[0,1,0,0,0,1-p,0,p,0,0,0,1-p,0,p,0,0,0,1-p,0,p,0,0,0,1/
>
2,1/2]);
P :=

0 1 0 0 0
1 −p 0 p 0 0
0 1 −p 0 p 0
0 0 1 −p 0 p
0 0 0
1
2
1
2
¸
¸
¸
¸
¸
¸
¸
¸
Mentre il vettore della distribuzione iniziale di bambini `e:
>
m0:=vector(5,[50,0,0,0,0]);
m0 := [50, 0, 0, 0, 0]
Il vettore delle probabilit` a stabilizzate risulta:
5.4. RISOLUZIONE ESERCIZI DEL CAPITOLO 4 77
>
A1:=evalm(transpose(P)-1):
>
b1:=matrix(rowdim(P),1,0):
>
A2:=matrix(1,rowdim(P),1):
>
b2:=matrix(1,1,1):
>
A:=stackmatrix(A1,A2):
>
b:=stackmatrix(b1,b2):
>
linsolve(A,b):
>
pi:=convert(%,vector);
π :=
¸

(−1 +p)
3
%1
,
(−1 +p)
2
%1
, −
p (−1 +p)
%1
,
p
2
%1
, 2
p
3
%1
¸
%1 := 4 p
2
+p
3
−4 p + 2
e conseguentemente la matrice di lungo periodo risulta:
>
u:=matrix(vectdim(pi),1,1):
>
pp:=convert(pi,matrix):
>
LP:=evalm(u&*transpose(pp));
LP :=


(−1 +p)
3
%1
(−1 +p)
2
%1

p (−1 +p)
%1
p
2
%1
2
p
3
%1

(−1 +p)
3
%1
(−1 +p)
2
%1

p (−1 +p)
%1
p
2
%1
2
p
3
%1

(−1 +p)
3
%1
(−1 +p)
2
%1

p (−1 +p)
%1
p
2
%1
2
p
3
%1

(−1 +p)
3
%1
(−1 +p)
2
%1

p (−1 +p)
%1
p
2
%1
2
p
3
%1

(−1 +p)
3
%1
(−1 +p)
2
%1

p (−1 +p)
%1
p
2
%1
2
p
3
%1
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
¸
%1 := 4 p
2
+p
3
−4 p + 2
%2 := [−
(−1 +p)
3
%1
,
(−1 +p)
2
%1
, −
p (−1 +p)
%1
,
p
2
%1
, 2
p
3
%1
]
La distribuzione degli bambini nel lungo periodo sar` a pertanto:
>
evalm(m0&*LP);
¸
−50
(−1 +p)
3
%1
, 50
(−1 +p)
2
%1
, −50
p (−1 +p)
%1
, 50
p
2
%1
, 100
p
3
%1
¸
%1 := 4 p
2
+p
3
−4 p + 2
78 CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE
Bibliografia
[1] Baldi P., “Calcolo delle Probabilit` a e Statistica”, Seconda Edizione, McGraw-
Hill Italia, Milano, 1998.
[2] Bellman R., “Introduction to Matrix Analysis”, Second Edition, Classics in
Applied Mathematics, vol.19, SIAM, Philadelphia (U.S.A.), 1997.
[3] Berman A. e Plemmons R.J., “Nonnegative Matrices in the Mathematical Sci-
ences”, Classics in Applied Mathematics, vol.9, SIAM, Philadelphia (U.S.A.),
1994.
[4] Breiman L., “Probability”, Classics in Applied Mathematics, vol.7, SIAM,
Philadelphia (U.S.A.), 1992.
[5] Dynkin E.B., “Markov Processes”, Springer, New York (U.S.A.), 1965.
[6] Gordon G., Pressman I. e S. Cohn, “Quantitative Decision Making for
Business”, Prentice-Hall, 1990.
[7] Graham A., “Nonnegative Matrices and Applicable Topics in Linear Algebra”,
Ellis Horwood Limited, Chichester (GB), 1987.
[8] Hillier F.S. e G.J. Lieberman, “Introduzione alla Ricerca Operativa”, Franco
Angeli, Milano, 1992.
[9] Minc H., “Nonnegative Matrices”, John Wiley & Sons, U.S.A., 1988.
[10] Mood A.M., Graybill F.A. e D.C. Boes, “Introduzione alla Statistica”,
McGraw-Hill Italia, Milano, 1988.
[11] Norris J.R., “Markov Chains”, Cambridge Series in Statistical and
Probabilistic Mathematics, Cambridge University Press, U.S.A., 1997.
[12] Parzen E., “Stochastic Processes”, Classics in Applied Mathematics, vol.24,
SIAM, Philadelphia (U.S.A.), 1999.
[13] Taylor B.W., “Introduction to Management Science”, Prentice-Hall, 1996.
[14] Taylor H.M. e S. Karlin, “An Introduction to Stochastic Modelling”, Academic
Press, 1998.
79

2

Indice
1 Definizioni e risultati iniziali 1.1 Processi Stocastici . . . . . . . . . . . . . . . . . 1.2 Catene di Markov . . . . . . . . . . . . . . . . . . 1.3 Equazioni di Chapman-Kolmogorov e loro applicazioni . . . . . . . . . . . . . . . . . 1.3.1 Probabilit` di transizione in n passi . . . a 1.3.2 Equazioni di Chapman-Kolmogorov . . . 1.3.3 Distribuzione delle probabilit` a tempo t . a 1.3.4 Costi medi a tempo t . . . . . . . . . . . 2 Classificazione degli stati 2.1 Stati accessibili e stati comunicanti 2.2 Stati ricorrenti e stati transitori . . 2.3 Classi di stati ricorrenti/transitori 2.4 Analisi di una catena di Markov tramite il suo grafo associato . . . 2.5 Osservazioni finali . . . . . . . . . 5 5 6 9 10 11 13 14 17 17 19 23 24 26 29 29 32 34 37 40 40 42 43 47

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3 Propriet` di lungo periodo a 3.1 Probabilit` stabilizzate . . . . . . . . . . . . . . a 3.2 Tempi medi di primo passaggio . . . . . . . . . 3.3 Probabilit` di assorbimento . . . . . . . . . . . a 3.4 Periodicit` degli stati di una catena di Markov a 3.5 Propriet` nel lungo periodo . . . . . . . . . . . a 3.5.1 Matrice di lungo periodo . . . . . . . . . 3.5.2 Comportamento asintotico . . . . . . . . 3.5.3 Costi medi nel lungo periodo . . . . . . 4 Esercizi Svolti

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

5 Un approccio computazionale 55 5.1 Propriet` a tempo t . . . . . . . . . . . . . . . . . . . . . . . 55 a 5.1.1 Determinazione della matrice di transizione . . . . . . 55 5.1.2 Stocasticit` della matrice di transizione . . . . . . . . 58 a 3

. . . . . .3. . . . . . 58 59 60 61 61 62 62 63 64 65 65 67 69 71 71 72 73 75 76 5. . 5. .4 Distribuzione delle probabilit` a tempo t . . . . . .3.2 5. . . . . . .2 Probabilit` di primo passaggio . . . . . . . . . .3 5. . . . . .1 Esercizio 1 . . .5 Tempi medi di ritorno e costi medi attesi . a 5.3. . . .2 Vettori canonici delle probabilit` stabilizzate a 5.1 Vettori delle probabilit` stabilizzate . . . . . . . . . . . . .2. . . . . . . . . .4 5. . . . Risoluzione esercizi del Capitolo 4 . INDICE . . . . 5. . . . . . . . . . . . . .2. . . .1. . . . . . a 5. . . . .2. . . . . . . Catene con piu’ classi di stati ricorrenti .1 Vettori delle probabilit` di assorbimento . . . . . .3 Matrice di lungo periodo . . . . . . . . . . .3 Matrici di transizione in n passi .1. . . . . . . . . . . . . . . . . . . 5. . . . . . .4. .5 Costi medi a tempo t . . . . . . . a 5. .4 . .1. . . . . . . . . . . . a 5. . .5 Esercizio 6 . 5. . . . . . . . . . . . . .2. . . . . . . . . . . . . . . . . . 5. . .3 Tempi medi di primo passaggio . . . . . . . . . . . . .4. . . . . . . . . . . . . .4. . . . . . . . .4. . . .3 Esercizio 4 . . . . 5.2 Esercizio 3 . . 5.4 Matrice di lungo periodo . 5. . . . . Catene con una unica classe di stati ricorrenti . . . . . . . .4. . . . . . 5. . . .2. . . . . . .4 Esercizio 5 . . . . . . . 5. .

. . . N − 1} nel caso di un numero finito N di stati e S = {1. m}). infinito e numerabile. 2. . X1 . In particolare il processo ` detto a e parametro discreto se l’insieme T ` un insieme discreto (ad esempio T = e {1. 2. in questo modo avremo S = {1. e Ad ogni istante di tempo t ∈ T il sistema si trover` quindi in un detera minato stato appartenente ad un insieme numerabile di stati esaustivi e tra loro mutuamente esclusivi. . Senza perdita di generalit` rappresenteremo gli stati a di un processo con delle “etichette” numeriche. . o infinito e non numerabile. . . 1]). . qualora risulti Xt = k ∈ S diremo quindi che il sistema al tempo t si trova nello stato k. 2. Nel caso in cui gli stati del processo siano in numero finito si denota con N il loro numero.} oppure T = {1. . . 5 . Il numero degli stati di S pu` essere finito. rappresentare la disponibilit` settimanale di un certo bene o a in un dato negozio.Capitolo 1 Definizioni e risultati iniziali 1.}. .} oppure S = {0. 2. . • l’insieme S degli stati del processo ` numerabile. . 1. . si parler` quindi di processi discreti se esse sono a variabili discrete. a parametro continuo se T ` un e intervallo non singolare dei numeri reali (ad esempio T = [0. . 2. X2 . . . N } oppure S = {0. 2. l’insieme degli stati (ovvero il codominio delle variabili stocastiche) si denota con S. i I processi stocastici sono altres` classificati a seconda della natura delle variabili aleatorie {Xt }. .1 Processi Stocastici Un Processo Stocastico ` semplicemente definito come una famiglia di e variabili aleatorie {Xt }. ad esempio. . I valori che possono essere assunti dalle variabili aleatorie sono detti stati . . pu`. 2. . . 1. ovvero T = N = {0.} nel caso in cui il loro numero sia infinito. il processo stocastico X0 .. con t ∈ T . . 1. . e e • il processo stocastico {Xt } ` discreto. ad esempio. . di processi continui se sono continue. D’ora in avanti si assume che: • T ` l’insieme degli interi non negativi. .

la domanda di questa fotocamera rispettivamente nella prima settimana.6 CAPITOLO 1. Per come sono stati descritti. sociali.B} . 2 Si ricordi che. mentre Xt ∈ {0. etc. 1. kt−1 ∈ S.2.} rappresenta il numero di acquirenti arrivati nella settimana per acquistare la fotocamera. risulta: P{Xt+1 = j|X0 = k0 . 2. Si suppone che le variabili aleatorie Di siano indipendenti ed identicamente distribuite con una funzione di distribuzione di probabilit` nota. X1 il numero di fotocamere u giacenti alla fine della prima settimana. 1 Lo studio delle probabilit` delle catene di eventi collegati tra loro fu iniziato nel 1906a ˇ c 1908 dal matematico russo Andrei Andreieviˇ Markov (1856-1922). P{B} .1 (fotocamere) Un negozio di articoli fotografici vende un particolare modello di fotocamera. si definisce probabilit` a condizionata il valore P{A|B} = P{A. . . Lo c studio delle catene di Markov si ` diffuso a partire dalla met` del XX secolo.1 (Propriet` di Markov) Un processo stocastico veria fica la propriet` di Markov se per ogni istante di tempo t ∈ T . Le variabili aleatorie Xt sono chiaramente dipendenti e possono essere calcolate iterativamente dalla seguente espressione: Xt+1 = max{(3 − Dt+1 ). nella seconda. 1. 2. 2. etc. sia D1 .1. . Esempio 1. 3} rappresentano la giacenza di fotocamere alla fine della settimana.2 Catene di Markov Le Catene di Markov (1 ) sono particolari processi stocastici {Xt } che verificano alcune particolari propriet`. DEFINIZIONI E RISULTATI INIZIALI Introduciamo adesso il seguente esempio che verr` utilizzato nelle varie a sezioni successive. Xt = i} = P{Xt+1 = j|Xt = i} La probabilit` condizionata (2 ) P{Xt+1 = j|Xt = i} ` detta probabilit` di a e a transizione a tempo t dallo stato i allo stato j. X2 il numero di fotocamere giacenti alla fine della seconda settimana e cos` via. . allievo di Cebiˇev. . dati due eventi A. . . dove Dt ∈ {0. Sia X0 a la scorta iniziale di fotocamere (non pi` di 3). 1. Xt−1 = kt−1 . 1. . . a Definizione 1. Se alla fine della settimana il i negoziante rimane sprovvisto di fotocamere ne ordina 3 alla casa che gli verranno recapitate entro l’apertura della settimana successiva. . biologici. .. grazie alle e a loro applicazioni nello studio dei fenomeni fisici. . con P{B} > 0. j ∈ S e per ogni sequenza di stati k0 . in cui le probabilit` di a un evento dipendono dal risultato immediatamente precedente. . B ∈ Ω. 0} se Xt = 0 max{(Xt − Dt+1 ). {Dt } e {Xt } sono processi stocastici. . D2 . . . 0} se Xt ≥ 1 t = 0. . per ogni a coppia di stati i.

2. 2. Si definisce matrice di transizione la seguente matrice P : P = (pij ) ∈ [0. .2 (Probabilit` di transizione stazionarie) Le probaa bilit` di transizione sono dette stazionarie se per ogni coppia di stati a i. Si osservi che per tali matrici il vettore u ` un autovettore corrispondente all’autovalore λ = 1. Tali probabilit` sono indicate con pij = P{X1 = j|X0 = i}.1. j ∈ S La matrice di transizione P verifica la seguente importante propriet` (3 ): a P u = u dove u = [1. Definizione 1. in pratica ` come se il e processo avesse una “perdita di memoria” riguardo al suo passato.4 Si consideri una catena di Markov a stati finiti . 1.2. .3 Un processo stocastico discreto {Xt }. Le catene di Markov a stati finiti possono essere facilmente studiate per mezzo di un approccio basato sulle matrici.2. 1]T 3 Le matrici nonnegative tali che P u = u sono dette matrici stocastiche. CATENE DI MARKOV 7 Questa propriet` indica che la probabilit` condizionata di un “evento” a a futuro dati lo stato attuale e tutti gli “eventi” passati dipende esclusivamente dallo stato attuale del processo e non dai precedenti. . t ∈ T = {0. j ∈ S si ha: P{Xt+1 = j|Xt = i} = P{X1 = j|X0 = i} ∀t ≥ 0. avente un insieme di stati S numerabile. Siamo adesso in grado di definire una Catena di Markov. a ii) probabilit` di transizione stazionarie.}. . 1]N ×N i. 1. a Tale processo stocastico viene inoltre detto Catena di Markov a stati finiti nel caso in cui ammetta un numero finito N di stati. e . Definizione 1. a In pratica la stazionariet` delle probabilit` di transizione indica che a a queste ultime non cambiano nel tempo. 1. .2. . Definizione 1. le probabilit` di trana sizione stazionarie possono essere infatti rappresentate nella seguente forma matriciale. ` detto Catena di Markov se e verifica le seguenti propriet`: a i) propriet` di Markov. .

3679 0.3679 0 0 0. ovvero se vi ` stato almeno un acquirente.0803013970714 e e 2e 2e e • p10 = P{Xt+1 = 0|Xt = 1}: se Xt = 1.2642 0. ovvero se vi ` stato esattamente un acquirente. si verifica facilmente che questa ` una funzione di e k=0 k! densit` di probabilit` discreta corretta. . 0} = 0 soltanto se e Dt+1 ≥ 1.2. di conseguenza p10 = P{Dt ≥ 1} = 1 − P{Dt = 0} = 1 − 1 = 0. 2. ovvero se vi sono stati almeno 3 acquirenti. k! .3679 0. ovvero che k e−λ 1 sia P{Dt = k} = λ k! = ek! con k = 0.1840 0. ovvero sono finite le fotocamere e quindi viene richiesto il rifornimento alla casa. 0} = 0 soltanto se Dt+1 ≥ 3. allora Xt+1 = max{(1 − Dt+1 ). allora Xt+1 = max{(3 − Dt+1 ).3679 0 0. e determiniamo la matrice di transizione P . Supponiamo adesso che le variabili aleatorie Dt abbiano una distribuzione di Poisson (4 ) con parametro λ = 1.6321 0. . . DEFINIZIONI E RISULTATI INIZIALI Esempio 1.1 (fotocamere) Si verifica banalmente che {Xt } ` una catee na di Markov a stati finiti.367879441171 e Analogamente possiamo determinare tutti gli altri valori fino ad ottenere la seguente matrice di transizione:     5 1 − 2e 1 1− e 2 1− e 5 1 − 2e 1 2e 1 e 1 e 1 2e 1 e 1 e   P = 0 1 e 1 e 0 0 1 e     =   0.3679 0.0802 0. • p00 = P{Xt+1 = 0|Xt = 0}: se Xt = 0. Tali grafi (rape presentazioni composte da nodi ed archi) si determinano molto facilmente λ Ricordando che eλ = . di conseguenza p00 = P{Dt ≥ 3} = 1 − P{Dt = 0} − P{Dt = 1} − P{Dt = 2} 1 1 1 5 = 1− − − =1− = 0. infatti risulta a a +∞ +∞ 4 +∞ k P{Dt = k} = e−λ k=0 k=0 λk = 1.3679      Uno strumento estremamente efficace per lo studio delle catene di Markov a stati finiti ` il cosiddetto grafo associato alla catena. di conseguenza e p21 = P{Dt = 1} = 1 = 0. ovvero in magazzino vi ` una sola fotocamera.632120558829 e • p21 = P{Xt+1 = 1|Xt = 2}: se Xt = 2. 1} = 0 soltanto se Dt+1 = 1.1840 0.8 CAPITOLO 1. allora Xt+1 = max{(2 − Dt+1 ). . ovvero in magazzino vi sono 2 fotocamere.0802 0.3679 0. 1.

nel suo articolo “Analytical methods in probability theory”.3.5 s1  1 0    0 s2 0 s3 0.3 0  s2 0. ottenute senza una vera e propria teoria matematica.2.5 0 0 0 s3  0 0    1  0. Le ricerche del matematico russo Andrei Nikolaieviˇ Kolmogorov (1903-1987) hanno c permesso alla Teoria della Probabilit` di compiere progressi fondamentali.1.3 Equazioni di Chapman-Kolmogorov e loro applicazioni Le equazioni di Chapman-Kolmogorov (5 ). in particoa lare. rappresentano forse lo strumento pi` a u importante nello studio delle catene di Markov. a 5 . Esempio 1. Kolmogorov ha sviluppato le basi teorico-matematiche dei processi markoviani. che legano tra loro le probabilit` di transizione in tempi diversi.2 Si consideri una catena di Markov a stati finiti avente un insieme di stati S = {0. EQUAZIONI DI CHAPMAN-KOLMOGOROVE LORO APPLICAZIONI9 facendo in modo tale che ad ogni stato corrisponda un nodo ed ad ogni valore pij > 0 corrisponda un arco orientato dal nodo i al nodo j. che sono risultate essere casi particolari di quelle studiate da Kolmogorov per la Teoria della Probabilit`.1: 1. 3} composto da 4 stati ed avente la seguente matrice di transizione P : s0 s1 s0 0 0. 1. pubblicato nel 1931. Il geofisico inglese Sydney Chapman (1888-1970) ha utilizzato nelle proprie ricerche delle equazioni. 2.7 Il grafo associato a tale matrice risulta: Figura 1.

risulta: i=1 n n P{A} = i=1 P{A. . . o Teorema 1. si indicano con pij = P{Xn = j|X0 = i}. n. Xt = i}P{Xt+n−1 = k|Xt = i} k∈S = Per la propriet` di Markov e la stazionariet` delle probabilit` di transizione a a a si ha inoltre: P{Xt+n = j|Xt+n−1 = k. 1. Bi }. Per ogni coppia di stati i.10 CAPITOLO 1. .3. i=1 Si consideri un evento A ∈ Ω ed n eventi disgiunti Bi . . X0 = i} da cui si ottiene: P{Xt+n = j|Xt = i} = k∈S P{Xn = j|Xn−1 = k. j ∈ S e per ogni intero n ≥ 0 risulta: P{Xt+n = j|Xt = i} = P{Xn = j|X0 = i} ∀t ≥ 0 Dim.1 Probabilit` di transizione in n passi a Nelle catene di Markov il concetto di probabilit` di transizione stazionarie a pu` essere ulteriormente esteso. .1 Si consideri una catena di Markov. . Per il Teorema delle Probabilit` a Totali (6 ) e per la definizione di probabilit` condizionata risulta: a P{Xt+n = j|Xt = i} = k∈S P{Xt+n = j. essendo A = ∪n {A. Xt = i} = P{Xt+n = j|Xt+n−1 = k} = P{Xn = j|Xn−1 = k} = P{Xn = j|Xn−1 = k. .} ∪n Bi . Bi } = i=1 P{A|Bi }P{Bi } tale risultato rimane valido anche per n = +∞ (si veda ad esempio [10]). Dia a mostriamo adesso il risultato per n > 1.3. DEFINIZIONI E RISULTATI INIZIALI 1. 6 (n) n ∈ {0. tali che Ω = Allora. Xt+n−1 = k|Xt = i} P{Xt+n = j|Xt+n−1 = k. Per n = 0 il risultato ` banale mentre per n = 1 coincide con la e stazionariet` delle probabilit` di transizione della catena di Markov. . Xn−1 = k|X0 = i} k∈S = = P{Xn = j|X0 = i} Le precedenti probabilit` condizionate. dette probabilit` di transizione a a stazionarie in n passi. X0 = i}P{Xn−1 = k|X0 = i} P{Xn = j. 2. i = 1.

3. Ovviamente risulta pij = P{X1 = j|X0 = i} = pij . 1]N ×N (n) i. risulta P (0) = I e P (1) = P . X0 = i}P{Xn = k|X0 = i} k∈S = Per la propriet` di Markov e la stazionariet` delle probabilit` di transizione a a a risulta quindi: P{Xn+m = j|Xn = k.2 (Equazioni di Chapman-Kolmogorov) Si consideri una catena di Markov. Risulta: pij (n+m) = k∈S pik pkj (n) (m) ∀i.1.3. j ∈ S ∀n. Definizione 1. 1. m ≥ 1 Dim.3.1 Si consideri una catena di Markov a stati finiti . j ∈ S ∀n ≥ 0 pij = (n) j∈S P{Xn = j|X0 = i} = 1 ∀i ∈ S ∀n ≥ 0 Nelle catene di Markov a stati finiti anche le probabilit` di transizione a stazionarie in n passi possono essere rappresentate in forma matriciale. inoltre: pij = P{X0 = j|X0 = i} = (0) 1 0 se se i=j i=j Poich´ tali valori sono delle probabilit` corrette si ha per definizione: e a 0 ≤ pij ≤ 1 j∈S (n) ∀i. Xn = k|X0 = i} P{Xn+m = j|Xn = k. Teorema 1. per quanto detto in precedenza. Per il Teorema delle Probabilit` Totali risulta: a pij (n+m) = P{Xn+m = j|X0 = i} = k∈S P{Xn+m = j. X0 = i} = P{Xn+m = j|Xn = k} = P{Xm = j|X0 = k} . j ∈ S Ovviamente.2 Equazioni di Chapman-Kolmogorov La mancanza di memoria delle catene di Markov permette di dimostrare che la probabilit` di transizione in n + m passi dipende dalla probabilit` a a condizionata di arrivare dallo stato di partenza ad un certo stato k in n passi e dalla probabilit` di passare negli ultimi m passi dallo stato k allo a stato finale.3. EQUAZIONI DI CHAPMAN-KOLMOGOROVE LORO APPLICAZIONI11 e rappresentano la probabilit` condizionata di passare in n passi dallo stato a (1) i allo stato j. Si definisce matrice di transizione in n passi la seguente matrice P (n) : P (n) = (pij ) ∈ [0.

3.3. . Basta osservare che per ogni k ≥ 1. (n) m (n) (m) ≥ pii ∀n.. · pkn−2 kn−1 · pkn−1 j k1 . sono matrici stocastiche. posto m = 1 e n = k − 1. . e Corollario 1.1 Si consideri una catena di Markov a stati finiti.. che in una catena di Markov a stati finiti la matrice di transizione in n passi non ` altro che la n-esima potenza della matrice di transizione (7 ). per e n ≥ 2 risulta invece (ricordando che P u = u): P (n) u = P n u = P n−1 (P u) = P n−1 u = P n−2 (P u) = P n−2 u = . m ≥ 1 ∀i ∈ S.1) Nel caso delle catene di Markov a stati finiti le equazioni di ChapmanKolmogorov si possono esprimere anche in forma matriciale. = P u = u .. da cui segue che P (n) = P (n−1) P = P (n−2) P 2 = . risulta P (k) = P (k−1) P (1) = P (k−1) P.. . Per n = 0 ed n = 1 il risultato ` banale. Corollario 1. . in modo molto semplice. Risulta: P (n+m) = P (n) P (m) ∀n. Risulta: a i) pij ii) pii (n+m) (n·m) ≥ pik pkj ∀n.2 Si consideri una catena di Markov a stati finiti.kn−1 ∈S (1.3. . DEFINIZIONI E RISULTATI INIZIALI = k∈S P{Xm = j|X0 = k}P{Xn = k|X0 = i} = k∈S pik pkj (n) (m) Il precedente teorema permette di mostrare come le probabilit` di trana sizione in n passi siano date dalla seguente sommatoria: pij = (n) pik1 · pk1 k2 · pk2 k3 · . k ∈ S. 7 Il Corollario 1. m ≥ 1 Questa forma matriciale permette di dimostrare. = P (1) P n−1 = P n . .3.2 permette di dimostrare che tutte le matrici di transizione in n passi P (n) .3. Dalle equazioni di Chapman-Kolmogorov si derivano inoltre le seguenti propriet` che saranno molto utili nei paragrafi successivi. a Propriet` 1. Risulta: P (n) = P n Dim.12 da cui si ha: pij (n+m) CAPITOLO 1.1 Si consideri una catena di Markov. j. m ≥ 1 ∀i. con n ≥ 0.

1662 0.2606 0. EQUAZIONI DI CHAPMAN-KOLMOGOROVE LORO APPLICAZIONI13 Dim.2606 0. Si denota con qi = P{Xt = i} la probabilit` di essere nello stato i al tempo t ∈ T . Definizione 1.1. 1. ≥ pii (n) m .2816 0.1707 0. se alla fine di una certa settimana risulta in giacenza una sola fotocamera abbiamo che la probabilit` di non avere in giacenza alcuna foa (4) tocamera dopo 4 settimane p10 = 0.1639           P (4) = P 4 =     Ad esempio.2495 0.2859 0. in particolare a (0) si denota con qi = P{X0 = i} la probabilit` di essere nello stato i all’inizio a del processo.2854 0.1649 0.282.3. .3. Definizione 1.2 Si consideri una catena di Markov.2833 0.2495 0.2839 0.2825 0.3193 0. i) Basta osservare che dalle equazioni di Chapman-Kolmogorov si ha pij (n+m) = k∈S pik pkj ≥ pik pkj (n) (m) (n) (m) ii) Direttamente dalla i) si ottiene: pii (n·m) = pii (n+n·(m−1)) ≥ pii pii (n) (n·(m−1)) e procedendo im modo analogo segue che pii (n·m) ≥ pii pii (n) (n·(m−1)) ≥ pii (n) 2 (n·(m−2)) pii ≥ .2896 0.3.1639 0.3. .2629 0.3 Distribuzione delle probabilit` a tempo t a Le equazioni di Chapman-Kolmogorov permettono di determinare la probabilit` di essere in un determinato stato dopo un certo numero di transizioni a del sistema. (t) .3 Si consideri una catena di Markov a stati finiti .2675 0.3510 0.1 (fotocamere) Le matrici di transizione in 2 ed in 4 passi risultano:      P (2) = P 2 =  0.1649 0.2896 0.2859 0. i ∈ S. Esempio 1.0972 0.2854 0.2516 0.2325 0.2325 0.3002 0.2325 0.3. Le distribuzioni di probabilit` a tempo t ≥ 0 si possono esprimere in forma a (t) (0) vettoriale tramite i vettori q (t) = [qi ] e q (0) = [qi ].3002 0.2848 0.

all’inaugurazione dell’esercizio. magari perch´ la casa non poteva garantire il rifornimento di 3 e fotocamere.4 Costi medi a tempo t Associando inoltre ad ogni stato un costo.14 CAPITOLO 1. 3 fotocamere dopo due settimane a risulta quindi essere [q (2) ]T = [q (0) ]T P 2 = [0. la a e probabilit` di avere una giacenza di 0. 2.1446]. . sia stato rifornito di 3 fotocamere.2528.2854.3. nel caso in cui la catena di Markov sia a stati finiti tali costi possono essere rappresentati dal vettore c = (ci ) detto vettore dei costi del sistema. 0. 0. Definizione 1.2. ` possibile per mezzo delle e equazioni di Chapman-Kolmogorov studiare tutta una serie di costi medi e costi attesi per il sistema. Esempio 1. 0. 0. risulta infatti: a q (t) T u= k∈S qi = k∈S (t) P{Xt = i} = 1. 0.1] si ottiene che [q [q (2) ]T = [q (0) ]T P 2 = [0.3.3002. in un qualsiasi istante. Si osservi inoltre che i vettori q (t) sono dei vettori di distribuzione delle probabilit` corretti. 0.2956. 1].1649]. 1. che indicano il costo che si deve pagare nel caso in cui il sistema. per ogni stato i ∈ S: qi = P{Xt = i} = k∈S (t) P{X0 = k}P{Xt = i|X0 = k} = k∈S qk pki (0) (t) ovvero. i ∈ S.5. che deve essere pagato dal sistema ogni qual volta si transisce in quello stato. in forma matriciale per le catene a stati finiti: [q (t) ]T = [q (0) ]T P (t) = [q (0) ]T P t . in questo caso il vettore delle probabilit` iniziali del processo ` [q (0) ]T = [0. 1.2 (fotocamere) Supponiamo adesso che il negoziante.3. si trovi nello stato i.3070. 0. 0. 0. 0. 0.2495.2. DEFINIZIONI E RISULTATI INIZIALI Si dimostra banalmente che. supponendo ad esempio come probabilit` iniziali del processo a (0) ]T = [0. Si definiscono: i) costi del sistema i valori ci .4 Si consideri una catena di Markov. Supponiamo adesso che il negoziante non avesse certezza della disponibilit` a iniziale.

partito dallo stato i. nel caso in cui la catena di Markov sia a stati finiti tali costi medi possono essere rappresentati dal vettore c(t) = P (t) c = (ci ) detto vettore dei costi medi al tempo t. i∈S che indicano il costo medio che il sistema. EQUAZIONI DI CHAPMAN-KOLMOGOROVE LORO APPLICAZIONI15 ii) costi medi al tempo t i valori ci = j∈S (t) pij cj = j∈S (t) P{Xt = j|X0 = i}cj .1. a iv) costi medi per unit` di tempo nei primi n periodi i valori a 1 n n t=1 ci (t) che nel caso delle catene a stati finiti possono essere espressi nella seguente forma vettoriale 1 n (t) c = n t=1 1 n (t) P c n t=1 v) costo medio atteso per unit` di tempo nei primi n periodi il a valore 1 n (t) ξ n t=1 che nel caso delle catene a stati finiti pu` essere calcolato in forma o matriciale nel seguente modo: 1 n n ξ (t) = t=1 1 n n [q (0) ]T P (t) c = [q (0) ]T t=1 1 n (t) P c n t=1 . iii) costo medio atteso al tempo t il valore ξ (t) = i∈S (t) qi ci = i∈S j∈S (0) (t) qi pij cj = j∈S (0) (t) qj cj (t) nel caso in cui la catena di Markov sia a stati finiti tale costo medio pu` essere calcolato in forma matriciale nel seguente modo: o ξ (t) = [q (0) ]T c(t) = [q (0) ]T P (t) c = [q (t) ]T c dove q (0) ` il vettore delle probabilit` iniziali mentre q (t) ` il vettore e a e delle probabilit` a tempo t.3. deve supportare all’istante di tempo t.

5.2617 0.2281 0.3647 0. 0. Supponendo che le probabilit` iniziali del processo siano a (0) ]T = [0. 0.2281 0.2123 0. c1 = 2 se ha una sola fotocamera.1938 0.2.2979 0.1082 0.2943 0.2. DEFINIZIONI E RISULTATI INIZIALI Esempio 1.37706 4 t=1      1 4 (t) P 4 t=1 =    0.2996 0.1] abbiamo che il costo medio atteso settimanale che [q il negoziante deve supportare nelle prime 4 settimane di lavoro ` di e 1 4 (t) ξ = [q (0) ]T 4 t=1 essendo  1 4 (t) P c = 5. c2 = 8 se ne ha 2 e c3 = 18 se ne ha 3.3.2617 0.3138 0.2123 .1471 0.16 CAPITOLO 1. 0.2784 0.3 (fotocamere) Supponiamo adesso che il negoziante di fotocamere abbia delle spese per il mantenimento delle fotocamere in magazzino e che tali spese siano date da c0 = 0 se non ha alcuna fotocamera in giacenza.2979 0.

a Definizione 2. i) Lo stato j ` detto accessibile dallo stato i se ∃n ≥ 0 tale che pij > 0.1 Si consideri una catena di Markov e due suoi stati i. a Le prime fondamentali propriet` che legano gli stati di una catena di a Markov sono date dalla loro possibilit` di “comunicare”. iii) lo stato i ` detto assorbente se pii = 1. 17 (m) . e iv) la catena di Markov ` detta irriducibile se tutti gli stati del processo e comunicano tra loro. e in tal caso useremo la seguente notazione: i→j ii) gli stati i e j sono detti comunicanti se lo stato j ` accessibile dallo e stato i ed a sua volta lo stato i ` accessibile dallo stato j: e i→j e j→i (n) (n) in altre parole.1. i e j sono comunicanti se ∃n. Il seguente teorema puntualizza in modo formale la propriet` che carata terizza due stati comunicanti.Capitolo 2 Classificazione degli stati 2.1 Stati accessibili e stati comunicanti Lo studio delle catene di Markov prosegue adesso con l’analisi delle caratteristiche e delle propriet` degli stati del processo. j ∈ S. m ≥ 0 tali che pij > 0 e pji > 0.

ii) P{∃n ≥ 0 tale che Xn = j|X0 = i} > 0.3. in un certo numero di transizioni. Se vale la ii) allora (n) +∞ (n) n=0 pij > 0 e quindi esiste necessariamente un n ≥ 0 tale che pij > 0. iii) se lo stato i comunica con lo stato j e lo stato j comunica con lo stato h allora anche lo stato i comunica con lo stato h. .18 CAPITOLO 2. i)⇔iii) Basta ricordare la (1. i)⇔ii) Si osservi preliminarmente che pij ≤ P{∃n ≥ 0 tale che Xn = j|X0 = i} ≤ n=0 (n) +∞ pij (n) Se vale la i) allora anche la ii) vale banalmente. Propriet` 2. (a) (b) (c) (d) iii) siano a. kn−1 ∈ S. . iii) esistono n − 1 stati k1 . . j ∈ S. ii) se lo stato i comunica con lo stato j allora anche lo stato j comunica con i. a i) ogni stato comunica con se stesso. . lo stato j ` accessibile dallo stato i se e solo se il sistema e pu` raggiungere. i) Segue dal fatto che pii = P{X0 = i|X0 = i} = 1. · pkn−2 kn−1 · pkn−1 j > 0 Dim.1. Dim. j. tali che: pik1 · pk1 k2 · pk2 k3 · . h ∈ S. ii) Segue banalmente dalla definizione.1 Si considerino gli stati i.1). . c. lo stato j a partire dallo o stato i. CLASSIFICAZIONE DEGLI STATI Teorema 2. In altre parole. dalle equazioni di Chapman-Kolmogorov segue che pih (a+c) (0) = k∈S pik pkh ≥ pij pjh > 0 phk pki ≥ phj pji > 0 k∈S (d) (b) (d) (b) (a) (c) (a) (c) (d+b) phi = da cui la tesi.1 Si consideri una catena di Markov e due suoi stati i. pjh > 0 e phj > 0. Le seguenti ulteriori propriet` permettono di partizionare gli stati a di una catena di Markov in classi di equivalenza.1. pji > 0. b. Le seguenti condizioni sono equivalenti: i) i → j. . . d ≥ 0 tali che pij > 0.

1) risulta: fij = k1 .2. tale per e cui j ` accessibile da i mentre i non ` accessibile da j.3. o 2. pertanto essa ` una relazione di equive alenza. a Propriet` 2. Gli stati di una catena possono quindi essere partizionati in classi di equivalenza disgiunte tali che tutti gli stati di una certa classe comunicano tra loro (una classe pu` essere composta anche da un singolo stato). in modo esclusivo. ovvero: e 1{Xn =i} = 1 0 se se Xn = i Xn = i . per la (1. · pkn−2 kn−1 · pkn−1 j (2. detta probabilit` del tempo di primo passaggio dallo stato i allo stato j.2. Per poter studiare formalmente le propriet` degli stati ricorrenti e degli a stati transitori necessitiamo delle seguenti variabili aleatorie. ovvero se: e e ∀j ∈ S risulta: { i → j =⇒ j→i} e Si osservi che uno stato assorbente i (pii = 1) ` un particolare stato ricorrente.. .. i) lo stato i ` detto transitorio se esiste uno stato j ∈ S.1 Si consideri una catena di Markov ed un suo stato i ∈ S. a • fij = P{Tj = n|X0 = i}.2.1 Ogni stato di una catena di Markov `. simmetrica e transitiva.kn−1 ∈S\{j} 1 (n) (n) pik1 · pk1 k2 · pk2 k3 · . ovvero se: e e ∃j ∈ S. tale che i → j e j → i ii) lo stato i ` detto ricorrente se non ` transitorio. detta numero di passaggi in i (1 ). detta tempo di primo passaggio in i.2 Stati ricorrenti e stati transitori Vediamo adesso come ` possibile differenziare tra loro gli stati di una catena. STATI RICORRENTI E STATI TRANSITORI 19 La relazione che lega due stati comunicanti verifica quindi le propriet` a riflessiva.. a e ricorrente oppure transitorio. .1) La variabile aleatoria 1{Xn =i} ` la funzione indicatrice di Xn = i. dove i ∈ S ` e uno stato della catena: • Vi = +∞ n=0 1{Xn =i} . Direttamente dalla definizione (uno stato ` ricorrente se non ` e e transitorio) si ottiene la seguente propriet` di immediata verifica.. j = i. e Definizione 2.2. j = i.2. • Ti = inf{n ≥ 1 : Xn = i}.

i) Essendo gli eventi {Ti = n} mutuamente esclusivi (dal momento che {Ti = n} ∩ {Ti = m} = ∅ per ogni n = m) risulta (2 ): fij = P{Tj < +∞|X0 = i} = P{∪+∞ (Tj = n)|X0 = i} = n=1 2 Si consideri una sequenza di eventi A1 . i) fij = +∞ (n) n=1 fij . ii) P{Xn = i per infiniti n ≥ 0|X0 = i} = limr→+∞ (fii )r . CLASSIFICAZIONE DEGLI STATI • fij = P{Tj < +∞|X0 = i} = P{∃n ≥ 1 tale che Xn = j|X0 = i}.2 Si consideri una catena di Markov e due suoi stati i. iii) Segue dalla ii) osservando che: +∞ +∞ +∞ P{Vi > r|X0 = i} = r=0 r=0 v=r+1 +∞ v−1 P{Vi = v|X0 = i} P{Vi = v|X0 = i} v=1 r=0 +∞ = = v=1 vP{Vi = v|X0 = i} = E{Vi |X0 = i} Lemma 2. detta probabilit` di arrivo dallo stato i nello stato j (si osservi a che per definizione Tj ≥ 1). ii) P{Vi > r|X0 = i} = (fii )r .2.1 Si consideri una catena di Markov ed un suo stato i ∈ S. Dim. e a Lemma 2.25. (m) pik fki ≤ fii ≤ 1 ∀m ≥ 0. . A3 . A2 . sia inoltre B un i=1 .2. +∞ r=0 P{Vi > r|X0 = i} = +∞ +∞ r r=0 (fii ) Dim.20 CAPITOLO 2. ∈ Ω che si escludono a vicenda (ovvero tali che Ai ∩ Aj = ∅ per ogni coppia i = j) tale che ∪+∞ Ai ∈ Ω. . a o iii) P{∃n ≥ m + 1 tale che Xn = j|X0 = i} = iv) limr→+∞ (fii )r ≤ (m) k∈S k∈S pik fkj ∀m ≥ 0. . i) Basta osservare che: +∞ E{Vi |X0 = i} = E n=0 +∞ 1{Xn =i} |X0 = i P{Xn = i|X0 = i} = = E 1{Xn =i} |X0 = i = = n=0 n=0 +∞ (n) pii n=0 ii) Vedi [11] pag. in particolare tale probabilit` pu` assumere solamente i valori 0 ed 1. nel caso particolare in cui sia i = j allora la variabile aleatoria fii ` detta probabilit` di ritorno in i. i) E{Vi |X0 = i} = iii) E{Vi |X0 = i} = +∞ (n) n=0 pii . j ∈ S.

la Propriet` di Markov e la a a stazionariet` delle probabilit` di transizione. per il Lemma 2. partendo n=1 dallo stato i. X0 = i}P{Xm = k|X0 = i} = k∈S P{∃n ≥ m + 1 t. B)} i=1 i=1 = = P{B} P{B} +∞ i=1 (n) (n) P{Ai . Xn = j|X0 = k} = k∈S k∈S (m) pik fkj (m) iv) Basta osservare che. per ogni m ≥ 0 risulta: a a P{∃n ≥ m + 1 t. partendo n=1 dallo stato i. raggiunger` sicuramente prima o poi lo stato j.c.c.2. Xn = i|X0 = i} = fii ≤ 1 In particolare si osservi che: • se fij = +∞ fij = P{Tj < +∞|X0 = i} < 1 il processo. pu` non raggiungere mai lo stato j. B} = P{B} +∞ P{Ai |B} i=1 . B} = P{B} +∞ i=1 P{Ai . in questo a altro evento.1: P{Xn = i per infiniti n ≥ 0|X0 = i} = P{Vi = +∞|X0 = i} = = = r→+∞ r→+∞ lim P{Vi > r|X0 = i} = lim (fii )r La tesi segue quindi osservando che fii ∈ [0. iii) Per il Teorema delle Probabilit` Totali. Xn = j|X0 = i} = P{∃n ≥ m + 1 t. STATI RICORRENTI E STATI TRANSITORI +∞ +∞ 21 = n=1 P{Tj = n|X0 = i} = n=1 fij (n) ii) Basta osservare che.c.2.c.c.c. Allora (si veda ad esempio [10]): P{∪+∞ Ai |B} i=1 = = P{(∪+∞ Ai ). Xn = j|Xm = k. 1].2. o • se fij = +∞ fij = P{Tj < +∞|X0 = i} = 1 il processo.1 e per quanto dimostrato in precedenza.2. per il Lemma 2. per ogni m ≥ 0: r→+∞ lim (fii )r = P{Xn = i per infiniti n ≥ 0|X0 = i} ≤ ≤ P{∃n ≥ m + 1 t. Xn = j|Xm = k}pik = k∈S (m) pik P{∃n ≥ 1 t. Xn = i|X0 = i} ≤ ≤ P{∃n ≥ 1 t. B} P{∪+∞ (Ai .

Dim. k∈S pik fki = 1. Le seguenti condizioni sono equivalenti: i) i ` ricorrente. se e solo se fii = 1. In altre parole. I precedenti lemmi permettono di dimostrare i due seguenti teoremi che caratterizzano gli stati ricorrenti e quelli transitori. v) +∞ (n) n=0 pii = +∞. dal momento che ogni stato i comunica con se stesso. = 1.2 . CLASSIFICAZIONE DEGLI STATI caso fij pu` essere considerata come la distribuzione di probabilit` o a della variabile aleatoria tempo di primo passaggio dallo stato i allo stato j. per il Lemma 2. e ii) per ogni j ∈ S risulta: { i → j iii) fii = +∞ (n) n=1 fii =⇒ fji = 1 }. essendo i ricorrente ∃m ≥ 0 tale che pji > 0. +∞ pii = n=0 +∞ r r=0 (fii ) = +∞ se e solo se fii = 1.2. Sia ora j ∈ S tale che e (n) (m) pij > 0.2 risulta. la iv) vale se e solo se limr→+∞ (fii )r = 1 il che accade.2.1 Si consideri una catena di Markov ed un suo stato i ∈ S. deve necessariamente essere fji = 1. Per ogni intero k ≥ 0 risulta quindi: pii (k(m+n)) ≥ (pii (m+n) k ) ≥ (pij · pji )k > 0 (n) (m) ii)⇒i) Sia i → j.2. la tesi ` banale. ii)⇒iii) Banale. essendo fii ∈ [0.ovvero pii = 1. iv) P{Xn = i per infiniti n ≥ 0|X0 = i} = P{Vi = +∞|X0 = i} = 1. (n) iii)⇔v) Essendo fii ∈ [0. (m) iii)⇒ii) Per la iv) del Lemma 2. ∀m ≥ 0.1. i)⇒ii) ????? DA FARE ????? e Se i ` assorbente. se i → j.2. 1] risulta. iii)⇔iv) Per la ii) del Lemma 2. a (m) (m) (n) . con n ≥ 0. 1]. uno stato i ` ricorrente se il processo torner` sicuramente e a prima o poi nello stato i. dovendo essere 1 = fji = P{∃n ≥ 1 tale che Xn = i|X0 = j} allora ∃n ≥ 1 tale che pji = P{Xn = i|X0 = j} > 0 e quindi j → i. (m) (m) essendo poi k∈S pik = 1 si ottiene k∈S pik (1 − fki ) = 0 equivalente a: pik (1 − fki ) = 0 ∀k ∈ S Di conseguenza. ovvero se esiste un m ≥ 0 tale che pij > 0.22 (n) CAPITOLO 2. Teorema 2. ovvero se vi torner` infinite volte.

risulta +∞ pii = +∞ (fii )r = 1−fii . essendo fii < 1.2.2. basta e negare le condizioni del Teorema 2. a Teorema 2. v) +∞ (n) n=0 pii = 1 1−fii < +∞.2.1) (2.2.3. per il Teorema 2. Per la condizione v) si osservi che per (n) 1 il Lemma 2.2. r=0 Se lo stato i ` ricorrente allora.1. Le seguenti condizioni sono equivalenti: i) i ` transitorio. Per ogni r ≥ 0 risulta: pii (n+r+m) ≥ pij · pjj · pji (n) (r) (m) e pjj (n+r+m) ≥ pji · pii · pij (m) (r) (n) e quindi. per il Teorema 2.2) segue quindi che +∞ pjj = +∞ e quindi anche j ` ricorr=0 rente. Essendo uno stato i transitorio se e solo se non ` ricorrente. ovvero se vi torner` solamente un numero finito di volte. iii) fii = +∞ (n) n=1 fii < 1. u a 2. uno stato i ` transitorio se il processo pu` non ritornarvi e o mai pi`.2) +∞ (r) r=0 pjj ≥ +∞ (n+r+m) r=0 pjj ≥ pij · pji · (n) (m) +∞ (r) r=0 pii (r) Se lo stato i ` transitorio allora.1. CLASSI DI STATI RICORRENTI/TRANSITORI 23 Teorema 2. di utilizzare le seguenti notazioni: (r) .3. Siano i e j due qualsiasi stati comunicanti della classe considerata.2 Si consideri una catena di Markov ed un suo stato i ∈ S. si ha: +∞ (r) r=0 pjj ≤ 1 (n) (m) pij ·pji · +∞ (n+r+m) r=0 pii ≤ 1 (n) (m) pij ·pji · +∞ (r) r=0 pii (2. rispettivamente dalla prima e dalla seconda disequazione. n=0 r=0 In altre parole. e ii) ∃j ∈ S tale che i → j e fji < 1. Dim.3. d’ora in poi. m ≥ 0 tali che pij > 0 e pji > 0.2.1 In una stessa classe di stati comunicanti gli stati sono tutti ricorrenti oppure tutti transitori.3 Classi di stati ricorrenti/transitori Per gli stati appartenenti ad una stessa classe di equivalenza vale inoltre la seguente importante propriet`.3. Tale risultato ci permette. Dim.1.3. iv) P{Xn = i per infiniti n ≥ 0|X0 = i} = P{Vi = +∞|X0 = i} = 0. e r=0 (r) e dalla (2. +∞ pii < +∞.1) segue quindi che +∞ pjj < +∞ e quindi anche j ` transitorio.3. +∞ pii = +∞. (n) (m) per definizione quindi ∃n. dalla e r=0 (r) e (2.2.

.1 (fotocamere) La catena di Markov relativa all’esempio (2) del negozio di fotocamere risulta irriducibile (poich´ pij > 0 ∀i.24 CAPITOLO 2. di cui forniremo soltanto la matrice di transizione (il simbolo “∗” indica una probabilit` positiva). • C1 . . Esempio 2.4. Esempio 2.4 Analisi di una catena di Markov tramite il suo grafo associato Un metodo pratico per studiare le propriet` degli stati di una catena di a Markov ` quella di analizzarne il grafo associato. di conseguenza due stati i e j risultano comunicanti (e quindi appartengono alla stessa classe di equivalenza) se e solo se appartengono ad uno stesso ciclo orientato. Ovviamente i sottoinsiemi degli stati della catena sopra introdotti sono disgiunti ed inoltre risulta: T ∪ C1 ∪ . .2 Studiamo adesso le seguenti catene. a) Si consideri la seguente matrice. e Gli stati assorbenti hanno un solo arco uscente che torna al nodo stesso. . . Uno stato j risulta accessibile dallo stato i se e solo se esiste un cammino orientato dal nodo i al nodo j. nel quale ad ogni stato e corrisponde un nodo ed ad ogni valore pij > 0 corrisponde un arco orientato dal nodo i al nodo j. Se esiste un arco uscente da una certa classe di equivalenza di nodi allora tale classe ` composta esclusivamente da stati transitori. .4. ∪ Cr = S 2. e inoltre essendo una catena a stati finiti risulta anche ricorrente. Cr ⊆ S sono le r classi di stati ricorrenti della catena. il in Figura 2.1:  0  ∗  P =  0 ∗ cui grafo associato ` rappresentato e ∗ 0 0 0 ∗ 0 0 0 0 0 ∗ ∗      abbiamo una sola classe di equivalenza e quindi la catena ` irriducibile. CLASSIFICAZIONE DEGLI STATI • T ⊂ S ` l’insieme degli stati transitori. j) e ricore rente (essendo una catena a stati finiti irriducibile). a per mezzo del corrispondente grafo associato. . e • r ≥ 1 ` il numero di classi di equivalenza (degli stati della catena) e composte da stati ricorrenti.

2: c) si consideri infine la seguente matrice. il in Figura 2.4. avendo una sola classe di equivalenza. e Figura 2. 2 e 3 sono ricorrenti. in particolare lo stato 2 ` assorbente. il cui grafo associato ` rappree sentato in Figura 2. la catena a stati finiti ` irriducibile e ricorrente.2.1: b) si consideri la seguente matrice. lo stato 0 ` transitorio mentre e gli stati 1.3:     P = ∗ 0 0 0 ∗ ∗ 0 ∗ ∗ 0 ∗ 0 0 ∗ 0 0      abbiamo 3 diverse classi di equivalenza.2:  0  0  P =  0 ∗ cui grafo associato ` rappresentato e ∗ 0 0 0 ∗ 0 0 0 0 ∗ ∗ 0      anche in questo caso. ANALISI DI UNA CATENA DI MARKOVTRAMITE IL SUO GRAFO ASSOCIATO25 Figura 2. e .

CLASSIFICAZIONE DEGLI STATI Figura 2. iv) tutti gli stati di una catena di Markov a stati finiti irriducibile sono ricorrenti (la catena ha una sola classe di equivalenza ed i suoi stati non possono essere tutti transitori). iii) una condizione sufficiente (ma non necessaria) affinch´ una catena a e (n) stati finiti sia irriducibile ` che esista un istante n > 0 tale che pij > 0 e ∀i.5 Osservazioni finali Concludiamo questo capitolo osservando le seguenti propriet`: a i) in una catena di Markov a stati finiti non tutti gli stati possono essere transitori (se ci` fosse vero dopo un numero finito di transizioni il o sistema potrebbe abbandonare tutti i suoi stati. da ci` segue per definizione o u o che tutti gli stati della classe sono transitori). v) se il sistema transisce al di fuori di una classe di equivalenza allora tale classe ` composta esclusivamente da stati transitori ai quali il sistema e non acceder` mai pi` (il sistema lascia una classe di equivalenza se a u transisce in uno stato che non comunica con i precedenti e quindi non pu` pi` in seguito tornare in tale classe. j (si veda al riguardo il Teorema 3.3).4. il che ` assurdo).3: 2. vi) se il sistema transisce in uno stato appartenente ad una classe di equivalenza composta soltanto da stati ricorrenti da quel momento in poi non lascier` pi` tale classe (se il sistema potesse lasciare tale classe a u essa sarebbe composta da stati transitori il che nega le ipotesi).26 CAPITOLO 2. . e ii) una catena di Markov irriducibile ` composta da una unica classe di e equivalenza di stati comunicanti.

2. u . viii) il sistema pu` tornare sempre indefinitamente in uno stato ricorrente o mentre pu` lasciare per sempre uno stato transitorio dopo aver transito o in esso al pi` un numero finito di volte.5. il che ` assurdo essendo le e classi composte da stati ricorrenti). OSSERVAZIONI FINALI 27 vii) se i e j sono due stati ricorrenti appartenenti a classi di equivalenza (n) (n) diverse allora pij = 0 e pji = 0 ∀n > 0 (se tali valori potessero essere positivi per un qualche valore di n > 0 allora il sistema potrebbe transire al di fuori della classe iniziale.

CLASSIFICAZIONE DEGLI STATI .28 CAPITOLO 2.

1.Capitolo 3 Propriet` di lungo periodo a 3. 1. . 1]T . uT π = 1} indicano che il vettore π ` l’autovettore della matrice P T corrispondente all’autovalore λ = 1 avente e la somma delle proprie componenti uguale ad 1.1 Si consideri una catena di Markov a stati finiti e sia u = [1. . che indicano la probabilit` di essere in un determinato a stato dopo un numero t di transizioni del sistema. Vi sono dei particolari vettori delle probabilit` iniziali q (0) per i quali i vettori a delle probabilit` a tempo n risultano costanti nel tempo.1 Probabilit` stabilizzate a In una sezione precedente. a Si osservi che lo studio delle probabilit` stabilizzate ` limitato alle catene a e di Markov a stati finiti. 1 29 . con t ≥ 0.1) I vettori π soluzioni delle equazioni degli stati stabilizzati sono detti vettori delle probabilit` stabilizzate. . tali particolari a vettori vengono chiamati vettori delle probabilit` stabilizzate. . in particolare abbiamo visto che: [q (t) ]T = [q (0) ]T P (t) = [q (0) ]T P t . j∈S πj = 1 (3. a Si osservi che le equazioni degli stati stabilizzati {(P T − I)π = 0. uT π = 1 ovvero πj = i∈S πi pij ∀j ∈ S. Valgono le seguenti propriet` fondamentali. abbiamo studiato le distribuzioni di probabilit` a a tempo t. che nel caso delle catene di Markov a stati finiti altro non sono che i vettori q (t) .1. Si definiscono equazioni degli stati stabilizzati (1 ) le equazioni del seguente sistema lineare: (P T − I)π = 0. a Definizione 3.1.

. ii) Per il Teorema di Perron-Frobenius “versione debole” la matrice P T ammette autovettori π corrispondenti all’autovalore dominante λP = 1 aventi le componenti dello stesso segno (ovvero π ≥ 0 oppure π ≤ 0).1 Si consideri una catena di Markov a stati finiti.1. allora: a q (0) = π =⇒ q (t) = π ∀t ≥ 1.1 Si consideri una catena di Markov a stati finiti e sia a u = [1. iii) vi ` un unico vettore delle probabilit` stabilizzate π se e solo se la e a catena ha una unica classe di stati ricorrenti. t t iii) Sia q (0) = π. quindi aggiungendo al sistema l’equazione uT π = 1 abbiamo sempre almeno una soluzione. PROPRIETA DI LUNGO PERIODO Propriet` 3. / iv) se la catena ` irriducibile allora esiste un unico vettore delle probabilit` e a stabilizzate π ed in particolare risulta π > 0. a ii) vi sono r vettori delle probabilit` stabilizzate linearmente indipendenti a se e solo se la catena ha r classi di stati ricorrenti. i) Il sistema omogeneo (P T −I)π = 0 ha sempre almeno ∞1 soluzioni (essendo λ = 1 autovalore della matrice P T ). a Teorema 3. t π = PT t−1 (P T π) = P T t−1 π = . . Dim. i) Se i ∈ S ` uno stato transitorio allora πi = 0 per ogni vettore π delle e probabilit` stabilizzate. . essendo P T π = π si ha P T tesi. . 1. allora risulta q (t) = P T q (0) = P T π. . a ii) i vettori delle probabilit` stabilizzate sono dei vettori di distribuzione a delle probabilit` corretti. . 1. ` possibile dimostrare le seguenti propriet` e a dei vettori delle probabilit` stabilizzate. = π da cui la Si osservi che l’equazione uT π = 1 ` necessaria affinch´ i vettori π delle e e probabilit` stabilizzate siano dei vettori di distribuzione delle probabilit` a a corretti. a iii) sia π un qualsiasi vettore delle probabilit` stabilizzate. 1]T . i) Esiste sempre almeno un vettore delle probabilit` stabilizzate. Utilizzando dei risultati relativi alle matrici stocastiche. ovvero sono tali che π ≥ 0 e π T u = 1. poich´ si e richiede che sia uT π = 1 deve necessariamente essere π ≥ 0. basati sulla loro cosiddetta Forma Standard.30 ` CAPITOLO 3. . in particolare risulta: πi = 0 ⇔ i ∈ T e πi > 0 ⇔ i ∈ T .1.

1. Le equazioni degli stati stabilizzati sono:   π0    π  1   2  π  3    π 1 = = = = = p00 π0 + p10 π1 + p20 π2 + p30 π3 p01 π0 + p11 π1 + p21 π2 + p31 π3 p02 π0 + p12 π1 + p22 π2 + p32 π3 p03 π0 + p13 π1 + p23 π2 + p33 π3 π0 + π1 + π2 + π3 ovvero   π0    π  1   2  π  3    π 1 = = = = = 0.3679π2 +0. tali vettori verranno chiamati vettori canonici delle probabilit` a stabilizzate.` 3. . Definizione 3. . 0.3679π3 +π2 +π3 risolvendo le ultime 4 equazioni abbiamo π = [π0 . Si osservi che abbiamo ottenuto un unico vettore delle probabilit` stabiliza zate e che tale vettore ` positivo. .3679π0 0. e Esempio 3.1.0802π0 +0. . .26313999. . Alcuni dei vettori delle probabilit` stabilizzate giocheranno un ruolo fona damentale nello studio del comportamento di lungo periodo delle catene di Markov. Si definiscono vettori canonici delle probabilit` stabilizzate gli r vettori delle probabilit` stabilizzate a a π (1) .1.2 Si consideri una catena di Markov a stati finiti avente r classi di stati ricorrenti C1 .1840π0 +0. π2 . . . in effetti la catena considerata ` irriducibile e e e quindi un tale risultato ` garantito dalla iv) del Teorema 3. . . PROBABILITA STABILIZZATE 31 Dim. π3 ]T = [0.28581247.3679π2 +0. Cr .1840π3 +0. N . . Segue dalla forma standard delle matrici stocastiche e dai Teoremi di Perron-Frobenius. 0. .3679π3 +0.1 (fotocamere) Calcoliamo i vettori delle probabilit` stabia lizzate nel caso del negozio di articoli fotografici.1. . e .1.16633620]T . 0.3679π0 π0 +π1 +0.3679π1 0.2642π2 +0.0802π3 +0.28471134. .6321π1 0. π (r) linearmente indipendenti tali che ∀i = 1. r: { πi (j) = 0 ⇔ i ∈ Cj } / e { πi (j) > 0 ⇔ i ∈ Cj } Si ricordi che la somma delle componenti di un vettore delle probabilit` a stabilizzate ` uguale ad 1. . π1 . . ∀j = 1.

.. . · pkn−1 j + pik1 · . . · pkn−1 j + k1 =j.. − fij (n−2) (2) pjj − fij (n−1) pjj .kn−1 ∈S pik1 · .kn−1 ∈S pik1 · pk1 k2 · pk2 k3 · .. · pkn−1 j + k1 ∈S\{j}.kn−1 ∈S = + pik1 · .. Per ogni n ≥ 1 risulta: (n) pij = (n) fij n−1 + k=1 fij pjj (k) (n−k) Dim.. Per la (1.2 Tempi medi di primo passaggio Con le equazioni di Chapman-Kolmogorov abbiamo studiato le probabilit` a di transizione in n passi..32 ` CAPITOLO 3.. .. . Andiamo adesso ad approfondire lo studio della probabilit` che il sistema passi per la prima volta da uno stato i ad uno a stato j in n passi: fij (n) = P{Tj = n|X0 = i} = = k1 .k3 ..k3 =j.2.. ...k2 . · pkn−1 j = k1 . . .k4 ... .. . . = pij − fij pjj (n) (1) (n−1) (2) (1) (1) fij (n) − fij pjj (2) (n−2) − ..3. .. . . .. + = fij pjj da cui la tesi... · pkn−2 kn−1 · pkn−1 j = pik1 · .. · pkn−2 kn−1 · pkn−1 j Il seguente teorema mostra un importante legame tra le probabilit` del a tempo di primo passaggio e le probabilit` di transizione in n passi.k2 ∈S\{j}.kn−1 ∈S\{j} +. .1 Si consideri una catena di Markov.k2 =j.kn−1 ∈S\{j} pik1 · pk1 k2 · pk2 k3 · ..... (1) (n−1) + fij pjj (2) (n−2) + fij pjj (3) (n−3) + . . .kn−1 ∈S + k1 . + fij (n) Il precedente teorema suggerisce come le probabilit` fij possano essere a calcolate ricorsivamente per mezzo delle probabilit` di transizione in n passi: a fij fij (1) (2) (n) = pij = pij = pij − fij pjj . . PROPRIETA DI LUNGO PERIODO 3. a Teorema 3.1) risulta pij (n) = k1 .

2495 − 0.368µ10 1 + 0.2. se la scorta in magazzino `.0802 = 0. rispettivamente. i Mentre calcolare fij (probabilit` che il tempo di primo arrivo dallo stato a i allo stato j sia uguale ad n) per tutti gli n pu` essere difficoltoso.0802 · 0.50.2.2431 · 0. µ20 = 2.3. µ30 = 3.50 settimane.51.2535 = .58. denotato con µij e definito dalla seguente espressione: µij = Quando +∞ (n) n=1 fij (n) +∞ (n) +∞ n=1 nfij se se +∞ (n) n=1 fij +∞ (n) n=1 fij <1 =1 = 1 allora µij soddisfa univocamente l’equazione: µij = 1 + k=j pik µkj Fissando quindi uno stato di arrivo j. .0802 · 0.0802 = p30 − f30 p00 = 0.368µ30 ovvero   µ00    µ 10  µ20    µ30 la cui soluzione ` µ00 = 3.1. .368µ20 + 0.368µ10 + 0. Nel caso in cui sia i = j. questa espressione ci permette di ottenere un sistema lineare la cui soluzione fornisce i tempi medi di primo passaggio da tutti i possibili stati iniziali allo stato finale j. µii ` detto tempo medio di ritorno.2. 2. 3.1 (fotocamere) Le probabilit` di primo passaggio dallo staa to 3 allo stato 0 in n passi risultano: f30 (1) = p30 = 0. .184µ10 + 0.2431 = p30 − f30 p00 − f30 p00 = = 0.368µ20 + 0.2930 − 0. ` relao e tivamente semplice ottenere il tempo medio di primo passaggio dallo stato i allo stato j.51.3 fotocamere e allora la scorta viene esaurita in media in 3. 1. = 0.368µ20 1 + 0. e Esempio 3.368µ30 1 + 0.58. µ10 = 1. TEMPI MEDI DI PRIMO PASSAGGIO 33 Esempio 3.2495 − 0.50.0802 = 0.50.184µ10 + 0. di 0.2. In altre e parole.1851 (3) (1) (2) (2) (2) (1) (2) f30 (3) f30 (4) f30 e cos` via.2 (fotocamere) Calcoliamo adesso i tempi medi di primo arrivo nello stato 0:   µ00        = 1 + p01 µ10 + p02 µ20 + p03 µ30 µ10 = 1 + p11 µ10 + p12 µ20 + p13 µ30 µ20 = 1 + p21 µ10 + p22 µ20 + p23 µ30 µ30 = 1 + p31 µ10 + p32 µ20 + p33 µ30 = = = = 1 + 0.

Cr . . . . i ∈ T (dal momento che siamo in una classe di stati ricorrenti.1 Si consideri una catena di Markov a stati finiti avente r classi di equivalenza composte da stati ricorrenti. ovvero la probabilit` di trovare il processo in uno stato transitorio dopo un a grande numero di transizioni tende a zero. i ∈ T / / i∈T Dim. sia inoltre T l’insieme degli stati transitori. Posto u = [1. inizialmente e a in un certo stato i. µ(N −1)j ] e denominiamo con IR la matrice ottenuta dalla matrice identica I ponendo a zero il j-esimo elemento principale [j. sar` assorbito da ognuna di esse. Teorema 3. A tal fine. PROPRIETA DI LUNGO PERIODO Pu` essere utile vedere come il sistema lineare necessario per calcoo lare i tempi medi di primo passaggio possa essere espresso anche in forma matriciale. 1. Si definisce probabilit` di a assorbimento. / / diversa da Ck .1 Si consideri una catena di Markov a stati finiti. o u . . definiamo il vettore µ∗j = [µ0j .3. 3. . Se i ` uno stato ricorrente risulta banalmente che fiCk = 1 se e i ∈ Ck (dal momento che si ` gi` nella classe assorbente) mentre fiCk = 0 e a se i ∈ Ck . . in pratica ogni stato prima o poi transir` in uno stato ricorrente e sar` “assorbito” dalla classe di tale stato. fissiamo uno stato di arrivo j ∈ S. Risulta:    fiCk =   1 0 j∈T pij fjCk + j∈Ck pij se se se i ∈ Ck i ∈ Ck . la probabilit` con cui il sistema a partire a dallo stato i sar` assorbito nella classe Ck . j]. 1]T si ottiene: (I − P · IR ) µ∗j = u Si ricordi che tale formula ` valida solamente quando e +∞ (n) n=1 fij = 1. a Le probabilit` di assorbimento si possono calcolare con la formula india cata nel seguente teorema.3. . a Definizione 3. a a Quando in una catena vi sono pi` classi di equivalenza composte da stati u ricorrenti ` interessante sapere con quale probabilit` il sistema. 1. . denotata con fiCk . denotate con C1 . . dalla quale non si pu` pi` uscire).3 Probabilit` di assorbimento a Si pu` dimostrare che se j ` uno stato transitorio allora o e (n) lim p n→+∞ ij = 0 ∀i. . . .34 ` CAPITOLO 3.

(n) e quindi: +∞ fiCk = n=1 (n) fiCk +∞ = n=1 (n+1) fiCk +∞ + (1) fiCk +∞ = n=1 j∈T pij fjCk + j∈Ck (n) pij = pij . e Gli stati 0.4 0 0 0 0 0 0. PROBABILITA DI ASSORBIMENTO (n) 35 Sia invece ora i uno stato transitorio. risulta: fiCk = j∈Ck (1) pij .5f2{4} f3{4} = 0. risulta fi{4} + fi{5} = 1 per ogni stato transitorio i:   f0{4} = 0.1.6f1{4}     f2{4} = 0.5 0. in stato 4 se non lo ha saldato da pi` di 3 mesi e probabilmente non lo far` mai ed infine u a considerer` il cliente in stato 5 se ha saldato tutto il suo debito. se fiCk ` la probabilit` che il e a sistema a partire dallo stato i venga assorbito nella classe Ck esattamente in n passi.3.6 0 0 0 0 0 0. avendo a la catena due sole classi di stati ricorrenti.12    f1{4} = 0. fiCk (n+1) = j∈T pij fjCk ∀n ≥ 1.7 0 1          il cui corrispondente grafo associato ` rappresentato in Figura 3.6 0.3 ≡   f0{4} = 0.3 0 0 0 0 1 0 0 0 0 0 0. 1. in stato 3 se non lo ha saldato da 3 mesi. Esempio 3.4f3{4}    f1{4} = 0. 2 e 3 risultano transitori ed appartenenti a classi di equivalenza diverse mentre gli stati 4 e 5 sono assorbenti e quindi a loro volta appartengono a classi diverse. in stato 2 se non lo ha saldato da 2 mesi.3. egli considerer` il cliente in stato 0 se ha appena aperto un conto.3 . Indichiamo con {4} e {5} le classi di equivalenza corrispondenti agli stati assorbenti 4 e 5 rispettivamente e calcoliamo le probabilit` di assorbimento degli stati transitori ricordando che. a Supponiamo che il processo sia una catena di Markov e che la relativa matrice delle transizioni sia:      P =    0 0.036     f2{4} = 0.06 f3{4} = 0.` 3. j∈Ck = j∈T pij n=1 fjCk + j∈Ck (n) pij = j∈T pij fjCk + Ovviamente risulta r k=1 fiCk = 1 per ogni stato i della catena.4 0.1 Consideriamo un negoziante che faccia credito ai propri clienti.5 0 0 0 0 0 0. a in stato 1 se non lo ha saldato da un mese.

. . . N .1 Si consideri una catena di Markov a stati finiti avente a r classi di stati ricorrenti C1 . . .3. Risulta: P φ(k) = φ(k) 2 ∀k = 1.7 In altre parole la probabilit` che un cliente che apre un conto non lo saldi a mai ` del 3.88    f1{5} = 1 − f1{4} = 0. .6% mentre.36 ` CAPITOLO 3.94 f3{5} = 1 − f3{4} = 0. . Cr . . e Nel caso delle catene di Markov a stati finiti ` possibile definire i vettori e delle probabilit` di assorbimento. . . a Propriet` 3. ∀k = 1.2 Si consideri una catena di Markov a stati finiti avente r classi di stati ricorrenti C1 . . .3. . r E’ importante osservare la seguente propriet` (2 ). . . . . . Si definiscono vettori delle probabilit` di assorbimento gli r vettori φ(1) . r La Propriet` 3. la probabilit` che un cliente che non e a paga da 3 mesi saldi alla fine il debito ` del 70%. Cr . vettori che risulteranno molto importanti a nello studio delle propriet` di lungo periodo delle catene di Markov a stati a finiti.3.964     f2{5} = 1 − f2{4} = 0. . .1 mostra che nelle catene di Markov a stati finiti i vettori delle a probabilit` di assorbimento altro non sono che autovettori della matrice di transizione P a corrispondenti all’autovalore λ = 1. ad esempio. PROPRIETA DI LUNGO PERIODO Figura 3. . Definizione 3. φ(r) linearmente indipendenti a tali che: (k) φi = fiCk ∀i = 1. . . . .1: e conseguentemente:   f0{5} = 1 − f0{4} = 0.

dal momento che viene generalmente richiesto anche che a u la catena non abbia stati transitori. . pij = fiCk = φi 3.. . Sia Pi . iii) uno stato i ` detto aperiodico se ha periodo t = 1. Una condizione sufficiente per la aperiodicit` di uno stato ` la seguente.4 Periodicit` degli stati di una catena di Markov a Un’altra propriet` importante delle catene di Markov ` la periodicit` dei a e a suoi stati. . v) una catena a stati finiti ` detta ergodica (3 ) se tutti i suoi stati rie correnti sono aperiodici e quindi ergodici (si osservi che in una catena ergodica vi possono essere varie classi distinte di stati ricorrenti o di stati transitori. . 2t. .4. 3 . inoltre gli eventuali stati transitori possono essere anche periodici).. i) si definisce periodo di uno stato i il pi` grande numero intero t ≥ 1 u (n) tale che pii = 0 ∀n = t. Si osservi inoltre che una catena ergodica pu` non essere irriducibile o (dal momento che pu` essere composta da classi distinte di stati ricorrenti o o transitori). di solito. .1 Si consideri una catena di Markov a stati finiti.4. . 3t. utilizzata una definizione di ergodicit` pi` forte di questa. 3t.j ∈T / / pij fjCk + pij fjCk + j∈T j∈Ck pij fjCk = (k) = da cui la tesi. . ii) uno stato i ` detto periodico se ammette periodo t > 1. a e Si presti attenzione al fatto che in letteratura viene. N }. ovvero se ` e e possibile (anche se non sicuro) tornare nello stato i solamente dopo un numero n di transizioni con n = t. Si pu` dimostrare che gli stati appartenenti ad una stessa classe di equivo alenza sono tutti aperiodici oppure sono tutti periodici aventi lo stesso periodo t. iv) gli stati aperiodici e ricorrenti sono detti ergodici . Risulta: Pi φ(k) = = j∈T N j=1 pij φj (k) N = j=1 pij fjCk = pij fjCk + j∈Ck j ∈Ck . ovvero se il e processo pu` tornare nello stato i in due istanti successivi s ed s + 1 o (s) (s+1) (ovvero se ∃s ≥ 1 tale che pii > 0 e pii > 0). i ∈ {1. una qualsiasi riga di P .` 3. Definizione 3. . 2t. PERIODICITA DEGLI STATI DI UNA CATENA DI MARKOV 37 Dim. .

> 0. per le Propriet` 1. dimostriamo quindi la necessariet`. i)⇒ii) Per il Teorema 3.1. iii) ∃n ≥ 0 tale che pij > 0 ∀i.4. j ∈ E esister` in particolare a un cammino orientato minimo di lunghezza v = v(i. di conseguenza n + k = ss + as + b = (a + s − b)s + b(s + 1). Teorema 3. essendo tutti gli stati di E aperiodici. a Teorema 3. ∀i. j) ≤ m tale perci´ che o (n) (n) . ogni k ≥ 0 si pu` scrivere come che ∀k ≥ 0 risulta pii > 0 con n = s o k = as + b. Essendo pii = pii > 0 per le equazioni di Chapman-Kolmogorov si (n) (1·n) (1) n ha pii = pii ≥ pii > 0 ∀n ≥ 0 e quindi basta assumere s = 1. per ogni coppia i.4. ii) ∃n ≥ 0 tale che pij > 0 ∀n ≥ n. E’ possibile caratterizzare anche la aperiodicit` di tutti gli stati di una a classe.1 Se pii > 0 allora lo stato i ` aperiodico. Le seguenti condizioni sono equivalenti: i) gli stati di E sono aperiodici. Il seguente teorema fornisce invece una caratterizzazione della aperiodicit` di uno stato. j ∈ E. j ∈ E. PROPRIETA DI LUNGO PERIODO Propriet` 3. poich´ tutti gli stati di E sono n comunicanti esiste nel sottografo loro associato un cammino orientato tra ogni possibile coppia di nodi.1 delle equazioni di Chapman-Kolmogorov si ha quindi a pii (n+k) (1) (s) (s+1) (n) (1) ≥ pii ((a+s−b)s) (b(s+1)) pii ≥ pii (s) (a+s−b) pii (s+1) b >0 da cui la tesi. e a (1) (n) Se pii > 0 per le equazioni di Chapman-Kolmogorov abbiamo che pii ≥ n (1) pii > 0 ∀n ≥ 0 e quindi basta assumere n = 0. con a ≥ 0 e 0 ≤ b < s. Dim.38 ` CAPITOLO 3.4.4. (n) ˜ e ∃˜ ≥ 0 tale che pii > 0 ∀n ≥ n e ∀i ∈ E.3. Dim. La sufficienza ` banale.1 Uno stato i ` aperiodico se e solo se e ∃n ≥ 0 tale che pii > 0 ∀n ≥ n.2 Si consideri una catena di Markov avente una classe di equivalenza finita E composta da m stati comunicanti. e verifichiamo Sia ora pii = 0 ed s > 1 tale che pii > 0 e pii (n+k) 2 . a e Dim.

M }. a Teorema 3. Dim. Segue direttamente dal Teorema 3. PERIODICITA DEGLI STATI DI UNA CATENA DI MARKOV 39 pij > 0. Le seguenti condizioni sono equivalenti: i) la catena ` irriducibile ed ergodica.4.2 Consideriamo di nuovo le catene descritte nell’Esempio 2. . j ∈ E.4. . iii) ∃n > 0 tale che P (n) > 0 ∀n ≥ n. per le catene di Markov a stati finiti irriducibili. 9. o (n) (s+1) ≥ pij pji = pij pji > 0 (s) (1) (n) (1) Esempio 3. una interessante condizione di equivalenza riguardante l’ergodicit` della catena stessa. .4.4. posto quindi n = n + m verifichiamo che.4. 6. ii)⇒iii) Banale. pij ≥ pii pij > 0. da cui la tesi. Siamo adesso in grado di determinare. e (n) Nel caso b) tutti gli stati sono periodici di periodo 3 (pii = 0 per n = 3. fissati due stati qualsiasi ˜ i.1 (fotocamere) La catena di Markov relativa all’esempio (2) del negozio di fotocamere risulta ergodica (poich´ pij > 0 ∀i. osservando che n + k = (˜ + m + k − v) + v. per le ipotesi risul(s) (n) e ta pii = pii > 0. per le equazioni di Chapman-Kolmogorov si ha quindi che pii da cui la tesi.` 3. (1) (2) Nel caso a) che lo stato 3 ` aperiodico (p33 > 0 e p33 > 0) e quindi e anche tutti gli altri lo sono (essendo la catena composta da una sola classe di equivalenza) risultando anche ergodici (la catena ` irriducibile). . pij (n+k) (v) > 0 ∀k ≥ 0.) e quindi la catena non ` ergodica. iii)⇒i) Sia i un qualsiasi stato di E e sia s = n.2 osservando che una catena ` e irriducibile ed ergodica se e solo se tutti i suoi stati sono aperiodici e comunicano tra loro (si ricordi che una catena a stati finiti irriducibile ha solo stati ricorrenti e non pu` avere stati transitori). j). . j ∈ {1. . per le ipotesi e per le equazioni di Chapman(n+k) (˜ +m+k−v) (v) n Kolmogorov.3 Si consideri una catena di Markov a stati finiti. poich´ tutti gli stati di E sono comunicanti esiste si(1) curamente uno stato j ∈ E tale che pji = pji > 0. e Esempio 3.2. n con m + k − v ≥ 0. e ii) ∃n > 0 tale che pij > 0 ∀i.4. . e . risulta.

.3. PROPRIETA DI LUNGO PERIODO Nel caso c) tutti gli stati risultano infine banalmente aperiodici essendo p00 . sia LP = M N T la matrice di lungo periodo associata alla sua matrice di transizione P . φ(r) ] ed N = [π (1) . .3. .40 ` CAPITOLO 3. mentre la condizione P stabilizzati della Definizione 3. Dim. . . . . ii) N T M = I.1. ii) Basta osservare che per le Definizioni 3. . . a 3. 1.5. . 1]T ∈ r . iii) N T u = ur e M ur = u.3.1 Si consideri una catena di Markov a stati finiti avente matrice di transizione P ed r classi di stati ricorrenti C1 . φ(r) permettono di definire la seguente probabilit` di assorbimento φ a matrice. Teorema 3. . π (r) ]. .1.5. Allora i) P M = M e P T N = N .1. .1 Si consideri una catena di Markov a stati finiti. 1. a a la matrice LP sopra definita verifica le seguenti importanti propriet`.5. . .1. .1 Matrice di lungo periodo I vettori canonici delle probabilit` stabilizzate π (1) . . p11 e p22 positivi ma la catena non ` ergodica dal momento che lo stato e 0 ` transitorio. ovvero le colonne di M sono date dagli r vettori delle probabilit` di assorbimento. . mentre le colonne di a N sono composte dagli r vettori canonici delle probabilit` stabilizzate.5 Propriet` nel lungo periodo a Nel caso delle catene di Markov a stati finiti ` possibile studiarne in modo e molto semplice le propriet` ed il comportamento nel lungo periodo. π (r) ed i vettori delle a (1) . .2 e per il Teorema 3. 1. sia inoltre u = [1. . e iv) LP ` stocastica (LP u = u) ed idempotente (LP LP = LP ). Si definisce matrice di lungo periodo associata a P la matrice: LP = M N T dove M = [φ(1) . . . Cr . . Definizione 3.2 e 3. 1. 1]T ∈ N ed ur = [1. . . . e 3. . . i) La condizione P M = M segue direttamente dalla Propriet` a T N = N si ottiene dalle equazioni degli stati 3.1 risulta: (i) T u = 1 se i = j T π (i) φ(j) = π 0 se i = j .

5. . studiata nel Teorema 3. Si osservi poi che per la particolare struttura dei vettori φ(k) .5. iv) Per le propriet` ii) e iii) risulta: a LP u = M N T u = M ur = u LP LP = M N T M N T = M (N T M )N T = M N T = LP e quindi la matrice LP ` stocastica ed idempotente. la tesi ` quindi dimostrata per l’unicit` del vettore delle probabilit` stabie a a lizzate dimostrata nella iii) del Teorema 3. l’unica soluzione del sistema {(P .1 risulta. Dal Teorema 3. k = 1.5. / Dim.1. Corollario 3. r. Teorema 3.1. PROPRIETA NEL LUNGO PERIODO 41 iii) La condizione N T u = ur segue direttamente dalle equazioni degli stati stabilizzati.5.1 Si consideri una catena di Markov a stati finiti irriducibile avente matrice di transizione P . In particolare: πi = 0 ⇔ i ∈ T e πi > 0 ⇔ i ∈ T . .2 si ottiene in modo immediato il seguente corollario. Allora LP = uπ T ≥ 0 dove π ∈ [0. e La matrice LP assume una struttura molto semplice nel caso in cui la catena ammetta una unica classe di stati ricorrenti. . 1]N ` l’unico vettore delle probabilit` stabilizzate ovvero ` l’unica e a e soluzione del sistema {(P T − I)π = 0.5. uT π = 1}. denotando con Mi la i-esima riga di M : Mi ur = (k) r k=1 φi = 1 r k=1 fiCk = 1 se i ∈ T se i ∈ T / da cui la tesi. uT π = 1}. Allora LP = uπ T > 0 dove π ∈ (0. 1)N ` l’unico vettore delle probabilit` stabilizzate ovvero ` e a e T − I)π = 0.2 Si consideri una catena di Markov a stati finiti avente matrice di transizione P ed una unica classe di stati ricorrenti.` 3.1 che M = φ(1) = u. Essendo r = 1 segue dalla iii) del Teorema 3. .3.

sia ine oltre u = [1. esso infatti continua a transire da uno stato all’altro con probabilit` pij . .2 Si consideri una catena di Markov a stati finiti.2 risulta limn→+∞ pij = 0 ∀j ∈ T . 1]N ` l’unico vettore delle probabilit` stabilizzate.5. qualsiasi sia lo stato di partenza i. ovvero la probabilit` di trovarsi nel lungo periodo in uno stato transitorio j a ` nulla. . Se la catena ` ergodica con una unica classe di stati ricorrenti allora lim q (n) = π n→+∞ (n) dove π ∈ [0.5. e Si osservi inoltre che per il Teorema 3. . 1. . sia e inoltre u = [1. 1.5. e a Dim. 1]N ` l’unico vettore delle probabilit` stabilizzate ovvero ` l’unica e a e soluzione del sistema {(P T − I)π = 0. . essendo per definizione uT q (0) = 1. 1. 1]T . 1. a Corollario 3. . Teorema 3. In altre parole. In particolare.3 Si consideri una catena di Markov a stati finiti.5. PROPRIETA DI LUNGO PERIODO 3. se una catena di Markov a stati finiti ` ergodica con una e unica classe di stati ricorrenti risulta che (n) lim p n→+∞ ij = lim P{Xn = j|X0 = i} = πj ≥ 0 n→+∞ (n) ovvero il limite limn→+∞ pij esiste ed ` indipendente dallo stato iniziale i.2 Comportamento asintotico Il comportamento della catena a stati finiti si stabilizza nel lungo periodo nel caso in cui la catena stessa sia ergodica.42 ` CAPITOLO 3. risulta: n→+∞ lim [q (n) ]T = lim [q (0) ]T P (n) = [q (0) ]T lim P (n) = [q (0) ]T uπ T = π T n→+∞ n→+∞ E’ importante sottolineare che la probabilit` stabilizzata non implica che a il processo venga assorbito da un determinato stato. La catena ` ergodica se e solo se: n→+∞ lim P (n) = LP dove LP ` la matrice di lungo periodo associata a P . . . a . uT π = 1}. nel caso e in cui la catena ammetta una unica classe di stati ricorrenti risulta n→+∞ lim P (n) = uπ T dove π ∈ [0. Basta osservare che. 1]T . e Il seguente corollario mostra che la probabilit` di trovare il processo in a un certo stato j dopo un grande numero di transizioni tende al valore πj indipendentemente dalle probabilit` iniziali q (0) .

nel caso in cui la catena a sia ergodica con una unica classe di stati ricorrenti. Vale tuttavia il o seguente risultato.2858 0. µ11 = 1 1 1 π1 = 3. π2 . π3 ]T = [0. 0.2631 0. π1 .5.16633620]T 1 I corrispondenti tempi medi di ritorno risultano µ00 = π0 = 3.2631 0.3 tali valori devono essere uguali alle probabilit` stabilizzate. µ22 = π2 = 3.01190.5.1 (fotocamere) Nel caso del negozio di articoli fotografici si osserva facilmente che:     P (8) = P 8 = P (4) P (4) =  0.28581247.26313999.2632 0. 3.` 3.2847 0.2847 0.1663 0. Per il Teorema 3.1663      Intuitivamente. essa ` irriducibile.2858 0. 0.2847 0. Considea o riamo ad esempio una catena con matrice di transizione P = 0 1 1 0 . 0. . ricorrente e di periodo 2 dal momento che e P (n) = P n = I P se se n ` pari e .2858 0. gli elementi delle colonne delle matrici di transizione in n passi si stanno “stabilizzando” su valori uguali.2858 0.80025 e µ33 = π3 = 6. permettono di calcolare in modo molto semplice i tempi medi di ritorno.1664 0.5.51232. PROPRIETA NEL LUNGO PERIODO 43 Si osservi infine che le probabilit` stabilizzate.28471134. che sono state gi` a a calcolate in precedenza: π = [π0 . se rilassiamo (n) l’ipotesi dell’aperiodicit` il limite limn→+∞ pij pu` non esistere.49884.1663 0.2631 0. risulta infatti: µjj = +∞ 1 πj se se j∈T j∈T / Esempio 3.3 Costi medi nel lungo periodo Nel sottoparagrafo precedente abbiamo supposto di avere una catena di Markov a stati finiti ergodica (a stati ricorrenti ed aperiodici).5. n ` dispari e ne consegue che non pu` esistere il limite limn→+∞ P (n) .2847 0.

1]T . PROPRIETA DI LUNGO PERIODO Teorema 3.1). .5 Si consideri una catena di Markov a stati finiti avente una unica classe di stati ricorrenti e siano u e π come nel Teorema 3. risultati validi per qualsiasi catena con una unica classe di stati ricorrenti (anche se non ergodica). .3. In particolare.44 ` CAPITOLO 3. Teorema 3.4 risulta limn→+∞ n n P (t) = uπ T . .5.4 risulta 1 n→+∞ n lim n ξ (t) = [q (0) ]T uπ T c t=1 . .5.1. la i) segue t=1 direttamente dalla iv) della Definizione 1.4 Si consideri una catena di Markov a stati finiti. Allora 1 n (t) P = LP n→+∞ n t=1 lim dove LP ` la matrice di lungo periodo associata a P . Questo risultato ` fondamentale per calcolare e i cosiddetti costi medi per unit` di tempo nel lungo periodo (si ricordino le a definizioni date in Definizione 1. soluzione del sistema {(P In altre parole si dimostra che. uT π = 1}.5.3.5. . nel caso e in cui la catena ammetta una unica classe di stati ricorrenti risulta 1 n (t) P = uπ T n→+∞ n t=1 lim dove π ∈ [0. Allora: i) il vettore dei costi medi per unit` di tempo nel lungo periodo a ` dato da: e 1 n (t) lim c = uπ T c n→+∞ n t=1 ii) il costo medio atteso per unit` di tempo nel lungo periodo ` a e dato da: 1 n (t) ξ = πT c lim n→+∞ n t=1 1 Dim. .4.4. sia inoltre u = [1. la ii) si ottiene osservando che dalla v) della Definizione 1.4). 1.3. . 1. . Per il Teorema 3. 1]N ` l’unico vettore delle probabilit` stabilizzate ovvero ` l’unica e a e T − I)π = 0. in una catena avente una unica classe di stati ricorrenti. a partire da qualsiasi stato iniziale i si ha: 1 n→+∞ n lim n t=1 pij = πj (t) dove i valori nonnegativi π1 . πN sono le uniche soluzioni delle equazioni degli stati stabilizzati (3.

668594197 . indipendente dallo stato iniziale e coincide con il costo medio atteso per unit` di tempo nel lungo periodo.2631) + 18 · (0.` 3.5. c1 = 2 se vi ` una sola fotocamera. c2 = 8 se ve ne e sono 2 e c3 = 18 se ne ve ne sono 3. per le ipotesi assunte.5.1663) = 5. relativa al mantenimento delle fotocamere in magazzino.2858) + 2 · (0.2847) + 8 · (0. PROPRIETA NEL LUNGO PERIODO e ricordando che [q (0) ]T u = 1. Esempio 3.2 (fotocamere) Ricordiamo che le spese per il mantenimento delle fotocamere in magazzino sono date da c0 = 0 se non vi ` alcuna e fotocamera in giacenza. La spesa media attesa per settimana nel lungo periodo. 45 Come possiamo osservare il costo medio per unit` di tempo nel lungo a periodo risulta. risulta pertanto: 1 n (t) lim ξ = πT c = n→+∞ n t=1 3 ci πi = i=0 = 0 · (0. si a osservi inoltre che queste relazioni valgono anche nel caso particolare in cui la catena sia ergodica e soddisfi quindi le ipotesi del sottoparagrafo precedente.

46 ` CAPITOLO 3. PROPRIETA DI LUNGO PERIODO .

Capitolo 4 Esercizi Svolti Esercizio 4.1 Assumiamo che la probabilit` che domani piova se oggi ha a piovuto sia α ∈ (0. 1) e che la probabilit` che domani sia bel tempo se oggi a ` stato bel tempo sia β ∈ (0.0. Determinare la matrice di transizione della e catena di Markov e la matrice di transizione in due passi. 1).1: La catena risulta irriducibile ed ergodica. studiare gli stati della catena ed infine determinare le eventuali probabilit` stabilizzate ed i a tempi medi di ritorno.1. Soluzione Indichiamo con lo stato 0 la giornata piovosa e con lo stato 1 la giornata con bel tempo: p00 = P{Xt+1 = 0|Xt = 0} = α ⇒ p01 = P{Xt+1 = 1|Xt = 0} = 1 − α p11 = P{Xt+1 = 1|Xt = 1} = β ⇒ p10 = P{Xt+1 = 0|Xt = 1} = 1 − β. risulta quindi: P = P (2) = P 2 = α 1−α 1−β β α2 + (1 − α)(1 − β) (1 − α)(α + β) 2 + (1 − α)(1 − β) (1 − β)(α + β) β Il grafo associato a questa catena ` rappresentato in Figura 4. le probabilit` stabilizzate si a ottengono quindi dalle equazioni degli stati stabilizzati:   π0  = p00 π0 + p10 π1 π1 = p01 π0 + p11 π1   1 = π +π 0 1 ≡ π1 = 1 − π 0 π0 = απ0 + (1 − β)(1 − π0 ) 47 . e Figura 4.

le probabilit` stabilizzate sono le uniche soluzioni delle equazioni degli a stati stabilizzati {(P T − I)π = 0.3 Una industria produttrice di videoregistratori ` tanto sicue ra della qualit` dei propri prodotti da garantire per due anni la sostituzione a dell’apparecchio in caso di guasto.0. . avente matrice di transizione bistocastica. . Si osservi che il vettore π = N u verifica le equazioni degli stati stabilizzati. 1. ` e irriducibile ed ergodica allora: πj = 1 N ∀j ∈ {1. N } Dimostrare che se una catena. N } Soluzione Sia u = [1. . . . ESERCIZI SVOLTI π1 = 1−α 2−α−β I tempi medi di ritorno sono quindi: µ00 = 1 2−α−β 1 2−α−β 1−α 1−β = = =1+ .2 Una matrice di transizione P . . . N uT π = 1 T 1 u u= N =1 N N La tesi segue quindi dall’unicit` delle equazioni degli stati stabilizzati. . 1]T . Soluzione La “vita” di un videoregistratore pu` essere rappresentata tramite o una catena di Markov avente i seguenti stati: . essendo la catena irriducibile ed ergodica. ovvero se: e N i=1 pij = 1 ∀j ∈ {1. La garanzia non copre gli apparecchi forniti in sostituzione di quelli guasti. essendo inoltre P bistocastica 1 risulta P T u = u.0. uT π = 1}. . 1. le statistiche dell’azienda indicano che soltanto l’1% dei videoregistratori si guasta durante il primo anno ed il 5% durante il secondo. . . Formulare il problema come una catena di Markov.48 da cui si ottiene: π0 = 1−β 2−α−β e CAPITOLO 4. ` detta bistocastica se la somma delle e componenti di ogni colonna ` uguale ad 1. infatti: (P T − I)π = 1 (P T u − u) = 0 . . µ11 = =1+ π0 1−β 1−β π1 1−α 1−α Esercizio 4. relativa ad una catena di Markov composta da N stati. fornirne la matrice di transizione e determinare la probabilit` che l’industria a debba soddisfare la garanzia di un apparecchio. a Esercizio 4.

2. mai guasto nel primo anno.95 0. Queste ultime sono annotate e classificate in uno dei quattro seguenti stati: stato stato stato stato 0: 1: 2: 3: macchina macchina macchina macchina come nuova. danneggiata da sostituire con una nuova.01 = 5.0.95% Esercizio 4. funzionante ma molto deteriorata.2: Gli stati 0 ed 1 sono transitori ed appartenenti a classi di equivalenza diverse.99f1{3} + 0.05    0 0 1 0  0 0 0 1 mentre il grafo associato alla catena ` rappresentato in Figura 4. funzionante e poco deteriorata. gli stati 2 e 3 sono invece assorbenti ed indicheremo le loro classi con {2} e {3}.99 0 0.49 stato stato stato stato 0: 1: 2: 3: videoregistratore videoregistratore videoregistratore videoregistratore  nuovo. probabilit` che possiamo ottenere dal seguente sistema: a f0{3} = p01 f1{3} + p03 f1{3} = p13 ⇒ f1{3} = 5% f0{3} = 0.01 0 0 0. guasto e sostituito. e Figura 4.4 Un certo processo produttivo ` basato su di una macchina e che si deteriora rapidamente cos` che alla fine di ogni giornata essa viene i ispezionata per verificarne le condizioni. La probabilit` che l’industria debba sostituire l’apparecchio a ` data dalla probabilit` di assorbimento f0{3} dello stato transitorio 0 nello e a stato assorbente 3.  La matrice di transizione risulta la seguente    P = 0 0. uscito di garanzia. .

3.000 Euro se essa ` rispettivamente nello e stato 0. e Figura 4. determinare il costo medio atteso giornaliero nel lungo periodo per la manutenzione. esistono quindi le probabilit` stabilizzate che sono le uniche soluzioni delle equazioni degli stati a stabilizzati:   π0 = p00 π0 + p10 π1 + p20 π2 + p30 π3    π = p π +p π +p π +p π  1 01 0 11 1 21 2 31 3  π2 = p02 π0 + p12 π1 + p22 π2 + p32 π3   π = p π +p π +p π +p π  3 03 0 13 1 23 2 33 3    1 = π0 + π1 + π2 + π3 ovvero   π0    π  1   2  π  3    π 1 = = 7 π0 8 1 = 16 π0 1 = 16 π0 = π0 π3 + 3 π1 4 + 1 π1 8 + 1 π1 8 +π1 + 1 π2 2 + 1 π2 2 +π2 +π3 .000 Euro. ricorrente (avendo un numero finito di stati) ed aperiodica (essendo p11 > 0). 1.3: La catena considerata risulta quindi irriducibile.50 CAPITOLO 4.000 Euro e 6. 2. 1.3. Soluzione Il grafo associato a questa catena ` rappresentato in Figura 4. a supponendo inoltre che il costo per la manutenzione della macchina sia di 0 Euro. ESERCIZI SVOLTI Il processo pu` essere modellizzato come una catena di Markov a stati finiti o avente la seguente matrice di transizione:     P = 0 7 8 0 3 4 0 0 1 0 1 16 1 8 1 2 1 16 1 8 1 2      0 0 Determinare le eventuali probabilit` stabilizzate ed i tempi medi di ritorno. 3.

. tali citt` sono state fondate sul mare in corrispondenza dei quattro punti cara dinali e sono collegate tra loro solamente tramite una strada costiera.5 Nell’isola di Atlantide vi sono quattro citt`. tra due anni.13. 1000 e 2000 abitanti. 3. . . il numero di abitanti delle citt` tra due e tra dieci anni sar`: a a m(2) m(10) T T = m(1) = m(9) T P = m(0) T P 2 = [637. 2. il vettore che indica il numero di abitanti delle quattro citt`. in particolare risulta m(0) = [200. 2000]P = [475.76] . si pu` calcolare a o con la seguente formula: mi (1) 4 = j=1 mj pji (0) che in forma matriciale si pu` scrivere come: o [m(1) ]T = [m(0) ]T P = [200. 5 giorni 2 e µ11 = 13 = 1.75. i corrispondenti tempi medi di ritorno risultano quindi di µ00 = µ22 = µ33 = 13 = 6.0.}.923 Euro n→+∞ n 13 13 13 13 t=1 Esercizio 4.5. = m(0) P 10 = [927. 1. 989. 1087.5.000 + 3. per motivi di lavoro o familiari. 1000. Si ottiene la seguente matrice di transizione: a  3  4 1  P = 8  0 1 8 1 8 3 4 1 8 0 1 8 3 4 1 8 0   1 8 3 4 1 8    0 Sia inoltre m(k) .000 = 1. Si poteva prevedere il risultato del lungo periodo? Soluzione Si definisce la probabilit` pij che un abitante della citt` Ci si a a trasferisca nella citt` Cj . 643.92. Analogamente. 86 giorni. 2000]T . aventi rispettivamente 200. 600. C2 . 910. . 2. a Il numero di abitanti tra un anno delle citt` Ci . k ∈ N = {0. 972.51 2 7 risolvendo il sistema abbiamo π0 = π2 = π3 = 13 e π1 = 13 . 1650]. a tra dieci anni e nel lungo periodo. 1431. 4. i = 1. 1075. 600.25] T T P = . C3 e C4 . senza alcuna preferenza tra a a esse. denominate a C1 . Calcolare la popolazione delle quattro citt` tra un anno. 600. il costo medio atteso giornaliero nel lungo periodo 7 per la manutenzione risulta infine di: 1 n (t) 2 7 2 2 lim ξ = π T c = 0 + 1. 600. il 25% degli abitanti di queste quattro citt` si trasferisce in una delle due citt` vicine. .18. Ogni anno. 1000.000 + 6.

Tale soluzione risulta essere π = 1 u. 3. . 2.0.6 Una scuola elementare ha 50 bambini e cinque aule allineate lungo lo stesso corridoio. 4). allo scoccare di ogni minuto successivo i bambini che sono nella prima aula devono spostarsi nella seconda. ricorrente (avendo un numero finito e di stati) ed aperiodica (essendo p55 > 0). 950. 1.2). 950]. i bambini che sono nella seconda. 1)N delle probabilit` stabilizzate che ` l’unica a e soluzione delle equazioni degli stati stabilizzati date dal sistema (P T − I)π = 0. ESERCIZI SVOLTI La catena risulta banalmente irriducibile. terza e quarta aula devono trasferirsi con probabilit` p nell’aula di destra e con probabilit` 1 − p a a in quella di sinistra. ricorrente (avendo un numero finito di stati) ed aperiodica (essendo pii > 0 per ogni i = 1. 1]T . 0. in particolare il vettore π ∈ (0. ovvero nel lungo periodo. Soluzione Siano A1 . 1. 1. 0. Si propone ai bambini il seguente gioco: tutti i bambini si vanno sedere inizialmente nella prima aula del corridoio. i bambini che sono nell’ultima aula possono decidere indifferentemente di star fermi oppure tornare nella quarta aula. Si ottiene a la seguente matrice di transizione:     P =   0 1 0 1−p 0 p 0 1−p 0 0 0 1−p 0 0 0 0 0 p 0 1 2 0 0 0 p 1 2        Sia inoltre m(k) . 1)N . uT π = 1 dove u = [1. k ∈ N = {0. esiste quindi il vettore π ∈ (0.52 CAPITOLO 4. 0. La catena ` banalmente irriducibile. .}. il vettore che indica il numero di bambini nelle cinque aule. Esercizio 4. A3 . di conseguenza 4 si ottiene: [m(∞) ]T = = k→+∞ lim [m(k) ]T = [m(0) ]T lim P k = [m(0) ]T uπ T k→+∞ 1 (0) T T [m ] uu = [950. Calcolare dopo un paio d’ore. 0]T . 2. A2 . 950. A4 ed A5 le aule del corridoi e si definisca la probabilit` pij che un bambino nell’aula Ai si sposti nell’aula Aj .0. in particolare risulta m(0) = [50. 4 Tale risultato si poteva prevedere in quanto la matrice di transizione P ` e bistocastica e quindi le sue probabilit` stabilizzate sono equidistribuite (si a veda l’Esercizio 4. . il numero di bambini nelle varie aule.

4 . irriducibile ed apee riodica. la distribuzione nel lungo periodo risulta: [m(∞) ]T = k→+∞ lim [m(k) ]T = [m(0) ]T lim P k = [m(0) ]T uπ T k→+∞ 50 = 50π T = 3 [(1 − p)3 . si pu` calcolare con la formula: o mi (k) 5 = j=1 mj (k−1) pji Riscrivendo tale formula in forma matriciale si ottiene m(k) T = m(k−1) T P = .53 delle probabilit` stabilizzate. pertanto (si veda l’Esercizio 4. 2p3 ]T . 4. 1. i = 1. studiare le probabilit` stabilizzate di una a catena di Markov avente quattro stati e la seguente matrice di transizione:     P = 1−p p 0 0 p 0 1−p 0 0 1−p 0 p 0 0 p 1−p      Soluzione Questa matrice ` banalmente bistocastica. ` unico. e dato da: e π= 1 [(1 − p)3 . 1]T . con u = [1. soluzione delle equazioni degli stati stabilizzati a (P T − I)π = 0. 5. p3 + 4p2 − 4p + 2 Il numero di bambini presenti dopo k minuti nelle varie aule Ai .7 Posto p ∈ (0. . 4 . uT π = 1 .0. (1 − p)2 . 1). e . (1 − p)2 . 1.0. 2 − 4p + 2 p + 4p Esercizio 4. . p2 . 4 ] . 1. p(1 − p). p2 . p(1 − p). esiste. 3. 2p3 ]T .2) il vettore delle probabilit` stabia 1 1 1 1 T lizzate ` unico e dato da π = [ 4 . 2. = m(0) T Pk pertanto.

ESERCIZI SVOLTI .54 CAPITOLO 4.

risolveremo i vari esercizi presentati nel capitoli precedenti utilizzando il software MapleT M (1 ). Nello specifico. casa canadese di Waterloo (Ontario). di R.1. the protected names norm and trace have been redefined and unprotected Per comodita’ creiamoci una costante uguale al numero di Nepero e. e := e 1 Il software di calcolo simbolico MapleT M . Iniziamo quindi a crearci la funzione di distribuzione di cui abbiamo bisogno. 55 ..1 Propriet` a tempo t a Determinazione della matrice di transizione E’ noto che il momento pi` delicato dello studio di un modello di tipo markou viano ` proprio la determinazione delle probabilit` di transizione. ` prodotto e dalla Maplesoft. Cambini. giunto ad oggi alla versione 8. 5.1 5. > restart. divisione della Waterloo Maple Inc. > e:=exp(1).Capitolo 5 Un approccio computazionale In questo capitolo verificheremo come un software di calcolo computazionale possa essere efficientemente utilizzato per studiare le catene di Markov a stati finiti. A sece a onda del particolare modello possono cambiare totalmente le tecniche da utilizzarsi nel calcolo della matrice di transizione. Nel caso dell’esempio sul negozio di fotocamere le probabilit` di trana sizione si calcolano supponendo che i clienti intenzionati ad acquistare una fotocamera arrivino con una distribuzione poissoniana. > with(linalg): Warning. a tal fine si considerano propedeutici i primi quattro capitoli della nota didattica ”Introduzione al calcolo simbolico”.

2 := > T[0. 3 := > T[1. T1. 0 := 1 − 51 2 e > > T[0.3]:=0. mentre le matrici altro non sono che particolari array in cui le righe e le colonne sono indiciate a partire dal numero intero 1. per evitare confusione con la numerazione degli stati.0]:=1-d(0). T0.. d := x → 1 e x! La catena ha quattro stati.0]:=1-d(0)-d(1).3]:=d(0)..0. 1 := 1 e > T[1.. a Si ricordi al riguardo che negli array le righe e colonne possono essere indiciate in un qualsiasi intervallo di numeri interi.1]:=d(2).1]:=d(0).0]:=1-d(0)-d(1)-d(2).3. T0. 0. T := array(0. T0. []) T[0. “2” e “3”. 0 := 1 − 2 e > > > T[2.1]:=d(1). 2 := 0 T[1. > T:=array(0.3). T0. UN APPROCCIO COMPUTAZIONALE Definiamo poi la funzione di distribuzione poissoniana con parametro λ = 1. 3 := 0 T[2. T2. .2]:=0. denominati “0”. T1. creiamo preliminarmente un array temporaneo contenente le varie probabilit` di transizione.3. 0 := 1 − > T[1. “1”. T1. T1. 1 := 11 2 e 1 e 1 e 1 e > T[0.. successivamente a questo array verr` convertito nella vera e propria matrice di transizione. > d:=x->1/(e*x!).56 CAPITOLO 5.3.2]:=d(1).

1840 . Il comando da utilizzare in questo caso ` “evalf(matrice.080300 .367880 0.matrix).2]:=d(1).632120 .183940 . 1 := 11 2 e 1 e 1 e > T[3.4). .6).      .367880 . 3 := 0 T[3.2642 . e 1− > > P:=convert(T.2]:=d(0).0802 .      . PROPRIETA A TEMPO T 1 e 1 e 57 T2.6321 .3679 0.0]:=1-d(0)-d(1)-d(2). 0.367880 .080300 .3679 . T3.3]:=0.` 5.3679      > evalf(evalm(P). T3. T3.367880 .1]:=d(2). 2 := > T[3.  evalf(evalm(P).cifre)”. 3 := 51 11 1 1   2 e 2 e e e      1  1− 1 0 0      e e P :=     1 1  1− 2 0    e e e    51 11 1 1  1− 2 e 2 e e e Per avere una idea numerica delle probabilit` di transizione dobbiamo visua alizzare le frazioni in numeri decimali. T2.183940 .3679 . . 0 := 1 − 51 2 e > > T[3. .367880 0.1840 .367880 .3679 .1.3]:=d(0). T2. 2 := > T[2. .3679 0. T3.367880      .3679 . 0. 1 := > T[2.264240 .0802 .

[0. Maple svolge i calcoli in modo estremamente preciso ma essi possono diventare illeggibili. u:=vector(rowdim(P).3 Matrici di transizione in n passi Per le equazioni di Chapman-Kolmogorov le matrici di transizione in n passi relative alle catene di Markov a stati finiti sono semplicemente le potenze n-esime della matrice di transizione. 2 e + 2 . la matrice di transizione di una catena di Markov a stati e finiti deve essere una matrice stocastica.1. UN APPROCCIO COMPUTAZIONALE 5. Pertanto conviene sicuramente avere una rappresentazione con numeri decimali delle matrici di transizione in due e quattro passi.58 CAPITOLO 5. 1 e + 1 . 1] La matrice di transizione P ` stocastica se P u = u ovvero se P u − u = 0. 2 e + 2 . 1 2 e + 2 . (1 − ) + 2 e e e e 2 e (e)2 e (e)2 1− 5 1 2 e + 1 e (e)2 1− 1 1 1 1− 1− 1− e . 1 2 e + 2 . 0. e 5. (1 − ) + 2 e e e e 2 e (e)2 e (e)2 1− 5 1 2 e + 1 e (e)2 Come si vede. Calcoliamo quindi le matrici di transizione in 2 e 4 passi. Per verificare tale propriet` basta utilizzare un vettore u avente tutte a le componenti uguali ad 1. 1 5 1 2 5 1 5 1 1 1− 1− 1− 1− (1 − ) 5 1 2 2 e + e + 2 e . 0. 0] OK. 1 e + 2 . e > > evalm(P&*u-u). . e + 1 . 2 2 e e 2 e (e) e (e) e 5 1 2 5 1 5 1 1 1 1− 1− 1− 1− (1 − ) 5 1 2 2 e + e + 2 e . > P2:=evalm(P^2). e 2 e (e)2 e e 1 e 2 e P2 :=  (1 − 1 ) (1 − 5 1 ) + e 2 e  (1 − 2 ) (1 − 5 1 ) + e 2 e 1− 2 1 2 2 1− 1− 1− 1− e + e . ovvero deve essere una matrice nonnegativa tale che la somma degli elementi sulle sue righe ` sempre uguale e ad 1.2 Stocasticit` della matrice di transizione a Come ` noto. 1. u := [1. e .1. 1.1). la matrice P calcolata ` effettivamente una matrice stocastica.

283875 . .164876 .232544 .262870 .350971 .166166 . .249470 P4:=evalm(P^4): evalf(%.285440 . .260581 .1.267449 .249470  . .144576] evalm(q0&*P4): q4:=evalf(%. 1] Le probabilit` di avere 0. q4 := [.232544 .283303    . .1. Si ricordi che tale vettore ` di fatto uno dei a e dati del problema.300211 .285440 .5/10.260581 .285939. q0 := [0.163876 .4 Distribuzione delle probabilit` a tempo t a Per determinare la distribuzione delle probabilit` a tempo t occorre innanzi a tutto definire il vettore della distribuzione delle probabilit` iniziali.164876 > > .0.285939 . .319274 .3 fotocamere in giacenza dopo due settimane a risultano pertanto: > evalm(q0&*P2): > q2:=evalf(%.260581.[2/10.251607 . . .6).1.6). supponiamo che all’apertura del negozio sicuramente il negoziante abbia a disposizione tre fotocamere.6).295590.1/10]).6).[0. q2 := [.285939 .289598 . 5 5 2 10 evalm(q0&*P2): q2:=evalf(%. > q0:=vector(4. a > > > q0:=vector(4.` 5. .170744 .232544 .1]). ovvero a delle probabilit` a tempo zero. Come primo caso.282505 .2/10.2. .300211.249470.0972086 . .       . . > > .163876] Ovviamente si ottengono risultati completamente diversi se si utilizza un diverso vettore delle probabilit` iniziali.252843.284795 . 1 1 1 1 q0 := .306986.289598 . 0. PROPRIETA A TEMPO T > 59      evalf(evalm(P2).6).164876] evalm(q0&*P4): q4:=evalf(%.0.6).285440.289598.300211 .281586 . > > q2 := [. 0.163876      5.

2.43003] Il costo medio atteso al tempo t = 3 `: e > evalm(q0&*P3&*c): > xi3:=evalf(%. .[0.283993. . 18] Ricalcoliamoci poi. c := [0.212266 .364730 . . .228100 .18]).60 CAPITOLO 5. 6.147119 .297886 .6).278429 .16437.1/10]).285133.261747 . c3 := [5.8. abbiamo sempre utilizzato le probabilita’ di transizione in forma frazionaria.5 Costi medi a tempo t Definiamo innanzi tutto il vettore delle probabilit` iniziali ed il vettore dei a costi del sistema. a > P1:=evalm(P): > P2:=evalm(P^2): > P3:=evalm(P^3): > P4:=evalm(P^4): Il vettore dei costi medi al tempo t = 3 risulta: > evalm(P3&*c): > c3:=evalf(%.[2/10. per evitare errori di approssimazione.212266      evalm(M4&*c): c4m:=evalf(%.72735. 1 1 1 1 q0 := . .72735] Il costo medio atteso per unit` di tempo nei primi quattro periodi risulta: a > evalm(q0&*M4&*c): > xi3m:=evalf(%. UN APPROCCIO COMPUTAZIONALE q4 := [.80273.4 passi.294317 .6).3.2/10.      > > > .37705 Si osservi che.263099. 5 5 2 10 > c:=vector(4. limitando ai soli risultati finali l’approssimazione con cifre decimali. c4m := [6. 5.228100 . 4.63289 Il vettore dei costi medi per unit` di tempo nei primi quattro periodi sar`: a a > M4:=evalm((1/4)*(P1+P2+P3+P4)): > evalf(%.6).5/10.78741.193827 .6).2. le matrici di transizione in 2. 5. ξ3 := 5.108208 .261747 .54203. 8. q0:=vector(4.313773 .6). per comodit`.297886 .43003. xi3m := 5. .167770] 5.299586 .1. 6. 4.

b2 := 1 A questo punto abbiamo tutto il necessario per creare A e b. uT π = 1 ovvero il sistema PT − I uT π= 0 1 Poich´ Maple risolve solamente i sistemi lineari nella loro forma canonica e Ax = b.vector).1.5. Si osservi che la soluzione del sistema sar` un vettore colonna. dobbiamo preliminarmente crearci la matrice dei coefficienti A ed il vettore b dei termini noti.  5 1 1 2 51 − 1− 1− 1−  2 e e e 2 e   1 1 1 11 1  −1   2 e e e 2 e A1 :=   1 1 1  0 −1  e e e   1 1 0 0 −1 e e b1:=matrix(rowdim(P).                  b1 :=  0 0 0 0      > A2:=matrix(1.1 Catene con una unica classe di stati ricorrenti Vettori delle probabilit` stabilizzate a Vediamo adesso come possiamo calcolare il vettore delle probabilit` stabia lizzate risolvendo il sistema delle “equazioni degli stati stabilizzati”: (P T − I)π = 0.1.0). A2 := 1 1 1 1 > b2:=matrix(1.2.2 5. ovvero una matrice con a una sola colonna. CATENE CON UNA UNICA CLASSE DI STATI RICORRENTI 61 5.b2): > linsolve(A.1).b): > pi:=convert(%. . pertanto per comodit` trasformeremo subito tale soluzione a in un vettore. > A:=stackmatrix(A1.1). > > A1:=evalm(transpose(P)-1).A2): > b:=stackmatrix(b1.rowdim(P).2.

.3 Tempi medi di primo passaggio I tempi medi di primo passaggio µij dallo stato i allo stato j si calcolano in forma matriciale con la seguente formula: (I − P · IR ) µ∗j = u dove µ∗j = [µ0j .3. j + 1] della matrice P .j+1]-f1*P3[j+1. .j+1]-f3*P[j+1.26314000. j].185086 5.243022 > f3:=evalm(P3[i+1. .8). µ(N −1)j ]. j:=0.2 e %1 %1 %1 e %1 > %1 := −e + 2 (e)2 + 1 evalf(%. .080300 > f2:=evalm(P2[i+1. Si faccia attenzione al riguardo che la probabilit` di transizione dallo stato i allo stato j ` localizzata a e nell’elemento [i + 1. > i:=3. Definiamo preliminarmente lo stato di partenza i e lo stato di arrivo j.6). 1. 1]T .253485 > f4:=evalm(P4[i+1. . .2.2.j+1]-f1*P2[j+1. .28581242. i := 3 j := 0 Abbiamo quindi tutto il necessario per calcolare le probabilit` di primo a passaggio dallo stato i allo stato j in 1.j+1]): > evalf(%. calcoleremo di seguito le probabilit` di primo passaggio a dallo stato 3 allo stato 0 in 1.4 passi.2.2 Probabilit` di primo passaggio a Queste probabilit` si possono calcolare ricorsivamente come spiegato nel a precedente paragrafo 3.4 passi.6).2. . [.j+1]): > evalf(%. .2. .6). .2 .16633619] 5.j+1]-f1*P[j+1. IR ` la matrice ottenuta e dalla matrice identica I ponendo a zero il j-esimo elemento principale [j.j+1]-f2*P[j+1. .j+1]-f2*P2[j+1. 1. UN APPROCCIO COMPUTAZIONALE π := 2 3 e − 3 (e)2 − 1 + (e)3 1 + e e − 1 (e − 1)2 .6).28471135. . u = [1.62 CAPITOLO 5. > f1:=evalm(P[i+1. Nello specifico.j+1]): > evalf(%.3.j+1]): > evalf(%. . . . .

> > > > uu:=convert(u. .2.matrix): LP:=evalm(uu&*transpose(pp)). 2.rowdim(P). 1. 1] matrix(rowdim(P). . dobbiamo preventivamente trasformare i vettori u e π in matrici. 1]T e π ∈ [0. calcoliamo adesso i tempi medi di primo passaggio nello stato j = 0.0): IR:=evalm(%+1): IR[j+1. j := 0 > u:=vector(rowdim(P). Questi vettori sono stati gi` calcolati. evalf(%.4 Matrice di lungo periodo Nel caso in cui la catena abbia una unica classe di stati ricorrenti la matrice di lungo periodo si calcola con la formula: LP = uπ T ≥ 0 e a dove u = [1. 1 e (−e + 2 (e)2 + 1) e 1 e (−e + 2 (e)2 + 1) (e)2 . CATENE CON UNA UNICA CLASSE DI STATI RICORRENTI 63 nello specifico. . Ricordiamoci come sempre che lo stato generico j corrisponde nella matrice di transizione alla riga ed alla colonna (j + 1)-esima. > j:=0. 1.j+1]:=0: evalm(IR).6).matrix): pp:=convert(pi.2. .50266. 3. 1.58198. . 1. 1]N ` l’unico vettore delle probabilit` stabilizzate.6). . quindi possiamo procedere direta tamente al calcolo di LP . . 2 (e − 1)3 e − 1 (e − 1)2 2 (e − 1)3 µ := > evalf(%. 1.49879] 5. u := [1.1).      > > > > 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1      > > evalm(1-P&*IR): mu:=linsolve(%.5. [3.u). per evitare problemi con il prodotto tra vettori.49879. Si osservi che.

284712 .263140 .285806 .263140. .80025 6. .64  CAPITOLO 5. 8.285806.5 Tempi medi di ritorno e costi medi attesi A questo punto.66860 cmlp := 2 > evalf(%.166336      %1 := [.263140 . ricordiamoci preliminarmente il vettore dei costi: > evalm(c). a > > > for i from 1 to vectdim(pi) do evalf(1/pi[i].284712 . 2.6).2 ] e %1 %1 %1 e %1      . UN APPROCCIO COMPUTAZIONALE 3 e − 3 (e)2 − 1 + (e)3  2 e %1    3 e − 3 (e)2 − 1 + (e)3  2  e %1  LP :=   3 e − 3 (e)2 − 1 + (e)3  2  e %1    3 e − 3 (e)2 − 1 + (e)3 2 e %1 2+1 %1 := −e + 2 (e) %2 := [2 e−1 2 %1 e−1 2 %1 e−1 2 %1 e−1 2 %1 (e − 1)2 2 e %1 (e − 1)2 2 e %1 (e − 1)2 2 e %1 (e − 1)2 2 e %1                1+e %1 1+e %1 1+e %1 1+e %1 3 e − 3 (e)2 − 1 + (e)3 1 + e e − 1 (e − 1)2 .166336 .284712. 18] Il costo medio atteso per unit` di tempo nel lungo periodo ` dato da: a e > cmlp:=evalm(pi&*c).01190 Per quanto riguarda i costi medi attesi.166336] 5.285806 . i tempi medi di ritorno possono essere calcolati in modo estremamente semplice prendendo il reciproco delle probabilit` stabilizzate. . 1+e 16 (e − 1) 36 (e − 1)2 + + −e + 2 (e)2 + 1 −e + 2 (e)2 + 1 e (−e + 2 (e)2 + 1) 5. [0.285806 .166336 .51232 3.284712 .166336 .263140 .285806 .2 . 3.284712 . .49886 3.2. .6) end do.263140 .

5.3. CATENE CON PIU’ CLASSI DI STATI RICORRENTI

65

5.3

Catene con piu’ classi di stati ricorrenti

Nel caso in cui la catena sotto studio abbia pi` classi di stati ricorrenti, u possiamo determinare per ciascuna di queste classi di stati ricorrenti un vettore “canonico” delle probabilit` stabilizzate ed un vettore delle probabilit` a a di assorbimento. Vediamo adesso come calcolare tali valori utilizzando la catena di Markov introdotta nell’Esempio 3.3.1. > restart; > with(linalg):
Warning, the protected names norm and trace have been redefined and unprotected
> > > > > > > > > > > >

PP:=matrix(6,6,0): PP[1,2]:=6/10: PP[1,6]:=4/10: PP[2,3]:=5/10: PP[2,6]:=5/10: PP[3,4]:=4/10: PP[3,6]:=6/10: PP[4,5]:=3/10: PP[4,6]:=7/10: PP[5,5]:=1: PP[6,6]:=1: evalm(PP);

2 0 0 0  0 5     1 1    0 0  0 0   2 2     3   0 0 0 2  0  5 5       7  3  0 0 0 0   10 10       0 0 0 0 1 0  0 0 0 0 0 1 Si osservi che questa catena ha quattro stati transitori (ovvero 0,1,2 e 3) e due stati ricorrenti (ovvero 4 e 5) che risultano anche essere assorbenti. Gli stati ricorrenti sono a loro volta ripartiti in due classi distinte, ovvero C1 = {4} e C2 = {5}.

3 5

5.3.1

Vettori delle probabilit` di assorbimento a

Per calcolare il vettore delle probabilit` di assorbimento nella classe di stati a ricorrenti Ck dobbiamo risolvere il seguente sistema lineare: (P − I)φ = 0 , φi = 1 0 se se i ∈ Ck i ∈ Ck , i ∈ T / /

66

CAPITOLO 5. UN APPROCCIO COMPUTAZIONALE

Denotando con ui l’i-esimo vettore della base canonica di n , ovvero il vettore avente tutte le componenti nulle ad esclusione della i-esima uguale ad 1, possiamo riscrivere tale sistema nella seguente forma: (P − I)φ = 0 uT φ = 1 i uT φ i =0 se se i ∈ Ck i ∈ Ck , i ∈ T / /

Si ricordi che, poich´ Maple risolve i sistemi lineari solamente nella loro e forma canonica Ax = b, dobbiamo preliminarmente crearci la matrice A dei coefficienti ed il vettore b dei termini noti. Iniziamo dal vettore delle probabilit` di assorbimento nella classe C1 = {4}. a > A1:=evalm(PP-1); > b1:=matrix(rowdim(PP),1,0);   3 2 −1 0 0 0  5 5     1 1    0 0  0 −1   2 2     3   0 0 −1 2  0 A1 :=  5 5       7  3  0 0  0 −1  10 10       0 0 0 0 0 0  0 0 0 0 0 0
     b1 :=    
> > > >

0 0 0 0 0 0

        

A2:=matrix(1,rowdim(PP),0): A2[1,5]:=1: evalm(A2); b2:=matrix(1,1,1); 0 0 0 0 1 0 b2 := 1

> > > >

A3:=matrix(1,rowdim(PP),0): A3[1,6]:=1: evalm(A3); b3:=matrix(1,1,0); 0 0 0 0 0 1

5.3. CATENE CON PIU’ CLASSI DI STATI RICORRENTI b3 :=
> > > > >

67

0

A:=stackmatrix(A1,A2,A3): b:=stackmatrix(b1,b2,b3): linsolve(A,b): phi1:=convert(%,vector); evalf(%,4); 9 3 3 3 φ1 := , , , , 1, 0 250 50 25 10 [.03600, .06000, .1200, .3000, 1., 0.] Adesso non ci resta che calcolare, in modo analogo, il vettore delle probabilit` di assorbimento nella classe C2 = {5}. Si osservi che, a tal fine, a dobbiamo solamente modificare i vettori b2 e b3. > b2:=matrix(1,1,0); > b3:=matrix(1,1,1); b2 := b3 :=
> > > > >

0 1

A:=stackmatrix(A1,A2,A3): b:=stackmatrix(b1,b2,b3): linsolve(A,b): phi2:=convert(%,vector); evalf(%,4); 241 47 22 7 φ2 := , , , , 0, 1 250 50 25 10 [.9640, .9400, .8800, .7000, 0., 1.]

5.3.2

Vettori canonici delle probabilit` stabilizzate a

Per calcolare il vettore canonico delle probabilit` stabilizzate corrispona dente alla classe di stati ricorrenti Ck dobbiamo risolvere il seguente sistema lineare: (P T − I)π = 0 uT π = 1 uT π = 0 i se i ∈ Ck /

dove ui ` l’i-esimo vettore della base canonica di n . e Questa volta sar` il vettore dei termini noti ad essere lo stesso per a entrambi i vettori delle probabilit` stabilizzate. a Iniziamo a calcolare il vettore canonico delle probabilit` stabilizzate a corrispondente alla classe C1 = {4}. > A1:=evalm(transpose(PP)-1); > b1:=matrix(rowdim(PP),1,0);

b2:=matrix(1.rowdim(PP).      Id :=     1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1          > > A3:=delrows(Id.1).1).5. A2 := 1 1 1 1 1 1 b2 := 1 > > matrix(rowdim(PP).5).. b3:=matrix(rowdim(A3).68 CAPITOLO 5.0): Id:=evalm(%+1).     A3 :=    1 0 0 0 0 0 1 0 0 0  0 0 1 0 0 0 0 0 0 0 0 0 0 1 0        0 0 0 0 0 0 0 0 0 1           b3 :=    .0).1.1. UN APPROCCIO COMPUTAZIONALE           A1 :=           −1 0 0 0 3 −1 0 0 5 1 0 −1 0 2 2 0 0 −1 5 3 0 0 0 10 1 3 7 2 5 2 5 10   0  0     0    b1 :=    0     0  0 0 0      0 0     0 0      0 0     0 0   0 0 > > A2:=matrix(1.rowdim(PP).

.vector). . π (r) ].     A3 :=    1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0        > > > > A:=stackmatrix(A1. .3.A2.b): pi2:=convert(%. 0.. basta infatti utilizzare a la formula: LP = M N T dove M = [φ(1) .6).3. A tal fine dobbiamo solamente modificare la matrice A3. . 0. 0. 0.A3): b:=stackmatrix(b1. π1 := [0.6. . . π2 := [0. > M:=concat(phi1. .A2. φ(r) ] ed N = [π (1) . 0. 0] Passiamo adesso a calcolare il vettore canonico delle probabilit` stabia lizzate corrispondente alla classe di stati ricorrenti C2 = {5}.vector).b2. . 0. ovvero le colonne di M sono date dagli r vettori delle probabilit` di assorbimento. . > A3:=delrows(Id. 0. CATENE CON PIU’ CLASSI DI STATI RICORRENTI > > > > 69 A:=stackmatrix(A1.5. 1.phi2).b3): linsolve(A. 1] 5.A3): b:=stackmatrix(b1.b): pi1:=convert(%.b2.3 Matrice di lungo periodo Una volta determinati i vettori canonici delle probabilit` stabilizzate ed i a vettori delle probabilit` di assorbimento abbiamo tutto il necessario per cala colare con estrema facilit` la matrice di lungo periodo. mentre le colonne a di N sono composte dagli r vettori canonici delle probabilit` stabilizzate a (attenzione all’ordine con cui tali vettori sono incolonnati nelle rispettive matrici).b3): linsolve(A.

 Verifichiamo empiricamente tale risultato con una potenza della matrice di transizione P di grado abbastanza elevato. 0. 0. 0. 0.120000 .          0. .0360000 . 0. 0. 0.0600000 . 0. 0. 0. 0. UN APPROCCIO COMPUTAZIONALE           M :=          9 250 3 50 3 25 3 10 1 0  241 250 47 50 22 25 7 10 0 1                             > N:=concat(pi1. 1. > evalf(evalm(PP^30).300000 . 0.pi2). 0. 0. 0. 0.880000    0. . . 1.700000    0.940000   0.6).6).70 CAPITOLO 5. . 0. 0.     N :=     0 0 0 0 1 0 0 0 0 0 0 1 > LP:=evalm(M&*transpose(N)).          LP :=           0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 9 250 3 50 3 25 3 10 1 0 241 250 47 50 22 25 7 10 0 1                    > evalf(%. 0.964000 0. 0. 0. .

T1. > with(linalg): Warning. 0. 0. 0.1]:=1-alpha.0.. 0.4. 0.. 1. RISOLUZIONE ESERCIZI DEL CAPITOLO 4          71  0. 0. T := array(0. 5.700000    0. 1 := 1 − α T[1. 0.940000   0. 0. P := α 1−α 1−β β La matrice di transizione in due passi `: e > P2:=evalm(P^2). 0. 0. 0. 0.1]:=beta.5.0]:=alpha. 0.1). . P2 := α2 + (1 − α) (1 − β) α (1 − α) + (1 − α) β (1 − β) α + β (1 − β) (1 − α) (1 − β) + β 2 . 0.0360000 .. 5. . . 0.1. 0. 0 := 1 − β > > > > La matrice di transizione risulta: > P:=convert(T. 0.0]:=1-beta. T0. . 1 := β T[1. 0. 0. 0.1 Esercizio 1 Inizializziamo Maple: > restart..1. 0.0600000 . 1.matrix). T1.4.120000 .300000 .4 Risoluzione esercizi del Capitolo 4 In questa sezione vengono presentati alcuni dei possibili svolgimenti al computer degli esercizi risolti nel Capitolo 4. T0. []) T[0. the protected names norm and trace have been redefined and unprotected Creiamo per comodit` l’array temporaneo: a > T:=array(0.1.964000 0.880000    0. 0. 0 := α T[0.

    A1 :=  −1 .0.[0. > b1:=matrix(rowdim(P).1]).95 .0): > A2:=matrix(1.rowdim(P).A2): > b:=stackmatrix(b1. > with(linalg): Warning.05    P :=    0 0 1 0  0 0 0 1 La catena ha due classi di stati ricorrenti C1 = {2} e C2 = {3}.05.1.95.vector).72 CAPITOLO 5.0.01  0 0 . UN APPROCCIO COMPUTAZIONALE Vediamo adesso il vettore delle probabilit` stabilizzate di questa catena a avente una unica classe di stati ricorrenti: > A1:=evalm(transpose(P)-1): > b1:=matrix(rowdim(P).0. −1 + β −1 + α π := .2 Esercizio 3 Inizializziamo Maple: > restart.0.b): > pi:=convert(%.0.0). µ00 := α+β−2 −1 + β α+β−2 −1 + α > mu11:=1/pi[2]. > A1:=evalm(P-1).b2): > linsolve(A.99 0 . µ11 := 5.   0 .0.1.1): > b2:=matrix(1.1.1): > A:=stackmatrix(A1.01.4.01 0 −1 .0.0.0.99 0 .4.05    0 0 0 0  0 0 0 0  .1.0.99. the protected names norm and trace have been redefined and unprotected La matrice di transizione `: e > P:=matrix(4.0.0. Per risolvere l’esercizio dobbiamo adesso calcolare la probabilit` di assorbimento a nella classe di stati ricorrenti C2 = {3}.95 . α+β−2 α+β−2 I tempi medi di ritorno risultano: > mu00:=1/pi[1].0.

1).05950000000.[0.0.0): A2[1.0. with(linalg): Warning.vector).3 Esercizio 4 Inizializziamo Maple: > > restart. .A2.A3): b:=stackmatrix(b1.1.05950000000 5.4.0]). the protected names norm and trace have been redefined and unprotected La matrice di transizione `: e > P:=matrix(4. 0. .1/8.1/16. φ := [.1/2.7/8.0): A3[1.0.b3): linsolve(A.b): phi:=convert(%.rowdim(P).4.1.b2.0.05000000000.0). 0 0 1 0 b3 := 0 > > > > A:=stackmatrix(A1.1. b3:=matrix(1.3/4..1/16. .1/2. 0 0 0 1 b2 := 1 > > > > A3:=matrix(1.4. b2:=matrix(1.0.5.3]:=1: evalm(A3).4]:=1: evalm(A2).1/8. 1] La probabilit` di essere assorbiti nella classe C2 = {3} partendo dallo stato a 0 ` quindi data da: e > phi[1]. RISOLUZIONE ESERCIZI DEL CAPITOLO 4  73 b1 :=     0 0 0 0      > > > > A2:=matrix(1.rowdim(P).

076923 . 6000] Questa catena ` irriducibile ed ergodica.1.[0.vector).1. Calcoliamo il vettore delle e probabilit` stabilizzate: a > A1:=evalm(transpose(P)-1): > b1:=matrix(rowdim(P).1000. > mu33:=1/pi[4]. 2 7 2 2 π := . 1923.3000. 13 2 13 µ11 := 7 13 µ22 := 2 13 µ33 := 2 µ00 := Mentre il costo medio atteso nel lungo periodo risulta: > evalm(pi&*c). 1000. > mu11:=1/pi[2].b): > pi:=convert(%. c := [0.A2): > b:=stackmatrix(b1. 25000 13 > evalf(%). > mu22:=1/pi[3].b2): > linsolve(A. UN APPROCCIO COMPUTAZIONALE   0     0 P :=     0   7 8 3 4 0 0 1 1 16 1 8 1 2 0 1 16 1 8 1 2 0             mentre il vettore dei costi `: e > c:=vector(4.1): > b2:=matrix(1. .0): > A2:=matrix(1. 3000. .74 CAPITOLO 5.6000]).1): > A:=stackmatrix(A1.rowdim(P). 13 13 13 13 I tempi medi di ritorno risultano: > mu00:=1/pi[1].

1650.1.5.0.b2): > linsolve(A.1000.600. 1000.4 Esercizio 5 Inizializziamo Maple: > restart. m0 := [200. 910.2] > m10:=evalm(m0&*P^10): > evalf(%.1/8. 989.1/8. 972.4.b): > pi:=convert(%.1/8. 1 1 1 1 π := .2000]).4.1.92. [927.0. RISOLUZIONE ESERCIZI DEL CAPITOLO 4 75 5.vector)..4.3/4.] > m2:=evalm(m0&*P^2): > evalf(%.A2): > b:=stackmatrix(b1.0.3/ > 4]). 4 4 4 4 .5.1): > b2:=matrix(1.. [637.10 anni sar` quindi: a > m1:=evalm(m0&*P): > evalf(%).1/8.5).  3 1 1  0  4 8 8     1 3 1   0     8 4 8  P :=      0 1 3 1   8 4 8     1 1 3  0 8 8 4 mentre il numero iniziale degli abitanti delle citt` `: ae > m0:=vector(4.[200. the protected names norm and trace have been redefined and unprotected La matrice di transizione `: e > P:=matrix(4.1): > A:=stackmatrix(A1.13.1/8.3/4. 643. . [475.1/8. 1075.0): > A2:=matrix(1.1/8.75. 600. .[3/4.0. 600. 2000] Il numero di abitanti tra 1.50. > with(linalg): Warning.1/8.5).76] Il vettore delle probabilit` stabilizzate risulta: a > A1:=evalm(transpose(P)-1): > b1:=matrix(rowdim(P). 1087. 1431.18..2.rowdim(P).

950.p.0.0. 0.1/ > 2. 0.0.0. 950.0.0.1-p.0. > with(linalg): Warning.0. the protected names norm and trace have been redefined and unprotected La matrice di transizione risulta: > P:=matrix(5.1): > pp:=convert(pi.0. 4 4 4 1 4 1 4 1 4 1 4 1 ] 4 1 4 1 4 1 4 1 4              La distribuzione degli abitanti nel lungo periodo risulta pertanto: > minf:=evalm(m0&*LP): > evalf(%..0.  1  4   1    4 LP :=   1   4   1 1 4 1 4 1 4 1 4 4 1 1 1 %1 := [ . ..4.0.1.0.[50.5 Esercizio 6 Inizializziamo Maple: > restart.0.0.1-p.5. 0] Il vettore delle probabilit` stabilizzate risulta: a .0]).5). .p.] 5. UN APPROCCIO COMPUTAZIONALE e conseguentemente si ottiene la seguente matrice di lungo periodo: > u:=matrix(vectdim(pi).1.p.0.1-p. [950.[0.     P :=     0 1 0 1−p 0 p 0 1−p 0 0 0 1−p 0 0 0 0 0 p 0 1 2 0 0 0 p 1 2         Mentre il vettore della distribuzione iniziale di bambini `: e > m0:=vector(5.. m0 := [50.0.1/2]).0. 0. 950.0.matrix): > LP:=evalm(u&*transpose(pp)).76 CAPITOLO 5.

rowdim(P). −50 .1): b2:=matrix(1.1): > pp:=convert(pi.4.1): A:=stackmatrix(A1. (−1 + p)3 (−1 + p)2 p (−1 + p) p2 p3 − − 2  %1 %1 %1 %1 %1   2  (−1 + p)3 (−1 + p)2 p (−1 + p) p p3  − − 2  %1 %1 %1 %1 %1    (−1 + p)3 (−1 + p)2 p (−1 + p) p2 p3 LP :=  − − 2  %1 %1 %1 %1 %1   2  (−1 + p)3 (−1 + p)2 p (−1 + p) p p3  − − 2  %1 %1 %1 %1 %1    (−1 + p)3 (−1 + p)2 p (−1 + p) p2 p3 − − 2 %1 %1 %1 %1 %1 2 + p3 − 4 p + 2 %1 := 4 p (−1 + p)3 (−1 + p)2 p (−1 + p) p2 p3 %2 := [− .b2): linsolve(A.A2): b:=stackmatrix(b1.1. . −50 (−1 + p)3 (−1 + p)2 p (−1 + p) p2 p3 .1.− .matrix): > LP:=evalm(u&*transpose(pp)). π := − (−1 + p)3 (−1 + p)2 p (−1 + p) p2 p3 .0): A2:=matrix(1.5. . . 50 .2 ] %1 %1 %1 %1 %1 La distribuzione degli bambini nel lungo periodo sar` pertanto: a > evalm(m0&*LP). RISOLUZIONE ESERCIZI DEL CAPITOLO 4 > > > > > > > > 77 A1:=evalm(transpose(P)-1): b1:=matrix(rowdim(P).vector). . 100 %1 %1 %1 %1 %1                      %1 := 4 p2 + p3 − 4 p + 2 .1.2 %1 %1 %1 %1 %1 %1 := 4 p2 + p3 − 4 p + 2 e conseguentemente la matrice di lungo periodo risulta: > u:=matrix(vectdim(pi).− .b): pi:=convert(%. 50 .

UN APPROCCIO COMPUTAZIONALE .78 CAPITOLO 5.

S. “Calcolo delle Probabilit` e Statistica”. Ellis Horwood Limited. Milano. Franco Angeli.. [3] Berman A.. Cohn. 1990.A. “Nonnegative Matrices in the Mathematical Sciences”.S.. “Nonnegative Matrices”.). e D. Philadelphia (U.S.S.A. [5] Dynkin E. SIAM. e Plemmons R.. Philadelphia (U. 1997.A.J.. SIAM.A.7. Classics in Applied Mathematics. e S. Cambridge University Press. Philadelphia (U. 1988. 1992. 1992. 1994. e S.). [7] Graham A.A. Milano.B. McGrawa Hill Italia..J. “Introduction to Management Science”.). [10] Mood A. John Wiley & Sons. [11] Norris J. [14] Taylor H. 1988. 1998. “Stochastic Processes”. vol.A. 1997. Chichester (GB). Second Edition..9.R. Seconda Edizione.19. “Markov Processes”.C.Bibliografia [1] Baldi P. SIAM. 1965. “An Introduction to Stochastic Modelling”. New York (U. “Quantitative Decision Making for Business”.). [2] Bellman R. Classics in Applied Mathematics. [13] Taylor B.. vol.. “Nonnegative Matrices and Applicable Topics in Linear Algebra”. vol.S. Cambridge Series in Statistical and Probabilistic Mathematics. Graybill F. [12] Parzen E. “Probability”.S. 1987. [4] Breiman L. 1998.S. Classics in Applied Mathematics. Boes. Classics in Applied Mathematics.A. [9] Minc H. 1996. Pressman I.. [8] Hillier F. “Markov Chains”. Prentice-Hall.M. U. Prentice-Hall. 1999.).24. SIAM.A. vol. [6] Gordon G. 79 . Academic Press. U.S. Lieberman...W. “Introduzione alla Ricerca Operativa”. McGraw-Hill Italia. e G. Karlin.M. “Introduction to Matrix Analysis”. “Introduzione alla Statistica”. Philadelphia (U. Milano. Springer...

Sign up to vote on this title
UsefulNot useful