catene di markov

CATENE DI MARKOV

F. Fagnola, E. Sasso
February 17, 2006
Contents
1 Definizione e prime propriet`a 2
2 Classificazione degli stati 9
3 Leggi invarianti e teoremi limite. 21
4 Assorbimento in classi ricorrenti 31
5 Criteri di transienza o ricorrenza 41
6 Convergenza verso la legge invariante 46
7 Algoritmo di Metropolis 48
8 Catene di Markov a tempo continuo 51
9 Applicazioni: le catene di Markov in genetica 57
10 Applicazioni: lotto economico d’acquisto 59
1
1 Definizione e prime propriet`a
Sia (Ω, T, P) uno spazio probabilizzato e I un insieme finito o numerabile che
sar`a sempre considerato. Si consideri una successione di variabili aleatorie X =
(X
n
)
n≥0
su (Ω, T, P) a valori in I.
Definizione 1.1 La successione X di variabili aleatorie (X
n
)
n≥0
su (Ω, T, P)
a valori in I `e una catena di Markov con insieme degli stati I se, per ogni
intero n, per ogni i
0
, . . . , i
n
, j ∈ I, con P¦ X
n
= i
n
, . . . , X
0
= i
0
¦ > 0 si ha
P¦X
n+1
= j [ X
n
= i
n
, . . . , X
0
= i
0
¦ = P¦X
n+1
= j [ X
n
= i¦ (1)
La catena di Markov si dice omogenea se i due membri di (1) sono indipendenti
da n.
I numeri reali positivi p
ij
dati da
p
ij
=

P¦X
n+1
= j [ X
n
= i¦ se P¦X
n
= i¦ = 0,
1 se P¦X
n
= i¦ = 0 e i = j,
0 se P¦X
n
= i¦ = 0 e i = j,
si chiamano probabilit`a di transizione della catena di Markov omogenea X.
La catena di Markov X si chiama omogenea poich´e le probabilit`a di transizione
(1) sono indipendenti da n. Nel seguito considereremo sempre catene di Markov
omogenee perci`o ometteremo spesso l’aggettivo. Inoltre, quando scriveremo
una probabilit`a condizionata, supporremo sempre, implicitamente, che l’evento
condizionante sia non trascurabile.
La famiglia di numeri reali positivi (p
ij
)
i,j∈I
si chiama matrice di tran-
sizione della catena di Markov X ed ha le propriet`a seguenti:
(1) p
ij
≥ 0 per ogni i, j ∈ I,
(2)
¸
j∈I
p
ij
= 1 per ogni i ∈ I.
Definizione 1.2 Una matrice p = (p
ij
)
i,j∈I
con le propriet`a (1) e (2) si dice
stocastica. Se la matrice trasposta `e anch’essa una matrice stocastica allora si
dice che p `e bistocastica.
La matrice di transizione p = (p
ij
)
i,j∈I
e la legge µ di X
0
, detta anche legge
iniziale, determinano la legge congiunta delle variabili aleatorie (X
n
)
n≥0
cio`e
permettono, come vedremo, di calcolare tutte le probabilit`a di eventi determi-
nati dalle variabili aleatorie (X
n
)
n≥0
.
ESEMPIO 1.1 La rovina del giocatore. Sia N ≥ 2 un numero naturale fissato
e p, q ∈]0, 1[ due numeri reali tali che p + q = 1. Due giocatori A e B con
capitali iniziali rispettivi di a monete e b, con N = a + b, monete giocano un
certo numero di partite in ciascuna delle quali A vince una moneta (che gli viene
pagata da B) con probabilit`a p e la perde (cio`e la paga a B) con probabilit`a
q. Il gioco si pu`o modellizzare con una catena di Markov (X
n
)
n≥0
nella quale
2
la variabile aleatoria X
n
rappresenta il capitale del giocatore A al tempo n. La
catena di Markov ha insieme degli stati ¦0, 1, . . . , N¦ e matrice di transizione

¸
¸
¸
¸
¸
¸
¸
¸
1 0 0 0 . . . 0 0 0
q 0 p 0 . . . 0 0 0
0 q 0 p . . . 0 0 0
0 . . . . . . . . . . . . . . . . . . 0
0 0 0 0 . . . 0 p 0
0 0 0 0 . . . q 0 p
0 0 0 0 . . . 0 0 1
¸

.
Il gioco termina non appena uno dei due giocatori resta senza monete. Un
problema naturale `e il calcolo della probabilit`a che vinca A oppure B.
ESEMPIO 1.2 Estrazioni da un mazzo di carte. Si consideri l’esperimento
aleatorio consistente nelle estrazioni (senza rimpiazzo) di carte da un mazzo.
Le carte vengono estratte ad una ad una e, quando sono state tutte estratte, si
rimettono insieme e si ricomincia. Indicando con X
n
la carta ottenuta nell’n-
esima estrazione si trova una successione X = (X
n
)
n≥0
di variabili aleatorie.
`
E facile verificare che X non `e una catena di Markov poich´e la probabilt`a di
ottenere come risultato dell’(n+1)-esima estrazione una certa carta dipende dai
risultati di tutte le precedenti estrazioni e non solamente dall’(n −1)-esima.
P¦X
5
= A♠[X
4
= A♦, X
3
= A♠¦ = 0 = P¦X
5
= A♠[X
4
= A♦¦ =
1
51
.
ESEMPIO 1.3 Successione di variabili indipendenti. Sia (X
n
)
n≥0
una succes-
sione di variabili aleatorie su uno spazio probabilizzato (Ω, T, P) a valori interi
indipendenti ed equidistribuite e sia (a
n
)
n≥0
la successione di numeri reali pos-
itivi data da
a
n
= P¦X
k
= n¦, k ∈ N.
La successione (X
n
)
n≥0
`e una catena di Markov con insieme degli stati N e
matrice di transizione (p
ij
)
i,j∈I
data da

¸
a
0
a
1
a
2
. . .
a
0
a
1
a
2
. . .
. . . . . . . . . . . .
¸

.
ESEMPIO 1.4 Passeggiata casuale. Con le notazioni dell’esempio precedente,
si consideri la successione di variabili aleatorie (Y
n
)
n≥0
definita da
Y
n
=
n
¸
k=0
X
k
.
3
La successione (Y
n
)
n≥0
`e una catena di Markov con insieme degli stati N e
matrice di transizione (p
ij
)
i,j∈I
data da

¸
¸
a
0
a
1
a
2
a
3
. . .
0 a
0
a
1
a
2
. . .
0 0 a
0
a
1
. . .
. . . . . . . . . . . . . . .
¸

.
ESEMPIO 1.5 Sia (Y
k
)
k≥1
una successione di variabili aleatorie indipendenti
e equidistribuite a valori in N

e sia S
k
=
¸
k
j=0
Y
j
. Poniamo
N
0
:= 0, N
n
=
¸
k≥1
1
{S
k
≤n}
, ∀n ≥ 1.
Le condizioni seguenti sono equivalenti
i) (N
n
)
n≥1
`e una catena di Markov omogenea;
ii) le variabili aleatorie Y
k
hanno legge geometrica.
Infatti, se assumiamo vera i), per ogni n ≥ 1 si ha che
P¦Y
1
= n + 1¦
P¦Y
1
= n¦
=
P¦N
n+1
= 1, N
n
= 0¦
P¦N
n
= 1, N
n−1
= 0¦
=
P¦N
n+1
= 1[N
n
= 0¦
P¦N
n
= 1[N
n−1
= 0¦
P¦N
n
= 0¦
P¦N
n−1
= 0¦
=
P¦Y
1
> n¦
P¦Y
1
> n −1¦
.
Poniamo p = P¦Y
1
= 1¦, allora
P¦Y
1
= 2¦ = P¦Y
1
= 1¦P¦Y
1
> 1¦
= P¦Y
1
= 1¦(1 −P¦Y
1
= 1¦) = p(1 −p).
A questo punto si pu`o concludere per induzione che P¦Y
1
= n+1¦ = p(1 −p)
n
.
Infatti, se assumiamo per ipotesi che P¦Y
1
= k¦ = p(1 −p)
k−1
, abbiamo che
P¦Y
1
= k + 1¦ = P¦Y
1
= k¦
P¦Y
1
> k¦
P¦Y
1
> k −1¦
= p(1 −p)
k−1
(1 −P¦Y
1
≤ k¦)
1 −P¦Y
1
≤ k −1¦)
= p(1 −p)
k−1
1 −
¸
k
j=1
p(1 −p)
j−1
1 −
¸
k−1
j=1
p(1 −p)
j−1
= p(1 −p)
k−1
¸
k≥k+1
p(1 −p)
j−1
¸
j≥k
p(1 −p)
j−1
= p(1 −p)
k
.
4
Questo dimostra che i) implica ii). L’implicazione opposta segue direttamente
se si interpretano le Y
k
come il tempo del k−esimo successo in uno schema di
Bernoulli. Allora N
n
conta il numero di successi in n prove e quindi (N
n
)
n≥1
soddisfa la propriat`a markoviana.
ESEMPIO 1.6 Coda casuale. Con le notazioni degli Esempi 1.3 e 1.4 si con-
sideri la successione di variabili aleatorie (Y
n
)
n≥0
definita da

Y
0
= X
0
Y
n+1
= (Y
n
−1)
+
+ X
n+1
dove, per ogni numero reale x,
x
+
= max¦x, 0¦.
La successione (Y
n
)
n≥0
`e una catena di Markov con insieme degli stati N e
matrice di transizione (p
ij
)
i,j∈I
data da

¸
¸
¸
¸
a
0
a
1
a
2
a
3
a
4
. . .
a
0
a
1
a
2
a
3
a
4
. . .
0 a
0
a
1
a
2
a
3
. . .
0 0 a
0
a
1
a
2
. . .
. . . . . . . . . . . . . . . . . .
¸

.
Questa catena di Markov descrive la lunghezza di una coda ad uno sportello
dove, in ogni unit`a di tempo, viene servito un cliente e ne arriva un numero
aleatorio Y , inoltre i numeri di clienti che arrivano in unit`a di tempo distinte
sono indipendenti.
Mostreremo ora come si possono esprimere le probabilit`a di eventi relativi
ad una catena di markov (X
n
)
n≥0
attraverso la matrice di transizione. Iniziamo
col dimostrare il seguente
Lemma 1.3 Per ogni coppia di numeri naturali n, m con m ≥ 1, e ogni coppia
i, j di elementi di I si ha
P

¦X
n+m
= j¦ [ ¦X
n
= i¦

= p
(m)
ij
(2)
dove p
(m)
denota la potenza m–esima della matrice p.
Dimostrazione. Grazie alla definizione di probabilit`a condizionata e alla
formula della probabilit`a totale il membro sinistro di (2) si pu`o scrivere nella
forma
¸
k∈I
P¦X
n+m
= j, X
n+m−1
= k, X
n
= i¦ /P¦X
n
= i¦
5
Per ogni k ∈ I si ha quindi, grazie alla propriet`a di Markov (1),
P¦X
n+m
= j, X
n+m−1
= k, , X
n
= i¦
= P¦X
n+m
= j [ X
n+m−1
= k, X
n
= i¦ P(¦X
n+m−1
= k, X
n
= i¦
= p
kj
P(¦X
n+m−1
= k, X
n
= i¦
e perci`o
P¦X
n+m
= j [ X
n
= i¦ =
¸
k∈I
p
kj
P¦X
n+m−1
= k [ X
n
= i¦
Ragionando per induzione si vede quindi che il membro sinistro della (2) si pu`o
esprimere nel modo seguente
¸
k∈I
p
kj
P¦X
n+m−1
= k [ X
n
= i¦
=
¸
k1,k2∈I
p
k1j
p
k2k1
P¦X
n+m−2
= k
2
[ X
n
= i¦
=
¸
k2∈I

¸
k1∈I
p
k2k1
p
k1j

P¦X
n+m−2
= k
2
[ X
n
= i¦
=
¸
k2∈I
p
(2)
k2j
P¦X
n+m−2
= k
2
[ X
n
= i¦
= . . . =
¸
k∈I
p
(m−1)
kj
P¦X
n+1
= k [ X
n
= i¦.
La conclusione segue quindi dalla propriet`a di Markov (1).
Sia µ la legge della variabile aleatoria X
0
.
Proposizione 1.4 Per ogni n-pla (j
k
)
0≤k≤n
di stati ed ogni n-pla (m
k
)
0≤k≤n
(m
0
< m
1
< . . . < m
n
) di tempi si ha
P(∩
0≤k≤n
¦X
m
k
= j
k
¦) = p
(mn−mn−1)
jn−1jn
p
(mn−1−mn−2)
jn−2jn−1
. . . p
(m1)
j0j1
µ¦j
0
¦.
Dunque la legge iniziale µ e la matrice di transizione (p
ij
)
i,j∈I
determinano la
legge congiunta delle variabili aleatorie (X
n
)
n≥0
.
Dimostrazione. Applicando pi` u volte la propriet`a di Markov (1) ed il
Lemma 1.3 si ha
P


0≤k≤n
¦X
m
k
= j
k
¦

= P

¦X
mn
= j
n
¦ [ ∩
0≤k≤n−1
¦X
m
k
= j
k
¦

P


0≤k≤n−1
¦X
m
k
= j
k
¦

= p
(mn−mn−1)
jn−1jn
P


0≤k≤n−1
¦X
m
k
= j
k
¦

= . . . = p
(mn−mn−1)
jn−1jn
p
(mn−1−mn−2)
jn−2jn−1
. . . p
(m1)
j0j1
P¦X
0
= j
0
¦
= p
(mn−mn−1)
jn−1jn
p
(mn−1−mn−2)
jn−2jn−1
. . . p
(m1)
j0j1
µ¦j
0
¦.
6
La proposizione `e cos`ı dimostrata.
Osservazione. Si pu`o verificare facilmente che dalla propriet`a di Markov (1)
segue che, per ogni evento A, dipendente dalle variabili aleatorie X
0
, . . . , X
n−1
si ha
P¦X
n+1
= j [ ¦X
n
= i
n
¦ ∩ A¦ = P¦X
n+1
= j [ X
n
= i¦ . (3)
Per esempio, se I
n−1
, . . . I
0
sono sottoinsiemi di I potremmo prendere
A = ¦X
n−1
∈ I
n−1
¦ ∩ ¦X
0
∈ I
0
¦.
Si potrebbe dimostrare pure che, per ogni legge µ su I e ogni matrice sto-
castica P = (p
ij
)
i,j∈I
esiste una catena di Markov con matrice stocastica P e
variabile aleatoria X
0
con legge µ.
A volte pu`o essere utile rappresentare le catene di Markov (a stati finiti) con
un grafo. I nodi rappresentano gli stati della catena di Markov, le frecce tra i
nodi rappresentano le probabilit`a di transizione. In particolare, se si etichettano
le frecce fra i nodi con le probabilit`a di transizione da uno stato ad un altro, si
avr`a che la somma delle ”frecce uscenti” da un nodo deve essere uguale a 1. In
questo modo ad ogni matrice stocastica n n corrisponde in maniera univoca
un grafo a n nodi. Ad esempio, data la matrice P
P =

¸
1/2 1/2 0
1/3 1/3 1/3
1/4 3/4 0
¸

,
associata a una catena di Markov con spazio degli stati ¦0, 1, 2¦, si pu`o associare
il corrispondente grafo orientato
?>=< 89:;
0
1
2

1
2

?>=< 89:;
1
1
3
tt
1
3
yy
1
3
GG
?>=< 89:;
2
3
4
oo
1
4
””a
a
a
a
a
ESERCIZI
Es 1.1 Sia (X
n
)
n≥1
una successione di variabili aleatorie indipendenti a valori
in N

con legge geometrica di parametro p. Stabilire se la successione (Z
n
)
n≥1
di variabili aleatorie a valori in N

cos´ı definita
Z
0
= 1, Z
n+1
= Z
n
X
n+1
`e una catena di Markov e calcolare la matrice di transizione.
7
Es 1.2 Un punto si muove a caso sui vertici di un esagono regolare saltando
ad ogni istante dal vertice in cui si trova in uno dei due adiacenti scelto a caso.
Modellizzare il moto del punto con una catena di Markov e scriverne la matrice
di transizione. Calcolare la probabilit`a che dopo due salti si trovi nello stesso
vertice.
Es 1.3 Uno sportello serve al massimo 1 cliente per unit`a di tempo. Il numero
di clienti che arrivano nell’n−esima unit`a di tempo `e una variabile aleatoria
V
n
di legge B(2, 1/2). Supponendo che le V
n
siano indipendenti e inoltre che i
clienti che arrivando vedono gi`a 5 persone in coda se ne vadano immediatamente,
modellizzare la situazione con una catena di Markov e scriverne la matrice di
transizione.
Es 1.4 Un modello preliminare sulle previsioni meteorologiche si basa sull’ipotesi
che il tempo di domani sia influenzato dalla situazione odierna. Basandosi su
questa ipotesi `e naturale utilizzare le catene di Markov. Per semplicit`a assum-
iamo che ci siano solo due tipi di tempo ”sole” (stato 0) e ”pioggia” (stato 1).
Una realistica matrice di transizione per il tempo di Roma potrebbe essere
P =

0.5 0.5
0.1 0.9

.
Calcolare la probabilit`a che se oggi piove, domani e dopo ci sia il sole. Calcolare
la probabilit`a che se oggi piove, dopo tre giorni ci sia una nuova giornata di
pioggia.
Es 1.5 Una pedina si muove su un circuito ”circolare” a 4 vertici, numerati da
1 a 4. La pedina si trova inizialmente nel vertice 1. Ad ogni passo un giocatore
lancia un dado equilibrato a quattro facce: se la pedina si trova negli stati 1, 2
o 3 avanza di una posizione in caso di risultato dispari e di due posizioni in caso
di risultato pari; se la pedina si trova nel vertice 4, essa passa nel vertice 1, se
il risultato del dado `e 4, altrimenti resta in 4. Sia X
n
la variabile aleatoria che
indica la posizione della pedina al tempo n−esimo, ossia dopo l’n−esimo lancio
del dado. Si individui la legge µ
0
di X
0
. Qual `e la probabilit`a che partendo da
4 la catena si trovi in 1 dopo due passi? Qual `e la probabilit`a che al terzo passo
si trovi in 1? Qual `e la posizione attesa dopo il secondo lancio del dado?
8
2 Classificazione degli stati
Sia (X
n
)
n≥0
una catena di Markov su uno spazio probabilizzato (Ω, T, P) con
insieme degli stati I e matrice di transizione (p
ij
)
i,j∈I
.
Definizione 2.1 Uno stato j `e accessibile da uno stato i se esiste un intero
positivo n tale che
p
(n)
ij
> 0.
Due stati i, j comunicano, o sono comunicanti, se ciascuno dei due `e acces-
sibile dall’altro.
Osserviamo che, essendo
p
(0)
ij
=

1 se i = j,
0 se i = j,
secondo la definizione precedente, ogni stato comunica con s´e stesso.
Proposizione 2.2 Siano i, j, k tre elementi di I. Se k `e accessibile da j e j, a
sua volta, `e accessibile da i allora k `e accessibile da i.
Dimostrazione. Dall’ipotesi segue che esistono due interi positivi m, n
tali che
p
(n)
ij
> 0, p
(m)
jk
> 0.
Si ha quindi
p
(n+m)
ik
=
¸
l∈I
p
(n)
il
p
(m)
lk
≥ p
(n)
ij
p
(m)
jk
> 0.
Ci`o dimostra che k `e accessibile da i.
Grazie alla proposizione precedente `e facile dimostrare che la propriet`a “co-
municare” induce una relazione di equivalenza tra stati; le corrispondenti classi
di equivalenza sono dette classi di stati.
Definizione 2.3 Una classe di stati `e un sottoinsieme J dello spazio degli
stati I tale che, per ogni coppia i, j di elementi di J, gli stati i e j comunicano
e, per ogni coppia di stati i, j con i ∈ I −J, j ∈ J, i e j non comunicano.
Definizione 2.4 Una catena di Markov si dice irriducibile se la sola classe
di stati non vuota `e l’insieme I.
Definizione 2.5 Dato uno stato i tale che l’insieme

n ≥ 1 [ p
(n)
ii
> 0
¸
sia non vuoto, si chiama periodo di i il massimo comune divisore dei numeri
interi n ≥ 1 appartenenti a tale insieme. Uno stato avente periodo n > 1 si dice
periodico di periodo n, diversamente se n = 1, lo stato i si dice aperiodico.
9
Dunque uno stato i `e periodico di periodo n se, partendo dallo stato i al
tempo 0, la catena di Markov non pu`o ritornare nello stato i a tempi m che non
siano un multiplo intero di n.
Proposizione 2.6 Siano i e j due stati comunicanti. Allora il periodo di i `e
uguale al periodo di j.
Dimostrazione. Baster`a ovviamente dimostrare la proposizione nel caso
in cui i = j. Denotiamo con d(i) e d(j) i periodi di i e j. Siano a e b due numeri
interi strettamente positivi tali che
p
(b)
ij
> 0, p
(a)
ji
> 0.
Per ogni intero n tale che il numero reale p
(n)
ii
sia strettamente positivo si hanno
allora le diseguaglianze seguenti
p
(a+n+b)
jj
¸
k1,k2
p
(a)
jk1
p
(n)
k1k2
p
(b)
k2j
≥ p
(a)
ji
p
(n)
ii
p
(b)
ij
> 0
e, analogamente, si trovano le diseguaglianze
p
(a+2n+b)
jj
≥ p
(a)
ji
p
(2n)
ii
p
(b)
ij
≥ p
(a)
ji
(p
(n)
ii
)
2
p
(b)
ij
> 0.
Ne segue che i due numeri naturali
a + b + n, a + b + 2n
sono multipli di d(j), dunque anche la loro differenza n `e un multiplo di d(j).
Quindi il numero naturale d(j) `e un divisore di tutti i numeri naturali n per i
quali p
(n)
ii
sia strettamente positivo ovvero d(j) `e un multiplo di d(i). In modo
analogo si pu`o dimostrare che d(i) `e un multiplo di d(j), pertanto d(i) e d(j)
coincidono.
ESEMPIO 2.1 Consideriamo la catena di Markov Rovina del giocatore dell’Esem-
pio 1.1. Ciascuno degli stati 0 ed N forma una classe con un solo elemento poich´e
p
(n)
0j
= p
(n)
Ni
= 0 per ogni n ≥ 1 ed ogni i ∈ ¦0, 1, . . . , N − 1¦, j ∈ ¦1, 2, . . . , N¦.
Infatti non `e possibile lasciare gli stati 0 e N una volta raggiunti. Gli stati
1, 2, . . . , N − 1 formano un’altra classe perch´e comunicano. Infatti, per ogni
i, j ∈ ¦1, 2, . . . , N −1¦ con i < j (risp. i > j) si ha
p
(j−i)
ij
= p
j−i
> 0 (risp. p
(i−j)
ij
= q
i−j
> 0).
ESEMPIO 2.2 Consideriamo la catena di Markov dell’esempio Successione di
variabili aleatorie indipendenti dell’Esempio 1.3. Si pu`o vedere, con un facile
calcolo, che la matrice di transizione P relativa verifica la condizione
p
(n)
ij
= p
ij
per ogni n ≥ 1 (4)
10
per ogni coppia di stati i, j. Quindi uno stato k `e accessibile da un qualunque
altro stato se e solo se il numero a
k
`e strettamente positivo. Pertanto la con-
dizione
a
k
> 0 per ogni k ≥ 0
`e necessaria e sufficiente affinch´e la catena di Markov sia irriducibile. Utilizzando
la formula (4) si pu`o vedere inoltre che, sotto questa condizione, tutti gli stati
sono aperiodici.
ESEMPIO 2.3 Consideriamo la catena di Markov dell’Esempio 1.4 e supponi-
amo che i numeri (a
k
)
k≥0
siano tutti strettamente positivi.
`
E chiaro allora che,
dati due stati i e j, lo stato j `e accessibile dallo stato i se e solo se j ≥ i. Dunque
le sole classi di stati, oltre alla classe vuota, sono le classi costituite da un solo
stato. Tutti gli stati sono evidentemente aperiodici.
ESEMPIO 2.4 Consideriamo la catena di Markov dell’Esempio 1.6 e supponi-
amo che siano soddisfatte le condizioni seguenti
0 < a
0
< 1, 0 < a
0
+ a
1
< 1. (5)
Si pu`o dimostrare allora che tutti gli stati comunicano. Infatti, per ogni coppia
di stati i, j con j < i, ragionando come nell’esempio precedente, si trova la
diseguaglianza
p
(i−j)
ij
≥ p
ii+1
p
i+1i+2
. . . p
j−2j−1
p
j−1j
= (a
0
)
i−j
> 0,
che mostra che j `e accessibile da i. Osserviamo poi che, grazie alla seconda
delle diseguaglianze (2.2), esiste un intero ν ≥ 2 tale che il numero reale a
ν
sia
strettamente positivo. Quindi, per ogni stato i ed ogni numero intero n ≥ 1, gli
stati (i + n(ν − 1))
n≥1
sono accessibili dallo stato i perch`e, procedendo come
sopra, si trova la diseguaglianza
p
(n)
ii+n(ν−1)
≥ (a
ν
)
n
> 0.
Perci`o, per ogni coppia di stati i, j con i < j, esiste uno stato k accessibile da i
con k > j. Per quanto gi`a dimostrato, lo stato j `e, a sua volta, accessibile da
k, quindi, per la Proposizione 2.2, j `e accessibile da i.
Ci`o prova che, per ogni coppia di stati i, j lo stato j risulta accessibile dallo
stato i, dunque tutti gli stati comunicano ovvero la catena di Markov `e ir-
riducibile. Inoltre lo stato 0 `e evidentemente aperiodico, dunque, poich`e la
catena di Markov `e irriducibile, grazie alla Proposizione 2.6, ogni stato `e aperi-
odico.
Definizione 2.7 Uno stato i si dice ricorrente se
P


¸
n=1
¦X
n
= i¦ [ ¦X
0
= i¦

= 1,
altrimenti si dice transiente.
11
Quindi uno stato i `e ricorrente se, partendo dallo stato i al tempo 0 la
catena di Markov ritorna nello stato i in un tempo finito quasi certamente. In
particolare se p
ii
= 1, allora i si dice stato assorbente o trappola, in quanto
una volta raggiunto, non se ne pu`o pi´ u uscire.
ESEMPIO 2.5 Per la catene di Markov con spazio degli stati E finito, la rapp-
resentazione grafica pu`o semplificare la classificazione degli stati. In particolare,
se uno stato appartiene a una classe I chiusa, ovvero per ogni i ∈ I non esiste
nessun stato j ∈ E ` I, tale che p
ij
> 0, risulter`a ricorrente. Allora si vede
facilmente che nella catena di Markov associata al grafo
?>=< 89:;
0

GG
?>=< 89:;
1

ÐÐÑ
Ñ
Ñ
Ñ
Ñ
?>=< 89:;
2
yy
?>=< 89:;
3
oo
yy
gli stati ¦0, 1, 2¦ una classe di stati ricorrenti, mentre ¦3¦ `e uno stato transiente.
Si osservi che uno stato `e ricorrente o transiente indipendentemente dall’esatto
valore numerico delle probabilit`a di passaggio da uno stato all’altro.
ESEMPIO 2.6 Consideriamo nuovamente la catena di Markov Rovina giocatore
dell’Esempio 1.1. Come abbiamo visto, partendo da 0 (o da N), con probabilit`a
1 la catena di Markov rimane in 0 (o in N) ad ogni istante successivo. Questi
stati sono evidentemente ricorrenti. Ogni stato i ∈ ¦1, 2, . . . , N − 1¦ invece `e
transiente poich´e, partendo da i, la catena di Markov arriver`a in 0 (risp. N)
con probabilit`a maggiore o uguale a q
i
(risp. p
N−i
). Una volta arrivata in 0 o
in N non lascer`a pi` u lo stato raggiunto e quindi la probabilit`a di ritornare in i
verifica la diseguaglianza
P


¸
n=1
¦X
n
= i¦ [ ¦X
0
= i¦

≤ 1 −(q
i
+ p
N−i
) < 1.
Nello studio della ricorrenza degli stati di una catena di Markov `e di grande
utilit`a la variabile aleatoria seguente
Definizione 2.8 Sia j uno stato. Si chiama tempo della prima entrata
nello stato j la variabile aleatoria a valori N ∪ ¦+∞¦
T
j
(ω)

min¦n ≥ 1 [ X
n
(ω) = j¦ se ¦n ≥ 1 [ X
n
(ω) = j¦ = ∅,
+∞ altrimenti.
Osserviamo che, per ogni stato j ed ogni intero n > 1, valgono le seguenti
eguaglianze
¦T
j
< +∞¦ =
¸
1≤n<+∞
¦X
n
= j¦,
¦T
j
= 1¦ = ¦X
1
= j¦,
¦T
j
= n¦ = ¦X
n
= j¦
¸
1≤m≤n−1
¦X
m
= j¦.
12
Notazione. Nel seguito, per semplicit`a, denoteremo con P
i
la probabilit`a con-
dizionata
P
i
() = P([ ¦X
0
= i¦) .
Per ogni numero intero n strettamente positivo ed ogni coppia i, j di elementi
di I poniamo
f
(n)
ij
= P
i
¦ T
j
= n¦, f
(0)
ij
= 0.
Poniamo inoltre
f

ij
=
¸
1≤n<+∞
f
(n)
ij
= P
i
¦ T
j
< +∞¦.
Poich´e la catena di Markov (X
n
)
n≥0
`e omogenea, per ogni coppia di stati
i, j ed ogni coppia di numeri interi n, m > 1 si ha inoltre
f
(n)
ij
= P(¦X
m+n
= j¦ ∩
1≤ν≤n−1
¦X
m+ν
= j¦ [ ¦X
m
= i¦) .
Osserviamo inoltre che, con le notazioni ora introdotte, uno stato i `e ricorrente
se risulta f

ii
= 1, transiente se f

ii
< 1.
Possiamo dimostrare ora il seguente
Teorema 2.9 (Equazione dei rinnovi) Siano i, j elementi di I. Per ogni intero
n ≥ 1 si ha
p
(n)
ij
=
n
¸
ν=1
f
(ν)
ij
p
(n−ν)
jj
. (6)
Dimostrazione. Supponiamo, per semplificare le notazioni, che l’evento
¦X
0
= i¦ sia quasi certo. Utilizzando la decomposizione dell’evento ¦X
n
= j¦
in eventi disgiunti della forma
¦X
n
= j¦ =
n
¸
ν=1
(¦X
n
= j¦ ∩ ¦T
j
= ν¦)
e la propriet`a di Markov (1.1) si ha allora
p
(n)
ij
= P¦X
n
= j¦
=
¸
1≤ν≤n
P¦X
n
= j, T
j
= ν¦
= P¦X
n
= j, X
n−1
= j, . . . , X
2
= j, X
1
= j¦
+
¸
1≤ν≤n−1
P(¦X
n
= j, X
ν
= j, X
ν−1
= j, . . . , X
1
= j¦)
= f
(n)
ij
+
¸
1≤ν≤n−1
P¦X
n
= j [ X
ν
= j, X
ν−1
= j, . . . , X
1
= j¦
P¦X
ν
= j, X
ν−1
= j, . . . , X
1
= j¦
= f
(n)
ij
+
¸
1≤ν≤n−1
P¦X
n
= j [ X
ν
= j¦P¦T
j
= ν¦
= f
(n)
ij
+
¸
1≤ν≤n−1
f
(ν)
ij
p
(n−ν)
jj
.
13
Ci`o dimostra la (6).
Nella dimostrazione del Teorema 2.11, un criterio fondamentale per stabilire
se uno stato `e transiente o ricorrente utilizzeremo il seguente risultato detto
Lemma di Abel
Lemma 2.10 Sia (a
n
)
n≥0
una successione di numeri reali non negativi tale che
la serie di potenze
A(s) =

¸
n=0
a
n
s
n
abbia raggio di convergenza r ≥ 1. Si ha allora
lim
s→1

A(s) =

¸
n=0
a
n
.
Teorema 2.11 Per ogni stato i le condizioni seguenti sono equivalenti
a) i `e ricorrente,
b) la serie
¸

n=0
p
(n)
ii
`e divergente.
Se i `e transiente allora si ha

¸
n=0
p
(n)
ii
1
1 −f

ii
.
Dimostrazione. Consideriamo le funzioni generatrici delle successioni di
numeri reali (p
(n)
ii
)
n≥0
, (f
(n)
ii
)
n≥0
P
ii
(s) =

¸
n=0
p
(n)
ii
s
n
, F
ii
(s) =

¸
n=0
f
(n)
ii
s
n
.
Osserviamo che queste serie di potenze hanno raggio di convergenza r ≥ 1 poich´e
le successioni (p
(n)
ii
)
n≥0
e (f
(n)
ii
)
n≥0
sono limitate. Grazie al Teorema 2.13, per
ogni intero n ≥ 1 si ha allora
p
(n)
ii
s
n
= s
n
n
¸
ν=1
f
(ν)
ii
p
(n−ν)
ii
=
n
¸
ν=1
f
(ν)
ii
s
ν
p
(n−ν)
ii
s
n−ν
da cui segue che
P
ii
(s) −1 =

¸
n=1
p
(n)
ii
s
n
=

¸
n=1
n
¸
ν=1
f
(ν)
ii
s
ν
p
(n−ν)
ii
s
n−ν
14
=

¸
ν=1
f
(ν)
ii
s
ν

¸
n=ν
p
(n−ν)
ii
s
n−ν
=

¸
ν=1
f
(ν)
ii
s
ν

¸
n=0
p
(n)
ii
s
n
= F
ii
(s)P
ii
(s).
Si ha pertanto, per ogni s ∈ (−1, 1),
P
ii
(s) =
1
1 −F
ii
(s)
.
La conclusione segue allora osservando che
lim
s→1

F
ii
(s) = f

ii
, lim
s→1

P
ii
(s) =

¸
n=0
p
(n)
ii
ed applicando il Lemma di Abel.
Corollario 2.12 Sia J una classe di stati e j un elemento di J. Se j `e ricor-
rente (o, rispettivamente, transiente) allora ogni elemento di J `e ricorrente (o,
rispettivamente, transiente).
Dimostrazione. Sia k elemento di J − ¦j¦. Poich´e k e j comunicano,
esistono due interi l, m ≥ 1 tali che
p
(l)
jk
> 0, p
(m)
kj
> 0.
Per ogni intero n ≥ 1 si ha allora
p
(l+n+m)
kk
≥ p
(m)
kj
p
(n)
jj
p
(l)
jk
p
(l+n+m)
jj
≥ p
(l)
jk
p
(n)
kk
p
(m)
kj
.
Quindi le serie

¸
n=0
p
(n)
kk
,

¸
n=0
p
(n)
jj
sono entrambe convergenti oppure entrambe divergenti. La conclusione segue
allora dal Teorema 2.11.
Osserviamo che, per ogni stato j, la somme della serie
¸
n≥0
p
(n)
ij
`e il tempo medio di occupazione dello stato j partendo da i. Infatti la variabile
aleatoria
¸
n≥0
1
{Xn=j}
15
rappresenta il tempo (aleatorio) trascorso nello stato j poich´e conta per quanti
n si `e veificato l’evento ¦X
n
= j¦ e la sua speranza `e
E
i

¸
n≥0
1
{Xn=j}
¸
¸
=
¸
n≥0
E
i

1
{Xn=j}

=
¸
n≥0
P¦X
n
= j¦ =
¸
n≥0
p
(n)
ij
. (7)
Corollario 2.13 Se j `e uno stato transiente, allora, per ogni stato i, la serie

¸
n=0
p
(n)
ij
(8)
`e convergente. In particolare, partendo da qualunque stato i, la catena di Markov
passa per j quasi certamente solo un numero finito di volte.
Dimostrazione. Se i = j la convergenza della serie segue dal Teorema
2.11. Se i = j allora, grazie all’equazione dei rinnovi (6), si ha

¸
n=1
p
(n)
ij
=

¸
n=1
n
¸
ν=1
f
(ν)
ij
p
(n−ν)
jj
=

¸
ν=1
f
(ν)
ij

¸
n=ν
p
(n−ν)
jj
= f

ij

¸
n=0
p
(n)
jj
< ∞.
In particolare, grazie alla (7), la variabile aleatoria
¸
n≥0
1
{Xn=j}
ha speranza finita. Ne segue che `e quasi certamente finita e quindi che si verifica
solo un numero finito di eventi ¦X
n
= j¦.
Nel caso in cui l’insieme degli stati sia finito la catena di Markov non potr`a
occupare sempre stati transienti (che occupa per un tempo medio finito). Si ha
quindi il seguente
Corollario 2.14 Una catena di Markov con insieme degli stati I finito ha al-
meno uno stato ricorrente.
Dimostrazione. Supponiamo, per assurdo, che tutti gli stati siano tran-
sienti. Allora, per ogni i, j, la serie (8) `e convergente e quindi, in particolare
lim
n→∞
p
(n)
ij
= 0.
16
La matrice p
(n)
`e stocastica e quindi, per ogni n ≥ 1, si ha anche
¸
j∈I
p
(n)
ij
= 1.
Facendo tendere n all’infinito e scambiando il limite con la sommatoria (cosa
possibile perch´e I `e finito) si trova la contraddizione 0 = 1.
Applicheremo ora il criterio di transienza o ricorrenza del Teorema 2.11 allo
studio delle passeggiate casuali su Z
d
.
ESEMPIO 2.7 Passeggiata casuale su Z. Consideriamo una catena di Markov
(X
n
)
n≥0
con insieme degli stati Z e matrice di transizione
P =

¸
¸
. . . . . . . . . . . . . . . . . . . . .
. . . q 0 p 0 0 . . .
. . . 0 q 0 p 0 . . .
. . . . . . . . . . . . . . . . . . . . .
¸

dove p, q sono due numeri reali tali che
p, q ∈]0, 1[, p + q = 1.
`
E chiaro che questa catena di Markov rappresenta il moto sull’insieme dei
numeri naturali di un punto che, ad ogni istante, si sposta da i a i + 1 con
probabilit`a p e da i a i −1 con probabilit`a q.
`
E facile vedere inoltre che si tratta
di una catena di Markov irriducibile e che ogni stato ha periodo 2.
Vogliamo stabilire se gli stati sono transienti oppure ricorrenti. A questo
scopo cominciamo con l’osservare che, per ogni n ≥ 0, si ha
P
(n)
00
=

2n
n

(pq)
n
.
Grazie alla formula di Stirling
lim
n→∞
n
n
exp(−n)

2πn
n!
= 1
si trova l’andamento asintotico
P
(n)
00

(4pq)
n

πn
.
Poich´e il numero reale positivo 4pq = 4p(1 − p) `e eguale a 1 se p = q = 1/2
e strettamente minore di 1 se p = q, applicando il Teorema 2.11 possiamo
concludere che tutti gli stati sono ricorrenti nel primo caso e transienti nel
secondo.
Nel caso in cui p = q i tempi della prima entrata in ogni stato sono vari-
abili aleatorie positive quasi certamente a valori finiti. Utilizzando le funzioni
generatrici F
00
e P
00
introdotte nella dimostrazione del Teorema 2.11 possiamo
17
calcolare anche il tempo medio della prima entrata in 0 sotto la condizione
X
0
= 0. Infatti, ricordando lo sviluppo in serie di Taylor notevole,
(1 −4x)

1
2
=
¸
n≥0

2n
n

x
n
, [x[ <
1
4
,
otteniamo in forma esplicita la funzione generatrice P
00
P
00
(s) =
1

1 −4pqs
2
, [s[ < 1.
La funzione generatrice F
00
`e quindi
F
00
(s) = 1 −(P
00
(s))
−1
= 1 −

1 −4pqs
2
, [s[ < 1.
Grazie al Lemma di Abel, poich´e 4pq = 1, troviamo infine
E
0
[T
0
] =
¸
n≥1
nf
(n)
00
= lim
s→1

¸
n≥1
nf
(n)
00
s
n−1
= lim
s→1

dF
00
(s)
ds
= lim
s→1

4pqs

1 −4pqs
2
= +∞.
Nel caso in cui p = q = 1/2 pertanto, anche se il ritorno in 0 `e quasi certo, si far`a
attendere molto a lungo e comunque, in media, pi` u di quanto possa aspettare
un individuo mortale.
ESEMPIO 2.8 Passeggiata casuale simmetrica su Z
2
. Consideriamo una catena
di Markov (X
n
)
n≥0
con insieme degli stati Z
2
e probabilit`a di transizione
P¦X
n+1
= (i, j) [ X
n
= (h, k)¦ =

1/4 se [i −h[ +[j −k[ = 1,
0 altrimenti.
(X
n
)
n≥0
`e una catena di Markov irriducibile ed ogni stato ha periodo 2. Detta
P la matrice di transizione si ha
P
(2n)
00
=
¸
h+k=n
(2n)!
(h!)
2
(k!)
2

1
4

2n
(dove 0 denota l’origine di Z
2
). Con facili calcoli si trova quindi
P
(2n)
00
=
n
¸
k=0
(2n)!
(k!)
2
((n −k)!)
2

1
4

2n
=

2n
n

1
4

2n n
¸
k=0

n
k

n
n −k

Confrontando i termini a
n
b
n
del binomio di Newton di (a +b)
2n
e del quadrato
del binomio di Newton di (a + b)
n
si trova l’identit`a notevole

2n
n

=
n
¸
k=0

n
k

n
n −k

.
18
Otteniamo quindi la formula
P
2n
00
=

2n
n

1
4

n

2
.
Utilizzando la formula di Stirling troviamo poi lo sviluppo asintotico
P
2n
00

1
πn
che ci permette di concludere, grazie al Teorema 2.11 e al Corollario 2.12 che
tutti gli stati sono ricorrenti.
Tramite la definizione delle f
ii
si pu`o dare una caratterizzazione ulteriore di
periodo di uno stato i, che verr`a utilizzata in seguito.
Proposizione 2.15 Il periodo d(i) di uno stato i coincide con il massimo co-
mun divisore dell’insieme ¦n ≥ 1[f
(n)
ii
> 0¦.
Dimostrazione. Assumiamo inizialmente che i sia uno stato aperiodico.
In questo caso ci`o che vogliamo dimostrare `e che il massimo comune divisore
dell’insieme di numeri naturali

k ≥ 1 [ f
(k)
ii
> 0
¸
sia eguale a 1. Se cos`ı non fosse, detto m > 1 tale numero avremmo ovviamente
p
(k)
ii
= 0 per 1 ≤ k < m e quindi
p
(m+k)
ii
= f
(m)
ii
p
(k)
ii
= 0
per 1 ≤ k < m. Si potrebbe quindi dimostrare per induzione su n che p
(mn+k)
ii
`e nullo per 1 ≤ k < m e n ≥ 0 ovvero che p
(k)
ii
`e nullo se k non `e multiplo di
m. Ci`o contraddice l’ipotesi che i `e aperiodico. Il caso in cui d(i) = n > 1 si
dimostra nello stesso modo.
ESERCIZI
Es 2.1 Individuare le classi di stati in una catena di Markov con matrice di
transizione

¸
¸
¸
¸
¸
0 1/2 0 0 1/2
1/2 0 0 1/2 0
1/3 1/3 1/3 0 0
0 1/4 1/4 1/4 1/4
1/2 1/2 0 0 0
¸

.
Quali sono gli stati ricorrenti e transienti? Dire se vi sono stati periodici e
calcolarne eventualmente il periodo.
19
Es 2.2 Una catena di Markov con insieme degli stati N ha matrice di transizione

¸
¸
¸
¸
¸
1 −p p 0 0 0 0
1 −p 0 p 0 0 0
1 −p 0 0 p 0 0
1 −p 0 0 0 p 0
1 −p 0 0 0 0 p
¸

dove p ∈ (0, 1). Mostrare che la catena di Markov `e irriducibile e aperiodica.
verificare che il tempo T
0
del primo ritorno nello stato 0 rispetto ad ogni prob-
abilit`a P
i
ha legge geometrica. Questo fatto ha qualche relazione con la nota
propriet`a della legge geometrica?
Es 2.3 Data una catena di Markov con matrice di transizione
P =

¸
¸
¸
¸
¸
1/3 1/3 0 0 1/3
1/4 0 1/4 1/2 0
0 0 1/2 1/2 0
0 0 0 1/2 1/2
0 0 0 1/2 1/2
¸

individuare gli stati transienti e gli stati ricorrenti. Verificare che, per ogni
n ≥ 2, si ha che
P
n
=

¸
¸
¸
¸
¸
∗ ∗ ∗ ∗ ∗
∗ ∗ ∗ ∗ ∗
0 0 2
−n
∗ ∗
0 0 0 1/2 1/2
0 0 0 1/2 1/2
¸

(al posto degli asterischi ci sono opportuni numeri reali strettamente positivi).
Si pu`o spiegare questo fatto con qualche propriet`a della catena di Markov?
Es 2.4 Sia (X
n
)
n≥1
una successione di variabili aleatorie indipendenti con legge
di Bernoulli B(1, p) e (Z
n
)
n≥0
la successione di variabili aleatorie cos´ı definita
Z
0
= 1, Z
n+1
= Z
n
(2X
n+1
−1).
Stabilire se (Z
n
)
n≥0
`e una catena di Markov e determinarne eventualmente la
la matrice di transizione. Mostrare che tutti gli stati sono ricorrenti.
Es 2.5 Assegnati due stati i e j di una catena di Markov, provare che
i) se j `e ricorrente e accessibile da i, allora
¸
n≥1
p
(n)
ij
= +∞,
ii) se j `e ricorrente e non accessibile da i, allora
¸
n≥1
p
(n)
ij
= 0.
20
3 Leggi invarianti e teoremi limite.
Sia (X
n
)
n≥0
una catena di Markov sullo spazio probabilizzato (Ω, T, P) con
insieme degli stati I e matrice di transizione P = (p
ij
)
i,j∈I
.
Definizione 3.1 Una legge µ su I `e invariante per la catena di Markov (X
n
)
n≥0
se la variabile aleatoria X
n
ha legge µ per ogni n ≥ 0.
Identificheremo spesso le leggi su I con la loro densit`a (rispetto alla misura
che conta i punti di ogni sottoinsieme di I) cio`e con la famiglia di numeri reali
non negativi (µ
i
)
i∈I
ove µ
i
= µ(¦i¦).
Proposizione 3.2 Una legge µ su I `e invariante per la catena di Markov
(X
n
)
n≥0
se e solo se, per ogni stato i, si ha
µ
i
=
¸
j∈I
µ
j
p
ji
(9)
(ovvero la sua densit`a `e un autovettore sinistro della matrice di transizione con
autovalore relativo 1).
Dimostrazione. Detta µ la legge di X
0
, la legge ν di X
1
ha densit`a
ν
i
= P¦X
1
= i¦ =
¸
j∈I
P¦X
0
= j¦p
ji
=
¸
j∈I
µ
j
p
ji
,
Quindi, se µ `e una legge invariante per la catena di Markov (X
n
)
n≥0
, allora la
vale la (9). Viceversa, se µ `e una legge su I che soddisfa la (9), si pu`o dimostrare
facilmente per induzione che X
n
ha legge µ per ogni n.
Dunque una legge µ su I, identificando la sua densit`a con il vettore (µ
i
)
i∈I
,
`e invariante se e solo se
µ = µP (P `e la matrice di transizione).
Teorema 3.3 Se l’insieme degli stati I `e finito allora esiste almeno una legge
invariante.
Dimostrazione. L’insieme delle densit`a di probabilit`a su I
/ =


i
)
i∈I

0 ≤ µ
i
≤ 1, per ogni i,
¸
i∈I
µ
i
= 1
¸
`e compatto. Preso un elemento µ
(0)
di / `e facile dimostrare che, per ogni intero
n ≥ 1, la famiglia di numeri reali non negativi (µ
(n)
j
)
j∈I
cos`ı definita
µ
(n)
j
=
1
n
n
¸
k=1

¸
i∈I
µ
(0)
i
p
(k)
ij

21
`e una densit`a di probabilit`a su I. Poich´e l’insieme / `e compatto, passando even-
tualmente a sottosuccessioni, possiamo supporre che la successione (µ
(n)
j
)
n≥0
sia
convergente per ogni j ∈ I. Posto quindi
π
j
= lim
n→∞
µ
(n)
j
la famiglia di numeri reali (π
j
)
j∈I
`e una densit`a di probabilit`a su I e inoltre si
ha
¸
i∈I
π
i
p
ij
= lim
n→∞
1
n
n
¸
k=1

¸
i∈I
π
i
p
(k+1)
ij

= lim
n→∞
1
n + 1
n+1
¸
k=1

¸
i∈I
π
i
p
(k)
ij

− lim
n→∞
1
n + 1
¸
i∈I
π
i
p
ij
= π
j
per ogni j ∈ I. Ci`o dimostra che la legge con densit`a (π
i
)
i∈I
`e invariante per la
catena di Markov.
Nel teorema precedente la legge invariante `e stata ottenuta come limite (di
sottosuccessioni estratte da) (µ
(n)
)
n≥1
dove µ
(0)
`e una legge su I e
µ
(n)
j
=
1
n
n
¸
k=1

(0)
P
k
)
j
per ogni n ≥ 1 ed ogni j ∈ I (qui (µ
(0)
P
k
)
j
=
¸
i∈I
µ
(0)
i
p
(k)
ij
). In particolare, se
µ
(0)
= δ
i
(densit`a di Dirac nel punto i), si ha
µ
(n)
j
1
n
n
¸
k=1
p
(k)
ij
.
L’analisi di questa espressione fornisce anche l’interpretazione del significato
della legge invariante. Infatti, ricordando che la variabile aleatoria
n
¸
k=1
1
{X
k
=j}
rappresenta il numero di visite nello stato j fino al tempo n, `e chiaro che la
variabile aleatoria
1
n
n
¸
k=1
1
{X
k
=j}
rappresenta la frequenza delle visite nello stato j al tempo n. La sua media,
rispetto alla probabilit`a P
i
,
E
i
¸
1
n
n
¸
k=1
1
{X
k
=j}
¸
=
1
n
n
¸
k=1
P
i
¦X
k
= j¦ =
1
n
n
¸
k=1
p
(k)
ij
22
rappresenta quindi la frequenza media delle visite nello stato j al tempo n. Si
possono quindi interpretare i π
j
della legge invariante come frequenza media
asintotica delle visite nello stato j.
Una catena di Markov (anche con I finito) pu`o avere pi` u di una legge in-
variante come mostra l’esempio Rovina del giocatore. In questo caso infatti le
densit`a
(1, 0, . . . , 0), (0, . . . , 0, 1)
e le loro combinazioni convesse
λ(1, 0, . . . , 0) + (1 −λ)(0, . . . , 0, 1)(λ, 0, . . . , 0, 1 −λ) λ ∈ [0, 1]
sono tutte leggi invarianti.
Nel caso in cui l’insieme I sia infinito, tuttavia, si possono fornire esempi
naturali di catene di Markov che non ammettono nessuna legge invariante.
ESEMPIO 3.1 La catena di Markov corrispondente alla Passeggiata casuale su
Z dell’Esempio 2.7 non ha nessuna legge invariante infatti la densit`a (π
i
)
i∈I
di
tale legge dovrebbe soddisfare la relazione
π
i
= qπ
i+1
+ pπ
i−1
per ogni numero intero i, cio`e
q (π
i+1
−π
i
) = p (π
i
−π
i−1
) . (10)
Cominciamo con l’osservare che deve essere π
i+1
= π
i
per ogni intero i poich´e,
diversamente, dalla relazione precedente, otterremmo π
i+1
= π
i
per ogni intero
i e la (π
i
)
i∈I
trovata non `e una densit`a di probabilit`a. Quindi distinguiamo i tre
casi p > q, p = q = 1/2 e p < q. Nel primo caso dalla (10) si trova facilmente
per induzione la formula
π
i+1
−π
i
= (p/q)
i

1
−π
0
)
dalla quale segue la relazione
lim
i→+∞

i+1
−π
i
[ = +∞
che contraddice la limitatezza di (π
i
)
i∈I
. Nel secondo dalla (10) si trova la
formula
π
i+1
−π
i
= π
1
−π
0
dalla quale segue la relazione
π
i
= i(π
1
−π
0
) + c
(con c costante) che contraddice ancora la limitatezza di (π
i
)
i∈I
. Il terzo caso
si tratta come il primo. In conclusione la catena di Markov considerata non
possiede nessuna legge invariante.
23
Il calcolo esplicito o anche la sola dimostrazione dell’esistenza di una legge
invariante in generale pu`o non essere semplice. L’esempio seguente, che mod-
ellizza varie situazioni (rovina del giocatore contro un avversario con capitale
praticamente infinito, passeggiata casuale su N, ...) mostra un caso notevole in
cui l’insieme degli stati `e infinito ma si riesce ugualmente a risolvere semplice-
mente entrambi i problemi.
ESEMPIO 3.2 Consideriamo la catena di Markov con insieme degli stati N e
matrice di transizione

¸
¸
¸
¸
¸
¸
r
0
p
0
0 0 0 . . .
q
1
r
1
p
1
0 0 . . .
0 q
2
r
2
p
2
0 . . .
0 0 q
3
r
3
p
3
. . .
0 0 0 q
4
r
4
. . .
. . . . . . . . . . . . . . . . . .
¸

dove (p
m
)
m≥0
, (r
m
)
m≥0
, (q
m
)
m>0
sono tre successioni di numeri reali con
p
m
, q
m
∈]0, 1[ e r
m
∈ [0, 1] tali che
r
0
+ p
0
= 1, q
m
+ r
m
+ p
m
= 1
per ogni intero m ≥ 1. Ogni legge invariante (π
n
)
n≥0
soddisfa le equazioni
π
0
= r
0
π
0
+ q
1
π
1
π
n
= p
n−1
π
n−1
+ r
n
π
n
+ q
n+1
π
n+1
per ogni n ≥ 1 oltre alla condizione di positivit`a π
n
≥ 0 e di normalizzazione
¸
n≥0
π
n
= 1.
Dalla prima equazione si trova
π
1
=
1 −r
0
q
1
π
0
=
p
0
q
1
π
0
e, per induzione,
π
n
=
p
0
. . . p
n−1
q
1
. . . q
n
π
0
per ogni n ≥ 1. La condizione di normalizzazione pu`o essere soddisfatta pren-
dendo
π
0

¸
1 +
¸
n≥1
p
0
. . . p
n−1
q
1
. . . q
n
¸

−1
se e solo se la serie
¸
n≥1
p
0
. . . p
n−1
q
1
. . . q
n
`e convergente. Questa condizione `e quindi necessaria e sufficiente per l’esistenza
di una legge invariante che sar`a necessariamente unica.
24
Enunciamo il seguente teorema (vedi [2] p. 335 oppure [3] p. 81 per la di-
mostrazione), che ci servir`a per enunciare una condizione necessaria e sufficiente
affinch´e una catena di Markov con insieme degli stati infinito abbia una legge
invariante.
Teorema 3.4 Sia (a
k
)
k≥1
una successione di numeri reali non negativi tale che

¸
k=1
a
k
= 1
e il massimo comune divisore dell’insieme dei numeri naturali k per i quali
a
k
sia strettamente positivo sia 1. La successione di numeri reali non negativi
definita per ricorrenza dalle relazioni
u
0
= 1, u
n
=
n
¸
k=1
a
k
u
n−k
,
`e limitata e soddisfa la relazione (con la convenzione abituale 1/∞ = 0)
lim
n→∞
u
n
=


¸
k=1
ka
k

−1
.
Osserviamo che la successione (u
n
)
n≥0
qui definita `e limitata poich´e vale la
diseguaglianza
0 ≤ u
n
≤ max
1≤k≤n−1
¦u
k
¦
n
¸
k=1
a
k
per ogni intero n ≥ 1.
Enunciamo ora il seguente risultato abbastanza naturale data l’interpretazione
della legge invariante.
Teorema 3.5 Se i `e uno stato ricorrente aperiodico allora si ha
lim
n→∞
p
(n)
ii
= (E
i
[T
i
])
−1
.
Dimostrazione. Basta applicare il Teorema 3.4 Infatti, grazie alla Propo-
sizione 2.15, si ha
p
(n)
ii
=
n
¸
k=1
f
(k)
ii
p
(n−k)
ii
e, valgono le formule,

¸
k=1
f
(k)
ii
= 1,

¸
k=1
kf
(k)
ii
= E
i
[T
i
].
25
essendo i ricorrente. Inoltre, per la Proposizione 2.15, il massimo comune divi-
sore dell’insieme di numeri naturali

k ≥ 1 [ f
(k)
ii
> 0
¸
`e eguale a 1.
Ricordiamo che T
i
`e l’istante (aleatorio) del primo ritorno nello stato i che
`e quasi certamente finito per la probabilit`a P
i
(cio`e P
i
¦T
i
< ∞¦ = 1) ma pu`o
avere speranza infinita (cio`e E
i
[T
i
] = +∞). In tal caso, poniamo (E
i
[T
i
])
−1
= 0.
Definizione 3.6 Uno stato ricorrente i si chiama ricorrente positivo (o veloce)
se E
i
[T
i
] < +∞ e ricorrente nullo (o lento) se E
i
[T
i
] = +∞.
Osserviamo che, se i e j sono due stati comunicanti, ricorrenti e aperiodici
allora sono entrambi ricorrenti positivi o entrambi ricorrenti nulli. Infatti basta
osservare, come abbiamo gi`a fatto molte volte, che vale una diseguaglianza del
tipo
p
(a+n+b)
jj
≥ p
(a)
ji
p
(n)
ii
p
(b)
ij
dove i numeri interi a, b ≥ 1 sono scelti in modo tale che i numeri reali p
(a)
ji
e
p
(b)
ji
siano strettamente positivi.
Si pu`o verificare che una catena di Markov con insieme degli stati I finito non
ha stati ricorrenti nulli (o lenti). Infatti, detta ( la classe a cui appartiene un
eventuale stato ricorrente lento i, ragionando come nell’osservazione precedente,
si vede subito che tutti gli stati della classe ( sono tutti ricorrenti nulli ovvero
la successione (p
(n)
jj
)
n≥1
converge a 0 per n tendente all’infinito per ogni j ∈ (.
Inoltre, poich´e la catena di Markov non pu`o uscire da (, si ha
¸
j∈C
p
kj
= 1
per ogni stato k. Infine, procedendo come nella dimostrazione del Corollario
2.14, si ottiene una contraddizione.
Osserviamo inoltre che il caso di uno stato ricorrente i di periodo d > 1 si
pu`o trattare in modo analogo considerando i come uno stato (aperiodico) della
catena di Markov (X
nd
)
n≥0
. In tal caso si ottiene
lim
n→∞
p
(nd)
ii
= d (E
i
[T
i
])
−1
.
Poich´e si vede facilmente che p
(m)
ii
`e nullo per ogni intero m ≥ 1 che non sia
multiplo di d, si trova la relazione
lim
n→∞
1
n
n
¸
k=1
p
(k)
ii
= (E
i
[T
i
])
−1
.
Teorema 3.7 Sia (X
n
)
n≥0
una catena di Markov irriducibile e aperiodica. Le
condizioni seguenti sono equivalenti:
26
1. ogni stato `e ricorrente positivo,
2. esiste una legge invariante (π
i
)
i∈I
tale che per ogni coppia di stati i, j si
abbia
lim
n→∞
p
(n)
ij
= lim
n→∞
p
(n)
jj
= π
j
.
Se valgono le condizioni precedenti allora (π
i
)
i∈I
`e l’unica legge invariante per
la catena di Markov (X
n
)
n≥0
.
Dimostrazione. 1. ⇒ 2. Grazie al Teorema 2.9 si ha
p
(n)
ij
=
n
¸
k=1
f
(k)
ij
p
(n−k)
jj
e quindi, per Corollario 3.5 (e il Teorema di Lebesgue), detto π
j
il limite della
successione (p
(n)
jj
)
n≥0
, si trova
lim
n→∞
p
(n)
ij

¸
k=1
f
(k)
ij
π
j
= π
j
.
Inoltre, per ogni sottoinsieme finito F di I, abbiamo la diseguaglianza
¸
j∈F
π
j
= lim
n→∞
¸
j∈F
p
(n)
ij
≤ lim
n→∞
¸
j∈I
p
(n)
ij
= 1
e quindi
¸
j∈I
π
j
≤= 1.
Dimostriamo ora che (π
j
)
j∈I
`e la densit`a di una legge invariante per la catena
di Markov (X
n
)
n≥0
. Sia F un sottoinsieme finito di I. Passando al limite nella
relazione
¸
k∈F
p
(n)
ik
p
kj
≤ p
(n+1)
ij
per ogni i, j ∈ I, otteniamo le diseguaglianze
¸
k∈F
π
k
p
kj
≤ π
j
e quindi, data l’arbitrariet`a di F,
¸
k∈I
π
k
p
kj
≤ π
j
. (11)
Sommando su j troviamo poi
¸
k∈I
π
k
=
¸
j∈I
¸
k∈I
π
k
p
kj
=
¸
j∈I
π
j
.
27
Le diseguaglianze (11) sono dunque eguaglianze.
Iterando le eguaglianze (11) si trovano le identit`a
π
j
=
¸
k∈I
π
k
p
(n)
kj
per ogni intero n ≥ 1. Facendo tendere n all’infinito si trova
π
j
= π
j
¸
k∈I
π
k
per ogni stato j da cui segue che
¸
k∈I
π
k
= 1.
Dunque (π
j
)
j∈I
`e la densit`a di una legge invariante per (X
n
)
n≥0
.
2. ⇒ 1. La conclusione segue immediatamente dal Teorema 3.5.
Mostriamo infine che, se valgono 1. e 2., allora la legge invariante `e unica.
Per dimostrare questo basta osservare che, se µ `e un’altra legge invariante,
allora, per ogni stato j si ha
µ
j
=
¸
k∈I
µ
k
p
kj
.
Iterando n-volte si trovano le identit`a
µ
j
=
¸
k∈I
µ
k
p
(n)
kj
.
Facendo tendere n all’infinito si ottiene la relazione
µ
j
=
¸
k∈I
µ
k
π
j
= π
j
per ogni j ∈ I. L’unicit`a `e cos`ı dimostrata.
Come conseguenza di questo Teorema, data una catena di Markov a stati
finiti irriducibile e aperiodica esiste un’unica legge invariante π, tale che E
i
[T
i
] =
1
πi
. Nelle stesse ipotesi, possiamo chiederci quando vale il tempo medio neces-
sario per raggiungere uno stato j partendo da i, con 1 = j,. Vogliamo quindi
calcolare
E
i
[T
j
] =
¸
k≥1
kP
i
¦T
j
= k¦
= p
ij
+
¸
k>1
kP
i
¦T
j
= k¦.
28
Siccome P
i
¦T
j
= k¦ =
¸
h=j
p
ih
P
h
¦T
j
= k −1¦ per ogni k > 1, abbiamo che
E
i
[T
j
] = p
ij
+
¸
k>1
¸
h=j
kp
ih
P
h
¦T
j
= k −1¦
= p
ij
+
¸
h=j
¸
k>1
kp
ih
P
h
¦T
j
= k −1¦
= p
ij
+
¸
h=j
p
ih
E
h
[T
j
+ 1]
= 1 +
¸
h=j
p
ih
E
h
[T
j
].
. In questo modo abbiamo ottenuto un sistema di equazioni lineari che ci per-
mette di calcolare le speranza E
i
[T
j
] quando i = j. Nella prossimo capitolo,
cercheremo di rispondere a domande analoghe quando la catena di Markov non
`e pi` u irriducibile.
ESERCIZI
Es 3.1 Individuare tutte le leggi invarianti della catena di Markov con matrice
di transizione

¸
¸
¸
¸
¸
0 1/2 0 0 1/2
0 1/2 1/2 0 0
0 1/2 1/2 0 0
0 0 0 1/2 1/2
0 0 0 1/2 1/2
¸

.
Es 3.2 Una catena di Markov con insieme degli stati N ha matrice di transizione

¸
¸
¸
¸
¸
p 1 −p 0 0 0 0
p 0 1 −p 0 0 0
p 0 0 1 −p 0 0
p 0 0 0 1 −p 0
p 0 0 0 0 1 −p
¸

,
dove p ∈ (0, 1). Mostrare che la catena di Markov `e irriducibile e aperiodica e
che la sua legge invariante `e la legge geometrica di parametro p.
Es 3.3 Provare che, per una catena di Markov con matrice di transizione bis-
tocastica, la distribuzione uniforme `e invariante. Quando questa pu`o essere una
misura di probabilit`a?
Es 3.4 Una legge (π
i
)
i∈I
si dice reversibile rispetto ad una matrice di tran-
sizione P se, per ogni i, j ∈ I verifica
π
i
p
ij
= π
j
p
ji
.
Mostrare che una legge reversibile `e necessariamente invariante.
29
Es 3.5 Classificare gli stati della catena di Markov (X
n
)
n≥0
con insieme degli
stati S = ¦1, 2, 3, 4, 5¦ e matrice di transizione del tipo
P =

¸
¸
¸
¸
¸
∗ ∗ 0 0 ∗
0 ∗ ∗ 0 0
0 ∗ ∗ 0 0
0 0 ∗ ∗ 0
∗ 0 0 ∗ 0
¸

,
dove il simbolo ∗ individua gli elementi della matrice strettamente positivi.
Una tale catena possiede leggi invarianti? Si pu`o dire qualcosa di pi´ u nel caso
in cui si supponga che tutte le transizioni in partenza dallo stesso vertice siano
equiprobabili?
Es 3.6 Sia (X
n
)
n≥0
una catena di Markov con legge invariante. π. Sia ( una
classe di stati e sia a ∈ (. Provare che a `e ricorrente e π
j
> 0 per ogni j ∈ (.
Es 3.7 Data una catena di Markov (X
n
)
n≥0
con insieme degli stati Z e matrice
di transizione

¸
¸
¸

2/5 1/5 2/5
2/5 1/5 2/5

¸

.
Classificare gli stati e dire se esiste una legge invariante.
Es 3.8 Supponiamo che un’industria produca due tipi di Cola, Cola1 e Cola2.
Sappiamo che una persona che all’acquisto abbia scelto Cola1, all’acquisto suc-
cessivo sceglier`a Cola 2 con probabilit`a 0.9, mentre se ha scelto inizialmente
Cola2 sceglier`a ancora Cola 2 con probabilit`a 0.8. Quante bottiglie in media
berr`a il compratore di Cola1 prima di passare a Cola2?
30
4 Assorbimento in classi ricorrenti
Abbiamo dimostrato che gli stati transienti sono visitati solo un numero finito
di volte e quindi, partendo da uno stato transiente, la catena di Markov ha due
possibilit`a
1) continua a muoversi tra stati transienti (sempre che ce ne siano infiniti),
2) entra in una classe ( di stati ricorrenti da cui non uscir`a pi` u.
Nel caso in cui l’insieme degli stati I sia finito il primo caso (vedi Propo-
sizione 4.1 qui sotto) non pu`o sussistere e quindi, quando vi sono pi` u classi
ricorrenti, sorge il problema di calcolare la probabilit`a di assorbimento in cia-
scuna di esse. Questo problema `e abbastanza naturale nelle applicazioni. Nella
catena di Markov che descrive la Rovina del giocatore (Esempio 1.1), per es-
empio, le probabilit`a di assorbimento nelle classi ¦0¦ ed ¦N¦ rappresentano le
probabilit`a di rovina del giocatore e del banco.
In questo paragrafo, supponendo sempre che I sia finito, vedremo come si
possono calcolare semplicemente queste probabilit`a.
Denotiamo con T l’insieme degli stati transienti e, per ogni i ∈ T , denotiamo
con u
(n)
i
la probabilit`a, partendo da i di continuare passare ad altri stati tran-
sienti almeno fino al tempo n e con u
i
la probabilit`a di fare questo per sempre
cio`e
u
(n)
i
= P
i
¦X
n
∈ T , . . . , X
1
∈ T ¦
u
i
= P
i

¸
n≥1
¦X
n
∈ T ¦

.
Proposizione 4.1 Per ogni stato transiente i la successione (u
(n)
i
)
n≥0
`e decre-
scente e
lim
n→∞
u
(n)
i
= u
i
.
La famiglia di numeri reali (u
i
)
i∈T
soddisfa le equazioni
u
i
=
¸
j∈T
p
ij
u
j
. (12)
In particolare, se l’insieme T `e finito, allora l’unica soluzione del sistema di
equazioni (12) `e u
i
= 0 per ogni i ∈ T .
Dimostrazione. La successione `e ovviamente decrescente poich´e le (u
(n)
i
)
n≥0
rappresentano le probabilit`a di una successione decrescente di eventi. Inoltre,
per ogni n ≥ 1, si ha
u
(n+1)
i
=
¸
j∈T
p
ij
u
(n)
j
.
La (12) segue passando al limite.
31
Se l’insieme T `e finito, allora, iterando la (12) abbiamo
u
i
=
¸
j∈T
p
ij
u
j
=
¸
j,l∈T
p
ij
p
jl
u
l

¸
l∈T

¸
l∈I
p
ij
p
jl

u
l
=
¸
l∈T
p
(2)
il
u
l
.
Pertanto, iterando la (12) n volte, troviamo le diseguaglianze
[u
i
[ ≤
¸
j∈T
p
(n)
ij
[u
j
[ ≤ max
j∈I
¦[u
j

¸
j∈T
p
(n)
ij
.
Grazie al Corollario 2.13, la conclusione segue facendo tendere n all’infinito.
Calcoliamo ora la probabilit`a v
i
che, partendo da uno stato transiente i, la
catena di Markov entri in una classe ricorrente ( e quindi vi rimanga definitiva-
mente. Questa probabilit`a `e detta probabilit`a di assorbimento. Sia V il tempo
della prima entrata (detto anche tempo di assorbimento) nella classe ( cio`e
V = inf
j∈C
T
j
(dove T
j
denota il tempo della prima entrata nello stato j). Si vede facilmente
che V `e un tempo d’arresto. Denotiamo con (v
(n)
i
)
1≤n≤+∞
la legge di V per la
probabilit`a P
i
v
(n)
i
= P
i
¦V = n¦P
i
¦X
n
∈ (, X
n−1
/ ∈ (, . . . , X
1
/ ∈ (¦,
v
(∞)
i
= P
i
¦V = +∞¦ = P
i
(∩
1≤n<+∞
¦X
n
/ ∈ (¦) .
Si ha allora
v
i
= P
i
(∪
1≤n<+∞
¦X
n
∈ (¦) =
¸
1≤n<+∞
v
(n)
i
.
Possiamo dimostrare il seguente risultato
Teorema 4.2 Le probabilit`a (v
i
)
i∈C
sono una soluzione limitata delle equazioni
v
i
=
¸
j∈C
p
ij
+
¸
j∈T
p
ij
v
j
, i ∈ T . (13)
Se l’insieme degli stati I `e finito, allora le probabilit`a (v
i
)
i∈T
sono l’unica
soluzione limitata delle equazioni (13).
32
Dimostrazione. Si ha evidentemente
v
(1)
i
= P
i
¦X
1
∈ (¦ =
¸
j∈C
p
ij
e, per ogni n ≥ 2,
v
(n)
i
= P
i
¦X
n
∈ (, X
n−1
∈ T , . . . , X
2
∈ T , X
1
∈ T ¦
=
¸
j∈T
P
i
¦X
n
∈ (, X
n−1
∈ T , . . . , X
1
= j¦
=
¸
j∈T
p
ij
P
j
¦X
n
∈ (, X
n−1
∈ T , . . . , X
2
∈ T ¦
=
¸
j∈T
p
ij
P
j
¦X
n−1
∈ (, . . . , X
1
∈ T ¦
=
¸
j∈T
p
ij
v
(n−1)
j
.
Sommando le relazioni precedenti, si ottiene
v
i
= v
(1)
+
¸
2≤n<+∞
v
(n)
=
¸
j∈C
p
ij
+
¸
2≤n<+∞
¸
j∈T
p
ij
v
(n−1)
j
=
¸
j∈C
p
ij
+
¸
j∈T
p
ij
v
j
Dunque (v
i
)
i∈T
soddisfa le equazioni (13).
Se l’insieme degli stati I `e finito e (v
i
)
i∈I
, (w
i
)
i∈I
sono due soluzioni di (13),
allora la differenza (u
i
)
i∈I
u
i
= v
i
− w
i
`e una soluzione di (12) ed essendo I
finito `e nulla. La conclusione `e ora evidente.
ESEMPIO 4.1 Riprendiamo l’Esempio 1.1. Sia N ≥ 2 un numero naturale
fissato e p, q due numeri reali strettamente positivi tali che p + q = 1. Consid-
eriamo una catena di Markov con insieme degli stati ¦0, 1, . . . , N¦ con matrice
di transizione

¸
¸
¸
¸
¸
¸
¸
¸
1 0 0 0 . . . 0 0 0
q 0 p 0 . . . 0 0 0
0 q 0 p . . . 0 0 0
0 . . . . . . . . . . . . . . . . . . 0
0 0 0 0 . . . 0 p 0
0 0 0 0 . . . q 0 p
0 0 0 0 . . . 0 0 1
¸

.
La catena di Markov in questione ha evidentemente due classi ricorrenti ¦0¦
e ¦N¦ e tutti gli stati 1, 2, . . . , N −1 sono transienti. Il calcolo della probabilit`a
33
suddetta equivale quindi al calcolo delle probabilit`a di assorbimento v
i
degli stati
transienti i ∈ ¦1, 2, . . . , N − 1¦ nelle classi ricorrenti ¦0¦ e ¦N¦. Calcoliamo,
per esempio, le probabilit`a di assorbimento (v
i
)
1≤i≤N−1
in ¦0¦. Poich`e l’insieme
degli stati `e finito le equazioni (13), che in questo caso si scrivono
v
1
= q + pv
2
v
i
= qv
i−1
+ pv
i+1
se 2 ≤ i ≤ N −2
v
N−1
= qv
N−2
Ponendo quindi, come `e naturale v
0
= 1 e v
N
= 0 si trova
v
i
= qv
i−1
+ pv
i+1
per ogni i ∈ ¦1, . . . , N −1¦. Risolvendo questo sistema di equazioni a differenze
finite, con v
0
= 1 e v
N
= 0 come “condizioni al bordo”, si trova
v
i
=
(q/p)
i
−(q/p)
N
1 −(q/p)
N
se p = q e
v
i
= 1 −
i
N
se p = q = 1/2. Ci`o risolve il problema posto.
Osserviamo che, per N → +∞, le v
i
convergono verso
1 se q ≥ p, (q/p)
i
se q < p.
Questo indica che, per N molto grande, il giocatore con capitale iniziale i ha
probabilit`a vicina a (q/p)
i
di diventare ricchissimo (sbancando l’avversario).
Una procedura a quella indicata per il calcolo delle probabilit`a di assorbi-
mento permette di dedurre un metodo per il calcolo dei tempi medi di assorbi-
mento in una classe ricorrente in un caso particolare notevole.
Teorema 4.3 Supponiamo l’insieme degli stati I sia finito ed esista un’unica
classe ricorrente (. I tempi medi di assorbimento w
i
= E
i
[V ] di uno stato
transiente i nella classe ( sono finiti e coincidono con l’unica soluzione limitata
(w
i
)
i∈T
delle equazioni
w
i
= 1 +
¸
j∈T
p
ij
w
j
. (14)
Dimostrazione. Cominciamo con l’osservare che, con le notazioni utiliz-
zate pi` u sopra, per ogni intero n ≥ 1, si ha
P
i
¦V > n¦ = P
i
¦X
n
∈ T , . . . , X
1
∈ T ¦ = u
(n)
i
.
34
Inoltre, dalla relazione trovata precedentemente,
u
(n+1)
i
=
¸
j∈T
p
ij
u
(n)
j
si ottengono facilmente per iterazione le diseguaglianze
u
(n+m)
i

¸
j∈T
p
(m)
ij
u
(n)
j
per ogni intero m ≥ 1. Si hanno inoltre le diseguaglianze
u
(n+m)
i
≤ max
j∈T
¦u
(n)
j
¦
¸
j∈T
p
(m)
ij
(15)
Grazie al Corollario 2.13, per ogni j ∈ T , la successione (p
(m)
ij
)
m≥1
converge
verso 0 per m tendente a +∞. Possiamo quindi scegliere un numero naturale
m abbastanza grande in modo tale che, per ogni i ∈ T , valga la diseguaglianza
¸
j∈T
p
(m)
ij
< 1
ovvero, poich´e l’insieme degli stati I `e finito, in modo tale che il numero reale
M
M = max
i∈T

¸
j∈T
p
(m)
ij

risulti strettamente minore di 1. Dalla (15) si ha pertanto la diseguaglianza
u
(n)
i
≤ M
[n/m]
dalla quale segue che
E
i
[V ] =
+∞
¸
n=0
P
i
¦V > n¦ ≤
+∞
¸
n=0
M
[n/m]
≤ (M(1 −M
1/m
))
−1
< +∞.
Ci`o dimostra la prima affermazione. Per completare la dimostrazione baster`a
far vedere che i tempi medi di assorbimento (w
i
)
i∈T
soddisfano le equazioni (14)
infatti la soluzione di tali equazioni `e unica per il Corollario (4.1). Questo segue
dalle identit`a seguenti
E
i
[V ] =

¸
n=1
nP
i
¦V = n¦
=

¸
n=1
nP
i
¦V = n, X
1
∈ T ¦ +

¸
n=1
nP
i
¦V = n, X
1
∈ (¦
=

¸
n=2
n
¸
j∈T
p
ij
P¦X
n
∈ (, X
n−1
∈ T , . . . [X
1
= j¦ +
¸
j∈C
p
ij
35
=

¸
n=2
n
¸
j∈T
p
ij
P
j
¦X
n−1
∈ (, X
n−2
∈ T , . . .¦ +
¸
j∈C
p
ij
=
¸
j∈T
p
ij

¸
n=2
nP
j
¦V = n −1¦ +
¸
j∈C
p
ij
.
Con facili calcoli si ha infine
E
i
[V ] =
¸
j∈T
p
ij

¸
n=1
(n + 1)P
j
¦V = n¦ +
¸
j∈C
p
ij
=
¸
j∈T
p
ij

¸
n=1
nP
j
¦V = n¦ +
¸
j∈T
p
ij
+

¸
n=1
P
j
¦V = n¦
¸
j∈C
p
ij
=
¸
j∈T
p
ij
E
j
[V ] +
¸
j∈T
p
ij
+
¸
j∈C
p
ij
= 1 +
¸
j∈T
p
ij
E
j
[V ].
Ci`o conclude la dimostrazione.
ESEMPIO 4.2 Il collezionista di figurine. Un tale acquista ogni giorno una
bustina contente una figurina con lo scopo di completare un album con N fig-
urine distinte. Evidentemente, vedendo la figurina contenuta in ogni busta solo
dopo l’acquisto, pu`o accadere che trovi pi` u volte la stessa figurina.
`
E spontaneo
chiedersi quanti giorni occorreranno, in media, perch´e il tale completi l’album.
L’evoluzione della collezione si pu`o descrivere con una catena di Markov (X
n
)
n≥0
con insieme degli stati ¦0, 1, . . . , N¦ convenendo che X
n
rappresenti il numero
di figurine al giorno n e X
0
= 0. La matrice di transizione `e evidentemente la
matrice

¸
¸
¸
¸
¸
¸
¸
¸
¸
0 1 0 0 0 . . . 0 0 0
0
1
N
N−1
N
0 0 . . . 0 0 0
0 0
2
N
N−2
N
0 . . . 0 0 0
. . . . . . . . . . . . . . . . . . . . . . . . . . .
0 0 0 0 0 . . .
N−2
N
2
N
0
0 0 0 0 0 . . . 0
N−1
N
1
N
0 0 0 0 0 . . . 0 0 1
¸

`
E chiaro che gli stati 0, . . . , N − 1 sono transienti e lo stato N `e ricorrente. Il
tempo medio per il completamento dell’album `e rappresentato dal tempo medio
di assorbimento nella classe ricorrente ¦N¦. Grazie ai risultati precedenti, si
trova
E
0
[T
N
] =
N
¸
k=1
N
N −k + 1
≈ N log(N + 1).
Nel caso in cui vi siano pi` u classi ricorrenti `e chiaro che i tempi di assorbi-
mento in una di esse potrebbero essere uguali a +∞con probabilit`a strettamente
36
positiva. Infatti, se la catena di Markov, partendo dallo stato transiente i, en-
tra in una classe ricorrente ( non potr`a pi` u uscire ed entrare in un’altra classe
ricorrente (
2
. Nel caso in cui si verifichi questo evento, e che abbia probabilit`a
strettamente positiva, il tempo di assorbimento in (
2
sar`a quindi uguale a +∞
ed evidentemente anche la sua speranza. Il tempo medio di assorbimento sar`a
quindi uguale a +∞. Il Teorema 4.3 non si pu`o applicare direttamente.
Una piccola variante permette per`o di calcolare il tempo medio di assor-
bimento per la probabilit`a condizionata all’evento costituito dall’entrata della
catena di Markov nella classe ricorrente della quale si vuole calcolare il tempo
medio (rispetto alla probabilit`a condizionata!) di assorbimento.
In questo caso baster`a risolvere un sistema di equazioni simile a (14) come
mostra la seguente applicazione alla rovina del giocatore in cui ( = ¦0¦, T =
¦1, . . . , N −1¦ e (
2
= ¦N¦.
ESEMPIO 4.3 Riprendiamo l’Esempio 1.1 Rovina del giocatore. Vogliamo cal-
colare il tempo medio della durata del gioco nel caso in cui il giocatore sia
rovinato ovvero
w
i
= E
i
[ T
0
[ T
0
< ∞] .
Posto w
0
= 0, le w
i
soddisfano le equazioni
w
i
= 1 + qw
i−1
+ pw
i+1
, per i = 1, . . . , N −2,
w
N−1
= 1 + w
N−2
, per i = N −1.
(16)
La seconda equazione `e modificata, rispetto alla corrispondente di (14), per
tenere conto del fatto che stiamo calcolando la speranza rispetto alla probabi-
lit`a condizionata P
i
¦ [ T
0
< ∞¦ per la quale si ha P¦X
n
= N¦ = 0 e quindi,
arrivando in N −1 la catena di Markov deve ritornare in N −2.
Consideriamo dapprima il caso p = q = 1/2. Le soluzioni delle equazioni
w
i
= 1 +
1
2
w
i−1
+
1
2
w
i+1
hanno la forma (soluzioni dell’equazione omogenea associata pi` u una soluzione
particolare (u
i
) dell’equazione non omogenea, linearmente indipendente dalle
soluzioni precedenti dell’equazione omogenea)
w
i
= c
1
+ c
2
i + u
i
.
Si verifica facilmente che una soluzione particolare `e data da u
i
= −i
2
. Con
questa scelta le w
i
qui sopra soddisfano (16) se e solo se w
0
= 0 e w
N−1
=
1+w
N−2
ovvero se e solo se c
1
= 0 e c
2
= 2(N−1). I tempi medi di assorbimento
sono quindi dati da
w
i
= 2(N −1)i −i
2
, i = 1, . . . , N −1.
Consideriamo poi il caso p = q. Si vede subito che una soluzione particolare
della prima equazione (16) `e data da u
i
= i/(q − p) e quindi tutte le soluzioni
sono date da
w
i
= c
1
+ c
2

q
p

i
+
i
q −p
.
37
Le w
i
qui sopra soddisfano (16) se e solo se w
0
= 0 e w
N−1
= 1 +w
N−2
ovvero
se e solo se
c
1
= −c
2
c
2
= −
2
(1 −p/q)
2

q
p

−N
.
I tempi medi di assorbimento sono quindi dati da
w
i
=
i
q −p
+
2
(1 −p/q)
2

q
p

−N

q
p

i−N

, i = 1, . . . , N −1.
ESEMPIO 4.4 I metodi studiati per determinare le probabilit`a di assorbimento
nelle classi ricorrenti, possono essere utilizzati per studiare il comportamento
limite della catena di Markov, quando non sono soddisfatte le ipotesi del Teo-
rema 3.7. Consideriamo la matrice di transizione
P =

¸
¸
¸
1/2 1/2 0 0
1/4 3/4 0 0
1/4 1/4 1/4 1/4
0 0 0 1
¸

,
sullo spazio degli stati ¦0, 1, 2, 3¦. Si pu`o verificare facilmente che ¦0, 1¦ e ¦3¦
sono classi ricorrenti, mentre ¦2¦ `e transiente. Partendo dallo stato 2, il processo
verr`a assorbito in una delle due classi e le probabilit`a di assorbimento nelle
singole classi si ottengono risolvendo un sistema. In particolare, avremo che la
probabilit`a di assorbimento nella classe ¦0, 1¦, si ottiene risolvendo
v =
1
2
+
1
4
v,
cio`e v =
2
3
, Quindi, la probabilit`a di assorbimento nella classe ¦3¦ sar`a pari
a 1 − v = 1/3. Se restringiamo l’attenzione alla classe ricorrente ¦0, 1¦ con
matrice di transizione ottenuta da P, cancellando le ultime due righe e colonne,
otteniamo una nuova matrice di transizione

1/2 1/2
1/4 3/4

irriducibile e aperiodica, per cui `e possibile calcolare la legge limite, che risulta
(1/3, 2/3). Siccome possiamo scrivere
p
(n)
2,0
= P¦X
n
= 0, X
m
∈ ¦0, 1¦, per qualche m ≤ n[X
0
= 2¦,
passando al limite si ha che
lim
n→∞
p
(n)
2,0
=
2
3
1
3
=
2
9
.
Quindi
lim
n→∞
P
(n)
=

¸
¸
¸
1/3 2/3 0 0
1/3 2/3 0 0
2/9 4/9 0 1/3
0 0 0 1
¸

.
38
La stessa tecnica non pu`o essere applicata se le classi ricorrenti non sono
aperiodiche. Infatti, consideriamo il seguente esempio. Data la matrice di tran-
sizione
P =

¸
¸
¸
¸
¸
¸
¸
1/2 1/2 0 0 0 0
1/3 2/3 0 0 0 0
1/3 0 01/3 1/6 1/6
1/6 1/6 1/6 0 1/3 1/6
0 0 0 0 0 1
0 0 0 0 1 0
¸

con spazio degli stati ¦0, 1, 2, 3, 4, 5¦.
Ci sono due classi ricorrenti C
1
= ¦0, 1¦ e C
2
= ¦4, 5¦. La legge limite
per la classe C
1
`e (2/5, 3/5). La classe C
2
`e periodica, quindi p
ij
non converge
per i, j ∈ C
2
. Converge, comunque, il tempo medio ossia lim
n→∞
1
n
¸
n−1
m=0
p
m
ij
=
1/2. Allora, calcolate le probabilit`a di assorbimento nelle classi C
1
e C
2
partendo
dalla classe transiente ¦2, 3¦, si pu`o ottenere
lim
n→∞
1
n
n−1
¸
m=0
P
m
=

¸
¸
¸
¸
¸
¸
¸
2/5 3/5 0 0 0 0
2/5 3/5 0 0 0 0
(8/17)(2/5) (8/17)(3/5) 0 0 (9/17)(1/2) (9/17)(1/2)
(7/17)(2/5) (7/17)(3/5) 0 0 (10/17)(1/2) (10/17)(1/2)
0 0 0 0 1/2 1/2
0 0 0 0 1/2 1/2
¸

.
ESERCIZI
Es 4.1 Data una catena di Markov con insieme degli stati ¦1, 2, 3, 4, 5¦ e matrice
di transizione
P =

¸
¸
¸
¸
¸
1/5 1/5 1/5 1/5 1/5
1/3 1/3 1/3 0 0
0 1/3 1/3 1/3 0
0 0 0 2/3 1/3
0 0 0 1/2 1/2
¸

Determinare quali sono gli stati ricorrenti e gli stati transienti. Calcolare la
probabilit`a di assorbimento degli stati transienti negli stati ricorrenti. Calcolare
la probabilit`a, partendo dallo stato 1, di arrivare nello stato 4 senza passare
dallo stato 3.
Es 4.2 Un pezzo semilavorato entra in una linea produttiva da cui pu`o uscire
difettoso con probabilit`a 0.2 oppure ricuperabile con probabilit`a 0.3 oppure
buono con probabilit`a 0.5. I pezzi difettosi sono scartati, i pezzi buoni vengono
portati in magazzino come pezzi finiti; i pezzi ricuperabili rientrano nella linea
produttiva per essere nuovamente lavorati. Descrivere il processo di lavorazione
mediante una catena di Markov. Sapendo che un pezzo `e ricuperabile, calcolare
la probabilit`a che dopo due processi di lavorazione sia classificabile come buono.
39
Calcolare la probabili`a che alla fine del ciclo produttivo un pezzo recuperabile sia
buono. Calcolare il tempo medio di un ciclo produttivo di un pezzo recuperabile.
Es 4.3 un giocatore muove la pedina tra i vertici (numerati da 1 a 4) e il centro
(0) di un quadrato con la seguente ”strategia”. Ad ogni passo lancia un dado
a 4 facce equilibrato: se la pedina si trova in 0, si muover`a nel vertice con
numero pari al risultato del dado. Se la pedina si trova in un diverso vertice,
questa si sposter`a in 0 se il risultato del lancio `e pari, altrimenti avanzer`a di
una posizione in senso antiorario sul perimetro esterno del circuito. Se la pedina
parte, al tempo iniziale, dal vertice 1, qual ‘’e il tempo medio necessario perch´e
la pedina visiti il vertice 0 per la prima volta? Qual `e la probabilit`a che la
pedina visiti il vertice 0 per la prima volta senza passare mai dal vertice 4?
Es 4.4 Una moneta equilibrata `e lanciata ripetutamente fino a che non si ot-
tengono come risultati due ”teste” consecutive. Indicare con X
n
il numero di
”teste” consecutive ottenute dopo l’n−esimo lancio. Trovare il numero medio
di lanci richiesti.
40
5 Criteri di transienza o ricorrenza
La caratterizzazione degli stati ricorrenti del Teorema 2.11 `e spesso difficilmente
utilizzabile nelle applicazioni. In questo paragrafo dimostreremo due criteri per
classificare gli stati di una catena di Markov irriducibile.
Teorema 5.1 Sia (X
n
)
n≥0
una catena di Markov irriducibile con insieme degli
stati I. Condizione necessaria e sufficiente affinch´e ogni stato sia transiente `e
che esista una famiglia (y
j
)
j∈I
limitata e non costante che soddisfi le equazioni
¸
k∈I
p
jk
y
k
= y
j
, (17)
per tutti gli stati j ∈ I tranne al pi` u uno.
Dimostrazione. Denotiamo con z l’unico stato che eventualmente non
soddisfa la (17). Consideriamo la catena di Markov (
¯
X
n
)
n≥0
con matrice di
transizione
˜ p
ij
=

p
ij
se i = z,
δ
ij
se i = z,
ottenuta dalla (
¯
X
n
)
n≥0
trasformando lo stato z in uno stato assorbente. Co-
minciamo col far vedere che la condizione `e necessaria. La catena di Markov
(X
n
)
n≥0
`e transiente; dunque esiste almeno uno stato i = z per il quale si abbia
f

iz
= P
i
¦T
z
< +∞¦ < 1.
Consiamo allora le probabilit`a di assorbimento in z (˜ v
j
)
j≥0
relative alla catena
di Markov (
¯
X
n
)
n≥0
e poniamo ˜ v
0
= 1. Osserviamo che
˜ v
j
= P
j



n=1
¦
˜
X
n
= z¦

= P
j
¦
˜
X
1
= z¦ +

¸
n=2
P
j
¦
˜
X
n
= z,
˜
X
n−1
= z, . . . ,
˜
X
1
= z¦
= P
j
¦X
1
= z¦ +

¸
n=2
P
j
¦X
n
= z, X
n−1
= z, . . . , X
1
= z¦
= P
j
(∪

n=1
¦X
n
= z¦) = f

jz
< 1
per qualche j = z. Perci`o, grazie al Teorema (4.2), `e verificata l’equazione

¸
k∈I
˜ p
jk
˜ v
k
= ˜ v
j
per ogni j ∈ I ovvero la successione limitata e non costante (˜ v
k
)
k≥0
soddisfa le
equazioni (17).
41
Dimostriamo ora che la condizione `e sufficiente. Una soluzione limitata
(y
k
)
k≥0
delle equazioni (17) soddisfa evidentemente le equazioni

¸
k∈I
˜ p
jk
y
k
= y
j
per ogni stato j. Iterando n volte queste relazioni si trovano le identit`a

¸
k∈I
˜ p
(n)
jk
y
k
= y
j
per ogni stato j e n ≥ 1. Se la catena di Markov (X
n
)
n≥0
fosse ricorrente, si
avrebbe
lim
n→∞
˜ p
(n)
jz
lim
n→∞
P
j
¦
¯
X
n
= z¦ = lim
n→∞
P
j
¦T
z
≤ n¦ = 1
da cui, per ogni j = z,
[y
j
−y
z
[ = lim
n→∞
[y
j
− ˜ p
(n)
jz
y
z
[
= lim
n→∞

¸
k=z
˜ p
(n)
jk
y
k

≤ sup
k=z
[y
k
[ lim
n→∞
¸
k=z
˜ p
(n)
jk
= sup
k=z
[y
k
[ lim
n→∞
(1 − ˜ p
(n)
jz
) = 0.
Ci`o implica che la famiglia (y
k
)
k∈I
`e costante.
Teorema 5.2 Sia (X
n
)
n≥0
una catena di Markov irriducibile con insieme degli
stati N. Condizione sufficiente affinch´e ogni stato sia ricorrente `e che esista una
successione (y
j
)
j≥0
tale che

¸
k=0
p
jk
y
k
≤ y
j
, per ogni j > 0 e lim
k→∞
y
k
= +∞. (18)
Dimostrazione. Utilizzeremo le stesse notazioni della dimostrazione del
Teorema 5.2.
`
E chiaro che, la diseguaglianza

¸
k=0
˜ p
jk
y
k
≤ y
j
(19)
vale per ogni j ≥ 0. Inoltre la successione (y
j
)
j≥0
`e limitata inferiormente
e perci`o, considerando eventualmente una successione della forma (y
j
+ c)
j≥0
42
con c > 0, possiamo supporre che la (y
j
)
j≥0
sia a valori strettamente positivi.
Iterando n volte l’equazione 19 otteniamo le diseguaglianze

¸
k=0
˜ p
(n)
jk
y
k
≤ y
j
per ogni j ≥ 0 ed ogni n ≥ 1. Nella catena di Markov (
¯
X
n
)
n≥0
, lo stato 0 `e
ricorrente e tutti gli altri stati sono transienti poich´e
P
j



n=1
¦
¯
X
n
= j¦

≥ P
j
(∩

n=1
¦X
n
= 0¦) > 0
per ogni j > 0 essendo la catena di Markov irriducibile.
Fissato ε > 0 sia M(ε) un intero tale che y
j
> ε
−1
per ogni j > M(ε). Per
ogni stato i ≥ 0 possiamo scrivere le diseguaglianze
¸
j>0
˜ p
(n)
ij
=
M(ε)
¸
j=1
˜ p
(n)
ij
+
¸
j>M(ε)
˜ p
(n)
ij

M(ε)
¸
j=1
˜ p
(n)
ij
+ ε
¸
j>M(ε)
˜ p
(n)
ij
y
j

M(ε)
¸
j=1
˜ p
(n)
ij
+ εy
i
.
Quindi, passando al limite,
0 ≤ limsup
n→∞
¸
j>0
˜ p
(n)
ij
≤ εy
i
ovvero, data l’arbitrariet`a di ε, la successione (
¸
j>0
˜ p
(n)
ij
)
n≥0
converge verso 0
per ogni (i, j) = (0, 0). Ne segue che
lim
n→∞
˜ p
(n)
i0
= lim
n→∞

¸
1 −
¸
j>0
˜ p
(n)
ij
¸

= 1.
Osservando che
P
i
(∪

k=1
¦X
k
= 0¦) = lim
n→∞
P
i
(∪
n
k=1
¦X
k
= 0¦)
= lim
n→∞
P
i
¦
¯
X
n
= 0¦
= lim
n→∞
˜ p
(n)
i0
= 1
per ogni i > 0, troviamo l’eguaglianza
P
0
(∪

k=1
¦X
k
= 0¦) = p
00
+
¸
j>0
p
0j
P
j
(∪

k=1
¦X
k
= 0¦)
43
= p
00
+
¸
j>0
p
0j
= 1
che implica che 0 `e ricorrente per la catena di Markov (X
n
)
n≥0
. Ci`o conclude
la dimostrazione.
ESEMPIO 5.1 Consideriamo la catena di Markov dell’Esempio 1.6. Nell’Esempio
2.4 abbiamo verificato che, sotto le condizioni
0 < a
0
< 1, 0 < a
0
+ a
1
< 1
la catena di Markov `e irriducibile. Supponiamo quindi che queste condizioni
siano verificate e denotiamo
λ =

¸
k=1
ka
k
il numero medio di clienti che arrivano in una unit`a di tempo. Utilizzando i
Teoremi 5.1 e 5.2 possiamo dimostrare che la catena di Markov `e:
a) transiente se λ > 1,
b) ricorrente se 0 < λ ≤ 1.
Per verificare l’affermazione a) cerchiamo una soluzione limitata e non costante
delle equazioni (5.1) della forma y
j
= ξ
j
con ξ ∈]0, 1[. La successione (ξ
j
)
j≥0
soddisfa le (5.1) se e solo se

¸
k=j−1
a
k−j+1
ξ
k
= ξ
j
, per ogni j > 0
ovvero

¸
k=0
a
k
ξ
k
= ξ.
La funzione
f : [0, 1] → [0, 1], f(ξ) =

¸
k=0
a
k
ξ
k
.
ha soddisfa le condizioni f(0) = a
0
> 0, f(1) = 1 e, grazie al Lemma di Abel,
lim
η→1

f

(η) = λ.
Pertanto, se λ > 1, esiste un numero reale ξ
0
∈]0, 1[ tale che f(ξ
0
) = ξ
0
. La
successione (ξ
j
0
)
j≥0
`e quindi una soluzione limitata non costante delle equazioni
5.2.
Per verificare l’affermazione b) basta verificare che la successione (j)
j≥0
sod-
disfa le 18. Per ogni j > 0 si ha infatti

¸
k=0
p
jk
y
k
=

¸
k=j−1
a
k−j+1
k
44
=

¸
k=0
a
k
(k + j −1)
=

¸
k=0
ka
k
+ (j −1)

¸
k=0
a
k
= j + λ −1 ≤ j.
Si pu`o dimostrare inoltre (ma `e piuttosto laborioso) che gli stati sono ricorrenti
positivi se m < 1 e ricorrenti nulli se m = 1.
ESEMPIO 5.2 Passeggiata casuale su N (vedi Esempio 1.4).
45
6 Convergenza verso la legge invariante
Mostreremo ora come si pu`o ottenere semplicemente una stima della velocit`a di
convergenza verso la legge invariante. Cominciamo introducendo una distanza
tra le leggi di probabilit`a su I nel modo seguente
|µ −ν| =
¸
k∈I

k
−ν
k
[.
Si dimostra facilmente che l’insieme delle leggi su I munito di questa distanza `e
uno spazio metrico completo. Osserviamo inoltre che ogni matrice di transizione
P agisce come una contrazione sulle leggi su I. Si ha infatti
|µP −νP| =
¸
j∈I

¸
k∈I

k
−ν
k
)p
kj


¸
k∈I

¸

k
−ν
k
[
¸
j∈I
p
kj
¸

= |µ −ν| .
Teorema 6.1 Se esiste un intero k ≥ 1 per il quale il numero reale c ∈ [0, 1]
c =
¸
j∈I

inf
i∈I
p
(k)
ij

sia strettamente positivo allora la catena di Markov ha un’unica legge invariante
π e, per ogni legge µ su I ed ogni intero n ≥ 1 vale la diseguaglianza
|µP
n
−π| ≤ (1 −c)
[n/k]
|µ −π| . (20)
Dimostrazione. Consideriamo la matrice di transizione Q = (q
ij
)
i,j∈I
cos`ı definita
q
ij
= c
−1
inf
l∈I
p
(k)
lj
.
Si tratta evidentemente di una matrice stocastica per come `e definito il numero
reale c. Inoltre si ha p
(k)
ij
≥ cq
ij
per ogni coppia di stati i, j e
¸
j∈I
(p
(k)
ij
−cq
ij
) =
¸
j∈I
p
(k)
ij
−c
¸
j∈I
q
ij
= 1 −c.
Dunque la matrice R = (1−c)
−1
(P
k
−cQ) `e una matrice stocastica e la matrice
P
k
si pu`o scrivere nella forma
P
k
= cQ + (1 −c)R.
Per ogni coppia µ, ν di leggi su I le leggi µQ, νQ coincidono e si trova subito
la diseguaglianza

µP
k
−νP
k

= (1 −c) |µR −νR| ≤ (1 −c) |µ −ν| .
46
Ne segue che l’applicazione µ → µP
k
`e una contrazione stretta nello spazio
metrico completo delle leggi su I e quindi possiede un unico punto fisso π.
Dalla relazione π = πP
k
si ottiene subito πP = (πP)P
k
; dunque anche la legge
πP `e un punto fisso per µ → µP
k
e, pertanto, coincide con π. Ci`o dimostra
che π `e l’unica legge invariante. Infine, dimostrare la diseguaglianza 20, basta
osservare che, per ogni intero n ≥ 1, si ha

µP
nk
−π

≤ (1 −c)
n
|µ −π|
e, posto d
n
= |µP
n
−π|, la successione (d
n
)
n≥0
`e non crescente. Quindi, se
m = [n/k], si ha mk ≤ n e d
n
≤ d
mk
≤ (1 −c)
m
|µ −π|.
ESEMPIO 6.1 Applicazione al problema del collezionista di figurine dell’Esempio
4.2. Osservare che, per k = N, si ha c = N!/N
N
.
47
7 Algoritmo di Metropolis
In questo capitolo studieremo un algoritmo, noto come algoritmo di Metropo-
lis, per la ricerca dei punti di minimo assoluto di una funzione
V : ¦1, 2, . . . , N¦ →]0, +∞[,
utilizzando la modellizzazione fornita dalla teoria sulle catene di Markov. Tale
algoritmo `e particolarmente efficace quando N `e molto grande, quindi, l’algoritmo
banale consistente nel calcolo e confronto dei valori assunti dalla funzione V `e
troppo costoso in termini di tempo.
Questo problema ha una classica applicazione nella risoluzione del cosiddetto
”problema del commesso viaggiatore”. Il commesso deve visitare N citt`a in N
giorni, rimanendo un giorno in ognuna e si chiede in che ordine le deve visitare
in modo da minimizzare il costo dei viaggi. Se le citt`a in questione sono ad
esempio i capoluoghi di provincia italiani, allora N = 102 e i possibili itinerari
sono N!, che `e un numero dell’ordine di 10
162
.
In particolare, l’algoritmo di Metropolis cerca i punti di minimo assoluto
seguendo l’evoluzione di una opportuna catena di Markov, in generale non omo-
genea, con insieme degli stati I = ¦1, 2, . . . , N¦ che, ad ogni istante, ha proba-
bilit`a maggiore di entrare negli stati nella quale V ha valore pi´ u piccolo e, col
passare del tempo la probabilt`a di entrare negli stati in cui V ha valore grande `e
sempre pi´ u piccola. In questo modo la catena di Markov dovrebbe ”convergere”
ai punti di minimo assoluto non arrestandosi nei punti di minimo relativo.
Lo stesso algoritmo si pu`o utilizzare per simulare la scelta di uno stato i ∈ I,
con un’assegnata distribuzione π. Infatti i ”classici ”metodi di simulazione sono
inutilizzabili se la cardinalit`a di I `e molto grande. Stesse tecniche, si stanno
utilizzando nella teoria dei problemi inversi di ricostruzione di immagini per
calcolare il valore medio di una variabile aleatoria e quindi per approssimare il
calcolo di integrali.
L’idea `e la seguente: supponiamo di poter costruire una catena di Markov
(X
n
)
n∈N
irriducibile e aperiodica, con un’unica legge limite π. Se noi simuliamo
l’evoluzione della catena, per il Teorema 3.3, la legge di X
n
al tempo n, quando
n → +∞, converger`a a π, indipendentemente dalla legge iniziale scelta.
Prima di enunciare la proposizione principale di questo capitolo, conside-
riamo una matrice stocastica simmetrica e irriducibile Q = (q
ij
)
i,j∈I
e π una
legge di probabilit`a su I, tale che π
j
> 0, per ogni j ∈ I. Poniamo
p
ij
=

q
ij
se π
j
≥ π
i
,
q
ij
πj
πi
se π
j
< π
i
,
1 −
¸
j=i
p
ij
se i = j.
(21)
Proposizione 7.1 Sia π una distribuzione di probabilit`a non uniforme. La
catena di Markov associata alla matrice di transizione P, definita da (21), ha
π come unica legge invariante.
48
Dimostrazione. Si dimostra facilmente che P = (p
ij
)
i,j∈I
`e ancora una
matrice stocastica. Inoltre, si ha che
π
i
p
ij
= π
j
p
ji
,
cio`e π `e reversibile per P (vedi Esercizio 3.4), quindi π `e una legge invariante
per P. infatti
(πP)
j
=
¸
i
π
i
p
ij
=
¸
i
π
j
p
ji
= π
j
.
Si osserva anche che P `e una matrice irriducibile. Infatti, se gli stati i, j ∈ I,
i = j, sono tali che q
ij
> 0, allora, per definizione p
ij
> 0. Quindi l’irriducibilit`a
di P segue dalla scelta di Q. Inoltre, se i → π
i
non `e costante, allora P `e
aperiodica. Infatti, consideriamo l’insieme M = ¦i ∈ I : π
i
= max
j∈I
π
j
¦.
Siccome Q `e irriducibile esistono i
0
∈ M e j
0
∈ M
c
, tali che q
i0j0
> 0. Inoltre si
ha che π
i0
> π
j0
per definizione di M. Quindi, sapendo che p
ij
≤ q
ij
. se i = j,
si ottiene che
p
i0i0
= 1 −
¸
j=i0
p
i0j
= 1 −
¸
j=i0,j0
p
i0j
−p
i0j0
≥ 1 −
¸
j=i0,j0
q
i0j
−q
i0j0
π
j0
π
i0
≥ q
i0i0
+ q
i0j0

1 −
π
j0
π
i0

≥ q
i0j0

1 −
π
j0
π
i0

> 0.
Abbiamo quindi dimostrato che, se π non `e uniforme, `e possibile costruire
una catena di Markov, associata a una matrice di transizione P (costruita a
partire da una qualunque matrice simmetrica e irriducibile Q) irriducibile e
aperiodica, tale che ammetta π come legge limite.
Il metodo per simulare la catena di Markov associata alla matrice P si chiama
algoritmo di Metropolis. Vediamo alcune applicazioni.
ESEMPIO 7.1 Supponiamo, ad esempio, di voler simulare la scelta di un nu-
mero i ∈ E a caso con una legge assegnata π. Come abbiamo gi`a osservato,
i metodi ”classici” di generazione di numeri casuali spesso sono inapplicabili
se la cardinalit`a di E `e molto elevata. Possiamo, per`o costruire una variabile
aleatoria con legge approssimativamente uguale a π. A partire da una matrice
simmetrica e irriducibile Q, si costruisce P, data da (21) e si simula la catena di
49
Markov (X
n
)
n
associata. Questo significa che se X
n
= i `e sufficiente scegliere
a caso j con legge q
ij
dopo di che se π
j
≥ π
i
si pone X
n+1
= j, altrimenti si
pone X
n+1
= j con probabilit`a
πj
πi
, mentre con probabilit`a 1 −
πj
πi
si rifiuta la
transizione e si lascia X
n+1
= i.
Ritorniamo ora al problema del commesso viaggiatore e, in generale, alla
ricerca dei punti di minimo assoluto di una funzione V . Consideriamo, per ogni
ε > 0, la legge su ¦0, . . . , N¦ non uniforme π
ε
data da
π
ε
i
=
e
−V (i)/ε
Z
ε
,
con Z
ε
costante di normalizzazione. Scelta una matrice simmetrica e irriducibile
Q, si pu`o costruire a partire da (21) una matrice di transizione P(ε).
`
E chiaro
che per calcolare la matrice P(ε), in generale, dovremmo calcolare il valore della
funzione V per tutti gli interi i ∈ ¦0, . . . , N¦ e quindi non avremmo aggirato
l’ostacolo iniziale se non scegliessimo una matrice Q con molti elementi nulli.
Ad esempio possiamo scegliere
Q =

¸
¸
¸
¸
¸
¸
¸
2
3
1
3
0 0 . . . 0 0 0
1
3
1
3
1
3
0 . . . 0 0 0
0
1
3
1
3
1
3
. . . 0 0 0
. . . . . . . . . . . . . . . . . . . . . . . .
0 0 0 0 . . .
1
3
1
3
1
3
0 0 0 0 . . . 0
1
3
2
3
¸

.
In questo caso per determinare la probabilit`a di transizione (P(ε))
ij
con i fissato
occorre calcolare i valori di V in al pi´ u due punti. A questo punto si pu`o
procedere con la simulazione della catena di Markov associata alla matrice P(ε),
come nell’esempio precedente.
Osserviamo che se ε `e piccolo, la distribuzione π
ε
si concentra su quegli stati
su cui V `e piccola, Si pu`o anzi dimostrare che se i
1
, . . . , i
k
sono punti di minimo
assoluto per V , allora per ε → 0, π
ε
converge alla distribuzione uniforme su
i
1
, . . . , i
k
.
Si pu`o anche dimostrare che prendendo una successione (ε
n
)
n≥0
convergente
verso 0 abbastanza lentamente, la catena di Markov non omogenea (X
n
)
n≥0
che ha P(ε
n
) come matrice di transizione al tempo n converge in legge verso la
legge uniforme sui punti di minimo assoluto di V . La dimostrazione `e piuttosto
tecnica e sar`a omessa. Questa procedura, in cui si fa variare il valore di ε
viene chiamata simulated annealing ed `e un’utile tecnica per certi problemi
di ottimizzazione.
50
8 Catene di Markov a tempo continuo
Una catena di Markov a tempo continuo (X(t))
t∈I
, dove I `e un inter-
vallo della retta reale, `e un sistema a stati discreti E e tempo continuo in cui
l’evoluzione della variabile di stato X(t) `e caratterizzata dalla propriet`a marko-
viana
P¦X(t
k+1
) = x
k+1
[X(t
k
) = x
k
, . . . , X(t
0
) = x
0
¦ = P¦X(t
k+1
) = x
k+1
[X(t
k
) = x
k
¦,
per ogni scelta di t
0
, t
1
, . . . , t
k+1
tale che t
0
≤ t
1
≤ ≤< t
k+1
. Tale definizione
estende in maniera naturale la (1) nel caso continuo. In particolare, si ha che
X(t) condensa tutta l’informazione passata (per τ ≤ t) ai fini della valutazione
probabilistica dell’evoluzione della catena di Markov a tempo continuo per τ > t.
Come nel caso discreto, l’evoluzione di una catena di Markov a tempo con-
tinuo `e governata dalle funzioni di transizione
p
ij
(s, t) = P¦X(t) = j[X(s) = i¦,
per ogni i, j appartenente all’insieme degli stati E e s ≤ t. Una volta fissati
s e t, p
ij
(s, t) si pu`o ancora vedere come elemento di una matrice stocastica.
Infatti, dal teorema della probabilit`a totale, si ha che, per s ≤ τ ≤ t
p
ij
(s, t) =
¸
r∈E
p
ir
(s, τ)p
rj
(τ, t), (22)
che `e l’equivalente dell’equazione di Chapman–Kolmogorov nella sua versione a
tempo continuo. Utilizzando la notazione matriciale P(s, t) = (p
ij
(s, t))
i,j∈E
,
risulter`a P(s, s) = I e
¸
j∈E
p
ij
(s, t) = 1. Inoltre l’identit`a (22) pu`o essere
scritta come
P(s, t) = P(s, τ)P(τ, t), (23)
per s ≤ τ ≤ t. Anche nel caso continuo, si definisce la classe delle catene di
Markov omogenee, ovvero catene di Markov a tempo continuo dipendenti da
s e t esclusivamente attraverso la differenza τ = t − s. In particolare si avr`a
che P(s, s + τ) `e indipendente da s. Con un abuso di linguaggio, indichiamo
P(s, s + τ) = P(τ). In questo caso l’identit`a (23), diventa
P(t + h) = P(t)P(h). (24)
Nel seguito tratteremo solo catene di Markov a tempo continuo omogenee.
Se assumiamo in aggiunta che
lim
t→0
+
P(t) = I,
dalla (24) e si ricava facilmente che P(t) `e continua non solo in 0, ma per ogni
t > 0. Infatti, si ha che
lim
h→0
+
P(t + h) = lim
h→0
+
P(t)P(h) = P(t).
51
Inoltre, per t > 0 e 0 < h < t, (24) diventa
P(t) = P(t −h)P(h).
Siccome P(h) → I, quando h → 0, P(h)
−1
esiste per h sufficientemente piccolo
e h → 0
+
P(h)
−1
= I, allora
P(t) = P(t) lim
h→0
+
P(h)
−1
= lim
h→0
+
P(t −h),
da cui segue la continuit`a di P(t).
In realt`a, si pu`o dimostrare che P(t) non `e solo continua, ma anche differen-
ziabile. Infatti
P(t + h) −P(t) = P(t)(P(h) −I),
per t, h > 0. Dividendo per h e passando al limite per h → 0,si ha
lim
h→0
P(t + h) −P(t)
h
= P(t) lim
h→0
P(h) −I
δt
.
Indichiamo con Q la matrice
Q = lim
h→0
P(h) −I
δt
,
detta matrice dei rate di transizione o generatore infinitesimale. Si
dimostra che q
ij
esistono (vedi [4]): in generale q
ii
possono assumere valore
infinito, mentre q
ij
, con i = j sono sempre finiti. Nel caso di catene di Markov
a stati finiti, si ha che 0 ≥ −q
ii
< +∞.
Si ottiene cos´ı
d
dt
P(t) = P(t)Q,
o analogamente
d
dt
P(t) = QP(t). (25)
Imponendo le condizioni iniziali P(0) = I, si ottiene che P(t) = e
Qt
, nel senso
che
P(t) = I + Qt +
Q
2
2!
t
2
+ . . . ,
il che spiega in parte il nome della matrice Q.
Per una Catena di Markov a tempo continuo non omogenea, il generatore
infinitesimale dipender`a da t.
Un processo stocastico particolarmente importante, che rientra nella classe
delle catene di Markov a tempo continuo `e il processo di Poisson. Lo intro-
duciamo mediante un esempio.
ESEMPIO 8.1 Indichiamo con X
n
la durata di certi ”pezzi” di un sistema che
vengono sostituiti non appena si guastano. Possiamo supporre che (X
n
)
n≥1
sia una successione di variabili aleatorie indipendenti con legge esponenziale di
52
parametro λ, con λ > 0. Posto T
n
= X
1
+ +X
n
il tempo di vita del sistema
dopo il cambio di n pezzi. Per ogni numero reale t ≥ 0 definiamo N
t
a valori in
N ∪ ¦+∞¦
N
t
=
¸
n≥1
1
{Tn≤t}
La variabile aleatoria N
t
rappresenta quindi il numero di guasti nel tempo [0, t].
`
E abbastanza semplice provare che N
t
ha legge di Poisson di parametro λt per
ogni t > 0. In particolare P¦N
t
= +∞¦ = 0. Inoltre il processo (N
t
)
t≥0
ha
incrementi indipendenti, ovvero per ogni intero n ≥ 1 e per ogni 0 < t
1
< . . . <
t
n
le variabili aleatorie N
t1
, N
t2
− N
t1
, . . . , N
tn
− N
tn−1
sono indipendenti. La
famiglia di variabili aleatorie (N
t
)
t≥0
cos´ı costruita `e una versione del processo
di Poisson.
In generale si ha che
Definizione 8.1 Si chiama processo di Poisson di parametro λ > 0 una
famiglia (N
t
)
t≥0
di variabili aleatorie su uno spazio probabilizzato (Ω, T, P) tali
che
1. per ogni ω ∈ Ω la traiettoria ω → N
t
(ω) `e regolare;
2. per ogni intero n ≥ 1 e per ogni 0 < t
1
< . . . < t
n
le variabili aleatorie
N
t1
, N
t2
−N
t1
, . . . , N
tn
−N
tn−1
sono indipendenti e hanno legge di Poisson
con parametri rispettivamente λt
1
, λ(t
2
−t
1
), . . . , λ(t
n
−t
n−1
).
A questo punto, `e possibile fornire un’interpretazione fisica dei coeffici-
enti della matrice Q = (q
ij
)
i,j∈E
. Consideriamo l’equazione scalare relativa
all’equazione differenziale (25) nel caso i = j, si ottiene

∂t
p
ii
(t)[
t=0
= q
ii
,
che pu`o essere riscritta come
−q
ii
=

∂t
(1 −p
ii
(t))[
t=0
.
Siccome 1 − p
ii
(t) rappresenta la probabilit`a che la catena di Markov lasci lo
stato i in un intervallo di lunghezza t, si ottiene che −q
ii
pu`o essere interpretato
come la frequenza con cui si verifica la transizione ”uscita dallo stato i”. In
maniera analoga il parametro q
ij
, con i = j, pu`o essere interpretato come la
frequenza con cui si verifica la transizione ”passaggio dallo stato i allo stato j”.
Inoltre, siccome P `e una matrice di transizione si ottiene la seguente relazione
tra gli elementi della matrice Q
−q
ii
=
¸
j=i
q
ij
.
Questa relazione andrebbe giustificata con opportune ipotesi nel caso di catene
di Markov a stati infiniti.
53
ESEMPIO 8.2 Nel caso particolare del processo di Poisson N
t
descritto nell’esem-
pio precedente, si vede facilmente che p
ii
(t) = e
λt
, da cui segue che −q
ii
= λ,
che conferma l’interpretazione fisica data per q
ii
. Infatti
P¦N
t+h
> i[N
t
= i¦ = 1 −e
−λh
,
per ogni h > 0 e i ∈ E, da cui si ottiene che
d
dh
P¦N
t+h
> i[N
t
= i¦
|
h=0
= λ.
La matrice Q gioca un ruolo fondamentale nell’analisi di transitorio e a
regime di una catena di Markov a tempo continuo omogenea. Infatti, in modo
analogo a quanto visto per le catene di Markov a tempo discreto, si possono
definire le leggi delle singole variabili aleatorie X(t), come
π
j
(t) = P¦X(t) = j¦,
tali che, per il teorema della probabilit`a totale, devono soddisfare la relazione
matriciale
π(t) = π(0)P(t) = π(0)e
Qt
.
Differenziando rispetto a t, diventa
d
dt
π(t) = π(t)Q (26)
Nell’analisi a regime delle catene di Markov a tempo continuo omogenee, ci si
chiede se i limiti lim
t→+∞
π
j
(t) esistono e se risultano indipendenti dalla legge
iniziale di X(0). Al tal scopo, esiste un risultato importante che estende al caso
continuo il Teorema 3.3.
Teorema 8.2 In una catena di Markov a tempo continuo (X(t))
t≤0
irriducibile
con spazio degli stati finiti, esiste un’unica distribuzione limite π = lim
t→+∞
π(t),
tale che π
j
> 0, per ogni j ∈ E. Tale legge risulta indipendente da π(0). Infine,
il vettore π si determina in maniera univoca risolvendo il sistema di equazioni
πQ = 0,
¸
j∈E
π
j
= 1.
ESEMPIO 8.3 Si consideri un sistema produttivo costituito da un’unica ma-
cchina che lavora un pezzo per volta e ha un tempo di lavorazione con legge
esponenziale di parametro λ
1
.
`
E previsto un tempo di setup tra due lavorazioni
successive con legge esponenziale di parametro λ
2
. La macchina non `e soggetta
a usura, quindi il tempo fra due guasti ha legge esponenziale di parametro λ
3
.
Infine, supponiamo che la macchina guasta venga subito riparata e il tempo di
riparazione ha ancora una densit`a esponenziale di parametro λ
4
.
54
Possiamo schematizzare gli stati del sistema con l’insieme ¦0, 1, 2¦, dove 0:
fase di setup, 1: in lavorazione, 2: in riparazione. Il sistema `e gestito in modo
tale che la macchina riparata pu`o riprendere la lavorazione del pezzo che stava
lavorando prima del guasto. In questo caso la matrice Q diventa

¸
−λ
2
−λ
2
0
λ
1
−(λ
1
+ λ
3
) λ
3
0 λ
4
−λ
4
¸

`
E facile vedere che la catena di Markov `e irriducibile con spazio degli stati finiti
e, quindi, tutti i suoi stati sono ricorrenti positivi.
`
E possibile trovare la legge
limite π, risolvendo il sistema πQ = 0.
Contrariamente potremmo considerare il caso in cui la macchina riprenda la
lavorazione sempre da un pezzo nuovo. In questo caso il generatore infinitesimale
Q

diventa

¸
−λ
2
−λ
2
0
λ
1
−(λ
1
+ λ
3
) λ
3
λ
4
0 −λ
4
¸

.
Risolvendo il sistema π

Q

= 0 si ottiene che π

0
> π
0
, π

1
< π
1
e π

2
< π
2
e
questo porta a concludere che la prima politica sembra essere migliore rispetto
alla seconda.
Diamo ora un esempio significativo di catene di Markov a tempo continuo
con spazio degli stati infinito.
ESEMPIO 8.4 Processi di nascita e morte. I processi di nascita e morte pos-
sono essere considerati come l’estensione al caso continuo delle passeggiate
aleatorie. Tali processi sono importanti perch´e modellizzano molti fenomeni
in varie discipline. Consideriamo (X(t))
t≥0
una catena di Markov omogenea a
tempo continuo con insieme degli stati N, tale che
(1) p
i,i+1
(h) = λ
i
h + o(h), i ≥ 0,
(2) p
i,i−1
(h) = µ
i
h + o(h), i ≥ 1,
(3) p
i,i
(h) = 1 −(λ
i
+ µ
i
)h + o(h), i ≥ 0,
(4) p
i,j
(0) = δ
ij
,
(5) µ
0
= 0, λ
0
> 0, µ
i
, λ
i
> 0, i ≥ 1,
con o(h) un funzione infinitesima per h ↓ 0, eventualmente dipendente da i. In
questo caso valgono le ipotesi per determinare il generatore infinitesimale Q,
che risulta essere la matrice

¸
¸
¸
¸
¸
−λ
0
λ
0
0 0
µ
1
−(µ
1
+ λ
1
) λ
1
0
0 µ
2
−(µ
2
+ λ
2
) λ
2

0 0 µ
3
−(µ
3
+ λ
3
)

¸

55
ESERCIZI
Es 8.1 Lungo un cavo sottomarino compaiono dei difetti, modelizzabili tramite
un processo di Poisson di parametro 0.1. Indichiamo con X
n
il numero di difetti
entro ennesimo miglio di cavo. Qual `e la probabilit`a che nessun difetto compaia
nelle prime due miglia di cavo? Sapendo che non si sono riscontrati difetti nelle
prime due miglia, qual `e la probabilit`a di non aver difetti tra il secondo e il terzo
miglio?
Es 8.2 Supponiamo che la posizione in un’azienda possa essere occupata da
un lavoratore per ognuno dei tre livelli: principiante, junior, senior. Sia X(t)
il livello della persona nella posizione al tempo t e assumiamo che X(t) evolva
come una catena di Markov con matrice infinitesimale
Q =

¸
−10 10 0
2 −5 3
1 0 −1
¸

.
Calcolare la probabilit`a che alla fine della carriera, un lavoratore raggiunga il
livello senior.
56
9 Applicazioni: le catene di Markov in genetica
La teoria delle catene di Markov pu`o essere utilizzata per simulare l’andamento
della frequenza genica sotto l’influenza delle mutazioni e della selezione. Il primo
ad utilizzare questo modello fu S. Wright negli anni Sessanta.
Inizialmente, descriviamo il modello di riproduzione casuale nel caso pi` u
semplice in cui viene trascurato l’intervento delle mutazioni e delle selezioni.
Supponiamo di lavorare con una popolazione fissa di 2N geni, suddivisa in geni
di topo a e A. Assumiamo inoltre che la composizione di una nuova generazione
sia determinata come da 2N estrazioni indipendenti e con reiserimento, ossia
ogni nuovo individuo generato da una popolazione costituita da i a−geni e
(2N −i) A−geni, avr`a probabilit`a di essere di tipo a (risp. A)
p
i
=
i
2N
,
(risp. q
i
=
2N−i
2N
,) indipendentemente uno dall’altro. Inoltre selezioni ripetute
sono fatte con reinserimento. Con questa procedure si definisce una catena di
Markov (X
n
)
n≥0
, dove indichiamo con X
n
il numero di a−geni nell’ennesima
generazione fra una popolazione costante di 2N elementi. Lo spazio degli stati
contiene, quindi, 2N + 1 valori. La probabilit`a di transizione sar`a
P¦X
n+1
= j[X
n
= i¦ =

2N
j

p
j
i
q
2N−j
i
. (27)
Si pu`o osservare che gli stati ¦0¦ e ¦2N¦ sono completamente assorbenti, cio`e
una volta che X
n
= 0 (risp. = 2N), allora X
n+h
= 0 (risp. = 2N), per ogni
h ∈ N.
Un problema interessante `e determinare la probabilit`a che, partendo da una
popolazione con i a−tipi, con i = 0, 2N, si arrivi a una popolazione pura, ovvero
formata solo da a−tipi o A−tipi. In particolare, questo coincide con il calcolo
della probabilit`a di assorbimento da un qualsiasi stato transiente i nella classe
degli stati riccorrenti ¦0, 2N¦.
Un modello pi` u realistico tiene ovviamente conto anche dei fattori muto-
geni. Assumiamo che, prima della formazione di una nuova generazione, ogni
gene possa cambiare nell’altro tipo. In particolare, assumiamo che a → A con
probabilit`a α e A → a con probabilit`a β. Ipotizziamo ancora che la nuova
generazione sia formata da 2N individui, ottenuti da ”estrazioni” indipendenti
e con reinserimento. Definito p
i
come nel caso precedente, possiamo assumere
che
p
i
=
i
2N
(1 −α) +
2N −i
2N
β,
q
i
= 1 −p
i
. (28)
La motivazione di questa scelta dipende dal fatto che, una volta avvenuta la
mutazione (prima della nuova generazione) il numero medio di a−tipi `e i(1−α)+
57
(2N−i)β. Siccome la probabilit`a (mediata rispetto a tutte le possibili variazioni)
`e
1
2N
per il numero medio di a−tipi presenti, questo porta alla formula trovata.
Le probabilit`a di transizione associate alla nuova catena di Markov, sono definite
come in (27), a partire dai valori p
i
e q
i
dati in (28).
Se α e β sono positivi, allora ogni stato risulta essere ricorrente e non si pu`o
concludere, come nel caso precedente, che una volta raggiunti gli stati ¦0¦ o
¦2N¦, la popolazione continui a rimanere pura. Nonostante questo, `e possibile
calcolare la legge limite, tale distribuzione `e detta distribuzione stazionaria della
frequenza genica.
Aggiungiamo ora, l’influenza delle forze selettive a favore, o contrarie, a
un gene. Supponiamo che il gene di tipo a sia avantaggiato, in modo che il
numero di discendenti attesi sia (1 + s)-volte quello previsto per il tipo A, con
s piccolo e positivo. In questo caso si sostituiscono ai valori di p
j
e q
j
calcolati
precedentemente con
p
j
=
(1 + s)j
2N + sj
,
q
j
= 1 −p
j
e si costruisce la nuova generazione utilizzando un campionamento binomiale
come nel caso precedente. Infatti, se si considera inizialmente una popolazione
formata da j a − geni, allora nella generazione successiva il numero medio di
a−geni e A−geni sar`a rispettivamente
2N
(1 + s)j
2N + sj
, 2N
2N −j
2N + sj
.
Confrontando i due valori ottenuti, si ottiene che il rapporto fra il numero medio
di a−geni e A−tipi nella (n + 1)−generazione `e
(1 + s)j
2N + sj
=

1 + s
1

numero di a −geni nell’n−esina generazione
numero di A−geni nell’n−esina generazione
,
e questo riassume il significato di selezione.
58
10 Applicazioni: lotto economico d’acquisto
Mostreremo ora un’applicazione dei processi puntuali alla determinazione del
lotto economico d’acquisto. Il problema consiste nell’ottimizzare la gestione
delle scorte di un’azienda acquista un certo prodotto in lotti di una certa quan-
tit`a e lo rivende per unit`a.
Per descrivere il modello supponiamo che:
1. i tempi X
n
trascorsi tra la (n−1)-esima ed n-esima vendita sono variabili
aleatorie con la stessa speranza m,
2. il costo di ordinazione K `e indipendente dalla quantit`a di merce ordinata,
3. il costo di stoccaggio per unit`a di merce per unit`a di tempo `e c.
Supporremo inoltre che l’azienda si rifornisca con S unit`a di prodotto non ap-
pena il magazzino sia vuoto.
Nelle ipotesi fatte le variabili aleatorie
T
n
= X
1
+ + X
n
e N
t
=
¸
n≥1
1
{ Tn≤t }
sono rispettivamente il tempo necessario per vendere n unit`a e il numero di
pezzi venduti fino al tempo t.
Il costo di stoccaggio di una quantit`a S `e quindi
c


0
(S −N
t
)
+
dt.
Il costo medio di stoccaggio `e perci`o
cE
¸

0
(S −N
t
)
+
dt

= c


0
S
¸
k=1
P¦ S −N
t
≥ k ¦ dt
= c


0
S
¸
k=1
P¦ N
t
≤ S −k ¦ dt
= c


0
S
¸
k=1
P¦ N
t
< S + 1 −k ¦ dt
= c


0
S
¸
h=1
P¦ N
t
< h¦ dt
Osservando che ¦ N
t
< h¦ = ¦ T
h
> t ¦ troviamo la seguente formula per il
costo medio di stoccaggio
cE
¸

0
(S −N
t
)
+
dt

= c
S
¸
h=1


0
P¦ T
h
> t ¦ dt
59
= c
S
¸
h=1
E[T
h
]
= c
S
¸
h=1
mh
= cmS(S + 1)/2.
Il costo totale di un lotto, ovvero la somma del costo di ordinazione e di stoccag-
gio, `e quindi
K +
cmS(S + 1)
2
e il costo totale medio per unit`a di merce `e
K
S
+
cm(S + 1)
2
.
Minimizzando (rispetto a S) questa funzione troviamo che la quantit`a di merce
da acquistare per ottimizzare i costi di ordinazione e stoccaggio `e
S =

2K
cm
.
60
References
[1] P. Baldi Calcolo delle Probabilit`a e Statistica. McGraw–Hill, Milano 1992.
[2] W. Feller An Introduction to Probability Theory and its Applications.
[3] S. Karlin, H. Taylor A First Course in Stochastic Processes. Academic
Press, New-York 1972.
[4] S. Karlin, H. Taylor A Second Course in Stochastic Processes. Academic
Press, New-York 1975.
[5] N. Pintacuda, Catene di Markov, ETS Editrice, 2000.
[6] Norris
[7] Nummelin, E. (1984). General irreducible Markov chains and non-negative
operators. Cambridge Tracts in Mathematics, 83. Cambridge University
Press, Cambridge.
[8] W. Woess Catene di Markov e teoria del potenziale nel discreto. Quaderni
dell’Unione Matematica Italiana n.41, Pitagora Editrice, Bologna, 1996.
61

1

Definizione e prime propriet` a

Sia (Ω, F, P) uno spazio probabilizzato e I un insieme finito o numerabile che sar` sempre considerato. Si consideri una successione di variabili aleatorie X = a (Xn )n≥0 su (Ω, F, P) a valori in I. Definizione 1.1 La successione X di variabili aleatorie (Xn )n≥0 su (Ω, F, P) a valori in I ` una catena di Markov con insieme degli stati I se, per ogni e intero n, per ogni i0 , . . . , in , j ∈ I, con P{ Xn = in , . . . , X0 = i0 } > 0 si ha P {Xn+1 = j | Xn = in , . . . , X0 = i0 } = P {Xn+1 = j | Xn = i} (1)

La catena di Markov si dice omogenea se i due membri di (1) sono indipendenti da n. I numeri reali positivi pij dati da   P{Xn+1 = j | Xn = i} 1 pij =  0

se P{Xn = i} = 0, se P{Xn = i} = 0 e i = j, se P{Xn = i} = 0 e i = j,

si chiamano probabilit` di transizione della catena di Markov omogenea X. a La catena di Markov X si chiama omogenea poich´ le probabilit` di transizione e a (1) sono indipendenti da n. Nel seguito considereremo sempre catene di Markov omogenee perci` ometteremo spesso l’aggettivo. Inoltre, quando scriveremo o una probabilit` condizionata, supporremo sempre, implicitamente, che l’evento a condizionante sia non trascurabile. La famiglia di numeri reali positivi (pij )i,j∈I si chiama matrice di transizione della catena di Markov X ed ha le propriet` seguenti: a (1) (2) pij ≥ 0
j∈I

per ogni per ogni

i, j ∈ I, i ∈ I.

pij = 1

Definizione 1.2 Una matrice p = (pij )i,j∈I con le propriet` (1) e (2) si dice a stocastica. Se la matrice trasposta ` anch’essa una matrice stocastica allora si e dice che p ` bistocastica. e La matrice di transizione p = (pij )i,j∈I e la legge µ di X0 , detta anche legge iniziale, determinano la legge congiunta delle variabili aleatorie (Xn )n≥0 cio` e permettono, come vedremo, di calcolare tutte le probabilit` di eventi determia nati dalle variabili aleatorie (Xn )n≥0 . ESEMPIO 1.1 La rovina del giocatore. Sia N ≥ 2 un numero naturale fissato e p, q ∈]0, 1[ due numeri reali tali che p + q = 1. Due giocatori A e B con capitali iniziali rispettivi di a monete e b, con N = a + b, monete giocano un certo numero di partite in ciascuna delle quali A vince una moneta (che gli viene pagata da B) con probabilit` p e la perde (cio` la paga a B) con probabilit` a e a q. Il gioco si pu` modellizzare con una catena di Markov (Xn )n≥0 nella quale o 2

la variabile aleatoria Xn rappresenta il capitale del giocatore A al tempo n. La catena di Markov ha insieme degli stati {0, 1, . . . , N } e matrice di transizione 1 0 q 0  0 q  0 ...  0 0  0 0 0 0  0 0 p 0 0 p ... ... 0 0 0 0 0 0  ... 0 0 0 ... 0 0 0  ... 0 0 0  ... ... ... 0.  ... 0 p 0  ... q 0 p ... 0 0 1

Il gioco termina non appena uno dei due giocatori resta senza monete. Un problema naturale ` il calcolo della probabilit` che vinca A oppure B. e a ESEMPIO 1.2 Estrazioni da un mazzo di carte. Si consideri l’esperimento aleatorio consistente nelle estrazioni (senza rimpiazzo) di carte da un mazzo. Le carte vengono estratte ad una ad una e, quando sono state tutte estratte, si rimettono insieme e si ricomincia. Indicando con Xn la carta ottenuta nell’nesima estrazione si trova una successione X = (Xn )n≥0 di variabili aleatorie. ` E facile verificare che X non ` una catena di Markov poich´ la probabilt` di e e a ottenere come risultato dell’(n + 1)-esima estrazione una certa carta dipende dai risultati di tutte le precedenti estrazioni e non solamente dall’(n − 1)-esima. P{X5 = A♠ |X4 = A♦, X3 = A♠} = 0 = P{X5 = A♠ |X4 = A♦} = 1 . 51

ESEMPIO 1.3 Successione di variabili indipendenti. Sia (Xn )n≥0 una successione di variabili aleatorie su uno spazio probabilizzato (Ω, F, P) a valori interi indipendenti ed equidistribuite e sia (an )n≥0 la successione di numeri reali positivi data da an = P{Xk = n}, k ∈ N. La successione (Xn )n≥0 ` una catena di Markov con insieme degli stati N e e matrice di transizione (pij )i,j∈I data da   a0 a1 a2 . . .  a0 a1 a2 . . .  . ... ... ... ...

ESEMPIO 1.4 Passeggiata casuale. Con le notazioni dell’esempio precedente, si consideri la successione di variabili aleatorie (Yn )n≥0 definita da
n

Yn =
k=0

Xk .

3

. per ogni n ≥ 1 si ha che P{Y1 = n + 1} P{Y1 = n} = = = Poniamo p = P{Y1 = 1}. 4 1− 1 k j−1 j=1 p(1 − p) k−1 − j=1 p(1 − p)j−1 j−1 k≥k+1 p(1 − p) j−1 j≥k p(1 − p) P{Nn+1 = 1. Nn = k≥1 1{Sk ≤n} .. Infatti. . abbiamo che P{Y1 = k + 1} = P{Y1 = k} P{Y1 > k} P{Y1 > k − 1} (1 − P{Y1 ≤ k}) = p(1 − p)k−1 1 − P{Y1 ≤ k − 1}) = p(1 − p)k−1 = p(1 − p)k−1 = p(1 − p)k ..  . allora P{Y1 = 2} = P{Y1 = 1}P{Y1 > 1} = P{Y1 = 1}(1 − P{Y1 = 1}) = p(1 − p).. . Markov con insieme degli stati N e a3 a2 a1 ... Nn = 0} P{Nn = 1. ... se assumiamo vera i). . Le condizioni seguenti sono equivalenti i) (Nn )n≥1 ` una catena di Markov omogenea.. P{Y1 > n − 1} . A questo punto si pu` concludere per induzione che P{Y1 = n + 1} = p(1 − p)n .La successione (Yn )n≥0 ` una catena di e matrice di transizione (pij )i. Poniamo N0 := 0..j∈I data da  a0 a1 a2  0 a0 a1  0 0 a0 . .5 Sia (Yk )k≥1 una successione di variabili aleatorie indipendenti k e equidistribuite a valori in N∗ e sia Sk = j=0 Yj .. o Infatti... . Nn−1 = 0} P{Nn+1 = 1|Nn = 0} P{Nn = 0} P{Nn = 1|Nn−1 = 0} P{Nn−1 = 0} P{Y1 > n} . se assumiamo per ipotesi che P{Y1 = k} = p(1 − p)k−1 . e ii) le variabili aleatorie Yk hanno legge geometrica. ∀n ≥ 1.. ESEMPIO 1...

La successione (Yn )n≥0 ` una catena di Markov con insieme degli stati N e e matrice di transizione (pij )i.4 si consideri la successione di variabili aleatorie (Yn )n≥0 definita da Y0 Yn+1 dove. Grazie alla definizione di probabilit` condizionata e alla a formula della probabilit` totale il membro sinistro di (2) si pu` scrivere nella a o forma P {Xn+m = j. . Iniziamo col dimostrare il seguente Lemma 1.6 Coda casuale. Con le notazioni degli Esempi 1.. . in ogni unit` di tempo.. j di elementi di I si ha P {Xn+m = j} | {Xn = i} = pij dove p(m) denota la potenza m–esima della matrice p..Questo dimostra che i) implica ii). = X0 + = (Yn − 1) + Xn+1 Questa catena di Markov descrive la lunghezza di una coda ad uno sportello dove. L’implicazione opposta segue direttamente se si interpretano le Yk come il tempo del k−esimo successo in uno schema di Bernoulli. . Allora Nn conta il numero di successi in n prove e quindi (Nn )n≥1 soddisfa la propriat` markoviana. m con m ≥ 1. Dimostrazione.3 e 1. Xn+m−1 = k...... inoltre i numeri di clienti che arrivano in unit` di tempo distinte a sono indipendenti. Mostreremo ora come si possono esprimere le probabilit` di eventi relativi a ad una catena di markov (Xn )n≥0 attraverso la matrice di transizione... 0}..  .. e ogni coppia i..   . viene servito un cliente e ne arriva un numero a aleatorio Y ..  . ....j∈I data da a0 a1 a2 a3 a4 a0 a1 a2 a3 a4    0 a0 a1 a2 a3  0 0 a0 a1 a2 ..3 Per ogni coppia di numeri naturali n. Xn = i} /P {Xn = i} k∈I (m) (2) 5 . ... x+ = max{x.. a ESEMPIO 1. per ogni numero reale x. .

. Xn+m−1 = k. 1 (m ) (m ) (m −mn−1 ) (mn−1 −mn−2 ) pjn−2 jn−1 (m −mn−1 ) (mn−1 −mn−2 ) pjn−2 jn−1 6 .. = P{Xn+1 = k | Xn = i}. a P{Xn+m = j. . pj0 j1 P{X0 = j0 } 1 .k2 ∈I pk1 j pk2 k1 P{Xn+m−2 = k2 | Xn = i} P{Xn+m−2 = k2 | Xn = i} = k2 ∈I k1 ∈I pk 2 k 1 p k 1 j (2) = k2 ∈I pk2 j P{Xn+m−2 = k2 | Xn = i} pkj k∈I (m−1) = . = = n pjn−1 jn n pjn−1 jn n pjn−1 jn (m −mn−1 ) P ∩0≤k≤n−1 {Xmk = jk } . pj0 j1 µ{j0 }. . . Proposizione 1. Lemma 1. < mn ) di tempi si ha n P (∩0≤k≤n {Xmk = jk }) = pjn−1 jn (m −mn−1 ) (mn−1 −mn−2 ) pjn−2 jn−1 . Xn = i} = P{Xn+m = j | Xn+m−1 = k. 1 (m ) Dunque la legge iniziale µ e la matrice di transizione (pij )i. . La conclusione segue quindi dalla propriet` di Markov (1). .j∈I determinano la legge congiunta delle variabili aleatorie (Xn )n≥0 . a Sia µ la legge della variabile aleatoria X0 . Xn = i} = pkj · P({Xn+m−1 = k..3 si ha P ∩0≤k≤n {Xmk = jk } Applicando pi` volte la propriet` di Markov (1) ed il u a = P {Xmn = jn } | ∩0≤k≤n−1 {Xmk = jk } ·P ∩0≤k≤n−1 {Xmk = jk } = = . pj0 j1 µ{j0 }.Per ogni k ∈ I si ha quindi. Xn = i} · P({Xn+m−1 = k. grazie alla propriet` di Markov (1).4 Per ogni n-pla (jk )0≤k≤n di stati ed ogni n-pla (mk )0≤k≤n (m0 < m1 < . . Dimostrazione.. Xn = i} e perci` o P{Xn+m = j | Xn = i} = k∈I pkj · P{Xn+m−1 = k | Xn = i} Ragionando per induzione si vede quindi che il membro sinistro della (2) si pu` o esprimere nel modo seguente pkj P{Xn+m−1 = k | Xn = i} k∈I = k1 .. . .

per ogni legge µ su I e ogni matrice stocastica P = (pij )i. (3) Per esempio. Stabilire se la successione (Zn )n≥1 di variabili aleatorie a valori in N∗ cos´ definita ı Z0 = 1.1 Sia (Xn )n≥1 una successione di variabili aleatorie indipendenti a valori in N∗ con legge geometrica di parametro p. I nodi rappresentano gli stati della catena di Markov.j∈I esiste una catena di Markov con matrice stocastica P e variabile aleatoria X0 con legge µ. se si etichettano a le frecce fra i nodi con le probabilit` di transizione da uno stato ad un altro. ?>=< o 3 G ?>=< 2 1 t 3 4 1 2 1 3 ESERCIZI Es 1. . . . si pu` associare o il corrispondente grafo orientato  ?>=< 89:. I0 sono sottoinsiemi di I potremmo prendere A = {Xn−1 ∈ In−1 } ∩ · · · {X0 ∈ I0 }. Xn−1 si ha P {Xn+1 = j | {Xn = in } ∩ A} = P {Xn+1 = j | Xn = i} . A volte pu` essere utile rappresentare le catene di Markov (a stati finiti) con o un grafo. e 7 . per ogni evento A. In a questo modo ad ogni matrice stocastica n × n corrisponde in maniera univoca un grafo a n nodi. Si potrebbe dimostrare pure che. si a avr` che la somma delle ”frecce uscenti” da un nodo deve essere uguale a 1. 0 ”a y a 1 1 1a4 3  2 1aa 89:. 1/4 3/4 0 associata a una catena di Markov con spazio degli stati {0. . dipendente dalle variabili aleatorie X0 . In particolare. Ad esempio. . Zn+1 = Zn Xn+1 ` una catena di Markov e calcolare la matrice di transizione. . . 2}. Si pu` verificare facilmente che dalla propriet` di Markov (1) o a segue che. data la matrice P   1/2 1/2 0 P =  1/3 1/3 1/3  . se In−1 . le frecce tra i nodi rappresentano le probabilit` di transizione. 1. e ı Osservazione. 89:.La proposizione ` cos` dimostrata.

dopo tre giorni ci sia una nuova giornata di a pioggia. 2 o 3 avanza di una posizione in caso di risultato dispari e di due posizioni in caso di risultato pari. Basandosi su questa ipotesi ` naturale utilizzare le catene di Markov. altrimenti resta in 4. Si individui la legge µ0 di X0 . Es 1.1 0. a modellizzare la situazione con una catena di Markov e scriverne la matrice di transizione. numerati da 1 a 4.4 Un modello preliminare sulle previsioni meteorologiche si basa sull’ipotesi che il tempo di domani sia influenzato dalla situazione odierna. domani e dopo ci sia il sole. ossia dopo l’n−esimo lancio del dado. Calcolare la probabilit` che dopo due salti si trovi nello stesso a vertice. essa passa nel vertice 1.Es 1. Il numero a di clienti che arrivano nell’n−esima unit` di tempo ` una variabile aleatoria a e Vn di legge B(2. 1/2). Calcolare a la probabilit` che se oggi piove. se la pedina si trova nel vertice 4. Una realistica matrice di transizione per il tempo di Roma potrebbe essere P = 0. Qual ` la probabilit` che partendo da e a 4 la catena si trovi in 1 dopo due passi? Qual ` la probabilit` che al terzo passo e a si trovi in 1? Qual ` la posizione attesa dopo il secondo lancio del dado? e 8 . Ad ogni passo un giocatore lancia un dado equilibrato a quattro facce: se la pedina si trova negli stati 1.3 Uno sportello serve al massimo 1 cliente per unit` di tempo. Modellizzare il moto del punto con una catena di Markov e scriverne la matrice di transizione. Es 1.9 .2 Un punto si muove a caso sui vertici di un esagono regolare saltando ad ogni istante dal vertice in cui si trova in uno dei due adiacenti scelto a caso. Per semplicit` assume a iamo che ci siano solo due tipi di tempo ”sole” (stato 0) e ”pioggia” (stato 1). Es 1. Calcolare la probabilit` che se oggi piove. Supponendo che le Vn siano indipendenti e inoltre che i clienti che arrivando vedono gi` 5 persone in coda se ne vadano immediatamente.5 0.5 Una pedina si muove su un circuito ”circolare” a 4 vertici. Sia Xn la variabile aleatoria che e indica la posizione della pedina al tempo n−esimo. La pedina si trova inizialmente nel vertice 1.5 0. se il risultato del dado ` 4.

Definizione 2. essendo pij = (0) 1 se i = j. n pij > 0. o sono comunicanti. lo stato i si dice aperiodico. le corrispondenti classi di equivalenza sono dette classi di stati.4 Una catena di Markov si dice irriducibile se la sola classe di stati non vuota ` l’insieme I. a e sua volta. P) con insieme degli stati I e matrice di transizione (pij )i.1 Uno stato j ` accessibile da uno stato i se esiste un intero e positivo n tale che (n) pij > 0. ogni stato comunica con s´ stesso. i e j non comunicano. per ogni coppia di stati i.j∈I . k tre elementi di I. se ciascuno dei due ` accese sibile dall’altro. Osserviamo che. Definizione 2. secondo la definizione precedente. j di elementi di J. ` accessibile da i allora k ` accessibile da i. (n) (m) (m) pil plk ≥ pij pjk > 0. e Definizione 2. Se k ` accessibile da j e j. gli stati i e j comunicano e. si chiama periodo di i il massimo comune divisore dei numeri interi n ≥ 1 appartenenti a tale insieme. Uno stato avente periodo n > 1 si dice periodico di periodo n. = l∈I (n) pjk > 0. 9 (n) .2 Classificazione degli stati Sia (Xn )n≥0 una catena di Markov su uno spazio probabilizzato (Ω. j. o e Grazie alla proposizione precedente ` facile dimostrare che la propriet` “coe a municare” induce una relazione di equivalenza tra stati. diversamente se n = 1. j ∈ J.3 Una classe di stati ` un sottoinsieme J dello spazio degli e stati I tale che. e Proposizione 2. 0 se i = j.2 Siano i.5 Dato uno stato i tale che l’insieme n ≥ 1 | pii > 0 sia non vuoto. j comunicano. Due stati i. e e Dimostrazione. tali che Si ha quindi pik (n+m) Dall’ipotesi segue che esistono due interi positivi m. Definizione 2. F. (n) (m) Ci` dimostra che k ` accessibile da i. j con i ∈ I − J. per ogni coppia i.

2. . Ciascuno degli stati 0 ed N forma una classe con un solo elemento poich´ e (n) (n) p0j = pN i = 0 per ogni n ≥ 1 ed ogni i ∈ {0. ESEMPIO 2. che la matrice di transizione P relativa verifica la condizione pij = pij 10 (n) per ogni n ≥ 1 (4) .6 Siano i e j due stati comunicanti. . . Gli stati e 1. . N − 1}. dunque anche la loro differenza n ` un multiplo di d(j). .2 Consideriamo la catena di Markov dell’esempio Successione di variabili aleatorie indipendenti dell’Esempio 1. Proposizione 2. Si pu` vedere. . . . . Dimostrazione. Allora il periodo di i ` e uguale al periodo di j. 2. (n) (a) Per ogni intero n tale che il numero reale pii sia strettamente positivo si hanno allora le diseguaglianze seguenti pjj (a+n+b) k1 . . Denotiamo con d(i) e d(j) i periodi di i e j. . pertanto d(i) e d(j) o e coincidono. si trovano le diseguaglianze pjj (a+2n+b) ≥ pji pii (a) (2n) (b) pij ≥ pji (pii )2 pij > 0. ESEMPIO 2. Siano a e b due numeri interi strettamente positivi tali che pij > 0. pij (i−j) = q i−j > 0).3. N − 1 formano un’altra classe perch´ comunicano. con un facile o calcolo. 2. a + b + 2n sono multipli di d(j). .1. j ∈ {1. i > j) si ha pij (j−i) = pj−i > 0 (risp. partendo dallo stato i al e tempo 0. N − 1} con i < j (risp. N }. Infatti. In modo e analogo si pu` dimostrare che d(i) ` un multiplo di d(j).1 Consideriamo la catena di Markov Rovina del giocatore dell’Esempio 1. e Quindi il numero naturale d(j) ` un divisore di tutti i numeri naturali n per i e (n) quali pii sia strettamente positivo ovvero d(j) ` un multiplo di d(i). . . Infatti non ` possibile lasciare gli stati 0 e N una volta raggiunti.Dunque uno stato i ` periodico di periodo n se. per ogni e i. (a) (n) (b) Ne segue che i due numeri naturali a + b + n. la catena di Markov non pu` ritornare nello stato i a tempi m che non o siano un multiplo intero di n. analogamente. .k2 pjk1 pk1 k2 pk2 j ≥ pji pii pij > 0 (a) (n) (b) (a) (n) (b) e. . Baster` ovviamente dimostrare la proposizione nel caso a in cui i = j. j ∈ {1. (b) pji > 0. 1.

e Ci` prova che. j con j < i.4 e supponi` amo che i numeri (ak )k≥0 siano tutti strettamente positivi. dati due stati i e j. j lo stato j risulta accessibile dallo o stato i. Pertanto la cone dizione ak > 0 per ogni k ≥ 0 ` necessaria e sufficiente affinch´ la catena di Markov sia irriducibile. per ogni stato i ed ogni numero intero n ≥ 1. per ogni coppia o di stati i. Dunque e le sole classi di stati. Definizione 2. si trova la diseguaglianza pij (i−j) ≥ pii+1 pi+1i+2 . Utilizzando e e la formula (4) si pu` vedere inoltre che.3 Consideriamo la catena di Markov dell’Esempio 1. si trova la diseguaglianza pii+n(ν−1) ≥ (aν )n > 0.6 e supponiamo che siano soddisfatte le condizioni seguenti 0 < a0 < 1. ogni stato ` aperie e odico. Quindi. 11 . ESEMPIO 2. E chiaro allora che. per ogni coppia di stati i. sotto questa condizione. Quindi uno stato k ` accessibile da un qualunque e altro stato se e solo se il numero ak ` strettamente positivo. che mostra che j ` accessibile da i. sono le classi costituite da un solo stato. dunque tutti gli stati comunicano ovvero la catena di Markov ` ire riducibile. lo stato j `. Perci`. per ogni coppia di stati i. grazie alla seconda e delle diseguaglianze (2. gli stati (i + n(ν − 1))n≥1 sono accessibili dallo stato i perch`. 0 < a0 + a1 < 1. accessibile da a e k. procedendo come e sopra. j con i < j. j ` accessibile da i. j.4 Consideriamo la catena di Markov dell’Esempio 1.6. per la Proposizione 2. (5) Si pu` dimostrare allora che tutti gli stati comunicano.2). .2. Infatti. pj−2j−1 pj−1j = (a0 )i−j > 0. dunque.7 Uno stato i si dice ricorrente se ∞ (n) P n=1 {Xn = i} | {X0 = i} = 1. grazie alla Proposizione 2. oltre alla classe vuota. Osserviamo poi che.per ogni coppia di stati i. lo stato j ` accessibile dallo stato i se e solo se j ≥ i. quindi. . esiste un intero ν ≥ 2 tale che il numero reale aν sia strettamente positivo. ESEMPIO 2. poich` la e e catena di Markov ` irriducibile. Inoltre lo stato 0 ` evidentemente aperiodico. ragionando come nell’esempio precedente. Per quanto gi` dimostrato. altrimenti si dice transiente. esiste uno stato k accessibile da i o con k > j. Tutti gli stati sono evidentemente aperiodici. a sua volta. tutti gli stati o sono aperiodici.

Come abbiamo visto. In particolare. 89:. pN −i ). N − 1} invece ` e transiente poich´.5 Per la catene di Markov con spazio degli stati E finito. non se ne pu` pi´ uscire. partendo da i. Si chiama tempo della prima entrata nello stato j la variabile aleatoria a valori N ∪ {+∞} Tj (ω) min{n ≥ 1 | Xn (ω) = j} +∞ se {n ≥ 1 | Xn (ω) = j} = ∅. In particolare se pii = 1. N ) e a con probabilit` maggiore o uguale a q i (risp. 2. . o 89:. allora i si dice stato assorbente o trappola. per ogni stato j ed ogni intero n > 1. con probabilit` a 1 la catena di Markov rimane in 0 (o in N ) ad ogni istante successivo.6 Consideriamo nuovamente la catena di Markov Rovina giocatore dell’Esempio 1. partendo dallo stato i al tempo 0 la e catena di Markov ritorna nello stato i in un tempo finito quasi certamente. partendo da 0 (o da N ). {Tj = n} = {Xn = j} 1≤m≤n−1 {Xm = j}. 12 . Allora si vede a facilmente che nella catena di Markov associata al grafo  ?>=< G ?>=< 89:. tale che pij > 0. 2} una classe di stati ricorrenti.8 Sia j uno stato. . Nello studio della ricorrenza degli stati di una catena di Markov ` di grande e utilit` la variabile aleatoria seguente a Definizione 2. Questi stati sono evidentemente ricorrenti. risulter` ricorrente. o u ESEMPIO 2. Una volta arrivata in 0 o a in N non lascer` pi` lo stato raggiunto e quindi la probabilit` di ritornare in i a u a verifica la diseguaglianza ∞ P n=1 {Xn = i} | {X0 = i} ≤ 1 − (q i + pN −i ) < 1. . Ogni stato i ∈ {1. ?>=<ÐÑ ?>=< 2 3 gli stati {0. mentre {3} ` uno stato transiente. in quanto una volta raggiunto. . 0 1 y Ñy ÑÑ  Ñ 89:. 1≤n<+∞ {Tj = 1} = {X1 = j}. 1. la catena di Markov arriver` in 0 (risp. e Si osservi che uno stato ` ricorrente o transiente indipendentemente dall’esatto e valore numerico delle probabilit` di passaggio da uno stato all’altro. ovvero per ogni i ∈ I non esiste nessun stato j ∈ E \ I. Osserviamo che. valgono le seguenti eguaglianze {Tj < +∞} = {Xn = j}. la rappresentazione grafica pu` semplificare la classificazione degli stati. o se uno stato appartiene a una classe I chiusa. altrimenti. a ESEMPIO 2.Quindi uno stato i ` ricorrente se.1.

. X2 = j. fij = 0. 13 . per semplicit`. con le notazioni ora introdotte. . . . (6) Dimostrazione. Tj = ν} = P{Xn = j. . . . (n) Poich´ la catena di Markov (Xn )n≥0 ` omogenea. j di elementi di I poniamo (n) (0) fij = Pi { Tj = n }. Supponiamo.9 (Equazione dei rinnovi) Siano i. Xn−1 = j. m > 1 si ha inoltre fij = P ({Xm+n = j} ∩1≤ν≤n−1 {Xm+ν = j} | {Xm = i}) . Per ogni numero intero n strettamente positivo ed ogni coppia i. transiente se fii < 1. X1 = j} = (n) fij (n) + 1≤ν≤n−1 P{Xn = j | Xν = j}P{Tj = ν} fij pjj 1≤ν≤n−1 (ν) (n−ν) = fij + . per ogni coppia di stati e e i. X1 = j} ·P{Xν = j.Notazione. . Xν = j. X1 = j} + 1≤ν≤n−1 P ({Xn = j. .1) si ha allora a pij (n) = P{Xn = j} = 1≤ν≤n P{Xn = j. che l’evento {X0 = i} sia quasi certo. denoteremo con Pi la probabilit` cona a dizionata Pi (·) = P (·| {X0 = i}) . Per ogni intero n ≥ 1 si ha n (n) pij (n) = ν=1 fij pjj (ν) (n−ν) . Xν−1 = j. j ed ogni coppia di numeri interi n. . . . Poniamo inoltre ∗ fij = 1≤n<+∞ fij = Pi { Tj < +∞ }. j elementi di I. uno stato i ` ricorrente e ∗ ∗ se risulta fii = 1. Osserviamo inoltre che. Xν−1 = j. . Utilizzando la decomposizione dell’evento {Xn = j} in eventi disgiunti della forma n {Xn = j} = ν=1 ({Xn = j} ∩ {Tj = ν}) e la propriet` di Markov (1. per semplificare le notazioni. Possiamo dimostrare ora il seguente Teorema 2. . X1 = j}) (n) = fij + 1≤ν≤n−1 P{Xn = j | Xν = j. . Nel seguito. . Xν−1 = j.

(n) Fii (s) = n=0 fii sn . Consideriamo le funzioni generatrici delle successioni di (n) (n) numeri reali (pii )n≥0 . (n) Osserviamo che queste serie di potenze hanno raggio di convergenza r ≥ 1 poich´ e (n) (n) le successioni (pii )n≥0 e (fii )n≥0 sono limitate. Si ha allora ∞ s→1 lim A(s) = − n=0 an . Teorema 2. (fii )n≥0 ∞ ∞ Pii (s) = n=0 pii sn . o Nella dimostrazione del Teorema 2.11. 1 − fii Dimostrazione.10 Sia (an )n≥0 una successione di numeri reali non negativi tale che la serie di potenze ∞ A(s) = n=0 an sn abbia raggio di convergenza r ≥ 1. per ogni intero n ≥ 1 si ha allora n n pii sn = sn ν=1 (n) fii pii (ν) (n−ν) = ν=1 fii sν pii (ν) (n−ν) n−ν s da cui segue che ∞ Pii (s) − 1 = = pii sn n=1 ∞ n (n) fii sν pii n=1 ν=1 (ν) (n−ν) n−ν s 14 . un criterio fondamentale per stabilire se uno stato ` transiente o ricorrente utilizzeremo il seguente risultato detto e Lemma di Abel Lemma 2. e b) la serie ∞ n=0 pii ` divergente.11 Per ogni stato i le condizioni seguenti sono equivalenti a) i ` ricorrente. Grazie al Teorema 2. e (n) Se i ` transiente allora si ha e ∞ pii n=0 (n) 1 ∗.13.Ci` dimostra la (6).

11. La conclusione segue allora dal Teorema 2. per ogni stato j. Pii (s) = 1 . Se j ` ricore rente (o. − s→1 lim Pii (s) = − n=0 pii (n) ed applicando il Lemma di Abel. m ≥ 1 tali che pjk > 0. Sia k elemento di J − {j}.∞ ∞ = ν=1 ∞ fii sν n=ν ∞ (ν) pii (n−ν) n−ν s = ν=1 fii sν n=0 (ν) pii sn (n) = Fii (s)Pii (s). rispettivamente. (m) ≥ pkj pjj pjk (m) (n) (l) (l) (n) (m) ≥ pjk pkk pkj . n=0 n=0 (n) pjj (n) sono entrambe convergenti oppure entrambe divergenti. ∞ ∞ pkk . Corollario 2. per ogni s ∈ (−1. transiente). Si ha pertanto. Poich´ k e j comunicano. Per ogni intero n ≥ 1 si ha allora pkk pjj Quindi le serie (l+n+m) (l+n+m) (l) pkj > 0. e esistono due interi l. 1 − Fii (s) La conclusione segue allora osservando che ∞ s→1 ∗ lim Fii (s) = fii . Osserviamo che. Infatti la variabile e aleatoria 1{Xn =j} n≥0 15 . transiente) allora ogni elemento di J ` ricorrente (o. la somme della serie pij n≥0 (n) ` il tempo medio di occupazione dello stato j partendo da i. 1). Dimostrazione.12 Sia J una classe di stati e j un elemento di J. e rispettivamente.

grazie all’equazione dei rinnovi (6). in particolare e (n) lim p n→∞ ij = 0. Dimostrazione. partendo da qualunque stato i. si ha ∞ ∞ n pij n=1 (n) = = = fij pjj (ν) (n−ν) n=1 ν=1 ∞ ∞ (ν) (n−ν) fij pjj n=ν ν=1 ∞ (n) ∗ fij pjj < ∞. Ne segue che ` quasi certamente finita e quindi che si verifica e solo un numero finito di eventi {Xn = j}. per ogni stato i. la serie e ∞ pij n=0 (n) (8) ` convergente. la serie (8) ` convergente e quindi. Dimostrazione. grazie alla (7).14 Una catena di Markov con insieme degli stati I finito ha almeno uno stato ricorrente. j. Se i = j la convergenza della serie segue dal Teorema 2. 16 . n=0 In particolare. la catena di Markov e passa per j quasi certamente solo un numero finito di volte.11. In particolare. Supponiamo.13 Se j ` uno stato transiente. allora.rappresenta il tempo (aleatorio) trascorso nello stato j poich´ conta per quanti e n si ` veificato l’evento {Xn = j} e la sua speranza ` e e   Ei  n≥0 1{Xn =j}  = n≥0 Ei 1{Xn =j} = n≥0 P{Xn = j} = n≥0 pij . per assurdo. Nel caso in cui l’insieme degli stati sia finito la catena di Markov non potr` a occupare sempre stati transienti (che occupa per un tempo medio finito). Allora. la variabile aleatoria 1{Xn =j} n≥0 ha speranza finita. (n) (7) Corollario 2. Se i = j allora. Si ha quindi il seguente Corollario 2. per ogni i. che tutti gli stati siano transienti.

..11 possiamo 17 (n) 2n (pq)n . . .. per ogni n ≥ 0. .11 allo studio delle passeggiate casuali su Zd . ad ogni istante.. Vogliamo stabilire se gli stati sono transienti oppure ricorrenti.  . A questo scopo cominciamo con l’osservare che. ` E chiaro che questa catena di Markov rappresenta il moto sull’insieme dei numeri naturali di un punto che.... si ha anche e pij = 1. si ha P00 = Grazie alla formula di Stirling √ nn exp(−n) 2πn lim =1 n→∞ n! si trova l’andamento asintotico (4pq)n (n) P00 ≈ √ . ...La matrice p(n) ` stocastica e quindi. si sposta da i a i + 1 con ` probabilit` p e da i a i − 1 con probabilit` q. dove p. q sono due numeri reali tali che p. Nel caso in cui p = q i tempi della prima entrata in ogni stato sono variabili aleatorie positive quasi certamente a valori finiti. per ogni n ≥ 1.. q 0 p 0 0 0 q 0 p 0 .. j∈I (n) Facendo tendere n all’infinito e scambiando il limite con la sommatoria (cosa possibile perch´ I ` finito) si trova la contraddizione 0 = 1. 1[. .. p + q = 1...... P = . e e Applicheremo ora il criterio di transienza o ricorrenza del Teorema 2.  .. .... q ∈]0... n ... E facile vedere inoltre che si tratta a a di una catena di Markov irriducibile e che ogni stato ha periodo 2. Consideriamo una catena di Markov (Xn )n≥0 con insieme degli stati Z e matrice di transizione . Utilizzando le funzioni generatrici F00 e P00 introdotte nella dimostrazione del Teorema 2. .... .11 possiamo concludere che tutti gli stati sono ricorrenti nel primo caso e transienti nel secondo. ESEMPIO 2. applicando il Teorema 2.  . .. .. .. πn Poich´ il numero reale positivo 4pq = 4p(1 − p) ` eguale a 1 se p = q = 1/2 e e e strettamente minore di 1 se p = q.7 Passeggiata casuale su Z.... ...

Detta e P la matrice di transizione si ha P00 (2n) = h+k=n (2n)! (h!)2 (k!)2 1 4 2n (dove 0 denota l’origine di Z2 ). (1 − 4x) −1 2 = n≥0 2n n x . n |x| < 1 . k)} = 1/4 se |i − h| + |j − k| = 1.calcolare anche il tempo medio della prima entrata in 0 sotto la condizione X0 = 0.8 Passeggiata casuale simmetrica su Z2 . Consideriamo una catena di Markov (Xn )n≥0 con insieme degli stati Z2 e probabilit` di transizione a P {Xn+1 = (i. |s| < 1. La funzione generatrice F00 ` quindi e F00 (s) = 1 − (P00 (s)) −1 =1− 1 − 4pqs2 . si far` e a attendere molto a lungo e comunque. (Xn )n≥0 ` una catena di Markov irriducibile ed ogni stato ha periodo 2. ESEMPIO 2. Con facili calcoli si trova quindi n P00 (2n) = k=0 (2n)! (k!)2 ((n − k)!)2 1 4 2n n 1 4 n k 2n = n n 2n n k=0 n n−k Confrontando i termini a b del binomio di Newton di (a + b)2n e del quadrato del binomio di Newton di (a + b)n si trova l’identit` notevole a 2n n n = k=0 n k 18 n . troviamo infine e E0 [T0 ] = n≥1 nf00 = lim (n) s→1− nf00 sn−1 n≥1 (n) dF00 (s) = lim = lim − ds s→1 s→1− 4pqs 1 − 4pqs2 = +∞. 4 otteniamo in forma esplicita la funzione generatrice P00 P00 (s) = 1 1 − 4pqs2 . pi` di quanto possa aspettare u un individuo mortale. |s| < 1. Grazie al Lemma di Abel. anche se il ritorno in 0 ` quasi certo. Nel caso in cui p = q = 1/2 pertanto. n−k . Infatti. poich´ 4pq = 1. 0 altrimenti. ricordando lo sviluppo in serie di Taylor notevole. j) | Xn = (h. in media.

Utilizzando la formula di Stirling troviamo poi lo sviluppo asintotico 2n P00 ≈ 1 πn che ci permette di concludere.12 che tutti gli stati sono ricorrenti.1 Individuare le classi di stati in una catena di Markov con matrice di transizione   0 1/2 0 0 1/2  1/2 0 0 1/2 0     1/3 1/3 1/3 0 0 . Se cos` non fosse. Ci` contraddice l’ipotesi che i ` aperiodico.11 e al Corollario 2. Dimostrazione. a Proposizione 2. detto m > 1 tale numero avremmo ovviamente ı (k) pii = 0 per 1 ≤ k < m e quindi pii (m+k) (k) = fii pii = 0 (mn+k) (m) (k) per 1 ≤ k < m. Tramite la definizione delle fii si pu` dare una caratterizzazione ulteriore di o periodo di uno stato i. 19 .15 Il periodo d(i) di uno stato i coincide con il massimo co(n) mun divisore dell’insieme {n ≥ 1|fii > 0}. Si potrebbe quindi dimostrare per induzione su n che pii (k) ` nullo per 1 ≤ k < m e n ≥ 0 ovvero che pii ` nullo se k non ` multiplo di e e e m. ESERCIZI Es 2. che verr` utilizzata in seguito. Il caso in cui d(i) = n > 1 si o e dimostra nello stesso modo.Otteniamo quindi la formula 2n P00 = 2n n 1 4 n 2 . Assumiamo inizialmente che i sia uno stato aperiodico. In questo caso ci` che vogliamo dimostrare ` che il massimo comune divisore o e dell’insieme di numeri naturali k ≥ 1 | fii > 0 sia eguale a 1.    0 1/4 1/4 1/4 1/4  1/2 1/2 0 0 0 Quali sono gli stati ricorrenti e transienti? Dire se vi sono stati periodici e calcolarne eventualmente il periodo. grazie al Teorema 2.

Stabilire se (Zn )n≥0 ` una catena di Markov e determinarne eventualmente la e la matrice di transizione. si ha che  ∗  ∗  Pn =  0   0 0 transizione  1/3 0   0   1/2  1/2 gli stati ricorrenti. allora e n≥1 pij = +∞. Zn+1 = Zn (2Xn+1 − 1). n≥1 (n) ii) se j ` ricorrente e non accessibile da i. provare che i) se j ` ricorrente e accessibile da i.3 Data una catena di Markov con matrice di  1/3 1/3 0 0  1/4 0 1/4 1/2  0 1/2 1/2 P = 0   0 0 0 1/2 0 0 0 1/2 individuare gli stati transienti e n ≥ 2. Questo fatto ha qualche relazione con la nota a propriet` della legge geometrica? a Es 2. Verificare che. allora e pij = 0. Si pu` spiegare questo fatto con qualche propriet` della catena di Markov? o a Es 2. Mostrare che tutti gli stati sono ricorrenti. 1). Es 2.5 Assegnati due stati i e j di una catena di Markov.4 Sia (Xn )n≥1 una successione di variabili aleatorie indipendenti con legge di Bernoulli B(1. Mostrare che la catena di Markov ` irriducibile e aperiodica. e verificare che il tempo T0 del primo ritorno nello stato 0 rispetto ad ogni probabilit` Pi ha legge geometrica. (n) 20 . per ogni ∗ ∗ 0 0 0 ∗ ∗ 2−n 0 0 ∗ ∗ ∗ ∗ ∗ ∗ 1/2 1/2 1/2 1/2       (al posto degli asterischi ci sono opportuni numeri reali strettamente positivi).2 Una catena di Markov con insieme degli stati N ha matrice di transizione   1 − p p 0 0 0 0 ···  1 − p 0 p 0 0 0 ···     1 − p 0 0 p 0 0 ···     1 − p 0 0 0 p 0 ···  1 − p 0 0 0 0 p ··· dove p ∈ (0. p) e (Zn )n≥0 la successione di variabili aleatorie cos´ definita ı Z0 = 1.Es 2.

2 Una legge µ su I ` invariante per la catena di Markov e (Xn )n≥0 se e solo se. F. per ogni intero e e (n) n ≥ 1.3 Leggi invarianti e teoremi limite. e Teorema 3. per ogni stato i. P) con insieme degli stati I e matrice di transizione P = (pij )i. Proposizione 3. si pu` dimostrare e o facilmente per induzione che Xn ha legge µ per ogni n. se µ ` una legge invariante per la catena di Markov (Xn )n≥0 . L’insieme delle densit` di probabilit` su I a a K= (µi )i∈I 0 ≤ µi ≤ 1. Viceversa. si ha µi = j∈I µj pji (9) (ovvero la sua densit` ` un autovettore sinistro della matrice di transizione con ae autovalore relativo 1).j∈I . la legge ν di X1 ha densit` a νi = P{X1 = i} = j∈I P{X0 = j}pji = j∈I µj pji . Quindi. Sia (Xn )n≥0 una catena di Markov sullo spazio probabilizzato (Ω.1 Una legge µ su I ` invariante per la catena di Markov (Xn )n≥0 e se la variabile aleatoria Xn ha legge µ per ogni n ≥ 0. Preso un elemento µ(0) di K ` facile dimostrare che. la famiglia di numeri reali non negativi (µj )j∈I cos` definita ı (n) µj 1 = n n µi pij k=1 i∈I (0) (k) 21 . Dimostrazione. se µ ` una legge su I che soddisfa la (9). Dunque una legge µ su I. identificando la sua densit` con il vettore (µi )i∈I . allora la e vale la (9). per ogni i. Dimostrazione. i∈I µi = 1 ` compatto. Identificheremo spesso le leggi su I con la loro densit` (rispetto alla misura a che conta i punti di ogni sottoinsieme di I) cio` con la famiglia di numeri reali e non negativi (µi )i∈I ove µi = µ({i}). Definizione 3.3 Se l’insieme degli stati I ` finito allora esiste almeno una legge e invariante. a ` invariante se e solo se e µ = µP (P ` la matrice di transizione). Detta µ la legge di X0 .

Poich´ l’insieme K ` compatto. La sua media. a Ei 1 n n 1{Xk =j} = k=1 1 n n Pi {Xk = j} = k=1 1 n n pij k=1 (k) 22 . si ha a µj (n) i∈I µi pij ). rispetto alla probabilit` Pi . possiamo supporre che la successione (µj )n≥0 sia convergente per ogni j ∈ I. In particolare. ricordando che la variabile aleatoria n 1{Xk =j} k=1 rappresenta il numero di visite nello stato j fino al tempo n. Nel teorema precedente la legge invariante ` stata ottenuta come limite (di e sottosuccessioni estratte da) (µ(n) )n≥1 dove µ(0) ` una legge su I e e µj (n) = 1 n n (µ(0) P k )j k=1 per ogni n ≥ 1 ed ogni j ∈ I (qui (µ(0) P k )j = µ(0) = δi (densit` di Dirac nel punto i). Ci` dimostra che la legge con densit` (πi )i∈I ` invariante per la o a e catena di Markov. k=1 (k) L’analisi di questa espressione fornisce anche l’interpretazione del significato della legge invariante. se (0) (k) 1 n n pij . passando evene a a e e (n) tualmente a sottosuccessioni. Infatti. ` chiaro che la e variabile aleatoria n 1 1{Xk =j} n k=1 rappresenta la frequenza delle visite nello stato j al tempo n.` una densit` di probabilit` su I. Posto quindi πj = lim µj n→∞ (n) la famiglia di numeri reali (πj )j∈I ` una densit` di probabilit` su I e inoltre si e a a ha πi pij i∈I = 1 n→∞ n lim lim n πi pij k=1 i∈I n+1 (k+1) = n→∞ 1 n+1 πi pij k=1 i∈I (k) − lim n→∞ 1 n+1 πi pij i∈I = πj per ogni j ∈ I.

Nel caso in cui l’insieme I sia infinito. 0) + (1 − λ)(0. . . . . . 0. Nel primo caso dalla (10) si trova facilmente per induzione la formula πi+1 − πi = (p/q)i (π1 − π0 ) dalla quale segue la relazione i→+∞ lim |πi+1 − πi | = +∞ che contraddice la limitatezza di (πi )i∈I . 1] sono tutte leggi invarianti. e diversamente. 1)(λ. . si possono fornire esempi naturali di catene di Markov che non ammettono nessuna legge invariante. p = q = 1/2 e p < q. In conclusione la catena di Markov considerata non possiede nessuna legge invariante. . In questo caso infatti le densit` a (1. . 0. . (10) Cominciamo con l’osservare che deve essere πi+1 = πi per ogni intero i poich´. . Il terzo caso si tratta come il primo. otterremmo πi+1 = πi per ogni intero i e la (πi )i∈I trovata non ` una densit` di probabilit`.rappresenta quindi la frequenza media delle visite nello stato j al tempo n. . . . . 23 . 1) e le loro combinazioni convesse λ(1. . 0. . . dalla relazione precedente. tuttavia. 0. 0.1 La catena di Markov corrispondente alla Passeggiata casuale su Z dell’Esempio 2.7 non ha nessuna legge invariante infatti la densit` (πi )i∈I di a tale legge dovrebbe soddisfare la relazione πi = qπi+1 + pπi−1 per ogni numero intero i. Quindi distinguiamo i tre e a a casi p > q. . . (0. Si possono quindi interpretare i πj della legge invariante come frequenza media asintotica delle visite nello stato j. ESEMPIO 3. 0. 1 − λ) λ ∈ [0. Nel secondo dalla (10) si trova la formula πi+1 − πi = π1 − π0 dalla quale segue la relazione πi = i(π1 − π0 ) + c (con c costante) che contraddice ancora la limitatezza di (πi )i∈I . 0). . Una catena di Markov (anche con I finito) pu` avere pi` di una legge ino u variante come mostra l’esempio Rovina del giocatore. cio` e q (πi+1 − πi ) = p (πi − πi−1 ) .

... . dove (pm )m≥0 .. .  ... che modo ellizza varie situazioni (rovina del giocatore contro un avversario con capitale praticamente infinito. ... pn−1 q1 .. . . . .. 0 0 0 p1 0 0 r 2 p2 0 q 3 r3 p 3 0 q 4 r4 . la catena di Markov con insieme degli stati N e p0 r1 q2 0 0 .  .2 Consideriamo matrice di transizione  r0  q1   0   0  0 . ESEMPIO 3..Il calcolo esplicito o anche la sola dimostrazione dell’esistenza di una legge invariante in generale pu` non essere semplice. q m + r m + pm = 1 per ogni intero m ≥ 1. . pn−1  q1 . 1] tali che r0 + p0 = 1. . .. . passeggiata casuale su N. a 24 .  .... Questa condizione ` quindi necessaria e sufficiente per l’esistenza e e di una legge invariante che sar` necessariamente unica. (rm )m≥0 . per induzione. 1[ e rm ∈ [0. . ... p0 1 − r0 π0 = π0 q1 q1 p0 . q n per ogni n ≥ 1.. q n ` convergente. .  . . Ogni legge invariante (πn )n≥0 soddisfa le equazioni π0 πn = r 0 π0 + q 1 π1 = pn−1 πn−1 + rn πn + qn+1 πn+1 per ogni n ≥ 1 oltre alla condizione di positivit` πn ≥ 0 e di normalizzazione a πn = 1. (qm )m>0 sono tre successioni di numeri reali con pm . .. q n se e solo se la serie n≥1 p0 . pn−1 π0 q1 . n≥0 Dalla prima equazione si trova π1 = e. . La condizione di normalizzazione pu` essere soddisfatta preno dendo   πn = −1 π0  1 + n≥1 p0 ..) mostra un caso notevole in cui l’insieme degli stati ` infinito ma si riesce ugualmente a risolvere semplicee mente entrambi i problemi.... qm ∈]0.. L’esempio seguente.

che ci servir` per enunciare una condizione necessaria e sufficiente a affinch´ una catena di Markov con insieme degli stati infinito abbia una legge e invariante. ` limitata e soddisfa la relazione (con la convenzione abituale 1/∞ = 0) e ∞ n→∞ −1 lim un = k=1 kak . k=1 25 . Enunciamo ora il seguente risultato abbastanza naturale data l’interpretazione della legge invariante. si ha n pii = k=1 (n) fii pii (k) (n−k) e. Teorema 3. Basta applicare il Teorema 3.4 Sia (ak )k≥1 una successione di numeri reali non negativi tale che ∞ ak = 1 k=1 e il massimo comune divisore dell’insieme dei numeri naturali k per i quali ak sia strettamente positivo sia 1. valgono le formule. Dimostrazione. grazie alla Proposizione 2. k=1 ∞ (k) (k) kfii = Ei [Ti ].Enunciamo il seguente teorema (vedi [2] p. La successione di numeri reali non negativi definita per ricorrenza dalle relazioni n u0 = 1. ∞ fii = 1.15. 335 oppure [3] p.4 Infatti. Teorema 3. un = k=1 ak un−k . Osserviamo che la successione (un )n≥0 qui definita ` limitata poich´ vale la e e diseguaglianza n 0 ≤ un ≤ 1≤k≤n−1 max {uk } k=1 ak per ogni intero n ≥ 1. 81 per la dimostrazione).5 Se i ` uno stato ricorrente aperiodico allora si ha e (n) lim p n→∞ ii = (Ei [Ti ]) −1 .

b ≥ 1 sono scelti in modo tale che i numeri reali pji e pji siano strettamente positivi. per la Proposizione 2. Poich´ si vede facilmente che pii ` nullo per ogni intero m ≥ 1 che non sia e e multiplo di d. si vede subito che tutti gli stati della classe C sono tutti ricorrenti nulli ovvero (n) la successione (pjj )n≥1 converge a 0 per n tendente all’infinito per ogni j ∈ C. detta C la classe a cui appartiene un eventuale stato ricorrente lento i.14. Inoltre.essendo i ricorrente. e Definizione 3. In tal caso. che vale una diseguaglianza del a tipo (a+n+b) (a) (n) (b) pjj ≥ pji pii pij dove i numeri interi a. Inoltre.15. si trova la relazione 1 n→∞ n lim n pii = (Ei [Ti ]) k=1 (k) −1 . si ottiene una contraddizione.7 Sia (Xn )n≥0 una catena di Markov irriducibile e aperiodica. poniamo (Ei [Ti ]) = 0. procedendo come nella dimostrazione del Corollario 2. come abbiamo gi` fatto molte volte. Teorema 3. Le condizioni seguenti sono equivalenti: 26 . poich´ la catena di Markov non pu` uscire da C. se i e j sono due stati comunicanti. In tal caso si ottiene (nd) lim p n→∞ ii (m) = d (Ei [Ti ]) −1 . si ha e o pkj = 1 j∈C (b) (a) (k) per ogni stato k. ricorrenti e aperiodici allora sono entrambi ricorrenti positivi o entrambi ricorrenti nulli. e Ricordiamo che Ti ` l’istante (aleatorio) del primo ritorno nello stato i che e ` quasi certamente finito per la probabilit` Pi (cio` Pi {Ti < ∞} = 1) ma pu` e a e o −1 avere speranza infinita (cio` Ei [Ti ] = +∞). Osserviamo che. il massimo comune divisore dell’insieme di numeri naturali k ≥ 1 | fii > 0 ` eguale a 1. Infatti. Infatti basta osservare. Infine. Osserviamo inoltre che il caso di uno stato ricorrente i di periodo d > 1 si pu` trattare in modo analogo considerando i come uno stato (aperiodico) della o catena di Markov (Xnd )n≥0 .6 Uno stato ricorrente i si chiama ricorrente positivo (o veloce) se Ei [Ti ] < +∞ e ricorrente nullo (o lento) se Ei [Ti ] = +∞. Si pu` verificare che una catena di Markov con insieme degli stati I finito non o ha stati ricorrenti nulli (o lenti). ragionando come nell’osservazione precedente.

ogni stato ` ricorrente positivo. 27 . si trova ∞ n→∞ lim pij (n) k=1 fij πj = πj . k∈I (11) Sommando su j troviamo poi πk = k∈I j∈I k∈I πk pkj = j∈I πj . abbiamo la diseguaglianza πj = lim j∈F n→∞ pij ≤ lim j∈F (n) n→∞ pij = 1 j∈I (n) e quindi πj ≤= 1. j si abbia (n) (n) lim pij = lim pjj = πj . otteniamo le diseguaglianze πk pkj ≤ πj k∈F e quindi. esiste una legge invariante (πi )i∈I tale che per ogni coppia di stati i. Grazie al Teorema 2. j∈I Dimostriamo ora che (πj )j∈I ` la densit` di una legge invariante per la catena e a di Markov (Xn )n≥0 . per ogni sottoinsieme finito F di I. ⇒ 2. 1. j ∈ I. a πk pkj ≤ πj . data l’arbitrariet` di F .5 (e il Teorema di Lebesgue).9 si ha n pij = k=1 (n) fij pjj (k) (n−k) e quindi. Sia F un sottoinsieme finito di I. Dimostrazione. detto πj il limite della (n) successione (pjj )n≥0 .1. (k) Inoltre. n→∞ n→∞ Se valgono le condizioni precedenti allora (πi )i∈I ` l’unica legge invariante per e la catena di Markov (Xn )n≥0 . Passando al limite nella relazione (n) (n+1) pik pkj ≤ pij k∈F per ogni i. per Corollario 3. e 2.

per ogni stato j si ha µj = k∈I µk pkj . Facendo tendere n all’infinito si trova πj = πj k∈I πk per ogni stato j da cui segue che πk = 1. Iterando le eguaglianze (11) si trovano le identit` a πj = k∈I πk pkj (n) per ogni intero n ≥ 1. k>1 = pij + 28 . Iterando n-volte si trovano le identit` a µj = k∈I µk pkj . se valgono 1. ae ı Come conseguenza di questo Teorema.Le diseguaglianze (11) sono dunque eguaglianze.5.. e allora. con 1 = j. Mostriamo infine che. tale che Ei [Ti ] = 1 πi . data una catena di Markov a stati finiti irriducibile e aperiodica esiste un’unica legge invariante π. e 2. ⇒ 1.. possiamo chiederci quando vale il tempo medio necessario per raggiungere uno stato j partendo da i. Vogliamo quindi calcolare Ei [Tj ] = k≥1 kPi {Tj = k} kPi {Tj = k}. e Per dimostrare questo basta osservare che. e a 2. k∈I Dunque (πj )j∈I ` la densit` di una legge invariante per (Xn )n≥0 . La conclusione segue immediatamente dal Teorema 3. se µ ` un’altra legge invariante. Nelle stesse ipotesi. L’unicit` ` cos` dimostrata. (n) Facendo tendere n all’infinito si ottiene la relazione µj = k∈I µk πj = πj per ogni j ∈ I. allora la legge invariante ` unica.

In questo modo abbiamo ottenuto un sistema di equazioni lineari che ci permette di calcolare le speranza Ei [Tj ] quando i = j. per ogni i. Mostrare che una legge reversibile ` necessariamente invariante. .    p 0 0 0 1−p 0 ···  p 0 0 0 0 1 − p ··· dove p ∈ (0.4 Una legge (πi )i∈I si dice reversibile rispetto ad una matrice di transizione P se. j ∈ I verifica πi pij = πj pji . e 29 . Nella prossimo capitolo. per una catena di Markov con matrice di transizione bistocastica.1 Individuare tutte le leggi invarianti della catena di Markov con matrice di transizione   0 1/2 0 0 1/2  0 1/2 1/2 0 0     0 1/2 1/2 0 0 . la distribuzione uniforme ` invariante.Siccome Pi {Tj = k} = h=j pih Ph {Tj = k − 1} per ogni k > 1. e Es 3.3 Provare che. 1). e u ESERCIZI Es 3. Mostrare che la catena di Markov ` irriducibile e aperiodica e e che la sua legge invariante ` la legge geometrica di parametro p. abbiamo che kpih Ph {Tj = k − 1} k>1 h=j Ei [Tj ] = pij + = pij + h=j k>1 kpih Ph {Tj = k − 1} pih Eh [Tj + 1] h=j = pij + = 1+ h=j pih Eh [Tj ]. cercheremo di rispondere a domande analoghe quando la catena di Markov non ` pi` irriducibile. Quando questa pu` essere una e o misura di probabilit`? a Es 3.    0 0 0 1/2 1/2  0 0 0 1/2 1/2 Es 3.2 Una catena di Markov con insieme degli stati N ha matrice di transizione   p 1−p 0 0 0 0 ···  p 0 1−p 0 0 0 ···     p 0 0 1−p 0 0 ··· .

8 Supponiamo che un’industria produca due tipi di Cola. 3. 5} e matrice di transizione del tipo   ∗ ∗ 0 0 ∗  0 ∗ ∗ 0 0    P =  0 ∗ ∗ 0 0 .9. 4.5 Classificare gli stati della catena di Markov (Xn )n≥0 con insieme degli stati S = {1. Sia C una classe di stati e sia a ∈ C. Provare che a ` ricorrente e πj > 0 per ogni j ∈ C. 2.8. Cola1 e Cola2. mentre se ha scelto inizialmente a a Cola2 sceglier` ancora Cola 2 con probabilit` 0.6 Sia (Xn )n≥0 una catena di Markov con legge invariante. Quante bottiglie in media a a berr` il compratore di Cola1 prima di passare a Cola2? a 30 . Una tale catena possiede leggi invarianti? Si pu` dire qualcosa di pi´ nel caso o u in cui si supponga che tutte le transizioni in partenza dallo stesso vertice siano equiprobabili? Es 3. π.7 Data una catena di Markov (Xn )n≥0 di transizione  ··· ··· ··· ···  · · · 2/5 1/5 2/5   · · · · · · 2/5 1/5 ··· ··· ··· ··· con insieme degli stati Z e matrice  ··· ··· ··· ···  . e Es 3. Es 3.    0 0 ∗ ∗ 0  ∗ 0 0 ∗ 0 dove il simbolo ∗ individua gli elementi della matrice strettamente positivi. 2/5 · · ·  ··· ··· Classificare gli stati e dire se esiste una legge invariante.Es 3. Sappiamo che una persona che all’acquisto abbia scelto Cola1. all’acquisto successivo sceglier` Cola 2 con probabilit` 0.

. Nella e catena di Markov che descrive la Rovina del giocatore (Esempio 1.1 Per ogni stato transiente i la successione (ui )n≥0 ` decree scente e (n) lim ui = ui . X1 ∈ T } = Pi n≥1 ui {Xn ∈ T } . n→∞ La famiglia di numeri reali (ui )i∈T soddisfa le equazioni ui = j∈T pij uj . . sorge il problema di calcolare la probabilit` di assorbimento in ciaa scuna di esse. le probabilit` di assorbimento nelle classi {0} ed {N } rappresentano le a probabilit` di rovina del giocatore e del banco. si ha (n+1) (n) ui = pij uj . partendo da uno stato transiente. quando vi sono pi` classi o u ricorrenti. vedremo come si possono calcolare semplicemente queste probabilit`. Inoltre. j∈T (n) La (12) segue passando al limite. denotiamo (n) con ui la probabilit`. a per ogni n ≥ 1.1 qui sotto) non pu` sussistere e quindi. Questo problema ` abbastanza naturale nelle applicazioni. La successione ` ovviamente decrescente poich´ le (ui )n≥0 e e rappresentano le probabilit` di una successione decrescente di eventi. allora l’unica soluzione del sistema di e equazioni (12) ` ui = 0 per ogni i ∈ T . a Denotiamo con T l’insieme degli stati transienti e. se l’insieme T ` finito.1). a u Nel caso in cui l’insieme degli stati I sia finito il primo caso (vedi Proposizione 4. a In questo paragrafo. la catena di Markov ha due possibilit` a 1) continua a muoversi tra stati transienti (sempre che ce ne siano infiniti). partendo da i di continuare passare ad altri stati trana sienti almeno fino al tempo n e con ui la probabilit` di fare questo per sempre a cio` e ui (n) = Pi {Xn ∈ T . (n) Proposizione 4. per esempio. 2) entra in una classe C di stati ricorrenti da cui non uscir` pi`. (12) In particolare. supponendo sempre che I sia finito.4 Assorbimento in classi ricorrenti Abbiamo dimostrato che gli stati transienti sono visitati solo un numero finito di volte e quindi. . . e Dimostrazione. per ogni i ∈ T . 31 .

. troviamo le diseguaglianze |ui | ≤ j∈T pij |uj | ≤ max{|uj |} j∈I j∈T (n) pij . partendo da uno stato transiente i. Calcoliamo ora la probabilit` vi che.13. . . Denotiamo con (vi )1≤n≤+∞ la legge di V per la e probabilit` Pi a vi (n) = Pi {V = n}Pi {Xn ∈ C. X1 ∈ C}. (n) Possiamo dimostrare il seguente risultato Teorema 4. la conclusione segue facendo tendere n all’infinito. 32 .l∈T = ≤ l∈T l∈I pij pjl pil ul . i∈T.2 Le probabilit` (vi )i∈C sono una soluzione limitata delle equazioni a vi = j∈C pij + j∈T pij vj . iterando la (12) abbiamo e ui = j∈T pij uj pij pjl ul j. . iterando la (12) n volte. Xn−1 ∈ C. la a catena di Markov entri in una classe ricorrente C e quindi vi rimanga definitivamente. (13) Se l’insieme degli stati I ` finito. allora le probabilit` (vi )i∈T sono l’unica e a soluzione limitata delle equazioni (13). Si vede facilmente (n) che V ` un tempo d’arresto. allora. / (∞) vi Si ha allora vi = Pi (∪1≤n<+∞ {Xn ∈ C}) = 1≤n<+∞ vi . l∈T (2) ul = Pertanto. Sia V il tempo ae a della prima entrata (detto anche tempo di assorbimento) nella classe C cio` e V = inf Tj j∈C (dove Tj denota il tempo della prima entrata nello stato j). / / = Pi {V = +∞} = Pi (∩1≤n<+∞ {Xn ∈ C}) . Questa probabilit` ` detta probabilit` di assorbimento. (n) Grazie al Corollario 2.Se l’insieme T ` finito.

. si ottiene vi = v (1) + 2≤n<+∞ v (n) pij vj 2≤n<+∞ j∈T (n−1) = j∈C pij + pij + j∈C j∈T = pij vj Dunque (vi )i∈T soddisfa le equazioni (13). e allora la differenza (ui )i∈I ui = vi − wi ` una soluzione di (12) ed essendo I e finito ` nulla. ... . .1 Riprendiamo l’Esempio 1... per ogni n ≥ 2. Sia N ≥ 2 un numero naturale fissato e p... X2 ∈ T } pij Pj {Xn−1 ∈ C. (wi )i∈I sono due soluzioni di (13).. e e ESEMPIO 4.. . La conclusione ` ora evidente. 0 0 0 p 0 ..... . Se l’insieme degli stati I ` finito e (vi )i∈I . X1 ∈ T } j∈T = = j∈T pij vj (n−1) .. . . q 0 p 0 0 0 0 . .. N } con matrice di transizione   1 0 0 0 . .. 0 p 0 0 0   0 0 0 0 . . .. .. . 2. . q due numeri reali strettamente positivi tali che p + q = 1. . . Il calcolo della probabilit` a 33 . . Sommando le relazioni precedenti. .. X1 = j} j∈T = j∈T pij Pj {Xn ∈ C. Xn−1 ∈ T . . vi (n) (1) = Pi {X1 ∈ C} = j∈C pij = Pi {Xn ∈ C. 1... 0 0 1 La catena di Markov in questione ha evidentemente due classi ricorrenti {0} e {N } e tutti gli stati 1. Xn−1 ∈ T .Dimostrazione. . . . 0.. Xn−1 ∈ T . X1 ∈ T } = Pi {Xn ∈ C.1. ... . N − 1 sono transienti. 0 0 0 q 0   0 p .   0 0 . . X2 ∈ T . Si ha evidentemente vi e. 0 0 0 0 q   0 . . . Consideriamo una catena di Markov con insieme degli stati {0. ..

. X1 ∈ T } = ui . che in questo caso si scrivono e v1 vi vN −1 = q + pv2 = qvi−1 + pvi+1 = qvN −2 se 2 ≤ i ≤ N − 2 Ponendo quindi. per N → +∞. per ogni intero n ≥ 1. o Osserviamo che. le probabilit` di assorbimento (vi )1≤i≤N −1 in {0}. il giocatore con capitale iniziale i ha probabilit` vicina a (q/p)i di diventare ricchissimo (sbancando l’avversario). Calcoliamo. . N − 1} nelle classi ricorrenti {0} e {N }. (q/p)i se q < p. . a Una procedura a quella indicata per il calcolo delle probabilit` di assorbia mento permette di dedurre un metodo per il calcolo dei tempi medi di assorbimento in una classe ricorrente in un caso particolare notevole. 2. (q/p)i − (q/p)N 1 − (q/p)N Questo indica che. Teorema 4. Cominciamo con l’osservare che. . le vi convergono verso vi = 1 − 1 se q ≥ p. per N molto grande. . . Poich` l’insieme a e degli stati ` finito le equazioni (13). I tempi medi di assorbimento wi = Ei [V ] di uno stato transiente i nella classe C sono finiti e coincidono con l’unica soluzione limitata (wi )i∈T delle equazioni wi = 1 + pij wj . .suddetta equivale quindi al calcolo delle probabilit` di assorbimento vi degli stati a transienti i ∈ {1. si ha u Pi {V > n} = Pi {Xn ∈ T .3 Supponiamo l’insieme degli stati I sia finito ed esista un’unica classe ricorrente C. Ci` risolve il problema posto. . per esempio. (14) j∈T Dimostrazione. con le notazioni utilizzate pi` sopra. (n) 34 . si trova vi = se p = q e i N se p = q = 1/2. . . con v0 = 1 e vN = 0 come “condizioni al bordo”. . come ` naturale v0 = 1 e vN = 0 si trova e vi = qvi−1 + pvi+1 per ogni i ∈ {1. . N − 1}. Risolvendo questo sistema di equazioni a differenze finite.

X1 ∈ T } + n=1 nPi {V = n. Ci` dimostra la prima affermazione. poich´ l’insieme degli stati I ` finito. per ogni j ∈ T . . per ogni i ∈ T . . Dalla (15) si ha pertanto la diseguaglianza ui dalla quale segue che +∞ +∞ (n) ≤ M [n/m] Ei [V ] = n=0 Pi {V > n} ≤ n=0 M [n/m] ≤ (M (1 − M 1/m ))−1 < +∞.Inoltre. Possiamo quindi scegliere un numero naturale m abbastanza grande in modo tale che.13. in modo tale che il numero reale e e M     (m) M = max pij i∈T   j∈T risulti strettamente minore di 1.1). valga la diseguaglianza pij j∈T (m) <1 ovvero. Per completare la dimostrazione baster` o a far vedere che i tempi medi di assorbimento (wi )i∈T soddisfano le equazioni (14) infatti la soluzione di tali equazioni ` unica per il Corollario (4. ui (n+1) = j∈T pij uj (n) si ottengono facilmente per iterazione le diseguaglianze ui (n+m) ≤ j∈T pij uj (m) (n) per ogni intero m ≥ 1. la successione (pij )m≥1 converge verso 0 per m tendente a +∞. . |X1 = j} + 35 . dalla relazione trovata precedentemente. X1 ∈ C} pij j∈C = n=2 n j∈T pij P{Xn ∈ C. Si hanno inoltre le diseguaglianze ui (n+m) ≤ max{uj } j∈T j∈T (n) pij (m) (15) (m) Grazie al Corollario 2. Questo segue e dalle identit` seguenti a ∞ Ei [V ] = n=1 ∞ nPi {V = n} ∞ = n=1 ∞ nPi {V = n. Xn−1 ∈ T .

0 0 0  0 N N   ... NN N   N −1 1   0 0 0 0 0 ..2 Il collezionista di figurine. . . . 0 0 1 ` E chiaro che gli stati 0.. e L’evoluzione della collezione si pu` descrivere con una catena di Markov (Xn )n≥0 o con insieme degli stati {0..∞ = n=2 n pij Pj {Xn−1 ∈ C. . in media. Ci` conclude la dimostrazione... 0 N N 0 0 0 0 0 . pu` accadere che trovi pi` volte la stessa figurina. vedendo la figurina contenuta in ogni busta solo ` dopo l’acquisto... . perch´ il tale completi l’album. Con facili calcoli si ha infine ∞ Ei [V ] = j∈T pij n=1 ∞ (n + 1)Pj {V = n} + j∈C pij ∞ = j∈T pij n=1 nPj {V = n} + j∈T pij + n=1 Pj {V = n} j∈C pij = j∈T pij Ej [V ] + j∈T pij + j∈C pij = 1+ j∈T pij Ej [V ]. La matrice di transizione ` evidentemente la e matrice   0 1 0 0 0 .. . .. . N −k+1 k=1 Nel caso in cui vi siano pi` classi ricorrenti ` chiaro che i tempi di assorbiu e mento in una di esse potrebbero essere uguali a +∞ con probabilit` strettamente a 36 . N } convenendo che Xn rappresenti il numero di figurine al giorno n e X0 = 0. Xn−2 ∈ T . ....   −2 2  0 0  0 0 0 0 . . o ESEMPIO 4. E spontaneo o u chiedersi quanti giorni occorreranno. . 1.. Evidentemente.. Il e tempo medio per il completamento dell’album ` rappresentato dal tempo medio e di assorbimento nella classe ricorrente {N }. .. Grazie ai risultati precedenti.} + j∈T ∞ j∈C pij = j∈T pij n=2 nPj {V = n − 1} + j∈C pij . . 0 0 0 1 N −1  0 0 0 .... . N − 1 sono transienti e lo stato N ` ricorrente.. ... . ... .. Un tale acquista ogni giorno una bustina contente una figurina con lo scopo di completare un album con N figurine distinte. . 0 0 0  N N   N −2 2  0 0 . .. .. si trova N N E0 [TN ] = ≈ N log(N + 1).

wN −1 = 1 + wN −2 . le wi soddisfano le equazioni wi = 1 + qwi−1 + pwi+1 . Si vede subito che una soluzione particolare della prima equazione (16) ` data da ui = i/(q − p) e quindi tutte le soluzioni e sono date da i q i wi = c1 + c2 + . . per per i = 1. (16) La seconda equazione ` modificata. Infatti. se la catena di Markov. N − 2. Consideriamo dapprima il caso p = q = 1/2. . . Vogliamo calcolare il tempo medio della durata del gioco nel caso in cui il giocatore sia rovinato ovvero wi = Ei [ T0 | T0 < ∞ ] . . Il Teorema 4. . N − 1. i = 1. i = N − 1.positiva. Consideriamo poi il caso p = q. a arrivando in N − 1 la catena di Markov deve ritornare in N − 2. . per e tenere conto del fatto che stiamo calcolando la speranza rispetto alla probabilit` condizionata Pi { · | T0 < ∞ } per la quale si ha P{Xn = N } = 0 e quindi. Si verifica facilmente che una soluzione particolare ` data da ui = −i2 . T = {1. a In questo caso baster` risolvere un sistema di equazioni simile a (14) come a mostra la seguente applicazione alla rovina del giocatore in cui C = {0}. .3 Riprendiamo l’Esempio 1. Le soluzioni delle equazioni 1 1 wi = 1 + wi−1 + wi+1 2 2 hanno la forma (soluzioni dell’equazione omogenea associata pi` una soluzione u particolare (ui ) dell’equazione non omogenea. Nel caso in cui si verifichi questo evento.3 non si pu` applicare direttamente. Con e questa scelta le wi qui sopra soddisfano (16) se e solo se w0 = 0 e wN −1 = 1+wN −2 ovvero se e solo se c1 = 0 e c2 = 2(N −1). linearmente indipendente dalle soluzioni precedenti dell’equazione omogenea) wi = c1 + c2 i + ui . N − 1} e C2 = {N }. . e che abbia probabilit` a strettamente positiva. Posto w0 = 0. I tempi medi di assorbimento sono quindi dati da wi = 2(N − 1)i − i2 . .1 Rovina del giocatore. entra in una classe ricorrente C non potr` pi` uscire ed entrare in un’altra classe a u ricorrente C2 . . ESEMPIO 4. il tempo di assorbimento in C2 sar` quindi uguale a +∞ a ed evidentemente anche la sua speranza. partendo dallo stato transiente i. . . Il tempo medio di assorbimento sar` a quindi uguale a +∞. rispetto alla corrispondente di (14). p q−p 37 . o Una piccola variante permette per` di calcolare il tempo medio di assoro bimento per la probabilit` condizionata all’evento costituito dall’entrata della a catena di Markov nella classe ricorrente della quale si vuole calcolare il tempo medio (rispetto alla probabilit` condizionata!) di assorbimento.

2/3). 1} e {3} o sono classi ricorrenti. 0 1/3  0 1 Quindi lim P (n) 1/3  1/3 =  2/9 0 38  n→∞ . Si pu` verificare facilmente che {0.0 (n) = 21 2 = .Le wi qui sopra soddisfano (16) se e solo se w0 = 0 e wN −1 = 1 + wN −2 ovvero se e solo se −N q 2 . Partendo dallo stato 2. il processo e verr` assorbito in una delle due classi e le probabilit` di assorbimento nelle a a singole classi si ottengono risolvendo un sistema. 1}. Siccome possiamo scrivere p2. possono essere utilizzati per studiare il comportamento limite della catena di Markov. che risulta e (1/3. per cui ` possibile calcolare la legge limite.4 I metodi studiati per determinare le probabilit` di assorbimento a nelle classi ricorrenti. passando al limite si ha che (n) lim p n→∞ 2. Consideriamo la matrice di transizione   1/2 1/2 0 0  1/4 3/4 0 0   P =  1/4 1/4 1/4 1/4  . Quindi. cancellando le ultime due righe e colonne. Xm ∈ {0. . . si ottiene risolvendo a v= 1 1 + v. 33 9 2/3 2/3 4/9 0  0 0 0 0  . otteniamo una nuova matrice di transizione 1/2 1/2 1/4 3/4 irriducibile e aperiodica. N − 1. . 2. 2 4 2 cio` v = 3 .7. 1}. c1 = −c2 c2 = − (1 − p/q)2 p I tempi medi di assorbimento sono quindi dati da wi = 2 i + q − p (1 − p/q)2 q p −N i−N − q p . Se restringiamo l’attenzione alla classe ricorrente {0. per qualche m ≤ n|X0 = 2}. In particolare. i = 1. 3}. 0 0 0 1 sullo spazio degli stati {0. .0 = P{Xn = 0. quando non sono soddisfatte le ipotesi del Teorema 3. ESEMPIO 4. mentre {2} ` transiente. la probabilit` di assorbimento nella classe {3} sar` pari e a a a 1 − v = 1/3. 1. avremo che la probabilit` di assorbimento nella classe {0. 1} con matrice di transizione ottenuta da P .

La stessa tecnica non pu` essere applicata se le classi ricorrenti non sono o aperiodiche. Infatti, consideriamo il seguente esempio. Data la matrice di transizione   1/2 1/2 0 0 0 0  1/3 2/3 0 0 0 0      1/3 0 01/3 1/6 1/6  P =  1/6 1/6 1/6 0 1/3 1/6     0 0 0 0 0 1  0 0 0 0 1 0 con spazio degli stati {0, 1, 2, 3, 4, 5}. Ci sono due classi ricorrenti C1 = {0, 1} e C2 = {4, 5}. La legge limite per la classe C1 ` (2/5, 3/5). La classe C2 ` periodica, quindi pij non converge e e n−1 1 per i, j ∈ C2 . Converge, comunque, il tempo medio ossia limn→∞ n m=0 pm = ij 1/2. Allora, calcolate le probabilit` di assorbimento nelle classi C1 e C2 partendo a dalla classe transiente {2, 3}, si pu` ottenere o  2/5 3/5 0 0 0 0  2/5 3/5 0 0 0 0  n−1  (8/17)(2/5) (8/17)(3/5) 0 0 (9/17)(1/2) 1 (9/17)(1/2) m P = lim  (7/17)(2/5) (7/17)(3/5) 0 0 (10/17)(1/2) (10/17)(1/2) n→∞ n  m=0  0 0 0 0 1/2 1/2 0 0 0 0 1/2 1/2 ESERCIZI Es 4.1 Data una catena di Markov con insieme degli stati {1, 2, 3, 4, 5} e matrice di transizione   1/5 1/5 1/5 1/5 1/5  1/3 1/3 1/3 0 0    1/3 1/3 1/3 0  P = 0    0 0 0 2/3 1/3  0 0 0 1/2 1/2 Determinare quali sono gli stati ricorrenti e gli stati transienti. Calcolare la probabilit` di assorbimento degli stati transienti negli stati ricorrenti. Calcolare a la probabilit`, partendo dallo stato 1, di arrivare nello stato 4 senza passare a dallo stato 3. Es 4.2 Un pezzo semilavorato entra in una linea produttiva da cui pu` uscire o difettoso con probabilit` 0.2 oppure ricuperabile con probabilit` 0.3 oppure a a buono con probabilit` 0.5. I pezzi difettosi sono scartati, i pezzi buoni vengono a portati in magazzino come pezzi finiti; i pezzi ricuperabili rientrano nella linea produttiva per essere nuovamente lavorati. Descrivere il processo di lavorazione mediante una catena di Markov. Sapendo che un pezzo ` ricuperabile, calcolare e la probabilit` che dopo due processi di lavorazione sia classificabile come buono. a 39

    .   

Calcolare la probabili` che alla fine del ciclo produttivo un pezzo recuperabile sia a buono. Calcolare il tempo medio di un ciclo produttivo di un pezzo recuperabile. Es 4.3 un giocatore muove la pedina tra i vertici (numerati da 1 a 4) e il centro (0) di un quadrato con la seguente ”strategia”. Ad ogni passo lancia un dado a 4 facce equilibrato: se la pedina si trova in 0, si muover` nel vertice con a numero pari al risultato del dado. Se la pedina si trova in un diverso vertice, questa si sposter` in 0 se il risultato del lancio ` pari, altrimenti avanzer` di a e a una posizione in senso antiorario sul perimetro esterno del circuito. Se la pedina parte, al tempo iniziale, dal vertice 1, qual ‘’e il tempo medio necessario perch´ e la pedina visiti il vertice 0 per la prima volta? Qual ` la probabilit` che la e a pedina visiti il vertice 0 per la prima volta senza passare mai dal vertice 4? Es 4.4 Una moneta equilibrata ` lanciata ripetutamente fino a che non si ote tengono come risultati due ”teste” consecutive. Indicare con Xn il numero di ”teste” consecutive ottenute dopo l’n−esimo lancio. Trovare il numero medio di lanci richiesti.

40

5

Criteri di transienza o ricorrenza

La caratterizzazione degli stati ricorrenti del Teorema 2.11 ` spesso difficilmente e utilizzabile nelle applicazioni. In questo paragrafo dimostreremo due criteri per classificare gli stati di una catena di Markov irriducibile. Teorema 5.1 Sia (Xn )n≥0 una catena di Markov irriducibile con insieme degli stati I. Condizione necessaria e sufficiente affinch´ ogni stato sia transiente ` e e che esista una famiglia (yj )j∈I limitata e non costante che soddisfi le equazioni pjk yk = yj ,
k∈I

(17)

per tutti gli stati j ∈ I tranne al pi` uno. u Dimostrazione. Denotiamo con z l’unico stato che eventualmente non soddisfa la (17). Consideriamo la catena di Markov (Xn )n≥0 con matrice di transizione pij se i = z, pij = ˜ δij se i = z, ottenuta dalla (Xn )n≥0 trasformando lo stato z in uno stato assorbente. Cominciamo col far vedere che la condizione ` necessaria. La catena di Markov e (Xn )n≥0 ` transiente; dunque esiste almeno uno stato i = z per il quale si abbia e
∗ fiz = Pi {Tz < +∞} < 1.

Consiamo allora le probabilit` di assorbimento in z (˜j )j≥0 relative alla catena a v di Markov (Xn )n≥0 e poniamo v0 = 1. Osserviamo che ˜ vj ˜ ˜ = Pj ∪∞ {Xn = z} n=1

˜ = Pj {X1 = z} +
n=2 ∞

˜ ˜ ˜ Pj {Xn = z, Xn−1 = z, . . . , X1 = z} Pj {Xn = z, Xn−1 = z, . . . , X1 = z}
n=2

= Pj {X1 = z} +

∗ = Pj (∪∞ {Xn = z}) = fjz < 1 n=1

per qualche j = z. Perci`, grazie al Teorema (4.2), ` verificata l’equazione o e

pjk vk = vj ˜ ˜ ˜
k∈I

per ogni j ∈ I ovvero la successione limitata e non costante (˜k )k≥0 soddisfa le v equazioni (17).

41

k=0 per ogni j>0 e k→∞ lim yk = +∞. Se la catena di Markov (Xn )n≥0 fosse ricorrente. la diseguaglianza ∞ pjk yk ≤ yj ˜ k=0 (19) vale per ogni j ≥ 0.2 Sia (Xn )n≥0 una catena di Markov irriducibile con insieme degli stati N. Utilizzeremo le stesse notazioni della dimostrazione del ` Teorema 5. si avrebbe (n) lim pjz lim Pj {Xn = z} = lim Pj {Tz ≤ n} = 1 ˜ n→∞ n→∞ n→∞ da cui. Una soluzione limitata e (yk )k≥0 delle equazioni (17) soddisfa evidentemente le equazioni ∞ pjk yk = yj ˜ k∈I per ogni stato j.2.Dimostriamo ora che la condizione ` sufficiente. |yj − yz | = = n→∞ lim |yj − pjz yz | ˜ pjk yk ˜ k=z (n) (n) n→∞ lim ≤ sup |yk | · lim k=z n→∞ pjk ˜ k=z (n) = sup |yk | · lim (1 − pjz ) = 0. (18) Dimostrazione. per ogni j = z. Inoltre la successione (yj )j≥0 ` limitata inferiormente e e perci`. E chiaro che. considerando eventualmente una successione della forma (yj + c)j≥0 o 42 . ˜ k=z n→∞ (n) Ci` implica che la famiglia (yk )k∈I ` costante. Iterando n volte queste relazioni si trovano le identit` a ∞ pjk yk = yj ˜ k∈I (n) per ogni stato j e n ≥ 1. Condizione sufficiente affinch´ ogni stato sia ricorrente ` che esista una e e successione (yj )j≥0 tale che ∞ pjk yk ≤ yj . o e Teorema 5.

lo stato 0 ` e ricorrente e tutti gli altri stati sono transienti poich´ e Pj ∩∞ {Xn = j} ≥ Pj (∩∞ {Xn = 0}) > 0 n=1 n=1 per ogni j > 0 essendo la catena di Markov irriducibile. Iterando n volte l’equazione 19 otteniamo le diseguaglianze ∞ pjk yk ≤ yj ˜ k=0 (n) per ogni j ≥ 0 ed ogni n ≥ 1. j) = (0. Ne segue che  (n) lim p ˜ n→∞ i0 j>0  (n) pij  = 1. passando al limite. troviamo l’eguaglianza P0 (∪∞ {Xk = 0}) = p00 + k=1 j>0 n→∞ n→∞ lim Pi (∪n {Xk = 0}) k=1 lim Pi {Xn = 0} =1 (n) lim p ˜ n→∞ i0 p0j Pj (∪∞ {Xk = 0}) k=1 43 . la successione ( a per ogni (i. Nella catena di Markov (Xn )n≥0 . Per ogni stato i ≥ 0 possiamo scrivere le diseguaglianze M (ε) pij ˜ j>0 (n) = j=1 M (ε) pij + ˜ j>M (ε) (n) pij ˜ (n) ≤ j=1 M (ε) pij + ε ˜ j>M (ε) (n) pij yj ˜ (n) ≤ j=1 pij + εyi . data l’arbitrariet` di ε.con c > 0. 0 ≤ lim sup n→∞ j>0 pij ≤ εyi ˜ pij )n≥0 converge verso 0 ˜ (n) (n) ovvero. 0). possiamo supporre che la (yj )j≥0 sia a valori strettamente positivi. ˜ = lim 1 − n→∞ j>0 Osservando che Pi (∪∞ {Xk = 0}) k=1 = = = per ogni i > 0. Fissato ε > 0 sia M (ε) un intero tale che yj > ε−1 per ogni j > M (ε). ˜ (n) Quindi.

k=0 ha soddisfa le condizioni f (0) = a0 > 0. 1] → [0. η→1− lim f (η) = λ. La successione (ξ j )j≥0 soddisfa le (5.1) se e solo se ∞ ak−j+1 ξ k = ξ j . ESEMPIO 5. Utilizzando i a Teoremi 5. esiste un numero reale ξ0 ∈]0. Per verificare l’affermazione b) basta verificare che la successione (j)j≥0 soddisfa le 18. k=0 La funzione f : [0.2 possiamo dimostrare che la catena di Markov `: e a) transiente se λ > 1. 1[ tale che f (ξ0 ) = ξ0 . Ci` conclude e o la dimostrazione. La j successione (ξ0 )j≥0 ` quindi una soluzione limitata non costante delle equazioni e 5.1) della forma yj = ξ j con ξ ∈]0. sotto le condizioni 0 < a0 < 1. grazie al Lemma di Abel. se λ > 1. 1]. 1[.1 Consideriamo la catena di Markov dell’Esempio 1.6. Supponiamo quindi che queste condizioni e siano verificate e denotiamo ∞ λ= k=1 kak il numero medio di clienti che arrivano in una unit` di tempo. f (ξ) = ∞ ak ξ k .4 abbiamo verificato che.1 e 5. 0 < a0 + a1 < 1 la catena di Markov ` irriducibile. Nell’Esempio 2. Per ogni j > 0 si ha infatti ∞ ∞ pjk yk k=0 = k=j−1 ak−j+1 k 44 . f (1) = 1 e. Pertanto. k=j−1 per ogni j > 0 ovvero ∞ ak ξ k = ξ. b) ricorrente se 0 < λ ≤ 1. Per verificare l’affermazione a) cerchiamo una soluzione limitata e non costante delle equazioni (5.= p00 + j>0 p0j = 1 che implica che 0 ` ricorrente per la catena di Markov (Xn )n≥0 .2.

∞ = k=0 ∞ ak (k + j − 1) ∞ = k=0 kak + (j − 1) k=0 ak = j + λ − 1 ≤ j. ESEMPIO 5. 45 .2 Passeggiata casuale su N (vedi Esempio 1. Si pu` dimostrare inoltre (ma ` piuttosto laborioso) che gli stati sono ricorrenti o e positivi se m < 1 e ricorrenti nulli se m = 1.4).

Dunque la matrice R = (1 − c)−1 (P k − cQ) ` una matrice stocastica e la matrice e P k si pu` scrivere nella forma o P k = cQ + (1 − c)R. Cominciamo introducendo una distanza tra le leggi di probabilit` su I nel modo seguente a µ−ν = k∈I |µk − νk |. 1] c= j∈I i∈I inf pij (k) sia strettamente positivo allora la catena di Markov ha un’unica legge invariante π e. j e (pij − cqij ) = j∈I j∈I (k) pij − c j∈I (k) qij = 1 − c. Si dimostra facilmente che l’insieme delle leggi su I munito di questa distanza ` e uno spazio metrico completo.1 Se esiste un intero k ≥ 1 per il quale il numero reale c ∈ [0. νQ coincidono e si trova subito la diseguaglianza µP k − νP k = (1 − c) µR − νR ≤ (1 − c) µ − ν . cos` definita ı (20) Consideriamo la matrice di transizione Q = (qij )i. 46 .6 Convergenza verso la legge invariante Mostreremo ora come si pu` ottenere semplicemente una stima della velocit` di o a convergenza verso la legge invariante. j∈I ≤ k∈I |µk − νk | Teorema 6. l∈I (k) Si tratta evidentemente di una matrice stocastica per come ` definito il numero e (k) reale c. Per ogni coppia µ. Inoltre si ha pij ≥ cqij per ogni coppia di stati i. Osserviamo inoltre che ogni matrice di transizione P agisce come una contrazione sulle leggi su I. ν di leggi su I le leggi µQ. Dimostrazione. per ogni legge µ su I ed ogni intero n ≥ 1 vale la diseguaglianza µP n − π ≤ (1 − c)[n/k] µ − π . Si ha infatti µP − νP = j∈I k∈I (µk − νk )pkj   pkj  = µ − ν .j∈I qij = c−1 inf plj .

2. Ci` dimostra e o che π ` l’unica legge invariante.Ne segue che l’applicazione µ → µP k ` una contrazione stretta nello spazio e metrico completo delle leggi su I e quindi possiede un unico punto fisso π. dunque anche la legge πP ` un punto fisso per µ → µP k e. Osservare che. per ogni intero n ≥ 1. se e m = [n/k]. si ha mk ≤ n e dn ≤ dmk ≤ (1 − c)m µ − π . posto dn = µP n − π . Dalla relazione π = πP k si ottiene subito πP = (πP )P k . si ha µP nk − π ≤ (1 − c)n µ − π e. pertanto. per k = N .1 Applicazione al problema del collezionista di figurine dell’Esempio 4. 47 . coincide con π. Quindi. Infine. la successione (dn )n≥0 ` non crescente. ESEMPIO 6. dimostrare la diseguaglianza 20. si ha c = N !/N N . basta e osservare che.

48 . definita da (21). Proposizione 7. a Prima di enunciare la proposizione principale di questo capitolo.1 Sia π una distribuzione di probabilit` non uniforme. Il commesso deve visitare N citt` in N a giorni. N } →]0. si stanno a e utilizzando nella teoria dei problemi inversi di ricostruzione di immagini per calcolare il valore medio di una variabile aleatoria e quindi per approssimare il calcolo di integrali. indipendentemente dalla legge iniziale scelta. Poniamo a  se πj ≥ πi . ad ogni istante. o con un’assegnata distribuzione π. . per il Teorema 3. L’idea ` la seguente: supponiamo di poter costruire una catena di Markov e (Xn )n∈N irriducibile e aperiodica. quando n → +∞. N } che. per la ricerca dei punti di minimo assoluto di una funzione V : {1. . Stesse tecniche. col a u passare del tempo la probabilt` di entrare negli stati in cui V ha valore grande ` a e sempre pi´ piccola. . in generale non omogenea. ha π come unica legge invariante. . La a catena di Markov associata alla matrice di transizione P . utilizzando la modellizzazione fornita dalla teoria sulle catene di Markov. consideriamo una matrice stocastica simmetrica e irriducibile Q = (qij )i. noto come algoritmo di Metropolis. l’algoritmo di Metropolis cerca i punti di minimo assoluto seguendo l’evoluzione di una opportuna catena di Markov. tale che πj > 0. Questo problema ha una classica applicazione nella risoluzione del cosiddetto ”problema del commesso viaggiatore”.  qij π se πj < πi . Tale algoritmo ` particolarmente efficace quando N ` molto grande. converger` a π. . Se noi simuliamo l’evoluzione della catena. che ` un numero dell’ordine di 10162 . rimanendo un giorno in ognuna e si chiede in che ordine le deve visitare in modo da minimizzare il costo dei viaggi. l’algoritmo e e banale consistente nel calcolo e confronto dei valori assunti dalla funzione V ` e troppo costoso in termini di tempo. +∞[. 2. Lo stesso algoritmo si pu` utilizzare per simulare la scelta di uno stato i ∈ I. per ogni j ∈ I. 2. qij πj pij = (21) i  1 − j=i pij se i = j.3. Infatti i ”classici ”metodi di simulazione sono inutilizzabili se la cardinalit` di I ` molto grande. . In questo modo la catena di Markov dovrebbe ”convergere” u ai punti di minimo assoluto non arrestandosi nei punti di minimo relativo. Se le citt` in questione sono ad a esempio i capoluoghi di provincia italiani. . con insieme degli stati I = {1.j∈I e π una legge di probabilit` su I. allora N = 102 e i possibili itinerari sono N !. la legge di Xn al tempo n.7 Algoritmo di Metropolis In questo capitolo studieremo un algoritmo. e In particolare. con un’unica legge limite π. ha probabilit` maggiore di entrare negli stati nella quale V ha valore pi´ piccolo e. quindi. .

Possiamo. Quindi. e i = j. Il metodo per simulare la catena di Markov associata alla matrice P si chiama algoritmo di Metropolis. se i = j. si ottiene che pi 0 i 0 = 1− j=i0 pi0 j pi0 j − pi0 j0 j=i0 . associata a una matrice di transizione P (costruita a partire da una qualunque matrice simmetrica e irriducibile Q) irriducibile e aperiodica. Si dimostra facilmente che P = (pij )i. data da (21) e si simula la catena di 49 . ESEMPIO 7. quindi π ` una legge invariante e e e per P . Infatti. Vediamo alcune applicazioni. Inoltre. ` possibile costruire e e una catena di Markov. consideriamo l’insieme M = {i ∈ I : πi = maxj∈I πj }. se π non ` uniforme. Quindi l’irriducibilit` a di P segue dalla scelta di Q. Infatti. di voler simulare la scelta di un numero i ∈ E a caso con una legge assegnata π. tali che qi0 j0 > 0. infatti (πP )j = i πi pij πj pji = πj . si costruisce P . Siccome Q ` irriducibile esistono i0 ∈ M e j0 ∈ M c .Dimostrazione.4). cio` π ` reversibile per P (vedi Esercizio 3. si ha che πi pij = πj pji . allora.j∈I ` ancora una e matrice stocastica. A partire da una matrice simmetrica e irriducibile Q. Inoltre si e ha che πi0 > πj0 per definizione di M . i = Si osserva anche che P ` una matrice irriducibile.1 Supponiamo. Come abbiamo gi` osservato.j0 qi0 j − qi0 j0 1− πj0 πi 0 πj0 πi 0 ≥ qi0 i0 + qi0 j0 ≥ qi0 j0 1− πj0 πi 0 > 0. se i → πi non ` costante. sapendo che pij ≤ qij . se gli stati i. tale che ammetta π come legge limite. per definizione pij > 0. j ∈ I. Inoltre. a i metodi ”classici” di generazione di numeri casuali spesso sono inapplicabili se la cardinalit` di E ` molto elevata.j0 = 1− ≥ 1− j=i0 . Abbiamo quindi dimostrato che. ad esempio. allora P ` e e aperiodica. sono tali che qij > 0. per` costruire una variabile a e o aleatoria con legge approssimativamente uguale a π.

in generale. π ε converge alla distribuzione uniforme su i1 . alla ricerca dei punti di minimo assoluto di una funzione V . Osserviamo che se ε ` piccolo. mentre con probabilit` 1 − πj si rifiuta la a i a i transizione e si lascia Xn+1 = i... . 50 . la legge su {0. . . .. la catena di Markov non omogenea (Xn )n≥0 che ha P (εn ) come matrice di transizione al tempo n converge in legge verso la legge uniforme sui punti di minimo assoluto di V .. ... Consideriamo. ik sono punti di minimo e o assoluto per V . . N } non uniforme π ε data da ε πi = e−V (i)/ε . .. in generale. 1 3 3 3 1 2 0 0 0 0 . allora per ε → 0. .. 0 0 0  3 3   3 1 1 1  0 .. .. Si pu` anche dimostrare che prendendo una successione (εn )n≥0 convergente o verso 0 abbastanza lentamente. . .... si pu` costruire a partire da (21) una matrice di transizione P (ε).. Ritorniamo ora al problema del commesso viaggiatore e. Scelta una matrice simmetrica e irriducibile ` Q.. 0 0 0 3 3 1 1  1 0 .. . 0 3 3 In questo caso per determinare la probabilit` di transizione (P (ε))ij con i fissato a occorre calcolare i valori di V in al pi´ due punti. . Questa procedura. la distribuzione π ε si concentra su quegli stati e su cui V ` piccola.. . . . ..   1 1   0 0 0 0 . . per ogni ε > 0. 0 0 0  3 3 3  Q=  . ik . altrimenti si π π pone Xn+1 = j con probabilit` πj ... Ad esempio possiamo scegliere   2 1 0 0 .Markov (Xn )n associata. . .. .. come nell’esempio precedente. . N } e quindi non avremmo aggirato l’ostacolo iniziale se non scegliessimo una matrice Q con molti elementi nulli. Questo significa che se Xn = i ` sufficiente scegliere e a caso j con legge qij dopo di che se πj ≥ πi si pone Xn+1 = j. Si pu` anzi dimostrare che se i1 .. Zε con Zε costante di normalizzazione. E chiaro o che per calcolare la matrice P (ε).. A questo punto si pu` u o procedere con la simulazione della catena di Markov associata alla matrice P (ε). in cui si fa variare il valore di ε a viene chiamata simulated annealing ed ` un’utile tecnica per certi problemi e di ottimizzazione. La dimostrazione ` piuttosto e tecnica e sar` omessa. ... dovremmo calcolare il valore della funzione V per tutti gli interi i ∈ {0. .

per s ≤ τ ≤ t a pij (s. risulter` P (s. si ha che. h→0+ 51 . . t) = P (s. Come nel caso discreto. dal teorema della probabilit` totale. s) = I e a a o j∈E pij (s. dove I ` un intere vallo della retta reale. l’evoluzione di una catena di Markov a tempo continuo ` governata dalle funzioni di transizione e pij (s. diventa a P (t + h) = P (t)P (h). . ma per ogni e t > 0. Tale definizione estende in maniera naturale la (1) nel caso continuo. Nel seguito tratteremo solo catene di Markov a tempo continuo omogenee. t) = 1. . t))i. t1 . j appartenente all’insieme degli stati E e s ≤ t. t) si pu` ancora vedere come elemento di una matrice stocastica. per ogni i. Utilizzando la notazione matriciale P (s. t). per ogni scelta di t0 . indichiamo e P (s. s + τ ) ` indipendente da s. Una volta fissati s e t.j∈E . pij (s. t) = P{X(t) = j|X(s) = i}. ` un sistema a stati discreti E e tempo continuo in cui e l’evoluzione della variabile di stato X(t) ` caratterizzata dalla propriet` markoe a viana P{X(tk+1 ) = xk+1 |X(tk ) = xk . Se assumiamo in aggiunta che t→0+ (24) lim P (t) = I. Inoltre l’identit` (22) pu` essere scritta come P (s. Infatti. . si ha che X(t) condensa tutta l’informazione passata (per τ ≤ t) ai fini della valutazione probabilistica dell’evoluzione della catena di Markov a tempo continuo per τ > t. (23) per s ≤ τ ≤ t. . . (22) che ` l’equivalente dell’equazione di Chapman–Kolmogorov nella sua versione a e tempo continuo. Anche nel caso continuo. In particolare.8 Catene di Markov a tempo continuo Una catena di Markov a tempo continuo (X(t))t∈I . τ )prj (τ. tk+1 tale che t0 ≤ t1 ≤ · · · ≤< tk+1 . . o Infatti. si ha che h→0+ lim P (t + h) = lim P (t)P (h) = P (t). In particolare si avr` a che P (s. ovvero catene di Markov a tempo continuo dipendenti da s e t esclusivamente attraverso la differenza τ = t − s. τ )P (τ. s + τ ) = P (τ ). X(t0 ) = x0 } = P{X(tk+1 ) = xk+1 |X(tk ) = xk }. In questo caso l’identit` (23). dalla (24) e si ricava facilmente che P (t) ` continua non solo in 0. t) = r∈E pir (s. si definisce la classe delle catene di Markov omogenee. . t) = (pij (s. Con un abuso di linguaggio. t).

ma anche differena o e ziabile. (24) diventa P (t) = P (t − h)P (h). il generatore infinitesimale dipender` da t. Si dimostra che qij esistono (vedi [4]): in generale qii possono assumere valore infinito. h→0 h δt h→0 Indichiamo con Q la matrice Q = lim P (h) − I . nel senso che Q2 2 P (t) = I + Qt + t + . si pu` dimostrare che P(t) non ` solo continua. Nel caso di catene di Markov a stati finiti. per t > 0 e 0 < h < t. Siccome P (h) → I. Possiamo supporre che (Xn )n≥1 sia una successione di variabili aleatorie indipendenti con legge esponenziale di 52 ... h > 0. per t. Per una Catena di Markov a tempo continuo non omogenea. che rientra nella classe delle catene di Markov a tempo continuo ` il processo di Poisson. P (h)−1 esiste per h sufficientemente piccolo e h → 0+ P (h)−1 = I. allora P (t) = P (t) lim P (h)−1 = lim P (t − h). ESEMPIO 8. h→0+ h→0+ da cui segue la continuit` di P (t).Inoltre. Lo introe duciamo mediante un esempio. a In realt`. si ha che 0 ≥ −qii < +∞. dt o analogamente d P (t) = QP (t). Dividendo per h e passando al limite per h → 0. si ottiene che P (t) = eQt .1 Indichiamo con Xn la durata di certi ”pezzi” di un sistema che vengono sostituiti non appena si guastano. Si ottiene cos´ ı d P (t) = P (t)Q. Infatti P (t + h) − P (t) = P (t)(P (h) − I)..si ha lim P (t + h) − P (t) P (h) − I = P (t) lim . 2! il che spiega in parte il nome della matrice Q. quando h → 0. (25) dt Imponendo le condizioni iniziali P (0) = I. mentre qij . δt h→0 detta matrice dei rate di transizione o generatore infinitesimale. a Un processo stocastico particolarmente importante. con i = j sono sempre finiti.

per ogni ω ∈ Ω la traiettoria ω → Nt (ω) ` regolare. . . < tn le variabili aleatorie Nt1 . F. siccome P ` una matrice di transizione si ottiene la seguente relazione e tra gli elementi della matrice Q −qii = j=i qij . ∂t Siccome 1 − pii (t) rappresenta la probabilit` che la catena di Markov lasci lo a stato i in un intervallo di lunghezza t. ∂t che pu` essere riscritta come o −qii = ∂ (1 − pii (t))|t=0 . Ntn −Ntn−1 sono indipendenti e hanno legge di Poisson con parametri rispettivamente λt1 . e 2. Per ogni numero reale t ≥ 0 definiamo Nt a valori in N ∪ {+∞} Nt = 1{Tn ≤t} n≥1 La variabile aleatoria Nt rappresenta quindi il numero di guasti nel tempo [0. Nt2 −Nt1 . . Inoltre il processo (Nt )t≥0 ha incrementi indipendenti.parametro λ. Questa relazione andrebbe giustificata con opportune ipotesi nel caso di catene di Markov a stati infiniti. si ottiene ∂ pii (t)|t=0 = qii . P) tali che 1. . In particolare P{Nt = +∞} = 0. t]. con λ > 0. . . < tn le variabili aleatorie Nt1 . pu` essere interpretato come la o frequenza con cui si verifica la transizione ”passaggio dallo stato i allo stato j”. In maniera analoga il parametro qij . ` possibile fornire un’interpretazione fisica dei coefficie enti della matrice Q = (qij )i. ` E abbastanza semplice provare che Nt ha legge di Poisson di parametro λt per ogni t > 0. . . A questo punto. ovvero per ogni intero n ≥ 1 e per ogni 0 < t1 < . Ntn − Ntn−1 sono indipendenti.j∈E . Consideriamo l’equazione scalare relativa all’equazione differenziale (25) nel caso i = j. Nt2 − Nt1 . λ(tn − tn−1 ). . In generale si ha che Definizione 8. . . per ogni intero n ≥ 1 e per ogni 0 < t1 < . con i = j. si ottiene che −qii pu` essere interpretato o come la frequenza con cui si verifica la transizione ”uscita dallo stato i”. . 53 . Inoltre. Posto Tn = X1 + · · · + Xn il tempo di vita del sistema dopo il cambio di n pezzi.1 Si chiama processo di Poisson di parametro λ > 0 una famiglia (Nt )t≥0 di variabili aleatorie su uno spazio probabilizzato (Ω. . . λ(t2 − t1 ). . . La famiglia di variabili aleatorie (Nt )t≥0 cos´ costruita ` una versione del processo ı e di Poisson.

tali che. Tale legge risulta indipendente da π(0). quindi il tempo fra due guasti ha legge esponenziale di parametro λ3 . che conferma l’interpretazione fisica data per qii . esiste un risultato importante che estende al caso continuo il Teorema 3.ESEMPIO 8. si possono definire le leggi delle singole variabili aleatorie X(t). diventa d π(t) = π(t)Q dt (26) Nell’analisi a regime delle catene di Markov a tempo continuo omogenee. ci si chiede se i limiti limt→+∞ πj (t) esistono e se risultano indipendenti dalla legge iniziale di X(0). devono soddisfare la relazione a matriciale π(t) = π(0)P (t) = π(0)eQt .2 In una catena di Markov a tempo continuo (X(t))t≤0 irriducibile con spazio degli stati finiti. πj = 1. per ogni h > 0 e i ∈ E. per il teorema della probabilit` totale. esiste un’unica distribuzione limite π = limt→+∞ π(t). Al tal scopo. Infine.3 Si consideri un sistema produttivo costituito da un’unica macchina che lavora un pezzo per volta e ha un tempo di lavorazione con legge ` esponenziale di parametro λ1 . j∈E ESEMPIO 8. tale che πj > 0. si vede facilmente che pii (t) = eλt . Differenziando rispetto a t. supponiamo che la macchina guasta venga subito riparata e il tempo di riparazione ha ancora una densit` esponenziale di parametro λ4 . Teorema 8. da cui segue che −qii = λ. in modo analogo a quanto visto per le catene di Markov a tempo discreto. La macchina non ` soggetta e a usura. a 54 . da cui si ottiene che d P{Nt+h > i|Nt = i}|h=0 = λ.3. Infatti. per ogni j ∈ E. il vettore π si determina in maniera univoca risolvendo il sistema di equazioni πQ = 0. E previsto un tempo di setup tra due lavorazioni successive con legge esponenziale di parametro λ2 .2 Nel caso particolare del processo di Poisson Nt descritto nell’esempio precedente. come πj (t) = P{X(t) = j}. dh La matrice Q gioca un ruolo fondamentale nell’analisi di transitorio e a regime di una catena di Markov a tempo continuo omogenea. Infine. Infatti P{Nt+h > i|Nt = i} = 1 − e−λh .

(5) µ0 = 0. (4) pi. Il sistema ` gestito in modo e tale che la macchina riparata pu` riprendere la lavorazione del pezzo che stava o lavorando prima del guasto.i+1 (h) = λi h + o(h). eventualmente dipendente da i. I processi di nascita e morte possono essere considerati come l’estensione al caso continuo delle passeggiate aleatorie. i ≥ 0. In questo caso la matrice Q diventa   −λ2 −λ2 0  λ1 −(λ1 + λ3 ) λ3  0 λ4 −λ4 ` E facile vedere che la catena di Markov ` irriducibile con spazio degli stati finiti e ` e. i ≥ 0. E possibile trovare la legge limite π. In questo caso il generatore infinitesimale Q diventa   −λ2 −λ2 0  λ1 −(λ1 + λ3 ) λ3  . i ≥ 1. Diamo ora un esempio significativo di catene di Markov a tempo continuo con spazio degli stati infinito. ESEMPIO 8. Consideriamo (X(t))t≥0 una catena di Markov omogenea a tempo continuo con insieme degli stati N. 2: in riparazione. 1.Possiamo schematizzare gli stati del sistema con l’insieme {0. λ0 > 0. 1: in lavorazione. λ4 0 −λ4 Risolvendo il sistema π Q = 0 si ottiene che π0 > π0 . µi . (3) pi. In questo caso valgono le ipotesi per determinare il generatore infinitesimale Q.i (h) = 1 − (λi + µi )h + o(h). risolvendo il sistema πQ = 0. λi > 0. con o(h) un funzione infinitesima per h ↓ 0. i ≥ 1. quindi.4 Processi di nascita e morte.i−1 (h) = µi h + o(h).j (0) = δij . dove 0: fase di setup. Contrariamente potremmo considerare il caso in cui la macchina riprenda la lavorazione sempre da un pezzo nuovo. che risulta essere la matrice   −λ0 λ0 0 0 ···  µ1 −(µ1 + λ1 ) λ1 0 ···     0 µ2 −(µ2 + λ2 ) λ2 ···     0 0 µ3 −(µ3 + λ3 ) · · ·  ··· ··· ··· ··· ··· 55 . 2}. (2) pi. Tali processi sono importanti perch´ modellizzano molti fenomeni e in varie discipline. tale che (1) pi. π1 < π1 e π2 < π2 e questo porta a concludere che la prima politica sembra essere migliore rispetto alla seconda. tutti i suoi stati sono ricorrenti positivi.

2 Supponiamo che la posizione in un’azienda possa essere occupata da un lavoratore per ognuno dei tre livelli: principiante. junior. un lavoratore raggiunga il a livello senior. qual ` la probabilit` di non aver difetti tra il secondo e il terzo e a miglio? Es 8. modelizzabili tramite un processo di Poisson di parametro 0. senior. Qual ` la probabilit` che nessun difetto compaia e a nelle prime due miglia di cavo? Sapendo che non si sono riscontrati difetti nelle prime due miglia. Q= 2 1 0 −1 Calcolare la probabilit` che alla fine della carriera. 56 .ESERCIZI Es 8. Sia X(t) il livello della persona nella posizione al tempo t e assumiamo che X(t) evolva come una catena di Markov con matrice infinitesimale   −10 10 0 −5 3  .1.1 Lungo un cavo sottomarino compaiono dei difetti. Indichiamo con Xn il numero di difetti entro ennesimo miglio di cavo.

Inoltre selezioni ripetute 2N sono fatte con reinserimento. si arrivi a una popolazione pura. avr` probabilit` di essere di tipo a (risp. 2N . Wright negli anni Sessanta. descriviamo il modello di riproduzione casuale nel caso pi` u semplice in cui viene trascurato l’intervento delle mutazioni e delle selezioni. = 2N ). 2N + 1 valori. 2N }. Assumiamo che.9 Applicazioni: le catene di Markov in genetica La teoria delle catene di Markov pu` essere utilizzata per simulare l’andamento o della frequenza genica sotto l’influenza delle mutazioni e della selezione. qi = 2N −i . In particolare. La probabilit` di transizione sar` a a P{Xn+1 = j|Xn = i} = 2N j 2N −j pi q i . 2N (risp. dove indichiamo con Xn il numero di a−geni nell’ennesima generazione fra una popolazione costante di 2N elementi. Definito pi come nel caso precedente. In particolare. partendo da una e a popolazione con i a−tipi. cio` o e una volta che Xn = 0 (risp. una volta avvenuta la mutazione (prima della nuova generazione) il numero medio di a−tipi ` i(1−α)+ e 57 . Inizialmente. Supponiamo di lavorare con una popolazione fissa di 2N geni. Assumiamo inoltre che la composizione di una nuova generazione sia determinata come da 2N estrazioni indipendenti e con reiserimento. questo coincide con il calcolo della probabilit` di assorbimento da un qualsiasi stato transiente i nella classe a degli stati riccorrenti {0. Ipotizziamo ancora che la nuova a a generazione sia formata da 2N individui. j (27) Si pu` osservare che gli stati {0} e {2N } sono completamente assorbenti. A) a a pi = i . Con questa procedure si definisce una catena di Markov (Xn )n≥0 . = 2N ). ossia ogni nuovo individuo generato da una popolazione costituita da i a−geni e (2N − i) A−geni. 2N 2N 1 − pi .) indipendentemente uno dall’altro. ogni gene possa cambiare nell’altro tipo. suddivisa in geni di topo a e A. prima della formazione di una nuova generazione. assumiamo che a → A con probabilit` α e A → a con probabilit` β. ottenuti da ”estrazioni” indipendenti e con reinserimento. Lo spazio degli stati contiene. allora Xn+h = 0 (risp. ovvero formata solo da a−tipi o A−tipi. Un modello pi` realistico tiene ovviamente conto anche dei fattori mutou geni. quindi. Un problema interessante ` determinare la probabilit` che. con i = 0. Il primo ad utilizzare questo modello fu S. possiamo assumere che pi qi = = 2N − i i (1 − α) + β. per ogni h ∈ N. (28) La motivazione di questa scelta dipende dal fatto che.

con s piccolo e positivo. come nel caso precedente. Se α e β sono positivi. e 1 Le probabilit` di transizione associate alla nuova catena di Markov. o contrarie. sono definite a come in (27). se si considera inizialmente una popolazione formata da j a − geni. allora nella generazione successiva il numero medio di a−geni e A−geni sar` rispettivamente a 2N (1 + s)j 2N − j . ` possibile e calcolare la legge limite. numero di A − geni nell’n−esina generazione e questo riassume il significato di selezione. questo porta alla formula trovata. 58 . Aggiungiamo ora. si ottiene che il rapporto fra il numero medio di a−geni e A−tipi nella (n + 1)−generazione ` e (1 + s)j = 2N + sj 1+s 1 numero di a − geni nell’n−esina generazione . in modo che il numero di discendenti attesi sia (1 + s)-volte quello previsto per il tipo A. a partire dai valori pi e qi dati in (28). In questo caso si sostituiscono ai valori di pj e qj calcolati precedentemente con (1 + s)j . Supponiamo che il gene di tipo a sia avantaggiato.(2N −i)β. l’influenza delle forze selettive a favore. Infatti. tale distribuzione ` detta distribuzione stazionaria della e frequenza genica. la popolazione continui a rimanere pura. Siccome la probabilit` (mediata rispetto a tutte le possibili variazioni) a ` 2N per il numero medio di a−tipi presenti. a un gene. 2N + sj 2N + sj Confrontando i due valori ottenuti. che una volta raggiunti gli stati {0} o {2N }. 2N . Nonostante questo. allora ogni stato risulta essere ricorrente e non si pu` o concludere. pj = 2N + sj q j = 1 − pj e si costruisce la nuova generazione utilizzando un campionamento binomiale come nel caso precedente.

10 Applicazioni: lotto economico d’acquisto Mostreremo ora un’applicazione dei processi puntuali alla determinazione del lotto economico d’acquisto. e a 3. Il problema consiste nell’ottimizzare la gestione delle scorte di un’azienda acquista un certo prodotto in lotti di una certa quantit` e lo rivende per unit`. Il costo medio di stoccaggio ` perci` e o ∞ ∞ S cE 0 (S − Nt )+ dt = c 0 k=1 ∞ S P{ S − Nt ≥ k } dt P{ Nt ≤ S − k } dt 0 k=1 ∞ S = c = c 0 k=1 ∞ S P{ Nt < S + 1 − k } dt P{ Nt < h } dt 0 h=1 = c Osservando che { Nt < h } = { Th > t } troviamo la seguente formula per il costo medio di stoccaggio ∞ S ∞ cE 0 (S − Nt )+ dt = c h=1 0 P{ Th > t } dt 59 . a a e Supporremo inoltre che l’azienda si rifornisca con S unit` di prodotto non apa pena il magazzino sia vuoto. i tempi Xn trascorsi tra la (n − 1)-esima ed n-esima vendita sono variabili aleatorie con la stessa speranza m. il costo di ordinazione K ` indipendente dalla quantit` di merce ordinata. Nelle ipotesi fatte le variabili aleatorie Tn = X1 + · · · + Xn e Nt = n≥1 1{ Tn ≤t } sono rispettivamente il tempo necessario per vendere n unit` e il numero di a pezzi venduti fino al tempo t. 2. a a Per descrivere il modello supponiamo che: 1. il costo di stoccaggio per unit` di merce per unit` di tempo ` c. Il costo di stoccaggio di una quantit` S ` quindi a e ∞ c 0 (S − Nt )+ dt.

ovvero la somma del costo di ordinazione e di stoccaggio. Il costo totale di un lotto. S 2 Minimizzando (rispetto a S) questa funzione troviamo che la quantit` di merce a da acquistare per ottimizzare i costi di ordinazione e stoccaggio ` e S= 2K . ` quindi e cmS(S + 1) K+ 2 e il costo totale medio per unit` di merce ` a e K cm(S + 1) + . cm 60 .S = c h=1 S E[Th ] mh h=1 = c = cmS(S + 1)/2.

Pintacuda. Cambridge. H. Woess Catene di Markov e teoria del potenziale nel discreto.41. ETS Editrice. [6] Norris [7] Nummelin. Milano 1992. Feller An Introduction to Probability Theory and its Applications. New-York 1975. E. 83. Catene di Markov. Bologna. a [2] W. 1996. [4] S. Karlin. Taylor A Second Course in Stochastic Processes. H. McGraw–Hill. Karlin. General irreducible Markov chains and non-negative operators. Academic Press. Baldi Calcolo delle Probabilit` e Statistica. Pitagora Editrice. [5] N. 61 . New-York 1972. Academic Press. 2000. Quaderni dell’Unione Matematica Italiana n. Cambridge University Press. [8] W. (1984).References [1] P. Taylor A First Course in Stochastic Processes. [3] S. Cambridge Tracts in Mathematics.

Sign up to vote on this title
UsefulNot useful