Alcune nozioni di base sulle catene di Markov Una catena di Markov ` e un modello matematico che descrive il comportamento di un sistema

non-deterministico e discreto. “Non-deterministico” significa che il comportamento del sistema, cio` e i lmodo in cui esso evolve nel tempo, non ` e unico perch´ e non ` e determinato in modo univoco dalle condizioni iniziali. “Discreto” significa che possiamo identificare un insieme discreto di stati in cui il sistema si pu` o trovare. L’evoluzione del sistema nel tempo consiste in una sequenza di transizioni di stato, cio` e di passaggi da uno stato all’altro. Indichiamo con S l’insieme dei possibili stati. Poich´ e il sistema si pu` o trovare in un dato istante di tempo t in uno qualsiasi degli stati dell’insieme S , ha senso chiedersi quale sia la probabilit` a con cui ci` o avvenga, cio` e rispondere alla domanda: “Se osserviamo il sistema in un istante t scelto a caso, qual ` e la probabilit` a che il sistema sia nello stato i ∈ S al tempo t?”, che equivale a chiedersi “Per quale frazione di tempo il sistema si trova nello stato i?”. Naturalmente queste domande hanno senso considerando un orizzonte di tempo abbastanza lungo da permettere al sistema di andare a regime, cio` e di rendere trascurabile l’effetto della condizione iniziale, dello stato di partenza. Per poter rispondere a questa domanda ` e necessario conoscere qualcosa in pi` u, che indichi quanto spesso il sistema passa da uno stato all’altro. Questa informazione ` e la frequenza di transizione da uno stato i ∈ S ad uno stato j ∈ S . Questa frequenza, che indichiamo con fij , si misura di solito in “numero di transizioni da i a j per ogni unit` a di tempo” (e di solito si tratta di un valor medio). Quando si d` a al sistema abbastanza tempo da farlo andare a regime, la probabilit` a che esso si trovi in ciascuno stato tende ad un valore ben preciso: si dice anche che il sistema ` e stazionario. Allora, la probabilit` a che il sistema si trovi nello stato i non dipende pi` u dall’istante di tempo in cui osserviamo il sistema. Questa ipotesi ci consente di ricavare le probabilit` a di ciascuno stato, che indichiamo con Pi , a partire dalle frequenze fij . Immaginiamo che il sistema sia descritto da un grafo, cio` e da un insieme di nodi collegati tra loro da archi. Ogni stato del sistema corrisponde ad un nodo del grafo ed ogni transizione tra due stati i e j corrisponde ad un arco (i, j ) orientato dal nodo i al nodo j . Possiamo immaginare l’evoluzione del sistema nel tempo come lo spostamento ripetuto di un gettone da un nodo all’altro lungo gli archi del grafo. Per ogni nodo del grafo vale l’osservazione che il numero di volte che il gettone arriva nel nodo ` e uguale al numero di volte che il gettone riparte verso un altro nodo, cio` e la frequenza di ingresso ` e pari alla frequenza di uscita. In realt` a per ogni data sequenza di transizioni che consideriamo ci sono due eccezioni: il nodo 1

Tuttavia questa differenza di 1 tra entrate e uscite tende a diventare trascurabile quando la sequenza di spostamenti tende a diventare molto lunga e quindi il numero di entrate e uscite da ogni stato tende a diventare molto alto. basta osservare che la frequenza media con cui si entra in uno stato i ` e data dalla somma di tanti contributi quanti sono gli stati da cui si pu` o raggiungere i. Esempio. Per portare la temperatura dal livello minimo al livello massimo. il che in generale d` a un sistema con infinite soluzioni. Si procede analogamente per la frequenza di uscita: la frequenza media con cui si esce dallo stato i ` e data dalla somma di tanti contributi quanti sono gli stati raggiungibili da i. si ottiene un sistema di tante equazioni lineari quanti sono gli stati del sistema. la frequenza con cui lo stato passa da j a i ` e data dal prodotto tra la probabilit` a che lo stato sia in j per la frequenza fji delle transizioni da j a i. la temperatura scende dal livello massimo al livello minimo mediamente in dieci minuti. Ogni stato i ∈ S ha una sua equazione di bilanciamento. cio` e 90 min . la frequenza media di transizione ` e data dalla probabilit` a del sistema di trovarsi in i per la frequenza media di transizione da i a j . la caldaia impiega un’ora e mezza. Per quale frazione di tempo la caldaia ` e accesa mediamente? Il sistema ha due stati: indichiamoli con ON e OFF. Per ciascuno di questi stati successori di i. Quando la caldaia si spegne. la frequenza fOF F ON ` 2 .iniziale e il nodo finale. che impone che la frequenza con cui si arriva nello stato i sia uguale alla frequenza con cui si esce dallo stesso stato. Una caldaia ` e regolata da un termostato che la fa spegnere quando la temperatura raggiunge un livello massimo desiderato e la fa riaccendere quando la temepratura scende ad un livello minimo desiderato. Le equazioni di bilanciamento per` o non sono tutte indipendenti tra loro: una ` e ridondante. L’osservazione riportata sopra si pu` o esprimere matematicamente con le cosiddette equazioni di bilanciamento. Ma dobbiamo aggiungere un’equazione in pi` u che rimette le cose a posto: infatti le probabilit` a associate agli stati del sistema deve essere tale che la loro somma deve essere uguale ad 1. Per scrivere le equazioni di bilanciamento. fij . Per ciascuno di questi stati predecessori di i. Le incognite del sistema sono le probabilit` a Pi associate ai vari stati: anch’esse sono tante quanti gli stati del sistema. La frequenza fON OF F 1 1 e ` e pari a “una volta ogni ora e mezza”. Abbiamo quindi un’equazione in meno rispetto al numero di incognite. Infatti il sistema con probabilit` a 1 (cio` e con certezza) si trova sempre in uno degli stati possibili. Scrivendo tutte le equazioni di bilanciamento. Il primo conta un’uscita in pi` u rispetto alle entrate e il secondo conta un’entrata in pi` u rispetto alle uscite. Non resta che risolvere il sistema per ricavare la probabilit` a Pi per ogni stato i ∈ S.

Eguagliandole per imporre il bilanciamento si ricava l’equazione: POF F fOF F cio` e POF F ON = PON fON OF F 1 1 = PON . Frequenza di ingresso: c’` e solo un predecessore possibile. 10 90 Ragionando nello stesso modo per lo stato OFF si ottiene l’altra equazione di bilanciamento: 1 1 PON = POF F 90 10 che ` e equivalente alla prima e quindi ridondante. Scriviamo l’equazione di bilanciamento per lo stato ON. lo stato OFF. La frequenza media con cui il sistema entra in ON provenendo da OFF ` e: POF F fOF F ON . lo stato OFF. La frequenza media con cui il sistema esce da ON per andare in OFF ` e: PON fON OF F . cio` e 10 e equivale a dire che min .1 1 pari a “una volta ogni dieci minuti”. 3 . Cio` osservando la caldaia quando ` e accesa la vedremo spegnersi mediamente una volta ogni novanta minuti. 1/90 ON OFF 1/10 Figura 1: Esempio di grafo degli stati. mentre osservandola quando ` e spenta la vedremo accendersi mediamente una volta ogni dieci minuti. Frequenza di uscita: c’` e solo un successore possibile. Aggiungiamo la condizione PON + POF F = 1 e otteniamo quindi il sistema lineare 1 1 PON − POF F = 0 90 10 PON + POF F = 1 con due equazioni e due incognite PON e POF F .

4 . Quindi la caldaia ` e mediamente accesa per il 90% del tempo e spenta per il 10% del tempo.Risolvendo il sistema si ricava PON = 0. 1. 9 e POF F = 0.