ISSEA

2021-2022

TRAVAUX DIRIGES 2: CHAÎNES DE MARKOV DISCRÈTES

Exercice 1. Dans un certain pays, il ne fait jamais beau deux jours de suite. Si
un jour il fait beau, le lendemain il peut neiger ou pleuvoir avec autant de chances.
Si un jour il pleut ou il neige, il y’a une chance sur deux qu’il y’ait changement de
temps le lendemain, et s’il y’a changement, il y’a une chance que ce soit du beau
temps.
(1) Former à partir de celà , une chaı̂ne de Markov et déterminer sa matrice
de transition.
(2) Si un jour il fait beau , quel est le temps le plus probable pour le lendemain?
(3) Si on suppose qu’on a deux états (beau temps et mauvais temps), déterminer
la matrice de transition de la nouvelle chaı̂ne de Markov obtenue.
Exercice 2. On considère 5 points équirépartis sur un cercle.Un promeneur saute à
chaque instant, d’un point à l’un de ses voisins avec la probabilité 1/2 pour chaque
voisin. Déterminer le graphe et la matrice de transition de la chaı̂ne ainsi obtenue.
Quelle est la période de ses états?
Exercice 3. On dispose de deux machines identiques fonctionnant indépendamment
et pouvant tomber en panne au cours d’une journée avec la probabilité q = 41 . On
note Xn le nombre de machines en panne au début de la nième journée.
(1) On suppose que, si une machine est tombée en panne un jour, elle est
réparée la nuit suivante et qu’on ne peut réparer qu’une machine dans
la nuit. Montrer que l’on peut définir ainsi une chaı̂ne de Markov dont
on déterminera le graphe , la matrice de transition et éventuellement les
distributions.
(2) Mêmme question en supposant qu’une machine en panne n’est réparée que
le lendemain, le réparateur ne pouvant toujours réparer qu’une machine
dans la journée..
(3) Le réparateur, de plus en plus paresseux, met maintenant 2 jours pour
réparer une seule machine. Montrer que (Xn ) n’est plus une chaı̂ne de
Markov, mais que l’on peut construire un espace de 5 états permettant de
décrire le processus par une chaı̂ne de Markov dont on donnera le graphe de
transitions. Calculer la probabilité que les 2 machines fonctionnent après
n jours (n=1, n=2 et n=3) si elle fonctionnent initialement.
Exercice 4. Trois chars livrent un combat. le char A atteint sa cible avec la
probabilité 2/3, le char B avec la probabilité 1/2 et le char C avec la probabilité 1/3.
Ils tirent tous ensembles et dès qu’un char est touché, il est détruit. On considère à
chaque instant, l’ensemble des chars non détruits. Montrer qu’on obtient une chaı̂ne
de Markov dont on explicitera l’ensemble des états et la matrice dans chacun des
cas suivants:
(1) Chaque char tire sur son adversaire le plus dangereux
1
2 TRAVAUX DIRIGES 2: CHAÎNES DE MARKOV DISCRÈTES

(2) A tire sur B; B tire sur C et C tire sur A.

Exercice 5. Déterminer la matrice de transition des chaı̂nes suivantes:
(1) N boules noires et N boules. A chaque instant, on choisit au hasard une
boule dans chaque urne et on échange les deux boules. A l’instant n, l’état
du système est le nombre de boules blanches de la première urne.
(2) N boules numérotées de 1 à N sont réparties dans une urne. A chaque
instant, on tire un numéro i au hasard entre 1 et N et la boule i est changé
d’urne. A l’instant n, l’état du système est le nombre de boules dans la
première urne.
(3) Déterminer la distribution stationnaire de la chaı̂ne au 2). Déterminer
l’espérance du nombre de tirages nécessaires pour revenir à l’état initial
dans le cas N=2M, X0 = M et N = 2M , X0 = 2M . Donner un équivalent
lorsque M est grand et une valeur approchée pour N=10.