CHAINES DE MARKOV Cours et exercices corrigés Carl Graham DUNODCHAINES DE MARKOV Cours, exercices et corrigés détaillés Carl Graham , Chercheur CNRS, Professeur chargé de cours a Ecole Polytechnique DUNODSérie « Mathématiques pour le Master/SMAl » La série « Mathématiques pour le Master/SMAI » propose une nouvelle génération de livres adaptés aux étudiants de Master niveau M1 et aux élaves ingénieurs. Leur adéquation au cursus LMD et aux outils de calcul modernes sont au service de la qualité scientifique. La SMAI (Société de Mathématiques Appliquées et Industrielles) assure la direction édito- riale grace a un comité renouvelé périodiquement et largement représentatif des différents thémes des mathématiques appliquées et de leur évolution : analyse numérique, probabili- tés appliquées, statistique, op' jon, systémes dynamiques et commande, traitement d'images et du signal, finance, recherche opérationnelle, etc. Son ambition est de constituer un ensemble d’ouvrages de référence. Illustration de couverture : © Digitalvision le pictogramme qui figure ci-conire dens swplrieur, provoquant une or te ers ete es Sees dfolerer le leceur sur la menace que roves cu pon ql possbiié mine pour Periicrer Govlecensine (BANGER) oud teeta iremen! don le domoine dole fire él cor de lédition technique et univers a reclement et cujour hui menocée. ee dlp nasi Now appl done ue foe le Code de la proprit intl: de Ia présene publication est tls du ule 1992 tert |ENTOALGE| iter srs oversaton de en eft expressément la photoco- (TUE LELIVRE) Youteur, de son éieur ov du pie & usage colecif sons outer Genre rongis dexpleitation du Sation des ayonss doit. Or, ceteprofique droit de. copie (CFC, 20, ue des seat généalisée dons les @blsements Grands Augusns, 75006 Pars © Dunod, Paris, 2008 ISBN 978-2-10-052083-1 le Code de lo propristé intelacuelle n’auiorisant, aux termes de lorie L 122-5, 2° et 3° o}, d'une part, que les « copies ou reproductions shiciement réservées & l'usoge privé du copiste et non destinées & une ulisaton collective 0 ou de sa loi, et nous pouvons nous limiter au cas 0 < ny < «++ < ng. Un point essentiel est que la v.a. (Xj)n>0 : @ 1 (Xq(@))n>0 est A valeurs dans V", qui est non-dénombrable si Card(V) > 2, et sa loi ne peut plus étre définie par les valeurs prises sur les singletons. La Section 6.3 de I’ Appendice contient des éléments rigoureux permettant de définir cette loi & partir des marginales fini-dimensionnelles. La Section 6.1 de I’ Appendice contient quelques connaissances plus élémentaires que I’on utilise tout au long du texte, et la Section 6.2 une discussion sur la norme de la variation totale et la convergence étroite des lois. 1.2 PREMIERES PROPRIETES DES CHAINES DE MARKOV 1.2.1 Chaines de Markov, marginales fini-dimensionnelles, et lois a) Chaines de Markov, matrices de transition, et graphes Définition 1.1 Soit V un espace d’états discret. Une matrice P = (P(x, y))xyev est une matrice de transition sur V (on dit aussi markovienne ou stochastique) si Px,y)20, SOP y=1. vo Une suite de v.a. (Xp)n>0 est une chaine de Markov sur V de matrice P et de loi initiale 7 si, pour tous n dans N et Xo, ... , Xn dans V, ona P(Xo = X0, +++ Xn = Xn) = To(Xo)P(X0, 1) P (x1 ¥2) ++ PXn—1 Xn) + Par récurrence, (X»)n>0 est une chaine de Markov sur V de matrice P si et seulement si, pour tous n dans N et xo, ... Xn, et y dans V, ona P(Xo = x0,---;Xn = Xn, Xn = Y) = P(Xo = X0,--- Xn Xn)P(XnsY)-1.2. Premiéres propriétés des chaines de Markov 5 > Evolution de la chaine de Markov On définit une famille de lois P(x, -) sur V indexée par x € V en posant PQ, A)=>>PGy), ACY. x€A L€volution de la chaine (X,,)q>0 est obtenue par des tirages successifs, celui de Xo selon 77o, puis ceux des X,4; selon les P(X,,,-) pour les n > 0, sans tenir compte du reste du passé ni de la valeur n du temps présent. Lorsque les tirages dépendent de la valeur du temps présent, c’est a dire lorsque Von a la formule analogue avec P(n;x,,y) en lieu de P(x, y), on dira qu’il s’agit d’une chaine de Markov inhomogene (en temps). On considérera rarement ce cas. >» Graphe de la chaine de Markov Le graphe de la chaine de Markov, ou de sa matrice de transition P, est le graphe orienté marqué dont les noeuds sont les éléments de V, et les arcs dirigés marqués sont les couples (x, y) d’éléments de V tels que P(x, y) > 0 marqués par P(x, y). Sa donnée est équivalente & celle de la matrice. La partie du graphe concernant x # y dans V est formée (si P(x, x) P(x, y)P(y,x)P(y, y) # 0) par Posy) ru OL AOD rom. POW”) Les arcs de x vers x présents dans le graphe sont marqués par SY Pe» >0 we P(x,x) = et peuvent se déduire des autres. Ils pourraient étre omis, mais les faire figurer & Vavantage de montrer clairement les transitions possibles. 5) Lois instantanées et loi initiale La loi 7, de X,, est appelée la loi a l’instant n, et 77 la loi initiale, de la chaine de Markov. La notation P et E sous-entend que 779 est donnée et arbitraire, P, et E, précise que 79 = v et P, et E, que Xo = x, etona Py= SO @P:, Ey =) o()Er. x xey Un abus de notation courant et assez inoffensif est de poser P,() =PC|Xo =x).6 1+ Premiers pas Lemme 1.2 Soit (Xn)nen une chaine de Markov de matrice P = (P(x, y))x,yev et de loi initiale 779, et P" la n-éme puissance matricielle de P. Ona P(Xnu = ¥| Xn = x) = Pla, y)- Les lois instantanées 7 = (7n(x))xev, données par n(x) = P(Xn = x), vérifient tal) = Yoni) PRX) = rev YS oo) C0, x1) PO, X2)+ +» PO nt) eyes soit en notation matricielle Ty = TP = + = TOP". De plus, (Xnt)k>0 est une chaine de Markov de matrice P". | Démonstration. Les calculs a partir de la Définition 1.1 sont immédiats. ©) Formulations conditionnelles ou non La demiére formule de la Définition 1.1 peut s’écrire de fagon équivalente P(X nit = ¥| Xo = X0y--- Xn = An) = POny Y) ad) et si f est positive ou intégrable alors E(f(Xnsi) | Xo = 20,---Xn = =E,.(£(X)) = So Gn, y)FO)- yey La formulation (1.1) est classiquement utilisée comme définition. Cependant, par souci d’ efficacité mathématique, le parti-pris dans ce texte est de mettre en exergue les formulations non-conditionnelles, plus pratiques, avant que d’en énoncer les for- mulations conditionnelles équivalentes. Par exemple, le premier résultat du Lemme 1.2 s’obtient & partir de la définition P(Xn = x, Xnei = Y) Pre = y [Xp = x) = lel 2 P(X, = x) en utilisant la derniére ligne de la Définition 1.1 avec x, = x et en sommant sur tous les xo, ... , Xn—1, et bien moins aisément a partir de (1.1).1.2. Premiéres propriétés des chaines de Markov 7 d) Lois sur I'espace canonique de la chaine de Markov Nous utilisons les notions de la Section 6.3.4 de I’ Appendice. La Définition 1.1 porte en fait sur la loi de la chaine de Markov (X,)n>0 qu’elle caractérise en donnant, en fonction de la loi initiale 79 et de la matrice de transition P, une expression explicite pour ses marginales fini-dimensionnelles, les lois des vecteurs, finis (Xp,,...5 Xn)» Ceci implique l’unicité de la loi de (X;,)n>0 sur l’espace de probabilités canonique VN" muni de la tribu produit. Nous vérifions aisément que ces marginales sont compatibles au sens du Théor’me d’extension de Kolmogorov (Théoréme 6.15), lequel justifie I’existence d’une loi P,,, sur espace de probabilités canonique V" muni de la tribu produit, telle que le processus canonique (X,,),>0 ait ces mémes marginales fini-dimensionnelles, donc telle que ce processus soit une chaine de Markov de loi initiale 77 et de matrice de transition P, voir le Corollaire 6.16. 1.2.2, Action des matrices markoviennes et notation matricielle a) Mesures positives et signées, norme en variation totale Une mesure ys sur V est donnée par (et s’identifie a) une collection (j4(x))xev de réels positifs en posant BH: ACVrs pA) = >> u(x) € [0,00] = R, U {00} xeA au sens des séries positives. On précise parfois mesure positive. On dit que jest une mesure finie si sa masse totale 4(V) est finie, et alors 4(A) < oo pour A C V. Une mesure est une mesure de probabilité, ou une loi, si (V) = 1. Pour r in R on note rt =max(r,0), 7 = max(—r,0), les parties positives et négatives de r, de sorte que Pour p = (u(x))sey avec p(x) € R on définit les mesures 4u*, .~ et || terme & terme. Alors B= est la décomposition minimale de wx en différence de mesures, qui ont des supports disjoints, et lal = wt8 1+ Premiers pas s’appelle la mesure variation totale de y. Si jest telle que |u| est finie, alors on définit (A) pour A inclus dans V, et la norme en variation totale de px notée ||y|| vr, pat HA) = BNA) w~(A) = Sw) ER, |lallve = Ml) = D> [ao x€A xev oii la premiére série est absolument convergente, et on dit que jz est une mesure signée. Leespace M = M(V) = MW,R) des mesures signées muni de la norme en variation totale est un espace de Banach, qui est isomorphe & l’espace de Banach ¢! = ¢'(V) = ¢!(V, R) des suites sommables avec sa norme naturelle. Selon notre définition, les mesures positives de masse totale infinie ne sont pas des mesures signées, et on parlera de mesures positives ou signées pour la réunion et de mesures (positives) finies pour I’intersection des ensembles correspondants. > Mesure de probabilité, ou loi Lrespace des mesures de probabilité P=PV)={HEM:“>0, llullvr=1} est intersection de la sphére unité de Met du cOne des mesures positives. Muni de la distance induite par la norme en variation totale, il est métrique complet, et la topologie induite est celle de la convergence faible ou étroite des lois. Dans I’ Appendice, la Section 6.2 donne plus de détails sur M et P et || -||vr pour des espaces discrets, et la Section 6.3 pour des espaces généraux. > Mesure complexe Une mesure complexe yx est un élément de M(V, C), ot C est muni du module encore noté | - |, ce qui permet encore de définir la mesure variation totale || et la norme en variation totale ||\|vr = |u|(V), et M(V,C) muni de cette norme s’identifie & £'(V,C). On décompose une mesure complexe en ses parties réelles et imaginaires, qui sont des mesures signées. De telles extensions complexes sont utiles en théorie spectrale. b) Vecteurs ligne et vecteurs colonne, intégrales et dualité entre mesures et fonctions En notation matricielle, les fonctions f de V dans R sont considérés comme des vecteurs colonne (f(x))xev, et les mesures positives ou signées sur V comme des vecteurs ligne (u(x))sev, de longueur infinie si V est infini.1.2. Premieres propriétés des chaines de Markov 9 Nous notons f pour l’intégrale d’une fonction f par rapport 4 une mesure jz, en accord avec le produit matriciel wey) | to9] = Dawson x1 défini dans (0, 00] au sens des séries positives siz > Oet f > 0, et dans R au sens des séries absolument convergentes si uw € M et f € L® = L*(V) = L™(V,R), espace de Banach des fonctions bornées sur V muni de la norme uniforme. Pour A inclus dans V, 1a fonction indicatrice 1, est définie par la@)=1,x€ A, Int) =0, x EV-A. Pour x dans V la masse de Dirac en x est la mesure de probabilités 5, telle que 5,(A) = 14(x). Pour x et y dans V on a ,(y) = 1{.}(y) mais 5, est un vecteur ligne et 1;,) un vecteur colonne. Si zest une mesure positive ou signée alors 4(A) = p14. > Dualité naturelle et norme en variation totale Lapplication (y, f) € M x L® + wf € R définit un crochet de dualité naturel entre les espaces de Banach M et L®, et pour 4. dans M ona BF S llellvrll flocs [ellvr = eV) + HV) = MCL xsuexy>0} — Lfxucry wt) P(e, x) = PAX =x), io BPS = 2 wx)PO, SO) = Ef(X)), xyev oi les notations P,, et E,, ne sont utilisées que si » est une /oi, et matriciellement pp =| Peay] | roy] = | PFO = & PG f0 BP = (-- we) PG,2) _ (~ BP(x) = DD plz)P(z,x) + ) a BPS = (+ wx) > Pay || £00] = 0 are,» f0- xyev >» Ecritures intrinséques, applications linéaires et matrices application P : f +» Pf sur L® est de matrice P dans la base canonique, et son application duale sur M, par rapport au crochet de dualité (w, f) + wf, est P*: ++ wP de matrice la matrice transposée ou adjointe. Si l’on veut respecter la structure vectorielle, et identifier les applications linéaires et leurs matrices, on peut écrire P\e=eP, (wy fl=uf, (mu Pf) =(P'u, f) = MPS.1.2. Premiéres propriétés des chaines de Markov " d) Produit de matrices markoviennes, probabilités de passage en n pas Si P et Q sont deux matrices de transition sur V, alors le produit matriciel PQ=(PO(X,y))zyevs POC, y) = > P@,DOLK,y), iev définit une matrice de transition sur V. On pose P° =1, (matrice identité), Ph= p™'P=PP™! n>I1, et alors PMxyy= SO Pm) PCa, x2) ++ Pn, 9) siyactcs€V de passer de x en y pour (Xnu)k>0, et en m pas pour (X:)e>0. Ona est la probabi 19 = 5x = Tay) = P"(X,y). > Formule de Chapman-Kolmogorov Le fait que P" = P*P"-* pour 0 < k < n donne la Formule de Chapman- Kolmogorov PM(x,y) = > PK, PK, y). i > Interprétation probabiliste Ces formules algébriques ont des interprétations probabilistes : la probabilité d’aller de x en y enn pas est aussi bien la somme des probabilités de parcourir chaque chemin an — | étapes, que celle de passer par chaque état au bout de k pas. 1.2.3 Les récurrences aléatoires et la simulation Certaines chaines de Markov sont obtenues sous forme de récurrence aléatoire. Théoréme 1.3. Soit (Fi)k>1 une suite i.i.d. de fonctions aléatoires de V dans V. Si Xo est une v.a. @ valeur dans V indépendante de (F;)k>1, alors (Xn)n>0 définie par Xn = Fy(Xn-1) = ++ = Fy 0+ 0 Fi(Xo) soit plus précisément par 0 EO X,(@) = Fy(@)(Xn—1(@)) = +++ = Fy(@) 0+ 0 Fi(@)(Xo(@)) est une chaine de Markov sur V de matrice P donnée par P(x, y) = P(Fi(x) = y).12 1+ Premiers pas Démonstration. Pour xo, x1,... , Xn dans V ona P(X = x0, X1 = a1... Xn = = P(Xo = 20; Fito) = X15-- + Fin) = P(Xo = X0)P(Fi(x0) = 1) °° d’oi le résultat, voir la Définition 1.1. Leexhibition d'une telle récurrence aléatoire permet de démontrer que (X»)nen est une chaine de Markov sans utiliser la Définition 1.1, et méme sans expliciter sa matrice. De plus cette représentation trajectorielle de la chaine de Markov peut étre utilisée pour obtenir des renseignements sur celle-ci, ou pour des simulations. Le plus souvent, (F;)x>1 est de la forme Fixe Ves f(Ee,x) od (€:)e>1 est i.id. a valeur dans un ensemble W (qui peut ne pas étre discret) et f : Wx V = V.Nous allons voir que toute chaine de Markov, de loi initiale 77 et de matrice de transition P, peut étre construite sous cette forme, ce qui permet sa simulation informatique. On dénombre l’espace d’états en V = {x) : j = 0,1,...} et on se donne une suite (é)ken ii.d. uniforme sur (0, 1] = W. Pour w € Q on pose Xo(w) o To(Xo) + +++ + To(Xj—-1) < Fo(w) S Toxo) +--+ + Fo(xj-1) + TolXj) puis, pour n > 1, X,(@) = e P(Xn—1(@), Xo) + +++ + P(Xn—1(@), Xj—-1) < En(@) S P(Xp—1(@), Xo) + +++ + P(Xn—1(@),Xj-1) + P(Xn—1(@),X5) Notons que ceci montre I’existence d’une chaine de Markov de matrice arbitraire dés que I’on sait construire rigoureusement une suite iid. de v.a. uniformes sur [0, 1], ce qui parait & premidre vue plus simple que le Théoréme d’extension de Kolmogorov (Théoréme 6.15). Remarque : Ces récurrences aléatoires sont compatibles avec la définition d’une chaine de Markov, qui ne fait intervenir que la loi, mais font interve- nir des contraintes supplémentaires. Des récurrences aléatoires trés variées peuvent étre associées 4 une méme matrice de transition.1.3. Dualité naturelle et approche algébrique B 1.2.4 La récurrence pour les lois instantanées, et les lois invariantes La récurrence linéaire 7, = 7,—1P de solution 7, = 7oP" est une récurrence linéaire de dimension Card(V), que la contrainte affine >, ¢y 7n(x) = 1 permet de réduire a une récurrence affine de dimension Card(V) — 1. Son étude passe par la recherche de points fixes, qui en sont les seules limites possibles pour des topologies telles que “ +> 4P soit continue, comme celle de M. Ce sont des lois 7 telles que 7 = 7 P et appelées lois invariantes ou distributions stationnaires de (ou pour) la matrice P, ou la chaine de Markov (X;)Jnen- » Chaine stationnaire ou a I’équilibre Si 7 est une loi invariante et 279 = 7 alors ar, = 77 pour tout n dans N, et on dit que la chaine (Xn)nen est stationnaire ou a l'équilibre. On vérifie aisément qu’alors la chaine (Xi4nJnen est également de matrice P et stationnaire pour tout k € N. > Mesures et lois invariantes Trouver une loi invariante ar requiert de : — trouver les solutions de l’équation linéaire v = vP ; — déterminer celles qui sont positives non nulles (v > 0 et » # 0); — les normaliser si ||? \|vr = D,ey 20%) < 00 (toujours vrai si V est fini) en posant ov 7 Tw On appelle mesure invariante toute mesure positive v # 0 telle que v = vP. > Interprétation algébrique Les mesures invariantes sont les vecteurs propres @ gauche de valeur propre 1 pour P agissant sur les mesures positives, c’est dire les vecteurs propres positifs pour la transposée P*. La convergence des lois instantanées (77,),>0 Vers une loi invariante ar est liée aux modules des éléments du spectre de la restriction de I’action de P sur les mesures signées de masse totale nulle. Plus généralement, le calcul exact ou approché de P” dépend de fagon plus ou moins explicite d’une décomposition spectrale de P. 1.3, DUALITE NATURELLE ET APPROCHE ALGEBRIQUE Une étude algébrique basée sur la dualité entre M ~ ¢! et L® ~ &°% va nous apporter des résultats structurels, assez complets lorsque l’espace d’états V est fini. L’étude complete pour V quelconque sera entreprise par la suite par des techniques probabilistes, et un lecteur dont c’est I’intérét principal pourrait sauter a la Section 1.4 sans trop de dommages.4 1+ Premiers pas 1.3.1 Valeurs propres et spectre complexes a) Quelques définitions classiques Les valeurs propres de Vopérateur P : f ++ Pf sur L® sont les A € C tels que Al — P nest pas injectif sur L°°(V, C). espace propre de A est le noyau Ker(Al — P) C L®(V,C) et les vecteurs propres de A sont les éléments non nuls de l'espace propre. Si f € L™(V, C) est vecteur propre de valeur propre A alors P" f = A" f pour n > 0. Leespace caractéristique de A est défini par UKer((ar = Py’) c L®Y, ©) 1 et contient l’espace propre. S’il le contient strictement, alors il existe un vecteur propre f et g dans L(V, C) tels que Pg = Ag + f et donc "etna"! f, n>0. On dit qu'une valeur propre est semi-simple si son espace caractéristique est égal 2 son espace propre, et qu’elle est simple si la dimension de son espace caractéristique est 1. Pour l’opérateur P* : v ++ vP sur M on définit de fagon semblable les valeurs propres, vecteurs propres, espaces propres, vecteurs propres et espaces caractéristiques, en utilisant M(V, C). On les appelle aussi valeurs propres, vecteurs propres, etc., & gauche de P, et pour P: f € L® + Pf on précise parfois a droite. Si A est une valeur propre a gauche de P de vecteur propre » € M(V,C) alors uP = Awet pP" = dp, et si la valeur propre n’est pas semi-simple alors il existe un vecteur propre a gauche pet v € M(V,C) tels que vP = Av + pet donc pP" =Nysnr"'p, n>0 Le spectre o(P) de P sur L® est constitué des A € C tels que AJ — P n’est pas inversible sur L°(V, C). I est égal au spectre de P* sur M, et on ne précise donc pas «A gauche » ou «a droite », et contient les valeurs propres a droite et 4 gauche. Si A € C est valeur propre d’un opérateur réel tel que P ou P*, alors le complexe conjugué A aussi, et les espaces propres et caractéristiques correspondants sont conju- gués. Si A € R on peut considérer L° = L™(V,R) au lieu de L(V, C) ci-dessus, et on le fait systématiquement sans le préciser ; les espaces propres et caractéristiques réels ont la méme dimension que les espaces propres et caractéristiques complexes.1.3. Dualité naturelle et approche algébrique 5 b) Application aux matrices markoviennes Théoréme 1.4 Soit P une matrice markovienne sur V. Liopérateur P : f + Pf sur L®(V,C) et son opérateur dual P* : v + vP sur M(V,C) sont bornés de norme d'opérateur 1. Le spectre o(P) est inclus dans le disque unité complexe, toute valeur propre & droite ou & gauche de module | est semi-simple, et la fonction constante | est vecteur propre a droite pour P de valeur propre 1. Sip € M(V,C) et wP = A pour |A| = 1 alors la mesure variation totale lal = (ul@)xev vérifie |p| P = |u| et est invariante. Démonstration. Si f € L°°(V,C) alors Pllc = sup |}> PO») f0)| < II leo *6Y ev avec égalité si f = 1 (fonction constante). Si |A] > 1 alors ona QL = Py saa Py Sal (+ a P +m PY ++) oi la série converge en norme d’opérateur sur L°°, donnée par UOllop = Aue. HOF lloe WIfllooS| Si Aest valeur propre non semi-simple alors il existe un vecteur propre f et g dans L°(V,C) tels que P'g=A{ gen" 'f, n>, et comme ||P glloo < [lglloo cela implique |A| < 1. Les résultats pour P* s’obtiennent de fagon semblable ou par dualité, En particulier, P* est de norme 1 et donc UelPlive = So bale) < Saco = lal xev x et si est vecteur propre a gauche de valeur propre |A| = 1 alors [lP@) = > HOPG, x) = |O HO) P00] = [HPQ = [Allzed| yev yev et done || P(x) = |4(x)| = [al(x).16 1+ Premiers pas ©) Unicité de la loi invariante et irréductibilité Un état x dans V est absorbant si P(x, x) = 1, et alors 5, est une loi invariante. Si V contient des sous-ensembles V; pour i € / tels que P(x, V;) = 1 pour x € Vj, on les appelle absorbants ou fermés. Alors, la restriction de P & chaque V; est stochastique, et si elle admet une mesure invariante v; alors pour ¢; > 0 la combinaison linéaire Dyer Ci%i est mesure invariante pour V, et si les 7; sont des lois et Tye, ¢) = | alors >; ¢;¥; est une loi invariante. (Par un léger abus de notation, on note encore 1; Fextension de v; 4 V nulle en dehors de V;.) Ainsi, tout résultat d’unicité pour les lois invariantes nécessite des hypothéses adéquates. Une telle hypothése est celle d’irréductibilité : une matrice de transition P sur V est irréductible si pour tous x,y € V ilexiste i = i(x,y)>1 telque P'(x,y)>0. De fagon équivalente, il existe dans le graphe orienté de la chaine un parcours suivant le sens des flaches passant par tous les noeuds. Cette notion sera développée lors des études trajectorielles. Donnons d’abord un lemme simple, puis un résultat d’unicité. Lemme 1.5. Soit P une matrice de transition irréductible. Si une mesure v est telle que vP = valors v =Qouv > 0. Démonstration. Supposons qu’il existe un état x tel que v(x) > 0. Pour tout état y, il existe i > 1 tel que P(x, y) > O,ety = vP = ++. = vP implique v(y) = Soe) Pl(z, y) > (a) P(x, y) > 0. ev Théoréme 1.6 Soit P une matrice de transition irréductible. Si P* : w€ M+ uP admet | comme valeur propre, alors c’est une valeur propre simple et son espace propre est engendré par une loi invariante 7, unique et strictement positive. Démonstration. Siu # 0 dans M est tel que zP = yu, le Théor’me 1.4 implique que || est invariante, donc = hal+w) = hal w= slul+H), w= lel), sont invariantes. Comme elles ne peuvent étre simultanément nulles, le Lemme 1.5 implique que soit * > 0 soit p~ > 0, c’est a dire soit x > 0 soit uw < 0, et 7 = w/p(V) est une loi invariante. Si 7 et 7 sont deux lois invariantes alors aaa =(n—T')P1.3. Dualité naturelle et approche algébrique 7 et donc soit 7 — 7’ = 0 soit 7 — 7’ > 0 soit r — a’ < 0, et alors (x = 7'\(V) = Oimplique 7 — 7’ = 0. Comme le Théoréme 1.4 indique que la valeur propre 1 est semi-simple, elle est simple. Le genre de techniques utilisées dans ces preuves sont appelées collectivement par le vocable « Principe du maximum », que nous expliquerons dans la Section 1.3.3. 1.3.2. Condition de Doeblin et irréductibilité forte On dit qu’une matrice stochastique P est fortement irréductible si ilexiste i > 1 telque P'>0. Théoréme 1.7 (Doeblin) Soit P une matrice de transition sur V vérifiant la Condition de Doeblin : il existe k > 1 et € > 0 et une loi 7% sur V tels que PXx,y)>emy), Wx, yEV. Alors il existe > 7% unique loi invariante, et pour tout w € M ona wp" — wVyallvr <0 — 2)" || — weve < 20 — 6)" Lally ce qui donne les bornes exponentielles uniformes sur les lois initiales sup > |P"(x,y) — 7()| sup ||7oP" — alr $2 — ey xVoey moEP De plus, la restriction de P a {7 > 0} = {x €V: w(x) > 0} est une matrice stochastique irréductible, et fortement irréductible si { 7 > O} est fini. Démonstration. Supposons d’abord 44(V) = 0, et la Condition de Doeblin vraie pour k = 1. Alors ePlive = > |S0 w@)(PG, ») — ex (y) + ex(y)) yevlev < Yu 2 (PG, ») - e#0)) +e) HOH] xeV yev yev = llallvrl — e), BP(Y) = SOP we)PGy) = YO vO) YO PCy) = 0, yevrev op et on obtient || zP"llvr < ||yllvr(1 — 2)" en itérant.1+ Premiers pas Si la Condition de Doeblin est vraie pour k > 1 quelconque, le Théoréme 1.4 et le résultat ci-dessus appliqué & P* impliquent que UlaeP live = [lac PAH pr-kle/A < WeePye shy, S llallvrd = 2/4, En particulier, pour toutes lois 779 et 7 on a (774 — 7o)(V) = 0 et done [largP" — moP"llvr < (1 — 8)" ljarg — aollyr < 21 — £)!"/4) tend vers 0, d’od l’unicité de la loi invariante, et cette borne avec le choix ari, = oP montre que la suite récurrente (779 P")n>0 dans I’ espace métrique complet P est de Cauchy, et converge done vers une loi 77, qui est invariante par continuité. Pour # € M ona(u— w(V)m)(V) = 0 d’ob la borne sur || u— (V)r||vr- En prenant y= 779 ou 779 = 6; on trouve les bornes uniformes sur les lois initiales, et my) = lim P"(x, y) lim So P"'(x, PC, y) noe > ety) 0 Ph 'G,2) = ery). ev Si w(x) > Oet P(x, y) > Oalors my) = w(x) P(x, y) > 0 et donc P restreinte A { 7 > 0} est une matrice stochastique. Si 7(y) > 0 alors lim,_.o0 P"(x, y) = 7°(y) pour tout x et pour i(x, y) assez grand ona P'(x,y) > 0 pouri > i(x, y), donc cette restriction est irréductible. Si {7 > 0 fest finieti > max, yeg r>0} i(x, y) alors P! > Osur {7 > 0} et la restriction de P est fortement irréductible. On ae < 1, avec égalité seulement dans le cas trivial od (Xp)n>1 est ii.d de loi #7. La Condition de Doeblin ou l’irréductibilité forte sont tres rarement satisfaites sur un espace d’états infini. En revanche, lorsque l’espace d’état est fini, la Section 4.2.1 hous montrera comment se ramener A des matrices fortement irréductibles, et le résultat suivant est d’intérét au moins théorique, car les constantes obtenues sont le plus souvent mauvaises.1.3. Dualité naturelle et approche algébrique 19 Corollaire 1.8 Soit P une matrice de transition fortement irréductible sur V fini. Alors P vérifie la Condition de Doeblin du Théoréme 1.7 pour 1 = min P(x, y), 2 mig Pi») > a in PA : k>1 telque PA>0, =) minPYe,y)>0, #4) yey et les conclusions du Théoréme 1.7 sont satisfaites avec 7 > 0 sur V. | Démonstration. La preuve est immédiate. 1.3.3 Chaines sur un espace d’états fini a) Théoréme de Perron-Frobenius Lorsque V est fini, M(V) et L(V) sont de dimension finie Card(V), les valeurs propres et les dimensions des espaces propres et caractéristiques & droite et & gauche (de P et de P*) sont identiques, et le spectre est constitué de ces valeurs propres. On dit qu’une fonction f est harmonique si Pf = f. Théoréme 1.9 (Perron-Frobenius) Soit V un espace d’états fini, et P une matrice de transition sur V. Le spectre o(P) est inclus dans le disque unité complexe, les valeurs propres de module | sont semi-simples, les fonctions constantes sont harmoniques, et il existe une loi invariante 7. Si P est irréductible alors la loi invariante 7 est unique et ne s’annule pas, les seules fonctions harmoniques sont les constantes, et il existe un entier d > 1, appelé la période de P, tel que les seules valeurs propres de module | sont les racines d-eme de l’unité, qui sont simples. Si P est fortement irréductible alors d = Démonstration. Le début est une transcription du Théoréme 1.4. Puisque P1 = 1, les fonctions constantes sont harmoniques, | est valeur propre, il existe jp € M tel que wP = p, et le Théoréme 1.4 implique que la loi 7 = |4|/|u|(V) est invariante. Si P est irréductible alors le Théoréme 1.6 permet de conclure que la loi invariante 7 est unique et 77 > 0, en particulier la valeur propre 1 est simple et donc toute fonction harmonique est constante. Si P est fortement irréductible alors le Corollaire 1.8 s’applique, et les bones de convergence exponentielles du Théoréme 1.7 impliquent que 1 est valeur propre simple et que toute autre valeur propre est de module strictement inférieur a 1.20 1+ Premiers pas Si P est irréductible alors il existed > 1 tel que P4 est fortement irréductible sur chacune des d classes ’une partition de V, ce qui permet de prouver le résultat sur les racines d-éme de I unité ; voir la Section 4.2.1, en particulier les Définitions 4.6 et 4.11 et les Théorémes 4.9 et 4.12. Le Théoréme 4.12 étendra ces résultats & V infini. Saloff-Coste [9, Section 1.2] commente en détail la Condition de Doeblin et le Théor’me de Perron-Frobenius. > Origine de la terminologie « Principe du maximum » Une preuve directe de ce que si P est irréductible alors toute fonction harmonique sur un espace fini est constante donne son nom au Principe du maximum : si f est harmonique, alors elle atteint son maximum en un point x € V (puisque cet espace est fini) et pour i > lona max f = f(x) = P'f(x) = > P'@, FO) ve et comme P/(x,-) est une loi, f(y) = max f pour tout y tel que Pi(x,y) > 0, et Virréductibilité implique que f(y) = max f pour y € V, et done f est constante. b) Calcul des lois instantanées et des lois invariantes Nous allons maintenant résoudre la récurrence pour les lois instantanées, et constater que la situation se détériore trés vite avec la taille de l’espace d’états. » La chaine a deux états Les deux états sont notés | et 2, et il existe 0 < a,b < 1 tels que la matrice P et le graphe de la chaine sont donnés par (ermr=n)e COL ED. > La formule de récurrence 7, = 7-1 P s’explicite en l-a a (1), Ta(2)) = (n-1(1), 7102) ( b =) = (Cl =a) (1) + batn—1(2), at n—1(1) + (1 = byt n-1(2)) et la relation linéaire 7,(1) + 7,(2) = 1 transforme cette récurrence linéaire en dimension 2 en la récurrence affine 77,(1) = (1 — a — b)zrq—1(1) + b en dimension 1. Sia = b = Oalors P = / et toute loi est invariante, et P n’est pas irréductible : n a . b a puisque P” = J. Sinon I’unique point fixe est 2; la seule loi invariante est ~\aeb a+b1.3. Dualité naturelle et approche algébrique 2 et b b 7(1) = (moe a a)e —a~—by" +o et la formule pour 7,(2) s’obtient par symétrie ou complémentation. Sia = b = 1 alors P = (15) a 1 et —1 comme valeurs propres, cette dernitre de vecteur propre (_',), la chaine alterne entre 1 et 2, et 77,(1) vaut 7r9(1) si n est pair et 1 = zro(1) si n est impair. Si (a,b) ¢ {(0,0), (1, 1} alors b +b" a vitesse géométrique de raison 1 — a — b. fim m= 5) lim m=, > La chaine a trois états Les trois états sont notés 1, 2 et 3. Il existe a, b, c, d, e, et f dans [0, 1], vérifiant a+b La chaine a nombre fini d’états La méthode précédente s’étend sans problémes théoriques. Soit d = Card(V). La division Euclidienne X" = Q(X)K(X) + dya—1X4-! + +++ + aq1X + dno et K(P) = 0 donnent Pp Po be tag P tan ol et si Aj, ... , A, sont les racines distinctes de K(X) etm, > 1,... ,m, > 1 leur multiplicité, alors K(A) =0,...,K™ A) =0, 1 Si/_, m; équations ad inconnues dy,¢—15 +++ + 4n,0 linéairement indépendantes, et donc avec une solution unique. L’énorme obstacle pour la mise en oeuvre pratique de cette méthode pour calculer PP est de trouver les racines de K(X). On sait seulement que 1 est racine, et trouver les racines pose en général probléme dés que d > 4. Une fois les racines trouvées, la résolution du systéme linéaire et la recherche de lois invariantes ne pose probléme que si d est assez. grand. Cette méthode générale est plus simple que de mettre P sous sa forme réduite de Jordan J (ce qui nécessite également de trouver les racines du polynéme caractéris- tique) puis de résoudre un systéme linéaire pour trouver la matrice de passage M, de Vinverser, et alors P" = (MJM~')" = MJ"M~! oii J" a.une forme explicite. 1.4 EXEMPLES DEVELOPPES Nous allons décrire de fagon informelle quelques problémes concernant des évolutions aléatoires, dépendant d’un certain nombre de données et de parametres, puis les modéliser &V aide de chaines de Markov. Ces modeles seront étudiés en détail tout au long de notre étude, qu’ils serviront a illustrer. Quand nous ne précisons pas plus, les tirages sont supposés indépendants. 1.4.1 Marche aléatoire sur un réseau Une particule évolue sur un réseau R, c’est a dire un sous-groupe additif discret tel que Z4. D’un point x de R elle choisit de se rendre au point y = x +z de R avec probabilité p(z) > 0 pour z dans R, avec Dep p(z) = 1. Ceci peut représenter par exemple I’évolution d’un électron dans un réseau cristalli Quelques questions naturelles sont les suivantes : la particule part-elle & linfini? Si oui, & quelle vitesse ? Avec quelle probabilité atteint-elle un certain ensemble en temps fini ? Quelle est la valeur moyenne ou la loi du temps qu’elle mettra a le faire ? a) Modélisation Soit (E,)k>1 une suite iid. avec P(E) = z) = p(z) pour z dans R, une v.a. Xo a valeurs dans R indépendante, et pour n > 1, Xn = Xn tn = = Xot Ei te tbn- Le Théoréme 1.3 montre que (X,,)n>0 est une chaine de Markov sur R de matrice spatialement homogéne, ou invariante par translation, donnée par PR y=PEi=y-x)=ply-x), xyER.24 11+ Premiers pas La matrice P restreinte au sous-réseau engendré par { z : p(z) > 0} est irréductible. Si E(|1|) < 00 la Loi forte des grands nombres donne X» = nE(é\) + o(n) ps. et si E(é,) 4 0 la suite part a l’infini dans cette direction. Le cas E(£;) = 0 pose probléme; si E(|£:|*) < 00 le Théoréme limite central montre que X, /./n converge en loi vers N(0, Cov(é)), ce qui donne une petite idée du comportement en temps long. Les mesures constantes, ou uniformes, sont invariantes, puisque Y Pen = YE po-=Y po yeR. xR xER zeR > Marche aléatoire au plus proche voisin, symétrique Pour R = Z4, on dit que la marche aléatoire est au plus proche voisin si P(x, y) = 0 pour |x—y| > 1, et symétrique si P(x, y) = 1/2d pour |x—y| = 1. Cette terminologie s’étend a d'autres réseaux réguliers, tel celui de la Figure 1.1. Figure 1.1. Marche aléatoire au plus proche voisin symétrique sur réseau plan triangulaire régulier. 1.4.2 Loi de la ruine du joueur Deux joueurs A et B jouent a pile ou face. Au début du jeu, le joueur A dispose dune quantité a € N d’argent, le joueur B d’une quantité b € N. A chaque tirage, le joueur A a une chance p > 0 de gagner et une chance g = 1 — p > Ode perdre, une mise de | est faite par chaque joueur, qui est empochée par celui qui gagne. Le jeu continue jusqu’a ce que l'un des joueurs soit ruiné : il se retrouve avec une quantité 0 d’argent, et l'autre avec une quantité a + b = N. Voir la Figure 1.2 p. 25.1.4. Exemples développés 25 Xn 0 1 2 T n Figure 1.2 Loi de la ruine du joueur. Le joueur A termine le jeu au temps T et gagne la somme b = N ~aen partant d'une fortune initiale de a. Les états successifs de sa fortune sont représentés par des « et interpolés par des tirets. Les fléches courbes sur I’axe vertical donnent ses probabilités de gagner +1 ou —1 a chaque coup. Si p = q = 1/2 on dit que le jeu est équilibré, sinon qu’il est biaisé. Par exemple, le joueur A se rend au casino (joueur B) et décide de parier 1 & chaque coup a pair ou impair a la roulette, et de s’arréter aprés avoir soit gagné b (la somme qu'il aimerait gagner) soit perdu a (Ja perte maximale qu'il s’autorise). La présence du 0 (qui au casino n’est ni pair, ni impair. ..) et éventuellement du double 0 lui rend Ie jeu défavorable : p vaut 18/37 ~ 0,4865 ou 18/38 ~ 0,4737. Formellement, la situation est symétrique en échangeant a et b = N —a simulta- nément A p et q, ce que I’on utilisera lors des calculs. Cependant, en pratique on ne trouve pas de casino oii le jeu soit favorable au joueur. .. On peut aussi considérer le cas unilatéral, avec a € Net b = N = oo. Pour Vexemple du casino, ceci correspond & un joueur compulsif qui ne s’arréte que ruiné. Quelques questions naturelles sont les suivantes : Est-ce que le jeu va s’arréter ? Si oui, quelle est sa durée moyenne ? Quelle est la loi de cette durée ? Quelle est 1a probabilité pour que le joueur A reparte gagnant ?26 1+ Premiers pas » Marche aléatoire arrétée Dans tous ces cas, I’évolution de la fortune du joueur correspond a celle d’une marche aléatoire sur Z arrétée lorsqu'elle atteint la frontiére d’un ensemble. a) Modélisation L’évolution de Ia fortune du joueur A au long des tirages peut se représenter, a l'aide d'une suite (E,)k> iid. avec P(E, = 1) = pet P(é, = -1)=q =1- p, par Xp = Xn atGlocr crys 221, od Xo est sa fortune initiale a, ou plus généralement une v.a. a valeurs {0, 1,...,N} indépendante de (:)>1. La fortune du joueur B vaut N — X, al’instant n > 0. Le Théoréme 1.3 montre que (Xn)>0 est une chaine de Markov sur V = {0,1,...,.N} de matrice et de graphe donnés par P(0,0)= P(N,N)=1; P(x,x+1)=p, P(x,x-1) O aay (1.3) Jes autres termes de P étant nuls. Les états 0 et N = a +b sont absorbants, P n'est pas irréductible, et les mesures invariantes v sont de la forme v(i) = 0 si0 0, et Dyen p(k) = I. Un cas classique est la scission binaire : p(2) = p > Oet p(0) = 1 — p > 0. Le résultat de ce mécanisme d’évolution aléatoire est appelé processus de branche- ment, ou de Galton-Watson. L’étude initiale de Galton et Watson, précédée par une étude de Bienaymé, étudiait I’évolution des patronymes en Grande-Bretagne. Quelques questions naturelles sont les suivantes : Quelle est la loi du nombre individus & la n-2me génération ? La population va-t-elle s’éteindre, et avec quelle probabilité ? Comment la population évolue-t-elle si elle ne s’éteint pas ?1.4. Exemples développés 7 a) Modélisation Construisons une chaine (X,,)y>0 correspondant aux tailles (nombres d’individus) de la population au cours des générations. Soit (En,:)ni1 iid. avec P(E\,; = k) = p(k) pour k dans N, et Xo = 1. On suppose numérotés les X,,_ individus de la génération n — 1, et que le i-éme de ceux-ci donne &n, descendants dans la n-tme génération, de sorte que Xn Xn= én, mB ist La Figure 1.3 illustre tout ceci par I’arbre généalogique d’ une population, qui donne les relations de parenté en plus du nombre d’individus. 12 3 4 0 1 > 1 4 4 2 2 1 0 1 0 3 4 1 3 4 3 20 0 1 5 6 11 4 n Xn Eni Figure 1.3 Processus de branchement. Au centre : 'arbre généalogique d'une population sur six générations;; les « représentent les individus, les tirets leurs relations de filiation. A gauche : I’axe vertical donne les générations n; leurs tailles X, figurent a sa droite. A droite : le tableau sous axe horizontal donne les én, pour n > 1 et | 1, le Théoréme 1.3 montre que (X;),20 est une chaine de Markov sur N, de matrice de transition donnée par P(0,0)=1, Pexyy)= DD pli) pk), x21, 920, krk=y et état 0 est absorbant. Utiliser la matrice sous cette forme est peu pratique.