176

10 • Methodes

iteretives

EXERCICES
Les matrices des methodes de Jacobi, Gauss-Seidel et SOR sont definies respectivement aux paragraphes 10.3.1, 10.3.2 et 10.3.3. Exercice 10.1 Soient A E IF.2X2 et b E }R2. La solution du systeme Ax = b s'mterprete geometriquement comme le point d'intersection des deux droites
(D]) (D2)
alJx] a2]X]

+ a12X2 = h], + a22X2 = b-,

On suppose que

al]

et

a22

f. O.

1. Calculer les matrices des methodes de Jacobi et de Gauss-Seidel associees ace systeme, 2. Calculer les rayons spectraux de ces matrices. Que remarque-t-on ? 3. Calculer les rayons spectraux des matrices des methodes de Jacobi et de GaussSeidel associees au systeme obtenu en permutant 1es deux equations ci-dessus. 4. Interpreter geometriquement les methodes de Jacobi et de Gauss-Seidel appliqu€es it Ax = b. Pour cette derniere, on notera que le vecteur Xk+l E }R2 est solution du systeme triangulaire

Exercice 10.2 Calculer les rayons spectraux des matrices des methodes de Jacobi et de GaussSeidel des matrices:

C2

11 22

-2 1 1

) ( -1 1)
et 2 2 -1 22 -1 2

Exercice 10.3 Soient

A~(-L
-1/4

0 1 -1/4 -1/4

-1/4 -1/4 1 0

-1/4 0 1

-1/4 )

lz
K

et b = 2

(!).

Exertices

177

1. Calculer les matrices des methodes de Jacobi, associees A. On les notera J. G et G ei-

de Gauss-Seidel

et de relaxation

2. Donner systeme le point matrice 3. Calculer

l'expression en fonction de k, b et K des iteres de la resolution du Ax = b par la methode de Gauss-Seidel et la methode de Jacobi quand initial est l' origine. II est recommande d'utiliser Ia structure bloc de la

A.
les rayons spectraux : des matrices G et J.
W

4. a) Montrer que si A est valeur propre de G w, alors A = 1 de I'equation

ou bien A est racine

b) Calculer p(Gw) en distinguant sont reelles ou non.

les cas on les racines de I'equation

precedente

c) Trouver la valeur de ta qui rend p(Gw) minimum.

Exercice 10.4 1. Soit B E

e2nx2n

de la forme :

on B, et B2 E enxn. a) Soit A E spec (B) et x = ( ~:.~ un vecteur propre associe ) deux vecteurs de en). Montrer que B1 B2X1 = A2X1 et B2B('(2
(Xl
=

et X2 etant

AZXz.

b) En deduire que pt B) ~ Vp(BlBz). c) Prouver qu'en fait p(B)

J p(BlB2).

2. Soit A E eZnxZn de la forme

(~~Z;:1)
oil D, et Dz E a) On considere

enxn

sont inversibles

et on Al et Az E

nxn

la matrice de la methode J=

de Jacobi par blocs:

-I

(D1 0 ) (0 Az 0 At) o o,

Calculer

p( J).

178

10· Methodes iteretives

b) On considere

la matrice de la methode

SOR par blocs:

(

G_(
w-

-WA2

o,

0)

-1

D2

(I 0

W)DI

WAI

(1 - w)D2

oii west un reel donne. Lorsque w = I, G 1 = G est la matrice de Gauss-Seidel par blocs. Calculer G w. c) Calculer peG) en fonction de p(D:;l A2Dll

Al).

d) On cherche resoudre Ie systeme Ax = b par les methodes iteratives precedentes. Montrer que les methodes de Jacobi par blocs et de Gauss-Seidel par blocs convergentou divergent simultanement et ecrire la condition necessaire et suffisante de convergence. e) Calculer det Gw (Ie resultat ne depend que de wet de n). Montrer qu'une condition necessaire de convergence pour « SOR par blocs» est que 0 < ta <

2.
f) Montrer que cette condition
positive. est aussi suffisante lorsque A est aussi definie

Exercice 10.5
a, b et f.L designant des nombres complexes et n etant un entier superieur ou egat 2, on considere les matrices tridiagonales Cn(a, b) = (cij) E cnxn definies par:

Cij cij
Cij

= =

a b

pour pour

i=j - I i =j + I

et et

2::; j ::;, n
1::; j ::; n - I,

sinon,

On definit egalement

les matrices:

ou In E Cnxn est la matrice Dans cet exercice,

unite. complexes considere

a2, •.•

a et b sont des nombres a

non nuls quelconques. la matrice diagonale

I. a) Soit a un nombre complexe,

f. O. On

A(a) = diag(a, Montrer que pour tout nombre complexe

, an).

f.L on a :

b) En deduire que pour tout nombre complexe et An(f.L, a-la, ab) ont meme spectre.

f. 0,

les matrices

An(f.L,a,b)

Corriqes des exercices

303

des fonctions montre que la valeur optimale 1 - aAn = aAI - 1 c'est-a-dire a = 2/(A[

de p(Ba) est obtenue pour a solution de + An).

Exercice 11.1. 1. La derivee de la fonction p

f----'t !Ix (Xl: - p(AXk - b)) vaut (A(x -Xl:+P(AXk -b)), AXl: -b). A I'optimum on a done p« (A(Axk -b), AXk-b) = (AXk - b, AXk - b) et Pk = (rk, rk) / (Ark, rd. Par ailleurs, Ia derivee de la fonction P f---1 qix, - p(AXk - b» est egale -(A(Xk - p(AXk - b)), AXk - b) + (b, AXk - b) et on retrouve la valeur Pk a loptirnurn. De I'egalite Xhl = Xk - Pk(Axk - b) on deduit AXk+l - b = AXk - b - PkA(Axk - b) et done (AXhl - b, AXk - b) = (AXk - b, AXk - b) - Pk(A(Axk - b), AXk - b). La valeur de Pk montre que , 2 2 (AXk+l -b, AXk -b) = 0.2. A partir de Ilx- Xk+llIA = Ilx - XHPk(Axk -b)IIA et de Ia valeur de o« on tire Ilx -Xk-tlll~ = Ilx-xd~+PJIIAxk -blli +2pdA(x -xd, AXk -b) et Ilx - Xhlll~ Ilx - xi: II~ - (rk, rk)2 / (Ark, rk). On remarque que IIx - xkll~ = (A(x - xd,x - Xk) = (rk,A-Irk) = (A-lrk,rk). On obtient

II~

done I'egalite L'inegalite de (1-4/(ccond2A))1/2

Ilek+llli Kantorovitch

donne

Ilek/ii (1- (rk,rk)2 /((Ark,rk) (A-lrbrk)). (I - (rk, rk)2 / «(Ark, rk) (A -Irk. rk)))

+ (COnd2A)-1/2f

= (cond2A - 1)2 /(cond2A

+ 1)2, qui

implique Ie resultat. La majoration de l'erreur obtenue pour le gradient conjugue est de la forme (y'cond2A - 1) / Cvcond2A + 1). On a (y'X - 1)/(y'X + 1) ~ (x - l)/(x + I) pour tout x ~ 1. La vitesse de convergence methode du gradient conjugue est done superieure la vitesse de Ia methode du gradient pas optimal.

Exercice 11.2. 1. Les conditions d'optimalite sont Xk+l = Xk + gk avec gk E Gk et \7q(Xk+l) 1. Gk c'est-a-dire AXk+l - b .L Gk. On a AXk - bE Gk done \7q(Xk+l) 1. \7q(Xk)' 2, Par recurrence sur j. Pour j = 0, on a Go = JC[(A, ro). Supposons que G, = JCj+I(A, ro) pour j :::;k - 1. De I'egalite Xj+l = Xj + gj avec gj E Gj et de AJCj+1(A, ro) C JCj+2(A, ro) on deduit Ax j+l - b = AXj - b+Agj et done Ax j+l -b E
JCj+2(A, ro). Puisque par hypothese Ies vecteurs AXj - b sont non nuls et orthogonaux entre eux d'apres Ia question I, on a dim G )+1 = j +2. De dim JC)+2(A, ro) :::; j +2 on deduit done que G j+l == JCj+2(A, ro). On montre facilement par recurrence sur j ~ 1 que Xj E Xo + JCj(A, ro). On retrouve done les conditions (11.4) et (11.5) definissant de rnaniere unique la solution du gradient conjugue. maxxE.4 minyEB d(x, y) de sorte que hd(A, B) = max (B(A, B), B( B, A». B(A, B) et hd(A, B) sont bien definis parce que A et B sont compacts et non vides. Prouvons I'inegalite triangulaire, Ies autres axiomes des distances sont faciles verifier. Prenons x E A, Y E Bet z E C ou A, Bet C sont compacts et non vides. On a successivement : d(x, z) ~ d(x, y)+d(y, z), minzEc d(x,z) ~ d(x, y) + minzEc dey, z), minzEC d(x, z) ~ d(x, y) + maxYEB minzEc dey, z), min~EC d(x,z) ~ minyEBd(x,y)+B(B,C),B(A,C) ~ B(A,B)+B(B,C).Onmontrede meme que B(C, A) ~ MB, A) + B(C, B) don hd(A, C) ~ hd(A, B) + hd(B, C).

Exercice 12.1. Posons B(A, B)

304

Corriges des exertices

Exercice

12.2.

1. La

sphere

une fonction continue. maxXEGn,i minxE~lx (U* x)" D(U* x) = maxYEG"i minYE§y y* Dy en posant y = U* x et Y = U* X, On a U*§,x = §,y parcequeU est unitaire.Bc Lorsque y, = O,i+l "( k"( n,et IIYlb = Ion a y* Dy = 2:~=1 IYk 12 ? Ai' 4. Notons z, = {y E Ak Yk = 0, 1 "( k "( i-I} qui est de dimension n - i + 1 et soit Y E Gn,j. Puisque dim Y = i on a Y n Z, i- {O}

compacte, non 2. maxXEG.,i minxEs" x" Ax

§,X

est

vide

et

x" Ax

est

en :

et il existe y de norrne 1 dans cette intersection. On a y* Dy = 2:~=iAI;;IYk 12 "( AI' On obtient ainsi, pour tout Y E Gn,i, minyESy v" Dy "( Ai et il y a egalite pour le sous-espace Y = Yi decrit la question 3. Ceci prouve que

max min y* YElGn.,YE~y obtenu

UI, ... , u,

D» = Ai = max min x* Ax
XEGn"xES"

minllxl12=1 x* Ax.

Iorsque U* X = Yi c'est-a-dire pour X engendre par des vecteurs propres associes aux vaIeurs propres AI,' " ,A;. 5. AI = maxllxl12=1x* Ax, An =

6. Al(A) (resp. An(A)) est convexe (resp. concave) parce que c'est

I'enveloppe superieure (resp. l'enveloppe inferieure) de la fa mille de formes lineaires A ---* x* Ax. Exereice 12.3. 1. C'est une consequence de I'exercice 12.2: I-ti = maxXEG.,i minxEsx x* Bx. Si X E Gn,i realise ce maximum on obtient I-ti = minxESx x* Bx "( x* Bx pour tout x EX, llxl12 = 1, d'ou I-tl "( minxEs", x* Ax + maxilxliz=l x" Ex "( Ai + 81. 3. Puisque Ai + Bn "( I-ti "( Ai + Bl on obtient Il-ti - Ad "( max, IBkl = IIA - B112. 4. Lorsque E est semi-definie positive on a Bn ? 0 et I'inegalite Ai + Bif "( I-ti donne Ai "( I-ti' Exereice 13.1. Les sous-espaces de lKn invariants par la rotation de Givens G(i, i, 8) sont Ie plan de rotation [ei, e j], les axes [ek], k # i et i. et toute somme directe d'iceux, Les sous-espaces simples sont [e I, e j] et son complementaire orthogonal. Exercice 13.3. Lorsque A et B sont diagonales A Q - Q B = C devient A;qij -qij I-tj = Cij d'ou qij = cO/CAl -I-tj). Dans le cas diagonalisable AQ - QB = C devient MD;,M~l Q- QNDJLN-I = C etdonc D;,(M-1 QN)-(M-1QN)DJL = M-1CN. I Ainsi Q = MRNavec rij = (M-ICN)ij/(A; -I-tj). 13.4. 1. La condition spec A spec (- A *) = 0 est realisee parce que A est stable. On utilise alors le theoreme 13.9. 2. Notons que exp(t A) = Aexp(tA) = exp(tA)A. On obtient : fftexp(tA)Qexp(tA*) = exp(tA)(AQ + Exercice

1t

QA*)exp(tA*)

exp(fA)Dexp(tA*)

de sorte que

JOT

exp(tA)Dexp(tA*)dt

exp(tA*)dt = exp(T A)Qexp(TA*) - Q. Nous allons montrerque exp(T A) = lim- ~oo exp(T A *) = 0 ce qui perrnettra de conclure, Pour ce faire on utilise la decomposition de Jordan: A = PJ J = diag(Jl, ... , Jp), JI;; = Aklnk + Nnk (theoreme 1.5). On a : exp(T A) = P exp(T J)p-l et

faT -fit exp(tA)Q

lim--->00

r :',

Corriges des exercices

305

Ilexp(T A)lll ~ IIPlll IIp-1112 max, Ilexp(T ik)lll

Ilexp(T Nnk)1I2' Comme

=
1

IIPlb IIp-llllmaxk

lexp(T Adl

N:

= 0 et que liNn. III ~ Ion

a lIexp(T Nnk)11z ~ 2::7::-0

et done, en resume, Ilexp(T A)lll ~ IIP11111p- 112 max, exp(T~(Ak» 2::7:~ 11 est clair que cette expression a pour limite 0 lorsque T tend vers I'infini parce que ~(Ak) < 0 pour tout k. Meme chose pour exp(T A ~) puisque les parties reelles des valeurs propres de A et de A * sont les memes. 6. L'identite H ( ~ ) = ( ~ ) A s'ecrit A * = YAy-1 et AZ + ZA = DY. On peut une decomposition de Schur de A * et Z solution AZ + ZA = DY. Sa solution est unique puisque spec alors A(Zy-l) + (Zy-I)A* = (AZ + ZA)y-1 = D et de la solution de I'equation de Lyapunov. prendre Y et A donnes par de I' equation de Sylvester A n spec (-A) = 0. On a donc Q = Zy-I par unicite

r:.

Exercice 14.1. II revient au me me d' etudier Ie comportement de la suite ein(), n ). O. Cette suite est periodique si (j = atr avec a E Q. Lorsque u E lR \ Q, la suite est dense dans Ie cercle unite. Exercice 14.2. Soit (Xk) une base de vecteurs propres de A. On ecrit que z = a pX p + '" + Un.:t·n avec I :S; p ~ n et up =f O. On a alors Zk = AkZ/ JIAkzI12' Akz = apA~xp + ... + UnA~Xn et l'on montre que limk--+oo dp(zk, xp) = O. Exercice 14.3. 1. d(V, W) = atteint lorsque w = Ilwv est d(V, W) = SUP1,EV,llvll=1 Ilv de la sphere unite. 2. Cornme supvEV,111'112=1 infllIEW Ilv - w1l2. L'infimum est la projection orthogonale de v sur W. Ainsi U).'\!vI12 et c'est un maximum par compacite v - Ilwv = Ilw.L v on obtient d(V, W) =

sUPvEv,1I1'112=IIIIlw.Lvllz = sUPllzllz=1 Illlw.L 0 Ilvzllz = IIIlw.L 0 Ilv112' 3. d(WJ_, V.L) = IIIlv 0 Ilw.L III = IIIlw.L 0 Ilv III parce que les nonnes d'un operatenr et de son adjoint sont les memes. 4. V se decompose orthogonalement en V = (V n W) EB(V n (V n W).L) et de meme W = (V n W) f1j (W n (V n W).L). Soit v E V, v = VI + Vl avec VI E (V n W) et Vl E (V n (V n W)_l_). II se projette SUr W en Ilwv = VI + Il(wn\vnwJ.L)vl et done v - Ilvv = Vl - Il(wn(vnw).L)vl. 5. 0 ~ d(V, W) = IIIlw.L 0 nvlll ~ IIIlw.L IllllIlvllz ~ 1. 6. Par 1., W) 0 si et seulement si pour tout v EVil existe w E W tel que \Iv - will = 0 cest-a-dire si V C W. 7. d(V, W) = IIIlw.L 0 Ilvzl12 pour un Z de norme 1. Si z tj. V alors IIIlvzlb < Ilzlll = 1 et done d(V, W) < 1. De meme, si Ilvz tj. W.L on aura d(V, W) < 1. Ceci prouve que d(V, W) = 1 implique W_l_ n V f= {O}. Reciproquement si W_l_ n V f= {O}, pour un Z E W.L n V, IIzlb = 1, on a IIw.L 0 Ilvz = z done d(V, W) ). IIIlW.L 0 Ilvz\\2 = IIzl12 = I d'ou

acv,

d(V,W) IIIlvl
0

1. 8.d(Vl,V3)
0

n.,

= IIIlVf· oIIv11ll
0

Inv].L ~

rn.,

+ Ilvj-)0
0

Ilvl!ll

Ilvll12

+ IIIlv!-

IIv2.L

IIvJ 112

IIIlVl

Ilv211111Ilv,112 +

306

Corriges des exercices

IIIIVl-1121IIIvt

IIVll12

:s;

IIIIVf

IIV2112+ IIIIV2.L0 IIVlliz = d(Vz, V3)+d(VI'

V2).

9. Facile. 10. Provient de 9. 11. d(VI EEl z, W) = V

d(VI, W) + d(V2, W). De plus si

VI

E VI et V2 E V2 on a IIIIw~(t)l
0

+ v2)112 :s;
IIvll12 IIv211z:s;

IIII);V.LvIllz + IIIIw~ v211z :s; III1W.L 0 IIVl 112 IIvll12 + IIIIw~ max(d(VI, W), d(V2, W))(llvII12+llv2112)

:s; max(d(VI,

W), d(V2' W»V2llvI

+ v2112.

0 IIv = IIv - IIw 0 IIv et, de la meme maniere, deW, V) est la plus grande valeur singuliere de IIv~ 0 IIw = IIw -IIv 0 IIw. SoH Q une transformation unitaire, involutive (Q2 = idn) et telle que QV = W. On a II w = Q 0 II V 0 Q done II V - II w 0 II V = II v - Q 0 II v 0 Q 0 IIv et IIw - IIv 0 IIw = Q 0 (IIv - Q 0 IIv 0 Q 0 IIv) 0 Q de sorte que IIw.L 0 IIv et IIv.L 0 IIw ont les memes valeurs singulieres. L'existence d'une involution qui « rabat» V sur West admise, Dans le cas de droites on peut prendre une symetrie orthogonale. 14. C'est une consequence de 5,6,8 et 13.

13. d{V, W) est la plus grande valeur singuliere de IIw~

Exercice 14.4. T+ = RQ+/dn = Q~(QR+/dn)Q = Q*TQ done T+ esthermitienne et unitairement semblable is T: Nous devons maintenant prouver que QR tridiagonale et hermitienne implique R Q tridiagonale. Un argument de continuite permet aussi de supposer que QR est inversible. Comme Test tridiagouale et R-I triangulaire superieure, Q = T R-1 est une matrice de Hessenberg. Mais alors RQ est elle-aussi de Hessenberg et, puisqu'elle est hermitienne, elte est tridiagonale. Exercice 14.5. Puisque A - /dn n'est pas inversible, on peut prendre A - /1.12 = QR
avec R

u ( 0 0v)

. Mais alors RQ + /l!z

(u'0

VI) /l

Exercice 15.1.1. L'egalite est evidente pour j = l , ... , k - 1 puisque Kk(A, v) est le sous-espace vectoriel genere par les vecteurs v, Av, A2v, ... , Ak-I v. Pour j = k on a
PkAkv = PkAAk-lv Pour tout polynome 2:~~oaj(PkAPk)jv

(PkAPk) PkAk-IV

= (PkAPd

(PkAPtJk-IV
k'

= (PkAPk)kv. =

PE

H, p(x)

= 2:j=o ajxJ) on a PkP(A)l'

k'

= 2:j=o aj PkAiv

= p(PkAPk)V.

2. Sachant que Pk = QkQk, on verifie faci-

lement que (PkAPdj = Qk(QkAQdj Qk pour tout j. On a done Pkpk(A)v = Pk(PkAPdv = Qk Pk( Qk AQk) Qtv. D'apres le theoreme de Cayley-Hamilton 1.2 on a Pk( Qk A Qd = 0 et done PkPk{A)v = O. 3. On a (Pk(A)v, Pkw) = (PkPk(A)v, w) pour tout wEen. Sachant que PkPk(A)v = 0 par la question precedente et que Pku = u pour tout u E Kk(A, v), on a done (Pk(A)v, u) = 0 pour tout II E Kk(A, v). L'espace affine est egal H-l + Xk OUH-I est l'espace vectoriel des polynomes

Pk

156

9 • Inverses generalises

et molndres cerres

EXERCICES

Exercice 9.1 1. Calculer l'inverse generalise de la matrice L deux reels donnes tels que a2 + b2 ::j:. O. 2. Soit M E
jR2X2 =

(a, b) E

jR]

xz oil a et b sont ::j:. (LM)t.

definie par M = (~

~). Montrer que

u:' L t

Exercice 9.2 Calculer I'inoerse generalise d'une matrice-colonne. Exercice 9.3 Soient x et y E en, non nuls. Montrer que I'inverse generalise de la matrice
A = xy* est

Exercice 9.4 Montrer que pour toute matrice A E emxn on a (AA *)t = (A*)t At. Exercice 9.5 Soit A E enxn. Montrer qu'en general (Ak)t ::j:. (Ati, lorsque A est une matrice normale,

mais que l'egalite a lieu

Exercice 9.6 Soit A E enxn. Les valeurs propres non nulles de At sont-elles les inverses des valeurs propres non nulles de A ? Exercice 9.7 1. Montrer que pour toute matrice A E emxn et tEe, t ::j:. 0, et suffisamment petit, les matrices t I; + A * A et tIm + AA * sont inversibles, 2. En deduire que At = lim (tIn + A* A)~l A* = lim A*(tIm + AA*)~l.
t---+O /-to

Exercices

157

Exercice 9.8 Soit A

(1

~).

Resoudre Ax = b par la methode des moindres cartes et

donner la solution de norme minimale lorsque b = ( _~ ) et b = ( ~ ). Exercice 9.9 Soit Ie systeme Ax

A~(i ~

= b que ['on veut resoudre

et

b~(:)

au sens des moindres carres, OU

Calculer

1. Im A, Ker A, (Ker A)_L, 2. La projection orthogonale

b de b sur Im b qui

A,

3. L' ensemble des solutions du systeme Ax = b, 4. La solution du systeme Ax = moindres carres), est dans (Ker A)_L (solution au sens des

5. Obtenir ce meme resultat via l'inverse generalise de A et via I'equation normale AT Ax = ATb. Exercice 9.10 Donnons nous une matrice A E GLn, un vecteur b E C", la solution x = A -[ b du systeme Ax = b et une approximation x' ::j:. 0 de x. Montrer que

(A

E E (["Xfl + E)x' = b

min

IIEII
F

= IIA(x' -

x)ll~ IIx'I12

et que Ie minimum est atteint pour A(x - x')x'* E-~-----,-;~-

Ilx'll~

Exercice 9.11 Soit S E ([nxn une matrice definie positive. On note (., .) s Ie produit scalaire sur en defini par (x,Y)s = (x,Sy) = y*Sx et par

II. lis la norme

qui lui est associee,

302

Corriqes des exercices

2.c Pour

io

= 1 on a

0 Gl = G = ( 0
et donc p(G) p(D:;l A2Djl si p(J)

o:' ~ D~lA
2 2 1

D-IA

)
1

si et seulement

la condition est p(G) = p(D]1 A2D)1 Ad < 1. On salt que pour toutes matrices A et B de rcnxn, on a p(AB) = p(BA) (voir exercice 4.1). On a done p(D]l A2D)l Ad p(D)l A1D l A2) et les deux conditions sont equivalents. 2.e Le calcul de det(G(",) est obtenu grace au produit des determinants des deux matrices blocs triangulaires qui constituent Gw. On obtient det(Gw) = det(D[L) det(D 1) det((1w)Dj) det((1w)D2) = (1- w)21l. Sachant que I det(Gw)i ::( p(Gw)2n puisque le determinant est Ie produit des valeurs propres, une condition necessaire pour avoir la convergence est que wi ::( p(Gw) < 1 cest-a-dire 0 < (u < 2. 2.f La condition donnee par le theoreme 10.9 est que (2 - w)Ddw et (2 - w)D2/w soient definies positives ce qui est le cas puisque D, et Dl sont des blocs diagonaux d'une matrice definie positive.

Al). p(D)l

2.d La methode
AI

de

Jacobi

converge

o;'

A2)

<

1. Pour

Gauss-Seidel

11 -

Exercice 10.5. 2.a Utilisons la decomposition A = D - E - F. On a i = tr:' (E + F) pour la matrice de Jacobi et G = (D - E)- t F pour Gauss-Seidel. Le polynome caracteristique de est donne par Pj(x) = det(D-l(E +F)-x In) = dele _D-l) det(xDE - F). Pour Gauss-Seidel, on a le polynome Pe(x) = det((D - E)-l F - xIn) = det((E - D)-l) det(xD - xE - F), Pour A cf 0 on a d'apres la question La precedente det(A2 D - A2E - F) = det(A2 D - AE - AF) = An det(AD - E - F). On voit done que S1 !L i= 0 est une valeur propre de G alors ses deux racines carrees complexes ±A sont valeurs propres de i et reciproquement, si A i= 0 est valeur propre de alors A2 est valeur propre de G. On a ainsi peG) = p(if. 2.b La convergence (ou divergence) simultanee des deux methodes est evidente. Pour montrer que leur convergence implique que An(s, a, b) est inversible il suffit dobserver que An(s J a, b) = D(In - D-I(E + F)) et que p(D-l(E + F)) < 1 irnplique (In - o' (E + F)) inversible (voir exercice 3.4). 3. D'apres l' exercice 1.13 on sait que les n valeurs propres de la matrice Cn(a, b) sont donnees par 2.J(ib COS(k1T [tn + 1)) avec k = 1, ... , n et .J(ib une racine de abo Les valeurs propres de la matrice sont done egales 2(.J(ib/s) cos(k1r/(n + 1)) et p(i) = 21.J(ib/sl Cos(1T/(n + 1)). Les deux methodes convergent si et seulement si 21.J(ib/sl COS(1T [tn + 1)) < 1.

i.

Exercice 10.6. 1. L'iteration

s'ecrit Xk+l = (In - aA)xk + ab. Notons Al ~ ". ~ An > Oles valeurs propres de A. Les valeurs propres de la matrice Bo: = (In - aA) sont de la forme 1 - aAi pour tout i = 1, ... , n . Le graphe des differentes fonctions a f-) aAi I montre que pour a E]O, 2/ Al [la methode est convergente. 2. Le graphe

11-

Corriqes des exercices

303

des fonctions montre que la valeur optimale 1 - aAn = aAI - 1 c'est-a-dire a = 2/(A[

de p(Ba) est obtenue pour a solution de + An).

Exercice 11.1. 1. La derivee de la fonction p

f----'t !Ix (Xl: - p(AXk - b)) vaut (A(x -Xl:+P(AXk -b)), AXl: -b). A I'optimum on a done p« (A(Axk -b), AXk-b) = (AXk - b, AXk - b) et Pk = (rk, rk) / (Ark, rd. Par ailleurs, Ia derivee de la fonction P f---1 qix, - p(AXk - b» est egale -(A(Xk - p(AXk - b)), AXk - b) + (b, AXk - b) et on retrouve la valeur Pk a loptirnurn. De I'egalite Xhl = Xk - Pk(Axk - b) on deduit AXk+l - b = AXk - b - PkA(Axk - b) et done (AXhl - b, AXk - b) = (AXk - b, AXk - b) - Pk(A(Axk - b), AXk - b). La valeur de Pk montre que , 2 2 (AXk+l -b, AXk -b) = 0.2. A partir de Ilx- Xk+llIA = Ilx - XHPk(Axk -b)IIA et de Ia valeur de o« on tire Ilx -Xk-tlll~ = Ilx-xd~+PJIIAxk -blli +2pdA(x -xd, AXk -b) et Ilx - Xhlll~ Ilx - xi: II~ - (rk, rk)2 / (Ark, rk). On remarque que IIx - xkll~ = (A(x - xd,x - Xk) = (rk,A-Irk) = (A-lrk,rk). On obtient

II~

done I'egalite L'inegalite de (1-4/(ccond2A))1/2

Ilek+llli Kantorovitch

donne

Ilek/ii (1- (rk,rk)2 /((Ark,rk) (A-lrbrk)). (I - (rk, rk)2 / «(Ark, rk) (A -Irk. rk)))

+ (COnd2A)-1/2f

= (cond2A - 1)2 /(cond2A

+ 1)2, qui

implique Ie resultat. La majoration de l'erreur obtenue pour le gradient conjugue est de la forme (y'cond2A - 1) / Cvcond2A + 1). On a (y'X - 1)/(y'X + 1) ~ (x - l)/(x + I) pour tout x ~ 1. La vitesse de convergence methode du gradient conjugue est done superieure la vitesse de Ia methode du gradient pas optimal.

Exercice 11.2. 1. Les conditions d'optimalite sont Xk+l = Xk + gk avec gk E Gk et \7q(Xk+l) 1. Gk c'est-a-dire AXk+l - b .L Gk. On a AXk - bE Gk done \7q(Xk+l) 1. \7q(Xk)' 2, Par recurrence sur j. Pour j = 0, on a Go = JC[(A, ro). Supposons que G, = JCj+I(A, ro) pour j :::;k - 1. De I'egalite Xj+l = Xj + gj avec gj E Gj et de AJCj+1(A, ro) C JCj+2(A, ro) on deduit Ax j+l - b = AXj - b+Agj et done Ax j+l -b E
JCj+2(A, ro). Puisque par hypothese Ies vecteurs AXj - b sont non nuls et orthogonaux entre eux d'apres Ia question I, on a dim G )+1 = j +2. De dim JC)+2(A, ro) :::; j +2 on deduit done que G j+l == JCj+2(A, ro). On montre facilement par recurrence sur j ~ 1 que Xj E Xo + JCj(A, ro). On retrouve done les conditions (11.4) et (11.5) definissant de rnaniere unique la solution du gradient conjugue. maxxE.4 minyEB d(x, y) de sorte que hd(A, B) = max (B(A, B), B( B, A». B(A, B) et hd(A, B) sont bien definis parce que A et B sont compacts et non vides. Prouvons I'inegalite triangulaire, Ies autres axiomes des distances sont faciles verifier. Prenons x E A, Y E Bet z E C ou A, Bet C sont compacts et non vides. On a successivement : d(x, z) ~ d(x, y)+d(y, z), minzEc d(x,z) ~ d(x, y) + minzEc dey, z), minzEC d(x, z) ~ d(x, y) + maxYEB minzEc dey, z), min~EC d(x,z) ~ minyEBd(x,y)+B(B,C),B(A,C) ~ B(A,B)+B(B,C).Onmontrede meme que B(C, A) ~ MB, A) + B(C, B) don hd(A, C) ~ hd(A, B) + hd(B, C).

Exercice 12.1. Posons B(A, B)