Universit Aix Marseille 1

Licence de mathmatiques
Cours dAnalyse numrique
Raphale Herbin
19 octobre 2008
Table des matires
1 Systmes linaires 5
1.1 Objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Quelques rappels dalgbre linaire . . . . . . . . . . . . . . . . . 6
1.2.1 Norme induite . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 Rayon spectral . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.3 Matrices diagonalisables . . . . . . . . . . . . . . . . . . . 8
1.3 Les mthodes directes . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.1 Dnition . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.2 Mthode de Gauss et mthode LU . . . . . . . . . . . . . 11
1.3.3 Mthode de Choleski . . . . . . . . . . . . . . . . . . . . . 14
1.3.4 Quelques proprits . . . . . . . . . . . . . . . . . . . . . 20
1.4 Conditionnement . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.4.1 Le problme des erreurs darrondis . . . . . . . . . . . . . 22
1.4.2 Conditionnement et majoration de lerreur darrondi . . . 22
1.4.3 Discrtisation dquations aux drives partielles, condi-
tionnement ecace" . . . . . . . . . . . . . . . . . . . . . 24
1.5 Mthodes itratives . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.5.1 Origine des systmes rsoudre . . . . . . . . . . . . . . . 27
1.5.2 Dnition et proprits . . . . . . . . . . . . . . . . . . . 30
1.5.3 Mthodes de Jacobi, Gauss-Seidel et SOR/SSOR . . . . . 33
1.5.4 Recherche de valeurs propres et vecteurs propres . . . . . 39
1.6 Exercices du chapitre 1 . . . . . . . . . . . . . . . . . . . . . . . . 40
1.7 Suggestions pour les exercices du chapitre 1 . . . . . . . . . . . . 59
1.8 Corrigs des exercices du chapitre 1 . . . . . . . . . . . . . . . . . 62
2 Systmes non linaires 103
2.1 Les mthodes de point xe . . . . . . . . . . . . . . . . . . . . . . 103
2.1.1 Point xe de contraction . . . . . . . . . . . . . . . . . . . 103
2.1.2 Point xe de monotonie . . . . . . . . . . . . . . . . . . . 107
2.1.3 Vitesse de convergence . . . . . . . . . . . . . . . . . . . . 109
2.2 Mthode de Newton . . . . . . . . . . . . . . . . . . . . . . . . . 111
2.2.1 Construction et convergence de la mthode . . . . . . . . 111
2.2.2 Variantes de la mthode de Newton . . . . . . . . . . . . 115
2.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
2.4 Suggestions pour les exercices du chapitre 2 . . . . . . . . . . . . 126
2.5 Corrig des exercices du chapitre 2 . . . . . . . . . . . . . . . . . 128
1
3 Optimisation 150
3.1 Dnitions et rappels de calcul direntiel . . . . . . . . . . . . . 150
3.1.1 Dnition des problmes doptimisation . . . . . . . . . . 150
3.1.2 Rappels et notations de calcul direntiel . . . . . . . . . 150
3.2 Optimisation sans contrainte . . . . . . . . . . . . . . . . . . . . 152
3.2.1 Dnition et condition doptimalit . . . . . . . . . . . . . 152
3.2.2 Rsultats dexistence et dunicit . . . . . . . . . . . . . . 152
3.3 Algorithmes doptimisation sans contrainte . . . . . . . . . . . . 157
3.3.1 Mthodes de descente . . . . . . . . . . . . . . . . . . . . 157
3.3.2 Algorithmes du gradient conjugu . . . . . . . . . . . . . 161
3.3.3 Mthodes de Newton et QuasiNewton . . . . . . . . . . 168
3.3.4 Rsum sur les mthodes doptimisation . . . . . . . . . . 172
3.4 Optimisation sous contraintes . . . . . . . . . . . . . . . . . . . . 172
3.4.1 Dnitions . . . . . . . . . . . . . . . . . . . . . . . . . . 172
3.4.2 Existence Unicit Conditions doptimalit simple . . . 173
3.4.3 Conditions doptimalit dans le cas de contraintes galit 174
3.4.4 Contraintes ingalits . . . . . . . . . . . . . . . . . . . . 178
3.5 Algorithmes doptimisation sous contraintes . . . . . . . . . . . . 179
3.5.1 Mthodes de gradient avec projection . . . . . . . . . . . 179
3.5.2 Mthodes de dualit . . . . . . . . . . . . . . . . . . . . . 182
3.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
3.7 Suggestions pour les exercices du chapitre 3 . . . . . . . . . . . . 199
3.8 Corrigs des exercices du chapitre 3 . . . . . . . . . . . . . . . . . 201
4 Equations direntielles 219
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
4.2 Consistance, stabilit et convergence . . . . . . . . . . . . . . . . 222
4.3 Thorme gnral de convergence . . . . . . . . . . . . . . . . . . 224
4.4 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
4.5 Explicite ou implicite ? . . . . . . . . . . . . . . . . . . . . . . . . 228
4.5.1 Limplicite gagne... . . . . . . . . . . . . . . . . . . . . . . 228
4.5.2 Limplicite perd... . . . . . . . . . . . . . . . . . . . . . . 229
4.5.3 Match nul . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
4.6 Etude du schma dEuler implicite . . . . . . . . . . . . . . . . . 230
4.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
4.8 Corrig des exercices du chapitre 4 . . . . . . . . . . . . . . . . . 241
2
Introduction
Lobjet de lanalyse numrique est de concevoir et dtudier des mthodes de
rsolution de certains problmes mathmatiques, en gnral issus de la modlisa-
tion de problmes rels", et dont on cherche calculer la solution laide dun
ordinateur.
Le cours est structur en quatre grands chapitres :
Systmes linaires
Systmes non linaires
Optimisation
Equations direntielles.
On pourra consulter les ouvrages suivants pour ces direntes parties (ceci est
une liste non exhaustive !) :
P.G. Ciarlet, Introduction lanalyse numrique et loptimisation, Masson,
1982, (pour les chapitre 1 3 de ce polycopi).
M. Crouzeix, A.L. Mignot, Analyse numrique des quations direntielles,
Collection mathmatiques appliques pour la maitrise, Masson, (pour le cha-
pitre 4 de ce polycopi).
J.P. Demailly, Analyse numrique et quations direntielles Collection Gre-
noble sciences Presses Universitaires de Grenoble
L. Dumas, Modlisation loral de lagrgation, calcul scientique, Collection
CAPES/Agrgation, Ellipses, 1999.
J. Hubbard, B. West, Equations direntielles et systmes dynamiques, Cas-
sini.
P. Lascaux et R. Thodor, Analyse numrique matricielle applique lart de
lingnieur, tomes 1 et 2, Masson, 1987
L. Sainsaulieu, Calcul scientique cours et exercices corrigs pour le 2me
cycle et les coles dingnieurs, Enseignement des mathmatiques, Masson,
1996.
M. Schatzman, Analyse numrique, cours et exercices, (chapitres 1,2 et 4).
D. Serre, Les matrices, Masson, (2000). (chapitres 1,2 et 4).
P. Lascaux et R. Theodor, Analyse numrique sapplique aux sciences de
lingnieur, Paris, (1994)
R. Temam, Analyse numrique, Collection SUP le mathmaticien, Presses
Universitaires de France, 1970.
Et pour les anglophiles...
M. Braun, Dierential Equations and their applications, Springer, New York,
1984 (chapitre 4).
G. Dahlquist and A. Bjrck, Numerical Methods, Prentice Hall, Series in
Automatic Computation, 1974, Englewood Clis, NJ.
3
R. Fletcher, Practical methods of optimization, J. Wiley, New York, 1980
(chapitre 3).
G. Golub and C. Van Loan, Matrix computations, The John Hopkins Univer-
sity Press, Baltimore (chapitre 1).
R.S. Varga, Matrix iterative analysis, Prentice Hall, Englewood Clis, NJ
1962.
Ce cours a t rdig pour la licence de mathmatiques par tl-enseignement
de luniversit dAix-Marseille 1. Chaque chapitre est suivi dun certian nombre
dexercices. On donne ensuite des suggestions pour eectuer les exercices, puis
des corrigs dtaills. Il est fortement conseill dessayer de faire les exercices
dabord sans ces indications, et de ne regarder les corrigs dtaills quune fois
lexercice achev (mme si certaines questions nont pas pu tre eectues), ceci
pour se prparer aux conditions dexamen.
4
Chapitre 1
Systmes linaires
1.1 Objectifs
On note /
N
(IR) lensemble des matrices carres dordre N. Soit A /
N
(IR)
une matrice inversible, et b IR
N
, on a comme objectif de rsoudre le systme
linaire Ax = b, cest dire de trouver x solution de :
_
x IR
N
Ax = b
(1.1.1)
Comme A est inversible, il existe un unique vecteur x IR
N
solution de (1.1.1).
Nous allons tudier dans les deux chapitres suivants des mthodes de calcul de
ce vecteur x : la premire partie de ce chapitre sera consacre aux mthodes
directes" et la deuxime aux mthodes itratives". Nous aborderons ensuite
en troisime partie les mthodes de rsolution de problmes aux valeurs propres.
Un des points essentiels dans lecacit des mthodes envisages concerne la
taille des systmes rsoudre. Entre 1980 et 2000, la taille de la mmoire des
ordinateurs a augment de faon drastique. La taille des systmes quon peut
rsoudre sur ordinateur a donc galement augment, selon lordre de grandeur
suivant :
1980 : matrice pleine (tous les termes sont non nuls) N = 10
2
matrice creuse N = 10
6
2000 : matrice pleine N = 10
6
matrice creuse N = 10
8
Le dveloppement des mthodes de rsolution de systmes linaires est lie
lvolution des machines informatiques. Un grand nombre de recherches sont
dailleurs en cours pour proter au mieux de larchitecture des machines (m-
thodes de dcomposition en sous domaines pour proter des architectures pa-
rallles, par exemple).
Dans la suite de ce chapitre, nous verrons deux types de mthodes pour rsoudre
les systmes linaires : les mthodes directes et les mthodes itratives. Pour
faciliter la comprhension de leur tude, nous commenons par quelques rappels
dalgbre linaire.
5
1.2 Quelques rappels dalgbre linaire
1.2.1 Norme induite
Dnition 1.1 (Norme matricielle, norme induite)
1. On appelle norme matricielle sur /
N
(IR) une norme t.q. |AB| |A||B|,
pour toutes matrices A et B de /
N
(IR).
2. On considre IR
N
muni dune norme | |. On appelle norme matricielle
induite (ou norme induite) sur /
N
(IR) par la norme ||, encore note ||,
la norme sur /
N
(IR) dnie par : |A| = sup|Ax|; x IR
N
, |x| = 1
pour toute matrice A /
N
(IR).
Proposition 1.2 Soit /
N
(IR) muni dune norme induite ||. Alors pour toute
matrice A /
N
(IR), on a :
1. |Ax| |A| |x|, x IR
N
,
2. |A| = max
_
|Ax| ; |x| = 1, x IR
N
_
,
3. |A| = max
_
|Ax|
|x|
; x IR
N
0
_
.
4. | | est une norme matricielle.
Dmonstration :
1. Soit x IR
N
0, posons y =
x
|x|
, alors |y| = 1 donc |Ay| |A|. On
en dduit
|Ax|
|x|
|A| et donc |Ax| |A| |x|. Si maintenant x = 0,
alors Ax = 0, et donc |x| = 0 et |Ax| = 0 ; lingalit |Ax| |A| |x|
est encore vrie.
2. Lapplication dnie de IR
N
dans IR par : (x) = |Ax| est continue
sur la sphre unit S
1
= x IR
N
[ |x| = 1 qui est un compact de
IR
N
. Donc est borne et atteint ses bornes : il existe x
0
IR
N
tel que
|A| = |Ax
0
|
3. La dernire galit rsulte du fait que
|Ax|
|x|
= |A
x
|x|
| et
x
|x|
S
1
pour
tout x ,= 0.
Proposition 1.3 Soit A = (a
i,j
)
i,j{1,...,N}
/
N
(IR).
1. On munit IR
N
de la norme | |

et /
N
(IR) de la norme induite corres-
pondante, note aussi | |

. Alors
|A|

= max
i{1,...,N}
N

j=1
[a
i,j
[. (1.2.2)
2. On munit IR
N
de la norme | |
1
et /
N
(IR) de la norme induite corres-
pondante, note aussi | |
1
. Alors
|A|
1
= max
j{1,...,N}
N

i=1
[a
i,j
[ (1.2.3)
6
3. On munit IR
N
de la norme | |
2
et /
N
(IR) de la norme induite corres-
pondante, note aussi | |
2
.
|A|
2
= ((A
t
A))
1
2
. (1.2.4)
La dmonstration de cette proposition fait lobjet de lexercice 3 page 40
1.2.2 Rayon spectral
Dnition 1.4 (Valeurs propres et rayon spectral) Soit A /
N
(IR) une
matrice inversible. On appelle valeur propre de A tout Cl tel quil existe
x Cl
N
, x ,= 0 tel que Ax = x. Llment x est appel vecteur propre de A
associ . On appelle rayon spectral de A la quantit (A) = max[[; Cl ,
valeur propre de A.
Proposition 1.5 Soit A /
N
(IR) une matrice carre quelconque et soit | |
une norme matricielle (induite ou non). Alors
(A) |A|.
La preuve de cette proposition fait lobjet de lexercice 5 page 41. Elle nces-
site un rsultat dapproximation du rayon spectral par une norme induite bien
choisie, que voici :
Proposition 1.6 (Rayon spectral et norme induite)
Soient A /
N
(IR) et > 0. Il existe une norme sur IR
N
(qui dpend de A et )
telle que la norme induite sur /
N
(IR), note | |
A,
, vrie |A|
A,
(A) +.
Dmonstration : Soit A /
N
(IR), alors par le lemme 1.7 donn ci-aprs, il
existe une base (f
1
, . . . , f
N
) de Cl
N
et une famille de complexes (
i,j
)
i,j=1,...,N,ji
telles que Af
i
=

ji

i,j
f
j
. Soit ]0, 1[, pour i = 1, . . . , N, on dnit e
i
=

i1
f
i
. La famille (e
i
)
i=1,...,N
forme une base de Cl
N
. On dnit alors une norme
sur IR
N
par |x| = (

N
i=1

i
)
1/2
, o les
i
sont les composantes de x dans la
base (e
i
)
i=1,...,N
. Notons que cette norme dpend de A et de .
Soit > 0. Montrons que si bien bien choisi, on a |A| (A) + . Soit
x =

i=1,...,N

i
e
i
. Comme
Ae
i
=

1ji

ij

i,j
e
j
,
on a donc :
Ax =
N

i=1

1ji

ij

i,j

i
e
j
= .
N

j=1
_
N

i=j

ij

i,j

i
_
e
j
On en dduit que
|Ax|
2
=
N

j=1
_
N

i=j

ij

i,j

i
__
N

i=j

ij

i,j

i
_
,
7
soit encore
|Ax|
2
=
N

j=1

j,j

j,j

j
+
N

j=1

k,j
(k,)=(j,j)

k+2j

k,j

,j

.
Comme ]0, 1[, on en conclut que :
|Ax|
2
(A)|x|
2
+N
3
(A)
2
|x|
2
.
Do le rsultat, en prenant tel que N
3
(A)
2
< .
Lemme 1.7 (Triangularisation dune matrice) Soit A /
N
(IR) une ma-
trice carre quelconque, alors il existe une base (f
1
, . . . , f
N
) de Cl et une famille
de complexes (
i,j
)
i=1,...,N,j=1,...,N,j<i
telles que Af
i
=
i,i
f
i
+

j<i

i,j
f
j
. De
plus
i,i
est valeur propre de A pour tout i 1, . . . , N.
On admettra ce lemme.
Nous donnons maintenant un thorme qui nous sera utile dans ltude du condi-
tionnement, ainsi que plus tard dans ltude des mthodes itratives.
Thorme 1.8 (Matrices de la forme Id +A)
1. Soit une norme matricielle induite, Id la matrice identit de /
N
(IR) et
A /
N
(IR) telle que |A| < 1. Alors la matrice Id +A est inversible et
|(Id +A)
1
|
1
1 |A|
.
2. Si une matrice de la forme Id+A /
N
(IR) est singulire, alors |A| 1
pour toute norme matricielle | |.
Dmonstration :
1. La dmonstration du point 1 fait lobjet de lexercice 9 page 42.
2. Si la matrice Id + A /
N
(IR) est singulire, alors = 1 est valeur
propre, et donc en utilisant la proposition 1.6, on obtient que |A|
(A) 1.
1.2.3 Matrices diagonalisables
Dnition 1.9 (Matrice diagonalisable) Soit A une matrice relle carre
dordre n. On dit que A est diagonalisable dans IR si il existe une base (
1
, . . . ,
n
)
et des rels
1
, . . . ,
n
(pas forcment distincts) tels que A
i
=
i

i
pour i =
1, . . . , n.
Lemme 1.10 Soit A une matrice relle carre dordre n, diagonalisable dans
IR. Alors A = P
1
diag(
1
, . . . ,
n
)P, o les vecteurs colonnes de la matrice P
gaux aux vecteurs
1
, . . . ,
n
.
8
Dmonstration Soit P la matrice dnie (de manire unique) par Pe
i
=
i
, o
(e
i
)
i=1,...,n
est la base canonique de IR
n
, cest--dire que (e
i
)
j
=
i,j
. La matrice
P est appele matrice de passage de la base (e
i
)
i=1,...,n
la base (
i
)
i=1,...,n
; la
i-me colonne de P est constitue des composantes de
i
dans la base canonique
(e
1
, . . . , e
N
).
La matrice P est videmment inversible, et on peut crire :
A
i
= AP
1
e
i
=
i

i
,
de sorte que :
PAP
1
e
i
=
i
P
1

i
=
i
e
i
.
On a donc bien PAP
1
= diag(
1
, . . . ,
n
) (ou encore A = P
1
diag(
1
, . . . ,
n
)P).
La diagonalisation des matrices relles symtriques est un outil quon utilisera
souvent dans la suite, en particulier dans les exercices.
Lemme 1.11 Soit E un espace vectoriel sur IR de dimension nie : dimE = n,
n IN

, muni dun produit scalaire i.e. dune application

E E IR,
(x, y) (x [ y)
E
,
qui vrie :
x E, (x [ x)
E
0 et (x [ x)
E
= 0 x = 0,
(x, y) E
2
, (x [ y)
E
= (y [ x)
E
,
y E, lapplication de E dans IR, dnie par x (x [ y)
E
est linaire.
Ce produit scalaire induit une norme sur E, |x| =
_
(x [ x)
E
.
Soit T une application linaire de E dans E. On suppose que T est symtrique,
c..d. que (T(x) [ y)
E
= (x [ T(y))
E
, (x, y) E
2
. Alors il existe une base
orthonorme (f
1
. . . f
n
) de E (c..d. telle que (f
i
, f
j
)
E
=
i,j
) et (
1
. . .
n
)
IR
n
tels que T(f
i
) =
i
f
i
pour tout i 1 . . . n.
Consquence immdiate : Dans le cas o E = IR
N
, le produit scalaire cano-
nique de x = (x
1
, . . . , x
N
)
t
et y = (y
1
, . . . , y
N
)
t
est dni par (x [ y)
E
= x y =

N
i=1
x
i
y
i
. Si A /
N
(IR) est une matrice symtrique, alors lapplication T d-
nie de E dans E par : T(x) = Ax est linaire, et : (Tx[y) = Ax y = x A
t
y =
x Ay = (x [ Ty). Donc T est linaire symtrique. Par le lemme prcdent, il
existe (f
1
. . . f
N
) et (
1
. . .
N
) IR tels que Tf
i
= Af
i
=
i
f
i
i 1, . . . , N
et f
i
f
j
=
i,j
, (i, j) 1, . . . , N
2
.
Interprtation algbrique : Il existe une matrice de passage P de (e
1
, . . . , e
N
)
base canonique dans (f
1
, . . . , f
N
) dont la premire colonne de P est constitue
des coordonnes de f
i
dans (e
1
. . . e
N
). On a : Pe
i
= f
i
. On a alors P
1
APe
i
=
P
1
Af
i
= P
1
(
i
f
i
) =
i
e
i
= diag(
1
, . . . ,
N
)e
i
, o diag(
1
, . . . ,
N
) dsigne
la matrice diagonale de coecients diagonaux
1
, . . . ,
N
. On a donc :
P
1
AP =
_

i
0
.
.
.
0
N
_

_ = D.
9
De plus P est orthogonale, i.e. P
1
= P
t
. En eet,
P
t
Pe
i
e
j
= Pe
i
Pe
j
= (f
i
[f
j
) =
i,j
i, j 1 . . . N,
et donc (P
t
Pe
i
e
i
) e
j
= 0 j 1 . . . N i 1, . . . N. On en dduit
P
t
Pe
i
= e
i
pour tout i = 1, . . . N, i.e. P
t
P = PP
t
= Id.
Dmonstration du lemme 1.11 Cette dmonstration se fait par rcurrence
sur la dimension de E.
1re tape.
On suppose dimE = 1. Soit e E, e ,= 0, alors E = IRe = f
1
avec f
1
=
e
|e|
.
Soit T : E E linaire symtrique, on a : Tf
1
IRf
1
donc il existe
1
IR tel
que Tf
1
=
1
f
1
.
2me tape.
On suppose le lemme vrai si dimE < n. On montre alors le lemme si dimE = n.
Soit E un espace vectoriel norm sur IR tel que dimE = n et T : E E linaire
symtrique. Soit lapplication dnie par :
: E IR
x (Tx[x).
Lapplication est continue sur la sphre unit S
1
= x E[ |x| = 1 qui est
compacte car dimE < +; il existe donc e S
1
tel que (x) (e) = (Te [
e) = pour tout x E. Soit y E 0, et soit t ]0,
1
y
[ alors e +ty ,= 0. On
en dduit que :
e +ty
|e +ty|
S
1
donc (e) =
_
T
(e +ty)
|e +ty|
[
e +ty
|e +ty|
_
E
donc (e +ty [ e +ty)
E
(T(e +ty) [ e +ty). En dveloppant on obtient :
[2t(e [ y) +t
2
(y [ y)
E
] 2t(T(e) [ y) +t
2
(T(y) [ y)
E
.
Comme t > 0, ceci donne :
[2(e [ y) +t(y [ y)
E
] 2(T(e) [ y) +t(T(y) [ y)
E
.
En faisant tendre t vers 0
+
, on obtient 2(e [ y)
E
2(T(e) [ y), Soit 0 (T(e)
e [ y) pour tout y E 0. De mme pour z = y on a 0 (T(e) e[z)
donc (T(e) e [ y) 0. Do (T(e) e [ y) = 0 pour tout y E. On en
dduit que T(e) = e. On pose f
n
= e et
n
= .
Soit F = x E; (x [ e) = 0, on a donc F ,= E, et E = F

IRe : on peut
dcomposer x E comme (x = x(x [ e)e+(x [ e)e). Lapplication S = T[
F
est
linaire symtrique et on a dimF = n 1. et S(F) F. On peut donc utiliser
lhypothse de rcurrence : (
1
. . .
n1
) IR
n
et (f
1
. . . f
n1
) E
n
tels que
i 1 . . . n 1, Sf
i
= Tf
i
=
i
f
i
, et i, j 1 . . . n 1, (f
i
[ f
j
) =
i,j
. Et
donc (
1
. . .
N
) et (f
1
. . . f
N
) conviennent.
10
1.3 Les mthodes directes
1.3.1 Dnition
Dnition 1.12 (Mthode directe) On appelle mthode directe de rsolu-
tion de (1.1.1) une mthode qui donne exactement x (A et b tant connus)
solution de (1.1.1) aprs un nombre ni doprations lmentaires (+, , , /).
Parmi les mthodes de rsolution du systme (1.1.1) on citera :
- la mthode de Gauss (avec pivot)
- la mthode LU, qui est une rcriture de la mthode Gauss.
Nous rappelons la mthode de Gauss et la mthode LU et nous tudierons plus
en dtails la mthode de Choleski, qui est adapte aux matrices symtriques.
1.3.2 Mthode de Gauss et mthode LU
Soit A /
N
(IR) une matrice inversible, et b IR
N
. On cherche calculer
x IR
N
tel que Ax = b. Le principe de la mthode de Gauss est de se ramener,
par des oprations simples (combinaisons linaires), un systme triangulaire
quivalent, qui sera donc facile inverser. On pose A
(1)
= A et b
(1)
= b. Pour
i = 1, . . . , N 1, on cherche calculer A
(i+1)
et b
(i+1)
tels que les systmes
A
(i)
x = b
(i)
et A
(i+1)
x = b
(i+1)
soient quivalents, o A
(i)
est une matrice de la
forme suivante :
a
(N)
1,1
a
(N)
1,N
0
A
(N)
=
0
0
a
(N)
N,N
a
(1)
1,1
a
(i)
i,i
a
(i)
i+1,i
a
(i)
N,i
a
(i)
N,N
a
(1)
1,N
0
0
0 0
A
(i)
=
Figure 1.1 Allure des matrices de Gauss ltape i et ltape N
Une fois la matrice A
(N)
(triangulaire suprieure) et le vecteur b
(N)
calculs, il
sera facile de rsoudre le systme A
(N)
x = b
(N)
. Le calcul de A
(N)
est ltape de
factorisation", le calcul de b
(N)
ltape de descente", et le calcul de x ltape
de remonte". Donnons les dtails de ces trois tapes.
Etape de factorisation et descente Pour passer de la matrice A
(i)
la
matrice A
(i+1)
, on va eectuer des combinaisons linaires entre lignes qui per-
mettront dannuler les coecients de la i-me colonne situs en dessous de la
ligne i (dans le but de se rapprocher dune matrice triangulaire suprieure).
Evidemment, lorsquon fait ceci, il faut galement modier le second membre b
en consquence. Ltape de factorisation et descente scrit donc :
11
a
(1)
1,1
a
(i+1)
i+1,i+1
a
(i+1)
i+2,i+1
a
(i+1)
N,N
a
(1)
1,N
a
(i+1)
N,i+1
0
0
0
0
A
(i+1)
=
Figure 1.2 Allure de la matrice de Gauss ltape i + 1
1. Pour k i et pour j = 1, . . . , N, on pose a
(i+1)
k,j
= a
(i)
k,j
et b
(i+1)
k
= b
(i)
k
.
2. Pour k > i, si a
(i)
i,i
,= 0, on pose :
a
(i+1)
k,j
= a
(i)
k,j

a
(i)
k,i
a
(i)
i,i
a
(i)
i,j
, pour k = j, . . . , N, (1.3.5)
b
(i+1)
k
= b
(i)
k

a
(i)
k,i
a
(i)
i,i
b
(i)
i
. (1.3.6)
La matrice A
(i+1)
est de la forme donne sur la gure 1.3.2. Remarquons que le
systme A
(i+1)
x = b
(i+1)
est bien quivalent au systme A
(i)
x = b
(i)
Si la condition a
(i)
i,i
,= 0 est vrie pour i = 1 N, on obtient par le procd de
calcul ci-dessus un systme linaire A
(N)
x = b
(N)
quivalent au systme Ax = b,
avec une matrice A
(N)
triangulaire suprieure facile inverser. On verra un peu
plus loin les techniques de pivot qui permettent de rgler le cas o la condition
a
(i)
i,i
,= 0 nest pas vrie.
Etape de remonte Il reste rsoudre le systme A
(N)
x = b
(N)
. Ceci est
une tape facile. Comme A
(N)
est une matrice inversible, on a a
(i)
i,i
,= 0 pour
tout i = 1, . . . , N, et comme A
(N)
est une matrice triangulaire suprieure, on
peut donc calculer les composantes de x en remontant", cestdire de la
composante x
N
la composante x
1
:
x
N
=
b
(N)
a
(N)
N,N
,
x
i
=
1
a
(N)
i,i
(b
(i)

j=i+1,N
a
(N)
i,j
x
j
), i = N 1, . . . , 1.
Cot de la mthode de Gauss (nombre doprations) On peut montrer
(on fera le calcul de manire dtaille pour la mthode de Choleski dans la
section suivante, le calcul pour Gauss est similaire) que le nombre doprations
12
ncessaires pour eectuer les tapes de factorisation, descente et remonte est
2
3
N
3
+ O(N
2
).
En ce qui concerne la place mmoire, on peut trs bien stocker les itrs A
(i)
dans
la matrice A de dpart, ce quon na pas voulu faire dans le calcul prcdent,
par souci de clart.
Dcomposition LU Si le systme Ax = b doit tre rsolu pour plusieurs
second membres b, il est vident quon a intrt ne faire ltape de factorisation
(i.e. le calcul de A
(N)
), quune seule fois, alors que les tapes de descente et
remonte (i.e. le calcul de b
(N)
et x) seront faits pour chaque vecteur b. Ltape
de factorisation peut se faire en dcomposant la matrice A sous la forme LU.
On admettra le thorme suivant (voir par exemple le livre de Ciarlet cit en
dbut de cours.
Thorme 1.13 (Dcomposition LU dune matrice) Soit A /
N
(IR)
une matrice inversible, il existe une matrice de permutation P telle que, pour
cette matrice de permutation, il existe un et un seul couple de matrices (L, U) o
L est triangulaire infrieure de termes diagonaux gaux 1 et U est triangulaire
suprieure, vriant
PA = LU.
Cette dcomposition peut se calculer trs facilement partir de la mthode
de Gauss. Pour simplier lcriture, on supposera ici que lors de la mthode
de Gauss, la condition a
(i)
i,i
,= 0 est vrie pour tout i = 1, . . . , N. Dans ce
cas, la matrice de permutation est la matrice identit. La matrice L a comme
coecients
i,j
=
a
(i)
i,j
a
(i)
i,i
pour i > j,
i,i
= 1 pour tout i = 1, . . . , N, et
i,j
= 0 pour
j > i, et la matrice U est gale la matrice A
(N)
. On peut vrier que A = LU
grce au fait que le systme A
(N)
x = b
(N)
est quivalent au systme Ax = b.
En eet, comme A
(N)
x = b
(N)
et b
(N)
= L
1
b, on en dduit que LUx = b, et
comme A et LU sont inversibles, on en dduit que A
1
b = (LU)
1
b pour tout
b IR
N
. Ceci dmontre que A = LU.
Techniques de pivot Dans la prsentation de la mthode de Gauss et de
la dcomposition LU, on a suppos que la condition a
(i)
i,i
,= 0 tait vrie
chaque tape. Or il peut savrer que ce ne soit pas le cas, ou que, mme si la
condition est vrie, le pivot" a
(i)
i,i
soit trs petit, ce qui peut entraner des
erreurs darrondi importantes dans les calculs. On peut rsoudre ce problme
en utilisant les techniques de pivot partiel" ou pivot total", qui reviennent
choisir une matrice de permutation P qui nest pas forcment gale la matrice
identit dans le thorme 1.13.
Plaons-nous litration i de la mthode de Gauss. Comme la matrice A
(i)
est
forcment non singulire, on a :
det(A
(i)
) = a
(i)
1,1
a
(i)
2,2
a
(i)
i1,i1
det
_
_
_
_
a
(i)
i,i
. . . a
(i)
i,N
.
.
.
.
.
.
.
.
.
a
(i)
N,i
. . . a
(i)
N,N
_
_
_
_
,= 0.
13
On a donc en particulier
det
_
_
_
_
a
(i)
i,i
. . . a
(i)
i,N
.
.
.
.
.
.
.
.
.
a
(i)
N,i
. . . a
(i)
N,N
_
_
_
_
,= 0.
Pivot partiel On dduit quil existe i
0
i, . . . , N tel que a
(i)
i0,i
,= 0. On
choisit alors i
0
i, . . . , N tel que [a
(i)
i0,i
[ = max[a
(i)
k,i
[, k = i, . . . , N. On
change alors les lignes i et i
0
(dans la matrice A et le second membre b) et on
continue la procdure de Gauss dcrite plus haut.
Pivot total On choisit maintenant i
0
et j
0
i, . . . , N tels que [a
(i)
i0,j0
[ =
max[a
(i)
k,j
[, k = i, . . . , N, j = i, . . . , N, et on change alors les lignes i et i
0
(dans la matrice A et le second membre b), les colonnes j et j
0
de A et les
inconnues x
j
et x
j0
.
Lintrt de ces stratgies de pivot est quon aboutit toujours la rsolution du
systme (ds que A est inversible). La stratgie du pivot total permet une moins
grande sensibilit aux erreurs darrondi. Linconvnient majeur est quon change
la structure de A : si, par exemple la matrice avait tous ses termes non nuls sur
quelques diagonales seulement, ceci nest plus vrai pour la matrice A
(N)
.
1.3.3 Mthode de Choleski
On va maintenant tudier la mthode de Choleski, qui est une mthode directe
adapte au cas o A est symtrique dnie positive. On rappelle quune matrice
A /
N
(IR) de coecients (a
i,j
)
i=1,N,j=1,N
est symtrique si A = A
t
, o A
t
dsigne la transpose de A, dnie par les coecients (a
j,i
)
i=1,N,j=1,N
, et que
A est dnie positive si Ax x > 0 pour tout x IR
N
tel que x ,= 0. Dans toute
la suite, x y dsigne le produit scalaire des deux vecteurs x et y de IR
N
. On
rappelle (exercice) que si A est symtrique dnie positive elle est en particulier
inversible.
Description de la mthode
La mthode de Choleski consiste trouver une dcomposition de A de la forme
A = LL
t
, o L est triangulaire infrieure de coecients diagonaux strictement
positifs. On rsout alors le systme Ax = b en rsolvant dabord Ly = b puis le
systme L
t
x = y. Une fois la matrice A factorise", cestdire la dcomposi-
tion LL
t
obtenue (voir paragraphe suivant), on eectue les tapes de descente"
et remonte" :
1. Etape 1 : descente" Le systme Ly = b scrit :
Ly =
_

1,1
0
.
.
.
.
.
.
.
.
.

N,1
. . .
N,N
_

_
_

_
y
1
.
.
.
y
N
_

_ =
_

_
b
1
.
.
.
b
N
_

_.
14
Ce systme scrit composante par composante en partant de i = 1.

1,1
y
1
= b
1
, donc y
1
=
b
1

1,1

2,1
y
1
+
2,2
y
2
= b
2
, donc y
2
=
1

2,2
(b
2

2,1
y
1
)
.
.
.
.
.
.

j=1,i

i,j
y
j
= b
i
, donc y
i
=
1

i,i
(b
i

j=1,i1

i,j
y
j
)
.
.
.
.
.
.

j=1,N

N,j
y
j
= b
N
, donc y
N
=
1

N,N
(b
N

j=1,N1

N,j
y
j
).
On calcule ainsi y
1
, y
2
, . . . , y
N
.
2. Etape 2 : remonte" On calcule maintenant x solution de L
t
x = y.
L
t
x =
_

1,1

2,1
. . .
N,1
0
.
.
.
.
.
.
.
.
.
0 . . .
N,N
_

_
_

_
x
1
.
.
.
x
N
_

_
=
_

_
y
1
.
.
.
y
N
_

_
.
On a donc :

N,N
x
N
= y
N
donc x
N
=
y
N

N,N

N1,N1
x
N1
+
N,N1
x
N
= y
N1
donc x
N1
=
yN1N,N1xN
N1,N1
.
.
.

j=1,N

j,1
x
j
= y
1
donc x
1
=
y
1

j=2,N

j,1
x
j

1,1
.
On calcule ainsi x
N
, x
N1
, . . . , x
1
.
Existence et unicit de la dcomposition
On donne ici le rsultat dunicit de la dcomposition LL
t
dune matrice sym-
trique dnie positive ainsi quun procd constructif de la matrice L.
Thorme 1.14 (Dcomposition de Choleski) Soit A /
N
(IR) avec N >
1. On suppose que A est symtrique dnie positive. Alors il existe une unique
matrice L /
N
(IR), L = (
i,j
)
N
i,j=1
, telle que :
1. L est triangulaire infrieure (cestdire
i,j
= 0 si j > i),
2.
i,i
> 0, pour tout i 1, . . . , N,
3. A = LL
t
.
15
Dmonstration : On sait dj par le thorme 1.13 page 13, qiil existe une
matrice de permutation et L triangulaire infrieure et U triangulaire suprieure
PA = LU. Ici on va montrer que dans le cas o la matrice est symtrique,
la dcomposition est toujours possible sans permutation. Nous donnons ici une
dmonstration directe de lexistence et de lunicit de la dcomposition LL
t
qui
a lavantage dtre constructive.
Existence de L : dmonstration par rcurrence sur N
1. Dans le cas N = 1, on a A = (a
1,1
). Comme A est symtrique dnie
positive, on a a
1,1
> 0. On peut donc dnir L = (
1,1
) o
1,1
=

a
1,1
,
et on a bien A = LL
t
.
2. On suppose que la dcomposition de Choleski sobtient pour A /
p
(IR)
symtrique dnie positive, pour 1 p N et on va dmontrer que la
proprit est encore vraie pour A /
N+1
(IR) symtrique dnie positive.
Soit donc A /
N+1
(IR) symtrique dnie positive ; on peut crire A
sous la forme :
A =
_

_
B a
a
t

_
(1.3.7)
o B /
N
(IR) est symtrique, a IR
N
et IR. Montrons que B est
dnie positive, c..d. que By y > 0, pour tout y IR
N
tel que y ,= 0.
Soit donc y IR
N
0, et x =
_
y
0
_
IR
N+1
. Comme A est symtrique
dnie positive, on a :
0 < Ax x =
_

_
B a
a
t

_
_

_
y
0
_

_
y
0
_

_
=
_

_
By
a
t
y
_

_
y
0
_

_
= By y
donc B est dnie positive. Par hypothse de rcurrence, il existe une
matrice M /
N
(IR) M = (m
i,j
)
N
i,j=1
telle que :
(a) m
i,j
= 0 si j > i
(b) m
i,i
> 0
(c) B = MM
t
.
On va chercher L sous la forme :
L =
_

_
M 0
b
t

_
(1.3.8)
avec b IR
N
, IR

+
tels que LL
t
= A. Pour dterminer b et , calculons
LL
t
o L est de la forme (1.3.8) et identions avec A :
LL
t
=
_

_
M 0
b
t

_
_

_
M
t
b
0
_

_
=
_

_
MM
t
Mb
b
t
M
t
b
t
b +
2
_

_
16
On cherche b IR
N
et IR

+
tels que LL
t
= A, et on veut donc que les
galits suivantes soient vries :
Mb = a et b
t
b +
2
= .
Comme M est inversible (en eet, le dterminant de M scrit det(M) =

N
i=1
m
i,i
> 0), la premire galit ci-dessus donne : b = M
1
a et en
remplaant dans la deuxime galit, on obtient : (M
1
a)
t
(M
1
a) +
2
=
, donc a
t
(M
t
)
1
M
1
a +
2
= soit encore a
t
(MM
t
)
1
a +
2
= ,
cestdire :
a
t
B
1
a +
2
= (1.3.9)
Pour que (1.3.9) soit vrie, il faut que
a
t
B
1
a > 0 (1.3.10)
Montrons que la condition (1.3.10) est eectivement vrie : Soit z =
_
B
1
a
1
_
IR
N+1
. On a z ,= 0 et donc Az z > 0 car A est symtrique
dnie positive. Calculons Az :
Az =
_
_
B a
a
t

_
_
_

_
B
1
a
1
_

_
=
_

_
0
a
t
B
1
a
_

_
.
On a donc Az z = a
t
B
1
a > 0 ce qui montre que (1.3.10) est vrie.
On peut ainsi choisir =

a
t
B
1
a (> 0) de telle sorte que (1.3.9)
est vrie. Posons :
L =
_

_
M 0
(M
1
a)
t

_
.
La matrice L est bien triangulaire infrieure et vrie
i,i
> 0 et A = LL
t
.
On a termin ainsi la partie existence.
Unicit et calcul de L. Soit A /
N
(IR) symtrique dnie positive ; on vient
de montrer quil existe L /
N
(IR) triangulaire infrieure telle que
i,j
= 0 si
j > i,
i,i
> 0 et A = LL
t
. On a donc :
a
i,j
=
N

k=1

i,k

j,k
, (i, j) 1 . . . N
2
. (1.3.11)
1. Calculons la 1re colonne de L; pour j = 1, on a :
a
1,1
=
1,1

1,1
donc
1,1
=

a
1,1
(a
1,1
> 0 car
1,1
existe ),
a
2,1
=
2,1

1,1
donc
2,1
=
a
2,1

1,1
,
a
i,1
=
i,1

1,1
donc
i,1
=
a
i,1

1,1
i 2 . . . N.
17
2. On suppose avoir calcul les n premires colonnes de L. On calcule la
colonne (n + 1) en prenant j = n + 1 dans (1.3.11)
Pour i = n + 1, a
n+1,n+1
=
n+1

k=1

n+1,k

n+1,k
donc

n+1,n+1
= (a
n+1,n+1

k=1

n+1,k

n+1,k
)
1/2
> 0. (1.3.12)
Notons que a
n+1,n+1

n

k=1

n+1,k

n+1,k
> 0 car L existe : il est indis-
pensable davoir dabord montr lexistence de L pour pouvoir exhiber le
coecient
n+1,n+1
.
On procde de la mme manire pour i = n + 2 . . . N ; on a :
a
i,n+1
=
n+1

k=1

i,k

n+1,k
=
n

k=1

i,k

n+1,k
+
i,n+1

n+1,n+1
et donc

i,n+1
=
_
a
i,n+1

k=1

i,k

n+1,k
_
1

n+1,n+1
. (1.3.13)
On calcule ainsi toutes les colonnes de L. On a donc montr que L est
unique par un moyen constructif de calcul de L.
Calcul du cot de la mthode de Choleski
Calcul du cot de calcul de la matrice L Dans le procd de calcul de L
expos ci-dessus, le nombre doprations pour calculer la premire colonne est N.
Calculons, pour n = 0, . . . , N1, le nombre doprations pour calculer la (n+1)-
ime colonne : pour la colonne (n+1), le nombre doprations par ligne est 2n+1,
car le calcul de
n+1,n+1
par la formule (1.3.12) ncessite n multiplications, n
soustractions et une extraction de racine, soit 2n + 1 oprations ; le calcul de

i,n+1
par la formule (1.3.13) ncessite n multiplications, n soustractions et une
division, soit encore 2n + 1 oprations. Comme les calculs se font des lignes
n + 1 N (car
i,n+1
= 0 pour i n), le nombre doprations pour calculer
la (n + 1)-ime colonne est donc (2n + 1)(N n). On en dduit que le nombre
doprations N
L
ncessaires au calcul de L est :
N
L
=
N1

n=0
(2n + 1)(N n) = 2N
N1

n=0
n 2
N1

n=0
n
2
+N
N1

n=0
1
N1

n=0
n
= (2N 1)
N(N 1)
2
+N
2
2
N1

n=0
n
2
.
18
(On rappelle que 2
N1

n=0
n = N(N 1).) Il reste calculer C
N
=

N
n=0
n
2
, en
remarquant par exemple que
N

n=0
(1 +n)
3
=
N

n=0
1 +n
3
+ 3n
2
+ 3n =
N

n=0
1 +
N

n=0
n
3
+ 3
N

n=0
n
2
+ 3
N

n=0
n
=
N+1

n=1
n
3
=
N

n=0
n
3
+ (N + 1)
3
.
On a donc 3C
N
+ 3
N(N+1)
2
+N + 1 = (N + 1)
3
, do on dduit que
C
N
=
N(N + 1)(2N + 1)
6
.
On a donc :
N
L
= (2N 1)
N(N 1)
2
2C
N1
+N
2
= N
_
2N
2
+ 3N + 1
6
_
=
N
3
3
+
N
2
2
+
N
6
=
N
3
3
+ 0(N
2
).
Cot de la rsolution dun systme linaire par la mthode LL
t
Nous
pouvons maintenant calculer le cot (en termes de nombre doprations lmen-
taires) ncessaire la rsolution de (1.1.1) par la mthode de Choleski pour
A /
N
(IR) symtrique dnie positive. On a besoin de N
L
oprations pour le
calcul de L, auquel il faut rajouter le nombre doprations ncessaires pour les
tapes de descente et remonte. Le calcul de y solution de Ly = b seectue en
rsolvant le systme :
_

1,1
0
.
.
.
.
.
.
.
.
.

N,1
. . .
N,1
_

_
_

_
y
1
.
.
.
y
N
_

_ =
_

_
b
1
.
.
.
b
N
_

_
Pour la ligne 1, le calcul y
1
=
b
1

1,1
seectue en une opration.
Pour les lignes n = 2 N, le calcul y
n
=
_
b
n

n1
i=1

i,n
y
i
_
/
n,n
seectue en
(n 1) (multiplications) +(n 2) (additions) +1 soustraction +1 (division) =
2n1 oprations. Le calcul de y (descente) seectue donc en N
1
=

N
n=1
(2n
1) = N(N + 1) N = N
2
. On peut calculer de manire similaire le nombre
doprations ncessaires pour ltape de remonte N
2
= N
2
. Le nombre total
doprations pour calculer x solution de (1.1.1) par la mthode de Choleski est
N
C
= N
L
+N
1
+N
2
=
N
3
3
+
N
2
2
+
N
6
+ 2N
2
=
N
3
3
+
5N
2
2
+
N
6
. Ltape la plus
coteuse est donc la factorisation de A.
Remarque 1.15 (Dcomposition LDL
t
) Dans les programmes informatiques,
on prfre implanter la variante suivante de la dcomposition de Choleski :
A =

LD

L
t
o D est la matrice diagonale dnie par d
i,i
=
2
i,i
,

L
i,i
= L

D
1
, o

D est la matrice diagonale dnie par d

i,i
=
i,i
. Cette dcomposition a lavan-
tage de ne pas faire intervenir le calcul de racines carres, qui est une opration
plus complique que les oprations lmentaires" (, +, ).
19
1.3.4 Quelques proprits
Comparaison Gauss/Choleski
Soit A /
N
(IR) inversible, la rsolution de (1.1.1) par la mthode de Gauss
demande 2N
3
/3+0(N
2
) oprations (exercice). Dans le cas dune matrice sym-
trique dnie positive, la mthode de Choleski est donc environ deux fois moins
chre.
Et la mthode de Cramer ?
Soit A /
N
(IR) inversible. On rappelle que la mthode de Cramer pour la
rsolution de (1.1.1) consiste calculer les composantes de x par les formules :
x
i
=
det(A
i
)
det(A)
, i = 1, . . . , N,
o A
i
est la matrice carre dordre N obtenue partir de A en remplaant la
i-me colonne de A par le vecteur b, et det(A) dsigne le dterminant de A.
Chaque calcul de dterminant dune matrice carre dordre N ncessite au moins
N! oprations (voir DEUG, ou exercice. . . ). Par exemple, pour N = 10, la
mthode de Gauss ncessite environ 700 oprations, la mthode de Choleski
environ 350 et la mthode de Cramer plus de 4 000 000. . . . Cette dernire
mthode est donc proscrire.
Conservation du prol de A
Dans de nombreuses applications, par exemple lors de la rsolution de systmes
linaires issus de la discrtisation dquations aux drives partielles, la matrice
A /
N
(IR) est creuse", au sens o un grand nombre de ses coecients sont
nuls. Il est intressant dans ce cas pour des raisons dconomie de mmoire de
connatre le prol" de la matrice, donn dans le cas o la matrice est symtrique,
par les indices j
i
= minj 1, . . . , N tels que a
i,j
,= 0. Le prol de la matrice
est donc dtermin par les diagonales contenant des coecients non nuls qui sont
les plus loignes de la diagonale principale. Dans le cas dune matrice creuse,
il est avantageux de faire un stockage prol" de A, en stockant, pour chaque
ligne i la valeur de j
i
et des coecients a
i,k
, pour k = i j
i
, . . . , i, ce qui peut
permettre un large gain de place mmoire, comme on peut sen rendre compte
sur la gure 1.3.4.
Une proprit intressante de la mthode de Choleski est de conserver le prol.
On peut montrer (en reprenant les calculs eectus dans la deuxime partie de
la dmonstration du thorme 1.14) que
i,j
= 0 si j < j
i
. Donc si on a adopt
un stockage prol" de A, on peut utiliser le mme stockage pour L.
Matrices non symtriques
Soit A /
N
(IR) inversible. On ne suppose plus ici que A est symtrique.
On cherche calculer x IR
N
solution de (1.1.1) par la mthode de Choleski.
Ceci est possible en remarquant que : Ax = b A
t
Ax = A
t
b car det(A) =
det(A
t
) ,= 0. Il ne reste alors plus qu vrier que A
t
A est symtrique dnie
positive. Remarquons dabord que pour toute matrice A /
N
(IR), la matrice
AA
t
est symtrique. Pour cela on utilise le fait que si B /
N
(IR), alors B
20
0
0
Figure 1.3 Exemple de prol dune matrice symtrique
est symtrique si et seulement si Bx y = x By et Bx y = x B
t
y pour tout
(x, y) (IR
N
)
2
. En prenant B = A
t
A, on en dduit que A
t
A est symtrique.
De plus, comme A est inversible, A
t
Ax x = Ax Ax = [Ax[
2
> 0 si x ,= 0. La
matrice A
t
A est donc bien symtrique dnie positive.
La mthode de Choleski dans le cas dune matrice non symtrique consiste donc
calculer A
t
A et A
t
b, puis rsoudre le systme linaireA
t
A x = A
t
b par la
mthode de Choleski symtrique".
Cette manire de faire est plutt moins ecace que la dcomposition LU puisque
le cot de la dcomposition LU est de 2N
3
/3 alors que la mthode de Choleski
dans le cas dune matrice non symtrique ncessite au moins 4N
3
/3 oprations
(voir exercice 14).
Systmes linaires non carrs
On considre ici des matrices qui ne sont plus carres. On dsigne par /
M,N
(IR)
lensemble des matrices relles M lignes et Ncolonnes. Pour A /
M,N
(IR),
M > N et b IR
M
, on cherche x IR
N
tel que
Ax = b. (1.3.14)
Ce systme contient plus dquations que dinconnues et nadmet donc en gnral
pas de solution. On cherche x IR
N
qui vrie le sytme (1.3.14) au mieux".
On introduit pour cela une fonction f dnie deIR
N
dans IR par :
f(x) = [Ax b[
2
,
o [x[ =

x x dsigne la norme euclidienne sur IR
N
. La fonction f ainsi dnie
est videmment positive, et sil existe x qui annule f, alors x est solution du
systme (1.3.14). Comme on la dit, un tel x nexiste pas forcment, et on cherche
alors un vecteur x qui vrie (1.3.14) au mieux", au sens o f(x) soit le plus
proche de 0. On cherche donc x IR
N
satisfaisant (1.3.14) en minimisant f,
21
c..d. en cherchant x IR
N
solution du problme doptimisation :
f(x) f(y) y IR
N
(1.3.15)
On peut rcrire f sous la forme : f(x) = A
t
Axx2bAx+bb. On montrera au
chapitre III que sil existe une solution au problme (1.3.15), elle est donne par
la rsolution du systme linaire suivant : AA
t
x = A
t
b IR
N
, quon appelle
quations normales du problme de minimisation. On peut alors employer la
mthode de Choleski pour la rsolution de ce systme.
1.4 Conditionnement
Dans ce paragraphe, nous allons dnir la notion de conditionnement dune
matrice, qui peut servir tablir une majoration des erreurs darrondi dues aux
erreurs sur les donnes. Malheureusement, nous verrons galement que cette
majoration nest pas forcment trs utile dans des cas pratiques, et nous nous
eorcerons dy remdier. la notion de conditionnement est galement utilise
dans ltude des mthodes itratives que nous verrons plus loin.
1.4.1 Le problme des erreurs darrondis
Soient A /
N
(IR) inversible et b IR
N
; supposons que les donnes A et b ne
soient connues qu une erreur prs. Ceci est souvent le cas dans les applications
pratiques. Considrons par exemple le problme de la conduction thermique
dans une tige mtallique de longueur 1, modlise par lintervalle [0, 1]. Suppo-
sons que la temprature u de la tige soit impose aux extrmits, u(0) = u
0
et
u(1) = u
1
. On suppose que la temprature dans la tige satisfait lquation de
conduction de la chaleur, qui scrit (k(x)u

(x))

= 0, o k est la conductivit
thermique. Cette quation direntielle du second ordre peut se discrtiser par
exemple par dirences nies (on verra une description de la mthode page 25),
et donne lieu un systme linaire de matrice A. Si la conductivit k nest
connue quavec une certaine prcision, alors la matrice A sera galement connue
une erreur prs, note
A
. On aimerait que lerreur commise sur les donnes
du modle (ici la conductivit thermique k) nait pas une consquence catas-
trophique sur le calcul de la solution du modle (ici la temprature u). Si par
exemple 1% derreur sur k entrane 100% derreur sur u, le modle ne sera pas
dune utilit redoutable. . .
Lobjectif est donc destimer les erreurs commises sur x solution de (1.1.1)
partir des erreurs commises sur b et A. Notons
b
IR
N
lerreur commise sur b
et
A
/
N
(IR) lerreur commise sur A. On cherche alors valuer
x
o x+
x
est solution (si elle existe) du systme :
_
x +
x
IR
N
(A +
A
)(x +
x
) = b +
b
.
(1.4.16)
On va montrer que si
A
nest pas trop grand", alors la matrice A +
A
est
inversible, et quon peut estimer
x
en fonction de
A
et
b
.
1.4.2 Conditionnement et majoration de lerreur darrondi
Dnition 1.16 (Conditionnement) Soit IR
N
muni dune norme | | et
/
N
(IR) muni de la norme induite. Soit A /
N
(IR) une matrice inversible.
22
On appelle conditionnement de A par rapport la norme | | le nombre rel
positif cond(A) dni par :
cond(A) = |A| |A
1
|.
Proposition 1.17 (Proprits gnrales du conditionnement) Soit IR
N
muni dune norme | | et /
N
(IR) muni de la norme induite.
1. Soit A /
N
(IR) une matrice inversible, alors cond(A) 1.
2. Soit A /
N
(IR) et IR

, alors cond(A) = cond(A).

3. Soient A et B /
N
(IR) des matrices inversibles, alors cond(AB)
cond(A)cond(B).
La dmonstration de ces proprits est lobjet de lexercice 17 page 46.
Proposition 1.18 (Proprits du conditionnement pour la norme 2) Soit
IR
N
muni de la norme euclidienne | |
2
et /
N
(IR) muni de la norme induite.
Soit A /
N
(IR) une matrice inversible. On note cond
2
(A) le conditionnement
associ la norme induite par la norme euclidienne sur IR
N
.
1. Soit A /
N
(IR) une matrice inversible. On note
N
[resp.
1
] la plus
grande [resp. petite] valeur propre de A
t
A (noter que A
t
A est une matrice
symtrique dnie positive). Alors cond
2
(A) =
_

N
/
1
.
2. Si de plus A une matrice symtrique dnie positive, alors cond
2
(A) =
N
1
,
o
N
[resp.
1
] est la plus grande [resp. petite] valeur propre de A.
3. Si A et B sont deux matrices symtriques dnies positives, alors cond
2
(A+
B) max(cond
2
(A), cond
2
(B)).
4. Soit A /
N
(IR) une matrice inversible. Alors cond
2
(A) = 1 si et seule-
ment si A = Q o IR

et Q est une matrice orthogonale (cest--

dire Q
t
= Q
1
).
5. Soit A /
N
(IR) une matrice inversible. On suppose que A = QR o Q
est une matrice orthogonale. Alors cond
2
(A) = cond
2
(R).
6. Soient A, B /
N
(IR) deux matrices symtriques dnies positives. Mon-
trer que cond
2
(A +B) maxcond
2
(A), cond
2
(B).
La dmonstration de ces proprits fait lobjet de lexercice 18 page 46.
Thorme 1.19 Soit A /
N
(IR) une matrice inversible, et b IR
N
, b ,= 0.
On munit IR
N
dune norme | |, et /
N
(IR) de la norme induite. Soient
A

/
N
(IR) et
b
IR
N
. On suppose que |
A
| <
1
|A
1
|
. Alors la matrice (A+
A
)
est inversible et si x est solution de (1.1.1) et x +
x
est solution de (1.4.16),
alors
|
x
|
|x|

cond(A)
1 |A
1
| |
A
|
_
|
b
|
|b|
+
|
A
|
|A|
_
. (1.4.17)
Dmonstration :
On peut crire A+
A
= A(Id+B) avec B = A
1

A
. Or le rayon spectral de B,
(B), vrie (B) |B| |
A
| |A
1
| < 1, et donc (voir le thorme 1.8 page
8 et lexercice 9 page 42) (Id +B) est inversible et (Id +B)
1
=

n=0
(1)
n
B
n
.
23
On a aussi |(Id + B)
1
|

n=0
|B|
n
=
1
1 |B|

1
1 |A
1
| |
A
|
. On en
dduit que A +
A
est inversible, car A +
A
= A(Id + B) et comme A est
inversible, (A +
A
)
1
= (Id +B)
1
A
1
.
Comme A et A+
A
sont inversibles, il existe un unique x IR
N
tel que Ax = b
et il existe un unique
x
IR
N
tel que (A +
A
)(x +
x
) = b +
b
. Comme
Ax = b, on a (A +
A
)
x
+
A
x =
b
et donc
x
= (A +
A
)
1
(
b

A
x). Or
(A +
A
)
1
= (Id +B)
1
A
1
, on en dduit :
|(A+
A
)
1
| |(Id +B)
1
| |A
1
|

|A
1
|
1 |A
1
| |
A
|
.
On peut donc crire la majoration suivante :
|
x
|
|x|

|A
1
| |A|
1 |A
1
| |
A
|
_
|
b
|
|A| |x|
+
|
A
|
|A|
_
.
En utilisant le fait que b = Ax et que par suite |b| |A| |x|, on obtient :
|
x
|
|x|

|A
1
| |A|
1 |A
1
| |
A
|
_
|b|
|b|
+
|
A
|
|A|
_
,
ce qui termine la dmonstration.
Remarquons que lestimation (1.4.17) est optimale. En eet, en supposant que

A
= 0. Lestimation (1.4.17) devient alors :
|
x
|
|x|
cond(A)
|
b
|
|b|
. (1.4.18)
Peut-on avoir galit dans (1.4.18) ? Pour avoir galit dans (1.4.18) il faut choi-
sir convenablement b et
b
. Soit x IR
N
tel que |x| = 1 et |Ax| = |A|. Notons
quun tel x existe parce que |A| = sup|Ax|; |x| = 1 = max|Ax|; |x| = 1
(voir proposition 1.2 page 6) Posons b = Ax; on a donc |b| = |A|. De mme,
grce la proposition 1.2, il existe y IR
N
tel que |y| = 1, et |A
1
y| = |A
1
|.
On choisit alors
b
tel que
b
= y o > 0 est donn. Comme A(x+
x
) = b+
b
,
on a
x
= A
1

b
et donc : |
x
| = |A
1

b
| = |A
1
y| = |A
1
| = |
b
| |A
1
|.
On en dduit que
|
x
|
|x|
= |
x
| = |
b
| |A
1
|
|A|
|b|
car |b| = |A| et |x| = 1.
Par ce choix de b et
b
on a bien galit dans (1.4.18). Lestimation (1.4.18) est
donc optimale.
1.4.3 Discrtisation dquations aux drives partielles, condi-
tionnement ecace"
On suppose encore ici que
A
= 0. On suppose que la matrice A du systme
linaire rsoudre provient de la discrtisation par dirences nies dune qua-
tion aux drives partielles introduite ci-dessous (voir (1.4.19)). On peut alors
24
x
x
x
x
x
x
0
= 0 x
1
x
i
= ih
u(x)
u
i
x
N+1
= 1
x
x
x
x x
Figure 1.4 Solution exacte et approche de u

= f
montrer (voir exercice 25 page 49 du chapitre 1) que le conditionnement de A
est dordre N
2
, o N est le nombre de points de discrtisation. Pour N = 10,
on a donc cond(A) 100 et lestimation (1.4.18) donne :
|
x
|
|x|
100
|
b
|
|b|
.
Une erreur de 1% sur b peut donc entraner une erreur de 100% sur x. Autant
dire que dans ce cas, il est inutile de rechercher la solution de lquation dis-
crtise. . . Heureusement, on peut montrer que lestimation (1.4.18) nest pas
signicative pour ltude de la propagation des erreurs lors de la rsolution des
systmes linraires provenant de la discrtisation dune quation aux drives
partielles. Pour illustrer notre propos, nous allons tudier un systme linaire
trs simple provenant dun problme de mcanique.
Soit f C([0, 1], IR). On cherche u tel que
_
u

(x) = f(x)
u(0) = u(1) = 0.
(1.4.19)
On peut montrer (on ladmettra ici) quil existe une unique solution u C
2
([0, 1], IR).
On cherche calculer u de manire approche. On va pour cela introduire une
discrtisation par dirences nies. Soit N IN

, on dnit h = 1/(N + 1) le
pas du maillage, et pour i = 0 . . . N + 1 on dnit les points de discrtisation
x
i
= ih (voir Figure 1.4.3). Remarquons que x
0
= 0 et x
N+1
= 1. Soit u(x
i
) la
valeur exacte de u en x
i
. On crit la premire quation de (1.4.19) en chaque
point x
i
, pour i = 1 . . . N.
u

(x
i
) = f(x
i
) = b
i
i 1 . . . N.
On peut facilement montrer, par un dveloppement de Taylor, que si u
C
4
([0, 1], IR) (ce qui est vrai si f C
2
) alors :

u(x
i+1
) +u(x
i1
) 2u(x
i
)
h
2
= u

(x
i
)+R
i
avec [R
i
[
h
2
12
|u
(4)
|

. (1.4.20)
La valeur R
i
sappelle erreur de consistance au point x
i
. On introduit alors les
inconnues (u
i
)
i=1,...,N
quon espre tre des valeurs approches de u aux points
25
x
i
et qui sont les composantes de la solution (si elle existe) du systme suivant
_

u
i+1
+u
i1
2u
i
h
2
= b
i
, i 1 N,
u
0
= u
N+1
= 0.
(1.4.21)
On cherche donc u =
_

_
u
1
.
.
.
u
N
_

_ IR
N
solution de (1.4.21). Ce systme peut scrire
sous forme matricielle : Au = b avec b = (b
1
, . . . , b
N
)
t
et A la matrice carre
dordre N de coecients (a
i,j
)
i,j=1,N
dnis par :
_

_
a
i,i
=
2
h
2
, i = 1, . . . , N,
a
i,j
=
1
h
2
, i = 1, . . . , N, j = i 1,
a
i,j
= 0, i = 1, . . . , N, [i j[ > 1.
(1.4.22)
On remarque immdiatement que A est tridiagonale. On peut montrer que A
est symtrique dnie positive (voir exercice 25 page 49). On peut aussi montrer
que
max
i=1...N
[u
i
u(x
i
)[
h
2
96
|u
(4)
|

.
En eet, si on note u le vecteur de IR
N
de composantes u(x
i
), i = 1, . . . , N,
et R le vecteur de IR
N
de composantes R
i
, i = 1, . . . , N, on a par dnition
de R (formule (1.4.20)) A(u u) = R, et donc |u u|

|A
1
|

|R|

. Or
on peut montrer (voir exercice 26 page 49, partie I) que |A
1
|

1/8, et on
obtient donc avec (1.4.20) que |u u|

h
2
/96|u
(4)
|

.
Cette ingalit donne la prcision de la mthode. On remarque en particulier
que si on rane le maillage, cestdire si on augmente le nombre de points
N ou, ce qui revient au mme, si on diminue le pas de discrtisation h, on
augmente la prcision avec laquelle on calcule la solution approche. Or on a
dj dit quon peut montrer (voir exercice 25 page 49) que cond(A) N
2
. Donc
si on augmente le nombre de points, le conditionnement de A augmente aussi.
Par exemple si N = 10
4
, alors |
x
|/|x| = 10
8
|
b
|/|b|. Or sur un ordinateur
en simple prcision, on a |
b
|/|b| 10
7
, donc lestimation (1.4.18) donne une
estimation de lerreur relative |
x
|/|x| de 1000%, ce qui laisse dsirer pour
un calcul quon espre prcis.
En fait, lestimation (1.4.18) ne sert rien pour ce genre de problme, il faut
faire une analyse un peu plus pousse, comme cest fait dans lexercice 26 page
49. On se rend compte alors que pour f donne il existe C IR
+
ne dpendant
que de f (mais pas de N) tel que
|
u
|
|u|
C
|
b
|
|b|
avec b =
_

_
f(x
1
)
.
.
.
f(x
N
)
_

_. (1.4.23)
Lestimation (1.4.23) est videmment bien meilleure que lestimation (1.4.18)
puisquelle montre que lerreur relative commise sur u est du mme ordre que
celle commise sur b. En particulier, elle naugmente pas avec la taille du maillage.
26
En conclusion, lestimation (1.4.18) est peut-tre optimale dans le cas dune ma-
trice quelconque, (on a montr ci-dessus quil peut y avoir galit dans (1.4.18))
mais elle nest pas signicative pour ltude des systmes linaires issus de la
discrtisation des quations aux drives partielles.
1.5 Mthodes itratives
1.5.1 Origine des systmes rsoudre
Les mthodes directes que nous avons tudies dans le paragraphe prcdent
sont trs ecaces : elles donnent la solution exacte (aux erreurs darrondi prs)
du systme linaire considr. Elles ont linconvnient de ncessiter une assez
grande place mmoire car elles ncessitent le stockage de toute la matrice en
mmoire vive. Si la matrice est pleine, c..d. si la plupart des coecients de
la matrice sont non nuls et quelle est trop grosse pour la mmoire vive de
lordinateur dont on dispose, il ne reste plus qu grer habilement le swapping"
cestdire lchange de donnes entre mmoire disque et mmoire vive pour
pouvoir rsoudre le systme.
Cependant, si le systme a t obtenu partir de la discrtisation dquations
aux drivs partielles, il est en gnral creux", c.. d. quun grand nombre des
coecients de la matrice du systme sont nuls ; de plus la matrice a souvent
une structure bande", i.e. les lments non nuls de la matrice sont localiss sur
certaines diagonales. On a vu au chapitre prcdent que dans ce cas, la mthode
de Choleski conserve le prol" (voir ce propos page 20). Prenons par exemple
le cas dune discrtisation du Laplacien sur un carr par dirences nies. On
cherche rsoudre le problme :
u = f sur =]0, 1[]0, 1[,
u = 0 sur ,
(1.5.24)
On rappelle que loprateur Laplacien est dni pour u C
2
(), o est un
ouvert de IR
2
, par
u =

2
u
x
2
+

2
u
y
2
.
Dnissons une discrtisation uniforme du carr par les points (x
i
, y
j
), pour
i = 1, . . . , M et j = 1, . . . , M avec x
i
= ih, y
j
= jh et h = 1/(M + 1),
represente en gure 1.5.1 pour M = 6. On peut alors approcher les drives
secondes par des quotients direntiels comme dans le cas unidimensionnel (voir
page 25), pour obtenir un systme linaire : AU = b o A /
N
(IR) et b IR
N
avec N = M
2
. Utilisons lordre lexicographique" pour numroter les inconnues,
c..d. de bas en haut et de gauche droite : les inconnues sont alors numrotes
de 1 N = M
2
et le second membre scrit b = (b
1
, . . . , b
N
)
t
. Les composantes
b
1
, . . . , b
N
sont dnies par : pour i, j = 1, . . . , M, on pose k = j + (i 1)M et
b
k
= f(x
i
, y
j
).
Les coecients de A = (a
k,
)
k,l=1,N
peuvent tre calculs de la manire sui-
vante :
27
2 3 4 5 6
7 8 9
31
10 11 12
13 14 15 16 17 18
19 20 21 22 23 24
30 29 28 27 26 25
32 33 34 35 36
1 i = 1
j = 1
x
y
Figure 1.5 Ordre lexicographique des inconnues, exemple dans le cas M = 6
_

_
Pour i, j = 1, . . . , M, on pose k = j + (i 1)M,
a
k,k
=
4
h
2
,
a
k,k+1
=
_

1
h
2
si j ,= M,
0 sinon,
a
k,k1
=
_

1
h
2
si j ,= 1,
0 sinon,
a
k,k+M
=
_

1
h
2
si i < M,
0 sinon,
a
k,kM
=
_

1
h
2
si i > 1,
0 sinon,
Pour k = 1, . . . , N, et = 1, . . . , N;
a
k,
= 0, k = 1, . . . , N, 1 < [k [ < N ou [k [ > N.
La matrice est donc tridiagonale par blocs, plus prcisment si on note
D =
_
_
_
_
_
_
_
_
_
_
_
4 1 0 . . . . . . 0
1 4 1 0 . . . 0
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0
.
.
.
.
.
.
.
.
. 1
0 . . . 0 1 4
_
_
_
_
_
_
_
_
_
_
_
,
28
les blocs diagonaux (qui sont des matrices de dimension M M), on a :
A =
_
_
_
_
_
_
_
_
_
_
D Id 0 . . . . . . 0
Id D Id 0 . . . 0
0 Id D Id 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0
.
.
. Id D Id
0 . . . 0 Id D
_
_
_
_
_
_
_
_
_
_
, (1.5.25)
o Id dsigne la matrice identit dordre M.
On peut remarquer que la matrice A a une largeur de bande" de M. Si on
utilise une mthode directe genre Choleski, on aura donc besoin dune place
mmoire de N M = M
3
. (Notons que pour une matrice pleine on a besoin de
M
4
.)
Lorsquon a aaire de trs gros systmes issus par exemple de lingnierie
(calcul des structures, mcanique des uides, . . . ), o N peut tre de lordre
de plusieurs milliers, on cherche utiliser des mthodes ncessitant le moins de
mmoire possible. On a intrt dans ce cas utiliser des mthodes itratives.
Ces mthodes ne font appel qu des produits matrice vecteur, et ne ncessitent
donc pas le stockage du prol de la matrice mais uniquement des termes non
nuls. Dans lexemple prcdent, on a 5 diagonales non nulles, donc la place
mmoire ncessaire pour un produit matrice vecteur est 5N = 5M
2
. Ainsi pour
les gros systmes, il est souvent avantageux dutiliser des mthodes itratives
qui ne donnent pas toujours la solution exacte du systme en un nombre ni
ditrations, mais qui donnent une solution approche cot moindre quune
mthode directe, car elles ne font appel qu des produits matrice vecteur.
Remarque 1.20 (Sur la mthode du gradient conjugu)
Il existe une mthode itrative miraculeuse" de rsolution des systmes linaires
lorsque la matrice A est symtrique dnie positive : cest la mthode du gradient
conjugu. Elle est miraculeuse en ce sens quelle donne la solution exacte du
systme Ax = b en un nombre ni doprations (en ce sens cest une mthode
directe) : moins de N itrations o N est lordre de la matrice A, bien quelle ne
ncessite que des produits matrice vecteur ou des produits scalaires. La mthode
du gradient conjugu est en fait une mthode doptimisation pour la recherche
du minimum dans IR
N
de la fonction de IR
N
dans IR dnie par : f(x) =
1
2
Axxbx. Or on peut montrer que lorsque A est symtrique dnie positive, la
recherche de x minimisant f dans IR
N
est quivalent la rsolution du systme
Ax = b. (Voir paragraphe 3.2.2 page 157.) En fait, la mthode du gradient
conjugu nest pas si miraculeuse que cela en pratique : en eet, le nombre N
est en gnral trs grand et on ne peut en gneral pas envisager deectuer un tel
nombre ditrations pour rsoudre le systme. De plus, si on utilise la mthode
du gradient conjugu brutalement, non seulement elle ne donne pas la solution
en N itrations en raison de laccumulation des erreurs darrondi, mais plus la
taille du systme crot et plus le nombre ditrations ncessaires devient lev.
On a alors recours aux techniques de prconditionnement". Nous reviendrons
sur ce point au chapitre 3.
La mthode itrative du gradient pas xe, qui est elle aussi obtenue comme
mthode de minimisation de la fonction f ci-dessus, fait lobjet des exercices 28
page 52 et 58 page 185.
29
1.5.2 Dnition et proprits
Soit A /
N
(IR) une matrice inversible et b IR
N
, on cherche toujours ici
rsoudre le systme linaire (1.1.1) cestdire trouver x IR
N
tel que
Ax = b.
Dnition 1.21 On appelle mthode itrative de rsolution du systme linaire
(1.1.1) une mthode qui construit une suite (x
(n)
)
nIN
(o litr" x
(n)
est
calcul partir des itrs x
(0)
. . . x
(n1)
) cense converger vers x solution de
(1.1.1)).
Dnition 1.22 On dit quune mthode itrative est convergente si pour tout
choix initial x
(0)
IR
N
, on a :
x
(n)
x quand n +
Puisquil sagit de rsoudre un sytme linaire, il est naturel dessayer de construire
la suite des itrs sous la forme x
(n+1)
= Bx
(n)
+c, o B /
N
(IR) et c IR
N
seront choisis de manire ce que la mthode itrative ainsi dnie soit conver-
gente. On appellera ce type de mthode Mthode I, et on verra par la suite un
choix plus restrictif quon appellera Mthode II.
Dnition 1.23 (Mthode I) On appelle mthode itrative de type I pour la
rsolution du systme linaire (1.1.1) une mthode itrative o la suite des itrs
(x
(n)
)
nIN
est donne par :
_
Initialisation x
(0)
IR
N
Itration n x
(n+1)
= Bx
(n)
+c.
o B /
N
(IR) et c IR
N
.
Remarque 1.24 (Condition ncessaire de convergence) Une condition
ncessaire pour que la mthode I converge est que c = (Id B)A
1
b. En eet,
supposons que la mthode converge. En passant la limite lorsque n tend vers
linni sur litration n de lalgorithme, on obtient x = Bx + c et comme x =
A
1
b, ceci entrane c = (Id B)A
1
b.
Remarque 1.25 (Intrt pratique) La mthode I est assez peu intres-
sante en pratique, car il faut calculer A
1
b, sauf si (Id B)A
1
= Id, avec
IR. On obtient dans ce cas :
B = A +Id
et c = b
cestdire
x
n+1
= x
n
+(b Ax
n
).
Le terme bAx
n
est appel rsidu et la mthode sappelle dans ce cas la mthode
dextrapolation de Richardson.
Thorme 1.26 (Convergence de la mthode de type I) Soit A /
N
(IR)
A inversible, b IR
N
. On considre la mthode I avec B /
N
(IR) et
c = (Id B)A
1
b. (1.5.26)
Alors la mthode I converge si et seulement si le rayon spectral (B) de la
matrice B vrie (B) < 1.
30
Dmonstration
Soit B /
N
(IR).
Soit x la solution du systme linaire (1.1.1) ; grce (1.5.26), x = Bx + c, et
comme x
(n+1)
= Bx
(n)
+c, on a donc x
(n+1)
x = B(x
(n)
x) et par rcurrence
sur n,
x
(n)
x = B
n
(x
(0)
x), n IN. (1.5.27)
On rappelle (voir exercice 5 page 41) que (B) < 1 si et seulement si B
n
0
et que donc, si (B) 1 alors B
n
, 0. On rappelle aussi que B
n
0 si et
seulement si B
n
y 0, y IR
n
.
() On dmontre limplication par contrapose. Supposons que (B) 1 et
montrons que la mthode I ne converge pas. Si (B) 1 il existe y IR
N
tel que B
n
y ,
n+
0. En choisissant x
(0)
= x + y = A
1
b + y, lgalit
(1.5.27) devient : x
(n)
x = B
n
y ,
n+
0 par hypothse et donc la mthode
nest pas convergente.
() Supposons maintenant que (B) < 1 alors lgalit (1.5.27) donne donc
x
(n)
x = B
n
(x
(0)
x)
n+
0 car (B) < 1. Donc x
(n)

n+
x = A
1
b.
La mthode est bien convergente.
Dnition 1.27 (Mthode II) Soit A /
N
(IR) une matrice inversible, b
IR
N
. Soient

M et

N /
N
(IR) des matrices telles que A =

M

N et

M est
inversible (et facile inverser).
On appelle mthode de type II pour la rsolution du systme linaire (1.1.1) une
mthode itrative o la suite des itrs (x
(n)
)
nIN
est donne par :
_
Initialisation x
(0)
IR
N
Itration n

Mx
(n+1)
=

Nx
(n)
+b.
(1.5.28)
Remarque 1.28 Si

Mx
(n+1)
=

Nx
(n)
+ b pour tout n IN et x
(n)
y
quand n + alors

My =

Ny + b, c..d. (

M

N)y = b et donc Ay = b.
En conclusion, si la mthode de type II converge, alors elle converge bien vers
la solution du systme linaire.
Thorme 1.29 (Convergence de la mthode II) Soit A /
N
(IR) une
matrice inversible, b IR
N
. Soient

M et

N /
N
(IR) des matrices telles que
A =

M

N et

M est inversible. Alors :
1. La mthode dnie par (1.5.28) converge si et seulement si (

M
1

N) < 1.
2. La mthode itrative dnie par (1.5.28) converge si et seulement si il
existe une norme induite note | | telle que |

M
1

N| < 1.
Dmonstration
1. Pour dmontrer le point 1, il sut de rcrire la mthode II avec le for-
malisme de la mthode I. En eet,

Mx
(n+1)
=

Nx
(n)
+b x
(n+1)
=

M
1

Nx
(n)
+

M
1
b = Bx
(n)
+c,
avec B =

M
1

N et c =

M
1
b.
31
2. Si il existe une norme induite note | | telle que |

M
1

N| < 1, alors en
vertu de la proposition 1.5, (

M
1

N) < 1 et donc la mthode converge
ce qui prcde.
Rciproquement, si la mthode converge alors (

M
1

N) < 1, et donc il
existe > 0 tel que (

M
1

N) = 1 . varepsilon Prenons maintenant
=

2
et appliquons la proposition 1.6 : il existe une norme induite | |
telle que |

M
1

N| (

M
1

N) + < 1, ce qui dmontre le rsultat.
Pour trouver des mthodes itratives de rsolution du systme (1.1.1), on cherche
donc une dcomposition de la matrice A de la forme : A =

M

N, o

M est
inversible, telle que le systme

My = d soit un systme facile rsoudre (par
exemple

M soit triangulaire).
Thorme 1.30 (Condition susante de convergence, mthode II) Soit
A /
N
(IR) une matrice symtrique dnie positive, et soient

M et

N
/
N
(IR) telles que A =

M

N et

M est inversible. Si la matrice

M
t
+

N est
symtrique dnie positive alors (

M
1

N) < 1, et donc la mthode II converge.
Dmonstration On rappelle (voir exercice (5) page 41) que si B /
N
(IR), et
si | | est une norme induite sur /
N
(IR) par une norme sur IR
N
, on a toujours
(B) |B|. On va donc chercher une norme sur IR
N
, note | |

telle que
|

M
1

N|

= max|

M
1

Nx|

, x IR
N
, |x|

= 1 < 1,
(o on dsigne encore par |.|

la norme induite sur /

N
(IR)) ou encore :
|

M
1

Nx|

< |x|

, x IR
N
, x ,= 0. (1.5.29)
On dnit la norme | |

par |x|

Ax x, pour tout x IR
N
. Comme A
est symtrique dnie positive, | |

est bien une norme sur IR

N
, induite par
le produit scalaire (x[y)
A
= Ax y. On va montrer que la proprit (1.5.29) est
vrie par cette norme. Soit x IR
N
, x ,= 0, on a : |

M
1

Nx|
2

= A

M
1

Nx

M
1

Nx. Or

N =

M A, et donc : |

M
1

Nx|
2

= A(Id

M
1
A)x (Id

M
1
A)x. Soit y =

M
1
Ax; remarquons que y ,= 0 car x ,= 0 et

M
1
A est
inversible. Exprimons |

M
1

Nx|
2

laide de y.
|

M
1

Nx|
2

= A(xy) (xy) = Ax x2Ax y+Ay y = |x|

2

2Ax y+Ay y.
Pour que |

M
1

Nx|
2

< |x|
2

(et par suite (

M
1

N) < 1), il sut donc de
montrer que 2Axy+Ayy < 0. Or, comme

My = Ax, on a : 2Axy+Ayy =
2

My y + Ay y. En crivant :

My y = y

M
t
y =

M
t
y y, on obtient donc
que : 2Ax y +Ay y = (

M

M
t
+A)y y, et comme A =

M

N on obtient
2Ax y + Ay y = (

M
t
+

N)y y. Comme

M
t
+

N est symtrique dnie
positive par hypothse et que y ,= 0, on en dduit que 2Ax y +Ay y < 0, ce
qui termine la dmonstration.
Estimation de la vitesse de convergence On montre dans lexercice 39
page 57 que si la suite (x
(n)
)
nIN
IR est donne par une mthode I" (voir
dnition 1.23 page 30) convergente, i.e. x
(n+1)
= Bx
(n)
+ C (avec (B) < 1),
32
et si on suppose que x est la solution du systme (1.1.1), et que x
(n)
x quand
n , alors
|x
(n+1)
x|
|x
(n)
x|
(B) quand n + (sauf cas particuliers)
indpendamment de la norme sur IR
N
. Le rayon spectral (B) de la matrice B
est donc une bonne estimation de la vitesse de convergence. Pour estimer cette
vitesse de convergence lorsquon ne connat pas x, on peut utiliser le fait (voir
encore lexercice 39 page 57) quon a aussi
|x
(n+1)
x
(n)
|
|x
(n)
x
(n1)
|
(B) lorsque n +,
ce qui permet dvaluer la vitesse de convergence de la mthode par le calcul
des itrs courants.
1.5.3 Mthodes de Jacobi, Gauss-Seidel et SOR/SSOR
Dcomposition par blocs de A :
Dans de nombreux cas pratiques, les matrices des systmes linaires rsoudre
ont une structure par blocs", et on se sert de cette structure lors de la rsolution
par une mthode itrative.
Dnition 1.31 Soit A /
N
(IR) une matrice inversible. Une dcomposition
par blocs de A est dnie par un entier S N, des entiers (n
i
)
i=1,...,S
tels que

S
i=1
n
i
= N, et S
2
matrices A
i,j
/
ni,nj
(IR) (ensemble des matrices rectan-
gulaires n
i
lignes et n
j
colonnes, telles que les matrices A
i,i
soient inversibles
pour i = 1, . . . , S et
A =
_

_
A
1,1
A
1,2
. . . . . . A
1,S
A
2,1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. A
S1,S
A
S,1
. . . . . . A
S,S1
A
S,S
_

_
(1.5.30)
Remarque 1.32
1. Si S = N et n
i
= 1 i 1 . . . n, chaque bloc est constitu dun seul
coecient.
2. Si A est symtrique dnie positive, la condition A
i,i
inversible dans la
dnition 1.31 est inutile car A
i,i
est ncessairement symtrique dnie
positive donc inversible. Prenons par exemple i = 1 ; soit y IR
n1
, y ,= 0
et x = (y, 0 . . . , 0)
t
IR
N
. Alors A
1,1
y y = Ax x > 0 donc A
1,1
est
symtrique dnie positive.
3. Si A est une matrice triangulaire par blocs, c..d. de la forme (1.5.30)
avec A
i,j
= 0 si j > i, alors
det(A) =
S

i=1
det(A
i,i
).
33
Par contre si A est dcompose en 2 2 blocs carrs (i.e. tels que n
i
=
m
j
, (i, j) 1, 2), on a en gnral : det(A) ,= det(A
1,1
)det(A
2,2
)
det(A
1,2
)det(A
2,1
).
Mthode de Jacobi
On peut remarquer que le choix le plus simple pour le systme

Mx = d soit
facile rsoudre (on rappelle que cest un objectif de la mise sous forme mthode
de type II) est de prendre pour

M une matrice diagonale. La mthode de Jacobi
consiste prendre pour

M lamatrice diagonale D forme par les blocs diagonaux
de A :
D =
_

_
A
1,1
0 . . . . . . 0
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 0
0 . . . . . . 0 A
S,S
_

_
.
Dans la matrice ci-dessus, 0 dsigne un bloc nul.
On a alors

N = E+F, o E et F sont constitus des blocs triangulaires infrieurs
et suprieurs de la matrice A :
E =
_

_
0 0 . . . . . . 0
A
2,1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 0
A
S,1
. . . . . . A
S,S1
0
_

_
et
F =
_

_
0 A
1,2
. . . . . . A
1,S
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. A
S1,S
0 . . . . . . 0 0
_

_
.
On a bien A =

M

N et avec D, E et F dnies comme ci-dessus, la mthode
de Jacobi scrit :
_
x
(0)
IR
N
Dx
(n+1)
= (E +F)x
(n)
+b.
(1.5.31)
Lorsquon crit la mthode de Jacobi comme une mthode I, on a B = D
1
(E+
F) ; on notera J cette matrice.
34
En introduisant la dcomposition par blocs de x, solution recherche de (1.1.1),
c..d. : x = [x
1
, . . . , x
S
]
t
, o x
i
IR
ni
, on peut aussi crire la mthode de
Jacobi sous la forme :
_
_
_
x
0
IR
N
A
i,i
x
(k+1)
i
=

j<i
A
i,j
x
(k)
j

j>i
A
i,j
x
(n)
j
+b
i
i = 1, . . . , S.
(1.5.32)
Si S = N et n
i
= 1 i 1 . . . n, chaque bloc est constitu dun seul coecient,
et on obtient la mthode de Jacobi par points (aussi appele mthode de Jacobi),
qui scrit donc :
_
_
_
x
0
IR
N
a
i,i
x
(k+1)
i
=

j<i
a
i,j
x
(k)
j

j>i
a
i,j
x
(k)
j
+b
i
i = 1, . . . , N.
(1.5.33)
Mthode de Gauss-Seidel
Lide de la mthode de Gauss-Seidel est dutiliser le calcul des composantes
de litr (n + 1) ds quil est eectu. Par exemple, pour calculer la deuxime
composante x
(n+1)
2
du vecteur x
(n+1)
, on pourrait employer la nouvelle" valeur
x
(n+1)
1
quon vient de calculer plutt que la valeur x
(n)
1
comme dans (1.5.32) ;
de mme, dans le calcul de x
(n+1)
3
, on pourrait employer les nouvelles" valeurs
x
(n+1)
1
et x
(n+1)
2
plutt que les valeurs x
(n)
1
et x
(n)
2
. Cette ide nous suggre de
remplacer dans (1.5.32) x
(n)
j
par x
(n+1)
j
si j < i. On obtient donc lalgorithme
suivant :
_
x
(0)
IR
N
A
i,i
x
(k+1)
i
=

j<i
A
i,j
x
(k+1)
j

i<j
A
i,j
x
(k)
j
+b
i
, i = 1, . . . , S.
(1.5.34)
Notons que lalgorithme de GaussSeidel par points (cas ou S = N et n
i
= 1)
scrit donc :
_
x
(0)
IR
N
a
i,i
x
(k+1)
i
=

j<i
a
i,j
x
(k+1)
j

i<j
a
i,j
x
(k)
j
+b
i
, i = 1, . . . , N.
(1.5.35)
La mthode de GaussSeidelscrit donc sous forme de mthode II avec

M =
D E et

N = F :
_
x
0
IR
N
(D E)x
(n+1)
= Fx
(n)
+b.
(1.5.36)
Lorsquon crit la mthode de GaussSeidel comme une mthode I, on a B =
(D E)
1
F ; on notera L
1
cette matrice, dite matrice de Gauss-Seidel.
Mthodes SOR et SSOR
Lide de la mthode de sur-relaxation (SOR = Successive Over Relaxation) est
dutiliser la mthode de Gauss-Seidel pour calculer un itr intermdiaire x
(n+1)
quon relaxe" ensuite pour amliorer la vitesse de convergence de la mthode.
35
On se donne 0 < < 2, et on modie lalgorithme de GaussSeidel de la manire
suivante :
_

_
x
0
IR
N
A
i,i
x
(k+1)
i
=

j<i
A
i,j
x
(k+1)
j

i<j
A
i,j
x
(k)
j
+b
i
x
(k+1)
i
= x
(n+1)
i
+ (1 )x
(k)
i
, i = 1, . . . , S.
(1.5.37)
(Pour = 1 on retrouve la mthode de GaussSeidel.)
Lalgorithme ci-dessus peut aussi scrire (en multipliant par A
i,i
la ligne 3 de
lalgorithme (1.5.37)) :
_

_
x
(0)
IR
N
A
i,i
x
(k+1)
i
=
_
_

j<i
A
i,j
x
(k+1)
j

j>i
A
i,j
x
(k)
j
+b
i
_
_
+(1 )A
i,i
x
(k)
i
.
(1.5.38)
On obtient donc
(D E)x
(k+1)
= Fx
(k)
+b + (1 )Dx
(k)
.
Lalgorithme SOR scrit donc comme une mthode II avec

M =
D

E et

N = F +
_
1

_
D.
Il est facile de vrier que A =

M

N.
Lalgorithme SOR scrit aussi comme une mthode I avec
B =
_
D

E
_
1
(F +
_
1

_
D).
On notera L

cette matrice.
Remarque 1.33 (Mthode de Jacobi relaxe) On peut aussi appliquer une
procdure de relaxation avec comme mthode irative de base la mthode de Ja-
cobi, voir ce sujet lexercice 34 page 54). Cette mthode est toutefois beaucoup
moins employe en pratique (car moins ecace) que la mthode SOR.
En symtrisant" le procd de la mthode SOR, c..d. en eectuant les cal-
culs SOR sur les blocs dans lordre 1 N puis dans lordre N 1, on obtient
la mthode de sur-relaxation symtrise (SSOR = Symmetric Successive Over
Relaxation) qui scrit dans le formalisme de la mthode I avec
B =
_
D

F
_
1
_
E +
1

D
_
. .
calcul dans lordre S...1
_
D

E
_
1
_
F +
1

D
_
. .
calcul dans lordre 1...S
.
36
Etude thorique de convergence
On aimerait pouvoir rpondre aux questions suivantes :
1. Les mthodes sontelles convergentes ?
2. Peut-on estimer leur vitesse de convergence ?
3. Peut-on estimer le coecient de relaxation optimal dans la mthode
SOR, c..d. celui qui donnera la plus grande vitesse de convergence ?
On va maintenant donner des rponses, partielles dans certains cas, faute de
mieux, ces questions.
Convergence On rappelle quune mthode itrative de type I, i.e. crite sous
la forme x
(n+1)
= Bx
(n)
+ C converge si et seulement si (B) < 1 (voir le
thorme 1.26 page 30).
Thorme 1.34 (Sur la convergence de la mthode SOR)
Soit A /
N
(IR) qui admet une dcomposition par blocs dnie dans la d-
nition 1.5.30 page 33 ; soient D la matrice constitue par les blocs diagonaux,
E (resp. F) la matrice constitue par les blocs triangulaires infrieurs (resp.
suprieurs) ; on a donc : A = D E F. Soit L

la matrice ditration de la
mthode SOR (et de la mthode de GaussSeidel pour = 1) dnie par :
L

=
_
D

E
_
1
_
F +
1

D
_
, ,= 0.
Alors :
1. Si (L

) < 1 alors 0 < < 2.

2. Si on suppose de plus que A symtrique dnie positive, alors :
(L

) < 1 si et seulement si 0 < < 2.

En particulier, si A est une matrice symtrique dnie positive, la mthode
de GaussSeidel converge.
Dmonstration du thorme 1.34 :
1. Calculons det(L

). Par dnition,
L

=

M
1

N, avec

M =
1

D E et

N = F +
1

D.
Donc det(L

) = (det(

M))
1
det(

N). Comme

M et

N sont des matrices
triangulaires par blocs, leurs dterminants sont les produits des dtermi-
nants des blocs diagonaux (voir la remarque 1.32 page 33). On a donc :
det(L

) =
(
1

)
N
det(D)
(
1

)
N
det(D)
= (1 )
N
.
Or le dterminant dune matrice est aussi le produit des valeurs propres
de cette matrice (comptes avec leur multiplicits algbriques), dont les
valeurs absolues sont toutes, par dnition, infrieures au rayon spectral.
On a donc : [det(L

)[ = [(1 )
N
[ ((L

))
N
, do le rsultat.
37
2. Supposons maintenant que A est une matrice symtrique dnie positive,
et que 0 < < 2. Montrons que (L

) < 1. Par le thorme 1.30 page

32, il sut pour cela de montrer que

M
t
+

N est une matrice symtrique
dnie positive. Or,

M
t
=
_
D

E
_
t
=
D

F,

M
t
+

N =
D

F +F +
1

D =
2

D.
La matrice

M
t
+

N est donc bien symtrique dnie positive.
Remarque 1.35 (Comparaison GaussSeidel/Jacobi) On a vu (tho-
rme 1.34) que si A est une matrice symtrique dnie positive, la mthode de
GaussSeidel converge. Par contre, mme dans le cas o A est symtrique d-
nie positive, il existe des cas o la mthode de Jacobi ne converge pas, voir
ce sujet lexercice 30 page 52.
Remarquons que le rsultat de convergence des mthodes itratives donn par
le thorme prcdent nest que partiel, puisquil ne concerne que les matrices
symtriques dnies positives et que les mthodes Gauss-Seidel et SOR. On a
aussi un rsultat de convergence de la mthode de Jacobi pour les matrices
diagonale dominante stricte, voir exercice 31 page 52, et un rsultat de compa-
raison des mthodes pour les matrices tridiagonales par blocs, voir le thorme
1.36 donn ci-aprs. Dans la pratique, il faudra souvent compter sur sa bonne
toile. . .
Estimation du coecient de relaxation optimal de SOR La question
est ici destimer le coecient de relaxation optimal dans la mthode SOR,
c..d. le coecient
0
]0, 2[ (condition ncessaire pour que la mthode SOR
converge, voir thorme 1.34) tel que (L
0
) < (L

) ]0, 2[.
Daprs le paragraphe prcdent ce
0
donnera la meilleure convergence possible
pour SOR. On sait le faire dans le cas assez restrictif des matrices tridiagonales
par blocs. On ne fait ici qunoncer le rsultat dont la dmonstration est donne
dans le livre de Ph. Ciarlet conseill en dbut de cours.
Thorme 1.36 (Coecient optimal, matrice tridiagonale) On considre
une matrice A /
N
(IR) qui admet une dcomposition par blocs dnie dans
la dnition 1.5.30 page 33 ; on suppose que la matrice A est tridiagonale par
blocs, c..d. A
i,j
= 0 si [i j[ > 1 ; soient L
1
et J les matrices ditration
respectives des mthodes de Gauss-Seidel et Jacobi, alors :
1. (L
1
) = ((J))
2
: la mthode de GaussSeidel converge (ou diverge) donc
plus vite que celle de Jacobi.
2. On suppose de plus que toutes les valeurs propres de la matrice ditration
J de la mthode de Jacobi sont relles. alors le paramtre de relaxation
optimal, c..d. le paramtre
0
tel que (L
0
) = min(L

), ]0, 2[,
38
sexprime en fonction du rayon spectral (J) de la matrice J par la for-
mule :

0
=
2
1 +
_
1 (J)
2
> 1,
et on a : (L
0
) =
0
1.
1.5.4 Recherche de valeurs propres et vecteurs propres
Les techniques de recherche des lments propres, c..d. des valeurs et vec-
teurs propres (voir Dnition 1.4 page 7) dune matrice sont essentielles dans de
nombreux domaines dapplication, par exemple en dynamique des structures :
la recherche des modes propres dune structure peut savrer importante pour
le dimensionnement de structures sous contraintes dynamiques, voir ce propos
lexemple clbre du Tacoma Bridge", dcrit dans les livres de M. Braun (en
anglais) et M. Schatzman (en franais) conseills en dbut de cours.
On donne dans les exercices qui suivent deux mthodes assez classiques de re-
cherche de valeurs propres dune matrice qui sont la mthode de la puissance
(exercice 39 page 57) et celui de la puissance inverse (exercice 40 page 58). Ci-
tons galement une mthode trs employe, la mthode QR, qui est prsente
dans de nombreuses bibliothques de programmes. On pourra se rfrer aux ou-
vrages de Ph. Ciarlet et de M. Schatzman, de D. Serre et de P. Lascaux et R.
Theodor (voir introduction).
39
1.6 Exercices du chapitre 1
Exercice 1 (Matrices symtriques dnies positives) Suggestions en page
59, corrig en page 62.
On rappelle que toute matrice A /
N
(IR) symtrique est diagonalisable
dans IR (cf. lemme 1.11 page 9). Plus prcisment, on a montr en cours
que, si A /
N
(IR) est une matrice symtrique, il existe une base de IR
N
,
note f
1
, . . . , f
N
, et il existe
1
, . . . ,
N
IR t.q. Af
i
=
i
f
i
, pour tout
i 1, . . . , N, et f
i
f
j
=
i,j
pour tout i, j 1, . . . , N (x y dsigne le
produit scalaire de x avec y dans IR
N
).
1. Soit A /
N
(IR). On suppose que A est symtrique dnie positive,
montrer que les lments diagonaux de A sont strictements positifs.
2. Soit A /
N
(IR) une matrice symtrique. Montrer que A est symtrique
dnie positive si et seulement si toutes les valeurs propres de A sont
strictement positives.
3. Soit A /
N
(IR). On suppose que A est symtrique dnie positive.
Montrer quon peut dnir une unique matrice B /
N
(IR), B symtrique
dnie positive t.q. B
2
= A (on note B = A
1
2
).
Exercice 2 (Normes de lIdentit) Corrig en page 63.
Soit Id la matrice Identit" de /
N
(IR). Montrer que pour toute norme induite
on a |Id| = 1 et que pour toute norme matricielle on a |Id| 1.
Exercice 3 (Normes induites particulires) Suggestions en page 59, cor-
rig dtaill en page 63.
Soit A = (a
i,j
)
i,j{1,...,N}
/
N
(IR).
1. On munit IR
N
de la norme ||

et /
N
(IR) de la norme induite correspon-
dante, note aussi | |

. Montrer que |A|

= max
i{1,...,N}

N
j=1
[a
i,j
[.
2. On munit IR
N
de la norme ||
1
et /
N
(IR) de la norme induite correspon-
dante, note aussi | |
1
. Montrer que |A|
1
= max
j{1,...,N}

N
i=1
[a
i,j
[.
3. On munit IR
N
de la norme | |
2
et /
N
(IR) de la norme induite corres-
pondante, note aussi | |
2
. Montrer que |A|
2
= ((A
t
A))
1
2
.
Exercice 4 (Norme non induite) Corrig en page 64.
Pour A = (a
i,j
)
i,j{1,...,N}
/
N
(IR), on pose |A|
s
= (

N
i,j=1
a
2
i,j
)
1
2
.
1. Montrer que | |
s
est une norme matricielle mais nest pas une norme
induite (pour N > 1).
2. Montrer que |A|
2
s
= tr(A
t
A). En dduire que |A|
2
|A|
s

N|A|
2
et que |Ax|
2
|A|
s
|x|
2
, pour tout A /
N
(IR) et tout x IR
N
.
3. Chercher un exemple de norme non matricielle.
40
Exercice 5 (Rayon spectral) Suggestions en page 59, corrig dtaill en page
65.
On munit /
N
(IR) dune norme, note | |. Soit A /
N
(IR).
1. Montrer que (A) < 1 si et seulement si A
k
0 quand k .
2. Montrer que : (A) < 1 limsup
k
|A
k
|
1
k
1.
3. Montrer que : liminf
k
|A
k
|
1
k
< 1 (A) < 1.
4. Montrer que (A) = lim
k
|A
k
|
1
k
.
5. On suppose ici que | | est une norme matricielle, dduire de la question
prcdente que (A) |A|. On a ainsi dmontr la proposition 1.5.
Exercice 6 (Valeurs propres nulles dun produit de matrices) Corrig en
page 65.
Soient p et n des entiers naturels non nuls tels que n p, et soient A /
n,p
(IR)
et B /
p,n
(IR). (On rappelle que /
n,p
(IR) dsigne lensemble des matrices
n lignes et p colonnes.)
1. Montrer que est valeur propre non nulle de AB si et seulement si est
valeur propre non nulle de BA.
2. Montrer que si = 0 est valeur propre de AB alors est valeur propre
nulle de BA.
(Il est conseill de distinguer les cas Bx ,= 0 et Bx = 0, o x est un
vecteur propre associ la = 0 valeur propre de AB. Pour le deuxime
cas, on pourra distinguer selon que ImA = IR
n
ou non.)
3. Montrer en donnant un exemple que peut tre une valeur propre nulle
de BA sans tre valeur propre de AB.
(Prendre par exemple n = 1, p = 2.)
4. On suppose maintenant que n = p, dduire des questions 1. et 2. que
lensemble des valeurs propres de AB est gal lensemble des valeurs
propres de la matrice BA.
Exercice 7 (Rayon spectral) Corrig en page 65.
Soit A /
N
(IR). Montrer que si A est diagonalisable, il existe une norme
induite sur /
N
(IR) telle que (A) = |A|. Montrer par un contre exemple que
ceci peut tre faux si A nest pas diagonalisable.
Exercice 8 (Sur le rayon spectral)
On dnit les matrices carres dordre 2 suivantes :
A =
_
1 1
1 1
_
, B =
_
1 0
1 1
_
, C = A +B.
Calculer le rayon spectral de chacune des matrices A, B et C et en dduire
que le rayon spectral ne peut tre ni une norme, ni mme une semi-norme sur
lespace vectoriel des matrices.
41
Exercice 9 (Srie de Neumann) Suggestions en page 59, corrig dtaill en
page 66.
Soient A /
N
(IR) et | | une norme matricielle.
1. Montrer que si (A) < 1, les matrices Id A et Id +A sont inversibles.
2. Montrer que la srie de terme gnral A
k
converge (vers (Id A)
1
) si et
seulement si (A) < 1.
Exercice 10 (Normes matricielles) Corrig dtaill en page 67.
Soit |.| une norme matricielle quelconque, et soit A M
N
(IR) telle que (A) < 1
(on rappelle quon note (A) le rayon spectral de la matrice A). Pour x IR
N
,
on dnit |x|

par :
|x|

j=0
|A
j
x|.
1. Montrer que lapplication dnie de IR
N
dans IR par x |x|

est une
norme.
2. Soit x IR
N
tel que |x|

= 1. Calculer |Ax|

en fonction de |x|, et en
dduire que |A|

< 1.
3. On ne suppose plus que (A) < 1. Soit > 0 donn. Construire partir
de la norme |.| une norme induite |.|

telle que |A|

(A) +.
Exercice 11 (P-matrice) Corrig en page 67
Soit N IN

, on note /
N
(IR) lensemble des matrices de N lignes et N colonnes
et coecients rels. Si x IR
N
, on dit que x 0 [resp. x > 0] si toutes les
composantes de x sont positives [resp. strictement positives].
Soit A /
N
(IR), on dit que A est une P-matrice si elle vrie la proprit
suivante :
Si x IR
N
est tel que Ax 0, alors x 0,
ce qui peut encore scrire : x IR
N
t.q. Ax 0 x IR
N
t.q. x 0.
1. Soit A = (a
i,j
)
i,j=1,...,N
/
N
(IR). Montrer que A est une P-matrice si et
seulement si A est inversible et A
1
0 (cest--dire que tous les coecients de
A
1
sont positifs).
2. Soit A =
_
a b
c d
_
une matrice relle dordre 2. Montrer que A est une
P-matrice si et seulement si :
_
_
_
ad < bc,
a < 0, d < 0
b 0, c 0
ou
_
_
_
ad > bc,
a > 0, d > 0,
b 0, c 0.
(1.6.39)
3. Montrer que si A /
N
(IR) est une P-matrice alors A
t
(la transpose de A)
est une P-matrice.
42
4. Montrer que si A est telle que
a
i,j
0, pour tout i, j = 1, . . . , N, i ,= j,
a
i,i
>
N

j=1
j=i
[a
i,j
[, pour tout i = 1, . . . , N,
(1.6.40)
alors A est une P-matrice.
5. En dduire que si A est telle que
a
i,j
0, pour tout i, j = 1, . . . , N, i ,= j,
a
i,i
>
N

j=1
j=k
[a
j,i
[, pour tout i = 1, . . . , N,
(1.6.41)
alors A est une P-matrice.
6. Montrer que si A /
N
(IR) est une P-matrice et si x IR
N
alors :
Ax > 0 x > 0.
cest--dire que x IR
N
t.q. Ax > 0 x IR
N
t.q. x > 0
7. Montrer, en donnant un exemple, quune matrice A de /
N
(IR) peut vrier
x IR
N
t.q. Ax > 0 x IR
N
t.q. x > 0 et ne pas tre une P-matrice.
8. On suppose dans cette question que A /
N
(IR) est inversible et que x
IR
N
t.q. Ax > 0 x IR
N
t.q. x > 0. Montrer que A est une P-matrice.
9. Soit E lespace des fonctions continues sur IR et admettant la mme limite nie
en + et . Soit L(E) lensemble des applications linaires continues de E
dans E. Pour f E, on dit que f > 0 (resp. f 0) si f(x) > 0 (resp. f(x) 0)
pour tout x IR. Montrer quil existe T L(E) tel que Tf 0 = f 0, et
g E tel que Tg > 0 et g ,> 0 (ceci dmontre que le raisonnement utilis en 2
(b) ne marche pas en dimension innie).
Exercice 12 (M-matrice) Corrig en page 67
Dans ce qui suit, toutes les ingalits crites sur des vecteurs ou des matrices
sont entendre au sens composante par composante.
Soit A = (a
i,j
)
i,j=1,...,n
une matrice carre dordre n. On dit que A est une
M-matrice si A est une P-matrice (A est inversible et A
1
0, voir exercice
11) qui vrie de plus
(a) a
i,i
> 0 pour i = 1, . . . , n;
(b) a
i,j
0 pour i, j = 1, . . . , n, i ,= j ;
1. Soit A une P-matrice ; montrer que A est une M-matrice si et seulement si
la proprit (b) est vrie.
2. Soit A =
_
a b
c d
_
une matrice relle dordre 2. Montrer que A est une
M-matrice si et seulement si :
43
_
_
_
ad > bc,
a > 0, d > 0,
b 0, c 0.
(1.6.42)
3. Les matrices A =
_
1 2
2 1
_
et B =
_
2 1
1 2
_
sont-elles des P-
matrices ? des M-matrices ?
4. Soit A la matrice carre dordre 3 dnie par :
A =
_
_
2 1
1
2
0 1 1
1 0 1
_
_
Montrer que A
1
0 mais que A nest pas une Mmatrice.
5. Soit A une matrice carre dordre n = m+ p, avec m, p IN tels que m 1
et p 1, vriant :
a
i,i
0,
a
i,j
0, pour j = 1, . . . , n, j ,= i,
a
i,i
+
n

j=1
j=i
a
i,j
= 0
_

_
pour i = 1, . . . , m, (1.6.43)
a
i,i
= 1,
a
i,j
= 0, pour j = 1, . . . , n, j ,= i,
_
pour i = m+ 1, . . . , n. (1.6.44)
i m, (k

)
=1,...,Li
; k
1
= i, k
Li
> n, et a
k

,k
+1
< 0, = 1, . . . , L
i
.
(1.6.45)
Soit b IR
n
tel que b
i
= 0 pour i = 1, . . . , m. On considre le systme linaire
Au = b (1.6.46)
5.1 Montrer que le systme (1.6.46) admet une et une seule solution.
5.2 Montrer que u est tel que min
k=m+1,n
b
k
u
i
max
k=m+1,n
b
k
. (On pourra
pour simplier supposer que les quations sont numrotes de telle sorte que
min
k=m+1,n
b
k
= b
m+2
b
2
. . . b
n
= max
k=m+1,n
b
k
.)
6. On considre le problme de Dirichlet suivant :
u

= 0 sur [0, 1] (1.6.47a)

u(0) = 1 (1.6.47b)
u(1) = 1. (1.6.47c)
6.1 Calculer la solution exacte u de ce problme et vrier quelle reste comprise
entre -1 et 1.
6.2 Soit m > 1 et soient A et b et la matrice et le second membre du systme
linaire dordre n = m+2 obtenu par discrtisation par dirences nies sur un
maillage uniforme de pas h =
1
m
du problme (1.6.47) (en crivant les conditions
aux limites dans le systme). Montrer que la solution U IR
n
du systme
AU = b vrie 1 u
i
1.
44
Exercice 13 (Dcomposition LDL
t
et LL
t
) Corrig en page 67
1. Soit A =
_
2 1
1 0
_
.
Calculer la dcomposition LDL
t
de A. Existe-t-il une dcomposition LL
t
de A?
2. Montrer que toute matrice de /
N
(IR) symtrique dnie positive admet une
dcomposition LDL
t
.
3. Ecrire lalgorithme de dcomposition LDL
t
. La matrice A =
_
0 1
1 0
_
admet-elle une dcomposition LDL
t
?
Exercice 14 (Sur la mthode LL
t
) Corrig dtaill en page 70.
Soit A une matrice carre dordre N, symtrique dnie positive et pleine. On
cherche rsoudre le systme A
2
x = b.
On propose deux mthodes de rsolution de ce systme :
1. Calculer A
2
, eectuer la dcomposition LL
t
de A
2
, rsoudre le systme
LL
t
x = b.
2. Calculer la dcomposition LL
t
de A, rsoudre les systmes LL
t
y = b et
LL
t
x = y.
Calculer le nombre doprations lmentaires ncessaires pour chacune des deux
mthodes et comparer.
Exercice 15 (Dcomposition LL
t
dune matrice tridiagonale symtrique)
Corrig dtaill en page 70.
Soit A /
N
(IR) symtrique dnie positive et tridiagonale (i.e. a
i,j
= 0 si
i j > 1).
1. Montrer que A admet une dcomposition LL
t
, o L est de la forme
L =
_
_
_
_
_
_
_
_

1
0 . . . 0

2

2
0 . . . 0
0
.
.
.
.
.
. . . . 0
.
.
.
.
.
.
.
.
. . . .
.
.
.
0 0
N

N
_
_
_
_
_
_
_
_
.
2. Donner un algorithme de calcul des coecients
i
et
i
, en fonction des
coecients a
i,j
, et calculer le nombre doprations lementaires ncessaires
dans ce cas.
3. En dduire la dcomposition LL
t
de la matrice :
A =
_
_
_
_
_
_
1 1 0 0 0
1 2 1 0 0
0 1 2 1 0
0 0 1 2 1
0 0 0 1 2
_
_
_
_
_
_
.
45
4. Linverse dune matrice inversible tridiagonale est elle tridiagonale ?
Exercice 16 (Choleski pour matrice bande) Suggestions en page 60, cor-
rig en page 72
Soit A /
N
(IR) une matrice symtrique dnie positive.
1. On suppose ici que A est tridiagonale. Estimer le nombre doprations de
la factorisation LL
t
dans ce cas.
2. Mme question si A est une matrice bande (cest--dire p diagonales non
nulles).
3. En dduire une estimation du nombre doprations ncessaires pour la
discrtisation de lquation u

= f vue page 25. Mme question pour la

discrtisation de lquation u = f prsente page 27.
Exercice 17 (Proprits gnrales du conditionnement) Corrig dtaill
en page 78.
On munit IR
N
dune norme, note | |, et /
N
(IR) de la norme induite, no-
te aussi | |. Pour une matrice inversible A /
N
(IR), on note cond(A) =
|A||A
1
|.
1. Soit A /
N
(IR) une matrice inversible. Montrer que cond(A) 1.
2. Montrer que cond(A) = cond(A) pour tout IR

.
3. Soit A, B /
N
(IR) deux matrices inversibles. Montrer que cond(AB)
cond(A)cond(B).
Exercice 18 (Proprits du conditionnement pour la norme 2) Sugges-
tions en page 59, corrig dtaill en page 79.
On munit IR
N
, de la norme euclidienne usuelle | | = | |
2
et /
N
(IR) de la
norme induite (note aussi | |
2
. On note alors cond
2
(A) conditionnement dune
matrice A inversible.
1. Soit A /
N
(IR) une matrice inversible. On note
N
[resp.
1
] la plus
grande [resp. petite] valeur propre de A
t
A (noter que A
t
A est une matrice
symtrique dnie positive). Montrer que cond
2
(A) =
_

N
/
1
.
2. On suppose maintenant que A est symtrique dnie positive, montrer
que cond
2
(A) =
N
/
1
o
N
[resp.
1
] est la plus grande [resp. petite]
valeur propre de A.
3. Soit A /
N
(IR) une matrice inversible. Montrer que cond
2
(A) = 1 si
et seulement si A = Q o IR

et Q est une matrice orthogonale

(cest--dire Q
t
= Q
1
).
4. Soit A /
N
(IR) une matrice inversible. On suppose que A = QR o Q
est une matrice orthogonale. Montrer que cond
2
(A) = cond
2
(R).
5. Soit A, B /
N
(IR) deux matrices symtriques dnies positives. Mon-
trer que cond
2
(A +B) maxcond
2
(A), cond
2
(B).
Exercice 19 (Un systme par blocs) Corrig dtaill en page 73.
46
Soit A /
N
(IR) une matrice carre dordre N inversible, b, c, f IR
N
. Soient
et IR. On cherche rsoudre le systme suivant (avec x IR
N
, IR) :
Ax +b = f,
c x + = .
(1.6.48)
1. Ecrire le systme (1.6.48) sous la forme : My = g, o M est une matrice
carre dordre N +1, y IR
N+1
, g IR
N+1
. Donner lexpression de M, y
et g.
2. Donner une relation entre A, b, c et , qui soit une condition ncessaire et
susante pour que le systme (1.6.48) soit inversible. Dans toute la suite,
on supposera que cette relation est vrie.
3. On propose la mthode suivante pour la rsolution du systme (1.6.48) :
(a) Soient z solution de Az = b, et h solution de Ah = f.
(b) x = h
c h
c z
z, =
c h
c z
.
Montrer que x IR
N
et IR ainsi calculs sont bien solutions du
systme (1.6.48).
4. On suppose dans cette question que A est une matrice bande, dont la
largeur de bande est p.
(a) Calculer le cot de la mthode de rsolution propose ci-dessus en
utilisant la mthode LU pour la rsolution des systmes linaires.
(b) Calculer le cot de la rsolution du systme My = g par la mthode
LU (en protant ici encore de la structure creuse de la matrice A).
(c) Comparer et conclure.
Dans les deux cas, le terme dordre suprieur est 2Nq
2
, et les cots
sont donc comparables.
Exercice 20 (Minoration du conditionnement) Corrig dtaill en page
76.
Soit | . | une norme induite sur /
N
(IR) et soit A /
N
(IR) telle que det
(A) ,= 0.
1. Montrer que si |AB| <
1
A
1

, alors B est inversible.

2. Montrer que cond (A) sup
BMN(IR)
detB=0
A
AB
Exercice 21 (Minoration du conditionnement) Corrig dtaill en page
76.
On note | | une norme matricielle sur /
N
(IR). Soit A /
N
(IR) une matrice
carre inversible, cond(A) = |A||A
1
| le conditionnement de A, et soit A
/
N
(IR).
1. Montrer que si A+A est singulire, alors
cond(A)
|A|
|A|
. (1.6.49)
47
2. On suppose dans cette question que la norme | | est la norme induite
par la norme euclidienne sur IR
N
. Montrer que la minoration (1.6.49) est
optimale, cest--dire quil existe A /
N
(IR) telle que A + A soit
singulire et telle que lgalit soit vrie dans (1.6.49).
[On pourra chercher A de la forme
A =
y x
t
x
t
x
,
avec y IR
N
convenablement choisi et x = A
1
y.]
3. On suppose ici que la norme | | est la norme induite par la norme in-
nie sur IR
N
. Soit ]0, 1[. Utiliser lingalit (1.6.49) pour trouver un
minorant, qui tend vers + lorsque tend vers 0, de cond(A) pour la
matrice
A =
_
_
1 1 1
1
1
_
_
.
Exercice 22 (Conditionnement du carr) Corrig dtaill en page 77.
Soit A M
N
(IR) une matrice telle que detA ,= 0.
1. Quelle relation existe-t-il en gnral entre cond (A
2
) et (cond A)
2
?
2. On suppose que A symtrique. Montrer que cond
2
(A
2
) = (cond
2
A)
2
.
3. On suppose que cond
2
(A
2
) = (cond
2
A)
2
. Peut-on conclure que A est
symtrique ? (justier la rponse.)
Exercice 23 (Calcul de linverse dune matrice et conditionnement) Cor-
rig dtaill en page 77.
On note | | une norme matricielle sur /
N
(IR). Soit A /
N
(IR) une matrice
carre inversible. On cherche ici des moyens dvaluer la prcision de calcul de
linverse de A.
1. On suppose quon a calcul B, approximation (en raison par exemple
derreurs darrondi) de la matrice A
1
. On pose :
_

_
e
1
=
|B A
1
|
|A
1
|
, e
2
=
|B
1
A|
|A|
e
3
= |AB Id|, e
4
= |BA Id|
(1.6.50)
(a) Expliquer en quoi les quantits e
1
, e
2
, e
3
et e
4
mesurent la qualit de
lapproximation de A
1
.
(b) On suppose ici que B = A
1
+E, o |E| |A
1
|, et que
cond(A) < 1.
Montrer que dans ce cas,
e
1
, e
2

cond(A)
1 cond(A)
, e
3
cond(A) et e
4
cond(A).
48
(c) On suppose maintenant que AB Id = E

avec |E

| < 1.
Montrer que dans ce cas :
e
1
, e
2


1
, e
3
et e
4
cond(A).
2. On suppose maintenant que la matrice A nest connue qu une certaine
matrice derreurs prs, quon note
A
.
(a) Montrer que la matrice A +
A
est inversible si |
A
| <
1
|A
1
|
.
(b) Montrer que si la matrice A+
A
est inversible,
|(A+
A
)
1
A
1
|
|(A+
A
)
1
|
cond(A)
|
A
|
|A|
.
Exercice 24 (Discrtisation) Corrig dtaill en page 80.
On considre la discrtisation pas constant par le schma aux dirences nies
symtrique trois points (vu en cours) du problme (1.4.19) page 25, avec
f C([0, 1]). Soit N IN

, N impair. On pose h = 1/(N + 1). On note u est

la solution exacte, x
i
= ih, pour i = 1, . . . , N les points de discrtisation, et
(u
i
)
i=1,...,N
la solution du systme discrtis (1.4.21).
1. Montrer que si f est constante, alors
max
1iN
[u
i
u(x
i
)[ = 0.
.
2. Soit N x, et max
1iN
[u
i
u(x
i
)[ = 0. A-t-on forcment que f est constante
sur [0, 1] ? (justier la rponse.)
Exercice 25 (Valeurs propres du Laplacien discret 1D) Suggestions en page
60, corrig dtaill en page 80.
Soit f C([0, 1]). Soit N IN

, N impair. On pose h = 1/(N + 1). Soit A la

matrice dnie par (1.4.22) page 26, issue dune discrtisation par diffrences
nies (vue en cours) du problme (1.4.19) page 25. Montrer que A est symtrique
dnie positive. Calculer les valeurs propres et les vecteurs propres de A [on
pourra commencer par chercher IR et C
2
(IR, IR) ( non identiquement
nulle) t.q.

(x) = (x) pour tout x ]0, 1[ et (0) = (1) = 0]. Calculer

cond
2
(A) et montrer que h
2
cond
2
(A)
4

2
lorsque h 0.
Exercice 26 (Conditionnement ecace".) Suggestions en page 60, cor-
rig en page 82.
Soit f C([0, 1]). Soit N IN

, N impair. On pose h = 1/(N + 1). Soit A la

matrice dnie par (1.4.22) page 26, issue dune discrtisation par diffrences
nies (vue en cours) du problme (1.4.19) page 25.
Pour u IR
N
, on note u
1
, . . . , u
N
les composantes de u. Pour u IR
N
, on
dit que u 0 si u
i
0 pour tout i 1, . . . , N. Pour u, v IR
N
, on note
u v =

N
i=1
u
i
v
i
.
49
On munit IR
N
de la norme suivante : pour u IR
N
, |u| = max[u
i
[, i
1, . . . , N. On munit alors /
N
(IR) de la norme induite, galement note | |,
cest--dire |B| = max|Bu|, u IR
N
t.q. |u| = 1, pour tout B /
N
(IR).
Partie I Conditionnement de la matrice et borne sur lerreur relative
1. (Existence et positivit de A
1
) Soient b IR
N
et u IR
N
t.q. Au = b.
Remarquer que Au = b peut scrire :
_
1
h
2
(u
i
u
i1
) +
1
h
2
(u
i
u
i+1
) = b
i
, i 1, . . . , N,
u
0
= u
N+1
= 0.
(1.6.51)
Montrer que b 0 u 0. [On pourra considrer p 0, . . . , N +1 t.q.
u
p
= minu
j
, j 0, . . . , N + 1.]
En dduire que A est inversible.
2. (Prliminaire. . . ) On considre la fonction C([0, 1], IR) dnie par
(x) = (1/2)x(1 x) pour tout x [0, 1]. On dnit alors IR
N
par

i
= (ih) pour tout i 1, . . . , N. Montrer que (A)
i
= 1 pour tout
i 1, . . . , N.
3. (calcul de |A
1
|) Soient b IR
N
et u IR
N
t.q. Au = b. Montrer que
|u| (1/8)|b| [Calculer A(u |b|) avec dni la question 2 et
utiliser la question 1]. En dduire que |A
1
| 1/8 puis montrer que
|A
1
| = 1/8.
4. (calcul de |A|) Montrer que |A| =
4
h
2
.
5. (Conditionnement pour la norme | |). Calculer |A
1
||A|. Soient b,
b

IR
N
. Soient u,
u
IR
N
t.q. Au = b et A(u +
u
) = b +
b
. Montrer que
|
u
|
|u|
|A
1
||A|
|
b
|
|b|
.
Montrer quun choix convenable de b et
b
donne lgalit dans lingalit
prcdente.
Partie II Borne raliste sur lerreur relative : Conditionnement ecace"
On se donne maintenant f C([0, 1], IR) et on suppose (pour simplier. . . ) que
f(x) > 0 pour tout x ]0, 1[. On prend alors, dans cette partie, b
i
= f(ih) pour
tout i 1, . . . , N. On considre aussi le vecteur dni la question 2 de la
partie I.
1. Montrer que
h
N

i=1
b
i

i

_
1
0
f(x)(x)dx quand N
et que
N

i=1
b
i

i
> 0 pour tout N IN .
En dduire quil existe > 0, ne dpendant que de f, t.q. h

N
i=1
b
i

i

pour tout N IN

.
50
2. Soit u IR
N
t.q. Au = b. Montrer que N|u|

N
i=1
u
i
= u A

h
(avec donn la question 1).
Soit
b
IR
N
et
u
IR
N
t.q. A(u +
u
) = b +
b
. Montrer que
|
u
|
|u|

|f|
L

(]0,1[)
8
|
b
|
|b|
.
3. Comparer |A
1
||A| (question I.5) et
|f|
L

(]0,1[)
8
(question II.2) quand
N est grand" (ou quand N ).
Exercice 27 (Conditionnement, raction diusion 1d.) Corrig en page
84.
On sintresse au conditionnement pour la norme euclidienne de la matrice issue
dune discrtisation par Diffrences Finies du problme aux limites suivant :
u

(x) +u(x) = f(x), x ]0, 1[,

u(0) = u(1) = 0.
(1.6.52)
Soit N IN

. On note U = (u
j
)
j=1...N
une valeur approche de la solution u
du problme (1.6.52) aux points
_
j
N+1
_
j=1...N
. On rappelle que la discrtisation
par diffrences nies de ce problme consiste chercher U comme solution du
systme linaire AU =
_
f(
j
N+1
)
_
j=1...N
o la matrice A M
N
(IR) est dnie
par A = (N + 1)
2
B +Id, Id dsigne la matrice identit et
B =
_
_
_
_
_
_
_
_
_
2 1 0 . . . 0
1 2 1
.
.
.
.
.
.
0
.
.
.
.
.
.
.
.
. 0
.
.
.
.
.
. 1 2 1
0 . . . 0 1 2
_
_
_
_
_
_
_
_
_
1. (Valeurs propres de la matrice B.)
On rappelle que le problme aux valeurs propres
u

(x) = u(x), x ]0, 1[,

u(0) = u(1) = 0.
(1.6.53)
admet la famille (
k
, u
k
)
kIN
,
k
= (k)
2
et u
k
(x) = sin(kx) comme
solution. Montrer que les vecteurs U
k
=
_
u
k
(
j
N+1
)
_
j=1...N
sont des vec-
teurs propres de la matrice B. En dduire toutes les valeurs propres de la
matrice B.
2. En dduire les valeurs propres de la matrice A.
3. En dduire le conditionnement pour la norme euclidienne de la matrice A.
51
Exercice 28 (Mthode itrative du gradient pas xe") Suggestions en
page 61, corrig dtaill en page 84
Soit A /
N
(IR) une matrice symtrique dnie positive et b IR
N
. Soit
IR. Pour trouver la solution de Ax = b, on considre la mthode itrative
suivante :
Initialisation : x
(0)
IR
N
,
Iterations : x
(n+1)
= x
(n)
+(b Ax
(n)
).
1. Pour quelles valeurs de (en fonction des valeurs propres de A) la mthode
est-elle convergente ?
2. Calculer
0
(en fonction des valeurs propres de A) t.q. (Id
0
A) =
min(Id A), IR.
Exercice 29 (Mthodes de Jacobi et GaussSeidel (I)) Suggestions en page
61, corrig en page 85
Soit IR et soit A /
4
(IR) la matrice dnie par
A =
_
_
_
_
1 0 1
1 1 0
0 1 1
1 0 1
_
_
_
_
1. Dterminer les valeurs propres de A.
2. Pour quelles valeurs de la matrice A est-elle symtrique dnie positive ?
3. On suppose ici que ,= 0. Soit b = (b
1
, b
2
, b
3
, b
4
)
t
IR
4
donn. On
considre la mthode de Jacobi pour la rsolution du systme Ax = b.
Soit (x
(n)
)
nIN
la suite de vecteurs donns par lalgorithme. On note x
(n)
i
pour i = 1, . . . , 4 les composantes de x
(n)
. Donner lexpression de x
(n+1)
i
,
i = 1, . . . , 4, en fonction de x
(n)
i
et b
(n)
i
, i = 1, . . . , 4. Pour quelles valeurs
de la mthode de Jacobi converge-t-elle ?
4. On suppose maintenant que A est symtrique dnie positive. Reprendre
la question prcdente pour la mthode de Gauss-Seidel.
Exercice 30 (Non convergence de la mthode de Jacobi) Suggestions en
page 61 et corrig en page 87
Soit a IR et
A =
_
_
1 a a
a 1 a
a a 1
_
_
Montrer que A est symtrique dnie positive si et seulement si 1/2 < a < 1
et que la mthode de Jacobi converge si et seulement si 1/2 < a < 1/2.
Exercice 31 (Jacobi pour les matrices diagonale dominante stricte)
Suggestions en page 61, corrig en page 88
Soit A = (a
i,j
)
i,j=1,...,N
/
N
(IR) une matrice diagonale dominante stricte
(cest--dire [a
i,i
[ >

j=i
[a
i,j
[ pour tout i = 1, . . . , N). Montrer que A est
inversible et que la mthode de Jacobi (pour calculer la solution de Ax = b)
converge.
52
Exercice 32 (Jacobi pour les matrices diagonale dominante forte) Cor-
rig en page 89
1. Soit f C([0, 1]), a et b sont des rels donns ; on considre le systme
linaire Ax = b issu de la discrtisation par dirences nies de pas uni-
forme gal h =
1
N+1
du problme suivant :
_
u

(x) +u(x) = f(x), x [0, 1],

u(0) = 0, u(1) = 1,
(1.6.54)
o 0.
(a) Donner lexpression de A et b.
(b) Montrer que la mthode de Jacobi applique la rsolution de ce
systme converge (distinguer les cas > 0 et = 0).
2. On considre maintenant une matrice A /
N
(IR) inversible quelconque.
(a) Montrer que si A est symtrique dnie positive alors tous ses coe-
cients diagonaux sont strictement positifs. En dduire que la mthode
de Jacobi est bien dnie.
(b) On suppose maintenant que la matrice diagonale extraite de A, note
D, est inversible. On suppose de plus que
i = 1, . . . , N, [a
i,i
[

j=i
[a
i,j
[ et i
0
; [a
i0,i0
[ >

j=i0
[a
i,j
[.
(On dit que la matrice est diagonale fortement dominante). Soit J
la matrice ditration de la mthode de Jacobi.
i. Montrer que (J) 1.
ii. Montrer que si Jx = x avec [[ = 1, alors x
i
= |x|, i =
1, . . . , N. En dduire que x = 0 et que la mthode de Jacobi
converge.
iii. Retrouver ainsi le rsultat de la question 1(b).
Exercice 33 (Diagonalisation dans IR )
Corrig en page 90
Soit E un espace vectoriel rel de dimension N IN muni dun produit scalaire,
not (, ). Soient T et S deux applications linaires symtriques de E dans E
(T symtrique signie (Tx, y) = (x, Ty) pour tous x, y E). On suppose que
T est dnie positive" (cest--dire (Tx, x) > 0 pour tout x E 0).
1. Montrer que T est inversible. Pour x, y E, on pose (x, y)
T
= (Tx, y).
Montrer que lapplication (x, y) (x, y)
T
dnit un nouveau produit
scalaire sur E.
2. Montrer que T
1
S est symtrique pour le produit scalaire dni la
question prcdente. En dduire, avec le lemme 1.11 page 9, quil existe
une base de E, note f
1
, . . . , f
N
, et il existe
1
, . . . ,
N
IR t.q.
T
1
Sf
i
=
i
f
i
pour tout i 1, . . . , N et t.q. (Tf
i
/f
j
) =
i,j
pour tout
i, j 1, . . . , N.
53
Exercice 34 (Mthode de Jacobi et relaxation) Suggestions en page
61, corrig en page 91
Soit N 1. Soit A = (a
i,j
)
i,j=1,...,N
/
N
(IR) une matrice symtrique. On
note D la partie diagonale de A, E la partie triangulaire infrieure de A et
F la partie triangulaire suprieure de A, cest--dire :
D = (d
i,j
)
i,j=1,...,N
, d
i,j
= 0 si i ,= j, d
i,i
= a
i,i
,
E = (e
i,j
)
i,j=1,...,N
, e
i,j
= 0 si i j, e
i,j
= a
i,j
si i > j,
F = (f
i,j
)
i,j=1,...,N
, f
i,j
= 0 si i j, f
i,j
= a
i,j
si i < j.
Noter que A = D E F. Soit b IR
N
. On cherche calculer x IR
N
t.q.
Ax = b. On suppose que D est dnie positive (noter que A nest pas forcment
inversible). On sintresse ici la mthode de Jacobi (par points), cestdire
la mthode itrative suivante :
Initialisation. x
(0)
IR
N
Itrations. Pour n IN, Dx
(n+1)
= (E +F)x
(n)
+b.
On pose J = D
1
(E +F).
1. Montrer, en donnant un exemple avec N = 2, que J peut ne pas tre
symtrique.
2. Montrer que J est diagonalisable dans IR et, plus prcisement, quil existe
une base de IR
N
, note f
1
, . . . , f
N
, et il existe
1
, . . . ,
N
IR t.q.
Jf
i
=
i
f
i
pour tout i 1, . . . , N et t.q. Df
i
f
j
=
i,j
pour tout i,
j 1, . . . , N.
En ordonnant les valeurs propres de J, on a donc
1
. . .
N
, on
conserve cette notation dans la suite.
3. Montrer que la trace de J est nulle et en dduire que
1
0 et
N
0.
On suppose maintenant que A et 2DAsont symtriques dnies positives
et on pose x = A
1
b.
4. Montrer que la mthode de Jacobi (par points) converge (cest--dire x
(n)

x quand n ). [Utiliser un thorme du cours.]

On se propose maintenant damliorer la convergence de la mthode par
une technique de relaxation. Soit > 0, on considre la mthode suivante :
Initialisation. x
(0)
IR
N
Itrations. Pour n IN, D x
(n+1)
= (E +F)x
(n)
+b, x
(n+1)
= x
(n+1)
+
(1 )x
(n)
.
5. Calculer les matrices M

(inversible) et N

telles que M

x
(n+1)
= N

x
(n)
+
b pour tout n IN, en fonction de , D et A. On note, dans la suite
J

= (M

)
1
N

.
6. On suppose dans cette question que (2/)D A est symtrique dnie
positive. Montrer que la mthode converge (cest--dire que x
(n)
x
quand n .)
7. Montrer que (2/)DA est symtrique dnie positive si et seulement si
< 2/(1
1
).
54
8. Calculer les valeurs propres de J

en fonction de celles de J. En dduire,

en fonction des
i
, la valeur optimale" de , cest--dire la valeur de
minimisant le rayon spectral de J

.
Exercice 35 (Mthodes de Jacobi et Gauss-Seidel (II)) Corrig en page
94
Soit A = (a
i,j
)
i,j=1,...,N
M
N
(IR) une matrice carre dordre N tridiagonale,
cest--dire telle que a
i,j
= 0 si [i j[ > 1, et telle que la matrice diagonale
D = diag(a
i,i
)
i=1,...,N
soit inversible. On note A = D E F o E (resp.
F) est la partie triangulaire infrieure (resp. suprieure) de A, et on note J et
G les matrices ditration des mthodes de Jacobi et Gauss-Seidel associes la
matrice A.
1.a. Pour Cl , ,= 0 et x Cl
N
, on note
x

= (x
1
, x
2
, . . . ,
k1
x
k
,
N1
x
N
)
t
.
Montrer que si est valeur propre de J associe au vecteur propre x, alors x

vrie (E +
1

F)x

= Dx

. En dduire que si ,= 0 est valeur propre de J

alors
2
est valeur propre de G.
1.b Montrer que si
2
est valeur propre non nulle de G, alors est valeur propre
de J .
2. Montrer que (G) = (J)
2
. En dduire que lorsquelle converge, la mthode
de Gauss-Seidel pour la rsolution du systme Ax = b converge plus rapidement
que la mthode de Jacobi.
3. Soit L

la matrice ditration de la mthode SOR associe A. Montrer que

est valeur propre de J si et seulement si

est valeur propre de L

, o

=
2

et

vrie
2

+ 1 = 0.
En dduire que
(L

) = max
valeur propre de J
[

[;
2

+ 1 = 0.
Exercice 36 (Mthode de Jacobi pour des matrices particulires) Sug-
gestions en page 62, corrig en page 96
On note M
N
(IR) lensemble des matrices carres dordre N coecients rels,
et Id la matrice identit dans M
N
(IR). Soit A = [a
i,j
]
i,j=1,...,N
M
N
(IR). On
suppose que :
a
i,j
0, i, j = 1, . . . , N, i ,= j, (1.6.55)
a
i,i
> 0, i = 1, . . . , N. (1.6.56)
N

i=1
a
i,j
= 0, j = 1, . . . , N. (1.6.57)
Soit IR

+
.
55
1. Pour x IR
N
, on dnit
|x|
A
=
N

i=1
a
i,i
[x
i
[.
Montrer que | |
A
est une norme sur IR
N
.
2. Montrer que la matrice Id +A est inversible.
3. On considre le systme linaire suivant :
(Id +A)u = b (1.6.58)
Montrer que la mthode de Jacobi pour la recherche de la solution de ce
systme dnit une suite (u
(k)
)
kN
IR
N
.
4. Montrer que la suite (u
(k)
)
kN
vrie :
|u
(k+1)
u
(k)
|
A
(
1
1 +
)
k
|u
(1)
u
(0)
|
A
,
o = min
i=1,...,N
a
i,i
.
5. Montrer que la suite (u
(k)
)
kN
est de Cauchy, et en dduire quelle converge
vers la solution du systme (1.6.58).
Exercice 37 (Une mthode itrative particulire) Suggestions en page
62, corrig en page 97
Soit A M
3
(IR) dnie par A = Id E F avec
E =
_
_
0 2 0
1 0 0
0 0 0
_
_
, et F =
_
_
0 0 0
0 0 0
1 1 0
_
_
.
1. Montrer que A est inversible.
2. Soit 0 < < 2. Montrer que pour (
1

IdE) est inversible si et seulement

si ,=

2/2.
Pour 0 < < 2, ,=

2/2, on considre la mthode itrative (pour

trouver la solution de Ax = b) suivante :
(
1

Id E)x
n+1
= (F +
1

Id)x
n
+b.
Il sagit donc de la mthode I" du cours avec B = L

= (
1

IdE)
1
(F +
1

Id).
3. Calculer, en fonction de , les valeurs propres de L

et son rayon spectral.

4. Pour quelles valeurs de la mthode est-elle convergente ? Dterminer

0
]0, 2[ t.q. (L
0
) = min(L

), ]0, 2[, ,=

2/2.
Exercice 38 (Mthode des directions alternes)
Corrig partiel en page 98
56
Soit N IN et N 1, Soit A /
N
(IR) une matrice carre dordre N sym-
trique inversible et b IR
N
.
On cherche calculer u IR
N
, solution du systme linaire suivant :
Au = b, (1.6.59)
On suppose connues des matrices X et Y /
N
(IR), symtriques. Soit IR

+
,
choisi tel que X + Id et Y + Id soient dnies positives (o Id dsigne la
matrice identit dordre N) et X +Y +Id = A.
Soit u
(0)
IR
N
, on propose, pour rsoudre (1.6.59), la mthode itrative sui-
vante :
_
(X +Id)u
(k+1/2)
= Y u
(k)
+b,
(Y +Id)u
(k+1)
= Xu
(k+1/2)
+b.
(1.6.60)
1. Montrer que la mthode itrative (1.6.60) dnit bien une suite (u
(k)
)
kIN
et que cette suite converge vers la solution u de (1.1.1) si et seulement si

_
(Y +Id)
1
X(X +Id)
1
Y
_
< 1.
(On rappelle que pour toute matrice carre dordre N, (M) dsigne le
rayon spectral de la matrice M.)
2. Montrer que si les matrices (X+

2
Id) et (Y +

2
Id) sont dnies positives
alors la mthode (1.6.60) converge. On pourra pour cela (mais ce nest pas
obligatoire) suivre la dmarche suivante :
(a) Montrer que

_
(Y +Id)
1
X(X +Id)
1
Y
_
=
_
X(X +Id)
1
Y (Y +Id)
1
_
.
(On pourra utiliser lexercice 6 page 41).
(b) Montrer que

_
X(X+Id)
1
Y (Y +Id)
1
_

_
X(X+Id)
1
_

_
Y (Y +Id)
1
_
.
(c) Montrer que
_
X(X + Id)
1
_
< 1 si et seulement si la matrice
(X +

2
Id) est dnie positive.
(d) Conclure.
3. Soit f C([0, 1] [0, 1]) et soit A la matrice carre dordre N = M M
obtenue par discrtisation de lquation u = f sur le carr [0, 1] [0, 1]
avec conditions aux limites de Dirichlet homognes u = 0 sur , par
dirences nies avec un maillage uniforme de pas h =
1
M
, et b le second
membre associ.
(a) Donner lexpression de A et b.
(b) Proposer des choix de X, Y et pour lesquelles la mthode itrative
(1.6.60) converge dans ce cas et qui justient lappellation mthode
des directions alternes" qui lui est donne.
Exercice 39 (Mthode de la puissance) Suggestions en page 62, corrig en
page 100
57
1. Soit A /
N
(IR) une matrice symtrique. Soit
N
IR valeur propre de
A t.q. [
N
[ = (A) et soit x
(0)
IR
N
. On suppose que
N
nest pas une
valeur propre de A et que x
(0)
nest pas orthogonal Ker(A
N
Id). On
dnit la suite (x
(n)
)
nIN
par x
(n+1)
= Ax
(n)
pour n IN. Montrer que
(a)
x
(n)
(N)
n
x, quand n , avec x ,= 0 et Ax =
N
x.
(b)
x
(n+1)

x
(n)

(A) quand n .
Cette mthode de calcul sappelle mthode de la puissance".
2. Soit A /
N
(IR) une matrice inversible et b IR
N
. Pour calculer x t.q.
Ax = b, on considre la mthode itrative appele mthode I" en cours,
et on suppose B symtrique. Montrer que, sauf cas particuliers prciser,
(a)
x
(n+1)
x
x
(n)
x
(B) quand n (ceci donne une estimation de la
vitesse de convergence).
(b)
x
(n+1)
x
(n)

x
(n)
x
(n1)

(B) quand n (ceci permet destimer (B) au

cours des itrations).
Exercice 40 (Mthode de la puissance inverse)
Suggestions en page 62, corrig en page 101
Soient A /
N
(IR) une matrice symtrique et
1
, . . . ,
p
(p N) les valeurs
propres de A. Soit i 1, . . . , p, on cherche calculer
i
. Soit x
(0)
IR
N
. On
suppose que x
(0)
nest pas orthogonal Ker(A
i
Id). On suppose galement
connatre IR t.q. 0 < [
i
[ < [
j
[ pour tout j ,= i. On dnit la suite
(x
(n)
)
nIN
par (A Id)x
(n+1)
= x
(n)
pour n IN. Montrer que
1. x
(n)
(
i
)
n
x, quand n , avec x ,= 0 et Ax =
i
x.
2.
x
(n+1)

x
(n)

1
|i|
quand n .
58
1.7 Suggestions pour les exercices du chapitre 1
Exercice 1 page 40 (Matrices symtriques dnies positives)
3. Utiliser la diagonalisation sur les oprateurs linaires associs.
Exercice 3 page 40 (Normes induites particulires)
1. Pour montrer lgalit, prendre x tel que x
j
= sign(a
i0,j
) o i
0
est tel que

j=1,...,N
[a
i0,j
[

j=1,...,N
[a
i,j
[, i = 1, . . . , N, et sign(s) dsigne le signe de
s.
2. Pour montrer lgalit, prendre x tel que x
j0
= 1 et x
j
= 0 si j ,= j
0
, o j
0
est tel que

i=1,...,N
[a
i,j0
[ = max
j==1,...,N

i=1,...,N
[a
i,j
[.
3. Utiliser le fait que A
t
A est une matrice symtrique positive pour montrer
lingalit, et pour lgalit, prendre pour x le vecteur propre associ la plus
grande valeur propre de A.
Exercice 5 page 41 (Rayon spectral)
1. Pour le sens direct, utiliser la proposition 1.6 page 7 du cours.
2. On rappelle que limsup
k+
u
k
= lim
k+
sup
nk
u
n
, et liminf
k+
u
k
=
lim
k+
inf
nk
u
n
. Utiliser la question 1.
3. Utiliser le fait que liminf
k+
u
k
est une valeur dadhrence de la suite
(u
k
)
kIN
(donc quil existe une suite extraite (u
kn
)
nIN
telle que uu
kn
liminf
k+
u
k
lorsque k +.
4. Raisonner avec
1

A o IR
+
est tel que (A) < et utiliser la question 2
pour dduire que
limsup
k+
|A
k
|
1
k
(A).
Raisonner ensuite avec
1

A o IR
+
est tel que liminf
k+
|A
k
|
1
k
< et
utiliser la question 3.
Exercice 9 page 42 (Srie de Neumann)
1. Montrer que si (A) < 1, alors 0 nest pas valeur propre de Id +A et Id A.
2. Utiliser le rsultat de la question 1 de lexercice 5.
Exercice 18 page 46 (Proprits gnrales du conditionnement)
1. On rappelle que si A a comme valeurs propres
1
, . . . ,
N
, alors A
1
a comme
valeurs propres
1
1
, . . . ,
1
N
et A
t
a comme valeurs propres
1
, . . . ,
N
.
2. Utiliser le fait que AA
t
est diagonalisable.
59
5. Soient 0 <
1

2
. . .
N
et 0 <
1

2
. . .
N
les valeurs propres de
A et B (qui sont s.d.p.). Montrer dabord que :
cond
2
(A +B)

N
+
N

1
+
1
.
Montrer ensuite que
a +b
c +d
max(
a
c
,
b
d
), (a, b, c, d) (IR

+
)
4
.
et conclure
Exercice 16 page 46
2. Soit q le nombre de sur- ou sous-diagonales (p = 2q +1). Compter le nombre
c
q
doprations ncessaires pour le calcul des colonnes 1 q et N q + 1 N,
puis le nombre d
n
doprations ncessaires pour le calcul des colonnes n = q +1
N q. En dduire lestimation sur le nombre doprations ncessaires pour le
calcul de toutes les colonnes, Z
p
(N), par :
2c
q
Z
p
(N)2c
q
+
Nq

n=q+1
c
n
.
Exercice 25 page 49 (Valeurs propres et vecteurs propres de A.)
Chercher les vecteurs propres IR
N
de A sous la forme
j
= (x
j
), j =
1, . . . , N o est introduite dans les indications de lnonc. Montrer que les
valeurs propres associes ces vecteurs propres sont de la forme :
k
=
2
h
2
(1
cos kh) =
2
h
2
(1 cos
k
N + 1
).
Exercice 26 page 49 (Conditionnement ecace)
Partie 1
1. Pour montrer que A est inversible, utiliser le thorme du rang.
2. Utiliser le fait que est un polynme de degr 2.
3. Pour montrer que |A
1
| =
1
8
, remarquer que le maximum de est atteint
en x = .5, qui correspond un point de discrtisation car N est impair.
Partie 2 Conditionnement ecace
1. Utiliser la convergence uniforme. 2. Utiliser le fait que A = (1 . . . 1)
t
.
60
Exercice 28 page 52 (Mthode itrative du gradient pas xe".)
1. Calculer le rayon spectral (B) de la matrice ditration B = IdA. Calculer
les valeurs de pour lesquelles (B) < 1 et en dduire que la mthode itrative
du gradient pas xeconverge si 0 < <
2
(A)
.
2. Remarquer que (Id A) = max([1
1
[, [1
N
1[, o
1
, . . . ,
N
sont les valeurs propres de A ordonnes dans le sens croissant. En traant les
graphes des valeurs prises par [1
1
[ et [1
N
1[ en fonction de , en
dduire que le min est atteint pour =
2
1+N
.
Exercice 29 page 52 (Mthodes de Jacobi et Gauss-Seidel (I))
1. On peut trouver les trois valeurs propres (dont une double) sans calcul en
remarquant que pour = 0 il y a 2 fois 2 lignes identiques, que la somme des
colonnes est un vecteur constant et par le calcul de la trace.
2. Une matrice A est symtrique dnie positive si et seulement si elle est dia-
gonalisable et toutes ses valeurs propres sont strictement positives.
3. Appliquer le cours.
Exercice 30 page 52 (Non convergence de la mthode de Jacobi)
Considrer dabord le cas a = 0.
Si a ,= 0, pour chercher les valeurs de a pour lesquelles A est symtrique dnie
positive, calculer les valeurs propres de A en cherchant les racines du polynme
caractristique. Introduire la variable telle que a = 1 .
Pour chercher les valeurs de a pour lesquelles la mthode de Jacobi converge,
calculer les valeurs propres de la matrice ditration J dnie en cours.
Exercice 31 page 52 (Jacobi pour les matrices diagonale dominante.)
Pour montrer que A est inversible, montrer que Ax = 0 si et seulement si x = 0.
Pour montrer que la mthode de Jacobi converge, montrer que toutes les valeurs
propres de la matrice A sont strictement infrieures 1 en valeur absolue.
Exercice 34 page 54 (Mthode de Jacobi et relaxation.)
1. Prendre pour A une matrice (2,2) symtrique dont les lments diagonaux
sont dirents lun de lautre.
2. Appliquer lexercice 33 page 53 en prenant pour T lapplication linaire dont
la matrice est D et pour S lapplication linaire dont la matrice est E +F.
4. Remarquer que (J) = max(
1
,
N
), et montrer que :
si
1
1, alors 2DA nest pas dnie positive,
si
N
1, alors A nest pas dnie positive.
6. Reprendre le mme raisonnement qu la question 2 4 avec les matrices M

et N

au lieu de D et E +F.
7. Chercher une condition qui donne que toutes les valeurs propres sont stricte-
ment positives en utilisant la base de vecteurs propres ad hoc. (Utiliser la base
de IR
N
, note f
1
, . . . , f
N
, trouve la question 2.)
8. Remarquer que les f
i
de la question 2 sont aussi vecteurs propres de J

et en
dduire que les valeurs propres
()
i
de J

sont de la forme
()
i
= (
i
11/).
Pour trouver le paramtre optimal
0
, tracer les graphes des fonctions de IR
+
61
dans IR dnies par [
()
1
[ et [
()
N
[, et en conclure que le minimum
de max([
()
1
[, [
()
N
[) est atteint pour =
2
21N
.
Exercice 36 page 55 (Mthode de Jacobi et relaxation.)
2. Utiliser lexercice 11 page 42
Exercice 37 page 56 (Convergence de SOR.)
1. Calculer le dterminant de A.
2. Calculer le dterminant de
I
d
E.
3. Remarquer que les valeurs propres de L

annulent det(
1

Id+F(
I
d
E)).
Aprs calcul de ce dterminant, on trouve
1
= 1,
2
=
1
1+

2
,
3
=
1
1

2
.
Montrer que si <

2, (L

) = [
3
[ et que (L

) = [
1
[ si

2.
4. Utiliser lexpression des valeurs propres pour montrer que la mthode converge
si >
2
1+

2
et que le paramtre de relaxation optimal est
0
= 1.
Exercice 39 page 57 (Mthode de la puissance pour calculer le rayon
spectral de A.)
1. Dcomposer x
0
sur une base de vecteurs propres orthonorme de A, et utiliser
le fait que
N
nest pas valeur propre.
2. a/ Raisonner avec y
(n)
= x
(n)
x o x est la solution de Ax = b et appliquer
la question 1.
b/ Raisonner avec y
(n)
= x
(n+1)
x
(n)
.
Exercice 40 page 58 (Mthode de la puissance inverse)
Appliquer lexercice prcdent la matrice B = (A Id)
1
.
1.8 Corrigs des exercices du chapitre 1
Exercice 1 page 40 (Matrices symtriques dnies positives)
1. Supposons quil existe un lment diagonal a
i,i
ngatif. Alors Ae
i
e
i
0 ce
qui contredit le fait que A est dnie positive.
2. Soit x IR
N
, dcomposons x sur la base orthonorme (f
i
)
i=1,N
: x =

N
i=1
x
i
f
i
. On a donc :
Ax x =
N

i=1

i
x
2
i
. (1.8.61)
Montrons dabord que si les valeurs propres sont strictement positives alors A
est dnie positive :
Supposons que
i
0, i = 1, . . . , N. Alors pour x IR
N
, daprs (1.8.61),
Ax x 0 et la matrice A est positive.
Supposons maintenant que
i
0, i = 1, . . . , N. Alors pour x IR
N
, toujours
daprs (1.8.61), (Ax x = 0) (x = 0), et et la matrice A est donc bien dnie.
Montrons maintenant la rciproque :
62
Si A est positive, alors Af
i
f
i
0, i = 1, . . . , N et donc
i
0, i = 1, . . . , N.
Si A est dnie, alors (Af
i
f
i
= 0) ( = 0), i = 1, . . . , N et donc
i
> 0,
i = 1, . . . , N.
3. Comme A est s.d.p., toutes ses valeurs propres sont strictement posi-
tives, et on peut donc dnir lapplication linaire S dans la base orthonorme
(f
i
)
i=1,N
par : S(f
i
) =

i
f
i
, i = 1, . . . , N. On a videmment S S = T, et
donc si on dsigne par B la matrice reprsentative de lapplication S dans la
base canonique, on a bien B
2
= A.
Exercice 2 page 40 (Normes de lidentit)
Si |.| est une norme induite, alors par dnition, |Id| = sup
xIR
N
,x
|Idx| =
1.
Si maintenant |.| nest quune norme matricielle, comme |Id| = |IdId|
|Id||Id|, et que |Id| ,= 0, on a bien le rsultat demand.
Exercice 3 page 40 (Normes induites particulires)
1. Par dnition, |A|

= sup
xIR
N
,x=1
|Ax|

, et
|Ax|

= max
i=1,...,N
[

j=1,...,N
a
i,j
x
j
[ max
i=1,...,N
[

j=1,...,N
[a
i,j
[[x
j
[.
Or |x|

= 1 donc [x
j
[ 1 et
|Ax|

max
i=1,...,N
[

j=1,...,N
[a
i,j
[.
Posons maintenant = max
i=1,...,N
[

j=1,...,N
[a
i,j
[ et montrons quil existe
x IR
N
, |x|

= 1, tel que |Ax|

= . Pour s IR, on note sign(s) le signe

de s, cestdire sign(s) = s/[s[ si s ,= 0 et sign(0) = 0. Choisissons x IR
N
dni par x
j
= sign(a
i0,j
) o i
0
est tel que

j=1,...,N
[a
i0,j
[

j=1,...,N
[a
i,j
[,
i = 1, . . . , N. On a bien |x|

= 1, et
|Ax|

= max
i=1,...,N
[
N

j=1
a
i,j
sgn(a
i0,j
)[.
Or, par choix de x, on a

j=1,...,N
[a
i0,j
[ = max
i=1,...,N

j=1,...,N
[a
i,j
[. On en
dduit que pour ce choix de x, on a bien |Ax| = max
i=1,...,N
[

j=1,...,N
[a
i,j
[.
2. Par dnition, |A|
1
= sup
xIR
N
,x1=1
|Ax|
1
, et
|Ax|
1
=

i=1,...,N
[

j=1,...,N
a
i,j
x
j
[

j=1,...,N
[x
j
_
_
[

i=1,...,N
[a
i,j
[
_
_
max
j=1,...,N
[

i=1,...,N
[a
i,j
[

j=1,...,N
[x
j
[.
Et comme

j=1,...,N
[x
j
[ = 1, on a bien que |A|
1
max
j=1,...,N

i=1,...,N
[a
i,j
[.
Montrons maintenant quil existe x IR
N
, |x|
1
= 1, tel que |Ax|
1
=

i=1,...,N
[a
i,j
[.
Il sut de considrer pour cela le vecteur x IR
N
dni par x
j0
= 1 et x
j
= 0
63
si j ,= j
0
, o j
0
est tel que

i=1,...,N
[a
i,j0
[ = max
j=1,...,N

i=1,...,N
[a
i,j
[. On
vrie alors facilement quon a bien |Ax|
1
= max
j=1,...,N

i=1,...,N
[a
i,j
[.
3. Par dnition de la norme 2, on a :
|A|
2
2
= sup
xIR
N
,x2=1
Ax Ax = sup
xIR
N
,x2=1
A
t
Ax x.
Comme A
t
A est une matrice symtrique positive (car A
t
Ax x = Ax Ax 0),
il existe une base orthonorme (f
i
)
i=1,...,N
et des valeurs propres (
i
)
i=1,...,N
,
avec 0
1

2
. . .
N
tels que Af
i
=
i
f
i
pour tout i 1, . . . , N. Soit
x =

i=1,...,N

i
f
i
IR
N
. On a donc :
A
t
Ax x =
_

i=1,...,N

i
f
i
_

_

i=1,...,N

i
f
i
_
=

i=1,...,N

2
i

i

N
|x|
2
2
.
On en dduit que |A|
2
2
(A
t
A).
Pour montrer quon a galit, il sut de considrer le vecteur x = f
N
; on a en
eet |f
N
|
2
= 1, et |Af
N
|
2
2
= A
t
Af
N
f
N
=
N
= (A
t
A).
Exercice 4 page 40 (Norme non induite)
1. On a |Id|
s
=

N et donc par lexercice 2 page 40, la norme |.|

s
ne peut pas
tre une norme induite si N > 1. Montrons que la norme |.|
s
est matricielle.
Soient A = (a
i,j
)
i=1,N,j=1,N
et B = (b
i,j
)
i=1,N,j=1,N
, et C = AB. Alors |C|
2
s
=

N
i=1

N
j=1
_
N
k=1
a
i,k
b
k,j
_
2
.
Or si (u
k
)
k=1,N
et si (v
k
)
k=1,N
IR
N
, alors (ingalit de Cauchy-Schwarz) :
_
N

k=1
u
k
v
k
_
2

k=1
u
2
k
N

k=1
v
2
k
.
On a donc |C|
2
s

N
i=1

N
k=1
a
2
i,k

N
j=1

N
k=1
b
2
k,j
, et donc |C|
2
s
|A|
2
s
|B|
2
s
.
2. On obtient facilement que : Tr(A
t
A) =

N
i=1

N
k=1
a
2
k,i
= |A|
2
s
.
On a vu lexercice 3 page 40 que |A|
2
2
= (A
t
A) =
N
o
N
est la plus
grande valeur propre de A
t
A. Or la trace dune matrice diagonalisable est aussi
la somme de ses valeurs propres. On a donc |A|
2
2

N
i=1

i
= Tr(A
t
A). On en
conclut que
|A|
2
|A|
s
. (1.8.62)
De plus, |A|
2
s
= Tr(A
t
A) N(A
t
A). Donc |A|
s

N|A|
2
.
Enn, comme |Ax|
2
|A|
2
|x|
2
, on dduit de (1.8.62) que |Ax|
2
|A|
s
|x|
2
.
3. Soit |.| une norme induite, on a donc |Id| = 1 par le rsultat de lexercice
2 page 40 ; alors pour N > 1, la norme ^ denie par ^(A) =
1
N
|A| vrie
^(Id) =
1
N
< 1, ce qui prouve, toujours par lexercice 2 page 40, quelle nest
pas une norme matricielle.
64
Exercice 6 page 41 (valeurs propres nulles dun produit de matrices)
1. Soit ,= 0 valeur propre de AB, alors il existe v IR
n
, v ,= 0, ABv =
v. En multipliant gauche par B (ce quon peut faire car ABv IR
n
,
v IR
n
) on obtient que BABv = Bv, et on a donc BAw = w avec
w = Bv ; de plus, w ,= 0 car si w = Bv = 0 alors = 0 ce qui contredit
lhypothse.
Le raisonnement est identique pour BA.
2. Supposons que = 0 est valeur propre de AB. Alors il existe x IR
n
;
x ,= 0, ABx = 0. Si Bx ,= 0, alors BA(Bx) = 0 avec Bx ,= 0 donc Bx est
vecteur propre de BA pour la valeur propre = 0.
Si Bx = 0, on distingue 2 cas :
Si ImA = IR
n
, lapplication linaire associe A est donc surjective,
donc y IR
p
, y ,= 0, Ay = x. On a donc BAy = Bx = 0, et = 0
est donc valeur propre de BA.
Si ImA ,= IR
n
, alors lapplication linaire associe A est non surjec-
tive, donc, par le miracle de la dimension nie, (et car n p), non
injective. Il existe donc y IR
n
, y ,= 0 ; Ay = 0, et donc BAx = 0,
ce qui entrane que est valeur propre nulle de BA.
Exercice 7 page 41 (Rayon spectral)
Il sut de prendre comme norme la norme dnie par : |x| =

N
i=1

2
i
o les
(
i
)
i=1,N
sont les composantes de x dans la base des vecteurs propres associs
A.
Pour montrer que ceci est faux dans le cas o A nest pas diagonalisable, il sut
de prendre A =
_
0 1
0 0
_
, on a alors (A) = 0, et comme A est non nulle,
|A| ,= 0.
Exercice 5 page 41 (Rayon spectral)
1. Si (A) < 1, grce au rsultat dapproximation du rayon spectral de la pro-
position 1.6 page 7, il existe > 0 tel que (A) < 1 2 et une norme induite
|.|
A,
tels que |A|
A,
= (A) + = 1 < 1. Comme |.|
A,
est une
norme matricielle, on a |A
k
|
A,

k
0 lorsque k . Comme lespace
/
N
(IR) est de dimension nie, toutes les normes sont quivalentes, et on a
donc |A
k
| 0 lorsque k .
Montrons maintenant la rciproque : supposons que A
k
0 lorsque k , et
montrons que (A) < 1. Soient une valeur propre de A et x un vecteur propre
associ. Alors A
k
x =
k
x, et si A
k
0, alors A
k
x 0, et donc
k
x 0, ce
qui nest possible que si [[ < 1.
2. Si (A) < 1, daprs la question prcdente on a : |A
k
| 0 donc il existe
K IN tel que pour k K, |A
k
| < 1. On en dduit que pour k K,
|A
k
|
1/k
< 1, et donc en passant la limite sup sur k, limsup
k+
|A
k
|
1
k
1.
3. Comme liminf
k+
|A
k
|
1/k
< 1, il existe une sous-suite (k
n
)
n
nn IN
telle que A
kn
|
1/kn
tends < 1 lorsque n +, et donc il existe N tel que pour
n N, A
kn
|
1/kn
, avec ]0, 1[. On en dduit que pour n N, A
kn
|
kn
,
65
et donc que A
kn
0 lorsque n +. Soient une valeur propre de A et x un
vecteur propre associ, on a : A
kn
x =
kn
x; on en dduit que [[ < 1, et donc
que (A) < 1.
4. Soit IR
+
tel que (A) < . Alors (
1

A) < 1, et donc par la question 2,

limsup
k+
|A
k
|
1
k
< , > (A).
En faisant tendre vers (A), on obtient donc :
limsup
k+
|A
k
|
1
k
(A). (1.8.63)
Soit maintenant IR
+
tel que liminf
k+
|A
k
|
1
k
< . On a alors liminf
k+
|(
1

A)
k
|
1
k
<
1 et donc par la question 3, (
1

A) < 1, donc (A) < pour tout IR

+
tel
que liminf
k+
|A
k
|
1
k
< . En faisant tendre vers liminf
k+
|A
k
|
1
k
, on
obtient donc
(A) liminf
k+
|A
k
|
1
k
. (1.8.64)
De (1.8.63) et (1.8.64), on dduit que
limsup
k+
|A
k
|
1
k
= liminf
k+
|A
k
|
1
k
= lim
k+
|A
k
|
1
k
= (A). (1.8.65)
5. Si |.| est une norme matricielle, alors |A
k
| |A|
k
et donc daprs la question
prcdente, (A) |A|.
Exercice 9 page 42 (Srie de Neumann)
1. Si (A) < 1, les valeurs propres de A sont toutes direntes de 1 et 1. Donc
0 nest pas valeur propre des matrices IdA et Id+A, qui sont donc inversibles.
2. Suppposons que (A) < 1. Il est facile de remarquer que
(
N

k=0
A
k
)(Id A) = Id A
N+1
. (1.8.66)
Si (A) < 1, daprs la question 1. de lexercice 5 page 41, on a A
k
0 lorsque
k 0. De plus, Id A est inversible. On peut donc passer la limite dans
(1.8.66) et on a donc (Id A)
1
=

+
k=0
A
k
.
Remarquons de plus que la srie de terme gnral A
k
est absolument convergente
pour une norme | |
A,
donne par la proposition 1.6 page 7, avec choisi tel
que (A) + < 1. Par contre, la srie nest pas absolument convergente pour
nimporte quelle norme. On pourra sen convaincre facilement grce au contre
exemple (en dimension 1) suivant : la srie s
k
= 1 +x+ +x
k
est absolument
convergente pour la norme [ [ sur IR pour [x[ < 1, ce qui nest videmment plus
le cas si lon remplace la norme par la norme (pourtant quivalente) | | = 10[ [.
Rciproquement, si (A) 1, la srie ne peut pas converger en raison du rsultat
de la question 1 de lexercice 5 page 41.
66
Exercice 10 page 42 (Normes matricielles)
1. Comme (A) < 1, la srie de terme gnral A
j
converge (voir exercice
9) et donc on a

j=1
|A
j
x| < +. Dautre part, il est immdiat que
|x|

0, et si |x|

= 0 alors |A
j
x|

= 0. De plus si x et y sont des

vecteurs de IR
N
, alors
|x +y|

j=0
|A
j
(x +y)|

j=0
|A
j
x| +|A
j
y| = |x|

+|y|

.
Enn, si IR, il est facile de vrier que |x|

= [[|x|

.
2. Par dnition, |Ax|

j=0
|A
j+1
x| =

j=1
|A
j
x| = |x|

|x|.
Donc si |x|

= 1, on a |Ax|

= 1 |x|.
La fonction x |x| atteint son minimum sur lensemble x IR
N
; |x|

=
1, et celui-ci est dirent de 0 car |.| est une norme.
On dduit de ceci que
|A|

= max
x=1
|Ax|

< 1,
3. On ne suppose plus que (A) < 1. Soit C > (A) donn, et soit B la
matrice dnie par B =
1
C
A. On a donc (B) < 1. On peut donc appliquer
B la question prc

dente. Il existe donc une norme induite | |

telle que
|B|

< 1. On en dduit que

1
C
|A|

< 1, soit

A
|

< C. En choisissant
C (A) +, on a le rsultat souhait.
Remarquons que cette construction de norme a ncessit la dmonstration de
convergence de la srie, qui elle mme ncessite la proposition 1.6 page 7 (voir
exercice 9. Cette construction ne peut donc tre employe comme dmonstration
directe de la proposition 1.6 page 7.
Exercice 11 page 42 (P-matrice)
Corrig en cours de rdaction
Exercice 12 page 43 (M-matrice)
Corrig en cours de rdaction
Exercice 13 page 45 (Dcompositions LL
t
et LDL
t
)
1. On pose L =
_
1 0
1
_
et D =
_
0
0
_
.
Par identication, on obtient = 2, =
1
2
et =
1
2
.
Si maintenant on essaye dcrire A = LL
t
avec L =
_
a 0
b c
_
, on obtient c
2
=

1
2
ce qui est impossible dans IR.
En fait, on peut remarquer quil est normal que A nadmette pas de dcompo-
sition LL
t
, car elle nest pas dnie positive. En eet, soit x = (x
1
, x
2
)
t
IR
2
,,
alors Ax x = 2x
1
(x
1
+x
2
), et en prenant x = (1, 2)
t
, on a Ax x < 0.
2. 2. Reprenons en ladaptant la dmonstration du thorme 1.3. On raisonne
donc par rcurrence sur la dimension.
67
1. Dans le cas N = 1, on a A = (a
1,1
). On peut donc dnir L = (
1,1
) o

1,1
= 1, D = (a
1,1
), d
1,1
,= 0, et on a bien A = LDL
t
.
2. On suppose que, pour 1 p N, la dcomposition A = LDL
t
sobtient
pour A /
p
(IR) symtrique dnie positive ou ngative, avec d
i,i
,= 0
pour 1 i N et on va dmontrer que la proprit est encore vraie
pour A /
N+1
(IR) symtrique dnie positive ou ngative. Soit donc
A /
N+1
(IR) symtrique dnie positive ou ngative ; on peut crire A
sous la forme :
A =
_

_
B a
a
t

_
(1.8.67)
o B /
N
(IR) est symtrique dnie positive ou ngative (calculer Axx
avec x = (y, 0)
t
, avec y IR
N
pour le vrier), a IR
N
et IR.
Par hypothse de rcurrence, il existe une matrice M /
N
(IR) M =
(m
i,j
)
N
i,j=1
et une matrice diagonale

D = diag(d
1,1
, d
2,2
, . . . , d
N,N
) dont
les coecients sont tous non nuls, telles que :
(a) m
i,j
= 0 si j > i
(b) m
i,i
= 1
(c) B = M

DM
t
.
On va chercher L et D sous la forme :
L =
_

_
M 0
b
t
1
_

_
, D =
_

D 0
0
_

_
, (1.8.68)
avec b IR
N
, IR tels que LDL
t
= A. Pour dterminer b et , calculons
LDL
t
avec L et D de la forme (1.8.68) et identions avec A :
LDL
t
=
_

_
M 0
b
t
1
_

_
_

D 0
0
_

_
_

_
M
t
b
0 1
_

_
=
_

_
M

DM
t
M

Db
b
t

DM
t
b
t

Db +
_

_
On cherche b IR
N
et IR tels que LDL
t
= A, et on veut donc que les
galits suivantes soient vries :
M

Db = a et b
t

Db + = .
La matrice M est inversible (en eet, le dterminant de M scrit det(M) =

N
i=1
1 = 1). Par hypothse de rcurrence, la matrice

D est aussi inver-
sible. La premire galit ci-dessus donne : b =

D
1
M
1
a. On calcule
alors = b
t
M
1
a. Remarquons quon a forcment ,= 0, car si = 0,
A = LDL
t
=
_

_
M

DM
t
M

Db
b
t

DM
t
b
t

Db
_

_
68
qui nest pas inversible. En eet, si on cherche (x, y) IR
N
IR solution
de
_

_
M

DM
t
M

Db
b
t

DM
t
b
t

Db
_

_
_

_
x
y
_

_
=
_

_
0
0
_

_
,
on se rend compte facilement que tous les couples de la forme (M
t
by, y)
t
,
y IR, sont solutions. Le noyau de la matrice nest donc pas rduit 0 et
la matrice nest donc pas inversible. On a ainsi montr que d
N+1,N+1
,= 0
ce qui termine la rcurrence.
3. On reprend lalgorithme de dcomposition LL
t
:
Soit A /
N
(IR) symtrique dnie positive ou ngative ; on vient de montrer
quil existe une matrice L /
N
(IR) triangulaire infrieure telle que
i,j
= 0 si
j > i,
i,i
= 1, et une matrice D /
N
(IR) diagonale inversible, telles que et
A = LDL
t
. On a donc :
a
i,j
=
N

k=1

i,k
d
k,k

j,k
, (i, j) 1 . . . N
2
. (1.8.69)
1. Calculons la 1re colonne de L; pour j = 1, on a :
a
1,1
= d
1,1
donc d
1,1
= a
1,1
,
a
2,1
=
2,1
d
1,1
donc
2,1
=
a
2,1
d
1,1
,
a
i,1
=
i,1

1,1
donc
i,1
=
a
i,1

1,1
i 2 . . . N.
2. On suppose avoir calcul les n premires colonnes de L. On calcule la
colonne (n + 1) en prenant j = n + 1 dans (1.3.11)
Pour i = n + 1, a
n+1,n+1
=
n

k=1

2
n+1,k
d
k,k
+d
n+1,n+1
donc
d
n+1,n+1
= a
n+1,n+1

k=1

2
n+1,k
d
k,k
. (1.8.70)
On procde de la mme manire pour i = n + 2 . . . N ; on a :
a
i,n+1
=
n+1

k=1

i,k
d
k,k

n+1,k
=
n

k=1

i,k
d
k,k

n+1,k
+
i,n+1
d
n+1,n+1

n+1,n+1
et donc, comme on a montr dans la question 2 que les coecients d
k,k
sont tous non nuls, on peut crire :

i,n+1
=
_
a
i,n+1

k=1

i,k
d
k,k

n+1,k
_
1
d
n+1,n+1
. (1.8.71)
69
Exercice 14 page 45 (Sur la mthode LL
t
)
Calculons le nombre doprations lmentaires ncessaires pour chacune des
mthodes :
1. Le calcul de chaque coecient ncessite N multiplications et N 1 ad-
ditions, et la matrice comporte N
2
coecients. Comme la matrice est
symtrique, seuls N(N + 1)/2 coecients doivent tre calculs. Le calcul
de A
2
ncessite ncessite donc e
(2N1)N(N+1)
2
oprations lmentaires.
Le nombre doprations lmentaires pour eectuer la dcomposition LL
t
de A
2
ncessite
N
3
3
+
N
2
2
+
N
6
(cours).
La rsolution du systme A
2
x = b ncessite 2N
2
oprations (N
2
pour la
descente, N
2
pour la remonte, voir cours).
Le nombre total doprations pour le calcul de la solution du systme
A
2
x = b par la premire mthode est donc
(2N1)N(N+1)
2
+
N
3
3
+
3N
2
2
+
N
6
=
4N
3
3
+O(N
2
) oprations.
2. La dcomposition LL
t
de A ncessite
N
3
3
+
N
2
2
+
N
6
, et la rsolution des
systmes LL
t
y = b et LL
t
x = y ncessite 4N
2
oprations. Le nombre
total doprations pour le calcul de la solution du systme A
2
x = b par la
deuxime mthode est donc
N
3
3
+
9N
2
2
+
N
6
=
N
3
3
+O(N
2
) oprations.
Pour les valeurs de N assez grandes, il est donc avantageux de choisir la deuxime
mthode.
Exercice 15 page 45 (Dcomposition LL
t
dune matrice tridiagonale
symtrique)
1. Comme A est une matrice symtrique dnie positive, le thorme de
dcomposition de Choleski vu en cours sapplique, et il existe donc une
unique matrice L /
N
(IR), L = (
i,j
)
N
i,j=1
, telle que :
(a) L est triangulaire infrieure (cestdire
i,j
= 0 si j > i),
(b)
i,i
> 0, pour tout i 1, . . . , N,
(c) A = LL
t
.
Il nous reste montrer que
i,j
= 0 si j < i 1. Reprenons pour cela le
calcul des coecients
i,j
vu en cours. On a :

1,1
=

a
1,1
(a
1,1
> 0 car
1,1
existe ),
a
2,1
=
2,1

1,1
donc
2,1
=
a
2,1

1,1
=
2
,
a
i,1
=
i,1

1,1
donc
i,1
=
a
i,1

1,1
= 0 i 3, . . . , N.
Supposons que les colonnes p = 1 n soient telles que
i,p
= 0 si i > p+1,
et montrons que cest encore vrai pour la colonne n + 1. On a

i,n+1
=
_
a
i,n+1

k=1

i,k

n+1,k
_
1

n+1,n+1
, pour i = n + 2, . . . , N.
Or, pour i > n + 1, on a a
i,n+1
= 0 par hypothse sur A, et
i,k
= 0 pour
k = 1, . . . , n par hypothse de rcurrence. On en dduit que
i,n+1
= 0
70
pour i > n + 1. La matrice L est donc bien de la forme
L =
_
_
_
_
_
_
_
_

1
0 . . . 0

2

2
0 . . . 0
0
.
.
.
.
.
. . . . 0
.
.
.
.
.
.
.
.
. . . .
.
.
.
0 0
N

N
_
_
_
_
_
_
_
_
.
2. Lalgorithme de calcul des coecients
i,j
a t vu en cours, il sut de
ladapter ici au cas tridiagonal. On obtient :
Premire colonne

1
=

a
1,1
,

2
=
a
2,1

1
.
Nombre doprations : 1 racine carre, 1 division.
Colonnes 2 N 1
Pour i = 1, . . . , N 2,

n+1
=
_
a
n+1,n+1

2
n+1
_
1/2
,
Nombre doprations : 1 multiplication, 1 soustraction, 1 racine carre.

n+2
=
a
n+2,n+1

n+1
.
Nombre doprations : 1 division.
Colonne N

N
=
_
a
N,N

2
N
_
1/2
,
Nombre doprations : 3 (1 multiplication, 1 soustraction, 1 division).
Le nombre doprations lmentaires est donc de 2+4(N2)+3 = 4N3.
3. Un calcul facile donne :
L =
_
_
_
_
_
_
1 0 0 0 0
1 1 0 0 0
0 1 1 0 0
0 0 1 1 0
0 0 0 1 1
_
_
_
_
_
_
.
4. Non, par exemple linverse de la matrice
A =
_
_
1 1 0
1 2 1
0 1 2
_
_
est A
1
=
_
_
3 2 1
2 2 1
1 1 1
_
_
71
Exercice 16 page 46 (Dcomposition LL
t
dune matrice bande)
On utilise le rsultat de conservation du prol de la matrice nonc dans le
cours. Comme A est symtrique, le nombre p de diagonales de la matrice A est
forcment impair si A; notons q =
p1
2
le nombre de sous- et sur-diagonales non
nulles de la matrice A, alors la matrice L aura galement q sous-diagonales non
nulles.
1. Cas dune matrice tridiagonale. Si on reprend lalgorithme de construction
de la matrice L vu en cours, on remarque que pour le calcul de la colonne n+1,
avec 1 n < N 1, on a le nombre doprations suivant :
Calcul de
n+1,n+1
= (a
n+1,n+1

k=1

n+1,k

n+1,k
)
1/2
> 0 :
une multiplication, une soustraction, une extraction de racine, soit 3 opra-
tions lmentaires.
Calcul de
n+2,n+1
=
_
a
n+2,n+1

k=1

n+2,k

n+1,k
_
1

n+1,n+1
:
une division seulement car
n+2,k
= 0.
On en dduit que le nombre doprations lmentaires pour le calcul de la co-
lonne n + 1, avec 1 n < N 1, est de 4.
Or le nombre doprations pour la premire et dernire colonnes est infrieur 4
(2 oprations pour la premire colonne, une seule pour la dernire). Le nombre
Z
1
(N) doprations lmentaires pour la dcomposition LL
t
de A peut donc tre
estim par : 4(N 2) Z
1
(N) 4N, ce qui donne que Z
1
(N) est de lordre
de 4N (le calcul exact du nombre doprations, inutile ici car on demande une
estimation, est 4N 3.)
2. Cas dune matrice p diagonales.
On cherche une estimation du nombre doprations Z
p
(N) pour une matrice
p diagonales non nulles (ou q sous-diagonales non nulles) en fonction de N.
On remarque que le nombre doprations ncessaires au calcul de

n+1,n+1
= (a
n+1,n+1

k=1

n+1,k

n+1,k
)
1/2
> 0, (1.8.72)
et
i,n+1
=
_
a
i,n+1

k=1

i,k

n+1,k
_
1

n+1,n+1
, (1.8.73)
est toujours infrieur 2q + 1, car la somme

n
k=1
fait intervenir au plus q
termes non nuls.
De plus, pour chaque colonne n + 1, il y a au plus q + 1 coecients
i,n+1
non
nuls, donc au plus q + 1 coecients calculer. Donc le nombre doprations
pour chaque colonne peut tre major par (2q + 1)(q + 1).
On peut donc majorer le nombre doprations z
q
pour les q premires colonnes
et les q dernires par 2q(2q + 1)(q + 1), qui est indpendant de N (on rappelle
quon cherche une estimation en fonction de N, et donc le nombre z
q
est O(1)
par rapport N.)
Calculons maintenant le nombre doprations x
n
ncessaires une colonne n =
q +1 Nq 1. Dans (1.8.72) et (1.8.73), les termes non nuls de la somme sont
72
pour k = i q, . . . , n, et donc on a (n i +q + 1) multiplications et additions,
une division ou extraction de racine. On a donc
x
n
=
n+q+1

i=n+1
_
2(n i +q + 1) + 1
_
=
q+1

j=1
_
2(j +q + 1) + 1
_
= (q + 1)(2q + 3) 2
q+1

j=1
j
= (q + 1)
2
.
Le nombre z
i
doprations ncessaires pour les colonnes n = q + 1 N q 1
est donc
z
i
= (q + 1)
2
(N 2q).
Un encadrement du nombre doprations ncessaires pour la dcomposition LL
t
dune matrice p diagonales est donc donne par :
(q + 1)
2
(N 2q) Z
p
(N) (q + 1)
2
(N 2q) + 2q(2q + 1)(q + 1), (1.8.74)
et que, q constant, Z
p
(N) = O((q + 1)
2
N)). Remarquons quon retrouve bien
lestimation obtenue pour q = 1.
3. Dans le cas de la discrtisation de lquation u

= f traite dans le cours

page 18, on a q = 1 et la mthode de Choleski ncessite de lordre de 4N
oprations lmentaires, alors que dans le cas de la discrtisation de lquation
u = f traite dans le cours page 25-26, on a q =

N et la mthode de
Choleski ncessite de lordre de N
2
oprations lmentaires (dans les deux cas
N est le nombre dinconnues).
On peut noter que lencadrement (1.8.74) est intressant ds que q est dordre
infrieur N

, < 1.
Exercice 19 page 46 (Un systme par blocs)
1. Pour x IR
N
et IR, on pose y = (x, )
t
IR
N+1
. De mme, on pose
g = (f, )
t
IR
N+1
. Soit M M
N+1
(IR), dnie par :
M =
_
A b
c
t

_
.
On vrie facilement que le systme My = g est quivalent au systme
(1.6.48).
2. Comme A est inversible, pour tout IR, il existe un unique x IR
N
tel
que
x = A
1
(f b) (1.8.75)
Pour que (x, ) IR
N
IR soit solution de (1.6.48), il faut et il sut que
lquation
c A
1
(f b) + =
73
admette une unique solution, ce qui est vrai si
c A
1
b ,= 0, (1.8.76)
qui est donc une condition ncessaire et susante pour que (1.6.48) ad-
mette une unique solution.
3. Si la condition (1.8.76) est vrie, on peut dnir
=
c A
1
f
c A
1
b
(1.8.77)
En posant z = A
1
b et h = A
1
f, on dduit de (1.8.75) et (1.8.77) que
x = h
c h
c z
z, =
c h
c z
est lunique solution du systme.
4. (a) On envisage ici le cot de rsolution comme gal la somme du cot
de factorisation et du cot de descenteremonte (c..d. des cots
de rsolution des systmes Ly = b et Ux = y. On a dj tudi le
cot de la factorisation par la mthode de Cholesky dans le cas dune
matrice bande symtrique avec q sous-diagonales lexercice 14 ; il
est de lordre de (q + 1)
2
N. Dans le cas de la mthode LU pour
une matrice A non forcment symtrique, une adaptation facile du
raisonnement de lexercice 14 donne que le cot de factorisation par
la mthode LU pour une matrice bande de largeur de bande p est
de lordre de
1
2
p
2
N. En eet, la boucle de factorisation LU scrit
(en notant q la demi-largeur de bande, c..d. le nombre de sous ou
sur diagonales) :
Faire pour i = 1, . . . , N
Faire pour j = i + 1, . . . , i +q
Faire pour k = i, . . . , i +q,
a
jk
= a
jk

a
ik
aii
Fin pour
Fin pour
Fin pour
On a donc 2 (q + 1) (q +1) N oprations pour la factorisation
de la matrice A.
Les procdures de descente et remonte ncessitent le mme nombre
doprations ; la boucle de remonte, par exemple, scrit :
Faire pour i = N, . . . , 1
x
i
= b
i
Faire pour j = i + 1, . . . , i +q
x
i
= x
i
a
ij
x
i
Fin pour
Fin pour
et ncessite donc 2qN oprations.
Pour la mthode ci-dessus, on a donc les cots suivants :
74
i. Factorisation, partie A" : 2Nq
2
ii. Descente et remonte : 8qN (car il y a deux systmes avec matrice
A rsoudre).
iii. Calcul de x et : on eectue les produits scalaires c h et c
z, soit N 1 additions pour chaque produit scalaire, et N + 1
soustractions et N multiplications pour le calcul de x, soit au
total 5N oprations (on nglige les constantes).
Le cot total est donc dordre 2Nq
2
.
(b) Pour la mthode de rsolution directe par factorisation de M, il faut
rajouter le cot de factorisation de la ligne c qui scrit :
Faire pour i = 1, . . . , N
Faire pour k = i, i +q,
a
jk
= a
jk

a
ik
aii
Fin pour
Fin pour
et ncessite donc 2N(q + 1) oprations.
i. Factorisation, partie A" : 2Nq
2
ii. Factorisation, partie c" : 2Nq
iii. Descente et remonte : 2q(N + 1)
(c) Dans les deux cas, le terme dordre suprieur est 2Nq
2
, et les cots
sont donc comparables.
Remarque : On peut reprendre lexercice 2 dans le cas o c
t
est remplac
par C /
n,N
(IR), matrice rectangulaire n lignes et N colonnes, b
est remplac par B /
N,n
(IR), matrice rectangulaire N lignes et n
colonnes, et par M /
n
(IR), matrice carre dordre n, avec 1 n N.
Dans ce cas, IR
p
, la CNS (1.8.76) est remplace par
det(M CA
1
B) ,= 0,
et les expressions donnant (1.8.75) et (1.8.77) sont remplaces par
(a) la rsolution du systme linaire (dordre n matrice pleine) :
(M CA
1
B) = CA
1
f
(qui ncessite lui mme, pour le calcul de sa matrice et son second
membre, la rsolution de n+1 systmes linaires de la forme Au = b).
(b) le calcul de x
x = A
1
f A
1
B
qui ne ncessite que la multiplication matrice vecteur A
1
B et une
soustraction des vecteurs (noter que le vecteur A
1
f et la matrice
A
1
B ont dj t calculs pour la rsolution du systme linaire en
).
On pourra comparer le cot des deux mthodes dans ce cas plus gnral.
75
Exercice 20 page 47 (Minoration du conditionnement)
1) On peut crire B = B+AA = A(Id+A
1
(BA)). Et comme |AB| <
1
A
1

, on a |A
1
(BA)| |A1||BA| < 1. La matrice Id+A
1
(BA))
est donc inversible (voir thorme 1.11 page 21, et donc B lest aussi.
2) En prenant la contrapose de ce qui prcde, on obtient que si det(B) = 0,
alors
|AB|
1
A
1
, et donc |A||A
1
| |A||AB|.
On en dduit le rsultat en passant au sup sur les matrices B de dterminant
nul.
Exercice 21 page 47 (Minoration du conditionnement)
1. Comme A est inversible, A+A = A(Id +A
1
A), et donc si A+A est
singulire, alors Id +A
1
A est singulire. Or on a vu en cours que toute
matrice de la forme Id +B est inversible si et seulement si (B) < 1. On
en dduit que (A
1
A) 1, et comme
(A
1
A) |A
1
A| |A
1
||A|,
on obtient
|A
1
||A| 1, soit encore cond(A)
|A|
|A|
.
2. Soit y IR
N
tel que |y| = 1 et |A
1
y| = |A
1
|. Soit x = A
1
y, et
A =
y x
t
x
t
x
,on a donc
(A +A)x = Ax
y x
t
x
t
x
x = y
y x
t
x
x
t
x
= 0.
La matrice A+A est donc singulire. De plus,
|A| =
1
|x|
2
|y y
t
A
t
|.
Or par dnition de x et y, on a |x|
2
= |A
1
|
2
. Dautre part, comme il
sagit ici de la norme L
2
, on a |A
t
| = |A
1
|. On en dduit que
|A| =
1
|A
1
|
2
|y|
2
|A
1
| =
1
|A
1
|
.
On a donc dans ce cas galit dans (1.6.49).
3. Remarquons tout dabord que la matrice A est inversible. En eet, detA =
2
2
> 0. Soit A =
_
_
0 0 0
0
0
_
_
. Comme det(A + A) = 0, la
matrice A+A est singulire, et donc
cond(A)
|A|
|A|
. (1.8.78)
Or |A| = 2 et |A| = max(3, 1+2) = 3, car ]0, 1[. Donc cond(A)
3
2
.
76
Exercice 22 page 48 (Minoration du conditionnement)
1. Par dnition, cond(A
2
) = |A
2
||(A
1
)
2
| |A
1
||A
1
| = (condA)
2
.
2. Si A est symtrique, on a : cond
2
(A
2
) = (A
2
) = (cond
2
A)
2
. e
3. Non. Il sut de prendre
A =
_
0 1
0 0
_
qui nest pas une matrice symtrique, mais qui est telle que (A) = 0, et
A
2
= 0.
Exercice 23 page 48 (Calcul de linverse dune matrice et condition-
nement)
1. (a) Linverse de la matrice A vrie les quatre quations suivantes :
_
_
_
X A
1
= 0, X
1
A = 0,
AX Id = 0, XAId = 0.
Les quantits e
1
, e
2
, e
3
et e
4
sont les erreurs relatives commises sur
ces quatre quations lorsquon remplace X par B; en ce sens, elles
mesurent la qualit de lapproximation de A
1
.
(b) On remarque dabord que comme la norme est matricielle, on a
|MP| |M||P| pour toutes matrices M et P de M
N
(IR). On
va se servir de cette proprit plusieurs fois par la suite.
() Comme B = A
1
+ E, on a
e
1
=
|E|
|A
1
|

|A
1
|
|A
1
|
= .
() Par dnition,
e
2
=
|B
1
A|
|A|
=
|(A
1
+E)
1
A|
|A|
.
Or
(A
1
+E)
1
A = (A
1
(Id +AE))
1
A
= (Id +AE)
1
AA
= (Id +AE)
1
(Id (Id +AE))A
= (Id +AE)
1
AEA.
On a donc
e
2
|(Id +AE)
1
||A||E|.
Or par hypothse, |AE| |A||E| cond(A) < 1 ; on en
dduit, en utilisant le thorme 1.11, que :
|(Id +AE))
1
|
1
1 |AE|
, et donc e
2

cond(A)
1 cond(A)
.
77
() Par dnition, e
3
= |ABId| = |A(A
1
+E) Id| = |AE|
|A||E| |A||A
1
| = cond(A).
() Enn, e
4
= |BA Id| = |(A
1
+ E)A Id| |EA|
|E||A| cond(A).
(c) () Comme B = A
1
(Id +E

), on a
e
1
=
|A
1
(Id +E

) A
1
|
|A
1
|
|Id +E

Id| .
() Par dnition,
e
2
=
(Id+E

)
1
AA
A
=
(Id+E

)
1
(A(Id+E

)A)
A
|(Id +E

)
1
||Id (Id +E

)|

1
car < 1 (thorme 1.1).
() Par dnition, e
3
= |AB Id| = |AA
1
(Id + E

) Id| =
|E

| .
() Enn, e
4
= |BA Id| = |A
1
(Id + E

)A Id| = |A
1
(A +
E

A A)| |A
1
||AE

| cond(A).
2. (a) On peut crire A+
A
= A(Id+A
1

A
). On a vu en cours (thorme
1.11) que si |A
1

A
| < 1, alors la matrice Id+A
1

A
est inversible.
Or |A
1

A
| |A
1
||
A
|, et donc la matrice A +
A
est inversible
si |
A
| <
1
|A
1
|
.
(b) On peut crire |(A+
A
)
1
A
1
| = |(A+
A
)
1
(Id(A+
A
)A
1
|
|(A +
A
)
1
||Id Id
A
A
1
| |(A +
A
)
1
|
A
||A
1
|. On en
dduit le rsultat.
Exercice 17 page 46 (proprits gnrales du conditionnement)
1. Comme | | est une norme induite, cest donc une norme matricielle. On a
donc pour toute matrice A M
N
(IR),
|Id| |A| |A
1
|
ce qui prouve que cond(A) 1.
2.Par dnition,
cond(A) = |A| |(A)
1
|
= [[ |A|
1
[[
|A
1
| = cond(A)
3. Soient A et B des matrices inversibles, alors AB est une matrice inversible
et
cond(AB) = |AB| |(AB)
1
| = |AB| B
1
A
1
|
|A| |B| |B
1
| |A
1
|,
car | | est une norme matricielle. Donc cond(AB) cond(A)cond(B).
78
Exercice 18 page 46 (proprits gnrales du conditionnement)
1. Par dnition, on a cond
2
(A) = |A|
2
|A
1
|
2
. Or on a vu lexercice 3 que
|A|
2
= ((A
t
A))
1/2
=

N
. On a donc
|A
1
|
2
= (((A
1
)
t
A
1
))
1/2
=
_
(AA
t
)
1
)
_
1/2
; or ((AA
t
)
1
) =
1

1
,
o
1
est la plus petite valeur propre de la matrice AA
t
. Or les valeurs propres
de AA
t
sont les valeurs propres de A
t
A : en eet, si est valeur propre de AA
t
associe au vecteur propre x alors est valeur propre de AA
t
associe au vecteur
propre A
t
x. On a donc
cond
2
(A) =
_

1
.
2. Si A est s.d.p., alors A
t
A = A
2
et
i
=
2
i
o
i
est valeur propre de la
matrice A. On a dans ce cas cond
2
(A) =

N

1
.
3. Si cond
2
(A) = 1, alors
_
N
1
= 1 et donc toutes les valeurs propres de A
t
A
sont gales. Comme A
t
A est symtrique dnie positive (car A est inversible), il
existe une base orthonorme (f
1
. . . f
N
) telle que A
t
Af
i
= f
i
, i et > 0 (car
A
t
A est s.d.p.). On a donc A
t
A = Id A
t
=
2
A
1
avec =

. En posant
Q =
1

A, on a donc Q
t
=
1

A
t
= A
1
= Q
1
.
Rciproquement, si A = Q, alors A
t
A =
2
Id,
N
1
= 1, et donc cond
2
(A) = 1.
4. A M
N
(IR) est une matrice inversible. On suppose que A = QR o Q est
une matrice orthogonale. On a donc :
cond
2
(A) = |A|
2
|A
1
|
2
= |QR|
2
|R
1
Q
t
|
2
.
On a aussi cond
2
(A) =
_

1
o
1
. . .
N
sont les valeurs propres de A
t
A.
Or A
t
A = (QR)
t
(QR) = R
t
Q
1
QR = R
t
R. Donc cond
2
(A) = cond
2
(R).
5. Soient 0 <
1

2
. . .
N
et 0 <
1

2
. . .
N
les valeurs propres de
A et B (qui sont s.d.p.). Alors cond
2
(A +B) =

N

1
, o 0 <
1
. . .
N
sont
les valeurs propres de A+B.
a) On va dabord montrer que
cond
2
(A +B)

N
+
N

1
+
1
.
Remarquons en premier lieu que si A est s.d.p., alors
cond
2
(A) =
sup
x=1
Ax x
inf
x2=1
Ax x
79
En eet, si A est s.d.p., alors sup
x2=1
Ax x =
N
; il sut pour sen rendre
compte de dcomposer x sur la base (f
i
)
i=1...N
. Soit x =
N

i=1

i
f
i
. Alors :
Ax x =
N

i=1

2
i

i

N

2
i
=
N
. Et Af
N
f
N
=
N
.
De mme, Axx
1

2
i
=
1
et Axx =
1
si x = f
1
. Donc inf
x=1
Axx =

1
.
On en dduit que si A est s.d.p., cond
2
(A) =
sup
x=1
Ax x
inf
x=1
Ax x
Donc cond
2
(A +B) =
sup
x=1
(A +B)x x
inf
x=1
(A +B)x x
Or sup
x=1
(Ax x +Bx x) sup
x=1
Ax x + sup
x=1
Bx x =
N
+
N
et inf
x=1
(Ax x +Bx x) inf
x=1
Ax x + inf
x=1
Bx x =
1
+
1
donc
cond
2
(A +B)

N
+
N

1
+
1
.
b) On va montrer que
a +b
c +d
max(
a
c
,
b
d
), (a, b, c, d) (IR

+
)
4
.
Supposons que
a +b
c +d

a
c
alors (a+b)c (c+d)a cestdire bc da donc
bc + bd da + db soit b(c + d) d(a + b) ; donc
a+b
c+d

b
d
. On en dduit
que cond
2
(A +B) max(cond
2
(A), cond
2
(B)).
Exercice 24 page 49 (Discrtisation)
1. Si f est constante, alors u

est constante, et donc les drives dordre

suprieur sont nulles. Donc, par lestimation (1.4.20) page 25 sur lerreur
de consistance, on a R
i
= 0 pour tout i = 1, . . . , N.
Si on appelle U le vecteur de composantes u
i
et

U le vecteur de compo-
santes u(x
i
), on peut remarquer facilement que U

U = A
1
R, o R est
le vecteur de composantes R
i
. On a donc U

U = 0, c.q.f.d..
2. Il est facile de voir que f nest pas forcment constante, en prenant f(x) =
sin2x, et h = 1/2. On na alors quune seule inconnue, qui vrie u
1
= 0,
et on a galement u(1/2) = sin = 0.
Exercice 25 page 49 (Valeurs propres et vecteurs propres de A.)
1. Pour montrer que A est dnie positive (car A est videmment symtrique),
on va montrer que Ax x > 0 si x ,= 0.
80
On a
Ax x =
1
h
2
_
x
1
(2x
1
x
2
) +
N1

i=2
x
i
(x
i1
+ 2x
i
x
i+1
) + 2x
2
N
x
N1
x
N
_
On a donc
h
2
Ax x = 2x
2
1
x
1
x
2

N1

i=2
_
x
i
x
i1
+ 2x
2
i
_

i=3
x
i
x
i1
+ 2x
2
N
x
N1
x
N
=
N

i=1
x
2
i
+
N

i=2
x
2
1i
+x
2
N
2
N

i=1
x
i
x
i1
=
N

i=2
(x
i
x
i1
)
2
+x
2
1
+x
2
N
0.
De plus, Ax x = 0 x
2
1
= x
N
= 0 et x
i
= x
i1
pour i = 2 N, donc x = 0.
Pour chercher les valeurs propres et vecteurs propres de A, on sinspire des
valeurs propres et vecteurs propres du problme continu, cestdire des valeurs
et fonctions telles que
_

(x) = (x) x ]0, 1[

(0) = (1) = 0
(1.8.79)
(Notons que ce truc ne marche pas dans nimporte quel cas.)
Lensemble des solutions de lquation direntielle

= est un espace
vectoriel dordre 2, donc est de la forme (x) = cos

x+ sin

x ( 0)
et et dont dtermins par les conditions aux limites (0) = = 0 et
(1) = cos

+ sin

= 0 ; on veut ,= 0 car on cherche ,= 0 et donc

on obtient = k
2

2
. Les couples (, ) vriant (1.8.79) sont donc de la forme
(k
2

2
, sin kx).
2. Pour k = 1 N, posons
(k)
i
= sin kx
i
, o x
i
= ih, pour i = 1 N, et
calculons A
(k)
:
(A
(k)
)
i
= sink(i 1)h + 2 sin k(ih) sin k(i + 1)h.
En utilisant le fait que sin(a + b) = sin a cos b + cos a sinb pour dvelopper
sin k(1 i)h et sin k(i + 1)h, on obtient (aprs calculs) :
(A
(k)
)
i
=
k

(k)
i
, i = 1, . . . , N,
o
k
=
2
h
2
(1 cos kh) =
2
h
2
(1 cos
k
N + 1
)
On a donc trouv N valeurs propres
1
. . .
N
associes aux vecteurs propres

(1)
. . .
(N)
de IR
N
tels que
(k)
i
= sin
ki
N + 1
, i = 1 . . . N.
Remarque : Lorsque N + (ou h 0), on a

(h)
k
=
2
h
2
_
1 1 +
k
2

2
h
2
2
+O(h
4
)
_
= k
2

2
+O(h
2
)
Donc

(h)
k
k
2

2
=
k
h 0.
81
Calculons cond
2
(A). Comme A est s.d.p., on a cond
2
(A) =

N

1
=
1 cos
N
N+1
1 cos

N+1
.
On a : h
2

N
= 2(1 cos
N
N+1
) 4 et
1

2
lorsque h 0. Donc
h
2
cond
2
(A)
4

2
lorsque h 0.
Exercice 26 page 49 (Conditionnement ecace")
Partie I
1. Soit u = (u
1
. . . u
N
)
t
. On a
Au = b
_
1
h
2
(u
i
u
i1
) +
1
h
2
(u
i
u
i+1
) = b
i
, i = 1, . . . N,
u
0
= u
N+1
= 0.
Supposons b
i
0, i = 1, . . . , N, et soit p 0, . . . , N + 1 tel que u
p
=
min(u
i
, i = 0, . . . , N + 1).
Si p = 0 ou N + 1, alors u
i
0 i = 0, N + 1 et donc u 0.
Si p 1, . . . , N, alors
1
h
2
(u
p
u
p1
) +
1
h
2
(u
p
u
p+1
) 0
et comme u
p
u
p1
< 0 et u
p
u
p+1
0, on aboutit une contradiction.
Montrons maintenant que A est inversible. On vient de montrer que si Au 0
alors u 0. On en dduit par linarit que si Au 0 alors u 0, et donc que
si Au = 0 alors u = 0. Ceci dmontre que lapplication linaire reprsente par
la matrice A est injective donc bijective (car on est en dimension nie).
2. Soit C([0, 1], IR) tel que (x) = 1/2x(1 x) et
i
= (x
i
), i = 1, N, o
x
i
= ih.
(A)
i
est le dveloppement de Taylor lordre 2 de

(x
i
), et comme est un
polynme de degr 2, ce dveloppement est exact. Donc (A)
i
=

(x
i
) = 1.
3. Soient b IR
N
et u IR
N
tels que Au = b. On a :
(A(u |b|))
i
= (Au)
i
|b|(A)
i
= b
i
|b|.
Prenons dabord

b
i
= b
i
+|b| 0, alors par la question (1),
u
i
+|b|
i
0 i = 1 . . . N.
Si maintenant on prend

b
i
= b
i
|b| 0, alors
u
i
|b|
i
0 i = 1 . . . N.
On a donc |b|
i
|b|
i
.
On en dduit que |u|

|b| ||

; or ||

=
1
8
. Do |u|

1
8
|b|.
On peut alors crire que pour tout b IR
N
,
|A
1
b|

1
8
|b|, donc
|A
1
b|

|b|

1
8
, do |A
1
|
1
8
.
82
On montre que |A
1
| =
1
8
en prenant le vecteur b dni par b(x
i
) = 1, i =
1, . . . , N. On a en eet A
1
b = , et comme N est impair, i 1, . . . , N tel
que x
i
=
1
2
;or ||

= (
1
2
) =
1
8
.
4. Par dnition, on a |A| = sup
x=1
|Ax|, et donc |A| = max
i=1,N

j=1,N
[a
i,j
[,
do le rsultat.
5. Grce aux questions 3 et 4, on a, par dnition du conditionnement pour la
norme | |, cond(A) = |A||A
1
| =
1
2h
2
.
Comme A
u
=
b
, on a :
|
u
| |A
1
|
b
|
|b|
|b|
|A
1
|
b
|
|A||u|
|b|
,
do le rsultat.
Pour obtenir lgalit, il sut de prendre b = Au o u est tel que |u| = 1 et
|Au| = |A|, et
b
tel que |
b
| = 1 et |A
1

b
| = |A
1
|. On obtient alors
|
b
|
|b|
=
1
|A|
et
|u|
|u|
= |A
1
|.
Do lgalit.
Partie 2 Conditionnement ecace
1. Soient
(h)
et f
(h)
les fonctions constantes par morceaux dnies par

h
(x) =
_
(ih) =
i
si x ]x
i

h
2
, x
i
+
h
2
[, i = 1, . . . , N,
0 si x [0,
h
2
] ou x ]1
h
2
, 1].
et
f
(h)
(x) =
_
f(ih) = b
i
si x ]x
i

h
2
, x
i
+
h
2
[,
f(ih) = 0 si x [0,
h
2
] ou x ]1
h
2
, 1].
Comme f C([0, 1], IR) et C
2
([0, 1], IR), la fonction f
h
(resp.
h
) converge
uniformment vers f (resp. ) lorsque h 0. On a donc
h
N

i=1
b
i

i
=
_
1
0
f
(h)
(x)
(h)
(x)dx
_
1
0
f(x)(x)dx lorsque h 0.
Comme b
i
> 0 et f
i
> 0 i = 1, . . . , N, on a videmment
S
N
=
N

i=1
b
i

i
> 0 et S
N

_
1
0
f(x)(x)dx = > 0 lorsque h 0.
Donc il existe N
0
IN tel que si N N
0
, S
N


2
, et donc S
N
=
min(S
0
, S
1
. . . S
N0
,

2
) > 0.
83
2. On a N|u| = N sup
i=1,N
[u
i
[

N
i=1
u
i
. Dautre part, A = (1 . . . 1)
t
donc
u A =
N

i=1
u
i
; or u A = A
t
u = Au car A est symtrique. Donc
u A =
N

i=1
b
i

i


h
daprs la question 1. Comme
u
= A
1

b
, on a donc
|
u
| |A
1
| |
b
| ; et comme N|u|

h
, on obtient :
|
u
|
|u|

1
8
hN

|
b
|
|f|

|b|
.
Or hN = 1 et on a donc bien :
|
u
|
|u|

|f|

8
|
b
|
|b|
.
3. Le conditionnement cond(A) calcul dans la partie 1 est dordre 1/h
2
, et
donc tend vers linni lorsque le pas du maillage tend vers 0, alors quon vient
de montrer dans la partie 2 que la variation relative
u
u
est infrieure une
constante multiplie par la variation relative de

b

b
. Cette dernire information
est nettement plus utile et rjouissante pour la rsolution eective du systme
linaire.
Exercice 27 page 51 (Conditionnement, raction diusion 1d)
1. Pour k = 1 N, calculons BU
k
:
(BU
k
)
j
= sink(j 1)h +2 sink(jh) sink(j +1)h, o h =
1
N + 1
.
En utilisant le fait que sin(a +b) = sin a cos b +cos a sinb pour dvelopper
sink(1 j)h et sin k(j + 1)h, on obtient (aprs calculs) :
(BU
k
)
j
=
k
(U
k
)
j
, j = 1, . . . , N,
o
k
= 2(1 cos kh) = 2(1 cos
k
N + 1
). On peut remarquer que pour
k = 1, . . . , N,, les valeurs
k
sont distinctes.
On a donc trouv les N valeurs propres
1
. . .
N
de B associes aux vec-
teurs propres U
1
, . . . , U
N
de IR
N
tels que (U
k
)
j
= sin
kj
N + 1
, j = 1, . . . , N.
2. Comme A = Id+
1
h
2
B, les valeurs propres de la matrice A sont les valeurs

i
= 1 +
1
h
2

i
.
3. Comme A est symtrique, le conditionnement de A est donn par
cond
2
(A) =

N

1
=
1 +
2
h
2
(1 cos
N
N + 1
)
1 +
2
h
2
(1 cos

N + 1
)
.
Exercice 28 page 52 (Mthode itrative du gradient pas xe")
84
1. On peut rcrire litration sous la forme : x
n+1
= (Id A)x
n
+ b.
La matrice ditration est donc B = Id A. La mthode converge si et
seulement si (B) < 1 ; or les valeurs propres de B sont de la forme 1
i
o
i
est v.p. de A. On veut donc :
1 < 1
i
< 1, i = 1, . . . , N.
cestdire 2 <
i
et
i
< 0, i = 1, . . . , N.
Comme A est symtrique dnie positive,
i
> 0, i = 1, . . . , N, donc il
faut > 0.
De plus, on a :
(2 <
i
i = 1, . . . , N) ( <
2

i
i, 1, . . . , N) ( <
2

N
).
La mthode converge donc si et seulement si 0 < <
2
(A)
.
2. On a : (IdA) = sup
i
[1
i
[ = max([1
1
[, [1
N
[). Le minimum
de (Id A) est donc obtenu pour
0
tel que 1
0

1
=
0

N
1,
cestdire (voir Figure (1.8)
0
=
2

1
+
N
.
1
[1 (1
1
)[
[1 (1
N
)[
max([1 (1
1
), [1 (1
N
)[)

0
1
1
1
N

Figure 1.6 Graphes de [1
1
[ et [1
N
[ en fonction de .
Exercice 29 page 52 ((Mthodes de Jacobi et Gauss-Seidel (I)))
1. On remarque que A scrit sous la forme A = Id +K, o
K =
_
_
_
_
0 1 0 1
1 0 1 0
0 1 0 1
1 0 1 0
_
_
_
_
85
Soit une valeur propre de A et x un vecteur propre associ. On a Ax = x+Kx.
Les valeurs propres de A scrivent donc sous la forme = + o est valeur
propre de K. Or K est une matrice qui comporte 2 fois 2 lignes identiques. La
matrice K admet donc 0 comme valeur propre double. De plus la somme des
colonnes de K est gale au vecteur constant de composantes -2, donc 2 est
valeur propre de K (pour le vecteur propre constant de composantes gales
1). Enn, la dernire valeur propre de K est 2 car la somme des valeurs propres
est gale la trace. On en dduit que les valeurs propres de A sont +2, 2
et .
2. La matrice A est sdp si et seulement si toutes ses valeurs propres sont stric-
tement positives, i.e. si > 2.
3. La mthode de Jacobi scrit :
x
(n+1)
1
=
1

(b
1
+x
(n)
2
+x
(n)
4
),
x
(n+1)
2
=
1

(b
2
+x
(n)
1
+x
(n)
3
),
x
(n+1)
3
=
1

(b
3
+x
(n)
2
+x
(n)
4
),
x
(n+1)
4
=
1

(b
4
+x
(n)
1
+x
(n)
3
),
La matrice ditration est
B =
1

_
_
_
_
0 1 0 1
1 0 1 0
0 1 0 1
1 0 1 0
_
_
_
_
dont les valeurs propres sont 0 (double)
2

et
2

. On en dduit que la mthode

de Jacobi converge si > 2.
4. Lalgorithme de GS pour le systme Ax = b scrit :
x
(n+1)
1
= b
1
+x
(n)
2
+x
(n)
4
,
x
(n+1)
1
+x
(n+1)
2
= b
2
+x
(n)
3
,
x
(n+1)
2
+x
(n+1)
3
= b
3
+x
(n)
4
,
x
(n+1)
1
x
(n+1)
3
+x
(n+1)
4
= b
4
.
On obtient donc, avec =
1

:
x
(n+1)
1
= (b
1
+x
(n)
2
+x
(n)
4
),
x
(n+1)
2
= (b
2
+x
(n+1)
1
+x
(n)
3
),
x
(n+1)
3
= (b
3
+x
(n+1)
2
+x
(n)
4
),
x
(n+1)
4
= (b
4
+x
(n+1)
1
+x
(n+1)
3
).
86
soit encore :
x
(n+1)
1
=
_
b
1
+x
(n)
2
+x
(n)
4
_
,
x
(n+1)
2
=
_
b
2
+
_
b
1
+x
(n)
2
+x
(n)
4
_
+x
(n)
3
_
,
x
(n+1)
3
=
_
b
3
+
_
b
2
+(b
1
+x
(n)
2
+x
(n)
4
) +x
(n)
3
_
+x
(n)
4
_
,
x
(n+1)
4
=
_
b
4
+(b
1
+x
(n)
2
+x
(n)
4
) +
_
b
3
+
_
b
2
+(b
1
+x
(n)
2
+x
(n)
4
) +x
(n)
3
_
) +x
(n)
4
__
.
On obtient donc :
x
(n+1)
1
=
_
b
1
+x
(n)
2
+x
(n)
4
_
,
x
(n+1)
2
=
_
b
2
+b
1
+x
(n)
2
+x
(n)
3
+x
(n)
4
_
,
x
(n+1)
3
=
_
b
3
+b
2
+
2
b
1
+
2
x
(n)
2
+x
(n)
3
+ (1 +
2
)x
(n)
4
_
,
x
(n+1)
4
=
_
b
4
+(1 +
2
)b
1
+
2
b
2
+b
3
+(1 +
2
)x
(n)
2
+
2
x
(n)
3
+ (2 +
2
)x
(n)
4
_
Pour > 2, la matrice est symtrique dnie positive et la mthode de Gauss
Seidel converge.
Exercice 30 page 52 (Non convergence de la mthode de Jacobi)
Si a = 0, alors A = Id, donc A est s.d.p. et la mthode de Jacobi converge.
Si a ,= 0, posons a = (1 ), et calculons le polynme caractristique de la
matrice A en fonction de la variable .
P() = det

a a a
a a a
a a a

= a
3
det

1 1
1 1
1 1

= a
3
(
3
3 + 2).
On a donc P() = a
3
( 1)
2
( + 2). Les valeurs propres de la matrice A sont
donc obtenues pour = 1 et = 2, cestdire :
1
= 1 a et
2
= 1 + 2a.
La matrice A est dnie positive si
1
> 0 et
2
> 0, cestdire si
1
2
< a < 1.
La mthode de Jacobi scrit :
X
(n+1)
= D
1
(D A)X
(n)
,
avec D = Id dans le cas prsent ; donc la mthode converge si et seulement si
(D A) < 1.
Les valeurs propres de DA sont de la forme = 1 o est valeur propre
de A. Les valeurs propres de DA sont donc
1
== a (valeur propre double)
et
2
= 2a.. On en conclut que la mthode de Jacobi converge si et seulement
si 1 < a < 1 et 1 < 2a < 1, i.e.
1
2
< a <
1
2
.
La mthode de Jacobi ne converge donc que sur lintervalle ]
1
2
,
1
2
[ qui est
strictement inclus dans lintervalle ]
1
2
, 1[ des valeurs de a pour lesquelles la
matrice A est s.d.p..
87
Exercice 31 page 52 (Jacobi pour les matrices diagonale dominante
stricte)
Pour montrer que A est inversible, supposons quil existe x IR
N
tel que
Ax = 0 ; on a donc
N

j=1
a
ij
x
j
= 0.
Pour i 1, . . . , , N, on a donc
[a
i,i
[[x
i
[ = [a
i,i
x
i
[ = [

j;i=j
a
i,j
x
j
[

j;i=j
[a
i,j
[|x|

, i = 1, . . . , N.
Si x ,= 0, on a donc
[x
i
[

j;i=j
a
i,j
x
j
[
[a
i,i
[
|x|

< |x|

, i = 1, . . . , N
, ce qui est impossible pour i tel que
[x
i
[ = |x|

.
Montrons maintenant que la mthode de Jacobi converge : Avec le formalisme
de la mthode II du cours, on a
M = D =
_

_
a
11
0
.
.
.
0 a
NN
_

_, et N = M A.
La matrice ditration est
J = M
1
N = D
1
N =
_

_
a
1
1,1
0
.
.
.
0 a
1
N,N
_

_
_

_
0 a
i,j
.
.
.
a
i,j
0
_

_
=
_

_
0
a1,2
a1,1
. . .
.
.
.

a1,1
aN,N
. . . 0
_

_.
Cherchons le rayon spectral de J : soient x IR
N
et IR tels que Jx = x,
alors

j;i=j

a
i,j
a
i,i
x
j
= x
i
, et donc [[[x
i
[

j;i=j
[a
i,j
[
|x|

[a
i,i
[
.
Soit i tel que [x
i
[ = |x|

et x ,= 0, on dduit de lingalit prcdente que

[[
P
j;i=j
|ai,j|
|aii|
< 1 pour toute valeur propre . On a donc (J) < 1. Donc la
mthode de Jacobi converge.
88
Exercice 31 page 52 (Jacobi pour les matrices diagonale dominante
forte)
1. (a) Le raisonnement de discrtisation fait en cours amne au systme
suivant :
_

u
i+1
+u
i1
2u
i
h
2
+u
i
= f(x
i
), i 1 N,
u
0
= 0, u
N+1
= 1.
Ce systme peut se mettre, aprs limination de u
0
et u
N+1
sous la
forme Ax = b avec A = (a
i,j
)
i,j=1,N
o :
_

_
a
i,i
=
2
h
2
+, i = 1, . . . , N,
a
i,j
=
1
h
2
, i = 1, . . . , N, j = i 1,
a
i,j
= 0, i = 1, . . . , N, [i j[ > 1.
et b = (f(x
1
), f(x
2
), . . . , f(x
N1
), f(x
N
)) +
1
h
2
.
(b) Dans le cas o > 0, il est facile de voir que A est une matrice
diagonale dominante stricte, et on a vu en exercice (Exercice 19) que
dans ce cas la mthode de Jacobi converge.
(c) Dans le cas o = 0, calculons (J). Soit une valeur propre de
J associe au vecteur propre x. On a donc Jx = x, cest--dire
D
1
(E +F)x = x, soit encore (E +F)x = Dx, ce qui donne
(D (E +F))x = Ax = D(Id J)x =
2
h
2
(1 )x.
On en dduit que est valeur propre de J associe x si et seulement
si = 1
1
2
h
2
o est valeur propre de A; Or on a vu (exercice
15) que les valeurs propres de A sont de la forme
2
h
2
(1 coskh),
k = 1, N 1, o N =
1
h
est le nombre de points de discrtisation. On
en dduit que les valeurs propres de J sont de la forme
k
= coskh,
k = 1, N 1. En consquence, (J) < 1.
2. (a) Si A est symtrique dnie positive alors Ae
i
e
i
> 0 pour tout
vecteur e
i
de la base canonique. Tous les coecients diagonaux sont
donc strictement positifs, et donc aussi inversibles. On en dduit que
la matrice D est inversible et que la mthode de Jacobi est bien
dnie.
(b) i. Soit une valeur propre de J associe au vecteur propre x. On
a donc Jx = x, cest--dire D
1
(E + F)x = x, soit encore
(E +F)x = Dx. On a donc
[

j=i
a
i,j
x
j
[ = [[[a
i,i
[[x
i
[.
Soit i tel que [x
i
[ = max
j=1,N
[x
j
[. Notons que [x
i
[ , = 0 car x est
vecteur propre, donc non nul. En divisant lgalit prcdente
par [x
i
[, on obtient :
[[

j=i
[a
i,j
[
[a
i,i
[
1,
89
par hypothse. On en dduit que (J) 1.
ii. Soit x IR
N
tel que Jx = x avec [[ = 1. Alors
[

j=i
a
i,j
x
j
[ = [a
i,i
[[x
i
[, pour tout i = 1, . . . N. (1.8.80)
On a donc

j=i
[a
i,j
[[x
i
[ [a
i,i
[[x
i
[ = [

j=i
a
i,j
x
j
[

j=i
[a
i,j
[[x
j
[ pour tout i = 1, . . . N.
(1.8.81)
Si A est diagonale, alors en vertu de (1.8.80), x
i
= 0 pour tout
i = 1, . . . , N. Supposons maintenant A non diagonale. On dduit
alors de (1.8.81) que
[x
i
[
[x
j
[
1 pour tout i ,= j.
Donc [x
i
[ = [x
j
[ pour tout i, j.
Comme de plus, par hypothse,
[a
i0,i0
[ >

j=i0
[a
i0,j
[,
on a donc, si [x
i0
[ , = 0,

j=i0
[a
i0,j
[[x
i0
[ < [a
i0,i0
x
i0
[

j=i0
[a
i0,j
x
i0
[,
ce qui est impossible. On en dduit que x = 0.
On a ainsi prouv que J nadmet pas de valeur propre de module
gal 1, et donc par la question prcdente, (J) < 1, ce qui
prouve que la mthode converge.
iii. La matrice A de la question 1 est diagonale fortement domi-
nante. Donc la mthode de Jacobi converge.
Exercice 33 page 53 (Diagonalisation dans IR )
1. Montrons que T est inversible. Soit x tel que Tx = 0, alors (Tx, x) = 0 et
donc x = 0 car T est dnie positive. Lapplication T est donc injective,
et comme on est en dimension nie, T est bijective donc inversible.
Lapplication dnie de E
2
dans IR par :
(x, y) (x, y)
T
= (Tx, y)
est une application bilinaire car T est linaire, symtrique car T est sy-
mtrique, dnie positive car T est dnie positive donc cest un produit
scalaire.
90
2. Montrons que T
1
S est symtrique pour le produit scalaire (, )
T
. Soient
x, y E,
(T
1
Sx, y)
T
= (TT
1
Sx, y) = (Sx, y)
= (x, Sy) car S est symtrique
= (x, TT
1
Sy)
et comme T est symtrique,
(T
1
Sx, y)
T
= (Tx, T
1
Sy)
= (x, T
1
Sy)
T
donc T
1
S est symtrique pour le produit scalaire (, )
T
.
Montrons maintenant quil existe (f
1
, . . . , f
N
) (IR
N
)
N
et (
1
, . . . ,
N
)
IR
N
tel que T
1
Sf
i
=
i
f
i
i 1, N avec (Tf
i
, f
j
) =
ij
. Daprs le
lemme 1.11 page 9, comme T
1
S est symtrique pour le produit scalaire
(, )
T
, il existe f
i
, . . . , f
N
(IR
N
)
N
et (
1
. . .
N
) IR
N
tels que Tf
i
=

i
f
i
pour tout i = 1, . . . , N, et (f
i
f
j
)
T
= (Tf
i
f
j
) =
i,j
. Do le rsultat.
Exercice 34 page 54 (Mthode de Jacobi et relaxation)
1. J = D
1
(E+F) peut ne pas tre symtrique, mme si A est symtrique :
En eet, prenons A =
_
2 1
1 1
_
.
Alors
J = D
1
(E +F) =
_
1
2
0
0 1
__
0 1
1 0
_
=
_
0
1
2
1 0
_
,=
_
0 1
1
2
0
_
.
donc J nest pas symtrique.
2. On applique lexercice prcdent pour lapplication linaire T de matrice
D, qui est, par hypothse, dnie positive (et videmment symtrique
puisque diagonale) et S = E +F, symtrique car A est symtrique.
Il existe donc (f
1
. . . f
N
) base de E et (
1
. . .
N
) IR
N
tels que
Jf
i
= D
1
(E +F)f
i
=
i
f
i
, i = 1, . . . , N, et (Df
i
, f
j
) =
ij
.
3. Par dnition de J, tous les lments diagonaux de J sont nuls et donc sa
trace galement. Or TrJ =
N

i=1

i
. Si
i
> 0 i = 1, . . . , N, alors TrJ > 0,
donc i
0
;
i
0 et comme
1

i0
, on a
1
0. Un raisonnement
similaire montre que
N
0.
4. La mthode de Jacobi converge si et seulement si (J) < 1 (thorme
1.26 page 30). Or, par la question prcdente, (A) = max(
1
,
N
).
Supposons que
1
1, alors
1
= , avec 1. On a alors D
1
(E +
F)f
1
= f
1
ou encore (E+F)f
1
= Df
1
, ce qui scrit aussi (D+E+
F)f
1
= D(1 )f
1
cestdire (2D A)f
1
= Df
1
avec 0. On en
dduit que ((2D A)f
1
, f
1
) = 0, ce qui contredit le fait que 2D A
est dnie positive. En consquence, on a bien
1
1.
Supposons maintenant que
N
= 1. On a alors D
1
(E + F)f
1
=
f
N
, soit encore (E +F)f
N
= Df
N
. On en dduit que Af
N
= (D
91
E F)f
N
= D(1 )f
N
= Df
N
avec 0. On a alors(Af
N
, f
N
) 0,
ce qui contredit le fait que A est dnie positive.
5. Par dnition, on a :D x
(n+1)
s = (E + F)x
(n)
+ b et x
(n+1)
= x
(n+1)
+
(1 )x
(n)
. On a donc x
(n+1)
= [D
1
(E +F)x
(n)
+D
1
b] +(1 )x
(n)
cestdire x
(n+1)
= [Id(IdD
1
(E+F))]x
(n)
+D
1
b,, soit encore
1

Dx
(n+1)
= [
1

D(D(E+F))]x
(n)
+b. On en dduit que M

x
(n+1)
=
N

x
(n)
+b avec M

=
1

D et N

=
1

DA.
6. La matrice ditration est donc maintenant J

= M
1

qui est sy-

mtrique pour le produit scalaire (, )
M
donc en reprenant le raison-
nement de la question 2, il existe une base (

f
1
, . . . ,

f
N
) (IR
N
)
N
et
(
1
, . . .
N
) IR
N
tels que
J

f
i
= M

1
N

f
i
= D
1
_
1

DA
_

f
i
=
i

f
i
, i = 1, . . . N,
et
1

D

f
i

f
j
=
ij
, i, = 1, . . . N, j, = 1, . . . N.
Supposons
1
1, alors
1
= , avec 1 et D
1
(
1

D A)

f
1
=

f
1
, ou encore
1

D A

f
1
=
1

D

f
1
. On a donc
2

D A

f
1
= (1
)
1

D

f
1
, ce qui entrane (
2

DA)

f
1

f
1
0. Ceci contredit lhypothse
2

D A dnie positive.
De mme, si
N
1, alors
N
= avec 1. On a alors
(
1

DA)

f
N
=
1

D

f
N
,
et donc A

f
N
= (1)
1

D

f
N
ce qui entrane en particulier que A

f
N

f
N

0 ; or ceci contredit lhypothse A dnie positive.
7. On cherche une condition ncessaire et susante pour que
_
2

DA
_
x x > 0, x ,= 0, (1.8.82)
ce qui est quivalent
_
2

DA
_
f
i
f
i
> 0, i = 1, . . . , N, (1.8.83)
o les (f
i
)
i=1,N
sont les vecteurs propres de D
1
(E + F). En eet, la
famille (f
i
)
i=1,...,N
est une base de IR
N
, et
_
2

DA
_
f
i
=
_
2

DD + (E +F)
_
f
i
=
_
2

1
_
Df
i
+
i
Df
i
=
_
2

1 +
i
_
Df
i
.
(1.8.84)
92
On a donc en particulier
_
2

DA
_
f
i
f
j
= 0 is i ,= j, ce qui prouve que
(1.8.82) est quivalent (1.8.83).
De (1.8.83), on dduit, grce au fait que (Df
i
, f
i
) = 1,
__
2

DA
_
f
i
, f
i
_
=
_
2

1 +
i
_
.
On veut donc que
2

1+
1
> 0 car
1
= inf
i
, cestdire :
2

<
1
1,
ce qui est quivalent : <
2
1
1
.
8. La matrice ditration J

scrit :
J

=
_
1

D
_
1
_
1

D A
_
= I

, avec I

= D
1
(
1

DA).
Soit une valeur propre de I

associe un vecteur propre u ; alors :

D
1
_
1

DA
_
u = u, i.e.
_
1

DA
_
u = Du.
On en dduit que
(DA)u +
_
1

1
_
Du = Du, soit encore
D
1
(E +F)u =
_
1
1

+
_
u.
Or f
i
est vecteur prore de D
1
(E + F) associe la valeur propre
i
(question 2). On a donc :
D
1
(E +F)f
i
=
i
f
i
=
_
1
1

+
_
f
i
,
ce qui est vrai si
i
= 1
1

+ , cestdire =
i
1
1

. Donc

()
i
=
_

i
1
1

_
est valeur propre de J

associe au vecteur propre

f
i
.
On cherche maintenant minimiser le rayon spectral
(J

) = sup
i
[(
i
1
1

)[
On a
(
1
1
1

) (
i
1
1

) (
N
1
1

),
et
(
N
1
1

) (
1
1
1

) (
i
1
1

),
donc
(J

) = max
_
[(
N
1
1

)[, [ (
1
1
1

[)
_
dont le minimum est atteint (voir Figure 1.8) pour
(1
1
) 1 = 1 (1
N
) cestdire =
2
2
1

N
.
93
1
1
1N
1
11
[(1
1
) + 1[
[(1
N
) + 1[
max([(1
N
) + 1[, [(1
1
) + 1[)
2
21N

Figure 1.7 Dtermination de la valeur de ralisant le minimum du rayon

spectral.
Exercice 35 page 55 (Mthodes de Jacobi et Gauss-Seidel (I))
1.a. Soit (, ,= 0 et x (
N
, soit x

= (x
1
, x
2
, . . . ,
k1
x
k
,
N1
x
N
)
t
,
et soit est valeur propre de J associe au vecteur propre x. Calculons (E +
1

F)x

:
((E+
1

F)x

)
i
= a
i,i1

i2
x
i1
+
1

a
i,i+1

i
x
i+1
=
i1
(a
i,i1
x
i1
+a
i,i+1
x
i+1
=

i1
((E +F)x)
i
= (Dx

)
i
.
On a donc (E +
1

F)x

= Dx

. En prenant = dans lgalit prcdente,

on obtient :
1

Fx

= (DE)x

, et donc (DE)
1
Fx

=
2
x

. dduire que
si ,= 0 est valeur propre de J alors
2
est valeur propre de G (associe au
vecteur propre x

).
1.b. Rciproquement, supposons maintenant que
2
est valeur propre non nulle
de G, alors il existe y IR
N
, y ,= 0 tel que (D E)
1
Fy =
2
y. Soit x IR
N
tel que y = x

, cest--dire x
i
=
1i
y
i
, pour i = 1, . . . , N. On en dduit que
1

Fx

=
2
(DE)x

, et donc (E +
1

F)x

= Dx

.
Il est alors facile de vrier (calculs similaires ceux de la question 1.a) que
(E +F)x = Dx, do on dduit que est valeur propre de J.
2. De par la question 1, on a nalement que (, ,= 0 est valeur propre de J
si et seulement si
2
(, ,= 0 est valeur propre de G.
On en dduit que (G) = (J)
2
.
On a donc en particuler que (G) < 1 si et seulement si (G) < 1, ce qui
prouve que les mthodes de Jacobi et Gauss-Seidel convergent ou divergent
simultanment.
De plus, on a vu lexercice 39 page 57 que si B dsigne la matrice ditration
dune mthode irative x
(n+1)
= Bx
(n)
+c pour la rsolution de Ax = b, alors
|x
(n+1)
x|
|x
(n)
x|
(B) lorsque n +.
94
On en dduit que lorsquelle converge, la mthode de Gauss-Seidel converge plus
rapidement que la mthode de Jacobi.
3.1 Soit L

la matrice ditration de la mthode SOR associe A, et soit

une
valeur propre de L

= (
1

D E)
1
(
1

D + F). Il existe donc y Cl

N
, y ,= 0,
tel que
(1 D +F)y =

(D E)y.
Ceci scrit encore : (F +

E)y = (

11 + )Dy, et aussi, en notant

une valeur propre non nulle de J,
(

1 +
F +

1 +
E)y = Dy,
soit encore
(E +
1

F)y = Dy, (1.8.85)

avec
=

1 +
et
1

1 +
.
Ceci est possible si

1 + ,= 0, ,= 0, et

1 +

1 +
. (1.8.86)
Remarquons tout dabord quon a forcment

,= 1 . En eet, sinon, le
vecteur propre y associ

vrie Fy = Ey, ce qui est impossible pour

]0, 2[ et y ,= 0.
On a galement ,= 0 car ,= 0 et ,= 0.
Voyons maintenant pour quelles valeurs de

la relation (1.8.86) est vrie.

La relation (1.8.86) est quivalente (

1 +)
2
= (

)() ce qui revient

dire que

=
2

, o

est solution de lquation

+ 1 = 0. (1.8.87)
La relation (1.8.86) est donc vrie pour

=
2

, o

est racine de lquation

+ 1 = 0. Soit donc
+

et

les racines (ou ventuellement la

racine double) de cette quation (qui en admet toujours car on la rsoud dans
().
Donc si ,= 0 est valeur propre de J associe au vecteur propre x, en vertu de
(1.8.85) et de la question 1.a, les valeurs

telles que

= (

)
2
o

est
solution de (1.8.87) sont valeurs propres de la matrice L

associs au vecteurs
propres x
(

).
Rciproquement, si

=
2

, o

est solution de lquation (1.8.87), est valeur

propre de L

, alors il existe un vecteur y ,= 0 tel que L

y =

y. Soit x IR
N
tel que x

= y (i.e. x
i
=
1i

y
i
pour i = 1, . . . , N). On a alors :
((1 )D+F)x

=
2

(DE)x

, soit encore (E +F)x

= (
2

(1
))Dx

. Or
2

(1 ) =

grce a (1.8.87), et donc (E + F)x

Dx

. On vrie facilement que ceci entrane (E + F)x = Dx. on a ainsi

montr que est valeur propre de J.
On a montr que ,= 0 est valeur propre de J si et seulement si

=
2

, o

est solution de lquation (1.8.87). On en dduit que

(L

) = max
valeur propre de J
[

[;
2

+ 1 = 0.
95
est valeur propre de L

telles que = (
+

)
2
et

= (

)
2
sont valeurs propres
de la matrice L

associs au vecteurs propres x

(

) et x

. En dduire que
(L

) = max
valeur propre de J
[

[;
2

+ 1 = 0.
Exercice 36 page 55 (Mthode de Jacobi pour des matrices particu-
lires)
1. Soit x IR
N
, supposons que
|x|
A
=
N

i=1
a
i,i
[x
i
[ = 0.
Comme a
i,i
> 0, i = 1, . . . , N, on en dduit que x
i
= 0, i = 1, . . . , N.
Dautre part, il est immdiat de voir que |x+y|
A
|x|+|y|
A
pour tout
(x, y) IR
N
IR
N
et que |x|
A
= [[|x|
A
pour tout (x, ) IR
N
IR.
On en dduit que | |
A
est une norme sur IR
N
.
2. Posons

A = Id + A et notons a
i,j
ses coecients. Comme IR

+
,et
grce aux hypothses (1.6.55)(1.6.57), ceux-ci vrient :
a
i,j
0, i, j = 1, . . . , N, i ,= j, (1.8.88)
a
i,i
>
N

i=1
j=i
a
i,j
, i = 1, . . . , N. (1.8.89)
La matrice

A est donc diagonale dominante stricte, et par lexercice 31
page 52, elle est donc inversible.
3. La mthode de Jacobi pour la rsolution du systme (1.6.58) scrit :

Du
(k+1)
= (E +F)u
(k)
+b, (1.8.90)
avec

D = Id + D, et A = D E F est la dcomposition habituelle
de A en partie diagonale, triangulaire infrieure et triangulaire suprieure.
Comme a
i,i
0 et IR

+
, on en dduit que

D est inversible, et que donc
la suite (u
(k)
)
kN
est bien dnie dans IR.
4. Par dnition de la mthode de Jacobi, on a :
u
(k+1)
i
=
1
a
i,i
+
(

j=1,N
j=i
a
i,j
u
(k)
j
+b
i
).
On en dduit que
u
(k+1)
i
u
(k)
i
=
1
a
i,i
+

j=1,N
j=i
a
i,j
(u
(k)
j
u
(k1)
j
).
et donc
|u
(k+1)
u
(k)
|
A

N

i=1
a
i,i
a
i,i
+

j=1,N
j=i
a
i,j
(u
(k)
j
u
(k1)
j
).
96
Or
a
i,i
a
i,i
+

1
1 +

ai,i

1
1 +
. On a donc
|u
(k+1)
u
(k)
|
A

1
1 +
N

j=1
(u
(k)
j
u
(k1)
j
)

i=1,N
i=j
a
i,j
.
Et par hypothse,

i=1,N
i=j
a
i,j
= a
j,j
. On en dduit que
|u
(k+1)
u
(k)
|
A

1
1 +
|u
(k)
u
(k1)
|
A
.
On en dduit le rsultat par une rcurrence immdiate.
5. Soient p et q = p + m IN, avec m 0. Par le rsultat de la question
prcdente, on a :
|u
(q)
u
(p)
|
A

m

i=1
|u
(p+i)
u
(pi1)
|
A
|u
(1)
u
(0)
|
A
(
1
1 +
)
p
m

i=0
(
1
1 +
)
i
Or > 0 donc la srie de terme gnral (
1
1+
)
i
, et on a :
|u
(q)
u
(p)
|
A
|u
(1)
u
(0)
|
A
(
1
1 +
)
p
+

i=0
(
1
1 +
)
i
(1 +
1

)|u
(1)
u
(0)
|
A
(
1
1 +
)
p
0 lorsque p +.
On en dduit que pour tout > 0, il existe N tel que si p, q > N alors
|u
(q)
u
(p)
|
A
, ce qui montre que la suite est de Cauchy, et donc quelle
converge. Soit u sa limite. En passant la limite dans (1.8.90), on obtient
que u est solution de (1.6.58).
Exercice 37 page 56 (Une mthode itrative particulire)
1. Det (A) = 1 et donc A est inversible.
2. Det (
1

Id E) =
1

_
1

2
2
_
. Or ]0, 2[.
Donc la matrice
1

Id E est inversible si ,=

2
2
.
3. Les valeurs propres de L

sont les complexes tels quil existe x C

3
, x ,= 0,
t.q : L

x = x, cestdire :
_
F +
1

Id
_
x =
_
1

Id E
_
x,
97
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
3
2
1
0
1
2
3
Figure 1.8 Graphe des valeurs propres
1
et
3
soit encore M
,
x = 0, avec M
,
= F +E + (1 )Id.
Or
Det (M
,
) = (1 )((1 )
2
2
2

2
)
= (1 )(1 (1 +

2))(1 (1

2))
Les valeurs propres de L

sont donc relles, et gales

1
= 1 ,
2
=
1
1 +

2
et
3
=
1
1

2
.
Par dnition, le rayon spectral (L

) de la matrice L

est gal max([

1
[, [
2
[, [
3
[).
Remarquons tout dabord que [1+

2[ > 1, ]0, 2[, et donc [

1
[ > [
2
[,
]0, 2[. Il ne reste donc plus qu comparer [
1
[ et [
3
[. Une rapide tude des fonc-
tions [
1
[ et [
3
[ permet dtablir le graphe reprsentatif ci-contre.
On a donc :
(L

) = [
3
()[ =

1
1

si ]0,

2]
(L

) =
1
() = [1 [ si [

2, 2[.
4. La mthode est convergente si (L

) < 1 ; Si [

2, 2[, (L

) = 1 < 1 ;
si ]0,

2[,
(L

) =

1
1

< 1
ds que
1

2 1
< 1, cest dire >
2
1 +

2
.
Le minimum de (L

) est atteint pour

0
= 1, on a alors (L

) = 0.
Exercice 38 page 56 (Mthode des directions alternes)
1. On a vu en cours quune mthode itrative dnie par
_
u
(0)
IR
n
,
u
(k+1)
= Bu
(k)
+c
converge si et seulement si (B) < 1.
98
Mettons donc lalgorithme (1.6.60) sous la forme (1.8.91). On a :
(Y +Id)u
(k+1)
= X[(X +Id)
1
(Y u
(k)
+b)]
+b soit encore
u
(k+1)
= (Y +Id)
1
X(X +Id)
1
Y u
(k)
(Y +Id)
1
X(X +Id)
1
b + (Y +Id)
1
b.
On peut donc bien crire la mthode (1.6.60) sous la forme 1.8.91 avec
B = (Y +Id)
1
X(X +Id)
1
Y.
Donc la mthode converge si et seulement si (B) < 1.
Il reste montrer quelle converge vers u solution de Au = b. Soit u =
lim
u+
u
(k)
. On veut montrer que Au = b.
Comme u
(k)
converge et que u
(k+1/2)
est dni par (1.6.60), on a aussi
que u
(k+1/2)
converge.
Soit v = lim
h+
u
(k+1/2)
. On a donc, en passant la limite dans (1.6.60) :
(X +Id)v = Y u +b (1.8.91)
(Y +Id)u = Xv +b (1.8.92)
En additionnant et retranchant ces deux quations, on obtient :
(Xv +Y u +Id(u +v) = Y u Xv + 2b) (1.8.93)
(Xv Y u +Id(v u) = Y u +Xv (1.8.94)
Lquation (1.8.94) entrane Id(v u) = 0, cest dire v = u car ,= 0,
et en reportant dans (1.8.93), on obtient :
(X +Y )u + 2u = (X +Y )u +b
soit encore
(X +Y +Id)u = b, cestdire Au = b.
2. On veut montrer que si X +

2
Id et Y +

2
Id sont dnies positives, alors
((X +Id)
1
Y (Y +Id)
1
X) < 1.
a) Grce lexercice 1, on sait que les valeurs propres de (Y +Id)
1
X(X+
Id)
1
Y sont gales aux valeurs propres de Y (Y + Id)
1
X(X +
Id)
1
.
On a donc ((Y +Id)
1
X(X+Id)
1
Y ) = (X(X+Id)
1
Y (Y +
Id)
1
).
b) Comme les matrices X(X+Id)
1
et Y (Y +Id)
1
sont symtriques,
en posant
Z = Y (Y +Id)
1
X(X +Id)
1
,
on a :
(Z) = |Y (Y +Id)
1
X(X +Id)
1
|
2
|Y (Y +Id)
1
|
2
|X(X +Id)
1
|
2
et donc
(Z) (X(X +Id)
1
)(Y (Y +Id)
1
)
99
c) Soit valeur propre de X(X +Id)
1
.
Soit valeur propre de X, associe au vecteur propre w. On a Xw =
w et (X +Id)w = ( +)w. Donc
Xw =

+
(X +Id)w.
On en dduit que =

+
est valeur propre de X(X + Id)
1
associ au vecteur propre w.
Pour que (X(X+Id)
1
) < 1, il faut et il sut donc que [

+
[ <
1 pour toute valeur propre de .
Or comme > 0, si 0, [

+
[ =

+
< 1. Si < 0, il faut
distinguer le cas , auquel cas [

+
[ =

+
< 1 du cas
] , 0[.
Remarquons quon ne peut pas avoir = car la matrice X+Id
est suppose dnie positive. Donc on a dans ce dernier cas :
[

+
[ =

+
et la condition (X(X +Id)
1
) entrane
< +
cestdire
>

2
ce qui est quivalent dire que la matrice X+

2
Id est dnie positive.
d) On peut donc conclure que si les matrices (X +

2
Id) et (Y +

2
Id)
sont dnies positives, alors () < 1 (grce b) et c)) et donc la
mthode (1.6.60) converge.
Exercice 39 page 57 (Mthode de la puissance pour calculer le rayon
spectral de A)
1. Comme A est une matrice symtrique, A est diagonalisable dans IR. Soit
(f
1
, . . . , f
N
) (IR
N
)
N
une base orthonorme de vecteurs propres de A
associe aux valeurs propres (
1
, . . . ,
N
) IR
N
. On dcompose x
(0)
sur
(f
i
)
i=1...N
: x
(0)
=

N
i=1

i
f
i
. On a donc Ax
(0)
=

N
i=1

i
f
i
et A
n
x
(0)
=

N
i=1

n
i

i
f
i
.
On en dduit :
x
(n)

n
N
=
N

i=1
_

i

N
_
n

i
f
i
.
Comme
N
nest pas valeur propre,
lim
n+
(

i

N
)
n
= 0 si
i
,=
N
. (1.8.95)
100
Soient
1
, . . . ,
p
les valeurs propres direntes de
N
, et
p+1
, . . . ,
N
=

N
. On a donc
lim
n+
x
(n)

n
N
=

N
i=p+1

i
f
i
= x, avec Ax =
N
x.
De plus, x ,= 0 : en eet, x
(0)
/ (Ker(A
N
Id))

= V ectf
1
, . . . , f
p
,
et donc il existe i p + 1, . . . , N tel que
i
,= 0.
Pour montrer (b), remarquons que :
|x
(n+1)
| =
N

i=1

n+1
i

i
et |x
(n)
| =
N

i=1

n
i

i
car (f
1
, . . . , f
N
) est une base orthonorme. On a donc
|x
(n+1)
|
|x
(n)
|
=
n
N
|
x
(n+1)

n+1
N
|
|
x
(n)

N
|

N
|x|
|x|
=
N
lorsque n +.
2. a) La mthode I scrit partir de x
(0)
connu : x
(n+1)
= Bx
(n)
+c pour
n 1, avec c = (I B)A
1
b. On a donc
x
(n+1)
x = Bx
(n)
+ (Id B)x x
= B(x
(n)
x).
(1.8.96)
Si y
(n)
= x
(n)
x, on a donc y
(n+1)
= By
(n)
, et daprs la question
1a) si y
(0)
, Ker(B
N
Id) o
N
est la plus grande valeur propre
de B, (avec [
N
[ = (B)et
N
non valeur propre), alors
|y
(n+1)
|
|y
(n)
|
(B) lorsque n +,
cestdire
|x
(n+1)
x|
|x
(n)
x|
(B) lorsque n +.
b) On applique maintenant 1a) y
(n)
= x
(n+1)
x
(n)
avec
y
(0)
= x
(1)
x
(0)
o x
(1)
= Ax
(0)
.
On demande que x
(1)
x
(0)
/ Ker(B
N
Id)

comme en a), et on
a bien y
(n+1)
= By
(n)
, donc
|y
(n+1)
|
|y
(n)
|
(B) lorsque n +.
Exercice 40 page 58 (Mthode de la puissance inverse)
Comme 0 < [
i
[ < [
j
[ pour tout j ,= i, la matrice AId est inversible.
On peut donc appliquer lexercice 14 la matrice B = (AId)
1
. Les valeurs
propres de B sont les valeurs de
1

j

, j = 1, . . . , N, o les
j
sont les valeurs
propres de A.
101
Comme [
i
[ < [
j
[, j ,= i, on a (B) =
1
[
i
[
.
Or,
1

i

est valeur propre de B et
1

i
ne lest pas. En eet, si
1

i
tait valeur propre, il existerait j tel que
1

i
=
1

j

, ce qui est impossible
car [
i
[ < [
j
[ pour j ,= i. Donc (B) =
1

.
On a galement Ker(B
1

i

Id) = Ker(A
i
Id), donc
x
(0)
/ (Ker(B
1

i

Id))

= (Ker(A
i
Id)

.
On peut donc appliquer lexercice 39 page 57 qui donne 1 et 2.
102
Chapitre 2
Systmes non linaires
Dans le premier chapitre, on a tudi quelques mthodes de rsolution de sys-
tmes linaires en dimension nie. Lobjectif est maintenant de dvelopper des
mthodes de rsolution de systmes non linaires, toujours en dimension nie.
On se donne g C(IR
N
, IR
N
) et on cherche x dans IR
N
solution de :
_
x IR
N
g(x) = 0.
(2.0.1)
Au Chapitre I on a tudi des mthodes de rsolution du systme (2.0.1) dans
le cas particulier g(x) = Ax b, A /
N
(IR), b IR
N
. On va maintenant
tendre le champ dtude au cas o g nest pas forcment ane. On tudiera
deux familles de mthodes pour la rsolution approche du systme (2.0.1) :
les mthodes de point xe : point xe de contraction et point xe de monotonie
les mthodes de type Newton.
2.1 Les mthodes de point xe
2.1.1 Point xe de contraction
Soit g C(IR
N
, IR
N
), on dnit la fonction f C(IR
N
, IR
N
) par f(x) =
x + g(x). On peut alors remarquer que g(x) = 0 si et seulement si f(x) = x.
Rsoudre le systme non linaire (2.0.1) revient donc trouver un point xe de
f. Encore faut-il quun tel point xe existe. . .
Thorme 2.1 (Point xe) Soit E un espace mtrique complet, d la distance
sur E, et f : E E une fonction strictement contractante, cestdire telle
quil existe k ]0, 1[ tel que d(f(x), f(y)) kd(x, y) pour tout x, y E.
Alors il existe un unique point xe x E qui vrie f( x) = x. De plus si
x
(0)
E, et x
(n+1)
= f(x
(n)
) n 0, alors x
(n)
x quand n +.
Dmonstration :
Etape 1 : Existence de x et convergence de la suite
Soit x
(0)
E et (x
(n)
)
nIN
la suite dnie par x
(n+1)
= f(x
(n)
) pour
n 0. On va montrer que :
1. (x
(n)
)
n
est de Cauchy (donc convergente car E est complet),
103
2. lim
n+
x
(n)
= x est point xe de f.
Par hypothse, on sait que pour tout n 1,
d(x
(n+1)
, x
(n)
) = d(f(x
(n)
), f(x
(n1)
)) kd(x
(n)
, x
(n1)
).
Par rcurrence sur n, on obtient que
d(x
(n+1)
, x
(n)
) k
n
d(x
(1)
, x
(0)
), n 0.
Soit n 0 et p 1, on a donc :
d(x
(n+p)
, x
(n)
) d(x
(n+p)
, x
(n+p1)
) + +d(x
(n+1)
, x
(n)
)

q=1
d(x
(n+q)
, x
(n+q1)
)

q=1
k
n+q1
d(x
(1)
, x
(0)
)
d(x
(1)
, x
(0)
)k
n
(1 +k +. . . +k
p1
)
d(x
(1)
, x
(0)
)
k
n
1 k
0 quand n + car k < 1.
La suite (x
(n)
)
nIN
est donc de Cauchy, i.e. :
> 0, n

IN; n n

, p 1 d(x
(n+p)
, x
(n)
) .
Comme E est complet, on a donc x
(n)
x dans E quand n +.
Comme la fonction f est strictement contractante, elle est continue, donc
on a aussi f(x
(n)
) f( x) dans E quand n +. En passant la limite
dans lgalit x
(n+1)
= f(x
(n)
), on en dduit que x = f( x).
Etape 2 : Unicit
Soit x et y des points xes de f, qui satisfont donc x = f( x) et y = f( y).
Alors d(f( x), f( y)) = d( x, y) kd( x, y) ; comme k < 1, ceci est impossible
sauf si x = y.
Remarque 2.2
1. Sous les hypothses du thorme 2.1, d(x
(n+1)
, x) = d(f(x
(n)
), f( x))
kd(x
(n)
, x); donc si x
(n)
,= x alors
d(x
(n+1)
, x)
d(x
(n)
, x)
k (< 1). La convergence
est donc au moins linaire (mme si de fait, cette mthode converge en
gnral assez lentement).
2. On peut gnraliser le thorme du point xe en remplaant lhypothse f
strictement contractante" par il existe n > 0 tel que f
(n)
= f f . . . f
. .
n fois
est strictement contractante (reprendre la dmonstration du thorme
pour le vrier).
104
La question qui vient alors naturellement est : que faire si f nest pas strictement
contractante ? Soit g C(IR
N
, IR
N
) telle que f(x) = x + g(x). On aimerait
dterminer les conditions sur g pour que f soit strictement contractante. Plus
gnralement si ,= 0, on dnit f

(x) = x +g(x), et on remarque que x est

solution du systme (2.0.1) si et seulement si x est point xe de f

(x).
On aimerait dans ce cas avoir des conditions pour que f

soit strictement
contractante.
Thorme 2.3 (Point xe de contraction avec relaxation)
On dsigne par [.[ la norme euclidienne sur IR
N
. Soit g C(IR
N
, IR
N
) telle que
> 0 tel que (g(x) g(y)) (x y) [x y[
2
, x, y IR
N
, (2.1.2)
M > 0 tel que [g(x) g(y)[ M[x y[, x, y IR
N
. (2.1.3)
Alors la fonction f

est strictement contractante si 0 < <

2
M
2
.
Il existe donc un et un seul x IR
N
tel que g( x) = 0 et x
(n)
x quand n+
avec x
(n+1)
= f

(x
(n)
) = x
(n)
+g(x
(n+1)
).
Remarque 2.4 Le thorme 2.3 permet de montrer que sous les hypothses
(2.1.2) et (2.1.3), et pour ]0,
2
M
2
[, on peut obtenir la solution de (2.0.1) en
construisant la suite :
_
x
(n+1)
= x
(n)
+g(x
(n)
) n 0,
x
(0)
IR
N
.
(2.1.4)
Or on peut aussi crire cette suite de la manire suivante :
_
x
(n+1)
= f(x
(n)
), n 0
x
(n+1)
= x
(n+1)
+ (1 )x
(n)
, x
(0)
IR
N
.
(2.1.5)
En eet si x
(n+1)
est donn par la suite (2.1.5), alors x
(n+1)
= x
(n+1)
(1
)x
(n)
= f(x
(n)
) + (1 )x
(n)
= g(x
(n)
) + x
(n)
. Le procd de construction
de la suite (2.1.5) est lalgorithme de relaxation sur f.
Dmonstration du thorme 2.3
Soit 0 < <
2
M
2
. On veut montrer que f est strictement contractante, c..d.
quil existe k < 1 tel que [f

(x) f

(y)[ k[x y[ (x, y) (IR

N
)
2
. Soit
(x, y) (IR
N
)
2
, alors, par dnition de la norme euclidienne,
[f

(x) f

(y)[
2
=
_
x y +(g(x) g(y))
_

_
x y +(g(x) g(y))
_
= [x y[
2
+ 2(x y) ((g(x) g(y))) +
2
[g(x) g(y)[
2
.
Donc grce aux hypothses (2.1.2) et (2.1.3), on a : [f

(x) f

(y)[
2
(1
2 +
2
M
2
) [x y[
2
, et donc la fonction f

est strictement contractante si

1 2 +
2
M
2
< 1 ce qui est vri si 0 < <
2
M
2
.
105
Remarque 2.5 (Quelques rappels de calcul direntiel)
Soit h C
2
(IR
N
, IR). La fonction h est donc en particulier direntiable, c..d.
que pour tout x IR
N
, il existe Dh(x) L(IR
N
, IR) telle que h(x + y) =
h(x) + Dh(x)(y) + [y[(y) o (y) 0
y0
. On a dans ce cas, par dnition du
gradient, Dh(x)(y) = h(x) y o h(x) = (
1
h(x), ,
N
h(x))
t
IR
N
est le
gradient de h au point x (on dsigne par
i
h la drive partielle de f par rapport
sa i-me variable).
Comme on suppose h C
2
(IR
N
, IR), on a donc g = h C
1
(IR
N
, IR
N
), et g
est continment diffrentiable, cestdire
Dg(x) L(IR
N
, IR
N
), et g(x +y) = g(x) +Dg(x)(y) +[y[(y),
o (y) 0
y0
.
Comme Dg(x) L(IR
N
, IR
N
),on peut reprsenter Dg(x) par une matrice de
/
N
(IR), on confond alors lapplication linaire et la matrice qui la reprsente
dans la base canonique, et on crit par abus de notation Dg(x) /
N
(IR).
On peut alors crire, grce cet abus de notation, Dg(x)(y) = Dg(x)y avec
(Dg(x)y)
i
=

i,j=1,N

2
i,j
h
j
(x) o
2
i,j
h =
i
(
j
h)(x).
Comme h est de classe C
2
, la matrice Dg(x) est symtrique. Pour x IR
N
,
on note (
i
(x))
1iN
les valeurs propres de Dg(x), qui sont donc relles. On
peut donc bien supposer dans la proposition (2.6) ci-dessous quil existe des rels
strictement positifs et tels que
i
(x) , i 1 . . . N, x IR
N
.
Donnons un exemple de fonction g vriant les hypothses (2.1.2) et (2.1.3).
Proposition 2.6 Soit h C
2
(IR
N
, IR), et (
i
)
i=1,N
les valeurs propres de la
matrice hessienne de h. On suppose quil existe des rels strictement positifs
et tels que
i
(x) , i 1 . . . N, x IR
N
. Alors la fonction
g = h (gradient de h) vrie les hypothses (2.1.2) et (2.1.3) du thorme 2.3
avec = et M = .
Dmonstration de la proposition 2.6
Montrons dabord que lhypothse (2.1.2) est vrie. Soit (x, y) (IR
N
)
2
, on
veut montrer que (g(x) g(y)) (x y) [x y[
2
. On introduit pour cela la
fonction C
1
(IR, IR
N
) dnie par :
(t) = g(x +t(y x)).
On a donc (1) (0) = g(y) g(x) =
_
1
0

(t)dt. Or

(t) = Dg(x + t(y

x))(y x). Donc g(y) g(x) =
_
1
0
Dg(x+t(y x))(y x)dt. On en dduit que :
(g(y) g(x)) (y x) =
_
1
0
(Dg(x +t(y x))(y x) (y x)) dt.
Comme
i
(x) [, ] i 1 . . . N, on a donc [y[
2
Dg(z)y y
[y[
2
. On a donc : (g(y) g(x)) (y x)
_
1
0
[y x[
2
dt = [y x[
2
ce
qui termine la dmonstration de (2.1.2).
Montrons maintenant que lhypothse (2.1.3) est vrie. On veut montrer que
[g(y) g(x)[ [y x[. On peut crire :
g(y) g(x) =
_
1
0
Dg(x +t(y x))(y x)dt,
106
et donc
[g(y) g(x)[
_
1
0
[Dg(x +t(y x))(y x)[dt

_
1
0
[Dg(x +t(y x))[[y x[dt,
o [.[ est la norme sur /
N
(IR) induite par la norme euclidienne sur IR
N
.
Or, comme
i
(x) [, ] pour tout i = 1, . . . , N, la matrice Dg(x+t(yx))
est symtrique dnie positive. Et donc, daprs lexercice 5 page 41,
[Dg(x +t(y x)[ = (Dg(x +t(y x)) .
On a donc ainsi montr que :
[g(y) g(x)[ [y x[,
ce qui termine la dmonstration.
Remarque 2.7 Dans de nombreux cas, le problme de rsolution dun problme
non linaire apparat sous la forme Ax = R(x) o A est une matrice carre
dordre N inversible, et R C(IR
N
, IR
N
). On peut le rcrire sous la forme x =
A
1
R(x). On peut donc appliquer lalgorithme de point xe sur la fonction f =
A
1
R, ce qui donne comme itration : x
(n+1)
= A
1
R(x
(n)
). Si on pratique un
point xe avec relaxation, avec paramtre de relaxation > 0, alors litration
scrit : x
(n+1)
= A
1
R(x
(n)
), x
(n+1)
= x
(n+1)
+ (1 )x
(n)
.
2.1.2 Point xe de monotonie
Thorme 2.8 (Point xe de monotonie)
Soient A /
N
(IR) et R C(IR
N
, IR
N
). On suppose que :
1. x IR
N
, Ax 0 x 0, cest--dire
_
(Ax)
i
0, i = 1, . . . , N
_

_
x
i
0, i = 1, . . . , N
_
.
2. R est monotone, c..d. que si x y (composante par composante) alors
R(x) R(y) (composante par composante).
3. 0 est une sous-solution du problme, cest--dire que R(0) 0 et il existe
x IR
N
; x 0 tel que x est une sur-solution du problme, cest--dire
que A x R( x).
On pose x
(0)
= 0 et Ax
(n+1)
= R(x
(n)
). On a alors :
1. 0 x
(n)
x, n IN,
2. x
(n+1)
x
(n)
, n IN,
3. x
(n)
x quand n + et A x = R( x).
Dmonstration du thorme 2.8
Comme A est inversible la suite (x
(n)
)
nIN
vriant
_
x
(0)
= 0,
Ax
(n+1)
= R(x
(n)
), n 0
est bien dnie. On va montrer par rcurrence sur n que 0 x
(n)
x pour tout
n 0 et que x
(n)
x
(n+1)
pour tout n 0.
107
1. Pour n = 0, on a x
(0)
= 0 et donc 0 x
(0)
x et Ax
(1)
= R(0) 0. On
en dduit que x
(1)
0 grce aux hypothses 1 et 3 et donc x
(1)
x
(0)
= 0.
2. On suppose maintenant (hypothse de rcurrence) que 0 x
(p)
x et
x
(p)
x
(p+1)
pour tout p 0, . . . , n 1.
On veut montrer que 0 x
(n)
x et que x
(n)
x
(n+1)
. Par hypothse de
rcurrence pour p = n1, on sait que x
(n)
x
(n1)
et que x
(n1)
0. On
a donc x
(n)
0. Par hypothse de rcurrence, on a galement que x
(n1)

x et grce lhypothse 2, on a donc R(x

(n1)
) R( x). Par dnition de
la suite (x
(n)
)
nIN
, on a Ax
(n)
= R(x
(n1)
) et grce lhypothse 3, on
sait que A x R( x). On a donc : A( x x
(n)
) R( x) R(x
(n1)
) 0. On
en dduit alors (grce lhypothse 1) que x
(n)
x.
De plus, comme Ax
(n)
= R(x
(n1)
) et Ax
(n+1)
= R(x
(n)
), on a A(x
(n+1)

x
(n)
) = R(x
(n)
) R(x
(n1)
) 0 par lhypothse 2, et donc grce lhy-
pothse 1, x
(n+1)
x
(n)
.
On a donc ainsi montr (par rcurrence) que
0 x
(n)
x, n 0
x
(n)
x
(n+1)
, n 0.
Ces ingalits sentendent composante par composante, c..d. que si x
(n)
=
(x
(n)
1
. . . x
(n)
N
)
t
IR
N
et x = ( x
1
. . . x
N
)
t
IR
N
, alors 0 x
(n)
i
x
i
et x
(n)
i

x
(n+1)
i
, i 1 . . . N, et n 0.
Soit i 1 . . . N ; la suite (x
(n)
i
)
nIN
IR est croissante et majore par x
i
donc
il existe x
i
IR tel que x
i
= lim
n+
x
(n)
i
. Si on pose x = ( x
1
. . . x
N
)
t
IR
N
, on
a donc x
(n)
x quand n +.
Enn, comme Ax
(n+1)
= R(x
(n)
) et comme R est continue, on obtient par
passage la limite lorsque n + que A x = R( x) et que 0 x x.
Lhypothse 1 du thorme 2.8 est souvent appele principe du maximum". Elle
est vrie par exemple par les matrices A quon a obtenues par discrtisation
par dirences nies des oprateurs u

sur lintervalle ]0, 1[ (voir page 25) et

u sur ]0, 1[]0, 1[ (voir page 29). Le principe du maximum est aussi caractris
de la manire suivante (plus dicile utiliser en pratique) :
Proposition 2.9 Lhypothse 1 du thorme 2.8 est vrie si et seulement si
A inversible et A
1
a des coecients 0.
Dmonstration :
Supposons dabord que lhypothse 1 du thorme 2.8 est vrie et montrons
que A inversible et que A
1
a des coecients 0. Si x est tel que Ax = 0, alors
Ax 0 et donc, par hypothse, x 0. Mais on a aussi Ax 0, soit A(x) 0
et donc par hypothse, x 0. On en dduit x = 0, ce qui prouve que A est
inversible.
Lhypothse 1 donne alors que y 0 A
1
y 0. En prenant y = e
1
on obtient
que la premire colonne de A
1
est positive, puis en prenant y = e
i
on obtient
108
que la i-me colonne de A
1
est positive, pour i = 2, . . . , N. Donc A
1
a tous
ses coecients positifs.
Supposons maintenant que A est inversible et que A
1
a des coecients positifs.
Soit x IR
N
tel que Ax = y 0, alors x = A
1
y 0. Donc A vrie lhypothse
1.
Thorme 2.10 (Gnralisation du prcdent)
Soit A /
N
(IR), R C
1
(IR
N
, IR
N
), R = (R
1
, . . . , R
N
)
t
tels que
1. Pour tout 0 et pour tout x IR
N
, Ax +x 0 x 0
2.
R
i
x
j
0, i, j t.q. i ,= j (R
i
est monotone croissante par rapport la
variable x
j
si j ,= i) et > 0,
R
i
x
i
0, x IR
N
, i 1 . . . N
(R
i
est monotone dcroissante par rapport la variable x
i
).
3. 0 R(0) (0 est sous-solution) et x 0 tel que A( x) R( x) ( x est
sur-solution).
Soient x
(0)
= 0, , et (x
(n)
)
nIN
la suite dnie par Ax
(n+1)
+ x
(n+1)
=
R(x
(n)
) + x
(n)
. Cette suite converge vers x IR
N
et A x = R( x). De plus,
0 x
(n)
x n IN et x
(n)
x
(n+1)
, n IN.
Dmonstration : On se ramne au thorme prcdent avec A + Id au lieu
de A et R + au lieu de R.
Remarque 2.11 (Point xe de Brouwer) On sest intress ici uniquement
des thormes de point xe constructifs", i.e. qui donnent un algorithme pour
le dterminer. Il existe aussi un thorme de point xe dans IR
N
avec des hypo-
thses beaucoup plus gnrales (mais le thorme est non constructif ), cest le
thorme de Brouwer : si f est une fonction continue de la boule unit de IR
N
dans la boule unit, alors elle admet un point xe dans la boule unit.
2.1.3 Vitesse de convergence
Dnition 2.12 (Vitesse de convergence) Soit (x
(n)
)
nIN
IR
N
et x
IR
N
. On suppose que x
(n)
x lorsque n +, avec x
(n)
,= x pour tout
n IN. On sintresse la vitesse de convergence" de la suite (x
(n)
)
nIN
. On
dit que :
1. la convergence est au moins linaire sil existe ]0, 1[ et il existe
n
0
IN tels que si n n
0
alors |x
(n+1)
x| |x
(n)
x|.
2. La convergence est linaire si il existe ]0, 1[ tel que
|x
(n+1)
x|
|x
(n)
x|
quand n +,
3. La convergence est super linaire si
|x
(n+1)
x|
|x
(n)
x|
0 quand n +,
109
4. La convergence est au moins quadratique si il existe ]0, 1[ et il
existe n
0
IN tels que si n n
0
alors |x
(n+1)
x| |x
(n)
x|
2
,
5. La convergence est quadratique si
> 0
|x
(n+1)
x|
|x
(n)
x|
2
quand n +.
Remarque 2.13 La convergence quadratique est videmment plus rapide" que
la convergence linaire.
Proposition 2.14 Soit f C
1
(IR, IR) ; on suppose quil existe x IR tel que
f( x) = x. On construit la suite
x
(0)
IR
x
(n+1)
= f(x
(n)
).
1. Si on suppose que f

( x) ,= 0 et [f

( x)[ < 1, alors il existe > 0 tel que si

x
(0)
I

= [ x , x +] alors x
(n)
x lorsque n +, et si x
(n)
,= x,
alors
[x
(n+1)
x[
[x
(n)
x[
[f

( x)[ = , o ]0, 1[. La convergence est donc

linaire.
2. Si on suppose maintenant que f

( x) = 0 et f C
2
(IR, IR),alors il existe
> 0 tel que si x
(0)
I

= [ x , x + ], alors x
(n)
x quand n + ,
et si x
(n)
,= x, n IN alors
[x
(n+1)
x[
[x
(n)
x[
2
=
1
2
[f

( x)[.
La convergence est donc au moins quadratique.
Dmonstration
1. Supposons que [f

( x)[ < 1, et montrons quil existe > 0 tel que si x

(0)
I

alors x
(n)
x. Comme f C
1
(IR, IR) il existe > 0 tel que = max
xI
[f

(x)[ <
1 ( par continuit de f

).
On va maintenant montrer que f : I

est strictement contractante, on

pourra alors appliquer le thorme du point xe f
|I
, (I

tant ferm), pour

obtenir que x
(n)
x o x est lunique point xe de f
|I
.
Soit x I

; montrons dabord que f(x) I

: comme f C
1
(IR, IR), il existe
]x, x[ tel que [f(x) x[ = [f(x) f( x)[ = [f

()[[x x[ [x x[ < , ce
qui prouve que f(x) I

.
On vrie alors que f
|I
est strictement contractante en remarquant que pour
tous x, y I

, x < y, il existe ]x, y[( I

) tel que [f(x) f(y)[ = [f

()[[x
y[ [x y[ avec < 1.
On a ainsi montr que x
(n)
x si x
(0)
I

.
Cherchons maintenant la vitesse de convergence de la suite. Supposons que
f

( x) ,= 0 et x
(n)
,= x pour tout n IN. Comme x
(n+1)
= f(x
(n)
) et x = f( x),
on a [x
(n+1)
x[ = [f(x
(n)
)f( x)[. Comme f C
1
(IR, IR), il existe
n
]x
(n)
, x[
ou ] x, x
(n)
[, tel que f(x
(n)
) f( x) = f

(
n
)(x
(n)
x). On a donc
[x
(n+1)
x[
[x
(n)
x[
= [f

(
n
)[ [f

( x)[ car x
(n)
x et f

est continue.
110
On a donc une convergence linaire.
2. Supposons maintenant que f

( x) = 0 et f C
2
(IR, IR). On sait dj par ce
qui prcde quil existe > 0 tel que si x
(0)
I

alors x
(n)
x lorsque
n +. On veut estimer la vitesse de convergence. On suppose pour cela que
x
(n)
,= x pour tout n IN.
Comme f C
2
(IR, IR), il existe
n
]x
(n)
, x[ tel que f(x
(n)
)f( x) = f

( x)(x
(n)

x) +
1
2
f

(
n
)(x
(n)
x)
2
. On a donc : x
(n+1)
x =
1
2
f

(
n
)(x
(n)
x)
2
ce qui
entrane que
[x
(n+1)
x[
[x
(n)
x[
2
=
1
2
[f

(
n
)[
1
2
[f

( x)[ quand n +.
La convergence est donc quadratique.
On tudie dans le paragraphe suivant la mthode de Newton pour la rsolution
dun systme non linaire. Donnons lide de la mthode de Newton dans le cas
N = 1 partir des rsultats de la proposition prcdente. Soit g C
3
(IR, IR) et
x IR tel que g( x) = 0. On cherche une mthode de construction dune suite
(x
(n)
)
n
IR
N
qui converge vers x de manire quadratique. On pose
f(x) = x +h(x)g(x) avec h C
2
(IR, IR) tel que h(x) ,= 0 x IR.
on a donc
f(x) = x g(x) = 0.
Si par miracle f

( x) = 0, la mthode de point xe sur f va donner (pour

x
(0)
I

donn par la proposition 2.14) (x

(n)
)
nIN
tel que x
(n)
x de manire
au moins quadratique. Or on a f

(x) = 1+h

(x)g(x)+g

(x)h(x) et donc f

( x) =
1+g

( x)h( x). Il sut donc de prendre h tel que h( x) =

1
g

( x)
. Ceci est possible
si g

( x) ,= 0.
En rsum, si g C
3
(IR, IR) est telle que g

(x) ,= 0 x IR et g( x) = 0, on
peut construire, pour x assez proche de x, la fonction f C
2
(IR, IR) dnie par
f(x) = x
g(x)
g

(x)
.
Grce la proposition 2.14, il existe > 0 tel que si x
(0)
I

alors la suite
dnie par x
(n+1)
= f(x
(n)
) = x
(n)

g(x
(n)
)
g

(x
(n)
)
converge vers x de manire au
moins quadratique.
Remarquons que la construction de la suite de Newton scrit encore (dans le
cas N = 1) g

(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
) ou encore g(x
(n)
)+g

(x
(n)
)(x
(n+1)

x
(n)
) = 0.
2.2 Mthode de Newton
2.2.1 Construction et convergence de la mthode
On a vu ci-dessus comment se construit la mthode de Newton partir du
point xe de monotonie en dimension N = 1. On va maintenant tudier cette
111
mthode dans le cas N quelconque. Soient g C
1
(IR
N
, IR
N
) et x IR
N
tels
que g( x) = 0.
On cherche une mthode de construction dune suite (x
(n)
)
n
IR
N
qui converge
vers x de manire quadratique. Lalgorithme de Newton de construction dune
telle suite scrit :
_
x
(0)
IR
N
Dg(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
), n 0.
(2.2.6)
(On rappelle que Dg(x
(n)
) /
N
(IR) est la matrice reprsentant la direntielle
de g en x
(n)
.)
Pour chaque n IN, il faut donc eectuer les oprations suivantes :
1. Calcul de Dg(x
(n)
),
2. Rsolution du systme linaire Dg(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
).
Remarque 2.15 Si la fonction g dont on cherche un zro est linaire, i.e. si g
est dnie par g(x) = Axb avec A /
N
(IR) et b IR
N
, alors la mthode de
Newton revient rsoudre le systme linaire Ax = b. En eet Dg(x
(n)
) = A et
donc (2.2.6) scrit Ax
(n+1)
= b.
Pour assurer la convergence et la qualit de la mthode, on va chercher mainte-
nant rpondre aux questions suivantes :
1. la suite (x
(n)
)
n
estelle bien dnie ? Aton Dg(x
(n)
) inversible ?
2. Aton convergence x
(n)
x quand n +?
3. La convergence est-elle au moins quadratique ?
Thorme 2.16 (Convergence de la mthode de Newton, I) Soient g
C
2
(IR
N
, IR
N
) et x IR
N
tels que g( x) = 0. On munit IR
N
dune norme | |.
On suppose que Dg( x) est inversible. Alors il existe b > 0, et > 0 tels que
1. si x
(0)
B( x, b) = x IR
N
, |x x| < b alors la suite (x
(n)
)
nIN
est
bien dnie par (2.2.6) et x
(n)
B( x, b) pour tout n IN,
2. si x
(0)
B( x, b) et si la suite (x
(n)
)
nIN
est dnie par (2.2.6) alors
x
(n)
x quand n +,
3. si x
(0)
B( x, b) et si la suite (x
(n)
)
nIN
est dnie par (2.2.6) alors
|x
(n+1)
x| |x
(n)
x|
2
n IN.
Pour dmontrer ce thorme, on va commencer par dmontrer le thorme sui-
vant, qui utilise des hypothses plus faibles mais pas trs faciles vrier en
pratique :
Thorme 2.17 (Convergence de la mthode de Newton, II)
Soient g C
1
(IR
N
, IR
N
) et x IR
N
tels que g( x) = 0. On munit IR
N
dune
norme || et /
N
(IR) de la norme induite. On suppose que Dg( x) est inversible.
On suppose de plus quil existe a, a
1
, a
2
IR

+
tels que :
1. si x B( x, a) alors Dg(x) est inversible et |Dg(x))
1
| a
1
;
2. si x, y B( x, a) alors |g(y) g(x) Dg(x)(y x)| a
2
|y x|
2
.
Alors, si on pose : b = min
_
a,
1
a
1
a
2
_
> 0, = a
1
a
2
et si x
(0)
B( x, b), on a :
112
1. (x
(n)
)
nIN
est bien dnie par (2.2.6),
2. x
(n)
x lorsque n +,
3. |x
(n+1)
x| |x
(n)
x|
2
n IN.
Dmonstration du thorme 2.17
Soit x
(0)
B( x, b) B( x, a) o b a. On va montrer par rcurrence sur n
que x
(n)
B( x, b) n IN (et que (x
(n)
)
nIN
est bien dnie). Lhypothse de
rcurrence est que x
(n)
est bien dni, et que x
(n)
B( x, b). On veut montrer
que x
(n+1)
est bien dni et x
(n+1)
B( x, b).
Comme b a, la matrice Dg(x
(n)
) est inversible et x
(n+1)
est donc bien dni ;
on a : x
(n+1)
x
(n)
= Dg(x
(n)
)
1
(g(x
(n)
)). Pour montrer que x
(n+1)
B( x, b)
on va utiliser le fait que b
1
a
1
a
2
.
Par hypothse, on sait que si x, y B( x, a), on a
|g(y) g(x) Dg(x)(y x)| a
2
|y x|
2
.
Prenons y = x et x = x
(n)
B( x, a) dans lingalit ci-dessus. On obtient alors :
|g( x) g(x
(n)
) Dg(x
(n)
)( x x
(n)
)| a
2
| x x
(n)
|
2
.
Comme g( x) = 0 et par dnition de x
(n+1)
, on a donc :
|Dg(x
(n)
)(x
(n+1)
x
(n)
) Dg(x
(n)
)( x x
(n)
)| a
2
| x x
(n)
|
2
,
et donc
|Dg(x
(n)
)(x
(n+1)
x)| a
2
| x x
(n)
|
2
. (2.2.7)
Or x
(n+1)
x = [Dg(x
(n)
)]
1
(Dg(x
(n)
))(x
(n+1)
x), et donc
|x
(n+1)
x| |Dg(x
(n)
)
1
| |Dg(x
(n)
)(x
(n+1)
x)|.
En utilisant (2.2.7), les hypothses 1 et 2 et le fait que x
(n)
B( x, b), on a donc
|x
(n+1)
x| a
1
a
2
|x
(n)
x|
2
< a
1
a
2
b
2
. (2.2.8)
Or a
1
a
2
b
2
< b car b
1
a
1
a
2
. Donc x
(n+1)
B( x, b).
On a ainsi montr par rcurrence que la suite (x
(n)
)
nIN
est bien dnie et que
x
(n)
B( x, b) pour tout n 0.
Pour montrer la convergence de la suite (x
(n)
)
nIN
vers x, on repart de lingalit
(2.2.8) :
a
1
a
2
|x
(n+1)
x| (a
1
a
2
)
2
| x x
(n)
|
2
= (a
1
a
2
|x
(n)
x|)
2
, n IN,
et donc par rcurrence a
1
a
2
|x
(n)
x| (a
1
a
2
|x
(0)
x|)
2
n
n IN. Comme
x
(0)
B( x, b) et b
1
a1a2
, on a (a
1
a
2
|x
(0)
x|) < 1 et donc |x
(n)
x| 0
quand n +.
La convergence est au moins quadratique car lingalit (2.2.8) scrit : |x
(n+1)

x| |x
(n)
x|
2
avec = a
1
a
2
.
Dmonstration du thorme 2.16
Soient g C
2
(IR
N
, IR
N
) et x IN tels que g( x) = 0. Par hypothse, Dg( x) est
inversible. Il sut de dmontrer (pour se ramener au thorme 2.17) quil existe
a, a
1
, a
2
IR

+
tels que
113
1. si x B( x, a) alors Dg(x) est inversible et |(Dg(x))
1
| a
1
,
2. si x, y B( x, a) alors |g(y) g(x) Dg(x)(y x)| a
2
|y x|
2
.
Remarquons dabord que Dg(x) = Dg( x) Dg( x) +Dg(x) = Dg( x)(Id+S) o
S = Dg( x)
1
(Dg(x)Dg( x)). Or si |S| < 1, la matrice (Id+S) est inversible et
|(Id +S)
1
|
1
1S
. Nous allons donc essayer de majorer |S|. Par dnition
de S, on a :
|S| |Dg( x)
1
| |Dg(x) Dg( x).|
Comme g C
2
(IR
N
, IR
N
), on a Dg C
1
(IR
N
, /
N
(IR))) ; donc par continuit
de Dg, pour tout IR

+
, il existe a IR

+
tel que si |x x| a alors
|Dg(x) Dg( x)| . En prenant =
1
2Dg( x)
1

, il existe donc a > 0 tel que

si x B( x, a) alors |Dg(x) Dg( x)|
1
2Dg( x)
1

, et donc si x B( x, a), alors

|S|
1
2
. On en dduit que si x B( x, a) alors Id + S est inversible et donc
que Dg(x) = Dg( x)(Id +S) est inversible (on rappelle que Dg( x) est inversible
par hypothse). De plus, si x B( x, a) on a : |(Id + S)
1
|
1
1S
2 et
comme (Id + S)
1
= (Dg( x))
1
Dg(x), on a |Dg(x)
1
Dg( x)| 2, et donc
|Dg(x)
1
| |(Dg(x))
1
||(Dg(x))
1
Dg(x)| 2|(Dg(x))
1
|.
En rsum, on a donc prouv lexistence de a et de a
1
= 2|Dg( x)
1
| tels que si
x B( x, a) alors Dg(x) est inversible et |Dg(x)
1
| a
1
. Il reste maintenant
trouver a
2
tel que si x, y B( x, a) alors |g(y)g(x)Dg(x)(yx)| a
2
|yx|
2
.
Comme g C
2
(IR
N
, IR
N
), on a donc Dg C
1
(IR
N
, /
N
(IR))) (remarquons
que jusqu prsent on avait utilis uniquement le caractre C
1
de g). On dnit
la fonction C
1
(IR, IR
N
) par (t) = g(x +t(y x)) g(x) tDg(x)(y x).
On a donc (1) = g(y) g(x) Dg(x)(y x) (cest le terme quon veut majorer
en norme) et (0) = 0. On crit maintenant que est lintgrale de sa drive :
(1) (0) =
_
1
0

(t)dt =
_
1
0
Dg(x +t(y x))(y x) Dg(x)(y x)dt.
On a donc
|(1) (0)[ = |g(y) g(x) Dg(x)(y x)|

_
1
0
|Dg(x +t(y x))(y x) Dg(x)(y x)|dt
|y x|
_
1
0
|Dg(x +t(y x)) Dg(x)|dt.
(2.2.9)
Pour majorer |Dg(x + t(y x)) Dg(x))|, on utilise alors le thorme des
accroissements nis
1
(parfois aussi appel thorme de la moyenne") appliqu
Dg ; de lingalit (2.2.9), on tire donc que pour x, y B( x, a) et t ]0, 1[ :
|Dg(x+t(yx))Dg(x)| t|yx| sup
cB( x,a)
|D(Dg)(c)|
L(IR
N
,MN(IR))
.
(2.2.10)
1. Thorme des accroissements nis : Soient E et F des espaces vectoriels norms,
soient h C
1
(E, F) et (x, y) E
2
. On dnit ]x, y[= {tx + (1 t)y, t ]0, 1[}. Alors :
h(y) h(x) y x sup
z]x,y[
Dh(z)
L(E,F)
.
(On rappelle que si T L(E, F) alors T
[L(E,F)
= sup
xE,x
E
=1
Tx
F
|.)
Attention : Si dimF > 1, on ne peut pas dire, comme cest le cas en dimension 1, que :
]x,y[ t.q. h(y) h(x) = Dh()(y x).
114
Comme D(Dg) = D
2
g est continue par hypothse, et comme B( x, a) est inclus
dans un compact, on a
a
2
= sup
cB( x,a)
|D(Dg)(c)|
L(IR
N
,MN(IR))
< +.
De plus, t < 1 et on dduit de (2.2.10) que :
|Dg(x +t(y x) Dg(x))| a
2
|y x|,
et de lingalit (2.2.9) on dduit ensuite que
|g(y) g(x) Dg(x)(y x)|
_
1
0
a
2
|y x|dt |y x| = a
2
|y x|
2
.
On a donc ainsi dmontr que g vrie les hypothses du thorme 2.17, ce qui
termine la dmonstration du thorme 2.16.
Remarque 2.18 On ne sait pas bien estimer b dans le thorme 2.16, et ceci
peut poser problme lors de limplantation numrique : il faut choisir litr
initial x
(0)
susamment proche" de x pour avoir convergence.
2.2.2 Variantes de la mthode de Newton
Lavantage majeur de la mthode de Newton par rapport une mthode de
point xe par exemple est sa vitesse de convergence dordre 2. On peut dailleurs
remarquer que lorsque la mthode ne converge pas, par exemple si litr initial
x
(0)
na pas t choisi susamment proche" de x, alors la mthode diverge trs
vite. . .
Linconvnient majeur de la mthode de Newton est son cot : on doit dune part
calculer la matrice jacobienne Dg(x
(n)
) chaque itration, et dautre part la
factoriser pour rsoudre le systme linaire Dg(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
).
(On rappelle que pour rsoudre un systme linaire, il ne faut pas calculer
linverse de la matrice, mais plutt la factoriser sous la forme LU par exemple,
et on calcule ensuite les solutions des systmes avec matrice triangulaires faciles
inverser, voir Chapitre 1.) Plusieurs variantes ont t proposes pour tenter
de rduire ce cot.
Faux quasi Newton
Soient g C
1
(IR
N
, IR
N
) et x IR tels que g( x) = 0. On cherche calculer x.
Si on le fait par la mthode de Newton, lalgorithme scrit :
_
x
(0)
IR
N
,
Dg(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
), n 0.
La mthode du Faux quasi-Newton (parfois appele quasi-Newton) consiste
remplacer le calcul de la matrice jacobienne Dg(x
(n)
) chaque itration par
un calcul toutes les quelques" itrations. On se donne une suite (n
i
)
iIN
, avec
n
0
= 0 et n
i+1
> n
i
i IN, et on calcule la suite (x
(n)
)
nIN
de la manire
suivante :
115
_
x
(0)
IR
N
Dg(x
(ni)
)(x
(n+1)
x
(n)
) = g(x
(n)
) si n
i
n < n
i+1
.
(2.2.11)
Avec cette mthode, on a moins de calculs et de factorisations de la matrice
jacobienne Dg(x) eectuer, mais on perd malheureusement la convergence
quadratique : cette mthode nest donc pas trs utilise en pratique.
Newton incomplet
On suppose que g scrit sous la forme : g(x) = Ax + F
1
(x) + F
2
(x), avec
A /
N
(IR) et F
1
, F
2
C
1
(IR
N
, IR
N
). Lalgorithme de Newton (2.2.6) scrit
alors :
_
_
_
x
(0)
IR
N
_
A +DF
1
(x
(n)
) +DF
2
(x
(n)
)
_
(x
(n+1)
x
(n)
) =
Ax
(n)
F
1
(x
(n)
) F
2
(x
(n)
).
La mthode de Newton incomplet consiste ne pas tenir compte de la jacobienne
de F
2
.
_
x
(0)
IR
N
(A +DF
1
(x
(n)
))(x
(n+1)
x
(n)
) = Ax
(n)
F
1
(x
(n)
) F
2
(x
(n)
).
(2.2.12)
On dit quon fait du Newton sur F
1
et du point xe sur F
2
. Les avantages
de cette procdure sont les suivants :
La mthode ne ncessite pas le calcul de DF
2
(x), donc on peut lemployer si
F
2
C(IR
N
, IR
N
)) nest pas drivable.
On peut choisir F
1
et F
2
de manire ce que la structure de la matrice A +
DF
1
(x
(n)
) soit meilleure que celle de la matrice A+DF
1
(x
(n)
)+DF
2
(x
(n)
) ;
si par exemple A est la matrice issue de la discrtisation du Laplacien, cest
une matrice creuse. On peut vouloir conserver cette structure et choisir F
1
et
F
2
de manire ce que la matrice A + DF
1
(x
(n)
) ait la mme structure que
A.
Dans certains problmes, on connat a priori les couplages plus ou moins forts
dans les non-linarits : un couplage est dit fort si la variation dune variable
entrane une variation forte du terme qui en dpend. Donnons un exemple :
Soit f de IR
2
dans IR
2
dnie par f(x, y) = (x + sin(10
5
y), exp(x) + y),
et considrons le systme non linaire f(x, y) = (a, b)
t
o (a, b)
t
IR
2
est
donn. Il est naturel de penser que pour ce systme, le terme de couplage
de la premire quation en la variable y sera faible, alors que le couplage de
deuxime quation en la variable x sera fort.
On a alors intrt mettre en oeuvre la mthode de Newton sur la partie
couplage fort" et une mthode de point xe sur la partie couplage faible".
Linconvnient majeur est la perte de la convergence quadratique. La mthode
de Newton incomplet est cependant assez souvent employe en pratique en raison
des avantages numrs ci-dessus.
Remarque 2.19 Si F
2
= 0, alors la mthode de Newton incomplet est exacte-
ment la mthode de Newton. Si F
1
= 0, la mthode de Newton incomplet scrit
A(x
(n+1)
x
(n)
) = Ax
(n)
F
2
(x
(n)
), elle scrit alors Ax
(n+1)
= F
2
(x
(n)
),
ou encore x
(n+1)
= A
1
F
2
(x
(n)
) si A inversible. Cest donc dans ce cas la
mthode du point xe sur la fonction A
1
F
2
.
116
Mthode de la scante
La mthode de la scante est une variante de la mthode de Newton dans le cas
de la dimension 1 despace. On suppose ici N = 1 et g C
1
(IR, IR). La mthode
de Newton pour calculer x IR tel que g(x) = 0 scrit :
_
x
(0)
IR
g

(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
), n 0.
On aimerait simplier le calcul de g

(x
(n)
), cestdire remplacer g

(x
(n)
) par
une quantit proche sans calculer g

. Pour cela, on remplace la drive par un

quotient direntiel. On obtient la mthode de la scante :
_
_
_
x
(0)
, x
(1)
IR
g(x
(n)
) g(x
(n1)
)
x
(n)
x
(n1)
(x
(n+1)
x
(n)
) = g(x
(n)
) n 1.
(2.2.13)
Remarquons que dans la mthode de la scante, x
(n+1)
dpend de x
(n)
et de
x
(n1)
: on a une mthode deux pas ; on a dailleurs besoin de deux itrs
initiaux x
(0)
et x
(1)
. Lavantage de cette mthode est quelle ne ncessite pas le
calcul de g

. Linconvnient est quon perd la convergence quadratique. On peut

toutefois montrer (voir exercice 54 page 125) que si g( x) = 0 et g

( x) ,= 0, il
existe > 0 tel que si x
(0)
, x
(1)
[ x. x+] = I

, la suite (x
(n)
)
nIN
construite
par la mthode de la scante (2.2.13) est bien dnie, que (x
(n)
)
nIN
I

et
que x
(n)
x quand n +. De plus, la convergence est super linaire, i.e.
si x
(n)
,= x pour tout n IN, alors
x
(n+1)
x
x
(n)
x
0 quand n +. On peut
mme montrer (voir exercice 54 page 125) que la mthode de la scante est
convergente dordre d, o d est le nombre dor.
Mthodes de type Quasi Newton"
On veut gnraliser la mthode de la scante au cas N > 1. Soient donc g
C
1
(IR
N
, IR
N
). Pour viter de calculer Dg(x
(n)
) dans la mthode de Newton
(2.2.6), on va remplacer Dg(x
(n)
) par B
(n)
/
N
(IR) proche de Dg(x
(n)
). En
sinspirant de la mthode de la scante en dimension 1, on cherche une matrice
B
(n)
qui, x
(n)
et x
(n1)
tant connus, vrie la condition :
B
(n)
(x
(n)
x
(n1)
) = g(x
(n)
) g(x
(n1)
) (2.2.14)
Dans le cas o N = 1, cette condition dtermine entirement B
(n)
: B
(n)
=
g(x
(n)
) g(x
(n1)
x
(n)
x
(n1)
. Si N > 1, ceci ne permet pas de dterminer compltement
B
(n)
. Il y a plusieurs faons possibles de choisir B
(n)
, nous en verrons en parti-
culier dans le cadre des mthodes doptimisation (voir chapitre 4, dans ce cas la
fonction g est un gradient), nous donnons ici la mthode de Broyden. Celle-ci
consiste choisir B
(n)
de la manire suivante : x
(n)
et x
(n1)
connus, on pose

(n)
= x
(n)
x
(n1)
et y
(n)
= g(x
(n)
)g(x
(n1)
) ; on suppose B
(n1)
/
N
(IR)
connue, et on cherche B
(n)
/
N
(IR) telle que
B
(n)

(n1)
= y
(n1)
(2.2.15)
117
(cest la condition (2.2.14), qui ne sut pas dterminer B
(n)
de manire
unique) et qui vrie galement :
B
(n)
= B
(n1)
, IR
N
tel que
(n)
. (2.2.16)
Proposition 2.20 (Existence et unicit de la matrice de Broyden)
Soient y
(n)
IR
N
,
(n)
IR
N
et B
(n1)
/
N
(IR). Il existe une unique matrice
B
(n)
/
N
(IR) vriant (2.2.15) et (2.2.16) ; la matrice B
(n)
sexprime en
fonction de y
(n)
,
(n)
et B
(n1)
de la manire suivante :
B
(n)
= B
(n1)
+
y
(n)
B
(n1)

(n)

(n)

(n)
(
(n)
)
t
. (2.2.17)
Dmonstration : Lespace des vecteurs orthogonaux
(n)
est de dimension
N 1. Soit (
1
, . . . ,
N1
) une base de cet espace, alors (
1
, . . . ,
N1
,
(n)
)
est une base de IR
N
et si B
(n)
vrie (2.2.15) et (2.2.16), les valeurs prises par
lapplication linaire associe B
(n)
sur chaque vecteur de base sont connues, ce
qui dtermine lapplication linaire et donc la matrice B
(n)
de manire unique.
Soit B
(n)
dnie par (2.2.17), on a :
B
(n)

(n)
= B
(n1)

(n)
+
y
(n)
B
(n1)

(n)

(n)

(n)
(
(n)
)
t

(n)
= y
(n)
,
et donc B
(n)
vrie (2.2.15). Soit IR
N
tel que
(n)
, alors
(n)
=
(
(n)
)
t
= 0 et donc
B
(n)
= B
(n1)
+
(y
(n)
B
(n1)

(n)
)

(n)

(n)
(
(n)
)
t
= B
(n1)
,
(n)
.
Lalgorithme de Broyden scrit donc :
_

_
Initialisation : x
(0)
, x
(1)
IR
N
B
0
/
N
(IR)
A x
(n)
, x
(n1)
et B
(n1)
connus, on pose

(n)
= x
(n)
x
(n1)
et y
(n)
= g(x
(n)
) g(x
(n1)
);
Calcul de B
(n)
= B
(n1)
+
y
(n)
B
(n1)

(n)

(n)

(n)
(
(n)
)
t
,
Itration n : rsolution de : B
(n)
(x
(n+1)
x
(n)
) = g(x
(n)
).
Une fois de plus, lavantage de cette mthode est de ne pas ncessiter le cal-
cul de Dg(x), mais linconvnient est la perte du caractre quadratique de la
convergence .
118
2.3 Exercices
Exercice 41 (Calcul direntiel) Suggestions en page 126, corrig dtaill
en page 128
Soit f C
2
(IR
N
, IR).
1/ Montrer que pour tout x IR
N
, il existe un unique vecteur a(x) IR
N
tel
que Df(x)(h) = a(x) h pour tout h IR
N
.
Montrer que (a(x))
i
=
i
f(x).
2/ On pose f(x) = (
1
f(x), . . . ,
1
f(x))
t
. Soit lapplication dnie de IR
N
dans IR
N
par (x) = f(x). Montrer que C
1
(IR
N
, IR
N
) et que D(x)(y) =
A(x)y, o A(x))
i,j
=
2
i,j
f(x).
3/ Soit f C
2
(IR
3
, IR) la fonction dnie par f(x
1
, x
2
, x
3
) = x
2
1
+ x
2
1
x
2
+
x
2
cos(x
3
). Donner la dnition et lexpression de Df(x), f(x),Df, D
2
f(x),
H
f
(x).
Exercice 42 (Mthode de monotonie)
Suggestions en page 126, corrig dtaill en page 129
On suppose que f C
1
(IR, IR), f(0) = 0 et que f est croissante. On sintresse,
pour > 0, au systme non linaire suivant de N quations N inconnues
(notes u
1
, . . . , u
N
) :
(Au)
i
=
i
f(u
i
) +b
i
i 1, . . . , N,
u = (u
1
, . . . , u
N
)
t
IR
N
,
(2.3.18)
o
i
> 0 pour tout i 1, . . . , N, b
i
0 pour tout i 1, . . . , N et A
/
N
(IR) est une matrice vriant
u IR
N
, Au 0 u 0. (2.3.19)
On suppose quil existe > 0 t.q. (2.3.18) ait une solution, note u
()
, pour
= . On suppose aussi que u
()
0.
Soit 0 < < . On dnit la suite (v
(n)
)
nIN
IR
N
par v
(0)
= 0 et, pour n 0,
(Av
(n+1)
)
i
=
i
f(v
(n)
i
) +b
i
i 1, . . . , N. (2.3.20)
Montrer que la suite (v
(n)
)
nIN
est bien dnie, convergente (dans IR
N
) et que
sa limite, note u
()
, est solution de (2.3.18) (et vrie 0 u
()
u
()
).
Exercice 43 (Point xe amlior)
Soit g C
3
(IR, IR) et x IR tels que g(x) = 0 et g

(x) ,= 0.
On se donne C
1
(IR, IR) telle que (x) = x.
On considre lalgorithme suivant :
_
_
_
x
0
IR,
x
n+1
= h(x
n
), n 0.
(2.3.21)
avec h(x) = x
g(x)
g

((x))
119
1) Montrer quil existe > 0 tel que si x
0
[x , x + ] = I

, alors la suite
donne par lalgorithme (2.3.21) est bien dnie ; montrer que x
n
x lorsque
n +.
On prend maintenant x
0
I

o est donn par la question 1.

2) Montrer que la convergence de la suite (x
n
)
nIN
dnie par lalgorithme
(2.3.21) est au moins quadratique.
3) On suppose que

est lipschitzienne et que

(x) =
1
2
. Montrer que la
convergence de la suite (x
n
)
nIN
dnie par (2.3.21) est au moins cubique, cest-
-dire quil existe c IR
+
tel que
[x
n+1
x[ c[x
n
x[
3
, n 1.
4) Soit IR

+
tel que g

(x) ,= 0 x I

=]x , x + [ ; montrer que si on

prend telle que :
(x) = x
g(x)
2g

(x)
si x I

,
alors la suite dnie par lalgorithme (2.3.21) converge de manire cubique.
Exercice 44 (Nombre ditrations ni pour Newton) Corrig dtaill
en page 132
1. Soit f la fonction de IR dans IR dnie par : f(x) = e
x
1. Pour x
(0)
IR,
on note (x
(n)
)
nIN
la suite des itrs construits par la mthode de Newton pour
la recherche dun point o f sannule.
1.1 Montrer que pour tout x
(0)
IR, la suite (x
(n)
)
nIN
est bien dnie.
1.2 Montrer que si x
(0)
,= 0, alors x
(n+1)
,= x
(n)
pour tout n IN. En dduire que
la mthode de Newton converge en un nombre ni doprations si et seulement
si f(x
(0)
) = 0.
1.3 Montrer que :
1.3 (a) si x
(0)
< 0 alors x
(1)
> 0.
1.3 (b) si x
(0)
> 0 alors 0 < x
(1)
< x
(0)
.
1.4 Montrer que la suite (x
(n)
)
nIN
converge lorsque n tend vers linni et donner
sa limite.
2. Soit F : IR
N
IR
N
une fonction continment direntiable et strictement
convexe (N 1) et dont la direntielle ne sannule pas. Soit x
(0)
IR
N
le
choix initial (ou itr 0) dans la mthode de Newton.
Montrer que la mthode de Newton converge en un nombre ni doprations si
et seulement si F(x
(0)
) = 0.
Exercice 45 (Newton et logarithme) Suggestions en page 127, corrig d-
taill en page 2.5 page 132
Soit f la fonction de IR

+
dans IR dnie par f(x) = ln(x). Montrer que la
mthode de Newton pour la recherche de x tel que f(x) = 0 converge si et
seulement si le choix initial x
(0)
est tel que x
(0)
]0, e[.
120
Exercice 46 (Mthode de Newton pour le calcul de linverse) Corrig
en page 132
1. Soit a > 0. On cherche calculer
1
a
par lalgorithme de Newton.
(a) Montrer que lalgorithme de Newton appliqu une fonction g (dont
1
a
est un zro) bien choisie scrit :
_
x
(0)
donn,
x
(n+1)
= x
(n)
(2 ax
(n)
).
(2.3.22)
(b) Montrer que la suite (x
(n)
)
nIN
dnie par (2.3.22) vrie
lim
n+
x
(n)
=
_

_
1
a
si x
(0)
]0,
2
a
[,
si x
(0)
] , 0[]
2
a
, +[
2. On cherche maintenant calculer linverse dune matrice par la mthode
de Newton. Soit donc A une matrice carre dordre N inversible, dont on
cherche calculer linverse.
(a) Montrer que lensemble GL
N
(IR) des matrices carres inversibles
dordre N (o N 1) est un ouvert de lensemble /
N
(IR) des
matrices carres dordre N.
(b) Soit T lapplication dnie de GL
N
(IR) dans GL
N
(IR) par T(B) =
B
1
. Montrer que T est drivable, et que DT(B)H = B
1
HB
1
.
(c) Ecrire la mthode de Newton pour calculer A
1
en cherchant le zro
de la fonction g de /
N
(IR) dans /
N
(IR) dnie par g(B) = B
1

A. Soit B
(n)
la suite ainsi dnie.
(d) Montrer que la suite B
(n)
dnie dans la question prcdente vrie :
Id AB
(n+1)
= (Id AB
(n)
)
2
.
En dduire que la suite (B
(n)
)
nIN
converge vers A
1
si et seulement
si (Id AB
(0)
) < 1.
Exercice 47 (Mthode de Newton pour le calcul de la racine) Corrig
dtaill en page 134
1. Soit IR
+
et f

la fonction de IR dans IR dnie par f

(x) = x
2
.
1.1 Soit x
(0)
IR x. Donner lalgorithme de Newton pour la rsolution
de lquation f

(x) = 0.
1.2 On suppose x
(0)
> 0.
(i) Montrer que la suite (x
(k)
)
k1
est minore par

.
(ii) Montrer que la suite (x
(k)
)
k0
converge et donner sa limite.
Soit N IN

et soit A /
N
(IR) une matrice diagonalisable dans IR ;
on note
i
, i = 1, . . . , N les valeurs propres de A. On suppose que
i
> 0
pour tout i = 1, . . . , N.
121
2. Montrer quil existe au moins une matrice B /
N
(IR) telle que
B
2
= A. Calculer une telle matrice B dans le cas o N = 2 et
A =
_
1 1
0 2
_
.
3. On suppose de plus que A est symtrique dnie positive. Montrer
quil existe une unique matrice symtrique dnie positive B telle
que B
2
= A. Montrer par un contre exemple que lunicit nest pas
vrie si on ne demande pas que B soit symtrique dnie positive.
Soit F lapplication de /
N
(IR) dans /
N
(IR) dnie par F(X) = X
2
A.
4. Montrer que F est direntiable en tout X /
N
(IR), et dterminer
DF(X)H pour tout H /
N
(IR).
Dans la suite de lexercice, on considre la mthode de Newton pour
dterminer B.
5. On suppose maintenant N 1. On note (X
(k)
)
kIN
la suite (si elle
existe) donne par lalgorithme de Newton partir dun choix initial
X
(0)
= I, o I est la matrice identit de /
N
(IR).
5.1 Donner le procd de construction de X
(k+1)
en fonction de X
(k)
,
pour k 0.
5.2 On note
1

N
les valeurs propres de A (dont certaines
peuvent tre gales) et P la matrice orthogonale telle que A =
P
1
diag(
1
, ,
N
)P.
(i) Montrer que pour tout k IN, X
(k)
est bien dnie et vaut
X
(k)
= P
1
diag(
(k)
1
, ,
(k)
N
)P o
(k)
i
est le k
i` eme
terme
de la suite de Newton associ la fonction f
i
avec comme
choix initial
(0)
i
= 1.
(ii) En dduire que la suite X
(k)
converge vers B quand k +.
Exercice 48 (Valeurs propres et mthode de Newton)
Suggestions en page 127, corrig dtaill en page 137
Soit A /
N
(IR) une matrice symtrique. Soient une valeur propre simple
de A et x IR
N
un vecteur propre associ t.q. x x = 1. Pour calculer (, x) on
applique la mthode de Newton au systme non linaire (de IR
N+1
dans IR
N+1
)
suivant :
Ax x = 0,
x x = 1.
(2.3.23)
Montrer que la mthode est localement convergente.
Exercice 49 (Modication de la mthode de Newton)
Suggestions en page 127, corrig dtaill en page 137
Soient f C
1
(IR
N
, IR
N
) et x IR
N
t.q. f(x) = 0. On considre, pour > 0
donn, la mthode itrative suivante :
Initialisation : x
(0)
IR
N
.
Iterations : pour n 0,
x
(n+1)
= x
(n)
[Df(x
(n)
)
t
Df(x
(n)
) +Id]
1
Df(x
(n)
)
t
f(x
(n)
).
122
[Noter que, pour = 0, on retrouve la mthode de Newton.]
1. Montrer que la suite (x
(n)
)
nIN
est bien dnie.
2. On suppose, dans cette question, que N = 1 et que f

(x) ,= 0. Montrer
que la mthode est localement convergente en x.
3. On suppose que le rang de Df(x) est gal N. Montrer que la mthode est
localement convergente en x. [Noter que cette question redonne la question
prcdente si N = 1.]
Exercice 50 (Convergence de la mthode de Newton si f

(x) = 0)
Suggestions en page 127, corrig dtaill en page 139
Soient f C
2
(IR, IR) et x IR t.q. f(x) = 0.
1. Rappel du cours. Si f

(x) ,= 0, la mthode de Newton est localement

convergente en x et la convergence est au moins dordre 2.
2. On suppose maintenant que f

(x) = 0 et f

(x) ,= 0. Montrer que la m-

thode de Newton est localement convergente (en excluant le cas x
0
= x. . . )
et que la convergence est dordre 1. Si on suppose f de classe C
3
, donner
une modication de la mthode de Newton donnant une convergence au
moins dordre 2.
Exercice 51 (Variante de la mthode de Newton)
Corrig dtaill en page 140
Soit f C
1
(IR, IR) et x IR tel que f( x) = 0. Soient x
0
IR, c IR

+
, IR

+
.
On suppose que les hypothses suivantes sont vries :
(i) x I = [x
0
c, x
0
+c],
(ii) [f(x
0
)[
c
2
,
(iii) [f

(x) f

(y)[
1
2
, (x, y) I
2
(iv) [f

(x)[
1

x I.
On dnit la suite (x
(n)
)
nIN
par :
x
(0)
= x
0
,
x
(n+1)
= x
(n)

f(x
(n)
)
f

(y)
,
(2.3.24)
o y I est choisi arbitrairement.
1. Montrer par rcurrence que la suite dnie par (2.3.24) satisfait x
(n)
I
pour tout n IN.
(On pourra remarquer que si x
(n+1)
est donn par (2.3.24) alors x
(n+1)

x
0
= x
(n)
x
0

f(x
(n)
)f(x0)
f

(y)

f(x0)
f

(y)
.)
2. Montrer que la suite (x
(n)
)
nIN
dnie par (2.3.24) vrie [x
(n)
x[
c
2
n
et quelle converge vers x de manire au moins linaire.
3. On remplace lalgorithme (2.3.24) par
x
(0)
= x
0
,
x
(n+1)
= x
(n)

f(x
(n)
)
f

(y
(n)
)
,
(2.3.25)
123
o la suite (y
(n)
)
nIN
est une suite donne dlments de I. Montrer que la
suite (x
(n)
)
nIN
converge vers x de manire au moins linaire, et que cette
convergence devient super-linaire si f

(y
n
) f

( x) lorsque n +.
4. On suppose maintenant que N 1 et que f C
1
(IR
N
, IR
N
). La mthode
dnie par (2.3.24) ou (2.3.25) peut-elle se gnraliser, avec dventuelles
modications des hypothses, la dimension N ?
Exercice 52 (Mthode de Newton pour un systme semi linaire)
Suggestions en page 127, corrig dtaill en page 142
On suppose que f C
2
(IR, IR) et que f est croissante. On sintresse au systme
non linaire suivant de N quations N inconnues (notes u
1
, . . . , u
N
) :
(Au)
i
+
i
f(u
i
) = b
i
i 1, . . . , N,
u = (u
1
, . . . , u
N
)
t
IR
N
,
(2.3.26)
o A /
N
(IR) est une matrice symtrique dnie positive,
i
> 0 pour tout
i 1, . . . , N et b
i
IR pour tout i 1, . . . , N.
On admet que (2.3.26) admet au moins une solution (ceci peut tre dmontr
mais est dicile).
1. Montrer que (2.3.26) admet une unique solution.
2. Soit u la solution de (2.3.26). Montrer quil existe a > 0 t.q. la mthode de
Newton pour approcher la solution de (2.3.26) converge lorsque le point
de dpart de la mthode, not u
(0)
, vrie [u u
(0)
[ < a.
Exercice 53 (Mthode de Steensen)
Suggestions en page 128, corrig dtaill en page 143
Soient f C
2
(IR, IR) et x IR t.q. f(x) = 0 et f

(x) ,= 0. On considre la
mthode itrative suivante :
Initialisation : x
(0)
IR
N
.
Itrations : pour n 0, si f(x
(n)
+f(x
(n)
)) ,= f(x
(n)
),
x
(n+1)
= x
(n)

(f(x
(n)
))
2
f(x
(n)
+f(x
(n)
)) f(x
(n)
)
, (2.3.27)
et si f(x
(n)
+f(x
(n)
)) = f(x
(n)
), x
(n+1)
= x
(n)
.
1. Montrer quil existe > 0 tel que si x
(n)
B(x, ), alors f(x
(n)
+
f(x
(n)
)) ,= f(x
(n)
) si x
(n)
,= x. En dduire que si x
0
B(x, ), alors
toute la suite (x
(n)
)
nIN
vrie (2.3.27) pourvu que x
(n)
,= x pour tout
n IN.
2. Montrer par des dveloppements de Taylor avec reste intgral qu il existe
une fonction a continue sur un voisinage de x telle que si x
0
B(x, ),
alors
x
(n+1)
x = a(x
(n)
)(x
(n)
x), pour tout n IN tel que x
(n)
,= x.
(2.3.28)
3. Montrer que la mthode est localement convergente en x et la convergence
est au moins dordre 2.
124
Exercice 54 (Mthode de la scante) Corrig en page 2.5 page 146
Soient f C
2
(IR, IR) et x IR t.q. f(x) = 0 et f

(x) ,= 0. Pour calculer x, on

considre la mthode itrative suivante (appele mthode de la scante") :
Initialisation : x
0
, x
1
IR.
Itrations : pour n 1, x
n+1
= x
n

f(x
n
)(x
n
x
n1
)
f(x
n
) f(x
n1
)
si f(x
n
) ,= 0 et
x
n+1
= x
n
si f(x
n
) = 0.
Si la suite (x
n
)
nIN
est bien dnie par cette mthode, on pose e
n
= [x
n
x[
pour tout n IN.
1. Montrer quil existe > 0 t.q. pour x
0
, x
1
]x , x +[, x
0
,= x
1
, la m-
thode de la scante dnit bien une suite (x
n
)
nIN
et lon a e
n+1
(1/2)e
n
pour tout n 1. [Raisonner par rcurrence : on suppose x
n
, x
n1

]x , x + [, x
n
,= x
n1
et x
n
,= x. Montrer, grce un choix conve-
nable de , que f(x
n
) ,= f(x
n1
) et que f(x
n
) ,= 0. En dduire que x
n+1
est bien dni et x
n
,= x
n+1
. Puis, toujours grce un choix convenable
de , que e
n+1
(1/2)e
n
. Conclure.]
Dans les questions suivantes, on suppose que x
0
, x
1
]x, x+[, x
0
,= x
1
( trouv la premire question) et que la suite (x
n
)
nIN
donne par la
mthode de la scante vrie x
n
,= x pour tout n IN. On pose d =
(1 +

5)/2 et on dmontre que la convergence est en gnral dordre d.

2. Pour x ,= x, on dnit (x) comme la moyenne de f

sur lintervalle dont

les extrmits sont x et x.
(a) Montrer que e
n+1
= e
n
e
n1
M
n
, pour tout n 1, avec M
n
=
[
(xn)(xn1)
f(xn)f(xn1)
[.
(b) Montrer que la fonction est drivable sur IRx. Calculer lim
xx

(x).
(c) Calculer la limite de la suite (M
n
)
n1
lorsque n . En dduire
que la suite (M
n
)
n1
est borne.
3. Soit M > 0, M M
n
pour tout n 1 (M
n
donn la question prc-
dente). On pose a
0
= Me
0
, a
1
= Me
1
et a
n+1
= a
n
a
n1
pour n 1.
(a) Montrer que Me
n
a
n
pour tout n IN.
(b) Montrer quil existe
1
]0, ] t.q. la suite (a
n
)
n1
tend en dcroissant
vers 0 lorsque n +, si x
0
, x
1
]x
1
, x +
1
[.
(c) Dans cette question, on prend x
0
, x
1
]x
1
, x +
1
[. Montrer quil
existe > 0 et ]0, 1[ t.q Me
n
a
n
()
d
n
pour tout n IN
(ceci correspond une convergence dordre au moins d). [On pourra
utiliser la relation de rcurrence ln a
n+1
= ln a
n
+lna
n1
pour n 1].
(d) (Question plus dicile) Si f(x) ,= 0, e
n+1
= e
n
e
n1
M
n
, montrer
que M
n
M, quand n , avec M > 0. En dduire quil existe
> 0 t.q.
en+1
(en)
d
quand n (ceci signie que la convergence
est exactement dordre d). [Considrer, par exemple,
n
= ln e
n+1

d ln e
n
et montrer que
n
converge dans IR quand n .]
(e) Comparer lordre de convergence de la mthode de la scante celui
de la mthode de Newton.
125
Exercice 55 (Mthode de Newton-Tchebyche)
1. Soit f C
3
(IR, IR) et soit x IR tel que x = f( x) et f

( x) = f

( x) = 0.
Soit (x
n
)
nIN
la suite dnie par :
_
x
0
IR,
x
n+1
= f(x
n
).
(PF)
Montrer que la suite converge localement, cestdire quil existe un voi-
sinage V de x tel que si x
0
V alors x
n
x lorsque n +. Montrer
que la vitesse de convergence est au moins cubique (c est dire qu il
existe IR
+
tel que [x
n+1
x[ [x
n
x[
3
si la donne initiale x
0
est
choisie dans un certain voisinage de x).
2. Soit g C
3
(IR, IR), et soit x IR tel que g( x) = 0 et g

( x) ,= 0. Pour
une fonction h C
3
(IR, IR) dterminer, on dnit f C
3
(IR, IR) par
f(x) = x+h(x)g(x). Donner une expression de h( x) et h

( x) en fonction de
g

( x) et de g

( x) telle que la mthode (PF) applique la recherche dun

point xe de f converge localement vers x avec une vitesse de convergence
au moins cubique.
3. Soit g C
5
(IR, IR), et soit x IR tel que g( x) = 0 et g

( x) ,= 0. On
considre la modication suivante (due Tchebychev) de la mthode de
Newton :
x
n+1
= x
n

g(x
n
)
g

(x
n
)

g

(x
n
)[g(x
n
)]
2
2[g

(x
n
)]
3
. (2.3.29)
Montrer que la mthode (2.3.29) converge localement et que la vitesse de
convergence est au moins cubique.
2.4 Suggestions pour les exercices du chapitre 2
Suggestions pour lexercice 41 page 119 (Calcul direntiel)
1. Utiliser le fait que Df(x) est une application linaire et le thorme de Riesz.
Appliquer ensuite la direntielle un vecteur h bien choisi.
2. Mmes ides...
Suggestions pour lexercice 42 page 119 (Mthode de monotonie)
Pour montrer que la suite (v
(n)
)
nIN
est bien dnie, remarquer que la matrice A
est inversible. Pour montrer quelle est convergente, montrer que les hypothses
du thorme du point xe de monotonie vu en cours sont vries.
Suggestions pour lexercice 43 page 119 (Point xe amlior)
1) Montrer quon peut choisir de manire ce que [h

(x)[ < 1 si x I

, et en
dduire que g

((x
n
) ,= 0 si x
0
est bien choisi.
2) Remarquer que
[x
n+1
x[ = (x
n
x)(1
g(x
n
) g(x)
(x
n
x)g

((x
n
))
. (2.4.30)
126
En dduire que
[x
n+1
x[
1

[x
n
x[
2
sup
xI
[

(x)[ sup
xI
[g

(x)[.
3) Reprendre le mme raisonnement avec des dveloppements dordre suprieur.
4) Montrer que vrie les hypothses de la question 3).
Suggestions pour lexercice 45 page 120 (Newton et logarithme)
Etudier les variations de la fonction dnie par : (x) = x xln x.
Suggestions pour lexercice 48 page 122 (Valeurs propres et mthode
de Newton)
Ecrire le systme sous la forme F(x, ) = 0 o F est une fonction de IR
N+1
dans IR
N+1
et montrer que DF(, x) est inversible.
Suggestions pour lexercice 49 page 122 (Modication de la mthode
de Newton)
1. Remarquer que si A /
N
(IR) et > 0, alors A
t
A + Id est symtrique
dnie positive.
2. En introduisant la fonction dnie par (t) = f(tx
n
+ (1 t)x), montrer
que f(x
n
) = (x
n
x)g(x
n
), o g(x) =
_
1
0
f

(tx +(1 t)x)dt. Montrer que g est

continue.
Montrer que la suite (x
n
)
nIN
vrie x
n+1
x = a
n
(x
n
x), o
a
n
= 1
f

(x
n
)g(x
n
)
f

(x
n
)
2
+
,
et quil existe tel que si x
n
B(x, ), alors a
n
]0, 1[. Conclure.
3. Reprendre la mme mthode que dans le cas N = 1 pour montrer que la suite
(x
n
)
nIN
vrie x
n+1
x = D(x
n
)(x
n
x), o D ((IR
N
, /
N
(IR)). Montrer
que D(x) est symtrique et montrer alors que |D(x)|
2
< 1 en calculant son
rayon spectral. Conclure par continuit comme dans le cas prcdent.
Suggestions pour lexercice 50 page 123 (Convergence de la mthode
de Newton si f

(x) = 0)
Supposer par exemple que f

(x) > 0 et montrer que si x

0
est assez proche"
de x la suite (x
n
)
nIN
est croissante majore ou dcroissante minore et donc
convergente. Pour montrer que lordre de la mthode est 1, montrer que
|x
n+1
x|
|x
n
x|

1
2
lorsque n +.
Suggestions pour lexercice 52 page 124 (Mthode de Newton)
1. Pour montrer lunicit, utiliser la croissance de f et le caractre s.d.p. de A.
2. Utiliser le thorme de convergence du cours.
127
Suggestions pour lexercice 53 page 124 (Mthode de Steensen))
1. Utiliser la monotonie de f dans un voisinage de x.
2. Dvelopper le dnominateur dans lexpression de la suite en utilisant le fait
que f(x
n
+ f(x
n
)) f(x
n
) =
_
1
0

(t)dt o (t) = f(x

n
+ tf(x
n
)), puis que
f

(x
n
+ tf(x
n
)) =
_
t
0

(s)ds o (t) = f

(x
n
+ tf(x
n
)). Dvelopper ensuite le
numrateur en utilisant le fait que f(x
n
) =
_
1
0

(t)dt o (t) = f(tx + (1

t)x
n
), et que f

(tx + (1 t)x
n
) =
_
1
0
(s)ds +(0), o (t) = f(x + (1 t)
n
).
3. La convergence locale et lordre 2 se dduisent des rsultats de la question 2.
2.5 Corrig des exercices du chapitre 2
Exercice 41 page 119
1/ Par dnition, T = Df(x) est une application linaire de IR
N
dans IR
N
, qui
scrit donc sous la forme : T(h) =

N
i=1
a
i
h
i
= a h. Or lapplication T dpend
de x, donc le vecteur a aussi.
Montrons maintenant que (a(x))
i
=
i
f(x), pour 1 i N Soit h
(i)
IR
N
dni par h
(i)
j
= h
i,j
, o h > 0 et
i,j
dsigne le symbole de Kronecker, i.e.

i,j
= 1 si i = j et
i,j
= 0 sinon. En appliquant la dnition de la direntielle
avec h
(i)
, on obtient :
f(x +h
(i)
) f(x) = Df(x)(h(i)) +|h
(i)
|(h
(i)
),
cestdire :
f(x
1
, . . . , x
i1
, x
i
+h, x
i1
, . . . , x
N
) f(x
1
, . . . , x
N
) = (a(x))
i
h +h(h
(i)
).
En divisant par h et en faisant tendre h vers 0, on obtient alors que (a(x))
i
=

i
f(x).
2/ Comme f C
2
(IR
N
, IR), on a (
i
f(x) C
1
(IR
N
, IR), et donc C
1
(IR
N
, IR
N
).
Comme D(x) est une application linaire de IR
N
dans IR
N
, il existe une ma-
trice A(x) carre dordre N telle que D(x)(y) = A(x)y pour tout y IR
N
. Il
reste montrer que (A(x))
i,j
=
2
i,j
f(x). Soit h
(i)
IR
N
dni la question
prcedente, pour i, j = 1, . . . , N, on a
(D(x)(h
(j)
))
i
= (A(x)h
(j)
)
i
=
N

k=1
a
i,k
(x)h
(j)
)
k
= ha
i,j
(x).
Or par dnition de la direntielle,

i
(x +h
(j)
)
i
(x) = (D(x)(h
(j)
))
i
+|h
(j)
|
i
(h
(j)
),
ce qui entrane, en divisant par h et en faisant tendre h vers 0 :
j

i
(x) = a
i,j
(x).
Or
i
(x) =
i
f(x), et donc (A(x))
i,j
= a
i,j
(x) =
2
i,j
f(x).
3/ Soit f C
2
(IR
3
, IR) la fonction dnie par f(x
1
, x
2
, x
3
) = x
2
1
+ x
2
1
x
2
+
x
2
cos(x
3
). Donner la dnition et lexpression de f(x), Df(x), Df, D
2
f(x),
H
f
(x), D
2
f. Calculons les drives partielles de f.

1
f(x
1
, x
2
, x
3
) = 2x
1
(1 +x
2
),

2
f(x
1
, x
2
, x
3
) = x
2
1
+ cos(x
3
),

3
f(x
1
, x
2
, x
3
) = x
2
sin(x
3
).
128
On a donc f(x) = (2x
1
(1+x
2
), x
2
(x
2
1
+cos(x
3
)), x
2
sin(x
3
))
t
. Lapplication
Df(x) est une application linaire de IR
3
dans IR, dnie par
Df(x)(y) = (2x
1
(1 +x
2
))y
1
+x
2
(x
2
1
+ cos(x
3
))y
2
x
2
sin(x
3
)y
3
. (2.5.31)
Lapplication Df appartient C
1
(IR
3
, L(IR
3
, IR), et elle est dnie par (2.5.31).
Calculons maintenant les drives partielles secondes :

2
1,1
f(x) = 2(1 +x
2
),
2
1,2
f(x) = 2x
1
,
2
1,3
f(x) = 0,

2
2,1
f(x) = 2x
1
,
2
2,2
f(x) = 0,
2
2,3
f(x) = sin(x
3
)),

2
3,1
f(x) = 0,
2
3,2
f(x) = sin(x
3
),
2
3,3
f(x) = x
2
cos(x
3
).
La matrice H
f
(x) est dnie par H
f
(x)
i,j
=
2
i,j
f(x), pour i, j = 1, . . . , 3. Lap-
plication D
2
f(x) est une application linaire de IR
3
dans L(IR
3
, IR), dnie par
D
2
f(x)(y) =
x,y
et (D
2
f(x)(y))(z) =
x,y
(z) = H
f
(x)y z. Enn, lapplica-
tion D
2
est une fonction continue de IR
3
dans L(IR
3
, L(IR
3
, IR)), dnie par
D
2
f(x)(y) =
x,y
pour tout x, y IR
3
.
Corrig de lexercice 42 page 119 (Mthode de monotonie)
Montrons que la suite v
(n)
est bien dnie. Supposons v
(n)
connu ; alors v
(n+1)
est bien dni si le systme
Av
(n+1)
= d
(n)
,
o d
(x)
est dni par : d
(n)
i
=
i
f(v
(n)
i
) + b
i
pour i = 1, . . . , N, admet une
solution. Or, grce au fait que Av 0 v 0, la matrice A est inversible, ce
qui prouve lexistence et lunicit de v
(n+1)
.
Montrons maintenant que les hypothses du thorme de convergence du point
xe de monotonie sont bien satisfaites.
On pose R
()
i
(u) =
i
f(u
i
) +b
i
. Le systme rsoudre scrit donc :
Au = R
()
(u)
Or 0 est soussolution car 0
i
f(0) + b
i
(grce au fait que f(0) = 0, > 0
et b
i
0).
Cherchons maintenant une sursolution, cestdire u IR
N
tel que
u R
()
( u).
Par hypothse, il existe > 0 et u
()
0 tel que
(Au
()
)
i
= f(u
()
i
) +b
i
.
Comme < et b
i
0, on a
(Au
()
)
i

i
f(u
()
i
) +b
i
= R
()
i
(u
()
).
Donc u
()
est sursolution. Les hypothses du thorme dont bien vries, et
donc v
(n)
u lorsque n +, o u est tel que A u = R( u).
129
Corrig de lexercice 43 page 119 (Point xe amlior)
1)La suite donne par lalgorithme (2.3.21) est bien dnie si pour tout n IN,
g

(x
n
) ,= 0. Remarquons dabord que g

(x) ,= 0. Or la fonction g

est
continue ; pour > 0 x, il existe donc IR
+
tel que g

(x) pour tout

x [x , x +] = I

. Remarquons ensuite que h

(x) = 1
(g

( x))
2
(g

( x))
2
= 0. Or h

est aussi continue. On en dduit lexistence de IR

+
tel que h

(x) < 0 pour

tout x [x , x+] = I

. Soit = min(, ) ; si x
0
I

, alors g

(x
0
) ,= 0,
et comme h est strictement contractante sur I

, on en dduit que g

(x
n
) ,= 0
pour tout n IN.
2) Remarquons dabord que si C
2
(IR, R), on peut directement appliquer
la proposition (2.14) (item 2), car dans ce cas h C
2
(IR, IR), puisquon a dj
vu que h

(x) = 0. Eectuons maintenant le calcul dans le cas o lon na que

C
1
(IR, R). Calculons [x
n+1
x[. Par dnition de x
n+1
, on a :
[x
n+1
x[ = x
n
x
g(x
n
)
g

((x
n
))
,
ce qui entrane que
[x
n+1
x[ = (x
n
x)(1
g(x
n
) g(x)
(x
n
x)g

((x
n
))
. (2.5.32)
Or il existe
n
I(x, x
n
), o I(x, x
n
) dsigne lintervalle dextrmits x et x
n
,
tel que
g(x
n
) g(x)
x
n
x
= g

(
n
).
Mais comme g C
3
(IR, IR) il existe
n
I(
n
, (x
n
)) tel que :
g

(
n
) = g

((x
n
)) + (
n
(x
n
))g

(
n
).
On en dduit que
x
n+1
x = (x
n
x)(
n
(x
n
))
g

(
n
)
g

((x
n
))
. (2.5.33)
Or
[
n
(x
n
)[ [
n
x[ +[x (x
n
)[ = [
n
x[ +[(x) (x
n
)[.
Comme
n
I(x, x
n
), on a donc [
n
x[ [x
n
x[ ; de plus : [(x) (x
n
)[
sup
xI
[

(x)[[x
n
x[. En reportant ces ingalits dans (2.5.33), on en dduit
que :
[x
n+1
x[
1

[x
n
x[
2
sup
xI
[

(x)[ sup
xI
[g

(x)[.
On a ainsi montr que la convergence de la suite (x
n
)
nIN
dnie par lalgo-
rithme (2.3.21) est au moins quadratique.
130
3) Reprenons le calcul de la question prcdente en montant en ordre sur les
dveloppements. Calculons [x
n+1
x[. Ecrivons maintenant quil existe
n

I(x, x
n
) tel que
g(x
n
) = g(x) + (x
n
x)g

(x) +
1
2
(x
n
x)
2
g

(
n
).
De (2.5.32), on en dduit que
x
n+1
x = (x
n
x)(1 (x
n
x)
g

(x) +
1
2
(x
n
x)g

(
n
)
(x
n
x)g

((x
n
))
).
Or il existe
n
I(x, (x
n
)) tel que
g

((x
n
)) = g

(x) + ((x
n
) (x))g

(
n
).
On a donc :
x
n+1
x =
x
n
x
g

((x
n
))
((x
n
) (x))g

(
n
)
1
2
(x
n
x)g

(
n
)).
Ecrivons maintenant que (x
n
)) = (x) +

(
n
)(x
n
x), o
n
I(x, x
n
).
Comme

est lipschitzienne, on a

(
n
) =

(x) +
n
=
1
2
+
n
, avec [
n
[
M[x
n
x[, o M est la constante de Lipschitz de

. On a donc :
x
n+1
x =
x
n
x
g

((x
n
))
(x
n
x)((
1
2
+
n
)g

(
n
)
1
2
(x
n
x)g

(
n
)),
et donc :
[x
n+1
x[
1

[x
n
x[
2
((
1
2
(g

(
n
) g

(
n
)) +
n
g

(
n
)
1
2
(x
n
x)g

(
n
)
+
1
4
g

(
n
)g

(
n
)(x
n
x)),
Mais de mme, comme g C
3
(IR, IR), et que
n
et
n
I(x, x
n
), on a
[g

(
n
) g

(
n
)[ sup
xI
[g

(x)[[x
n
x[.
On en dduit nalement que :
[x
n+1
x[ C[x
n
x[
3
, avec C =
1
2
G
3
+ (M +
1
2
)G
2
+
1
4
G
2
2
,
o G
3
= sup
xI
[g

(x)[ et G
2
= sup
xI
[g

(x)[.
4) Pour montrer que la suite dnie par lalgorithme (2.3.21) converge de ma-
nire cubique, il sut de montrer que vrie les hypothses de la question
3). Comme g C
3
(IR, IR) et que g

(x) ,= 0, x I

, on en dduit que
C
2
(IR, IR). De plus

(x) = 1
1
2
g

(x)
2
g

(x)g(x)
g

(x)
2
=
1
2
.
131
Corrig de lexercice 44 page 120 (Nombre ditrations ni pour New-
ton)
Corrig en cours de rdaction...
Corrig de lexercice 45 page 120 (Newton et logarithme)
La mthode de Newton pour rsoudre ln(x) = 0 scrit :
x
(k+1)
x
(k)
= x
(k)
ln(x
(k)
).
Pour que la suite (x
(k)
)
kIN
soit bien dnie, il faut que x
(0)
> 0. Montrons
maintenant que :
1. si x
(0)
> e, alors x
(1)
< 0,
2. si x
(0)
]1, e[, alors x
(1)
]0, 1[,
3. si x
(0)
= 1, alors x
(k)
= 1 pour tout k,
4. si x
0
]0, 1[ alors la suite (x
(k)
)
kIN
est strictement croissante et majore
par 1.
Le plus simple pour montrer ces proprits est dtudier la fonction dnie
par : (x) = x xln x, dont la drive est :

(x) = lnx. Le tableau de

variation de est donc :
[0 1 e +[
[ [ [ [

(x) [ + 0 e [
[ [ [ [
[ 1 [ [
(x) [ [ [ [
[0 + [ + 0 [
Grce ce tableau de variation, on a immdiatement les proprits 1. 4.
La convergence de la suite (x
(k)
)
kIN
vers 1 est une consquence immdiate du
thorme du cours (on peut aussi lobtenir en passant la limite dans le schma).
Corrig de lexercice 46 page 121 (Mthode de Newton pour le calcul
de linverse)
1. (a) Soit g la fonction dnie de IR

dans IR par g(x) =

1
x
a. Cette
fonction est continue et drivable pour tout x ,= 0, et on a : g

(x) =

1
x
2
. Lalgorithme de Newton pour la recherche dun zro de cette
fonction scrit donc bien :
_
x
(0)
donn,
x
(n+1)
= x
(n)
(2 ax
(n)
).
(2.5.34)
(b) Soit (x
(n)
)
nIN
dnie par (2.3.22). Daprs le thorme du cours, on
sait que la suite (x
(n)
)
nIN
converge de localement (de manire qua-
dratique) dans un voisinage de
1
a
. On veut dterminer ici lintervalle
132
de convergence prcisment. On a x
(n+1)
= (x
(n)
) o est la fonc-
tion dnie par de IR dans IR par (x) = x(2 ax). Le tableau de
variation de la fonction est le suivant :
x [ 0
1
a
2
a

(x) [ + 0
(x) [
1
a

(2.5.35)
Il est facile de remarquer que lintervalle ]0,
1
a
[ est stable par et
que (]
1
a
,
2
a
[) =]0,
1
a
[ Donc si x
(0)
]
1
a
,
2
a
[ alors x
(1)
]0,
1
a
[, et on se
ramne au cas x
(0)
]0,
1
a
[.
On montre alors facilement que si x
(0)
]0,
1
a
[, alors x
(n+1)
x
(n)
pour tout n, et donc la suite (x
(n)
)
nIN
est croissante. Comme elle
est majore (par
1
a
), elle est donc convergente. Soit sa limite, on a
= (2 a), et comme x
(0)
> 0, on a =
1
a
.
Il reste maintenant montrer que si x
(0)
] , 0[]
2
a
, +[ alors
lim
n+
x
(n)
= . On montre dabord facilement que si x
(0)

] , 0[, la suite (x
n
)
nIN
est dcroissante. Elle admet donc une
limite nie ou innie. Appelons cette limite. Celle-ci vrie : =
(2 a). Si est nie, alors = 0 ou =
1
a
ce qui est impossible car
x
(0)
< 0. On en dduit que = .
Enn, ltude des variations de la fonction montre que si x
(0)

]
2
a
, +[, alors x
(1)
] , 0[, et on est donc ramen au cas pcdent.
2. (a) Lensemble GL
N
(IR) est ouvert car image rciproque de louvert IR

par lapplication continue qui a une matrice associe son dterminant.

(b) Lapplication T est clairement dnie de GL
N
(IR) dans GL
N
(IR).
Montrons quelle est drivable. Soit H GL
N
(IR) telle que B + H
soit inversible. Ceci est vrai si |H||B
1
| < 1, et on a alors, daprs
le cours :
(B +H)
1
=
_
B(Id +B
1
H)
_
1
=
+

k=0
(B
1
H)
k
B
1
.
On a donc :
T(B +H) T(B) =
+

k=0
(B
1
H)
k
B
1
B
1
= (Id +
+

k=1
(B
1
H)
k
Id)B
1
=
+

k=1
(B
1
H)
k
B
1
.
On en dduit que
T(B +H) T(B) +B
1
HB
1
=
+

k=2
(B
1
H)
k
B
1
.
133
Lapplication qui H associe B
1
HB
1
est clairement linaire, et
de plus,
|T(B +H) T(B) +B
1
HB
1
| |B
1
|
+

k=2
(|B
1
||H|)
k
.
Or |B
1
||H| < 1 par hypothse. On a donc
|T(B +H) T(B) B
1
HB
1
|H|
| |B
1
|
3
|H|
+

k=0
(|B
1
||H|)
k
0 lorsque |H| 0.
On en dduit que lapplication T est direntiable et que DT(B)(H) =
B
1
HB
1
.
(c) La mthode de Newton pour la recherche dun zro de la fonction g
scrit :
_
B
0
GL
N
(IR),
Dg(B
n
)(B
n+1
B
n
) = g(B
n
).
Or, dapres la question prcdente, Dg(B
n
)(H) = (B
n
)
1
H(B
n
)
1
.
On a donc
Dg(B
n
)(B
n+1
B
n
) = (B
n
)
1
(B
n+1
B
n
)(B
n
)
1
.
La mthode de Newton scrit donc :
_
B
0
GL
N
(IR),
(B
n+1
B
n
) = (Id B
n
A)B
n
.
(2.5.36)
soit encore
_
B
0
GL
N
(IR),
B
n+1
= 2B
n
B
n
AB
n
.
(2.5.37)
(d) Par dnition, on a :
Id AB
n+1
= Id A(2B
n
B
n
AB
n
) = Id 2AB
n
+AB
n
AB
n
.
Comme les matrices Id et AB
n
commutent, on a donc :
Id AB
n+1
= (Id AB
n
)
2
.
Une rcurrence immdiate montre alors que Id AB
n
= (Id
AB
0
)
2
n
. On en dduit que la suite IdAB
n
converge (vers la matrice
nulle) lorsque n + ssi (Id AB
0
) < 1, et ainsi que la suite B
n
converge vers A
1
si et seulement si (Id AB
0
) < 1.
Corrig de lexercice 47 page 121 (Mthode de Newton pour le calcul
de la racine)
1.1 Par dnition, lalgorithme de Newton scrit :
x
(n+1)
= x
(n)

(x
(n)
)
f

(x
(n)
)
= x
(n)

(x
(n)
)
2

2x
(n)
134
1.2 (i) Par dnition,
x
(1)

= x
(0)

(x
(0)
)
2

2x
(0)

=
(x
(0)

)
2
2x
(0)
0.
On a donc bien x
(1)

On remarque dailleurs de manire similaire que pour

tout k 0,
x
(k+1)

= x
(k)

(x
(k)
)
2

2x
(k)

=
(x
(k)

)
2
2x
(k)
0.
1.2 (ii) Par dnition,
x
(k+1)
x
(k)
=
(x
(k)
)
2

2x
(k)
.
Par la question 1, (x
(k)
)
2
, et x
(k)

0. On en dduit que x
(k+1)
x
(k)
.
1.2 (iv) La suite (x
(k)
)
k1
est minore et dcroissante, elle est donc convergente.
Sa limite vrie : 0 =
()
2

2
et

(car x
(k)

), ce qui entrane
x
(k)
=

.
2. Comme A est diagonalisable dans IR de valeurs propres strictement positives,
il existe une base orthonorme (e
i
)
i=1,...,N
de vecteurs propres, tels que Ae
i
=

i
e
i
pour tout i = 1, . . . , N. Soit
i
=

i
, pour i = 1, . . . , N (notons que les

i
sont des rels positifs, puisque, par hypothse,
i
IR). Soit B la matrice
dnie par Be
i
=
i
e
i
pour tout i = 1, . . . , N, et P la matrice de passage de
la base canonique la base (e
i
)
i=1,...,N
. On a A = P
1
DP et B = P
1

DP,
o D est la matrice diagonale de coecients
i
et

D la matrice diagonale de
coecients
i
. Et on vrie que B
2
= P
1

DPP
1

DP = P
1
DP = A.
Les valeurs propres de A sont 1 et 2, elle vrie donc bien les hypothses de
lnonc. Une identication des coecients amne B =
_
1

2 1
0

2
_
.
3. Comme A et B sont supposes symtriques dnies positives, elles admettent
une dcomposition spectrale : soit (
i
)
i=1,...,p
et (E
i
)
i=1,...,p
les valeurs propres
(distinctes) et espaces propres associs A et soient (
i
)
i=1,...,q
et (F
i
)
i=1,...,q
les
valeurs propres (distinctes) et espaces propres assocs B. Si on suppose que les
valeurs propres
i
sont distinctes, on a donc IR
N
=

p
i=1
F
i
, et B =
i
Id sur F
i
.
On en dduit que A = B
2
=
2
i
Id sur F
i
. Comme la dcomposition spectrale est
unique, il en ressort que p = q,
i
=
2
i
et E
i
= F
i
pour i = 1, . . . , N.. Lunique
matrice s.d.p. B telle que B
2
= A est la matrice B =

i
.
Les contre exemples lunicit sont lgions si on ne demande pas que B soit
symtrique dnie positive. Il sut de considrer par exemple A = Id et de
vrier que B = Id et B = Id vrient toutes deux B
2
= A.
4. Soit H M
n
(IR) ; par dnition, F(X + H) F(X) = (X + H)
2
X
2
=
XH+HX+H
2
. On a donc F(X+H)F(X) = (X+H)
2
X
2
= DF(X)H+H
2
,
avec DF(X)H = XH+HX. Lapplication DF(X) ainsi dnie est bien linaire
de /
N
(IR) dans /
N
(IR), ce qui prouve que F est direntiable. Dans la suite
de lexercice, on considre la mthode de Newton pour dterminer B.
135
5.1 Lalgorithme de Newton scrit :
X
(k)
connu , X
(k+1)
= X
(k)
+Y
avec Y solution de X
(k)
Y +Y X
(k)
= (X
(k)
)
2
+A
5.2 (i) Notons dabord que X
(0)
= Id et scrit donc bien X
(0)
= P
1
diag(
(0)
1
, ,
(0)
N
)P
puisque
(0)
i
= 1 pour tout i. On a donc comme hypothse de rcurrence
(HR) X
(k)
est une matrice symtrique dnie positive de valeurs
propres (
(k)
i
) associes aux vecteurs propres e
i
(vecteurs colonnes de la matrice
P
1
).
Montrons que e
i
est vecteur propre de X
(k+1)
: par dnition,
X
(k+1)
e
i
= X
(k)
e
i
+ Y e
i
=
(k)
i
e
i
+Y e
i
.
Or, par dnition de Y , on a
X
(k)
Y e
i
+Y X
(k)
e
i
= (X
(k)
)
2
e
i
+Ae
i
.
Donc, comme e
i
est vecteur propre de A associ
i
et par hypothse de rcur-
rence, on a :
X
(k)
Y e
i
+
(k)
i
Y e
i
= (
(k)
)
2
e
i
+
i
e
i
.
Ecrivons alors la dcomposition de Y e
i
sur la base (f
j
)
j=1,...,N
: Y e
i
=

N
j=1

j
f
j
.
En reportant ci-dessus, on obtient :
N

j=1

(k)
j
f
j
+
(k)
i
N

j=1

j
f
j
= (
(k)
i
)
2
e
i
+
i
e
i
.
En prenant le produit scalaire de cette quation avec e

, ,= i, on obtient que :
(
(k)

+
(k)
i
)

= 0. Comme la matrice X
(k)
est sdp, on a
(k)

+
(k)
i
> 0 et donc

= 0. En prenant ensuite le produit scalaire de cette mme quation avec e

i
,
on obtient que : 2
(k)
i

i
= (
(k)
i
)
2
+
i
. On a donc nalement
Y e
i
=
1
2
(k)
i
((
(k)
i
)
2
+
i
)e
i
ce qui dtermine Y de manire unique, et montre galement que Y est sym-
trique, puisque Y scrit sous la forme
Y = P
1

(k)
P avec
(k)
= diag(
1
2
(k)
1
((
(k)
1
)
2
+
1
), . . . ,
1
2
(k)
N
((
(k)
N
)
2
+
N
)).
On peut enn calculer X
(k+1)
= X
(k)
+Y = P
1
(D
(k)
+
(k)
)P. Comme
(D
(k)
+
(k)
)
i
=
(k)
i
+
1
2
(k)
i
((
(k)
i
)
2
+
i
),
on a donc bien
X
(k+1)
= P
1
D
(k+1)
P avec D
(k+1)
= diag(
(k+1)
1
, . . . ,
(k+1)
N
) ;
de plus X
(k+1)
est s.d.p. puisquon a montr la question 1 que
(k+1)
i

i
.
5.2 (ii) On a vu la question 1 que
(k)
i
converge vers

i
lorsque k +.
On en dduit que X
(k)
converge vers B quand k +.
136
Corrig de lexercice 48 page 122 (Valeurs propres et mthode de
Newton)
On crit le systme sous la forme F(x, ) = 0 o F est une fonction de IR
N+1
dans IR
N+1
dnie par
F(y) = F(x, ) =
_
Ax x
x x 1
_
,
et on a donc
DF(, x)(z, ) =
_
Az

z x
2 x z
_
,
Supposons que DF(x, )(z, ) = 0, on a alors Az

z x = 0 et 2 x z = 0. En
multipliant la premire quation par x et en utilisant le fait que A est symtrique,
on obtient :
z A x

z x x x = 0, (2.5.38)
et comme A x =

x et x x = 1, ceci entrane que = 0. En revenant (2.5.38)
on obtient alors que Ax

x = 0, c..d. que x Ker(A

Id) = IR x car

est
valeur propre simple. Or on a aussi x z = 0, donc z x ce qui nest possible
que si z = 0. On a ainsi montr que Df( x,

) est injective, et comme on est

en dimension nie, Df( x,

) est bijective. Dnc, daprs le thorme du cours, la

mthode de Newton est localement convergente.
Corrig de lexercice 49 page 122 (Modication de la mthode de
Newton)
1. Si A /
N
(IR) et > 0, alors A
t
A + Id est symtrique dnie positive.
En prenant A = Df(x
n
), on obtient que la matrice Df(x
n
)
t
Df(x
n
) + Id est
symtrique dnie positive donc inversible, ce qui montre que la suite (x
n
)
nIN
est bien dnie.
2. Soit la fonction dnie par (t) = f(tx
n
+(1t)x), alors (0) = f(x) = 0
et (1) = f(x
n
). Donc
f(x
n
) = (1) (0) =
_
1
0

(t)dt = (x
n
x)
_
1
0
f

(tx
n
+ (1 t)x)dt.
On a donc
f(x
n
) = (x
n
x)g(x
n
), (2.5.39)
o g(x) =
_
1
0
f

(tx+(1t)x)dt. La fonction g est continue car f C

1
(IR
N
, IR
N
),
et g(x) f

( x) lorsque x x.
La suite (x
n
)
nIN
est dnie par
x
n+1
= x
n

(x
n
)
f

(x
n
)
2
+
f(x
n
).
En utilisant (2.5.39), on a donc :
x
n+1
x = a
n
(x
n
x), o a
n
= 1
f

(x
n
)g(x
n
)
f

(x
n
)
2
+
.
137
Soit a la fonction dnie par :
a(x) = 1
f

(x)g(x)
f

(x)
2
+
; on a a( x) = 1
f

( x)
2
f

(x)
2
+
]2, 1 2[, o > 0,
et comme g est continue, il existe IR

+
t.q. si x ]x , x + [, alors
a(x) ], 1[. Donc si x
0
]x, x+[, on a a
0
], 1[ et x
1
x = a
0
(x
0
x),
et par rcurrence sur n, a
n
], 1 [ et x
n
x =

n1
i=0
a
i
(x
0
x) 0 lorsque
n +, ce qui prouve la convergence locale de la mthode.
3. Par dnition de la mthode, on a :
x
n+1
x = x
n
x (Df(x
n
)
t
Df(x
n
) +Id)
1
Df(x
n
)
t
f(x
n
)
En posant, pour t IR, (t) = f(tx
n
+ (1 t)x), on a :
f(x
n
) f(x) =
_
1
0

(t)dt
= G(x
n
)(x
n
x),
o G C(IR
N
, /
N
(IR)) est dnie par
G(x) =
_
1
0
Df(tx + (1 t)x)dt.
On a donc :
x
n+1
x = H(x
n
)(x
n
x), (2.5.40)
o H ((IR
N
, /
N
(IR)) est dnie par :
H(x) = Id (Df(x)
t
Df(x) +Id)
1
Df(x)
t
G(x).
On veut montrer que |H(x
n
)| < 1 si x
n
est susamment proche de x. On va
pour cela utiliser la continuit de H autour de x. On a :
H(x) = Id (Df(x)
t
Df(x) +Id)
1
Df(x)
t
Df(x).
La matrice B = Df(x)
t
Df(x) est videmment symtrique. On a donc :
H(x)
t
= (Id (B +Id)
1
B)
t
= Id B(B +Id)
1
Pour montrer que H(x) est symtrique, il reste montrer que B et (B+Id)
1
commutent.
Or (B +Id)(B +Id)
1
= Id.
Donc B(B +Id)
1
= Id (B +Id)
1
= (B +Id)
1
(B +Id) (B +Id)
1
= (B +Id)
1
B.
138
On en dduit que H(x) est symtrique. On a donc |H(x)|
2
= (Hx)). Calculons
le rayon spectral de H(x). Comme Df(x)
t
Df(x) est diagonalisable dans IR, il
existe (
1
, . . . ,
N
) IR
N
et (f
1
, . . . , f
N
) base orthonorme telle que :
Df(x)
t
Df(x) f
i
=
i
f
i
, i = 1, . . . , N.
De plus
i
> 0, i = 1, . . . , N. On a :
H(x)f
i
= f
i
(Df(x)
t
Df(x) +Id)
1

i
f
i
Or (Df(x)
t
Df(x) +Id)f
i
= (
i
+)f
i
, donc
Df(x)
t
Df(x) +Id)
1
f
i
=
1

i
+
f
i
. On en dduit que
H(x)f
i
=
i
f
i
, i = 1, . . . , N, o
i
= 1

i

i
+
.
On a donc 0 <
i
< 1 et donc (H( x)) < 1. On en dduit que |H(x)|
2
< 1, et
par continuit il existe > 0 tel que si x B(x, ) alors |H(x)|
2
< 1.
On dduit alors de (2.5.40) que la mthode est localement convergente.
Corrig de lexercice 50 page 123 (Convergence de la mthode de
Newton si f

(x) = 0)
Comme f

(x) ,= 0, on peut supposer par exemple f

(x) > 0 ; par continuit

de f

, il existe donc > 0 tel que f

(x) < 0 si x ]x , x[ et f

(x) > 0 si
x ]x, x+[, et donc f est dcroissante sur ]x, x[ (et croissante sur ]x, x+[).
Supposons x
0
]x, x +[, alors f

(x
0
) > 0 et f

(x
0
) > 0.
On a par dnition de la suite (x
n
)
nIN
,
f

(x
0
)(x
1
x
0
) = f(x
0
)
= f(x) f(x
0
)
= f

(
0
)(x x
0
), o
0
]x, x
0
[
Comme f

est strictement croissante sur ]x, x +[, on a f

(
0
) < f

(x
0
) et donc
x
1
]x, x
0
[.
On montre ainsi par rcurrence que la suite (x
n
)
nIN
vrie
x
0
> x
1
> x
2
. . . > x
n
> x
n+1
> . . . > x.
La suite (x
n
)
nIN
est donc dcroissante et minore, donc elle converge. Soit x
sa limite ; comme
f

(x
n
)(x
n+1
x
n
) = f(x
n
) pour tout n IN,
on a en passant la limite : f(x) = 0, donc x = x.
Le cas f

(x) < 0 se traite de la mme manire.

Montrons maintenant que la mthode est dordre 1. Par dnition, la mthode
est dordre 1 si
|x
n+1
x|
|x
n
x|
IR

+
.
139
Par dnition de la suite (x
n
)
nIN
, on a :
f

(x
n
)(x
n+1
x
n
) = f(x
n
) (2.5.41)
Comme f (
2
(IR) et f

(x) = 0, il existe
n
]x, x
n
[ et
n
]x, x
n
[ tels que
f

(x
n
) = f

(
n
)(x
n
x) et f(x
n
) =
1
2
f

(
n
)(x x
n
)
2
. On dduit donc de
(2.5.41) que
f

(
n
)(x
n+1
x
n
) =
1
2
f

(
n
)(x
n
x),
soit f

(
n
)(x
n+1
x) = (
1
2
f

(
n
) +f

(
n
))(x
n
x)
Donc
|x
n+1
x|
|x
n
x|
= [1
1
2
f

(
n
)
f

(
n
)
[
1
2
lorsque n +.
La mthode est donc dordre 1.
On peut obtenir une mthode dordre 2 en appliquant la mthode de Newton
f

.
Corrig de lexercice 51 page 123 (Modication de la mthode de
Newton)
1. On a videmment x
(0)
= x
0
I. Supposons que x
(n)
I et montrons
que x
(n+1)
I. Par dnition, on peut crire :
x
(n+1)
= x
(n)

f(x
(n)
) f(x
0
)
f

(y)

f(x
0
)
f

(y)
.
Donc
x
(n+1)
x
0
= x
(n)
x
0

(
n
)(x
(n)
n
x
0
) f(x
0
)
f

(y)
, o
n
[x
0
, x
(n)
].
On en dduit que
x
(n+1)
x
0
= (1
f

(
n
)
f

(y)
)(x
(n)
n
x
0
)
f(x
0
)
f

(y)
.
Ceci entrane :
[x
(n+1)
x
0
[ =
1
[f

(y)[
[f

(
n
) f

(y)[[x
(n)
x
0
[ +
[f(x
0
)[
f

(y)

1
2
c +
c
2
= c.
Donc x
(n+1)
I.
140
2. On a :
x
(n+1)
x = x
(n)
x
f(x
(n)
) f( x)
f

(y)

f( x)
f

(y)
.
Donc[x
(n+1)
x[ [x
(n)
x[[f

(y) f

(
n
)[
1
[f

(y)[
o
n
[ x, x
(n)
];
Par hypothse, on a donc
[x
(n+1)
x[ [x
(n)
x[
1
2

c
2
[x
(n)
x[.
On en dduit par rcurrence que
[x
(n)
x[
c
2
n
[x
(0)
x[.
Ceci entrane en particulier que
x
(n)
x
n +.
Il reste montrer que la convergence est au moins linaire. On a :
[x
(n+1)
x[
[x
(n)
x[
= [f

(y) f

(x
(n)
)[
1
[f

(y)[
Donc
[x
(n+1)
x[
[x
(n)
x[
[1
f

( x)
f

(y)
[ = 0
n +
La convergence est donc au moins linaire, elle est linaire si f

( x) ,= f

(y)
et superlinaire si f

( x) = f

(y).
3. Le fait de remplacer y par y
(n)
ne change absolument rien la preuve de
la convergence de x
(n)
vers x. Par contre, on a maintenant :
[x
(n+1)
x[
[x
(n)
x[
= [f

(y
n
) f

(
n
)[
1
[f

(y
n
)[
= [1
f

(
n
)
f

(y
n
)
[
Or f

(
n
)
n+
f

( x) et donc si f

(y
n
)
n+
f

( x) la convergence devient
superlinaire.
4. Lalgorithme pour N 1 se gnralise en :
_
x
(0)
= x
0
x
(n+1)
= x
(n)
(DF(y))
1
f(x
(n)
).
On a donc
x
(n+1)
x
0
= x
(n)
x
0
(DF(y))
1
(f(x
(n)
) f(x
0
)) +(DF(y))
1
f(x
0
).
141
Or f(x
(n)
) f(x
(0)
) = (1) (0) =
_
1
0

(t)dt, o
(t) = f(tx
(n)
+ (1 t)x
(0)
)
et donc

(t) = Df(tx
(n)
+ (1 t)x
(0)
)(x
(n)
x
(0)
).
Donc
x
(n+1)
x
(0)
=
(x
(n)
x
(0)
)
_
1 (Df(y))
1
_
1
0
Df(tx
n
) + (1 t)x
(0)
)dt
_
+(Df(y))
1
f(x
0
) =
(x
(n)
x
(0)
)(Df(y))
1
__
1
0
_
Df(y) Df(tx
(n)
+ (1 t)x
(0)
_
dt
_
+(Df(y))
1
f(x
0
).
On en dduit que :
|x
(n+1)
x
(0)
|
|x
(n)
x
(0)
||(Df(y))
1
|
_
1
0
|Df(y) Df(tx
(n)
+ (1 t)x
(0)
)|dt
+|(Df(y))
1
||f(x
0
)|.
Si on suppose que x
(n)
I, alors tx
(n)
+ (1 t)x
(0)
I. Lhypothse (iii)
gnralise la dimension N scrit :
|Df(x) Df(y)|
1
2
(x, y) I
2
,
si on suppose de plus que
(ii) |f(x
0
)|
c
2
et
(iv) |(Df(x))
1
| x I, alors 2.5.42 donne que
|x
(n+1)
x
(0)
| |x
(n)
x
(0)
|
1
2
+
c
2
c.
ce qui prouve que x
(n+1)
I.
On montre alors de la mme manire que x
(n)
n
x, (car |x
(n+1)
x|
1
2
|x
(n)
x|).
Corrig de lexercice 52 page 124 (Mthode de Newton)
1. Soient u et v solutions du systme non linaire considr. On a alors :
(A(u v))
i
+
i
(f(u
i
) f(v
i
)) = 0 pour tout i = 1, . . . , N.
142
Donc
N

i=1
(A(u v))
i
(u v)
i
+
N

i=1

i
(f(u
i
) f(v
i
))(u
i
v
i
) = 0.
Comme f est croissante, on a f(u
i
) f(v
i
)(u
i
v
i
) 0 i = 1, . . . , N.
On en dduit que A(u v) (u v) = 0. Comme A est symtrique dnie
positive, ceci entrane u = v.
2. Soit F la fonction de IR
N
dans IR
N
dnie par :
(F(u))
i
= (Au)
i
+
i
f(u
i
), i = 1, . . . , N.
Comme f (
2
(IR, IR), on a F (
2
(IR
N
, IR
N
). La mthode de Newton
de recherche dun zro de F scrit
u
(n+1)
= u
(n)
+ (DF(u
(n)
))
1
F(u
(n)
).
Daprs un thorme du cours, la mthode de Newton converge localement
(avec convergence dordre 2) si la matrice jacobienne DF( u) est inversible,
o u est lunique solution de F( u) = 0.
Calculons DF( u) :
on a
(F(u))
i
= (Au)
i
+
i
f(u
i
), pour i = 1, . . . , N, et donc
(DF(u) v)
i
= (Av)
i
+
i
f

(u
i
)v
i
= ((A +D)v)
i
.
o D = diag(
1
f

(u
1
), . . . ,
N
f

(u
N
)). Comme
i
> 0 et f

(u
i
) 0 pour
tout i = 1, N, la matrice A+D est symtrique dnie positive donc DF( u)
est inversible.
On en dduit que la mthode de Newton converge localement.
Corrig de lexercice 53 page 124 (Mthode de Steensen)
1. Comme f

(x) ,= 0, il existe > 0 tel que f soit strictement monotone

sur B(x, ) ; donc si f(x) = 0 et x B(x, ) alors x = x. De plus, comme
x + f(x) x lorsque x x, il existe tel que si x B(x, ), alors
f(x + f(x) B(x, ). Or si x B(x, ), on a :f(x) ,= 0 si x ,= x, donc
x+f(x) ,= x et comme x+f(x) B(x, ) o f est strictement monotone,
on a f(x) ,= f(x +f(x)) si x ,= x. On en dduit que si x
n
B(x, ), alors
f(x
n
+ f(x
n
)) ,= f(x
n
) (si x
n
,= x) et donc x
n+1
est dni par x
n+1
=
(f(x
n
))
2
f(x
n
+ f(x
n
)) f(x
n
)
. Ceci est une forme de stabilit du schma).
2. Montrons maintenant que la suite (x
n
)
nIN
vrie :
x
n+1
x = a(x
n
)(x
n
x)
2
si x
n
,= x et x
0
B(x, ),
o a est une fonction continue. Par dnition de la suite (x
n
)
nIN
, on a :
x
n+1
x = x
n
x
(f(x
n
))
2
f(x
n
+f(x
r
)) f(x
n
)
. (2.5.42)
Soit
n
: [0, 1] IR la fonction dnie par :
143

n
(t) = f(x
n
+tf(x
n
))
On a
n
(
2
(]0, 1[, IR),
n
(0) = f(x
n
) et
n
(1) = f(x
n
+f(x
n
)).
On peut donc crire :
f(x
n
+f(x
n
)) f(x
n
) =
n
(1)
n
(0) =
_
1
0

n
(t)dt
Ceci donne :
f(x
n
+f(x
n
)) f(x
n
) =
_
1
0
f

(x
n
+tf(x
n
))f(x
n
)dt
On pose maintenant
n
(t) = f

(x
n
+ tf(x
n
)), et on crit que
n
(t) =
_
t
0

n
(s)ds +
n
(0).
On obtient alors :
f(x
n
+f(x
n
))f(x
n
) = f(x
n
)
_
f(x
n
)
_
1
0
_
t
0
f

(x
n
+sf(x
n
))ds +f

(x
n
)
_
.
(2.5.43)
Soit b ((IR, IR) la fonction dnie par :
b(x) =
_
1
0
__
t
0
f

(x +sf(x))ds
_
dt.
Comme f ((IR, IR), on a b(x)
1
2
f

(x) lorsque x x
Lgalit (2.5.43) scrit alors :
f(x
n
+f(x
n
)) f(x
n
) = (f(x
n
))
2
b(x
n
) +f(x
n
)f

(x
n
). (2.5.44)
Comme x
0
B(x, ), on a x
n
B(x, ) et donc f(x
n
) ,= 0 si x
n
,= x.
Donc pour x
n
,= x, on a grce (2.5.42) et (2.5.44) :
x
n+1
x = x
n
x
f(x
n
)
f(x
n
)b(x
n
) +f

(x
n
))
(2.5.45)
On a maintenant f(x
n
) = f(x) f(x
n
) =
_
1
0

(t)dt o (
2
(IR, IR)
est dnie par (t) = f(tx + (1 t)x
n
).
Donc
f(x
n
) =
_
1
0
f

(tx + (1 t)x
n
)(x x
n
)dt.
Soit (
1
(IR, IR) la fonction dnie par (t) = f

(tx + (1 t)x
n
),
on a (0) = f

(x
n
) et donc :
f(x
n
) =
_
1
0
__
t
0
(f

(sx + (1 s)x
n
)(x x
n
) +f

(x
n
)) ds(x x
n
)
_
dt
144
Soit c ((IR, IR) la fonction dnie par
c(x) =
_
1
0
__
t
0
f

(sx + (1 s)x)ds
_
dt,
on a c(x)
1
2
f

(x) lorsque x x et :
f(x
n
) = c(x)(x x
n
)
2
+f

(x
n
)(x x
n
) (2.5.46)
De (2.5.46) et(1.6.60), on obtient :
x
n+1
x = (x
n
x)
_
1 +
c(x
n
)(x
n
x) f

(x
n
)
f(x
n
)b(x
n
) +f

(x
n
)
_
=
(x
n
x)
f(x
n
)b(x
n
) +f

(x
n
)
_
c(x
n
)(x x
n
)
2
b(x
n
)
f

(x
n
)(x x
n
)b(x
n
) +f

(x
n
) +c(x
n
)(x
n
x) f

(x
n
))
On en dduit :
(x
n+1
x) = (x
n
x)
2
a(x
n
) (2.5.47)
o
a(x) =
c(x)b(x)(x x) +f

(x)b(x)b +c(x)
f(x) +f

(x)
La fonction a est continue en tout point x tel que
D(x) = f(x)b(x) +f

(x) ,= 0.
Elle est donc continue en x puisque D(x) = f(x)b(x) +f

(x) = f

(x) ,= 0.
De plus, comme f, f

et b sont continues, il existe un voisinage de x sur

lequel D est non nulle et donc a continue.
3. Par continuit de a, pour tout > 0, il existe

> 0 tel que si x

B(x,

) alors
(7) [a(x) a(x)[ .
Calculons
a(x) =
f

(x)b(x) +c(x)
f

(x)
=
1
2
f

(x)
1 +f

(x)
f

(x)
= .
Soit = min(
1
,
1
2( + 1)
) ; si x B(x, ), alors [a(x)[ + 1 grce
(7), et [x x[
1
2( + 1)
.
On dduit alors de (6) que si x
n
B(x, ), alors
[x
n+1
x[
1
2
[x
n
x[.
Ceci entrane dune part que x
n+1
B(x, ) et dautre part, par rcur-
rence, la convergence de la suite (x
n
)
nIN
vers x.
145
Il reste montrer que la convergence est dordre 2.
Grce (6), on a :
[x
n+1
x[
[x
n
x[
2
= [a(x
n
)[.
Or on a montr ltape 3 que a est continue et que a(x) IR. On
a donc une convergence dordre au moins 2.
Corrig de lexercice 54 page 125 (Mthode de la scante)
1. Supposons x
n1
et x
n
connus.
Pour que x
n+1
soit bien dni, il faut et il sut que f(x
n
) ,= f(x
n1
).
Or par hypothse, f

( x) ,= 0. On en dduit quil existe un voisinage de

x sur lequel f

est monotone, donc bijective. Donc il existe

1
tel que si
x
n
, x
n1
]x
1
, x +
1
[, x
n
,= x
n1
et x
n
,= x, alors f(x
n
) ,= f(x
n1
).
De mme, toujours par injectivit de f sur ]x
1
, x+
1
[, on a f(x
n
) ,= 0.
En choisissant x
0
et x
1
dans lintervalle ]x
1
, x +
1
[, on a par une
rcurrence immdiate que la suite (x
n
)
nIN
est bien dnie.
Par dnition, si f(x
n
) ,= 0, on a :
x
n+1
x = x
n
x
f(x
n
) f( x)
x
n
x
(x
n
x)
x
n
x
n1
f(x
n
) f(x
n1
)
.
En notant I(a, b) lintervalle dextrmits a et b, il existe donc
n
I( x, x
n
)
et
n
I(x
n1
, x
n
) tels que
x
n+1
x = (x
n
x)(1
f

(
n
)
f

(
n
)
), , et donc : e
n+1
= [1
f

(
n
)
f

(
n
)
[e
n
.
Or f

est continue, il existe

2
tel que x
n
, x
n1
]x
2
, x +
2
[, alors
1
f

(
n
)
f

(
n
)
1/2, et donc e
n+1

1
2
e
n
.
En posant = min(
1
,
2
), on a donc par rcurrence le fait que si x
0
et x
1
appartiennent lintervalle ]x , x+[, la suite (x
n
)
nIN
est bien dnie
et la mthode de la scante est localement convergente.
2. (a) Par dnition,
e
n+1
= e
n

f(x
n
) f(x)
f(x
n
) f(x
n1
)
(x
n
x
n1
).
Donc :
(f(x
n
) f(x
n1
)e
n+1
= e
n
f(x
n
) e
n
f(x
n1
) f(x
n
)e
n
+f(x
n
)e
n1
(2.5.48)
= e
n
f(x
n1
) +f(x
n
)e
n1
(2.5.49)
= e
n
e
n1
(
f(x
n
)
e
n

f(x
n1
)
e
n1
). (2.5.50)
Or
f(xn)
en
=
f(xn)f(x)
en
(resp.
f(xn1
en1
=
f(xn1f(x)
en1
)est la valeur
moyenne de f

sur lintervalle dextrmits x, x

n
(resp. x, x
n1
).
On en dduit que (f(x
n
) f(x
n1
)e
n+1
= e
n
e
n1
(
n

n1
), do
le rsultat.
146
(b) Si x > x, la fonction vrie :
(x x)(x) =
_
x
x
f

(t)dt,
on en dduit que la fonction est continue et drivable et sa drive

vrie :
(x x)

(x) +(x) = f

(x), x > x.
soit encore

(x) =
f

(x) (x)
x x
, x > x. (2.5.51)
Or
(x) =
1
x x
(f(x) f(x)) (2.5.52)
=
1
x x
(f(x) (f(x) + (x x)f

(x) +
1
2
(x x)
2
f

(x)(x x)
3
(x). (2.5.53)
On en dduit que
(x) = f

(x) +
1
2
(x x)f

(x) + (x x)
2
(x).
Et nalement, en reportant dans (2.5.51) :

(x) =
1
2
f

(x) + (x x)(x), x > x. (2.5.54)

On en dduit que

admet une limite lorsque x tend vers x par

valeurs positives. Le mme raisonnement pour x < x donne le mme
rsultat.
Enn, comme f C
2
(IR, IR), on peut passer la limite dans (2.5.54)
et on obtient :
lim
xx

(x) =
1
2
f

(x). (2.5.55)
(c) Par dnition, on a
M
n
= [
(x
n
) (x
n1
)
x
n
x
n1
x
n
x
n1
f(x
n
) f(x
n1
)
[ =

(
n
)
f

(
n
)
,
o
n
et
n
sont compris entre x
n1
et x
n
(par le thorme des
accroissements nis). Comme la suite (x
n
)
nIN
tend vers x, comme
f

est continue et grce (2.5.55), on a :

lim
n+
M
n
=
1
2
f

(x)
f

(x)
.
Notons que cette limite est nie car f

(x) ,= 0 par hypothse. On en

conclut que la suite (M
n
)
nIN
est borne.
3. (a) La relation dmontrer est vrie pour n = 0 et n = 1. Supposons-
la vrie jusquau rang n. On a par dnition : a
n+1
= a
n
a
n1

Me
n
Me
n1
. Or par la question 2a, e
n
e
n1
= M
n
e
n+1
Me
n+1
. On
en dduit que la relation est encore vrie au rang n + 1.
147
(b) Par dnition, a
i
= Me
i
= M(x
i
x), pour i = 0, 1, donc si x
0
, x
1

]x
1
, x +
1
[ avec
1
< 1/M, alors a
0
< 1 et a
1
< 1. On en dduit
alors facilement par rcurrence que la suite a
n
< 1, et donc que la
suite (a
n
)
nIN
est strictement dcroissante. Elle converge donc vers
une limite a qui vrie a = a
2
et a < 1. On en dduit que la limite
est nulle.
(c) On pose b
n
= ln a
n
on a donc
b
n+1
= b
n
+b
n1
, n 1 (2.5.56)
Lensemble de suites (b
n
)
nIN
vriant (2.5.56) est un espace vectoriel
de dimension 2. Pour trouver une base de cet espace vectoriel, on
cherche des lments de cet espace sous la forme b
n
= r
n
, n 0.
Une telle suite vrie (2.5.56) si et seulement si r
2
= r + 1, c..d.
r =
1

5
2
. Si la suite (b
n
)
nIN
vrie (2.5.56), il existe donc C IR
et D IR tels que
b
n
= ln(a
n
) = C(
1 +

5
2
)
n
+D(
1

5
2
)
n
.
On en dduit que a
n

d
n
, avec d =
1+

5
2
, = e
|D|
et = e
C
.
Notons quon a bien 0 < < 1 car C < 0 puisque ln(a
n
) < 0, pour
tout n IN.
(d) Par la question 2(c) et lhypothse f(x) ,= 0, on dduit que M > 0.
Comme e
n+1
= M
n
e
n
e
n1
, on a ln e
n+1
= ln M
n
+ln e
n
+ln e
n1
; si
on pose
n
= ln e
n+1
d ln e
n
(pour n 0, on a donc

n
= (1 d) ln e
n
+ ln e
n1
+ ln M
n
= (1 d)(
n1
+d ln e
n1
) + ln e
n1
+ ln M
n
= (1 d)(
n1
+ (1 d)d ln e
n1
) + ln e
n1
+ ln M
n
.
Or (1 d)d = 1 car d est racine de lquation : d
2
d 1 = 0. On
obtient donc nalement

n
= (1 d)
n1
+ ln M
n
.
On pose maintenant
n
= C
n
(1 d)
n
(obtenu par variation de la
constante" C pour la solution de lquation homogne
n
= (1
d)
n1
). On obtient alors
C
n
(1 d)
n
= (1 d)C
n1
(1 d)
n1
+ ln M
n
.
Ceci entrane :
C
n
= C
n1
+
ln M
n
(1 d)
n
.
Donc
C
n
= C
0
+
n

p=1
ln M
p
(1 d)
p
,
et comme la suite (M
n
)
nIN
est borne, la srie de terme gnral
ln Mp
(1d)
p
est convergente. Comme (1 d)
n
tend vers 0 lorsque n tend
vers linni, on en dduit que
n
0. On a donc ln e
n+1
d ln e
n
0,
i.e.
en+1
e
d
n
1 lorsque n +.
148
(e) Lordre de convergence de la mthode de la scante est d =
1+

5
2
< 2,
donc plus petit que lordre de convergence de la mthode de Newton.
149
Chapitre 3
Optimisation
3.1 Dnitions et rappels de calcul direntiel
3.1.1 Dnition des problmes doptimisation
Lobjectif de ce chapitre est de rechercher des minima ou des maxima dune
fonction f C(IR
N
, IR) avec ou sans contrainte. Le problme doptimisation
sans contrainte scrit :
_
Trouver x IR
N
tel que :
f( x) f(y), y IR
N
.
(3.1.1)
Le problme doptimisation avec contrainte scrit :
_
Trouver x Ktel que :
f( x) f(y), y K.
(3.1.2)
o K IR
N
et K ,= IR
N
Si x est solution du problme (3.1.1), on dit que x arg min
IR
N
f, et si x est solution
du problme (3.1.2), on dit que x arg min
K
f.
3.1.2 Rappels et notations de calcul direntiel
Dnition 3.1 Soient E et F des espaces vectoriels norms, f une application
de E dans F et x E. On dit que f est direntiable en x sil existe T L(E, F)
(o L(E, F) est lensemble des applications linaires de E dans F) telle que
f(x +h) = f(x) +T(h) +|h|(h) avec (h) 0 quand h 0. Lapplication T
est alors unique et on note Df(x) = T L(E, F).
On peut remarquer quen dimension innie, T dpend des normes associes E
et F. Voyons maintenant quelques cas particuliers despaces E et F :
Cas o E = IR
N
et F = IR
p
Soit f : IR
N
IR
p
, x IR
N
et supposons que f
est direntiable en x; alors Df(x) L(IR
N
, IR
p
), et il existe A(x) /
p,N
(IR)
telle que Df(x)(y)
. .
IR
p
= Ay
..
IR
p
, y IR
N
. On confond alors lapplication linaire
150
Df(x) L(IR
N
, IR
p
) et la matrice A(x) /
p,N
(IR) qui la reprsente. On crit
donc :
A(x) = Df(x) = (a
i,j
)
1ip,1jN
o a
i,j
=
j
f
i
(x),

j
dsignant la drive partielle par rapport la j-me variable.
Exemple 3.2 Prenons N = 3 et p = 2, notons x = (x
1
, x
2
, x
3
)
t
et considrons
f : IR
3
IR
3
dnie par :
f(x) =
_
x
2
1
+x
3
2
+x
4
3
2x
1
x
2
_
On vriera par le calcul (exercice) que pour h == (h
1
, h
2
, h
3
)
t
, on a :
Df(x)h =
_
_
2x
1
h
1
+ 3x
2
2
h
2
+ 4x
3
3
h
3
2h
1
h
2
_
_
et donc, avec les notations prcdentes,
A(x) =
_
_
2x
1
3x
2
2
4x
3
3
2 1 0
_
_
.
Cas o E = IR
N
, F = IR Cest un sous-cas du paragraphe prcdent, puis-
quon est ici dans le cas p = 1. Soit x IR
N
et f une fonction de E dans F
direntiable en x; on a donc (avec labus de notation signal dans le para-
graphe prcdent) Df(x) /
1,N
(IR), et on peut dnir le gradient de f en x
par f(x) = (Df(x))
t
IR
N
. Pour (x, y) (IR
N
)
2
, on a donc
Df(x)y =
N

j=i

j
f(x)y
j
= f(x) y o f(x) =
_

1
f(x)
.
.
.

N
f(x)
_

_
IR
N
.
Cas o E est un espace de Hilbert et F = IR On gnralise ici le cas
prsent au paragraphe prcdent. Soit f : E IR direntiable en x E. Alors
Df(x) L(E, IR) = E

, o E

dsigne le dual topologique de E, c..d. lensemble

des formes linaires continues sur E. Par le thorme de reprsentation de Riesz,
il existe un unique u E tel que Df(x)(y) = (u[y)
E
pour tout y E, o (.[.)
E
dsigne le produit scalaire sur E. On appelle encore gradient de f en x ce vecteur
u. On a donc u = f(x) E et pour y E, Df(x)(y) = (f(x)[y)
E
.
Direntielle dordre 2, matrice hessienne Revenons maintenant au cas
gnral de deux espaces vectoriels norms E et F, et supposons maintenant que
f C
2
(E, F). Le fait que f C
2
(E, F) signie que Df C
1
(E, L(E, F)).
Par dnition, on a D
2
f(x) L(E, L(E, F)) et donc pour y E, D
2
f(x)(y)
L(E, F) ; en particulier, pour z E, D
2
f(x)(y)(z) F.
Considrons maintenant le cas particulier E = IR
N
et F = IR. On a :
f C
2
(IR
N
, IR) [f C
1
(IR
N
, IR) et f C
1
(IR
N
, IR
N
)].
151
Soit g = f C
1
(IR
N
, IR
N
), et x IR
N
, alors Dg(x) /
N
(IR) et on peut
dnir la matrice hessienne de f, quon note H
f
, par : H
f
(x) = Dg(x) =
D(Df)(x) = (b
i,j
)
i,j=1...N
/
N
(IR) o b
i,j
=
2
i,j
f(x) o
2
i,j
dsigne la
drive partielle par rapport la variable i de la drive partielle par rapport
la variable j. Notons que par dnition, Dg(x) est la matrice jacobienne de g
en x.
3.2 Optimisation sans contrainte
3.2.1 Dnition et condition doptimalit
Soit f C(E, IR) et E un espace vectoriel norm. On cherche soit un minimum
global de f, c..d. :
x E tel que f( x) f(y) y E, (3.2.3)
ou un minimum local, c..d. :
x tel que > 0 f( x) f(y) y B( x, ). (3.2.4)
Proposition 3.3 (Condition ncessaire doptimalit)
Soit E un espace vectoriel norm, et soient f C(E, IR), et x E tel que f
est direntiable en x. Si x est solution de (3.2.4) alors Df( x) = 0.
Dmonstration Supposons quil existe > 0 tel que f( x) f(y) pour tout
y B( x, ). Soit z E0, alors si [t[ <

z
, on a x+tz B( x, ) (o B( x, )
dsigne la boule ouverte de centre x et de rayon ) et on a donc f( x) f( x+tz).
Comme f est direntiable en x, on a :
f( x +tz) = f( x) +Df( x)(tz) +[t[
z
(t),
o
z
(t) 0 lorsque t 0. On a donc f( x) + tDf( x)(z) + [t[
z
(t) f( x). Et
pour

|z|
> t > 0, on a Df( x)(z) +
z
(t) 0. En faisant tendre t vers 0, on
obtient que
Df( x)(z) 0, z E.
On a aussi Df( x)(z) 0 z E, et donc : Df( x)(z) 0 z E.
On en conclut que
Df( x) = 0.
Remarque 3.4 Attention, la proposition prcdente donne une condition nces-
saire mais non susante. En eet, Df( x) = 0 nentrane pas que f atteigne un
minimum (ou un maximum) mme local, en x. Prendre par exemple E = IR,
x = 0 et la fonction f dnie par : f(x) = x
3
pour sen convaincre.
3.2.2 Rsultats dexistence et dunicit
Thorme 3.5 (Existence) Soit E = IR
N
et f : E IR une application telle
que
(i) f est continue,
152
(ii) f(x) + quand |x| +.
Alors il existe x IR
N
tel que f( x) f(y) pour tout y IR
N
.
Dmonstration La condition (ii) peut encore scrire
A IR, R IR; |x| R f(x) A. (3.2.5)
On crit (3.2.5) avec A = f(0). On obtient alors :
R IR tel que |x| R f(x) f(0).
On en dduit que inf
IR
N f = inf
BR
f, o B
R
= x IR
N
; [x[ R. Or, B
R
est
un compact de IR
N
et f est continue donc il existe x B
R
tel que f( x) = inf
BR
f
et donc f( x) = inf
IR
Nf.
Remarque 3.6
1. Le thorme est faux si E est de dimension innie (i.e. si E est espace de
Banach au lieu de E = IR
N
), car si E est de dimension innie, B
R
nest
pas compacte.
2. Lhypothse (ii) du thorme peut tre remplace par
(ii)

b IR
N
, R > 0 tel que |x| R f(x) f(b).
3. Sous les hypothses du thorme il ny a pas toujours unicit de x mme
dans le cas N = 1, prendre pour sen convaincre la fonction f dnie de
IR dans IR par f(x) = x
2
(x 1)(x + 1).
Dnition 3.7 (Convexit) Soit E un espace vectoriel et f : E IR. On dit
que f est convexe si
f(tx+(1t)y) tf(x)+(1t)f(y) pour tout (x, y) E
2
t.q. x ,= y et t [0, 1].
On dit que f est strictement convexe si
f(tx+(1t)y) < tf(x)+(1t)f(y) pour tout (x, y) E
2
t.q. x ,= y et t ]0, 1[.
Thorme 3.8 (Condition susante dunicit) Soit E un espace vectoriel
norm et f : E IR strictement convexe alors il existe au plus un x E tel
que f( x) f(y), y E.
Dmonstration
Soit f strictement convexe, supposons quil existe x et
=
x E tels que f( x) =
f(
=
x) = inf
IR
IN f. Comme f est strictement convexe, si x ,=
=
x alors
f(
1
2
x +
1
2
=
x) <
1
2
f( x) +
1
2
f(
=
x) = inf
IR
N
f,
ce qui est impossible ; donc x =
=
x.
Remarque 3.9 Ce thorme ne donne pas lexistence. Par exemple dans le cas
N = 1 la fonction f dnie par f(x) = e
x
natteint pas son minimum, car
inf
IR
N
f = 0 et f(x) ,= 0 pour tout x IR, et pourtant f est strictement convexe.
153
Par contre, si on runit les hypothses des thormes 3.5 et 3.8, on obtient le
rsultat dexistence et unicit suivant :
Thorme 3.10 (Existence et unicit) Soit E = IR
N
, et soit f : E IR.
On suppose que :
(i) f continue,
(ii) f(x) + quand |x| +,
(iii) f est strictement convexe ;
alors il existe un unique x IR
N
tel que f( x) = inf
IR
N
f.
Remarque 3.11 Le thorme reste vrai (voir cours de matrise) si E est un
espace de Hilbert ; on a besoin dans ce cas pour la partie existence des hypothses
(i), (ii) et de la convexit de f.
Proposition 3.12 (1re caractrisation de la convexit) Soit E un espace
vectoriel norm (sur IR) et f C
1
(E, IR) alors :
1. f convexe si et seulement si f(y) f(x) +Df(x)(y x), pour tout couple
(x, y) E
2
,
2. f est strictement convexe si et seulement si f(y) > f(x) + Df(x)(y x)
pour tout couple (x, y) E
2
tel que x ,= y.
Dmonstration
Dmonstration de 1.
() Supposons que f est convexe : soit (x, y) E
2
; on veut montrer que f(y)
f(x) +Df(x)(y x). Soit t [0, 1], alors f(ty +(1 t)x) tf(y) +(1 t)f(x)
grce au fait que f est convexe. On a donc :
f(x +t(y x)) f(x) t(f(y) f(x)). (3.2.6)
Comme f est direntiable, f(x +t(y x)) = f(x) +Df(x)(t(y x)) +t(t) o
(t) tend vers 0 lorsque t tend vers 0. Donc en reportant dans (3.2.6),
(t) +Df(x)(y x) f(y) f(x), t ]0, 1[.
En faisant tendre t vers 0, on obtient alors :
f(y) Df(x)(y x) +f(x).
() Montrons maintenant la rciproque : Soit (x, y) E
2
, et t ]0, 1[ (pour
t = 0 ou = 1 on na rien dmontrer). On veut montrer que f(tx + (1 t)y)
tf(x) + (1 t)f(y). On pose z = tx + (1 t)y. On a alors par hypothse :
f(y) f(z) +Df(z)(y z),
et f(x) f(z) +Df(z)(x z).
En multipliant la premire ingalit par 1 t, la deuxime par t et en les addi-
tionnant, on obtient :
(1 t)f(y) +tf(x) f(z) + (1 t)Df(z)(y z) +tDf(z)(x z)
(1 t)f(y) +tf(x) f(z) +Df(z)((1 t)(y z) +t(x z)).
154
Et comme (1 t)(y z) +t(x z) = 0, on a donc (1 t)f(y) +tf(x) f(z) =
f(tx + (1 t)y).
Dmonstration de 2
() On suppose que f est strictement convexe, on veut montrer que f(y) >
f(x)+Df(x)(yx) si y ,= x. Soit donc (x, y) E
2
, x ,= y. On pose z =
1
2
(yx),
et comme f est convexe, on peut appliquer la partie 1. du thorme et crire que
f(x+z) f(x)+Df(x)(z). On a donc f(x)+Df(x)(
yx
2
) f(
x+y
2
). Comme f
est strictement convexe, ceci entrane que f(x) +Df(x)(
yx
2
) <
1
2
(f(x) +f(y)),
do le rsultat.
() La mthode de dmonstration est la mme que pour le 1.
Proposition 3.13 (Caractrisation des points tels que f( x) = inf
E
f)
Soit E espace vectoriel norm et f une fonction de E dans IR. On suppose que
f C
1
(E, IR) et que f est convexe. Soit x E. Alors :
f( x) = inf
E
f Df( x) = 0.
En particulier si E = IR
N
alors f( x) = inf
xIR
N
f(x) f( x) = 0.
Dmonstration
() Supposons que f( x) = inf
E
f alors on sait (voir Proposition 3.3) que Df( x) =
0 (la convexit est inutile).
() Si f est convexe et direntiable, daprs la proposition 3.12, on a : f(y)
f( x) + Df( x)(y x) pour tout y E et comme par hypothse Df( x) = 0, on
en dduit que f(y) f( x) pour tout y E. Donc f( x) = inf
E
f.
Proposition 3.14 (2me caractrisation de la convexit) Soit E = IR
N
et f C
2
(E, IR). Soit H
f
(x) la hessienne de f au point x, i.e. (H
f
(x))
i,j
=

2
i,j
f(x). Alors
1. f est convexe si et seulement si H
f
(x) est symtrique et positive pour tout
x E (c..d. H
f
(x)
t
= H
f
(x) et H
f
(x)y y 0 pour tout y IR
N
)
2. f est strictement convexe si H
f
(x) est symtrique dnie positive pour
tout x E. (Attention la rciproque est fausse.)
Dmonstration
Dmonstration de 1.
() Soit f convexe, on veut montrer que H
f
(x) est symtrique positive. Il est
clair que H
f
(x) est symtrique car
2
i,j
f =
2
j,i
f car f est C
2
. Par dnition,
H
f
(x) = D(f(x)) et f C
1
(IR
N
, IR
N
). Soit (x, y) E
2
, comme f est
convexe et de classe C
1
, on a, grce la proposition 3.12 :
f(y) f(x) +f(x) (y x). (3.2.7)
Soit C
2
(IR, IR) dnie par (t) = f(x +t(y x)). Alors :
f(y) f(x) = (1) (0) =
_
1
0

(t)dt = [

(t)(t 1)]
1
0

_
1
0

(t)(t 1)dt,
155
cest dire : f(y) f(x) =

(0) +
_
1
0

(t)(1 t)dt. Or

(t) = f(x +t(y

x)) (y x), et

(t) = D(f(x +t(y x))(y x) (y x) = H

f
(x +t(y x))(y x) (y x).
On a donc :
f(y)f(x) = f(x)(yx)+
_
1
0
H
f
(x+t(yx))(yx)(yx)(1t)dt. (3.2.8)
Les ingalits (3.2.7) et (3.2.8) entranent :
_
1
0
H
f
(x + t(y x))(y x) (y
x)(1 t)dt 0 x, y E. On a donc :
_
1
0
H
f
(x +tz)z z(1 t)dt 0 x, z E. (3.2.9)
En xant x E, on crit (3.2.9) avec z = y, > 0, y IR
N
. On obtient :

2
_
1
0
H
f
(x +ty)y y(1 t)dt 0 x, y E, > 0, et donc :
_
1
0
Hf(x +ty)y y(1 t)dt 0 > 0.
Pour (x, y) E
2
x, H
f
(x+ty) tend vers H
f
(x) uniformment lorsque 0,
pour t [0, 1]. On a donc :
_
1
0
H
f
(x)y y(1 t)dt 0, c..d.
1
2
H
f
(x)y y 0.
Donc pour tout (x, y) (IR
N
)
2
, H
f
(x)y y 0 donc H
f
(x) est positive.
() Montrons maintenant la rciproque : On suppose que H
f
(x) est positive
pour tout x E. On veut dmontrer que f est convexe ; on va pour cela utiliser
la proposition 3.12 et montrer que : f(y) f(x) + f(x) (y x) pour tout
(x, y) E
2
. Grce (3.2.8), on a :
f(y) f(x) = f(x) (y x) +
_
1
0
H
f
(x +t(y x))(y x) (y x)(1 t)dt.
Or H
f
(x+t(y x))(y x) (y x) 0 pour tout couple (x, y) E
2
, et 1t 0
sur [0, 1]. On a donc f(y) f(x) +f(x) (y x) pour tout couple (x, y) E
2
.
La fonction f est donc bien convexe.
Dmonstration de 2.
() On suppose que H
f
(x) est strictement positive pour tout x E, et on veut
montrer que f est strictement convexe. On va encore utiliser la caractrisation
de la proposition 3.12. Soit donc (x, y) E
2
tel que y ,= x. Alors :
f(y) = f(x)+f(x)(yx)+
_
1
0
H
f
(x +t(y x))(y x) (y x)
. .
>0 si x=y
(1 t)
. .
=0 si t]0,1[
dt.
Donc f(y) > f(x) +f(x)(y x) si x ,= y, ce qui prouve que f est strictement
convexe.
156
Contre-exemple Pour montrer que la rciproque de 2. est fausse, on propose
le contre-exemple suivant : Soit N = 1 et f C
2
(IR, IR), on a alors H
f
(x) =
f

(x). Si f est la fonction dnie par f(x) = x

4
, alors f est strictement convexe
car f

(x) = 12x
2
0, mais f

(0) = 0.
Cas dune fonctionnelle quadratique Soient A /
N
(IR), b IR
N
, et
f la fonction de IR
N
dans IR
N
dnie par f(x) =
1
2
Ax x b x. Alors f
C

(IR
N
, IR). Le calcul du gradient de f et de sa hessienne font lobjet de
lexercice 57 : on montre que
f(x) =
1
2
(Ax +A
t
x) b.
Donc si A est symtrique f(x) = Axb. Le calcul de la hessienne de f donne :
H
f
(x) = D(f(x)) =
1
2
(A +A
t
).
On en dduit que si A est symtrique, H
f
(x) = A. On peut montrer en particu-
lier (voir exercice 57) que si A est symtrique dnie positive alors il existe un
unique x IR
N
tel que f( x) f(x) pour tout x IR
N
, et que ce x est aussi
lunique solution du systme linaire Ax = b.
3.3 Algorithmes doptimisation sans contrainte
Soit E = IR
N
et f C(E, IR). On suppose quil existe x E tel que f( x) =
inf
E
f. On cherche calculer x (si f est de classe C
1
, on a ncessairement f( x) =
0). On va donc maintenant dvelopper des algorithmes (ou mthodes de calcul)
du point x qui ralise le minimum de f.
3.3.1 Mthodes de descente
Dnition 3.15 Soient f C(E, IR) et E = IR
N
.
1. Soit x E, on dit que w E 0 est une direction de descente en x sil
existe
0
> 0 tel que
f(x +w) f(x) [0,
0
]
2. Soit x E, on dit que w E 0 est une direction de descente stricte
en x si sil existe
0
> 0 tel que
f(x +w) < f(x) ]0,
0
].
3. Une mthode de descente" pour la recherche de x tel que f( x) = inf
E
f
consiste construire une suite (x
n
)
n
de la manire suivante :
(a) Initialisation x
0
E ;
(b) Itration n : on suppose x
0
. . . x
n
connus (n 0) ;
i. On cherche w
n
direction de descente stricte de x
n
ii. On prend x
n+1
= x
n
+
n
w
n
avec
n
> 0 bien choisi".
157
Proposition 3.16 Soient E = IR
N
, f C
1
(E, IR), x E et w E 0 ;
alors
1. si w direction de descente en x alors w f(x) 0
2. si f(x) ,= 0 alors w = f(x) est une direction de descente stricte en
x.
Dmonstration
1. Soit w E 0 une direction de descente en x alors par dnition,

0
> 0 tel que f(x +w) f(w), [0,
0
].
Soit la fonction de IR dans IR dnie par : () = f(x + w). On a
C
1
(IR, IR) et

() = f(x +w) w. Comme w est une direction de

descente, on peut crire : () (0), [0,
0
], et donc
]0,
0
[,
() (0)

0;
en passant la limite lorsque tend vers 0, on dduit que

(0) 0, c..d.
f(x) w 0.
2. Soit w = f(x) ,= 0. On veut montrer quil existe
0
> 0 tel que si
]0,
0
] alors f(x + w) < f(x) ou encore que () < (0) o est la
fonction dnie en 1 ci-dessus. On a :

(0) = f(x) w = [f(x)[

2
< 0.
Comme

est continue, il existe

0
> 0 tel que si [0,
0
] alors

() <
0. Si ]0,
0
] alors () (0) =
_

(t)dt < 0, et on a donc bien

() < (0) pour tout ]0,
0
], ce qui prouve que w est une direction de
descente stricte en x.
Algorithme du gradient pas xe Soient f C
1
(E, IR) et E = IR
N
. On
se donne > 0.
_

_
Initialisation : x
0
E,
Itration n : x
n
connu, (n 0)
w
n
= f(x
n
),
x
n+1
= x
n
+w
n
.
(3.3.10)
Thorme 3.17 (Convergence du gradient pas xe) Soient E = IR
N
et f C
1
(E, IR) On suppose que :
1. > 0 tel que (f(x) f(y)) (x y) |x y|
2
, (x, y) E
2
,
2. M > 0 tel que |f(x) f(y)| M|x y|, (x, y) E
2
,
alors :
1. f est strictement convexe,
2. f(x) + quand [x[ +,
3. il existe un et un seul x E tel que f( x) = inf
E
f (consquence de 1. et 2.),
4. si 0 < <
2
M
2
alors la suite (x
n
)
nIN
construite par (3.3.10) converge
vers x lorsque n + .
La dmonstration de ce thorme fait lobjet de lexercice 58.
158
Algorithme du gradient pas optimal Lide de lalgorithme du gradient
pas optimal est dessayer de calculer chaque itration le paramtre qui mi-
nimise la fonction dans la direction de descente donne par le gradient. Soient
f C
1
(E, IR) et E = IR
N
, cet algorithme scrit :
_

_
Initialisation : x
0
IR
N
.
Itration n : x
n
connu.
On calcule w
n
= f(x
n
).
On choisit
n
0 tel que
f(x
n
+
n
w
n
) f(x
n
+w
n
) 0.
On pose x
n+1
= x
n
+
n
w
n
.
(3.3.11)
Les questions auxquelles on doit rpondre pour sassurer du bien fond de ce
nouvel algorithme sont les suivantes :
1. Existetil
n
tel que f(x
n
+
n
w
n
) f(x
n
+w
n
), 0 ?
2. Comment calculeton
n
?
3. La suite (x
n
)
nIN
construite par lalgorithme convergetelle ?
La rponse aux questions 1. et 3. est apporte par le thorme suivant :
Thorme 3.18 (Convergence du gradient pas optimal)
Soit f C
1
(IR
N
, IR) telle que f(x) + quand [x[ +. Alors :
1. La suite (x
n
)
nIN
est bien dnie par (3.3.11). On choisit
n
> 0 tel que
f(x
n
+
n
w
n
) f(x
n
+w
n
) 0 (
n
existe mais nest pas ncessaire-
ment unique).
2. La suite (x
n
)
nIN
est borne et si (x
n
k
)
kIN
est une sous suite convergente,
i.e. x
n
k
x lorsque k +, on a ncessairement f(x) = 0. De plus
si f est convexe on a f(x) = inf
IR
N
f
3. Si f est strictement convexe on a alors x
n
x quand n +, avec
f( x) = inf
IR
N
f
La dmonstration de ce thorme fait lobjet de lexercice 59. On en donne ici
les ides principales.
1. On utilise lhypothse f(x) + quand [x[ + pour montrer que la
suite (x
n
)
nIN
construite par (3.3.11) existe : en eet, x
n
connu,
1er cas : si f(x
n
) = 0, alors x
n+1
= x
n
et donc x
p
= x
n
p n,
2me cas : si f(x
n
) ,= 0, alors w
n
= f(x
n
) est une direction de
descente stricte.
Dans ce deuxime cas, il existe donc
0
tel que
f(x
n
+w
n
) < f(x
n
), ]0,
0
]. (3.3.12)
De plus, comme w
n
,= 0, [x
n
+ w
n
[ + quand + et donc
f(x
n
+ w
n
) + quand +. Il existe donc M > 0 tel que si
> M alors f(x
n
+w
n
) f(x
n
). On a donc :
inf
IR

+
f(x
n
+w
n
) = inf
[0,M]
f(x
n
+w
n
).
Comme [0, M] est compact, il existe
n
[0, M] tel que f(x
n
+
n
w
n
) =
inf
[0,M]
f(x
n
+w
n
). De plus on a grce (3.3.12) que
n
> 0.
159
2. Le point 2. dcoule du fait que la suite (f(x
n
))
nIN
est dcroissante, donc
la suite (x
n
)
nIN
est borne (car f(x) + quand [x[ +). On
montre ensuite que si x
n
k
x lorsque k + alors f( x) = 0 (ceci est
plus dicile, les tapes sont dtailles dans lexercice 59).
Reste la question du calcul de
n
. Soit la fonction de IR
+
dans IR dnie
par : () = f(x
n
+ w
n
). Comme
n
> 0 et (
n
) () pour tout IR
+
,
on a ncessairement

(
n
) = f(x
n
+
n
w
n
) w
n
= 0. Considrons le cas
dune fonctionnelle quadratique, i.e. f(x) =
1
2
Ax xb x, A tant une matrice
symtrique dnie positive. Alors f(x
n
) = Ax
n
b, et donc f(x
n
+
n
w
n
)
w
n
= (Ax
n
+
n
Aw
n
b)w
n
= 0. On a ainsi dans ce cas une expression explicite
de
n
:

n
=
(b Ax
n
) w
n
Aw
n
w
n
,
(en eet, Aw
n
w
n
,= 0 car A est symtrique dnie positive).
Dans le cas dune fonction f gnrale, on na pas en gnral de formule explicite
pour
n
. On peut par exemple le calculer en cherchant le zro de f

par la
mthode de la scante ou la mthode de Newton. . .
Lalgorithme du gradient pas optimal est donc une mthode de minimisation
dont on a prouv la convergence. Cependant, cette convergence est lente (en
gnral linaire), et de plus, lalgorithme ncessite le calcul du paramtre
n
optimal.
Algorithme du gradient pas variable Dans ce nouvel algorithme, on ne
prend pas forcment le paramtre optimal pour , mais on lui permet dtre
variable dune itration lautre. Lalgorithme scrit :
_

_
Initialisation : x
0
IR
N
.
Itration : On suppose x
n
connu ; soit w
n
= f(x
n
) o : w
n
,= 0
(si w
n
= 0 lalgorithme sarrte).
On prend
n
> 0 tel que f(x
n
+
n
w
n
) < f(x
n
).
On pose x
n+1
= x
n
+
n
w
n
.
(3.3.13)
Thorme 3.19 (Convergence du gradient pas variable)
Soit f C
1
(IR
N
, IR) une fonction telle que f(x) + quand [x[ +,
alors :
1. On peut dnir une suite (x
n
)
nIN
par (3.3.13).
2. La suite (x
n
)
nIN
est borne. Si x
n
k
x quand k + et si f(x
n
k
) 0
quand n + alors f(x) = 0. Si de plus f est convexe on a f(x) =
inf
IR
N
f
3. Si f(x
n
) 0 quand n + et si f est strictement convexe alors
x
n
x et f( x) = inf
IR
N
f.
Dmonstration : Elle est facile partir de la dmonstration du thorme
prcdent : reprendre en ladaptant lexercice 59.
160
3.3.2 Algorithmes du gradient conjugu
La mthode du gradient conjugu a t dcouverte en 1952 par Hestenes et
Steifel pour la minimisation de fonctionnelles quadratiques, cest- -dire de fonc-
tionnelles de la forme
f(x) =
1
2
Ax x b x,
o A /
N
(IR) est une matrice symtrique dnie positive et b IR
N
. On
rappelle (voir section (3.2.2) et exercice (57)) que f( x) = inf
IR
N
f A x = b.
Dnition 3.20 (Vecteurs conjugus) Soit A /
N
(IR) une matrice sym-
trique dnie positive,
1. Deux vecteurs v et w de IR
N
0 sont dits A-conjugus si Av w =
w Av = 0.
2. Une famille (w
(1)
, . . . , w
(p)
) de IR
N
0 est dite A-conjugue si w
(i)

Aw
(j)
= 0 pour tout couple (i, j) 1, . . . , p
2
tel que i ,= j.
Proposition 3.21 Soit A /
N
(IR) une matrice symtrique dnie positive,
(w
(1)
, . . . , w
(p)
) une famille de IR
N
, alors :
1. si la famille (w
(1)
, . . . , w
(p)
) est A-conjugue alors elle est libre ;
2. dans le cas o p = N, si la famille (w
(1)
, . . . , w
(N)
) est A-conjugue alors
cest une base de IR
N
.
Dmonstration : Le point 2. est immdiat ds quon a dmontr le point 1.
Supposons donc que (w
(1)
, . . . , w
(p)
) est une famille A-conjugue, i.e. w
(i)
,= 0,
i et w
(i)
Aw
(j)
= 0 si i ,= j ; soit (
i
)
i=1,...,p
IR, supposons que

p
i=1

i
w
(i)
=
0, on a donc

p
i=1

i
w
(i)
Aw
(j)
= 0 et donc
j
w
(j)
Aw
(j)
= 0. Or w
(j)
Aw
(j)
,=
0 car w
(j)
,= 0 et A est symtrique dnie positive. On en dduit que
j
= 0
pour j = 1, . . . , p. La famille (w
(1)
, . . . , w
(p)
) est donc libre.
Proposition 3.22 Soit A /
N
(IR) une matrice symtrique dnie positive,
b IR
N
et f une fonction dnie de IR
N
dans IR
N
par f(x) =
1
2
Ax x b x.
On suppose que la suite (x
(n)
)
n
est dnie par :
Initialisation x
(0)
IR
N
Itration n x
(n+1)
= x
(n)
+
n
w
(n)
o
1) w
(n)
,= 0 est une direction de descente stricte en x
(n)
2)
n
est optimal dans la direction w
(n)
.
Si la famille (w
(0)
, . . . , w
(N1)
) est une famille A-conjugue alors x
(N)
= x avec
A x = b.
Dmonstration Soit w
(n)
direction de descente stricte en x
(n)
et
n
optimal
dans la direction w
(n)
; alors
n
> 0 et f(x
(n+1)
) w
(n)
= 0, cest--dire
(Ax
(n+1)
b) w
(n)
= 0 (3.3.14)
On va montrer que
(Ax
(N)
b) w
(p)
= 0, p 0, . . . , N 1.
161
Comme (w
(0)
, . . . , w
(N1)
) est une base de IR
N
, on en dduit alors que Ax
(N)
=
b, cest--dire x
(N)
= x. Remarquons dabord grce (3.3.14) que (Ax
(N)
b)
w
(N1)
= 0. Soit maintenant p < N 1. On a :
Ax
(N)
b = A(x
(N1)
+
N1
w
(N1)
) b = Ax
(N1)
b +
N1
Aw
(N1)
.
On a donc en itrant,
Ax
(N)
b = Ax
(p+1)
b +
N1
Aw
(N1)
+. . . +
p+1
Aw
(p+1)
, p 1
. On en dduit que
(Ax
(N)
b) w
(p)
= (Ax
(p+1)
b) w
(p)
+
N1

j=p+1
(
i
Aw
j
w
(p)
).
Comme les directions w
i
sont conjugues, on a donc (Ax
(N)
b) w
(p)
= 0 pour
tout p = 0 . . . N 1 et donc Ax
(N)
= b.
Le rsultat prcdent suggre de rechercher une mthode de minimisation de
la fonction quadratique f selon le principe suivant : Pour x
(0)
. . . x
(n)
connus,
w
(0)
, . . . , w
(n1)
connus, on cherche w
(n)
tel que :
1. w
(n)
soit une direction de descente stricte en x
(n)
,
2. w
(n)
soit A-conjugu avec w
(p)
pour tout p < n.
Si on arrive trouver w
(n)
on prend alors x
(n+1)
= x
(n)
+
n
w
(n)
avec
n
optimal
dans la direction w
(n)
. La proprit prcdente donne x
(N)
= x avec A x = b.
Dnition 3.23 (Mthode du gradient conjugu) Soit A /
N
(IR) une
matrice symtrique dnie positive, b IR
N
et f(x) =
1
2
Ax x b x.
_

_
Initialisation
Soit x
(0)
IR
N
, et soit r
(0)
= b Ax
(0)
= f(x
(0)
).
1) Si r
(0)
= 0, alors Ax
(0)
= b et donc x
(0)
= x,
auquel cas lalgorithme sarrte.
2) Si r
(0)
,= 0, alors on pose w
(0)
= r
(0)
, et on choisit
0
optimal
dans la direction w
(0)
.
On pose alors x
(1)
= x
(0)
+
0
w
(0)
.
Itration 1 n N 1 :
On suppose x
(0)
, . . . , x
(n)
et w
(0)
, . . . , w
(n1)
connus et on pose
r
(n)
= b Ax
(n)
.
1) Si r
(n)
= 0 on a Ax
(n)
= b donc x
(n)
= x
auquel cas lalgorithme sarrte.
2) Si r
(n)
,= 0, alors on pose w
(n)
= r
(n)
+
n1
w
(n1)
avec
n1
tel que w
(n)
Aw
(n1)
= 0,
et on choisit
n
optimal dans la direction w
(n)
;
On pose alors x
(n+1)
= x
(n)
+
n
w
(n)
.
(3.3.15)
Thorme 3.24 Soit A une symtrique dnie positive, A /
N
(IR), b IR
N
et f(x) =
1
2
Ax xb x alors (3.3.15) dnit une suite (x
(n)
)
n=0,...,p
avec p N
telle que x
(N)
= x avec A x = b.
162
Dmonstration
Initialisation Si r
(0)
= 0, alors Ax
(0)
= b et donc x
(0)
= x auquel cas p = 0.
Si r
(0)
,= 0, comme w
(0)
= r
(0)
= b Ax
(0)
= f(x
(0)
), w
(0)
est une direction
de descente stricte ; il existe donc
0
qui minimise la fonction dnie de IR
dans IR par () = f(x
(0)
+w
(0)
). La valeur de
0
est obtenue en demandant
que

() = 0, ce qui donne :
0
=
r
(0)
w
(0)
Aw
(0)
w
(0)
. Llment x
(1)
= x
(0)
+
0
w
(0)
est donc bien dni. Notons que r
(1)
= Ax
(1)
b = r
(0)

0
Aw
(0)
, et donc
r
(1)
w
(0)
= 0.
Itration n
On suppose x
(0)
, . . . , x
(n)
et w
(0)
, . . . , w
(n)
connus, et on pose r
(n)
= b Ax
(n)
.
Si r
(n)
= 0 alors Ax
(n)
= b et donc x
(n)
= x auquel cas lalgorithme sarrte et
p = n.
Si r
(n)
,= 0, on pose w
(n)
= r
(n)
+
n1
w
(n1)
. Comme w
(n1)
,= 0, on peut
choisir
n1
tel que w
(n)
Aw
(n1)
= 0, c..d. (r
(n)
+
n1
w
(n1)
) Aw
(n1)
= 0,
en prenant

n1
=
r
(n)
Aw
(n1)
w
(n1)
Aw
(n1)
.
Montrons maintenant que w
(n)
est une direction de descente stricte en x
(n)
. On
a :
w
(n)
(f(x
(n)
)) = (r
(n)
+
n1
w
(n1)
) (f(x
(n)
))
= (f(x
(n)
) +
n1
w
n1
) (f(x
n
))
= [f(x
(n)
)[
2

n1
w
(n1)
f(x
(n)
).
Or w
(n1)
f(x
(n)
) = 0 car
n1
est le paramtre de descente optimal en
x
(n1)
dans la direction w
(n1)
, on a donc :
w
(n)
f(x
(n)
) = [f(x
(n)
)[
2
= [r
(n)
[
2
> 0
ceci donne que w
(n)
est une direction de descente stricte en x
(n)
On peut choisir

n
> 0 optimal en x
(n)
dans la direction w
(n)
, et le calcul de
n
(similaire
celui de ltape dinitialisation) donne

n
=
r
(n)
w
(n)
Aw
(n)
w
(n)
. (3.3.16)
On peut donc bien dnir x
(n+1)
= x
(n)
+
n
w
(n)
. Remarquons que ce choix de

n
entrane que
r
(n)
w
(n1)
= 0. (3.3.17)
Pour pouvoir appliquer la proposition 3.22, il reste montrer que la famille
w
(0)
, . . . , w
(n)
est A-conjugue. Ceci est lobjet de la proposition 3.26 qui suit.
Grce cette proposition, on obtient que si r
(n)
,= 0, n = 0, . . . , N1, la famille
(w
(0)
, . . . , w
(N1)
) est donc A-conjugue, et w
(n)
est une direction de descente
stricte en x
(n)
pour tout n N 1. On en dduit par la proposition 3.22 que
x
(N)
= x.
La dmonstration de la proposition 3.26 que lon vient dutiliser se fait par
rcurrence, et ncessite les petits rsultats prliminaires noncs dans le lemme
suivant :
163
Lemme 3.25 Sous les hypothses et notations de la dnition 3.23, on a :

n
=
r
(n)
r
(n)
w
(n)
Aw
(n)
, (3.3.18)
r
(n)
= r
(n1)
+
n1
Aw
(n1)
, (3.3.19)
r
(n)
r
(n1)
= 0, (3.3.20)

n1
=
r
(n)
r
(n)
r
(n1)
r
(n1)
, (3.3.21)
Dmonstration :
1. Comme
n
est le paramtre optimal dans la direction w
(n)
, on sait (voir
(3.3.16)) que

n
=
r
(n)
w
(n)
Aw
(n)
w
(n)
.
Or par dnition, w
(n)
= r
(n)
+
n1
w
(n1)
, et donc w
(n)
r
(n)
= r
(n)
r
(n)
+

n1
w
(n1)
r
(n)
. Il ne reste plus remarquer que w
(n1)
r
(n)
= 0 en raison
de loptimalit de
n1
(voir (3.3.17)). On en dduit que

n
=
r
(n)
r
(n)
w
(n)
Aw
(n)
.
2. Par dnition, x
(n)
= x
(n1)
+
n1
w
(n1)
, donc Ax
(n)
= Ax
(n1)
+
n1
Aw
(n1)
,
ce qui entrane r
(n)
= r
(n1)
+
n1
Aw
(n1)
.
3. Par dnition, et grce (3.3.19), on a :
r
(n)
r
(n1)
= r
(n1)
r
(n1)
+
n1
Aw
(n1)
r
(n1)
.
Or w
(n1)
= r
(n1)
+
n1
w
(n2)
, et donc r
(n1)
= w
(n1)

n1
w
(n2)
. On
en dduit que
r
(n)
r
(n1)
= r
(n1)
r
(n1)

n1
Aw
(n1)
w
(n1)

n1

n1
Aw
(n1)
w
(n2)
.
Or Aw
(n1)
w
(n2)
= 0 et par (3.3.18), on a r
(n1)
r
(n1)

n1
Aw
(n1)

w
(n1)
= 0.
4. Par dnition,

n1
=
r
(n)
Aw
(n1)
w
(n1)
Aw
(n1)
.
Or par (3.3.19), on a :
Aw
(n1)
=
1

n1
(r
(n1)
r
(n)
).
On conclut grce (3.3.20) et (3.3.18).
Proposition 3.26 Sous les hypothses et notations de la dnition 3.23, soit
n IN tel que 1 n N, si r
(q)
,= 0 pour 0 q n, les proprits suivantes
sont vries :
1. r
(n)
w
(q)
= 0, q = 0, . . . , n 1,
164
2. Vect(r
(0)
, . . . , r
(n)
) = Vect(r
(0)
, . . . , A
n
r
(0)
),
3. Vect(w
(0)
, . . . , w
(n)
) = Vect(r
(0)
, . . . , A
n
r
(0)
),
4. w
(n)
Aw
(q)
= 0, q = 0, . . . , n 1,
5. r
(n)
r
(q)
= 0, q = 0, . . . , n 1,
o V ect(w
(0)
, . . . , w
(n)
) dsigne lespace vectoriel engendr par les vecteurs w
(0)
,
. . . , w
(n)
. En particulier, la famille (w
(0)
, . . . , w
(N1)
) est A-conjugue.
Lespace Vect(r
(0)
, . . . , A
n
r
(0)
) est appel espace de Krylov.
Dmonstration :
On dmontre les proprits 1. 5 par rcurrence.
Etudions tout dabord le cas n = 1. Remarquons que r
(1)
w
(0)
= 0 en vertu de
(3.3.17) (on rappelle que cette proprit dcoule du choix optimal de
0
).
On a grce (3.3.19) :
r
(1)
= r
(0)

0
Aw
(0)
= r
(0)

0
Ar
(0)
,
car w
(0)
= r
(0)
. On a donc V ect(r
(0)
, r
(1)
) = V ect(r
(0)
, Ar
(0)
).
De plus, comme w
(0)
= r
(0)
, et w
(1)
= r
(1)
+
1
w
(0)
, on a
V ect(r
(0)
, r
(1)
) = V ect(w
(0)
, w
(1)
).
On en dduit que 2. et 3. sont vraies pour n = 1.
Enn, on a bien w
(1)
Aw
(0)
= 0 car w
(0)
et w
(1)
sont conjugues, et r
(0)
r
(1)
= 0
en vertu de (3.3.20).
On a ainsi montr que les proprits 1. 5. sont vries au rang n = 1.
Supposons maintenant que ces proprits soient vries jusquau rang n, et
dmontrons quelles le sont encore au rang n + 1.
1. En vertu de (3.3.19), et par les hypothses de rcurrence 1. et 4., on a :
r
(n+1)
w
(q)
= r
(n)
w
(q)

n
Aw
(n)
w
(q)
= 0, q n 1.
De plus, (3.3.20) entrane r
(n+1)
w
(n)
= 0
2. Montrons que V ect(r
(0)
, r
(1)
. . . , r
(n+1)
) = V ect(r
(0)
, Ar
(0)
, . . . , A
(n+1)
r
(0)
).
Pour ce faire, commenons par remarquer que
r
(n+1)
V ect(r
(0)
, Ar
(0)
. . . , A
(n+1)
r
(0)
).
En eet, en vertu de (3.3.19), on a : r
(n+1)
= r
(n)

n
Aw
(n)
, et par hypothse
de rcurrence, on a
r
(n)
V ect(r
(0)
, Ar
(0)
. . . , A
n
r
(0)
), et w
(n)
V ect(r
(0)
, Ar
(0)
. . . , A
n
r
(0)
).
Montrons maintenant que A
n+1
r
(0)
V ect(r
(0)
, r
(1)
. . . , r
(n+1)
). Comme r
(n+1)

V ect(r
(0)
, Ar
(0)
. . . , A
(n+1)
r
(0)
), il existe une famille (
k
)
k=0,...,n+1
telle que
r
(n+1)
=
n+1

k=0

k
A
k
r(0) =
n

k=0

k
A
k
r(0) +
n+1
A
n+1
r
(0)
.
165
Or grce la proprit 1. on sait que r
(n+1)
w
(q)
= 0, q n, et donc r
(n+1)
,
V ect(w
(0)
, w
(1)
. . . , w
(n)
). On a donc
n+1
,= 0, et on peut donc crire
A
n+1
r
(0)
=
1

n+1
(r
(n+1)

k=0

k
A
k
r
(0)
) V ect(r
(0)
, r
(1)
. . . , r
(n+1)
),
par hypothse de rcurrence.
3. Montrons maintenant que
V ect(w
(0)
, w
(1)
. . . , w
(n+1)
) = V ect(r
(0)
, Ar
(0)
. . . , A
n+1
r
(0)
).
On a : w
(n+1)
= r
(n+1)
+
n
w
(n)
. Or on vient de montrer que
r
(n+1)
V ect(r
(0)
, Ar
(0)
. . . , A
n+1
r
(0)
),
et par hypothse de rcurrence, w
(n)
V ect(r
(0)
, Ar
(0)
. . . , A
n
r
(0)
). On a donc
bien w
(n+1)
V ect(r
(0)
, Ar
(0)
. . . , A
n+1
r
(0)
).
Montrons que rciproquement, A
n+1
r
(0)
) V ect(w
(0)
, w
(1)
. . . , w
(n+1)
). On a
montr en 2. que
A
n+1
r
(0)
=
1

n+1
(r
(n+1)

k=0

k
A
k
r
(0)
).
Or r
(n+1)
= w
(n+1)

n
w
(n)
V ect(w
(0)
, w
(1)
. . . , w
(n+1)
), et
n

k=0

k
A
k
r
(0)
) V ect(r
(0)
, r
(1)
. . . , r
(n)
) = V ect(w
(0)
, w
(1)
. . . , w
(n)
),
par hypothse de rcurrence. On en dduit que
A
n+1
r
(0)
V ect(w
(0)
, w
(1)
. . . , w
(n)
).
4. On veut maintenant montrer que w
(n+1)
Aw
(q)
= 0, q n. Pour q = n,
cette proprit est vrie en raison du choix de w
(n+1)
(conjugue avec w
(n)
).
Pour q < n, on calcule :
w
(n+1)
Aw
(q)
= r
(n+1)
Aw
(q)
+
n
w
(n)
Aw
(q)
. (3.3.22)
Or w
(n)
Aw
(q)
= 0 pour tout q n 1 par hypothse de rcurrence. De
plus, toujours par hypothse de rcurrence, w
(q)
V ect(r
(0)
, Ar
(0)
. . . , A
q
r
(0)
),
et donc
Aw
(q)
V ect(r
(0)
, Ar
(0)
. . . , A
q+1
r
(0)
) = V ect(w
(0)
, w
(1)
. . . , w
(q+1)
).
On a montr en 1. que r
(n+1)
w
(k)
= 0 pour tout k n, on a donc r
(n+1)

Aw
(q)
= 0, et en reportant dans (3.3.22), on obtient donc que w
(n+1)
Aw
(q)
= 0
pour tout q n.
5. Il reste montrer que r
(n+1)
r
(q)
= 0 pour tout q n. Pour q = n, on la
dmontr dans le lemme 3.25. Pour q n 1, on a
r
(n+1)
r
(q)
= (r
(n)

n
Aw
(n)
) r
(q)
= r
(n)
r
(q)

n
Aw
(n)
r
(q)
.
Or r
(n)
r
(q)
= 0 par hypothse de rcurrence, et Aw
(n)
r
(q)
= w
(n)
Ar
(q)
; or
Ar
(q)
V ect(r
(0)
, . . . , r
(q)
et w
(n)
r
(k)
= 0 pour tout k n 1 par hypothse
de rcurrence 1. On en dduit que r
(n+1)
r
(q)
= 0.
Ceci termine la dmonstration de la proposition (3.26).
166
Remarque 3.27 (Gradient conjugu prconditionn)
1. On a vu que
n1
=
r
(n)
r
(n)
r
(n1)
r
(n1)
et que
n
=
r
(n)
r
(n)
w
(n)
Aw
(n)
.
On peut calculer le nombre doprations ncessaires pour calculer x (c..d. pour
calculer x
(N)
, sauf dans le cas miraculeux o x
(N)
= x pour n < N) et montrer
(exercice) que :
N
gc
= 2N
3
+O(N
2
)
On rappelle que le nombre doprations pour Choleski est
N
3
6
donc la mthode
nest pas intressante comme mthode directe car elle demande 12 fois plus
doprations que Choleski.
2. On peut alors se demander si la mthode est intressante comme mthode
itrative, c..d. si on peut esprer que x
(n)
soit proche de x" pour n N".
Malheureusement, si la dimension N du systme est grande, ceci nest pas le
cas en raison de laccumulation des erreurs darrondi. Il est mme possible de
devoir eectuer plus de N itrations pour se rapprocher de x. Cependant, dans
les annes 80, des chercheurs se sont rendus compte que ce dfaut pouvait tre
corrig condition dutiliser un prconditionnement". Donnons par exemple le
principe du prconditionnement dit de Choleski incomplet".
On calcule une approximation" de la matrice de Choleski de A c..d. quon
cherche L triangulaire infrieure inversible telle que A soit proche de LL
t
, en
un sens dnir. Si on pose y = L
t
x, alors le systme Ax = b peut aussi scrire
L
1
A(L
t
)
1
y = L
1
b, et le systme (L
t
)
1
y = x est facile rsoudre car L
t
est
triangulaire suprieure. Soit B /
N
(IR) dnie par B = L
1
A(L
t
)
1
, alors
B
t
= ((L
t
)
1
)
t
A
t
(L
1
)
t
= L
1
A(L
t
)
1
= B
et donc B est symtrique. De plus,
Bx x = L
1
A(L
t
)
1
x x = A(L
t
)
1
x (L
t
)
1
x,
et donc Bx x > 0 si x ,= 0. La matrice B est donc symtrique dnie positive.
On peut donc appliquer lalgorithme du gradient conjugu la recherche du
minimum de la fonction f dnie par
f(y) =
1
2
By y L
1
b y.
On en dduit lexpression de la suite (y
(n)
)
nIN
et donc (x
(n)
)
nIN
.
On peut alors montrer (voir exercice 64) que lalgorithme du gradient conjugu
prconditionn ainsi obtenu peut scrire directement pour la suite (x
(n)
)
nIN
,
de la manire suivante :
Itration n On pose r
(n)
= b Ax
(n)
,
on calcule s
(n)
solution de LL
t
s
(n)
= r
(n)
.
On pose alors
n1
=
s
(n)
r
(n)
s
(n1)
r
(n1)
et w
(n)
= s
(n)
+
n1
w
(n1)
.
Le paramtre optimal
n
a pour expression :
n
=
s
(n)
r
(n)
Aw
(n)
w
(n)
, et on pose alors
x
(n+1)
= x
(n)
+
n
w
(n)
.
167
Le choix de la matrice L peut se faire par exemple dans le cas dune matrice
creuse, en eectuant une factorisation LL
t
" incomplte, qui consiste ne rem-
plir que certaines diagonales de la matrice L pendant la factorisation, et laisser
les autres 0.
On peut gnraliser le principe de lalgorithme du gradient conjugu une
fonction f non quadratique. Pour cela, on reprend le mme algorithme que
(3.3.15), mais on adapte le calcul de
n1
et
n
.
Itration n :
A x
(0)
, . . . , x
(n)
et w
(0)
, . . . , w
(n1)
connus, on calcule r
(n)
= f(x
(n)
).
Si r
(n)
= 0 alors Ax
(n)
= b et donc x
(n)
= x auquel cas lalgorithme sarrte.
Si r
(n)
,= 0, on pose w
(n)
= r
(n)
+
n1
w
(n1)
o
n1
peut tre choisi de
direntes manires :
1re mthode (FletcherReeves)

n1
=
r
(n)
r
(n)
r
(n1)
r
(n1)
,
2me mthode (PolakRibire)

n1
=
(r
(n)
r
(n1)
) r
(n)
r
(n1)
r
(n1)
.
On pose alors x
(n+1)
= x
(n)
+
n
w
(n)
, o
n
est choisi, si possible, optimal dans
la direction w
(n)
.
La dmonstration de la convergence de lalgorithme de PolakRibire fait lobjet
de lexercice 65 page 190.
En rsum, la mthode du gradient conjugu est trs ecace dans le cas dune
fonction quadratique condition de lutiliser avec prconditionnement. Dans
le cas dune fonction non quadratique, le prconditionnement nexiste pas et il
vaut donc mieux la rserver au cas N petit".
3.3.3 Mthodes de Newton et QuasiNewton
Soit f C
2
(IR
N
, IR) et g = f C
1
(IR
N
, IR
N
). On a dans ce cas :
f(x) = inf
IR
N
f g(x) = 0.
Si de plus f est convexe alors on a g(x) = 0 f(x) = inf
IR
N
f. Dans ce cas
dquivalence, on peut employer la mthode de Newton pour minimiser f en
appliquant lalgorithme de Newton pour chercher un zro de g = f. On a
D(f) = H
f
o H
f
(x) est la matrice hessienne de f en x. La mthode de
Newton scrit dans ce cas :
_
Initialisation x
(0)
IR
N
,
Itration n H
f
(x
(n)
)(x
(n1)
x
(n)
) = f(x
(n)
).
(3.3.23)
168
Remarque 3.28 La mthode de Newton pour minimiser une fonction f convexe
est une mthode de descente. En eet, si H
f
(x
n
) est inversible, on a x
(n+1)

x
(n)
= [H
f
(x
(n)
)]
1
(f(x
(n)
)) soit encore x
(n+1)
= x
(n)
+
n
w
(n)
o
n
= 1
et w
(n)
= [H
f
(x
(n)
)]
1
(f(x
(n)
)). Si f est convexe, H
f
est une matrice sym-
trique positive (dj vu). Comme on suppose H
f
(x
(n)
) inversible par hypothse,
la matrice H
f
(x
(n)
) est donc symtrique dnie positive.
Donc w
(n)
est alors une direction de descente stricte si w
(n)
,= 0 (donc f(x
(n)
) ,=
0). On en dduit que
w
(n)
f(x
(n)
) = [H
f
(x
(n)
)]
1
f(x
(n)
) f(x
(n)
) > 0
ce qui est une condition susante pour que w
(n)
soit une direction de descente
stricte.
La mthode de Newton est donc une mthode de descente avec w
(n)
= H
f
(x
(n)
)(f(x
(n)
))
et
n
= 1.
On peut aussi remarquer, en vertu du thorme 2.16 page 112, que si f
C
3
(IR
N
, IR), si x est tel que f( x) = 0 et si H
f
( x) = D(f)( x) est inversible
alors il existe > 0 tel que si x
0
B( x, ), alors la suite (x
(n)
)
n
est bien dnie
par (3.3.23) et x
(n)
x lorsque n +. De plus, daprs la proposition 2.14,
il existe > 0 tel que [x
(n+1)
x[ [x
(n)
x[
2
pour tout n IN.
Remarque 3.29 (Sur limplantation numrique) La convergence de la m-
thode de Newton est trs rapide, mais ncessite en revanche le calcul de H
f
(x),
qui peut savrer impossible ou trop coteux.
On va maintenant donner des variantes de la mthode de Newton qui vitent le
calcul de la matrice hessienne.
Proposition 3.30 Soient f C
1
(IR
N
, IR), x IR
N
tel que f(x) ,= 0, et soit
B /
N
(IR) une matrice symtrique dnie positive ; alors w = Bf(x) est
une direction de descente stricte en x.
Dmontration On a : w f(x) = Bf(x) f(x) < 0 car B est symtrique
dnie positive et f(x) ,= 0 donc w est une direction de descente stricte en x.
En eet, soit la fonction de IR dans IR dnie par () = f(x + w). Il est
clair que C
1
(IR, IR),

() = f(x+w) w et

(0) = f(x) w < 0. Donc

0
> 0 tel que

() < 0 si ]0,
0
[. Par le thorme des accroissements nis,
() < (0) ]0,
0
[ donc w est une direction de descente stricte.
Mthode de Broyden Une premire ide pour construire une mthode de
type quasi Newton est de prendre comme direction de descente en x
(n)
le vecteur
w
(n)
= (B
(n)
)
1
(f(x
(n)
)) o la matrice B
(n)
est cense approcher H
f
(x
(n)
)
(sans calculer la drive seconde de f). On suppose x
(n)
, x
(n1)
et B
(n1)
connus.
Voyons comment on peut dterminer B
(n)
. On peut demander par exemple que
la condition suivante soit satisfaite :
f(x
(n)
) f(x
(n1)
) = B
(n)
(x
(n)
x
(n1)
). (3.3.24)
Ceci estun systme N quations et N N inconnues, et ne permet donc pas
dterminer entirement la matrice B
(n)
si N > 1. Voici un moyen possible pour
169
dterminer entirement B
(n)
, d Broyden. On pose s
(n)
= x
(n)
x
(n1)
, on
suppose que s
(n)
,= 0, et on pose y
(n)
= f(x
(n)
) f(x
n1
). On choisit alors
B
(n)
telle que :
_
B
(n)
s
(n)
= y
(n)
B
(n)
s = B
(n1)
s, s s
(n)
(3.3.25)
On a exactement le nombre de conditions quil faut avec (3.3.25) pour dterminer
entirement B
(n)
. Ceci suggre la mthode suivante :
Initialisation Soient x
(0)
IR
N
et B
(0)
une matrice symtrique dnie posi-
tive. On pose w
(0)
= (B
(0)
)
1
(f(x
(0)
)) ; alors w
(0)
est une direction de
descente stricte sauf si f(x
(0)
) = 0.
On pose alors x
(1)
= x
(0)
+
(0)
w
(0)
, o
(0)
est optimal dans la direction
w
(0)
.
Itration n On suppose x
(n)
, x
(n1)
et B
(n1)
connus, (n 1), et on calcule
B
(n1)
par (3.3.25). On pose w
(n)
= (B
(n)
)
1
(f(x
(n)
)). On choisit
(n)
optimal en x
(n)
dans la direction w
(n)
, et on pose x
(n+1)
= x
(n)
+
(n)
w
(n)
.
Le problme avec cet algorithme est que si la matrice est B
(n1)
symtrique
dnie positive, la matrice B
(n)
ne lest pas forcment, et donc w
(n)
nest pas
forcment une direction de descente stricte. On va donc modier cet algorithme
dans ce qui suit.
Mthode de BFGS (Broyden-Fletcher-Goldfarb-Shanno On cherche
B
(n)
proche de B
(n1)
, telle que B
(n)
vrie (3.3.24) et telle que si B
(n1)
est symtrique dnie positive alors B
(n)
est symtrique dnie positive. On
munit /
N
(IR) dune norme induite par un produit scalaire, par exemple si
A /
N
(IR) et A = (a
i,j
)
i,j=1,...,N
on prend |A| =
_

N
i,j=1
a
2
i,j
_
1/2
. /
N
(IR)
est alors un espace de Hilbert.
On suppose x
(n)
, x
(n1)
, B
(n1)
connus, et on dnit
(
n
= B /
N
(IR)[B symtrique, vriant (3.3.24),
qui est une partie de /
N
(IR) convexe ferme non vide. On choisit alors B
(n)
=
P
Cn
B
(n1)
o P
Cn
dsigne la projection orthogonale sur (
n
. La matrice B
(n)
ainsi dnie existe et est unique ; elle est symtrique daprs le choix de (
n
. On
peut aussi montrer que si B
(n1)
symtrique dnie positive alors B
(n)
lest
aussi.
Avec un choix convenable de la norme sur /
N
(IR), on obtient le choix suivant
de B
(n)
si s
(n)
,= 0 et f(x
(n)
) ,= 0 (sinon lalgorithme sarrte) :
B
(n)
= B
(n1)
+
y
(n)
(y
(n)
)
t
(s
(n)
)
t
y
(n)

B
(n1)
s
(n)
(s
(n)
)
t
B
(n1)
(s
(n)
)
t
B
(n1)
s
(n)
. (3.3.26)
Lalgorithme obtenu est lalgorithme de BFGS (Broyden, Fletcher,...).
170
Algorithme de BFGS
_

_
Initialisation On choisit x
(0)
IR
N
et
B
(0)
symtrique dnie positive
( par exemple B
(0)
= Id) et on pose
w
(0)
= B
(0)
f(x
(0)
)
si f(x
(0)
) ,= 0, on choisit
(0)
optimal
dans la direction w
(0)
, et donc
w
(0)
est une direction de descente stricte.
On pose x
(1)
= x
(0)
+
(0)
w
(0)
.
Itration n A x
(n)
, x
(n1)
et B
n1
connus (n 1)
On suppose
s
(n)
= x
(n)
x
(n1)
y
(n)
= f(x) f(x
(n1
)
si s
(n)
,= 0 et f(x
(n)
) ,= 0,
on choisit B
(n)
vriant (3.3.26)
On calcule w
(n)
= (B
(n)
)
1
(f(x
(n)
))
(direction de descente stricte en x
(n)
).
On calcule
(n)
optimal dans la direction w
(n)
et on pose x
(n+1)
= x
(n)
+
(n)
w
(n)
.
(3.3.27)
On donne ici sans dmonstration le thorme de convergence suivant :
Thorme 3.31 (Fletcher, 1976) Soit f C
2
(IR
N
, IR) telle que f(x)
+ quand [x[ +. On suppose de plus que f est strictement convexe (donc
il existe un unique x IR
N
tel que f( x) = inf
IR
N f) et on suppose que la matrice
hessienne H
f
( x) est symtrique dnie positive.
Alors si x
(0)
IR
N
et si B
(0)
est symtrique dnie positive, lalgorithme BFGS
dnit bien une suite x
(n)
et on a x
(n)
x quand n +
De plus, si x
(n)
,= x pour tout n, la convergence est super linaire i.e.
[
x
(n+1)
x
x
(n)
x
[ 0 quand n +.
Pour viter la rsolution dun systme linaire dans BFGS, on peut choisir de
travailler sur (B
(n)
)
1
au lieu de B
(n)
.
_

_
Initialisation Soit x
(0)
IR
N
et K
(0)
symtrique dnie positive
telle que
0
soit optimal dans la direction K
(0)
f(x
(0)
) = w
(0)
x
(1)
= x
(0)
+
0
w
(0)
Itration n : A x
(n)
, x
(n1)
, K
(n1)
connus, n 1,
on pose s
(n)
= x
(n)
x
(n1)
, y
(n)
= f(x
(n)
) f(x
(n1)
)
et K
(n)
= P
Cn
K
(n1)
.
On calcule w
(n)
= K
(n)
f(x
(n)
) et on choisit
n
optimal dans la direction w
(n)
.
On pose alors x
(n+1)
= x
(n)
+
n
w
(n)
.
(3.3.28)
Remarquons que le calcul de la projection de P
Cn
K
(n1)
peut seectuer avec
la formule (3.3.26) o on a remplac B
(n1)
par K
(n1)
. Malheureusement,
on obtient exprimentalement une convergence nettement moins bonne pour
lalgorithme de quasi-Newton modi (3.3.28) que pour lalgorithme de BFGS
(3.3.26).
171
3.3.4 Rsum sur les mthodes doptimisation
Faisons le point sur les avantages et inconvnients des mthodes quon a vues
sur loptimisation sans contrainte.
Mthodes de gradient : Ces mthodes ncessitent le calcul de f(x
(n)
).
Leur convergence est linaire (donc lente).
Mthode de gradient conjugu : Si f est quadratique (c..d. f(x) =
1
2
Ax
x b x avec A symtrique dnie positive), la mthode est excellente si
elle est utilise avec un prconditionnement (pour N grand). Dans le cas
gnral, elle nest ecace que si N nest pas trop grand.
Mthode de Newton : La convergence de la mthode de Newton est ex-
cellente (convergence localement quadratique) mais ncessite le calcul de
H
f
(x
(n)
) (et de f(
(n)
)). Si on peut calculer H
f
(x
(n)
), cette mthode est
parfaite.
Mthode de quasi Newton : Lavantage de la mthode de quasi Newton
est quon ne calcule que f(x
(n)
) et pas H
f
(x
(n)
)). La convergence est
super linaire. Par rapport une mthode de gradient o on calcule w
(n)
=
f(x
(n)
), la mthode BFGS ncessite une rsolution de systme linaire :
w
(n)
= (B
(n)
)
1
(f(x
(n)
)).
QuasiNewton modi :
Pour viter la rsolution de systme linaire dans BFGS, on peut choisir de
travailler sur (B
(n)
)
1
au lieu de B
(n)
, pour obtenir lalgorithme de quasi
Newton (3.3.28). Cependant, on perd alors en vitesse de convergence.
Comment faire si on ne veut (ou peut) pas calculer f(x
(n)
) ?
On peut utiliser des mthodes sans gradient", c..d. quon choisit a priori
les directions w
(n)
. Ceci peut se faire soit par un choix dterministe, soit
par un choix stochastique.
Un choix dterministe possible est de calculer x
(n)
en rsolvant N pro-
blmes de minimisation en une dimension despace. Pour chaque direction
i = 1, . . . , N, on prend w
(n,i)
= e
i
, o e
i
est le i-me vecteur de la base
canonique, et pour i = 1, . . . , N, on cherche IR tel que :
f(x
(n)
1
, x
(n)
2
, . . . , , . . . , x
(n)
N
) f(x
(n)
1
, x
(n)
2
, . . . , t, . . . , x
(n)
N
), t IR.
Remarquons que si f est quadratique, on retrouve la mthode de Gauss
Seidel.
3.4 Optimisation sous contraintes
3.4.1 Dnitions
Soit E = IR
N
, soit f C(E, IR), et soit K un sous ensemble de E. On sintresse
la recherche de u K tel que :
_
u K
f( u) = inf
K
f
(3.4.29)
172
Ce problme est un problme de minimisation avec contrainte (ou sous contrainte")
au sens o lon cherche u qui minimise f en astreignant u a tre dans K. Voyons
quelques exemples de ces contraintes (dnies par lensemble K), quon va ex-
pliciter laide des p fonctions continues, g
i
C(E, IR) i = 1 . . . p.
1. Contraintes galits. On pose K = x E, g
i
(x) = 0 i = 1 . . . p. On
verra plus loin que le problme de minimisation de f peut alors tre rsolu
grce au thorme des multiplicateurs de Lagrange (voir thorme 3.38).
2. Contraintes ingalits. On pose K = x E, g
i
(x) 0 i = 1 . . . , p.
On verra plus loin que le problme de minimisation de f peut alors tre
rsolu grce au thorme de KuhnTucker (voir thorme 3.42).
Programmation linaire. Avec un tel ensemble de contraintes K, si de
plus f est linaire, cest--dire quil existe b IR
N
tel que f(x) =
b x, et les fonctions g
i
sont anes, cest--dire quil existe b
i
IR
N
et c
i
IR tels que g
i
(x) = b
i
x + C
i
, alors on dit quon a aaire
n problme de programmation linaire". Ces problmes sont souvent
rsolus numriquement laide de lalgorithme de Dantzig, invent vers
1950.
Programmation quadratique. Avec le mme ensemble de contraintes K,
si de plus f est quadratique, cest--dire si f est de la forme f(x) =
1
2
Ax xb x, et les fonctions g
i
sont anes, alors on dit quon a aaire
n problme de programmation quadratique".
3. Programmation convexe. Dans le cas o f est convexe et K est convexe,
on dit quon a aaire n problme de programmation convexe".
3.4.2 Existence Unicit Conditions doptimalit simple
Thorme 3.32 (Existence) Soit E = IR
N
et f C(E, IR).
1. Si K est un sous-ensemble ferm born de E, alors il existe x K tel que
f( x) = inf
K
f.
2. Si K est un sous-ensemble ferm de E, et si f est croissante linni,
cestdire que f(x) + quand [x[ +, alors x K tel que
f( x) = inf
K
f
Dmonstration
1. Si K est un sous-ensemble ferm born de E, comme f est continue, elle
atteint ses bornes sur K, do lexistence de x.
2. Si f est croissante linni, alors il existe R > 0 tel que si |x| > R
alors f(x) > f(0) ; donc inf
K
f = inf
KBR
f, o B
R
dsigne la boule de centre
0 et de rayon R. Lensemble K B
R
est compact, car intersection dun
ferm et dun compact. Donc, par ce qui prcde, il existe x K tel que
f( x) = inf
KBR
f = inf
BR
f.
Thorme 3.33 (Unicit) Soit E = IR
N
et f C(E, IR). On suppose que f
est strictement convexe et que K est convexe. Alors il existe au plus un lment
x de K tel que f( x) = inf
K
f.
173
Dmonstration
Supposons que x et
=
x soient deux solutions du problme (3.4.29), avec x ,=
=
x
Alors f(
1
2
x +
1
2
=
x) <
1
2
f( x) +
1
2
f(
=
x) = inf
K
f . On aboutit donc une contradic-
tion.
Des thormes dexistence 3.32 et dunicit 3.33 on dduit immdiatement le
thorme dexistence et dunicit suivant :
Thorme 3.34 (Existence et unicit) Soient E = IR
N
, f C(E, IR
N
)
une fonction strictement convexe et K un sous ensemble convexe ferm de E.
Si K est born ou si f est croissante linni, cestdire si f(x) +quand
|x| +, alors il existe un unique lment x de K solution du problme de
minimisation (3.4.29), i.e. tel que f( x) = inf
K
f
Remarque 3.35 On peut remplacer E = IR
N
par E espace de Hilbert de di-
mension innie dans le dernier thorme, mais on a besoin dans ce cas de
lhypothse de convexit de f pour assurer lexistence de la solution (voir cours
de matrise).
Proposition 3.36 (Condition simple doptimalit) Soient E = IR
N
, f
C(E, IR) et x K tel que f( x) = inf
K
f. On suppose que f est direntiable en x
1. Si x

K alors f( x) = 0.
2. Si K est convexe, alors f( x) (x x) 0 pour tout x K.
Dmonstration
1. Si x

K, alors il existe > 0 tel que B( x, ) K et f( x) f(x)

x B( x, ). Alors on a dj vu (voir preuve de la Proposition 3.3 page
152) que ceci implique f( x) = 0.
2. Soit x K. Comme x ralise le minimum de f sur K, on a : f( x +t(x
x)) = f(tx + (1 t) x) f( x) pour tout t ]0, 1], par convexit de K. On
en dduit que
f( x +t(x x)) f( x)
t
0 pour tout t ]0, 1].
En passant la limite lorsque t tend vers 0 dans cette dernire ingalit,
on obtient : f( x) (x x) 0.
3.4.3 Conditions doptimalit dans le cas de contraintes
galit
Dans tout ce paragraphe, on considrera les hypothses et notations suivantes :
f C(IR
N
, IR), g
i
C
1
(IR
N
, IR), i = 1 . . . p ;
K = u IR
N
, g
i
(u) = 0 i = 1 . . . p ;
g = (g
1
, . . . , g
p
)
t
C
1
(IR
N
, IR
p
)
(3.4.30)
174
Remarque 3.37 (Quelques rappels de calcul direntiel)
Comme g C
1
(IR
N
, IR
p
), si u IR
N
, alors Dg(u) L(IR
N
, IR
p
), ce qui re-
vient dire, en confondant lapplication linaire Dg(u) avec sa matrice, que
Dg(u) /
p,N
(IR). Par dnition, Im(Dg(u)) = Dg(u)z, z IR
N
IR
p
, et
rang(Dg(u)) = dim(Im(Dg(u))) p. On rappelle de plus que
Dg(u) =
_
_
_
_
_
_
g
1
x
1
, ,
g
1
x
N
,
.
.
. ,
g
p
x
1
, ,
g
p
x
N
_
_
_
_
_
_
,
et que rang (Dg(u)) min(N, p). De plus, si rang (Dg(u)) = p, alors les vec-
teurs (Dg
i
(u))
i=1...p
sont linairement indpendants dans IR
N
.
Thorme 3.38 (Multiplicateurs de Lagrange) Soit u K tel que f( u) =
inf
K
f. On suppose que f est direntiable en u et dim(Im(Dg( u)) = p (ou rang
(Dg( u)) = p), alors :
il existe (
1
, . . . ,
p
)
t
IR
p
telsquef( u) +
p

i=1

i
g
i
( u) = 0.
(Cette dernire galit a lieu dans IR
N
)
Dmonstration Pour plus de clart, donnons dabord une ide gomtrique"
de la dmonstration dans le cas N = 2 et p = 1. On a dans ce cas f C
1
(IR
2
, IR)
et K = (x, y) IR
2
g(x, y) = 0, et on cherche u K tel que f(u) = inf
K
f.
Traons dans le repre (x, y) la courbe g(x, y) = 0, ainsi que les courbes de
niveau de f. Si on se promne" sur la courbe g(x, y) = 0, en partant du point
P
0
vers la droite (voir gure 3.1), on rencontre les courbes de niveau successives
de f et on se rend compte sur le dessin que la valeur minimale que prend f
sur la courbe g(x, y) = 0 est atteinte lorsque cette courbe est tangente la
courbe de niveau de f : sur le dessin, ceci correspond au point P
1
o la courbe
g(x, y) = 0 est tangente la courbe f(x, y) = 3. Une fois quon a pass ce point
de tangence, on peut remarquer que f augmente.
On utilise alors le fait que si est une fonction continment direntiable de
IR
2
dans IR, le gradient de est orthogonal toute courbe de niveau de ,
cest--dire toute courbe de la forme (x, y) = c, o c IR. (En eet, soit
(x(t), y(t)), t IR un paramtrage de la courbe g(x, y) = c, en drivant par
rapport t, on obtient : g(x(t), y(t)) (x

(t), y

(t))
t
= 0). En appliquant ceci
f et g, on en dduit quau point de tangence entre une courbe de niveau de
f et la courbe g(x, y) = 0, les gradients de f et g sont colinaires. Et donc si
g(u) ,= 0, il existe ,= 0 tel que f(u) = g(u).
Passons maintenant la dmonstration rigoureuse du thorme dans laquelle
on utilise le thorme des fonctions implicites
1
.
1. Thorme des fonctions implicites Soient p et q des entiers naturels, soit h
C
1
(IR
q
IR
p
, IR
p
), et soient ( x, y) IR
q
IR
p
et c IR
p
tels que h( x, y) = c. On suppose
que la matrice de la direntielle D
2
h( x, y)( Mp(IR)) est inversible. Alors il existe > 0
et > 0 tels que pour tout x B( x, ), il existe un unique y B( y, ) tel que h(x, y) = c.
on peut ainsi dnir une application de B( x, ) dans B( y, ) par (x) = y. On a ( x) = y,
C
1
(IR
p
, IR
p
) et D(x) = [D
2
h(x, (x))]
1
D
1
h(x,(x)).
175
f(x) = 5
f(x) = 4 f(x) = 3
f(x) = 2
f(x) = 1
g(x) = 0
x
y
Figure 3.1 Interprtation gomtrique des multiplicateurs de Lagrange
Par hypothse, Dg( u) L(IR
N
, IR
p
) et Im(Dg( u)) = IR
p
. Donc il existe un
sous espace vectoriel F de IR
N
de dimension p, tel que Dg( u) soit bijective de
F dans IR
p
. En eet, soit (e
1
. . . e
p
) la base canonique de IR
p
, alors pour tout
i 1, . . . p, il existe y
i
IR
N
tel que Dg( x)y
i
= e
i
. Soit F le sous espace
engendr par la famille y
1
. . . y
p
; on remarque que cette famille est libre, car
si

p
i=1

i
y
i
= 0, alors

p
i=1

i
e
i
= 0, et donc
i
= 0 pour tout i = 1, . . . p. On
a ainsi montr lexistence dun sous espace F de dimension p telle que Dg( x)
soit bijective (car surjective) de F dans IR
p
.
Il existe un sous espace vectoriel G de IR
N
, tel que IR
N
= F

G. Pour v F
et w G; on pose g(w, v) = g(v + w) et

f(w, v) = f(v + w). On a donc

f C(G F, IR) et g C
1
(G F, IR). De plus, D
2
g(w, v) L(F, IR
p
), et
pour tout z F, on a D
2
g(w, v)z = Dg(v +w)z.
Soit ( v, w) F G tel que u = v + w. Alors D
2
g( w, v)z = Dg( u)z pour tout
z F. Lapplication D
2
g( w, v est une bijection de F sur IR
p
, car, par dnition
de F, Dg( u) est bijective de F sur IR
p
.
On rappelle que K = u IR
N
: g(u) = 0 et on dnit K = (w, v)
GF, g(w, v) = 0. Par dnition de

f et de g, on a
_
( w, v) K

f( w, v) f(w, v) (w, v) K
(3.4.31)
Dautre part, le thorme des fonctions implicites (voir note de bas de page 175)
entrane lexistence de > 0 et > 0 tels que pour tout w B
G
( w, ) il existe
un unique v B
F
( v, ) tel que g(w, v) = 0. On note v = (w) et on dnit ainsi
176
une application C
1
(B
G
( w, ), B
F
( v, )).
On dduit alors de (3.4.31) que :

f( w, ( w))

f(w, (w))), w B
G
( w, ),
et donc
f( u) = f( w +( w)) f(w +(w)), w B
G
( w, ).
En posant (w) =

f(w, (w)), on peut donc crire
( w) =

f( w, ( w)) (w), w B
G
( w, ).
On a donc, grce la proposition 3.36,
D( w) = 0. (3.4.32)
Par dnition de , de

f et de g , on a :
D( w) = D
1

f( w, (( w)) +D
2

f( w, ( w))D( w).
Daprs le thorme des fonctions implicites,
D( w) = [D
2
g( w, (( w))]
1
D
1
g( w, (( w)).
On dduit donc de (3.4.32) que
D
1

f( w, (( w))w [D
2
g( w, (( w))]
1
D
1
g( w, (( w))w = 0, pour tout w G.
(3.4.33)
De plus, comme D
2
g( w, (( w))]
1
D
2
g( w, (( w)) = Id, on a :
D
2

f( w, (( w))z D
2

f( w, (( w))D
2
g( w, (( w))]
1
D
2
g( w, (( w))z = 0, z F.
(3.4.34)
Soit x IR
N
, et (z, w) F G tel que x = z + w. En additionant (3.4.33) et
(3.4.34), et en notant = D
2

f( w, (( w))D
2
g( w, (( w))]
1
, on obtient :
Df( u)x + Dg( u)x = 0,
ce qui donne, en transposant : Df( u)+

p
i=1

i
g
i
( u) = 0, avec = (
1
, . . . ,
p
).
Remarque 3.39 (Utilisation pratique du thorme de Lagrange) Soit f
C
1
(IR
N
, IR), g = (g
1
, . . . , g
p
)
t
avec g
i
C(IR
N
, IR) pour i = 1, . . . , p., et soit
K = u IR
N
, g
i
(u) = 0, i = 1, . . . , p.
Le problme quon cherche rsoudre est le problme de minimisation (3.4.29)
quon rappelle ici :
_
u K
f( u) = inf
K
f
Daprs le thorme des multiplicateurs de Lagrange, si u est solution de (3.4.29)
et Im(Dg( u)) = IR
p
, alors il existe (
1
, . . . ,
p
) IR
p
tel que u est solution du
problme
177
_

_
f
x
j
( u) +
p

i=1

i
g
i
x
j
= 0, j = 1, . . . N,
g
i
( u) = 0, i = 1, . . . , p.
(3.4.35)
Le systme (3.4.35) est un systme non linaire de de (N + p) quations et
(N+p) inconnues ( x, . . . , x
N
,
i
. . .
p
). Ce systme sera rsolu par une mthode
de rsolution de systme non linaire (Newton par exemple).
Remarque 3.40 On vient de montrer que si x solution de (3.4.29) et Im(Dg( x)) =
IR
p
, alors x solution de (3.4.35). Par contre, si x est solution de (3.4.35), ceci
nentrane pas que x est solution de (3.4.29).
Des exemples dapplication du thorme des multiplicateurs de Lagrange sont
donns dans les exercices 70 page 194 et 71 page 194.
3.4.4 Contraintes ingalits
Soit f C(IR
N
, IR) et g
i
C
1
(IR
N
, IR) i = 1, . . . , p, on considre maintenant
un ensemble K de la forme : K = x IR
N
, g
i
(x) 0 i = 1 . . . p, et on
cherche rsoudre le problme de minimisation (3.4.29) qui scrit :
_
x K
f( x) f(x), x K.
Remarque 3.41 Soit x une solution de (3.4.29) et supposons que g
i
( x) < 0,
pour tout i 1, . . . , p. Il existe alors > 0 tel que si x B( x, ) alors
g
i
(x) < 0 pour tout i = 1, . . . , p.
On a donc f( x) f(x) x B( x, ). On est alors ramen un problme
de minimisation sans contrainte, et si i f est direntiable en x, on a donc
f( x) = 0.
On donne maintenant sans dmonstration le thorme de Kuhn-Tcker qui
donne une caractrisation de la solution du problme (3.4.29).
Thorme 3.42 (KuhnTucker) Soit f C(IR
N
, IR), soit g
i
C
1
(IR
N
, IR),
pour i = 1, . . . , p, et soit K = x IR
N
, g
i
(x) 0i = 1 . . . p. On suppose quil
existe x solution de (3.4.29), et on pose I( x) = i 1, . . . , p; [g
i
( x) = 0. On
suppose que f est direntiable en x et que la famille (de IR
N
) g
i
( x), i I( x)
est libre. . Alors il existe une famille (
i
)
iI( x)
IR
+
telle que
f( x) +

iI( x)

i
g
i
( x) = 0.
Remarque 3.43 1. Le thorme de Kuhn-Tucker sapplique pour des en-
sembles de contrainte de type ingalit. Si on a une contraite de type
galit, on peut videmment se ramener deux contraintes de type in-
galit en remarquant que h(x) = 0 = h(x) ) h(x) 0.
Cependant, si on pose g
1
= h et g
2
= h, on remarque que la famille
g
1
( x), g
2
( x) = h( x), h( x) nest pas libre. On ne peut donc
pas appliquer le thorme de Kuhn-Tucker sous la forme donne prc-
demment dans ce cas (mais on peut il existe des versions du thorme de
Kuhn-Tucker permettant de traiter ce cas, voir Bonans-Saguez).
178
2. Dans la pratique, on a intrt crire la conclusion du thorme de Kuhn-
Tucker (i.e. lexistence de la famille (
i
)
iI( x)
) sous la forme du systme
de N +p quations et 2p inquations rsoudre suivant :
_

_
f( x) +
p

i=1

i
g
i
( x) = 0,

i
g
i
( x) = 0, i = 1, . . . , p,
g
i
( x) 0, i = 1, . . . , p,

i
0, i = 1, . . . , p.
i = 1 . . . p
i0
g
i
( x) 0 i = 1 . . . p
3.5 Algorithmes doptimisation sous contraintes
3.5.1 Mthodes de gradient avec projection
On rappelle le rsultat suivant de projection sur un convexe ferm :
Proposition 3.44 (Projection sur un convexe ferm) Soit E un espace
de Hilbert, muni dune norme |.| induite par un produit scalaire (., .), et soit K
un convexe ferm non vide de E. Alors, tout x E, il existe un unique x
0
K
tel que |x x
0
| |x y| pour tout y K. On note x
0
= p
K
(x) la projection
orthogonale de x sur K. On a galement :
x
0
= p
K
(x) si et seulement si (x x
0
, x
0
y) 0, y K.
Dans le cadre des algorithmes de minimisation avec contraintes que nous allons
dvelopper maintenant, nous considrerons E = IR
N
, f C
1
(IR
N
, IR) une fonc-
tion convexe, et K ferm convexe non vide. On cherche calculer une solution
approche de x, solution du problme (3.4.29).
Algorithme du gradient pas xe avec projection sur K (GPFK)
Soit > 0 donn, on considre lalgorithme suivant :
Algorithme (GPFK)
Initialisation : x
0
K
Itration :
x
n
connu x
n+1
= p
K
(x
n
f(x
n
))
o p
K
est la projection sur K dnie par la proposition 3.44.
Lemme 3.45 Soit (x
n
)
n
construite par lalgorithme (GPFK). On suppose que
x
n
x quand n +. Alors x est solution de (3.4.29).
Dmonstration :
Soit p
K
: IR
N
K IR
N
la projection sur K dnie par la proposition 3.44.
Alors p
K
est continue. Donc si
x
n
x quand n + alors x = p
K
(x f(x)) et x K (car x
n
K et K
est ferm).
La caractrisation de p
K
(x f(x)) donne dans la proposition 3.44 donne
alors :
179
(x f(x) x/x y) 0 pour tout y K, et comme > 0, ceci entrane
(f(x)/xy) pour tout y K. Or f est convexe donc f(y) f(x)+f(x)(y
x) pour tout y K, et donc f(y) f(x) pour tout y K, ce qui termine la
dmonstration.
Thorme 3.46 (Convergence de lalgorithme GPFK)
Soit f C
1
(IR
N
, IR), et K convexe ferm non vide. On suppose que :
1. il existe > 0 tel que (f(x) f(y)[x y) [x y[
2
, pour tout
(x, y) IR
N
IR
N
,
2. il existe M > 0 tel que [f(x) f(y)[ M[x y[ pour tout (x, y)
IR
N
IR
N
,
alors :
1. il existe un unique lment x K solution de (3.4.29),
2. si 0 < <
2
M
2
, la suite (x
n
) dnie par lalgorithme (GPFK) converge
vers x lorsque n +.
Dmonstration :
1. La condition 1. donne que f est strictement convexe et que f(x) +
quand [x[ +. Comme K est convexe ferm non vide, il existe donc
un unique x solution de (3.4.29).
2. On pose, pour x IR
N
, h(x) = p
K
(xf(x)). On a donc x
n+1
= h(x
n
).
Pour montrer que la suite (x
n
)
nIN
converge, il sut donc de montrer que
h est strictement contractante ds que
0 < <
2
M
2
. (3.5.36)
Grce au lemme 3.47 dmontr plus loin, on sait que p
K
est contractante. Or h
est dnie par :
h(x) = p
K
(

h(x)) o

h(x) = x f(x).
On a dj vu que

h est strictement contractante si la condition (3.5.36) est vri-
e (voir thorme 3.17 page 158 et exercice 58 page 185), et plus prcisment :
[

h(x)

h(y)[ (1 2 +M
2

2
)[x y[
2
.
On en dduit que :
[h(x)h(y)[
2
[p
K
(

h(x))p
K
(

h(y))[
2
[

h(x)

h(y))[
2
(12+
2
M
2
)[xy[
2
.
Lapplication h est donc strictement contractante ds que 0 <
2
M
2
. La suite
(x
n
)
nIN
converge donc bien vers x = x
Lemme 3.47 (Proprit de contraction de la projection orthogonale)
Soit E un espace de Hilbert, | | la norme et (, ) le produit scalaire, K un
convexe ferm non vide de E et p
K
la projection orthogonale sur K dnie par
la proposition 3.44, alors |p
K
(x) p
K
(y)| |x y| pour tout (x, y) E
2
.
180
Dmonstration Comme E est un espace de Hilbert,
|p
K
(x) p
K
(y)|
2
= (p
K
(x) p
K
(y)[p
K
(x) p
K
(y)).
On a donc
|p
K
(x) p
K
(y)|
2
= (p
K
(x) x +x y +y p
K
(y)[p
K
(x) p
K
(y))
= (p
K
(x) x[p
K
(x) p
K
(y))
E
+ (x y[p
K
(x) p
K
(y))+
(y p
K
(y)[p
K
(x) p
K
(y)).
Or (p
K
(x) x[p
K
(x) p
K
(y)) 0 et (y p
K
(y)[p
K
(x) p
K
(y)), do :
|p
K
(x) p
K
(y)| (x y[p
K
(x) p
K
(y)),
et donc, grce lingalit de Cauchy-Schwarz,
|p
K
(x) p
K
(y)||x y| |p
K
(x) p
K
(y)| |x y|.
Algorithme du gradient pas optimal avec projection sur K (GPOK)
Lalgorithme du gradient pas optimal avec projection sur K scrit :
Initialisation x
0
K
Itration x
n
connu
w
n
= f(x
n
); calculer
n
optimal dans la direction w
n
x
n+1
= p
K
(x
n
+
n
w
n
)
La dmonstration de convergence de cet algorithme se dduit de celle de lalgo-
rithme pas xe.
Remarque 3.48 On pourrait aussi utiliser un algorithme de type QuasiNewton
avec projection sur K.
Les algorithmes de projection sont simples dcrire, mais ils soulvent deux
questions :
1. Comment calcule-t-on p
K
?
2. Que faire si K nest pas convexe ?
On peut donner une rponse la premire question dans les cas simples :
1er cas On suppose ici que K = C
+
= x IR
N
, x = (x
1
, . . . , x
n
)
t
x
i
0 i.
Si y IR
N
y = (y
+
1 . . . y
N
)
t
, on peut montrer (exercice 3.6 page 196) que
(p
K
(y))
i
= y
+
i
= max(y
i
, 0), i 1, . . . , N
2me cas Soit (
i
)
i=1,...,N
IR
N
et (
i
)
i=1,...,N
IR
N
tels que
i

i
pour
tout i = 1, . . . , N. Si
K =

i=1,N
[
i
,
i
],
alors
(p
K
(y))
i
= max(
i
, min(y
i
,
i
)), i = 1, . . . , N
Dans le cas dun convexe K plus compliqu, ou dans le cas o K nest pas
convexe, on peut utiliser des mthodes de dualit introduites dans le paragraphe
suivant.
181
3.5.2 Mthodes de dualit
Supposons que les hypothses suivantes sont vries :
_
_
_
f (
1
(IR
N
, IR),
g
i
(
1
(IR
N
, IR),
K = x IR
N
, g
i
(x) 0 i = 1, . . . , p, et K est non vide.
(3.5.37)
On dnit un problme primal" comme tant le problme de minimisation
dorigine, cestdire
_
x K,
f( x) f(x), pour tout x K,
(3.5.38)
On dnit le lagrangien" comme tant la fonction L dnie de IR
N
IR
p
dans
IR par :
L(x, ) = f(x) + g(x) = f(x) +
p

i=1

i
g
i
(x), (3.5.39)
avec g(x) = (g
1
(x), . . . , g
p
(x))
t
et = (
1
(x), . . . ,
p
(x))
t
.
On note C
+
lensemble dni par
C
+
= IR
p
, = (
1
, . . . ,
p
)
t
,
i
0 pour tout i = 1, . . . , p.
Remarque 3.49 Le thorme de Kuhn-Tucker entrane que si x est solution
du problme primal (3.5.38) alors il existe C
+
tel que D
1
L( x, ) = 0 (cest
dire Df( x) + Dg( x) = 0) et g( x) = 0.
On dnit alors lapplication M de IR
p
dans IR par :
M() = inf
xIR
N
L(x, ), pour tout IR
p
. (3.5.40)
On peut donc remarquer que M() ralise le minimum (en x) du problme sans
contrainte, qui scrit, pour IR
p
x :
_
x IR
N
L(x, ) L(y, ) pour tout x IR
N
,
(3.5.41)
Lemme 3.50 Lapplication M de IR
p
dans IR dnie par (3.5.40) est concave
(ou encore lapplication -M est convexe), cestdire que pour tous , IR
p
et pour tout t ]0, 1[ on a M(t + (1 t)) tM() + (1 t)/(u)
Dmonstration :
Soit , IR
p
et t ]0, 1[ ; on veut montrer que M(t + (1 t)) tM() +
(1 t)M().
Soit x IR
N
, alors :
L(x, t + (1 t)) = f(x) + (t + (1 t))g(x)
= tf(x) + (1 t)f(x) + (t + (1 t))g(x).
On a donc L(x, t + (1 t)) = tL(x, ) + (1 t)L(x, ). Par dnition de M,
on en dduit que pour tout x IR
N
,
L(x, t + (1 t)) tM() + (1 t)M()
182
Or, toujours par dnition de M,
M(t + (1 t)) = inf
xIR
N
L(x, t + (1 t)) tM() + (1 t)M().
On considre maintenant le problme doptimisation dit dual" suivant :
_
C
+
,
M() M() C
+
.
(3.5.42)
Dnition 3.51 Soit L : IR
N
IR
p
IR et (x, ) IR
N
C
+
. On dit que
(x, ) est un point selle de L sur IR
N
C
+
si
L(x, ) L(x, ) L(y, ) pour tout y IR et pour tout C
+
.
Proposition 3.52 Sous les hypothses (3.5.37), soit L dnie par L(x, ) =
f(x) +g(x) et (x, ) IR
N
C
+
un point selle de L sur IR
N
C
+
.
alors
1. x est solution du problme (3.5.38),
2. est solution de (3.5.42),
3. x est solution du problme (3.5.41) avec = .
On admettra cette proposition.
Rciproquement, on peut montrer que (sous des hypothses convenables sur f
et g), si est solution de (3.5.42), et si x solution de (3.5.41) avec = , alors
( x, ) est un point selle de L, et donc x est solution de (3.5.38).
De ces rsultats dcoule lide de base des mthodes de dualit : on cherche
solution de (3.5.42). On obtient ensuite une solution x du problme (3.5.38),
en cherchant x comme solution du problme (3.5.41) avec = (qui est un
problme de minimisation sans contraintes). La recherche de la solution du
problme dual (3.5.42) peut se faire par exemple par lalgorithme trs classique
dUzawa, que nous dcrivons maintenant.
Algorithme dUzawa Lalgorithme dUzawa consiste utiliser lalgorithme
du gradient pas xe avec projection (quon a appel GPFK, voir page 179)
pour rsoudre de manire itrative le problme dual (3.5.42). On cherche donc
C
+
tel que M() M() pour tout C
+
. On se donne > 0, et
on note p
C
+ la projection sur le convexe C
+
(voir proposition 3.44 page 179).
Lalgorithme (GPFK) pour la recherche de scrit donc :
Initialisation :
0
C
+
Itration :
n+1
= p
C+
(
n
+M(
n
))
Pour dnir compltement lalgorithme dUzawa, il reste prciser les points
suivants :
1. Calcul de M(
n
),
2. calcul de p
C
+() pour dans IR
N
.
183
On peut galement sintresser aux proprits de convergence de lalgorithme.
La rponse au point 2 est simple (voir exercice 3.6 page 196) : pour IR
N
,
on calcule p
C+
() = avec = (
1
, . . . ,
p
)
t
en posant
i
= max(0,
i
) pour
i = 1, . . . , p, o = (
1
, . . . ,
p
)
t
.
La rponse au point 1. est une consquence de la proposition suivante (quon
admettra ici) :
Proposition 3.53 Sous les hypothses (3.5.37), on suppose que pour tout
IR
N
, le problme (3.5.41) admet une solution unique, note x

et on suppose
que lapplication dnie de IR
p
dans IR
N
par x

est direntiable. Alors

M() = L(x

, ), M est direntiable en pour tout , et M() = g(x

).
En consquence, pour calculer M(), on est ramen chercher x

solution du
problme de minimisation sans contrainte (3.5.41). On peut dont maintenant
donner le dtail de litration gnrale de lalgorithme dUzawa :
Itration de lalgorithme dUzawa. Soit
n
C
+
connu ;
1. On cherche x
n
IR
N
solution de
_
x
n
IR
N
,
L(x
n
,
n
) L(x,
n
), x IR
N
(On a donc x
n
= x
n
)
2. On calcule M(
n
) = g(x
n
)
3.
n+1
=
n
+M(
n
) =
n
+g(x
n
) = ((
n+1
)
1
, . . . , (
n+1
)
p
)
t
4.
n+1
= p
C
+(
n+1
), cest-dire
n+1
= ((
n+1
)
1
, . . . , (
n+1
)
p
)
t
avec (
n+1
)
i
=
max(0, (
n+1
)
i
) pour tout i = 1, . . . , p.
On a alors le rsultat suivant de convergence de lalgorithme :
Proposition 3.54 (Convergence de lalgorithme dUzawa) Sous les hy-
pothses (3.5.37), on suppose de plus que :
1. il existe > 0 tel que (f(x) f(y)) (x y) [x y[
2
pour tout
(x, y) (IR
N
)
2
,
2. il existe M
f
> 0 [f(x) f(y)[ M
f
[x y[ pour tout (x, y) (IR
N
)
2
,
3. pour tout C
+
, il existe un unique x

IR
N
tel que L(x

, ) L(x, )
pour tout x IR
N
.
Alors si 0 < <
2
M
f
2
, la suite ((x
n
,
n
))
n
IR
N
C
+
donne par lalgorithme
dUzawa vrie :
1. x
n
x quand n +, o x est la solution du problme (3.5.38),
2. (
n
)
nIN
est borne.
Remarque 3.55 (Sur lalgorithme dUzawa)
1. Lalgorithme est trs ecace si les contraintes sont anes : (i.e. si g
i
(x) =

i
x +
i
pour tout i = 1, . . . , p, avec
i
IR
N
et
i
IR).
2. Pour avoir lhypothse 3 du thorme, il sut que les fonctions g
i
soient
convexes. (On a dans ce cas existence et unicit de la solution x

du
problme (3.5.41) et existence et unicit de la solution x du problme
(3.5.38).)
184
3.6 Exercices
Exercice 56 (Convexit et continuit) Suggestions en page 199.
1. Soit f : IR IR. On suppose que f est convexe.
(a) Montrer que f est continue.
(b) Montrer que f est localement lipschitzienne.
2. Soit N 1 et f : IR
N
IR. On suppose que f est convexe.
(a) Montrer f est borne suprieurement sur les borns (cest--dire :
pour tout R > 0, il existe m
R
t.q. f(x) m
R
si la norme de x est
infrieure ou gale R).
(b) Montrer que f est continue.
(c) Montrer que f est localement lipschitzienne.
(d) On remplace maintenant IR
N
par E, e.v.n. de dimension nie. Mon-
trer que f est continue et que f est localement lipschitzienne.
3. Soient E un e.v.n. de dimension innie et f : E IR. On suppose que f
est convexe.
(a) On suppose, dans cette question, que f est borne suprieurement
sur les borns. Montrer que f est continue.
(b) Donner un exemple de.v.n. (not E) et de fonction convexe f : E
IR t.q. f soit non continue.
Exercice 57 (Minimisation dune fonctionnelle quadratique) Corrig d-
taill en page 201
Soient A /
N
(IR), b IR
N
, et f la fonction de IR
N
dans IR dnie par
f(x) =
1
2
Ax x b x.
1. Montrer que f C

(IR
N
, IR) et calculer le gradient et la matrice hessienne
de f en tout point.
2. Montrer que si A est symtrique dnie positive alors il existe un unique
x IR
N
qui minimise f, et que ce x est lunique solution du systme linaire
Ax = b.
Exercice 58 (Convergence de lalgorithme du gradient pas xe)
Suggestions en page 200, corrig dtaill en page 202
Soit f C
1
(IR
N
, IR) (N 1). On suppose que f vrie :
> 0 t.q. (f(x) f(y)) (x y) [x y[
2
, x, y IR
N
, (3.6.43)
M > 0 t.q. [f(x) f(y)[ M[x y[, x, y IR
N
. (3.6.44)
1. Montrer que
f(y) f(x) f(x) (y x) +

2
[y x[
2
, x, y IR
N
.
185
2. Montrer que f est strictement convexe et que f(x) quand [x[ .
En dduire quil existe un et un seul x IR
N
t.q. f(x) f(x) pour tout
x IR
N
.
3. Soient ]0, (2/M
2
)[ et x
0
IR
N
. Montrer que la suite (x
n
)
nIN
dnie
par x
n+1
= x
n
f(x
n
) (pour n IN) converge vers x.
Exercice 59 (Convergence de lalgorithme du gradient pas optimal)
Suggestions en page 200, corrig dtaill en page 203
Soit f C
2
(IR
N
, IR) t.q. f(x) quand [x[ . Soit x
0
IR
N
. On va
dmontrer dans cet exercice la convergence de lalgorithme du gradient pas
optimal.
1. Montrer quil existe R > 0 t.q. f(x) > f(x
0
) pour tout x / B
R
, avec
B
R
= x IR
N
, [x[ R.
2. Montrer quil existe M > 0 t.q. [H(x)y y[ M[y[
2
pour tout y IR
N
et tout x B
R+1
(H(x) est la matrice hessienne de f au point x, R est
donn la question 1).
3. (Construction de la" suite (x
n
)
nIN
de lalgorithme du gradient pas
optimal.) On suppose x
n
connu (n N). On pose w
n
= f(x
n
). Si
w
n
= 0, on pose x
n+1
= x
n
. Si w
n
,= 0, montrer quil existe > 0 t.q.
f(x
n
+w
n
) f(x
n
+w
n
) pour tout 0. On choisit alors un
n
> 0 t.q.
f(x
n
+
n
w
n
) f(x
n
+w
n
) pour tout 0 et on pose x
n+1
= x
n
+
n
w
n
.
On considre, dans les questions suivantes, la suite (x
n
)
nIN
ainsi construite.
4. Montrer que (avec R et M donns aux questions prcdentes)
(a) la suite (f(x
n
))
nIN
est une suite convergente,
(b) x
n
B
R
pour tout n IN,
(c) f(x
n
+w
n
) f(x
n
)[w
n
[
2
+(
2
/2)M[w
n
[
2
pour tout [0, 1/[w
n
[].
(d) f(x
n+1
) f(x
n
) [w
n
[
2
/(2M), si [w
n
[ M.
(e) f(x
n+1
) +f(x
n
) [w
n
[
2
/(2M), avec M = sup(M,

M),

M = sup[f(x)[, x B
R
.
5. Montrer que f(x
n
) 0 (quand n ) et quil existe une sous suite
(n
k
)
kIN
t.q. x
n
k
x quand k et f(x) = 0.
6. On suppose quil existe un unique x IR
N
t.q. f(x) = 0. Montrer que
f(x) f(x) pour tout x IR
N
et que x
n
x quand n .
Exercice 60 (Algorithme du gradient pas optimal) Corrig dtaill en
page 205
Soit A M
N
(IR) et J la fonction dnie de IR
N
dans IR par J(x) = e
Ax
2
, o
| | dsigne la norme euclidienne sur IR
N
.
1. Montrer que J admet un minimum (on pourra le calculer. . . ).
2. On suppose que la matrice A est inversible, montrer que ce minimum est
unique.
3. Ecrire lalgorithme du gradient pas optimal pour la recherche de ce
minimum. [On demande de calculer le paramtre optimal
n
en fonction
de A et de x
n
.] A quelle condition susante cet algorithme converge-t-il ?
186
Exercice 61 (Fonction non croissante linni) Suggestions en page 200.
Soient N 1, f C
2
(IR
N
, IR) et a IR. On suppose que A = x IR
N
;
f(x) f(a) est un ensemble born de IR
N
et quil existe M IR t.q. [H(x)y
y[ M[y[
2
pour tout x, y IR
N
(o H(x) dsigne la matrice hessienne de f au
point x).
1. Montrer quil existe x A t.q. f(x) = minf(x), x IR
N
(noter quil
ny a pas ncessairement unicit de x).
2. Soit x A t.q. f(x) ,= 0. On pose T(x) = sup 0; [x, x f(x)]
A. Montrer que 0 < T(x) < + et que [x, x T(x)f(x)] A (o
[x, x T(x)f(x)] dsigne lensemble tx + (1 t)(x T(x)f(x)), t
[0, 1].
3. Pour calculer une valeur appoche de x (t.q. f(x) = minf(x), x IR
N
),
on propose lalgorithme suivant :
Initialisation : x
0
A,
Itrations : Soit k 0. Si f(x
k
) = 0, on pose x
k+1
= x
k
. Si f(x
k
) ,= 0,
On choisit
k
[0, T(x
k
)] t.q. f(x
k

k
f(x
k
)) = minf(x
k
f(x
k
)),
0 T(x
k
) (La fonction T est dnie la question 2) et on pose
x
k+1
= x
k

k
f(x
k
).
(a) Montrer que, pour tout x
0
A, lalgorithme prcdent dnit une
suite (x
k
)
kIN
A (cestdire que, pour x
k
A, il existe bien
au moins un lment de [0, T(x
k
)], not
k
, t.q. f(x
k

k
f(x
k
) =
minf(x
k
f(x
k
)), 0 T(x
k
)).
(b) Montrer que cet algorithme nest pas ncessairement lalgorithme du
gradient pas optimal. [on pourra chercher un exemple avec N = 1.]
(c) Montrer que f(x
k
) f(x
k+1
)
|f(x
k
)|
2
2M
, pour tout k IN.
4. On montre maintenant la convergence de la suite (x
k
)
kIN
construite la
question prcdente.
(a) Montrer quil existe une sous suite (x
kn
)
nIN
et x A t.q. x
kn
x,
quand n , et f(x) = 0.
(b) On suppose, dans cette question, quil existe un et un seul lment
z A t.q. f(z) = 0. Montrer que x
k
z, quand k , et que
f(z) = minf(x), x A.
Exercice 62 (Mthode de relaxation) Corrig dtaill en page 205
Soit f une fonction continment direntiable de E = IR
N
dans IR vriant
lhypothse (3.6.43) :
1. Justier lexistence et lunicit de x IR
N
tel que f(x) = inf
xIR
N f(x).
On propose lalgorithme de recherche de minimum de f suivant :
187
_

_
Initialisation : x
(0)
E,
Itration n : x
(n)
connu, (n 0)
Calculer x
(n+1)
1
tel que :
f(x
(n+1)
1
, x
(n)
2
, x
(n)
3
, . . . , x
(n)
N
) f(, x
(n)
2
, x
(n)
3
, . . . , x
(n)
N
), pour tout IR,
Calculer x
(n+1)
2
tel que :
f(x
(n+1)
1
, x
(n+1)
2
, x
(n)
3
, . . . , x
(n)
N
) f(x
(n+1)
1
, , x
(n)
3
, . . . , x
(n)
N
), pour tout IR,
. . .
Calculer x
(n+1)
k
tel que :
f(x
(n+1)
1
, . . . , x
(n+1)
k1
, x
(n+1)
k
, x
(n)
(k+1)
, . . . , x
(n)
N
)
f(x
(n+1)
1
, . . . , x
(n+1)
k1
, , x
(n)
(k+1)
, . . . , x
(n)
N
), pour tout IR,
. . .
Calculer x
(n+1)
N
tel que :
f(x
(n+1)
1
, x
(n+1)
2
, . . . , x
(n+1)
N1
, x
(n+1)
N
) f(x
(n+1)
1
, . . . , x
(n+1)
N1
, ), pour tout IR.
(3.6.45)
2. Pour n IN et 1 k N, soit
(n+1)
k
la fonction de IR dans IR dnie par :

(n+1)
k
(s) = f(x
(n+1)
1
, . . . , x
(n+1)
k1
, s, x
(n)
(k+1)
, . . . , x
(n)
N
).
Montrer quil existe un unique lment s IR tel que

(n+1)
k
(s) = inf
sIR

(n+1)
k
(s).
En dduire que la suite (x
(n)
)
nIN
construite par lalgorithme (3.6.45) est bien
dnie.
Dans toute la suite, on note | | la norme euclidienne sur IR
N
et ([) le produit
scalaire associ. Pour i = 1, . . . , N, on dsigne par
i
f la drive partielle de f
par rapport la i-me variable.
3. Soit (x
(n)
)
nIN
la suite dnie par lalgorithme (3.6.45). Pour n 0, on
dnit x
(n+1,0)
= x
(n)
= (x
(n)
1
, . . . , x
(n)
N
)
t
, et pour 1 k N, x
(n+1,k)
=
(x
(n+1)
1
, . . . , x
(n+1)
k
, x
(n)
k+1
, . . . , x
(n)
N
)
t
(de sorte que x
(n+1,N)
= x
(n+1)
).
(a) Soit n IN. Pour 1 k N, montrer que
k
f(x
(n+1,k)
) = 0, pour
k = 1, . . . , N. En dduire que
f(x
(n+1,k1)
) f(x
(n+1,k)
)

2
|x
(n+1,k1)
x
(n+1,k)
|
2
.
(b) Montrer que la suite (x
(n)
)
nIN
vrie
f(x
(n)
) f(x
(n+1)
)

2
|x
(n)
x
(n+1)
|
2
.
En dduire que lim
n+
|x
(n)
x
(n+1)
| = 0 et que, pour 1 k N,
lim
n+
|x
(n+1,k)
x
(n+1)
| = 0.
188
4. Montrer que
|x
(n+1)
x|
1

_
N

k=1
[
k
f(x
(n+1)
)[
2
_
1
2
.
5. Montrer que les suites (x
(n)
)
nIN
, et (x
(n+1,k)
)
nIN
, pour k = 1, . . . , N, sont
bornes.
Montrer que
[
k
f(x
(n+1)
)[ 0 lorsque n +.
(On rappelle que
k
f(x
(n+1,k)
) = 0.)
Conclure quant la convergence de la suite(x
(n)
)
nIN
lorsque n +.
6. On suppose dans cette question que f(x) =
1
2
(Ax[x)(b[x). Montrer que dans
ce cas, lalgorithme (3.6.45) est quivalent une mthode itrative de rsolution
de systmes linaires quon identiera.
7. On suppose dans cette question que N = 2. Soit g la fonction dnie de IR
2
dans IR par : g(x) = x
2
1
+x
2
2
2(x
1
+x
2
) + 2[x
1
x
2
[, avec x = (x
1
, x
2
)
t
.
(a) Montrer quil existe un unique lment x = (x
1
, x
2
)
t
de IR
2
tel que g(x) =
inf
xIR
2 g(x).
(b) Montrer que x = (1, 1)
t
.
(c) Montrer que si x
(0)
= (0, 0)
t
, lalgorithme (3.6.45) appliqu g ne converge
pas vers x. Quelle est lhypothse mise en dfaut ici ?
Exercice 63 (Gradient conjugu pour une matrice non symtrique) Cor-
rig dtaill en page 208
Soit N IN, N 1. On dsigne par | | la norme euclidienne sur IR
N
, et on
munit lensemble /
N
(IR) de la norme induite par la norme | |, | |. Soit
A /
N
(IR) une matrice inversible. On dnit M /
N
(IR) par M = A
t
A.
On se donne un vecteur b IR
N
, et on sintresse la rsolution du systme
linaire
Ax = b; . (3.6.46)
1. Montrer que x IR
N
est solution de (1.6.58) si et seulement si x est
solution de
Mx = A
t
b; . (3.6.47)
2. On rappelle que le conditionnement dune matrice C /
N
(IR) inver-
sible est dni par cond(C) = |C||C
1
| (et dpend donc de la norme
considre ; on rappelle quon a choisi ici la norme induite par la norme
euclidienne).
(a) Montrer que les valeurs propres de la matrice M sont toutes stricte-
ment positives.
(b) Montrer que cond(A) =
_
N
1
, o
N
(resp.
1
) est la plus grande
(resp. plus petite) valeur propre de M.
189
3. Ecrire lalgorithme du gradient conjugu pour la rsolution du systme
(3.6.47), en ne faisant intervenir que les matrices A et A
t
(et pas la ma-
trice M) et en essayant de minimiser le nombre de calculs. Donner une
estimation du nombre doprations ncessaires et comparer par rapport
lalgorithme du gradient conjugu crit dans le cas dune matrice carr
dordre N symtrique dnie positive.
Exercice 64 (Gradient conjugu prconditionn par LL
t
)
Soit A /
N
(IR) une matrice symtrique dnie positive, et b IR
N
. Soit L
une matrice triangulaire infrieure inversible, et soit B = L
1
A(L
t
)
1
.
1. Montrer que B est symtrique dnie positive.
Soit x IR
N
tel que Ax = b, et y IR
N
tel que By =

b = L
1
b.
2. Ecrire x en fonction de y.
Soit y
(0)
IR
N
x. On pose r
(0)
= w
(0)
=

b By
(0)
. Si r
(0)
,= 0, on pose alors
y
(1)
= y
(0)
+
0
w
(0)
, avec
0
=
r
(0)
r
(0)
w
(0)
A w
(0)
.
Pour n > 1, on suppose y
(0)
, . . . , y
(n)
et w
(0)
, . . . , w
(n1)
connus, et on pose :
r
(n)
=

bBy
(n)
. Si r
(n)
,= 0, on calcule : w
(n)
= r
(n)
+
n1
w
(n1)
avec
n1
=
r
(n)
r
(n)
r
(n1)
r
(n1)
et on pose alors : y
(n+1)
= y
(n)
+
n
w
(n)
avec
n
=
r
(n)
r
(n)
w
(n)
B w
(n)
,
3. En utilisant le cours, montrer que la famille y
(n)
ainsi construite est nie.
A quoi est gale sa dernire valeur ?
Pour n IN, on pose : x
(n)
= L
1
y
(n)
, et r
(n)
= b Ax
(n)
, w
(n)
= (L
1
)
t
w
(n)
et s
(n)
= (LL
t
)
1
r
(n)
.
4. Soit n > 0 x.
4.1 Montrer que
n1
=
s
(n)
r
(n)
s
(n1)
r
(n1)
.
4.2 Montrer que
n
=
s
(n)
r
(n)
Aw
(n)
w
(n)
.
4.3 Montrer que w
(n)
= s
(n)
+
n
w
(n1)
.
4.4 Montrer que x
(n+1)
= x
(n)
+
n
w
(n)
.
Exercice 65 (Mthode de Polak-Ribire) Suggestions en page 200, corrig
en page 209
Dans cet exercice, on dmontre la convergence de la mthode de Polak-Ribire
(mthode de gradient conjugu pour une fonctionnelle non quadratique) sous
des hypothses simples" sur f.
Soit f C
2
(IR
N
, IR). On suppose quil existe > 0, t.q. [y[
2

H(x)y y [y[
2
pour tout x, y IR
N
. (H(x) est la matrice hessienne de f au
point x.)
1. montrer que f est strictement convexe, que f(x) quand [x[ et
que le spectre 1T(H(x)) de H(x) est inclus dans [, ] pour tout x IR
N
.
On note x lunique point de IR
N
t.q. f(x) f(x) pour tout x IR
N
(lexistence et lunicit de x est donn par la question prcdente). On
cherche une approximation de x en utilisant lalgorithme de Polak-Ribire :
initialisation. x
(0)
IR
N
. On pose g
(0)
= f(x
(0)
). Si g
(0)
= 0, lal-
gorithme sarrte (on a x
(0)
= x). Si g
(0)
,= 0, on pose w
(0)
= g
(0)
et
x
(1)
= x
(0)
+
0
w
(0)
avec
0
optimal" dans la direction w
(0)
.
190
itration. x
(n)
, w
(n1)
connus (n 1). On pose g
(n)
= f(x
(n)
). Si
g
(n)
= 0, lalgorithme sarrte (on a x
(n)
= x). Si g
(n)
,= 0, on pose

n1
= [g
(n)
(g
(n)
g
(n1)
)]/[g
(n1)
g
(n1)
], w
(n)
= g
(n)
+
n1
w
(n1)
et x
(n+1)
= x
(n)
+
n
w
(n)
avec
n
optimal" dans la direction w
n
. (Noter
que
n
existe bien.)
On suppose dans la suite que g
(n)
,= 0 pour tout n IN.
2. Montrer (par rcurrence sur n) que g
(n+1)
w
(n)
= 0 et g
(n)
g
(n)
=
g
(n)
w
(n)
, pour tout n IN.
3. On pose
J
(n)
=
_
1
0
H(x
(n)
+
n
w
(n)
)d.
Montrer que g
(n+1)
= g
(n)
+
n
J
(n)
w
(n)
et que
n
= (g
(n)
w
(n)
)/(J
(n)
w
(n)

w
(n)
) (pour tout n IN).
4. Montrer que [w
(n)
[ (1 + /)[g
(n)
[ pour tout n IN. [Utiliser, pour
n 1, la question prcdente et la formule donnant
n1
.]
5. Montrer que x
(n)
x quand n .
Exercice 66 (Algorithme de quasi Newton)
Corrig dtaill en page 212
Soit A /
N
(IR) une matrice symtrique dnie positive et b IR
N
. On pose
f(x) = (1/2)Ax x b x pour x IR
N
. On rappelle que f(x) = Ax b.
Pour calculer x IR
N
t.q. f(x) f(x) pour tout x IR
N
, on va utiliser un
algorithme de quasi Newton, cest--dire :
initialisation. x
(0)
IR
N
.
itration. x
(n)
connu (n 0. On pose x
(n+1)
= x
(n)

n
K
(n)
g
(n)
avec
g
(n)
= f(x
(n)
), K
(n)
une matrice symtrique dnie positive dterminer
et
n
optimal" dans la direction w
(n)
= K
(n)
g
(n)
. (Noter que
n
existe bien.)
Partie 1. Calcul de
n
. On suppose que g
(n)
,= 0.
1. Montrer que w
(n)
est une direction de descente stricte en x
(n)
et calculer
la valeur de
n
(en fonction de K
(n)
et g
(n)
).
2. On suppose que, pour un certain n IN, on a K
(n)
= (H(x
(n)
))
1
(o
H(x) est la matrice hessienne de f en x, on a donc ici H(x) = A pour
tout x IR
N
). Montrer que
n
= 1.
3. Montrer que la mthode de Newton pour calculer x converge en une it-
ration (mais ncessite la rsolution du systme linaire A(x
(1)
x
(0)
) =
b Ax
(0)
. . . )
Partie 2. Mthode de Fletcher-Powell. On prend maintenant K
(0)
= Id et
K
(n+1)
= K
(n)
+
s
(n)
(s
(n)
)
t
s
(n)
y
(n)

(K
(n)
y
(n)
)(K
(n)
(y
(n)
)
t
K
(n)
y
(n)
y
(n)
, n 0, (3.6.48)
avec s
(n)
= x
(n+1)
x
(n)
et y
(n)
= g
(n+1)
g
(n)
= As
(n)
.
On va montrer que cet algorithme converge en au plus N itrations (cest--
dire quil existe n N + 1 t.q. x
N+1
= x.)
191
1. Soit n IN. On suppose, dans cette question, que s
(0)
, . . . , s
(n1)
sont des
vecteurs A-conjugus et non-nuls et que K
(0)
, . . . , K
(n)
sont des matrices
symtriques dnies positives t.q. K
(j)
As
(i)
= s
(i)
si 0 i < j n (pour
n = 0 on demande seulement K
(0)
symtrique dnie positive).
(a) On suppose que g
(n)
,= 0. Montrer que s
(n)
,= 0 (cf. Partie I) et que,
pour i < n,
s
(n)
As
(i)
= 0 g
(n)
s
(i)
= 0.
Montrer que g
(n)
s
(i)
= 0 pour i < n. [On pourra remarquer que
g
(i+1)
s
(i)
= g
(i+1)
w
(i)
= 0 et (g
(n)
g
(i+1)
)s
(i)
= 0 par lhypothse
de conjugaison de s
(0)
, . . . , s
(n1)
.] En dduire que s
(0)
, . . . , s
(n)
sont
des vecteurs A-conjugus et non-nuls.
(b) Montrer que K
(n+1)
est symtrique.
(c) Montrer que K
(n+1)
As
(i)
= s
(i)
si 0 i n.
(d) Montrer que, pour tout x IR
N
, on a
K
(n+1)
xx =
(K
(n)
x x)(K
(n)
y
(n)
y
(n)
) (K
(n)
y
(n)
x)
2
K
(n)
y
(n)
y
(n)
+
(s
(n)
x)
2
As
(n)
s
(n)
.
En dduire que K
(n+1)
est symtrique dnie positive. [On rappelle
(ingalit de Cauchy-Schwarz) que, si K est symtrique dnie posi-
tive, on a (Kx y)
2
(Kx x)(Ky y) et lgalit a lieu si et seulement
si x et y sont colinaires.]
2. On suppose que g
(n)
,= 0 si 0 n N 1. Montrer (par rcurrence
sur n, avec la question prcdente) que s
(0)
, . . . , s
(N1)
sont des vecteurs
A-conjugus et non-nuls et que K
(N)
As
(i)
= s
(i)
si i < N. En dduire que
K
(N)
= A
1
,
N
= 1 et x
(N+1)
= A
1
b = x.
Exercice 67 (Mthodes de GaussNewton et de quasilinarisation)
Soit f C
2
(IR
N
, IR
P
), avec N, P IN

. Soit C /
P
(IR) une matrice relle
carre dordre P, symtrique dnie positive, et d IR
P
. Pour x IR
N
, on pose
J(x) = (f(x) d) C(f(x) d).
On cherche minimiser J.
I Proprits dexistence et dunicit
(a) Montrer que J est borne infrieurement.
(b) Pour C et d donns, donner trois exemples de fonctions f pour les-
quels les fonctionnelles J associes sont telles que lon ait :
i. existence et unicit de x IR
N
qui ralise le minimum de J,
pour le premier exemple.
ii. existence et non unicit de x IR
N
qui ralise le minimum de J,
pour le second exemple.
iii. non existence de x IR
N
qui ralise le minimum de J, pour le
troisime exemple.
192
II Un peu de calcul direntiel
(a) On note Df et D
2
f les direntielles dordre 1 et 2 de f. A quels
espaces appartiennent Df(x), D
2
f(x) (pour x IR
N
), ainsi que Df
et D
2
f ? Montrer que pour tout x IR
N
, il existe M(x) /
P,N
(IR),
o /
P,N
(IR) dsigne lensemble des matrices relles P lignes et N
colonnes, telle que Df(x)(y) = M(x)y pour tout y IR
N
.
(b) Pour x IR
N
, calculer J(x).
(c) Pour x IR
N
, calculer la matrice hessienne de J en x (quon notera
H(x)). On suppose maintenant que M ne dpend pas de x; montrer
que dans ce cas H(x) = 2M(x)
t
CM(x).
III Algorithmes doptimisation
Dans toute cette question, on suppose quil existe un unique x IR
N
qui
ralise le minimum de J, quon cherche calculer de manire itrative. On
se donne pour cela x
0
IR
N
, et on cherche construire une suite (x
n
)
nIN
qui converge vers x.
(a) On cherche calculer x en utilisant la mthode de Newton pour an-
nuler J. Justier brivement cette procdure et crire lalgorithme
obtenu.
(b) Lalgorithme dit de Gauss-Newton" est une modication de la m-
thode prcdente, qui consiste approcher, chaque itration n, la
matrice jacobienne de J en x
n
par la matrice obtenue en ngligeant
les drives secondes de f. Ecrire lalgorithme ainsi obtenu.
(c) Lalgorithme dit de quasilinarisation" consiste remplacer, chaque
itration n IN, la minimisation de la fonctionnelle J par celle de la
fonctionnelle J
n
, dnie de IR
N
dans IR, et obtenue partir de J en
eectuant un dveloppement limit au premier ordre de f(x) en x
n
,
c..d.
J
n
(x) = (f(x
n
)+Df(x
n
)(xx
n
)d)C(f(x
n
)+Df(x
n
)(xx
n
)d).
i. Soit n 0, x
n
IR
N
connu, M
n
= M(x
n
) /
P,N
(IR), et
x IR
N
. On pose h = x x
n
. Montrer que
J
n
(x) = J(x
n
) +M
t
n
CM
n
h h + 2M
t
n
C(f(x
n
) d) h.
ii. Montrer que la recherche du minimum de J
n
est quivalente la
rsolution dun systme linaire dont on donnera lexpression.
iii. Ecrire lalgorithme de quasilinarisation, et le comparer avec
lalgorithme de Gauss-Newton.
Exercice 68 (Mthode de pnalisation)
Soit f une fonction continue et strictement convexe de IR
N
dans IR, satisfaisant
de plus :
lim
|x|+
f(x) = +.
Soit K un sous ensemble non vide, convexe (cestdire tel que (x, y)
K
2
, tx+(1 t)y K, t ]0, 1[), et ferm de IR
N
. Soit une fonction continue
de IR
N
dans [0, +[ telle que (x) = 0 si et seulement si x K. Pour n IN,
on dnit la fonction f
n
par f
n
(x) = f(x) +n(x).
193
1. Montrer quil existe au moins un lment x
n
IR
N
tel que f
n
( x
n
) =
inf
xIR
N f
n
(x), et quil existe un unique lment x
K
K tel que f( x
K
) =
inf
xK
f(x).
2. Montrer que pour tout n IN,
f( x
n
) f
n
( x
n
) f( x
K
).
3. En dduire quil existe une sous-suite ( x
n
k
)
kIN
et y K tels que x
n
k
y
lorsque k +.
4. Montrer que y = x
K
. En dduire que toute la suite ( x
n
)
nIN
converge vers
x
K
.
5. Dduire de ces questions un algorithme (dit de pnalisation") de rsolu-
tion du problme de minimisation suivant :
_
Trouver x
K
K;
f( x
K
) f(x), x K,
en donnant un exemple de fonction .
Exercice 69 (Sur lexistence et lunicit) Corrig en page 215
Etudier lexistence et lunicit des solutions du problme (3.4.29), avec les don-
nes suivantes : E = IR, f : IR IR est dnie par f(x) = x
2
, et pour les quatre
dirents ensembles K suivants :
(i) K = [x[ 1 ; (ii) K = [x[ = 1
(iii) K = [x[ 1 ; (iv) K = [x[ > 1.
(3.6.49)
Exercice 70 (Aire maximale dun rectangle primtre donn)
Corrig en page 216
1. On cherche maximiser laire dun rectangle de primtre donn gal 2.
Montrer que ce problme peut se formuler comme un problme de minimisation
de la forme (3.4.29), o K est de la forme K = x IR
2
; g(x) = 0. On donnera
f et g de manire explicite.
2. Montrer que le problme de minimisation ainsi obtenu est quivalent au pro-
blme
_
x = ( x
1
, x
2
)
t

K
f( x
1
, x
2
) f(x
1
, x
2
), (x
1
, x
2
)
t

K,
(3.6.50)
o

K = K [0, 1]
2
, K et f tant obtenus la question 1. En dduire que le
problme de minimisation de laire admet au moins une solution.
3. Calculer Dg(x) pour x K et en dduire que si x est solution de (3.6.50)
alors x = (1/2, 1/2). En dduire que le problme (3.6.50) admet une unique
solution donne par x = (1/2, 1/2).
Exercice 71 (Fonctionnelle quadratique) Suggestions en page 201, cor-
rig en page 217
194
Soit f une fonction quadratique, i.e. f(x) =
1
2
Ax xb x, o A /
N
(IR) est
une matrice symtrique dnie positive et b IR
N
. On suppose que la contrainte
g est une fonction linaire de IR
N
dans IR, cest--dire g(x) = d xc o c IR
et d IR
N
, et que d ,= 0. On pose K = x IR
N
, g(x) = 0 et on cherche
rsoudre le problme de minimisation (3.4.29).
1. Montrer que lensemble K est non vide, ferm et convexe. En dduire que le
problme (3.4.29) admet une unique solution.
2. Montrer que si x est solution de (3.4.29), alors il existe IR tel que y =
( x, )
t
soit lunique solution du systme :
_
_
A d
d
t
0
_
_
_
_
x

_
_
=
_
_
b
c
_
_
(3.6.51)
Exercice 72 (Utilisation du thorme de Lagrange)
1. Pour (x, y) IR
2
, on pose : f(x, y) = y, g(x, y) = x
2
+ y
2
1. Cher-
cher le(s) point(s) o f atteint son maximum ou son minimum sous la
contrainte g = 0.
2. Soit a = (a
1
, . . . , a
N
) IR
N
, a ,= 0. Pour x = (x
1
, . . . , x
N
) IR
N
, on
pose : f(x) =

N
i=1
[x
i
a
i
[
2
, g(x) =

N
i=1
[x
i
[
2
. Chercher le(s) point(s)
o f atteint son maximum ou son minimum sous la contrainte g = 1.
3. Soient A /
N
(IR) symtrique, B /
N
(IR) s.d.p. et b IR
N
. Pour
v IR
N
, on pose f(v) = (1/2)Av v b v et g(v) = Bv v. Peut-on
appliquer le thorme de Lagrange et quelle condition donne-t-il sur u si
f(u) = minf(v), v K avec K = v IR
N
; g(v) = 1 ?
Exercice 73 (Minimisation sans drivabilit)
Soient A /
N
(IR) une matrice s.d.p., b IR
N
, j : IR
N
IR une fonction
continue, convexe, valeurs positives ou nulles (mais non ncessairement dri-
vable, par exemple j(v) =

N
j=1

i
[v
i
[, avec
i
0 pour tout i 1, . . . , N).
Soit U une partie non vide, ferme convexe de IR
N
. Pour v IR
N
, on pose
J(v) = (1/2)Av v b v +j(v).
1. Montrer quil existe un et un seul u tel que :
u U, J(u) J(v), v U. (3.6.52)
2. Soit u U, montrer que u est solution de (3.6.52) si et seulement si
(Au b) (v u) +j(v) j(u) 0, pour tout v U.
Exercice 74
Soient f et g : IR
2
IR, dnies par : f(x, y) = y, et g(x, y) = y
3
x
2
. On pose
K = (x, y) IR
2
; g(x, y) = 0.
1. Calculer le minimum de f sur K et le point (x, y) o ce minimum est
atteint.
195
2. Existe-t-il tel que Df(x, y) = Dg(x, y) ?
3. Pourquoi ne peut-on pas appliquer le thorme des multiplicateurs de
Lagrange ?
4. Que trouve-t-on lorsquon applique la mthode dite de Lagrange" pour
trouver (x, y) ?
Exercice 75 (Application simple du thorme de Kuhn-Tucker) Cor-
rig en page 217
Soit f la fonction dnie de E = IR
2
dans IR par f(x) = x
2
+y
2
et K = (x, y)
IR
2
; x + y 1. Justier lexistence et lunicit de la solution du problme
(3.4.29) et appliquer le thorme de Kuhn-Tucker pour la dtermination de
cette solution.
Exercice 76 (Exemple doprateur de projection)
Correction en page 218
1.Soit K = C
+
= x IR
N
, x = (x
1
, . . . , x
n
)
t
, x
i
0, i = 1, . . . , N.
(a) Montrer que K est un convexe ferm non vide.
(b) Montrer que pour tout y IR
N
, on a : (p
K
(y))
i
= max(y
i
, 0).
2. Soit (
i
)
i=1,...,N
IR
N
et (
i
)
i=1,...,N
IR
N
tels que
i

i
pour tout
i = 1, . . . , N. Soit K = x = (x
1
, . . . , x
N
)
t
;
i

i
, i = 1, . . . , N.
1. Montrer que K est un convexe ferm non vide.
2. Soit p
K
loprateur de projection dnie la proposition 3.44 page 179.
Montrer que pour tout y IR
N
, on a :
(p
K
(y))
i
= max(
i
, min(y
i
,
i
)), i = 1, . . . , N
Exercice 77 (Mthode de relaxation avec Newton problmes sans contrainte)
On considre le problme :
_
x K,
f(x) f(x), x K,
(3.6.53)
o K IR
N
.
(a) On prend ici K =

i=1,N
[a
i
, b
i
], o (a
i
, b
i
) IR
2
est tel que a
i
b
i
. On
considre lalgorithme suivant :
196
_

_
Initialisation : x
(0)
E,
Itration n : x
(n)
connu, (n 0)
Calculer x
(n+1)
1
[a
1
, b
1
] tel que :
f(x
(n+1)
1
, x
(n)
2
, x
(n)
3
, . . . , x
(n)
N
) f(, x
(n)
2
, x
(n)
3
, . . . , x
(n)
N
), pour tout [a
1
, b
1
],
Calculer x
(n+1)
2
[a
2
, b
2
] tel que :
f(x
(n+1)
1
, x
(n+1)
2
, x
(n)
3
, . . . , x
(n)
N
) f(x
(n+1)
1
, , x
(n)
3
, . . . , x
(n)
N
),
pour tout [a
2
, b
2
],
. . .
Calculer x
(n+1)
k
[a
k
, b
k
], tel que :
f(x
(n+1)
1
, . . . , x
(n+1)
k1
, x
(n+1)
k
, x
(n)
(k+1)
, . . . , x
(n)
N
)
f(x
(n+1)
1
, . . . , x
(n+1)
k1
, , x
(n)
(k+1)
, . . . , x
(n)
N
), pour tout [a
k
, b
k
],
. . .
Calculer x
(n+1)
N
[a
N
, b
N
] tel que :
f(x
(n+1)
1
, x
(n+1)
2
, . . . , x
(n+1)
N1
, x
(n+1)
N
) f(x
(n+1)
1
, . . . , x
(n+1)
N1
, ),
pour tout [a
N
, b
N
].
(3.6.54)
Montrer que la suite x
(n)
construite par lalgorithme (3.6.54) est bien
dnie et converge vers x lorsque n tend vers +, o x K est tel que
f(x) f(x) pour tout x K.
(b) On prend maintenant N = 2, f la fonction de IR
2
dans IR dnie par
f(x) = x
2
1
+ x
2
2
, et K = (x
1
, x
2
)
t
IR
2
; x
1
+ x
2
2. Montrer quil
existe un unique lment x = (x
1
, x
2
)
t
de K tel que f(x) = inf
xIR
2 f(x).
Dterminer x.
On considre lalgorithme suivant pour la recherche de x :
_

_
Initialisation : x
(0)
E,
Itration n : x
(n)
connu, (n 0)
Calculer x
(n+1)
1
2 x
(n)
2
tel que :
f(x
(n+1)
1
, x
(n)
2
) f(, x
(n)
2
), pour tout 2 x
(n)
2
,
Calculer x
(n+1)
2
2 x
(n)
1
tel que :
f(x
(n+1)
1
, x
(n+1)
2
) f(x
(n+1)
1
, ), pour tout 2 x
(n)
1
.
(3.6.55)
Montrer (ventuellement graphiquement) que la suite construite par lal-
gorithme ci-dessus ne converge vers x que si lune des composantes de x
(0)
vaut 1.
Exercice 78 (Convergence de lalgorithme dUzawa)
Soient N, p IN

. Soit f C
1
(IR
N
, IR) (N 1) t.q.
> 0, (f(x) f(y)) (x y) [x y[
2
, x, y IR
N
.
197
Soit C M
p,N
(IR) (C est donc une matrice, lments rels, ayant p lignes et
N colonnes) et d IR
p
. On note D = x IR
N
, Cx d et (
+
= u IR
p
,
u 0.
On suppose D ,= et on sintresse au problme suivant :
x D, f(x) f(y), y D. (3.6.56)
1. Montrer que f(y) f(x)+f(x) (yx)+

2
[xy[
2
pour tout x, y IR
N
.
2. Montrer que f est strictement convexe et que f(x) quand [x[ .
En dduire quil existe une et une seule solution au problme (3.6.56).
Dans la suite, on note x cette solution.
Pour u IR
p
et x IR
N
, on pose L(x, u) = f(x) +u (Cx d).
3. Soit u IR
p
(dans cette question, u est x). Montrer que lapplication
x L(x, u) est strictement convexe (de IR
N
dans IR) et que L(x, u)
quand [x[ [Utiliser la question 1]. En dduire quil existe une et une
seule solution au problme suivant :
x IR
N
, L(x, u) L(y, u), y IR
N
. (3.6.57)
Dans la suite, on note x
u
cette solution. Montrer que x
u
est aussi lunique
lment de IR
N
t.q. f(x
u
) +C
t
u = 0.
4. On admet que le thorme de Kuhn-Tucker sapplique ici (cf. cours). Il
existe donc u (
+
t.q. f(x) +C
t
u = 0 et u (Cx d) = 0. Montrer que
(x, u) est un point selle de L sur IR
N
(
+
, cest--dire :
L(x, v) L(x, u) L(y, u), (y, v) IR
N
(
+
. (3.6.58)
Pour u IR
p
, on pose M(u) = L(x
u
, u) (de sorte que M(u) = infL(x, u),
x IR
N
). On considre alors le problme suivant :
u (
+
, M(u) M(v), v (
+
. (3.6.59)
5. Soit (x, u) IR
N
(
+
un point selle de L sur IR
N
(
+
(cest--dire L(x, v)
L(x, u) L(y, u), pour tout (y, v) IR
N
(
+
). Montrer que x = x = x
u
(on rappelle que x est lunique solution de (3.6.56) et x
u
est lunique
solution de (3.6.57)) et que u est solution de (3.6.59). [On pourra com-
mencer par montrer, en utilisant la premire ingalit, que x D et
u (Cx d) = 0.]
Montrer que f(x) +C
t
u = 0 et que u = P
C
+(u +(Cx d)), pour tout
> 0, o P
C
+ dsigne loprateur de projection orthogonale sur (
+
. [on
rappelle que si v IR
p
et w (
+
, on a w = P
C
+v ((vw)(wz) 0,
z (
+
).]
6. Dduire des questions 2, 4 et 5 que le problme (3.6.59) admet au moins
une solution.
7. Montrer que lalgorithme du gradient pas xe avec projection pour trou-
ver la solution de (3.6.59) scrit (on dsigne par > 0 le pas de lalgo-
rithme) :
Initialisation. u
0
(
+
.
198
Itrations. Pour u
k
(
+
connu (k 0). On calcule x
k
IR
N
t.q.
f(x
k
) +C
t
u
k
= 0 (montrer quun tel x
k
existe et est unique) et on pose
u
k+1
= P
C
+(u
k
+(Cx
k
d)).
Dans la suite, on sintresse la convergence de la suite (x
k
, u
k
)
kIN
donne
par cet algorithme.
8. Soit t.q. 0 < < 2/|C|
2
avec |C| = sup[Cx[, x IR
N
t.q. [x[ =
1. Soit (x, u) IR
N
(
+
un point selle de L sur IR
N
(
+
(cest--
dire vriant (3.6.58)) et (x
k
, u
k
)
kIN
la suite donne par lalgorithme de
la question prcdente. Montrer que
[u
k+1
u[
2
[u
k
u[
2
(2 |C|
2
)[x
k
x[
2
, k IR
N
.
En dduire que x
k
x quand k .
Montrer que la suite (u
k
)
kIN
est borne et que, si u est une valeur dadh-
rence de la suite (u
k
)
kIN
, on a f(x) + C
t
u = 0. En dduire que, si
rang(C)=p, on a u
k
u quand k et que u est lunique lment de
(
+
t.q. f(x) +C
t
u = 0.
3.7 Suggestions pour les exercices du chapitre 3
Suggestions pour lexercice 56 page 185 (Convexit et continuit)
1. (a) Pour montrer la continuit en 0, soit x ,= 0, [x[ < 1. On pose a =
sgn(x) (=
x
|x|
). Ecrire x comme une combinaison convexe de 0 et a
et crire 0 comme une combinaison convexe de x et a. En dduire
une majoration de [f(x) f(0)[.
(b) utiliser la continuit de f et la majoration prcdente.
2. (a) Faire une rcurrence sur N et pour x = (x
1
, y)
t
avec R < x
1
< R et
y IR
N1
(N > 1), majorer f(x) en utilisant f(+R, y) et f(R, y).
(b) Reprendre le raisonnement fait pour N = 1.
(c) Se ramener E = IR
N
.
3. (a) reprendre le raisonnement fait pour E = IR.
(b) On pourra, par exemple choisir E = C([0, 1], IR). . .
Suggestions pour lexercice 57 page 185 (Minimisation dune fonc-
tionnelle quadratique)
1. Calculer la direntielle de f en formant la dirence f(x + h) f(x) et en
utilisant la dnition. Calculer la hessienne en formant la dirence f(x+h)
f(x).
2. Utiliser le cours. . .
199
Suggestions pour lexercice 58 page 185 (Algorithme du gradient
pas xe)
1. Introduire la fonction dnie (comme dhabitude...) par (t) = f(tx+(1
t)y), intgrer entre 0 et 1 et utiliser lhypothse (3.3.15) sur f(x +t(y x))
f(x).
2. Utiliser le cours pour la stricte convexit et lexistence et lunicit de x, et la
question 1 pour montrer que f(x) + lorsque [x[ +.
3. Montrer grce aux hypothses (3.3.15) et (3.3.16) que [x
n+1
x[
2
< [x
n

x[
2
(1 2 +M
2

2
).
Suggestions pour lexercice 59 page 186 (Algorithme du gradient
pas optimal)
2. Utiliser le fait que H est continue.
3. Etudier la fonction : IR
+
dans IR dnie par () = f(x
n
+w
n
).
4. a. Montrer que f est minore et remarquer que la suite (f(x
n
))
nIN
est d-
croissante.
4.b se dduit du 4.a
4.c. Utiliser la fonction dnie plus haut, la question 4.b. et la question 2.
4.d. Utiliser le fait que le choix de
n
est optimal et le rsultat de 4.c.
4.e. Etudier le polynme du 2nd degr en dni par : P
n
() = f(x
n
)[w
n
[
2
+
1
2
M[w
n
[
2

2
dans les cas o [w
n
[ M (fait
`
la quesiton 4.c) puis dans le cas
[w
n
[ M.
5. utiliser lingalit prouve en 4.e. pour montrer que [w
n
[ 0 lorsque n
+.
6. Pour montrer que toute la suite converge, utiliser largument dunicit de la
limite, en raisonnant par labsurde (supposer que la suite ne converge pas et
aboutir une contradiction).
Suggestions pour lexercice 61 page 187 (Cas o f nest pas croissante
linni)
Sinspirer des techniques utilises aux exercices 58 et 59 (il faut imprativement
les avoir fait avant...).
Suggestions pour lexercice 65 page 190 (Mthode de Polak-Ribire)
1. Utiliser la deuxime caractrisation de la convexit. Pour montrer le com-
portement linni, introduire la fonction habituelle. . . ((t) = f(x +
ty)).
2. Pour montrer la concurrence, utiliser le fait que si w
n
f(x
n
) < 0 alors
w
n
est une direction de descente stricte de f en x
n
, et que si
n
est optimal
alors f(x
n
+
n
w
n
) = 0.
200
3. Utiliser la fonction dnie par () = f(x
n
+
n
w
n
).
4. Cest du calcul...
5. Montrer dabord que g
n
w
n
[w
n
[[g
n
[. Montrer ensuite (en utilisant
la bonne vieille fonction dnie par (t) = f(x
n
+ t
n
), que g
n
0
lorsque n +.
Exercice 71 page 194 (Fonctionnelle quadratique)
1. Pour montrer que K est non vide, remarquer que comme d ,= 0, il existe
x IR
N
tel que d x = ,= 0. En dduire lexistence de x IR
N
tel que
d x = c.
2. Montrer par le thorme de Lagrange que si x est solution de (3.4.29),
alors y = ( x, )
t
est solution du systme (3.6.51), et montrer ensuite que
le systme (3.6.51) admet une unique solution.
3.8 Corrigs des exercices du chapitre 3
Corrig de lexercice 57 page 185 (Minimisation dune fonctionnelle
quadratique)
1. Puisque f(x) =
1
2
Ax x b x, f C

(IR
N
, IR). Calculons le gradient de f :
f(x +h) =
1
2
A(x +h) (x +h) b (x +h)
=
1
2
Ax x +
1
2
Ax h +
1
2
Ah x +
1
2
Ah h b x b h
= f(x) +
1
2
(Ax h +Ah x) b h +
1
2
Ah h
= f(x) +
1
2
(Ax +A
t
x) h b h +
1
2
Ah h.
Et comme |Ah h| |A|
2
|h|
2
, on a :
f(x) =
1
2
(Ax +A
t
x) b. (3.8.60)
Si A est symtrique f(x) = Ax b. Calculons maintenant la hessienne de f.
Daprs (3.8.60), on a :
f(x +h) =
1
2
(A(x +h) +A
t
(x +h)) b = f(x) +
1
2
(Ah +A
t
h)
et donc H
f
(x) = D(f(x)) =
1
2
(A+A
t
). On en dduit que si A est symtrique,
H
f
(x) = A.
2. Si A est symtrique dnie positive, alors f est strictement convexe. De plus,
si A est symtrique dnie positive, alors f(x) + quand [x[ +. En
eet,
Ah h [h[
2
o est la plus petite valeur propre de A, et > 0
f(h)

2
|h|
2
|b||h|; or |bh| |b| |h|
f(h) |h|
_
h
2
b
_
quand h +
201
On en dduit lexistence et lunicit de x qui minimise f. On a aussi :
f( x) = 0 f( x) = inf
IR
N
f
Par la question 1. x est donc lunique solution du systme A x = b.
Corrig de lexercice 58 page 185 (Convergence de lalgorithme du
gradient pas xe)
1. Soit la fonction dnie de IR dans IR
N
par : (t) = f(x + t(y x)).
Alors (1) (0) =
_
1
0
f(x +t(y x)) (y x)dt, et donc :
f(y) f(x) =
_
1
0
f(x +t(y x)) (y x)dt.
On a donc :
f(y)f(x)f(x)(yx) =
_
1
0
(f(x+t(yx))(yx)f(x)(yx))dt,
cestdire :
f(y) f(x) f(x) (y x) =
_
1
0
(f(x +t(y x)) f(x))
. .
t(yx)
2
(y x)dt.
Grce la premire hypothse sur f, ceci entrane :
f(y) f(x) f(x) (y x)
_
1
0
t[y x[
2
dt =

2
[y x[
2
> 0 si y ,= x.
(3.8.61)
2. On dduit de la question 1 que f est strictement convexe. En eet, grce
la question 1, pour tout (x, y) E
2
, f(y) > f(x) + f(x) (y x) ; et
daprs la premire caractrisation de la convexit, voir proposition 3.11
p.47, on en dduit que f est strictement convexe.
Montrons maintenant que f(y) + quand [y[ +.
On crit (3.8.61) pour x = 0 : f(y) f(0) +f(0) y +

2
[y[
2
.
Comme f(0) y [f(0)[(y), on a donc
f(y) f(0) [f(0)[ [y[ +

2
[y[
2
, et donc :
f(y) f(0) +[y[
_

2
[y[ [f(0)[
_
+ quand [y[ +.
3. On pose h(x) = x f(x). Lalgorithme du gradient pas xe est un
algorithme de point xe pour h.
x
n+1
= x
n
f(x
n
) = h(x
n
).
Grce au thorme 2.3 page 105, on sait que h est strictement contractante si
0 < <
2
M
2
.
Donc x
n
x unique point xe de h, cestdire x = h( x) = xf( x). Ceci
entrane
f( x) = 0 donc f( x) = inf
E
f car f est convexe .
202
Corrig de lexercice 59 page 186 (Convergence de lalgorithme du
gradient pas optimal)
1. On sait que f(x) + lorsque [x[ +. Donc A > 0, R IR
+
;
[x[ > R f(x) > A. En particulier pour A = f(x
0
) ceci entrane :
R IR
+
; x B
R
f(x) > f(x
0
).
2. Comme f C
2
(IR
N
, IR), sa hessienne H est continue, donc |H| atteint
son max sur B
R+1
qui est un ferm born de IR
N
. Soit M = max
xBR+1
|H(x)|,
on a H(x)y y My y M[y[
2
.
3. Soit w
n
= f(x
n
).
Si w
n
= 0, on pose x
n+1
= x
n
.
Si w
n
,= 0, montrons quil existe > 0 tel que
f(x
n
+ w
n
) f(x
n
+w
n
) > 0.
On sait que f(x) + lorsque [x[ +.
Soit : IR
+
IR dnie par () = f(x
n
+w
n
). On a (0) = f(x
n
) et
() = f(x
n
+w
n
) + lorsque +.
En eet si +, on a [x
n
+ w
n
[ +. Donc tant continue,
admet un minimum, atteint en , et donc IR
+
; f(x
n
+ w)
f(x
n
+w
n
) > 0.
4. a) Montrons que la suite (f(x
n
))
nIN
est convergente. La suite (f(x
n
))
nIN
vrie
f(x
n+1
) f(x
n
).
De plus f(x) + lorsque [x[ + donc f est borne infrieure-
ment. On en conclut que la suite (f(x
n
))
nIN
est convergente.
b) Montrons que x
n
B
R
n IN. On sait que si x / B
R
alors f(x) >
f(x
0
). Or la suite (f(x
n
))
nIR
est dcroissante donc f(x
n
) f(x
0
)n,
donc x
n
B
R
, n IN.
c) Montrons que f(x
n
+ w
n
) f(x
n
) [w
n
[
2
+

2
2
M[w
n
[
2
,
[0,
1
[w
n
[
]. Soit dnie de IR
+
dans IR par () = f(x
n
+w
n
). On
a
() = (0) +

(0) +

2
2

( ), o ]0, [.
Or

() = f(x
n
+w
n
) w
n
et

() = H(x
n
+w
n
)w
n
w
n
. Donc
() = (0)
..
0
+ f(x
n
)
. .
wn
w
n
+

2
2
H(x
n
+ w
n
)w
n
w
n
.
Si [0,
1
[w
n
[
] on a
[x
n
+ w
n
[ [x
n
[ +
1
[w
n
[
[w
n
[
R + 1,
203
donc x
n
+ w
n
B
R+1
et par la question 2,
H(x
n
+ w
n
)w
n
w
n
M[w
n
[
2
.
On a donc bien
() = f(x
n
+ w
n
) f(x
n
) [w
n
[
2
+

2
2
M[w
n
[
2
.
d) Montrons que f(x
n+1
) f(x
n
)
[w
n
[
2
2M
si [w
n
[ M.
Comme le choix de
n
est optimal, on a
f(x
n+1
) = f(x
n
+
n
w
n
) f(x
n
+w
n
), IR
+
.
donc en particulier
f(x
n+1
) f(x
n
+w
n
), [0,
1
[w
n
[
].
En utilisant la question prcdente, on obtient
f(x
n+1
) f(x
n
) [w
n
[
2
+

2
2
M[w
n
[
2
= (), [0,
1
[w
n
[
].
(3.8.62)
Or la fonction atteint son minimum pour
[w
n
[
2
+M[w
n
[
2
= 0
cestdire M = 1 ou encore =
1
M
ce qui est possible si
1
[w
n
[

1
M
(puisque 3.8.62 est vraie si
1
[w
n
[
).
Comme on a suppos [w
n
[ M, on a donc
f(x
n+1
) f(x
n
)
[w
n
[
2
M
+
[w
n
[
2
2M
= f(x
n
)
[w
n
[
2
2M
.
e) Montrons que f(x
n+1
) + f(x
n
)
[w
n
[
2
2

M
o

M = sup(M,

M) avec

M = sup[f(x)[, x C
R
.
On sait par la question prcdente que si
[w
n
[ M, on a f(x
n+1
) f(x
n
)
[w
n
[
2
2M
.
Montrons que si [w
n
[ M, alors f(x
n+1
) + f(x
n
)
[w
n
[
2
2

M
. On
aura alors le rsultat souhait.
On a
f(x
n+1
) f(x
n
) [w
n
[
2
+

2
2
M[w
n
[
2
, [0,
1
[w
n
[
].
Donc
f(x
n+1
) min
[0,
1
|wn|
]
[f(x
n
) [w
n
[
2
+

2
2
M[w
n
[
2
]
. .
Pn()
204
1er cas si [w
n
[ M, on a calcul ce min la question c).
si [w
n
[ M, la fonction P
n
() est dcroissante sur [0,
1
[w
n
[
] et le mini-
mum est donc atteint pour =
1
[w
n
[
.
Or P
n
_
1
[w
n
[
_
= f(x
n
) [w
n
[ +
M
2
f(x
n
)
[w
n
[
2
f(x
n
)
[w
n
[
2
2

M
.
5. Montrons que f(x
n
) 0 lorsque n +. On a montr que n,
[w
n
[
2
2

M(f(x
n
) f(x
n+1
)). Or la suite (f(x
n
))
nIN
est convergente.
Donc [w
n
[ 0 lorsque n +et w
n
= f(x
n
) ce qui prouve le rsultat.
La suite (x
n
)
nIN
est borne donc (n
k
)
kIN
et x IR
N
; x
n
k
x lorsque
k + et comme f(x
n
k
) 0, on a, par continuit, f( x) = 0.
6. On suppose ! x IR
N
tel que f( x) = 0. Montrons que f( x) f(x)
x IR
N
et que x
n
x quand n +. Comme f est croissante
linni, il existe un point qui ralise un minimum de f, et on sait quen ce
point le gradient sannule ; en utilisant lhypothse dunicit, on en dduit
que ce point est forcment x, et donc f( x) f(x) pour tout x IR
N
.
Montrons maintenant que la suite (x
n
)
nIN
converge vers x. En raison de
lhypotse dunicit, on a forcment x = x, et on sait quon a convergence
dune sous-suite de (x
n
)
nIN
vers x par la question 5. Il reste donc mon-
trer que cest toute la suite qui converge. Supposons quelle ne converge
pas ; alors
> 0; k IN, n
k
k et [x
n
k
x[ > (3.8.63)
Mais daprs la question 5), on peut extraire de la suite (x
n
k
)
kIN
une
soussuite qui converge, ce qui contredit (3.8.63). Donc la suite (x
n
)
nIN
converge.
Corrig de lexercice 60 page 186 (Algorithme du gradient pas op-
timal)
Corrig en cours de rdaction...
Corrig de lexercice 62 page 187 (Mthode de relaxation)
1. On vu lexercice 58, questions 1 et 2, que si f vrie lhypothse (3.6.43)
alors f est strictement convexe et tend vers linni en linni, et donc il existe
un unique x IR
N
ralisant son minimum.
2. Ecrivons lhypothse (3.6.43) avec x = se
k
et y = te
k
o (s, t) IR
2
et e
k
est le k-ime vecteur de la base canonique de IR
N
; en notant
k
f la drive
partielle de f par rapport la k-ime variable, il vient :
(
k
f(s)
k
f(t))(s t) [s t[
2
.
205
En appliquant nouveau les rsultats de lexercice 58, questions 1 et 2 au cas
N = 1, on en dduit lexistence et unicit de s tel que

(n+1)
k
(s) = inf
sIR

(n+1)
k
(s).
Comme lalgorithme (3.6.45) procde N minimisations de ce type chaque
itration, on en dduit que la suite (x
(n)
)
nIN
construite par cet algorithme est
bien dnie.
3.(a) Par dnition, x
(n+1)
k
ralise le minimum de la fonction
(n+1)
k
sur IR.
Comme de plus,
(n+1)
k
C
1
(IR, IR), on a donc (
(n+1)
k
)

(x
(n+1)
k
) = 0. Or
(
(n+1)
k
)

(x
(n+1)
k
) =
k
f(x
(n+1,k)
), et donc
k
f(x
(n+1,k)
) = 0.
Daprs la question 2 de lexercice 58, on a
f(x
(n+1,k1)
) f(x
(n+1,k)
) f(x
(n+1,k)
) (x
(n+1,k1)
x
(n+1,k)
)
+

2
[x
(n+1,k1)
x
(n+1,k)
[
2
.
Or x
(n+1,k1)
x
(n+1,k)
= x
(n+1)
k
e
k
et f(x
(n+1,k)
) e
k
=
k
f(x
(n+1,k)
) = 0.
On en dduit que :
f(x
(n+1,k1)
) f(x
(n+1,k)
)

2
[x
(n+1,k1)
x
(n+1,k)
[
2
.
3.(b) Par dnition de la suite (x
(n)
)
nIN
, on a :
f(x
(n)
) f(x
(n+1)
) =
N

k=1
f(x
(n+1,k1)
) f(x
(n+1,k)
).
Par la question prcdente, on a donc :
f(x
(n)
) f(x
(n+1)
)

2
N

k=1
[x
(n+1,k1))
x
(n+1,k)
[
2
.
Or x
(n+1,k1))
x
(n+1,k)
= x
(n+1)
k
e
k
, et (e
k
)
kIN
est une base orthonorme.
On peut donc crire que
N

k=1
[x
(n+1,k1))
x
(n+1,k)
[
2
=
N

k=1
[(x
(n)
k
x
(n+1)
k
)e
k
[
2
= [
N

k=1
(x
(n)
k
x
(n+1)
k
)e
k
[
2
= [
N

k=1
(x
(n+1,k1))
x
(n+1,k)
)[
2
= [x
(n)
x
(n+1)
[
2
.
On en dduit que
f(x
(n)
) f(x
(n+1)
)

2
[x
(n)
x
(n+1)
[
2
.
206
La suite (f(x
(n)
))
nIN
est borne infrieurement par f( x) ; lingalit prc-
dente montre quelle est dcroissante, donc elle converge. On a donc f(x
(n)
)
f(x
(n+1)
0 lorsque n +, et donc par lingalit prcdente,
lim
n+
[x
(n)
x
(n+1)
[ = 0.
De plus, pour 1 k N,
[x
(n+1,k)
x
(n+1)
[
2
=
N

=k
[(x
(n)

x
(n+1)

)e

[
2
= [
N

=k
(x
(n)

x
(n+1)

)e

[
2
= [
N

=k
(x
(n+1,1))
x
(n+1,)
)[
2
[x
(n)
x
(n+1)
[
2
.
do lon dduit que lim
n+
[x
(n+1,k)
x
(n+1)
[ = 0.
4. En prenant x = x et y = x
(n+1)
dans lhypothse (3.6.43) et en remarquant
que, puisque x ralise le minimum de f, on a f( x) = 0, on obtient :
(f(x
(n+1)
) ( x x
(n+1)
) [ x x
(n+1)
[
2
,
et donc, par lingalit de Cauchy Schwarz :
[x
(n+1)
x[
1

_
N

k=1
[
k
f(x
(n+1)
)[
2
_
1
2
.
5. Par les questions 1 et 2 de lexercice 58, on sait que la fonction f est croissante
linni. Donc il existe R > 0 tel que si [x[ > R alors f(x) > f(x
0
). Or,
la suite (f(x
n
))
nIN
tant dcroissante, on a f(x
n
)) f(x
0
) pour tout n, et
donc [x
n
[ R pour tout n. Par la question 3(b), on sait que pour tout k 1,
lim
n+
[x
(n+1,k)
x
(n+1)
[ = 0, ce qui prouve que les suites (x
(n+1,k)
)
nIN
,
pour k = 1, . . . , N, sont galement bornes.
Comme lim
n+
[x
(n+1,k)
x
(n+1)
[ = 0, on a pour tout > 0, lexistence de
N

IN tel que [x
(n+1,k)
x
(n+1)
[ < si n N

. Comme f C
1
(IR, IR), la
fonction
k
f est uniformment continue sur les borns (thorme de Heine), et
donc pour tout > 0, il existe > 0 tel que si [x y[ < alors [
k
f(x)

k
f(y)[ . On a donc, pour n N

: [
k
f(x
(n+1,k)
)
k
f(x
(n+1)
)[ , ce qui
dmontre que :
[
k
f(x
(n+1)
)[ 0 lorsque n +.
On en conclut par le rsultat de la question 4 que x
(n)
x lorsque n +.
6. On a vu a lexercice 57 que dans ce cas, f(x) =
1
2
(A+A
t
)xb. Lalgorithme
3.6.45 est donc la mthode de Gauss Seidel pour la rsolution du systme linaire
1
2
(A +A
t
)x = b.
207
7 (a) La fonction g est strictement convexe (car somme dune fonction stric-
tement convexe : (x
1
, x
2
) x
2
1
+ x
2
2
, dune fonction linaire par morceaux :
(x
1
, x
2
) 2(x
1
+ x
2
) + 2[x
1
x
2
[. et croissante linni grce aux termes
en puissance 2. Il existe donc un unique lment x = (x
1
, x
2
)
t
de IR
2
tel que
g(x) = inf
xIR
2 g(x).
7 (b) Soit > 0. On a, pour tout x IR,
x
() = g(x, x+) = x
2
+(x+)
2
4x,
qui atteint (pour tout x) son minimum pour = 0. Le minimum de g se situe
donc sur laxe x = y. Or (x) = g(x, x) = 2x
2
4x atteint son minimum en
x = 1.
7 (c) Si x
(0)
= (0, 0)
t
, on vrie facilement que lalgorithme (3.6.45) appliqu
g est stationnaire. La suite ne converge donc pas vers x. La fonction g nest pas
direntiable sur la droite x
1
= x
2
.
Corrig de lexercice 63 page 189 (Gradient conjugu pour une ma-
trice non symtrique)
1. Comme A est inversible, A
t
lest aussi et donc les systmes (3.6.46) et (3.6.47)
sont quivalents.
2 (a) La matrice M est symtrique dnie positive, car A est inversible et M =
AA
t
est symtrique. Donc ses valeurs propres sont strictement positives.
2 (b) On a cond(A) = |A||A
1
|. Comme la norme est ici la norme euclidienne,
on a : |A| = ((A
t
A))
1
2
et |A
1
| = (((A
1
)
t
A
1
))
1
2
= ((AA
t
)
1
))
1
2
. On
vrie facilement que M = A
t
A et A
t
A ont mmes valeurs propres et on en
dduit le rsultat.
3. Ecrivons lalgorithme du gradient conjugu pour la rsolution du systme
(3.6.47)
_

_
Initialisation
Soit x
(0)
IR
N
, et soit r
(0)
= A
t
b A
t
Ax
(0)
=
1) Si r
(0)
= 0, alors Ax
(0)
= b et donc x
(0)
= x,
auquel cas lalgorithme sarrte.
2) Si r
(0)
,= 0, alors on pose w
(0)
= r
(0)
, et on choisit
0
=
r
(0)
r
(0)
A
t
Aw
(0)
w
(0)
.
On pose alors x
(1)
= x
(0)
+
0
w
(0)
.
Itration 1 n N 1 :
On suppose x
(0)
, . . . , x
(n)
et w
(0)
, . . . , w
(n1)
connus et on pose
r
(n)
= A
t
b A
t
Ax
(n)
.
1) Si r
(n)
= 0 on a Ax
(n)
= b donc x
(n)
= x
auquel cas lalgorithme sarrte.
2) Si r
(n)
,= 0, alors on pose w
(n)
= r
(n)
+
n1
w
(n1)
avec
n1
=
r
(n)
r
(n)
r
(n1)
r
(n1)
. et on pose
n
=
r
(n)
r
(n)
A
t
Aw
(n)
w
(n)
.
On pose alors x
(n+1)
= x
(n)
+
n
w
(n)
.
Si on implmente lalgorithme sous cette forme, on a intrt calculer dabord

b = A
t
b et M = A
t
A pour minimiser le nombre de mutliplications matrice
matrice et matrice vecteur. Au lieu du cot de lalgorithme initial, qui est en
2N
3
+O(N
2
), on a donc un cot en 3N
3
+O(N
2
).
208
Maintenant si on est optimiste, on peut esprer converger en moins de N itra-
tions (en fait, cest malheureusement rarement le cas), et dans ce cas il est plus
conomique dcrire lalgorithme prcdent sous la forme suivante.
_

_
Initialisation
Soit x
(0)
IR
N
, et soit s
(0)
= b Ax
(0)
et soit r
(0)
= A
t
s
(0)
1) Si r
(0)
= 0, alors Ax
(0)
= b et donc x
(0)
= x,
auquel cas lalgorithme sarrte.
2) Si r
(0)
,= 0, alors on pose w
(0)
= r
(0)
, y
(0)
= Aw
(0)
et on choisit
0
=
r
(0)
r
(0)
y
(0)
y
(0)
.
On pose alors x
(1)
= x
(0)
+
0
w
(0)
.
Itration 1 n N 1 :
On suppose x
(0)
, . . . , x
(n)
et w
(0)
, . . . , w
(n1)
connus et on pose
s
(n)
= b Ax
(n)
et r
(n)
= A
t
s
(n)
.
1) Si r
(n)
= 0 on a Ax
(n)
= b donc x
(n)
= x
auquel cas lalgorithme sarrte.
2) Si r
(n)
,= 0, alors on pose w
(n)
= r
(n)
+
n1
w
(n1)
avec
n1
=
r
(n)
r
(n)
r
(n1)
r
(n1)
. et on pose
n
=
r
(n)
r
(n)
y
(n)
y
(n)
avec y
(n)
= Aw
(n)
.
On pose alors x
(n+1)
= x
(n)
+
n
w
(n)
.
On peut facilement vrier que dans cette version, on a un produit matrice
vecteur en plus chaque itration, donc le cot est le mme pour N itrations,
mais il est infrieur si on a moins de N itrations.
Remarque : Cette mthode sappelle mthode du gradient conjugu applique
aux quations normales. Elle est facile comprendre et programmer. Malheu-
reusement, elle ne marche pas trs bien dans la pratique, et on lui prfre des
mthodes plus sophistiques telles sue la mthode "BICGSTAB" ou "GMRES".
Corrig de lexercice 65 page 190 (Mthode de Polak-Ribire)
1. Montrons que f est strictement convexe et croissante linni. Soit la
fonction de IR dans IR dnie par
(t) = f(x +t(y x)).
On a C
2
(IR, IR), (0) = f(x) et (1) = f(y), et donc :
f(y) f(x) = (1) (0) =
_
1
0

(t)dt.
En intgrant par parties, ceci entrane :
f(y) f(x) =

(0) +
_
1
0
(1 t)

(t)dt. (3.8.64)
Or

(t) = (x +t(y x)) (y x) et donc

(t) = H(x +t(y x))(y

x) (y x). On a donc par hypothse

(t) [y x[
2
.
209
On dduit alors de 3.8.64 que
f(y) f(x) + f(x) (y x) +

2
[y x[
2
. (3.8.65)
Lingalit 3.8.65 entrane la stricte convexit de f et sa croissance linni
(voir dmonstration de la convergence du gradient pas xe, exercice 27).
Il reste montrer que lensemble 1T(H(x)) des valeurs propres de H(x)
est inclus dans [, ]. Comme f C
2
(IR, IR), H(x) est symtrique pour
tout x IR, et donc diagonalisable dans IR. Soit 1T(H(x)) ; il existe
donc y IR
N
, y ,= 0 tel que H(x)y = y, et donc y y y y y y,
1T(H)(x)). On en dduit que 1T(H(x)) [, ].
2. Montrons par rcurrence sur n que g
(n+1)
w
(n)
= 0 et g
(n)
g
(n)
= g
(n)
w
(n)
pout tout n IN.
Pour n = 0, on a w
(0)
= g
(0)
= f(x
(0)
).
Si f(x
(0)
) = 0 lalgorithme sarrte. Supposons donc que f(x
(0)
) ,= 0.
Alors w
(0)
= f(x
(0)
) est une direction de descente stricte. Comme
x
(1)
= x
(0)
+
0
w
(0)
o
0
est optimal dans la direction w
(0)
, on a g
(1)

w
(0)
= f(x
(1)
) w
(0)
= 0. De plus, on a videmment g
(0)
w
(0)
=
g
(0)
g
(0)
.
Supposons maintenant que g
(n)
w
(n1)
= 0 et g
(n1)
g
(n1)
= g
(n1)

w
(n1)
, et montrons que g
(n+1)
w
(n)
= 0 et g
(n)
g
(n)
= 0.
Par dnition, on a :
w
(n)
= g
(n)
+
n1
w
(n1)
, donc
w
(n)
g
(n)
= g
(n)
g
(n)
+
n1
w
(n1)
g
(n)
= g
(n)
g
(n)
par hypothse de rcurrence. On dduit de cette galit que w
(n)
g
(n)
> 0
(car g
(n)
,= 0) et donc w
(n)
est une direction de descente stricte en x
(n)
.
On a donc f(x
(n+1)
) w
(n)
= 0, et nalement g
(n+1)
w
(n)
= 0.
3. Par dnition, g
(n)
= f(x
(n)
) ; or on veut calculer g
(n+1)
g
(n)
=
f(x
(n+1)
) +f(x
(n)
). Soit la fonction de IR dans IR dnie par :
(t) = f(x
(n)
+t(x
(n+1)
x
(n)
)).
On a donc :
(1) (0) = g
(n+1)
g
(n)
=
_
1
0

(t)dt.
Calculons

(t) = H(x
(n)
+t(x
(n+1)
x
(n)
))(x
(n+1)
x
(n)
). Et comme
x
(n+1)
= x
(n)
+
n
w
(n)
, on a donc :
g
(n+1)
g
(n)
=
n
J
n
w
(n)
. (3.8.66)
De plus, comme g
(n+1)
w
(n)
= 0 (question 1), on obtient par (3.8.66) que

n
=
g
(n)
w
(n)
J
n
w
(n)
w
(n)
(car J
n
w
(n)
w
(n)
,= 0, puisque J
n
est symtrique dnie positive).
210
4. Par dnition, on a w
(n)
= g
(n)
+
n1
w
(n1)
, et donc
[w
(n)
[ [g
(n)
[ + [
n1
[[w
(n1)
[. (3.8.67)
Toujours par dnition, on a :

n1
=
g
(n)
(g
(n)
g
(n1)
)
g
(n1)
g
(n1)
.
Donc, par la question 3, on a :

n1
=

n
g
(n)
J
(n1)
w
(n1)
g
(n1)
g
(n1)
.
En utilisant la question 2 et nouveau la question 3, on a donc :

n1
=
J
(n1)
w
(n1)
g
(n)
J
(n1)
w
(n1)
w
(n1)
,
et donc

n1
=
[J
(n1)
w
(n1)
g
(n)
[
J
(n1)
w
(n1)
w
(n1)
,
car J
(n1)
est symtrique dnie positive.
De plus, en utilisant les hypothses sur H, on vrie facilement que
[x[
2
J
(n)
x x [x[
2
x IR
N
.
On en dduit que

n1

[J
(n1)
w
(n1)
g
(n)
[
[w
(n1)
[
2
.
On utilise alors lingalit de CauchySchwarz :
[J
(n1)
w
(n1)
g
(n)
[ |J
(n1)
|
2
[w
(n1)
[ [g
(n1)
[
[w
(n1)
[ [g
(n1)
[.
On obtient donc que

n1

[g
(n1)
[
[w
(n1)|
,
ce qui donne bien grce (3.8.67) :
[w
(n)
[ [g
(n)
[(1 +

).
5. Montrons dabord que la suite (f(x
(n)
))
nIN
converge. Comme f(x
(n+1)
) =
f(x
(n)
+
n
w
(n)
) f(x
(n)
+w
(n)
) 0, on a donc en particulier
f(x
(n+1)
) f(x
(n)
). La suite (f(x
(n)
))
nIN
est donc dcroissante. De
plus, elle est minore par f( x). Donc elle converge, vers une certaine
limite IR, lorsque n tend vers +.
La suite (x
(n)
)
nIN
est borne : en eet, comme f est croissante
linni, il existe R > 0 tel que si [x[ > R alors f(x) f(x
(0)
). Or
f(x
(n)
) f(x
(0)
) pout tout n IN, et donc la suite (x
(n)
)
nIN
est
incluse dans la boule de rayon R.
211
Montrons que f(x
(n)
) 0 lorsque n +.
On a, par dnition de x
(n+1)
,
f(x
(n+1)
) f(x
(n)
+w
(n)
), 0.
En introduisant la fonction dnie de IR dans IR par (t) =
f(x
(n)
+ tw
(n)
), on montre facilement (les calculs sont les mmes
que ceux de la question 1) que
f(x
(n)
+w
(n)
) = f(x
(n)
)+f(x
(n)
)w
(n)
+
2
_
1
0
H(x
(n)
+tw
(n)
)w
(n)
w
(n)
(1t)dt,
pour tout 0. Grce lhypothse sur H, on en dduit que
f(x
(n+1)
) f(x
(n)
) +f(x
(n)
) w
(n)
+

2

2
[w
(n)
[
2
, 0.
Comme f(x
(n)
) w
(n)
= g
(n)
w
(n)
= [g
(n)
[
2
(question 2) et
comme [w
(n)
[ [g
(n)
[(1 +

) (question 4), on en dduit que :

f(x
(n+1)
) f(x
(n)
) [g
(n)
[
2
+
2
[g
(n)
[
2
=
n
(), 0,
o =

2
2
+(1 +

)
2
. La fonction
n
est un polynme de degr 2 en
, qui atteint son minimum lorsque

n
() = 0, i.e. pour =
1
2
. On
a donc, pour =
1
2
,
f(x
(n+1)
) f(x
(n)
)
1
4
[g
(n)
[
2
,
do on dduit que
[g
(n)
[
2
4(f(x
(n)
) f(x
(n+1)
) 0
n+
On a donc f(x
(n)
) 0 lorsque n +.
La suite (x
(n)
)
nIN
tant borne, il existe une soussuite qui converge
vers x IR
N
, comme f(x
(n)
) 0 et comme
nablaf est continue, on a f(x) = 0. Par unicit du minimum (f est
croissante linni et strictement convexe) on a donc x = x.
Enn on conclut la convergence de toute la suite par un argument
classique (voir question 6 de lexercice 59 page 186).
Corrig de lexercice 66 page 191 (Algorithme de quasi Newton)
Partie 1
1. Par dnition de w
(n)
, on a :
w
(n)
f(x
(n)
) = K
(n)
f(x
(n)
) f(x
(n)
) < 0
car K est symtrique dnie positive.
212
Comme
n
est le paramtre optimal dans la direction w
(n)
, on a
f(x
(n)
+
n
w
(n)
) w
(n)
= 0, et donc Ax
(n)
w
(n)
+
n
Aw
(n)
w
(n)
=
b w
(n)
; on en dduit que

n
=
g
(n)
w
(n)
Aw
(n)
w
(n)
.
Comme w
(n)
= K
(n)
g
(n)
, ceci scrit encore :

n
=
g
(n)
K
(n)
g
(n)
AK
(n)
g
(n)
K
(n)
g
(n)
.
2. Si K
(n)
= A
1
, la formule prcdente donne immdiatement
n
= 1.
3. La mthode de Newton consiste chercher le zro de f par lalgo-
rithme suivant ( litration 1) :
H
f
(x
(0)
)(x
(1)
x
(0)
) = f(x
(0)
),
(o H
f
(x) dsigne la hessienne de f au point x) cestdire
A(x
(1)
x
(0)
) = Ax
(0)
+b.
On a donc Ax
(n)
= b, et comme la fonction f admet un unique
minimum qui vrie Ax = b, on a donc x
(1)
= x, et la mthode
converge en une itration.
Partie 2 Mthode de FletcherPowell.
1. Soit n IN, on suppose que g
(n)
,= 0. Par dnition, on a s
(n)
=
x
(n+1)
x
(n)
=
n
K
(n)
g
(n)
, avec
n
> 0. Comme K
(n)
est sym-
trique dnie positive elle est donc inversible ; donc comme g
(n)
,= 0,
on a K
(n)
g
(n)
,= 0 et donc s
(n)
,= 0.
Soit i < n, par dnition de s
(n)
, on a :
s
(n)
As
(i)
=
n
K
(n)
g
(n)
As
(i)
.
Comme K
(n)
est symtrique,
s
(n)
As
(i)
=
n
g
(n)
K
(n)
As
(i)
.
Par hypothse, on a K
(n)
As
(i)
= s
(i)
pour i < n, donc on a bien que
si i < n
s
(n)
As
(i)
= 0 g
(n)
s
(i)
= 0.
Montrons maintenant que g
(n)
s
(i)
= 0 pour i < n.
On a
g
(i+1)
s
(i)
=
i
g
(i+1)
K
(i)
g
(i)
=
i
g
(i+1)
w
(i)
.
Or g
(i+1)
= f(x
(i+1)
) et
i
est optimal dans la direction w
(i)
.
Donc
g
(i+1)
s
(i)
= 0.
213
On a
(g
(n)
g
(i+1)
) s
(i)
= (Ax
(n)
Ax
(i+1)
) s
(i)
=
n1

k=i+1
(Ax
(k+1)
Ax
(k)
) s
(i)
=
n1

k=i+1
As
(k)
s
(i)
,
= 0
Par hypothse de Aconjugaison de la famille (s
(i)
)
i=1,k1
on
dduit alors facilement des deux galits prcdentes que g
(n)

s
(i)
= 0. Comme on a montr que g
(n)
s
(i)
= 0 si et seulement
si s
(n)
As
(i)
= 0, on en conclut que la famille (s
(i)
)
i=1,...,n
est
Aconjugue, et que les vecteurs s
(i)
sont non nuls.
2. Montrons que K
(n+1)
est symtrique. On a :
(K
(n+1)
)
t
= (K
(n)
)
t
+
(s
(n)
(s
(n)
)
t
)
t
s
(n)
y
(n)

[(K
(n)
y
(n)
)(K
(n)
y
(n)
)
t
]
t
K
(n)
y
(n)
y
(n)
= K
(n+1)
,
car K
(n)
est symtrique.
3. Montrons que K
(n+1)
As
(i)
= s
(i)
si 0 i n. On a :
K
(n+1)
As
(i)
= K
(n)
As
(i)
+
s
(n)
(s
(n)
)
t
s
(n)
y
(n)
As
(i)

(K
(n)
y
(n)
)(K
(n)
(y
(n)
)
t
K
(n)
y
(n)
y
(n)
As
(i)
.
(3.8.68)
Considrons dabord le cas i < n. On a
s
(n)
(s
(n)
)
t
As
(i)
= s
(n)
[(s
(n)
)
t
As
(i)
] = s
(n)
[s
(n)
As
(i)
] = 0
car s
(n)
As
(i)
= 0 si i < n. De plus, comme K
(n)
est symtrique,
on a :
(K
(n)
y
(n)
)(K
(n)
y
(n)
)
t
As
(i)
= K
(n)
y
(n)
(y
(n)
)
t
K
(n)
As
(i)
.
Or par la question (c), on a K
(n)
As
(i)
= s
(i)
si 0 i n. De plus,
par dnition, y
(n)
= As
(n)
. On en dduit que
(K
(n)
y
(n)
)(K
(n)
y
(n)
)
t
As
(i)
= K
(n)
y
(n)
(As
(n)
)
t
s
(i)
= K
(n)
y
(n)
(s
(n)
)
t
As
(i)
= 0
puisque on a montr en (a) que les vecteurs s
(0)
, . . . , s
(n)
sont A-
conjugus. On dduit alors de (3.8.68) que
K
(n+1)
As
(i)
= K
(n)
As
(i)
= s
(i)
.
Considrons maintenant le cas i = n. On a
K
(n+1)
As
(n)
= K
(n)
As
(n)
+
s
(n)
(s
(n)
)
t
s
(n)
y
(n)
As
(n)

(K
(n)
y
(n)
)(K
(n)
(y
(n)
)
t
K
(n)
y
(n)
y
(n)
As
(n)
,
et comme y
(n)
= As
(n)
,, ceci entrane que
K
(n+1)
As
(n)
= K
(n)
As
(n)
+s
(n)
K
(n)
y
(n)
= s
(n)
.
214
4. Pour x IR
N
, calculons K
(n+1)
x x :
K
(n+1)
x x = K
(n)
x x+
s
(n)
(s
(n)
)
t
s
(n)
y
(n)
x x
(K
(n)
y
(n)
)(K
(n)
y
(n)
)
t
K
(n)
y
(n)
y
(n)
x x.
Or s
(n)
(s
(n)
)
t
x x = s
(n)
(s
(n)
x) x = (s
(n)
x)
2
, et de mme,
(K
(n)
y
(n)
)(K
(n)
y
(n)
)
t
x x = (K
(n)
y
(n)
x)
2
. On en dduit que
K
(n+1)
x x = K
(n)
x x +
(s
(n)
x)
2
s
(n)
y
(n)

(K
(n)
y
(n)
x)
2
K
(n)
y
(n)
y
(n)
.
En remarquant que y
(n)
= As
(n)
, et en rduisant au mme dnomi-
nateur, on obtient alors que
K
(n+1)
xx =
(K
(n)
x x)(K
(n)
y
(n)
y
(n)
) (K
(n)
y
(n)
x)
2
(K
(n)
y
(n)
y
(n)
)
+
(s
(n)
x)
2
As
(n)
s
(n)
.
Montrons maintenant que K
(n+1)
est symtrique dnie positive.
Comme K
(n)
est symtrique dnie positive, on a grce linga-
lit de Cauchy-Schwarz que (K
(n)
y
(n)
x)
2
(K
(n)
x x)(K
(n)
y
(n)
)
avec galit si et seulement si x et y
(n)
sont colinaires. Si x nest pas
colinaire y
(n)
, on a donc donc clairement
K
(n+1)
x x > 0.
Si maintenant x est colinaire y
(n)
, i.e. x = y
(n)
avec IR

+
, on
a, grce au fait que y
(n)
= As
(n)
,
(s
(n)
x)
2
As
(n)
s
(n)
=
2
(s
(n)
As
(n)
)
2
As
(n)
s
(n)
> 0, et donc K
(n+1)
x x > 0.
On en dduit que K
(n+1)
est symtrique dnie positive.
5. On suppose que g
(n)
,= 0 si 0 n N 1. On prend comme hypo-
thse de rcurrence que les vecteurs s
(0)
, . . . , s
(n1)
sont A-conjugus
et non-nuls, que K
(j)
As
(i)
= s
(i)
si 0 i < j n et que les matrices
K
(j)
sont symtriques dnies positives pour j = 0, . . . , n.
Cette hypothse est vrie au rang n = 1 grce la question 1 en
prenant n = 0 et K
(0)
symtrique dnie positive.
On suppose quelle est vraie au rang n. La question 1 prouve quelle
est vraie au rang n + 1.
Il reste maintenant montrer que x
(N+1)
= A
1
b = x. On a en eet
K
(N)
As
(i)
= s
(i)
pour i = 0 N 1. Or les vecteurs s
(0)
, . . . , s
(n1)
sont A-conjugus et non-nuls : ils forment donc une base. On en
dduit que K
(N)
A = Id, ce qui prouve que K
(N)
= A
1
, et donc,
par dnition de x
(N+1)
, que x
(N+1)
= A
1
b = x.
Exercice 69 page 194 (Sur lexistence et lunicit)
La fonction f : IR IR dnie par f(x) = x
2
est continue, strictement convexe,
et croissante linni. Etudions maintenant les proprits de K dans les quatre
cas proposs :
215
(i) Lensemble K = [x[ 1 est ferm born et convexe. On peut donc ap-
pliquer le thorme dexistence et dunicit 3.34 page 174. En remarquant que
f(x) 0 pour tout x IR et que f(0) = 0, on en dduit que lunique solution
du problme (3.4.29) est donc x = 0.
(ii) Lensemble K = [x[ = 1 est ferm born mais non convexe. Le thorme
dexistence 3.32 page 173 sapplique donc, mais pas le thorme dunicit 3.33
page 173. De fait, on peut remarquer que K = 1, 1, et donc f(x), x K =
1. Il existe donc deux solutions du problme (3.4.29) : x
1
= 1 et x
1
= 1.
(iii) Lensemble K = [x[ 1 est ferm, non born et non convexe. Cependant,
on peut crire K = K
1
K
2
o K
1
= [1, +[ et K
2
=] , 1] sont des
ensembles convexes ferms. On peut donc appliquer le thorme 3.34 page 174 :
il existe un unique x
1
IR et un unique x
2
IR solution de (3.4.29) pour
K = K
1
et K = K
2
respectivement. Il sut ensuite de comparer x
1
et x
2
.
Comme x
1
= 1 et x
2
= 1, on a existence mais pas unicit.
(iv) Lensemble K = [x[ > 1 nest pas ferm, donc le thorme 3.32 page
173 ne sapplique pas. De fait, il nexiste pas de solution dans ce cas, car on a
lim
x1
+f(x) = 1, et donc inf
K
f = 1, mais cet inmum nest pas atteint.
Exercice 70 page 194 (Maximisation de laire dun rectangle pri-
mtre donn)
1. On peut se ramener sans perte de gnralit au cas du rectangle [0, x
1
][0, x
2
],
dont laire est gale x
1
x
2
et de primtre 2(x
1
+x
2
). On veut donc maximiser
x
1
x
2
, ou encore minimiser x
1
x
2
. Pourx = (x
1
, x
2
)
t
IR
2
, posons f(x
1
, x
2
) =
x
1
x
2
et g(x
1
, x
2
) = x
1
+x
2
. Dnissons
K =
_
x = (x
1
, x
2
)
t
(IR
+
)
2
tel que x
1
+x
2
= 1
_
.
Le problme de minimisation de laire du rectangle de primtre donn et gal
2 scrit alors :
_
_
_
_
x
1
x
2
_
K
f( x
1
, x
2
) f(x
1
, x
2
) (x
1
, x
2
) K
(3.8.69)
2. Comme x
1
et x
2
sont tous deux positifs, puisque leur somme doit tre gale
1, ils sont forcment tous deux infrieurs 1. Il est donc quivalent de rsoudre
(3.8.69) ou (3.6.50). Lensemble

K est un convexe ferme born, la fonction f est
continue, et donc par le thorme 3.32 page 173, il existe au moins une solution
du problme (3.6.50) (ou (3.8.69)).
3. Calculons g : g(x) = (1, 1)
t
, donc rang Dg(x, y) = 1. Par le thorme de
Lagrange, si x = (x
1
, x
2
)
t
est solution de (3.8.69), il existe IR tel que
_
f( x, y) + g( x, y) = 0,
x + y = 1.
216
Or f( x, y) = ( x, y)
t
, et g( x, y) = (1, 1)
t
. Le systme prcdent scrit
donc :
y + = 0 x + = 0 x + y = 1.
On a donc
x = y =
1
2
.
Exercice 71 page 194 (Fonctionnelle quadratique)
1. Comme d ,= 0, il existe x IR
N
tel que d x = ,= 0. Soit x =
c

x alors
d x = c. Donc lensemble K est non vide. Lensemble K est ferm car noyau
dune forme linaire continue de IR
N
dans IR, et K est videmment convexe.
La fonction f est strictement convexe et f(x) + quand [x[ +, et donc
par les thormes 3.32 et 3.33 il existe un unique x solution de (3.4.29).
2. On veut calculer x. On a : Dg(x)z = dz, et donc Dg(x) = d
t
. Comme d ,= 0 on
a rang(Dg(x)) = 1, ou encore Im(Dg(x)) = IR pour tout x. Donc le thorme
de Lagrange sapplique. Il existe donc IR tel que f( x) + g( x) = 0,
cest--dire A x b + d = 0. Le couple ( x, ) est donc solution du problme
suivant :
_
A x b +d = 0,
d x = c
, (3.8.70)
qui scrit sous forme matricielle : By = e, avec B =
_
_
A d
d
t
0
_
_
/
N+1
(IR),
y =
_
x

_
IR
N+1
et e =
_

_
b
c
_

_
IR
N+1
. Montrons maintenant que B est
inversible. En eet, soit z
_
x

_
IR
N+1
, avec x IR
N
et IR tel que
Bz = 0. Alors
_
_
A d
d
t
0
_
_
_
x

_
= 0.
Ceci entrane Axd = 0 et d
t
x = d x = 0. On a donc Ax x(d x) = 0. On
en dduit que x = 0, et comme d ,= 0, que = 0. On a donc nalement z = 0.
On en conclut que B est inversible, et quil existe un unique (x, )
t
IR
N+1
solution de (3.8.70) et et x est solution de (3.4.29).
Exercice 75 page 196 (Application simple du thorme de Kuhn-
Tucker
La fonction f dnie de E = IR
2
dans IR par f(x) = x
2
+ y
2
est continue,
strictement convexe et croissante linni. Lensemble K qui peut aussi tre
dni par : K = (x, y) IR
2
; g(x, y) 0, avec g(x, y) = 1 x y est convexe
et ferm. Par le thorme 3.34 page 174, il y a donc existence et unicit de la
217
solution du problme (3.4.29). Appliquons le thorme de Kuhn-Tucker pour la
dtermination de cette solution. On a :
g(x, y) =
_
1
1
_
et f(x, y) =
_
2x
2y
_
.
Il existe donc IR
+
tel que :
_

_
2x = 0,
2y = 0,
(1 x y) = 0,
1 x y 0,
0.
Par la troisime quation de ce systme, on dduit que = 0 ou 1 x y = 0.
Or si = 0, on a x = y = 0 par les premire et deuxime quations, ce qui est
impossible en raison de la quatrime. On en dduit que 1 x y = 0, et donc,
par les premire et deuxime quations, x = y =
1
2
.
Exercice 3.6 page 196 (Exemple doprateur de projection)
2. Soit p
K
loprateur de projection dnie la proposition 3.44 page 179, il est
facile de montrer que, pour tout i = 1, . . . , N, :
(p
K
(y))
i
= y
i
si y
i
[
i
,
i
],
(p
K
(y))
i
=
i
si y
i
<
i
,
(p
K
(y))
i
=
i
si y
i
>
i
,
ce qui entrane
(p
K
(y))
i
= max(
i
, min(y
i
,
i
)) pour tout i = 1, . . . , N.
218
Chapitre 4
Equations direntielles
4.1 Introduction
On sintresse ici la rsolution numrique dquations direntielles avec condi-
tions initiales (ou problme de Cauchy) :
_
x

(t) = f(x(t), t) t > 0,

x(0) = x
0
.
(4.1.1)
o f est une fonction de IR
N
IR valeurs dans IR
N
, avec N 1. Lincon-
nue est la fonction x de IR dans IR
N
. Souvent, t reprsente le temps, et on
cherche donc x fonction de IR
+
valeurs dans IR
N
. On a donc aaire un
systme direntiel dordre 1. De nombreux exemples de problmes scrivent
sous cette forme. Citons entre autres les lois qui rgissent la cintique dun en-
semble de ractions chimiques, ou encore les quations rgissant la dynamique
des populations. Notons quun systme direntiel faisant intervenir des di-
rentielles dordre suprieur peut toujours scrire sous la forme (4.1.1). Prenons
par exemple lquation du second ordre dcrivant le comportement de lamor-
tisseur dune voiture :
_
_
_
my

+cy

+ky = 0,
y(0) = x
0
,
y

(0) = 0.
(4.1.2)
o m est la masse de la voiture, c le coecient damortissement et k la force
de rappel. Linconnue y est le dplacement de lamortisseur par rapport sa
position dquilibre. Pour se ramener un systme dordre 1, on pose x
1
= y,
x
2
= y

, et le systme amortisseur scrit alors, avec comme inconnue x =

(x
1
, x
2
)
t
:
_
x

(t) = f(x(t), t),

x(0) = ( x
0
, 0)
t
,
avec f(x, t) =
_
x
2
,

1
m
(cx
2
+kx
1
)
_
. (4.1.3)
On rappelle que par le thorme de Cauchy-Lipschitz, si f C
1
(IR
N
IR, IR
N
)
alors il existe T
M
> 0 et x C
2
([0, T
M
[, IR
N
) solution maximale de (4.1.1),
cestdire que x est solution de (4.1.1) sur [0, T
M
[, et que sil existe > 0
et y C
2
([0, [, IR
N
) solution de (4.1.1) sur [0, [ alors T
M
et y = x sur
219
[0, [. De plus, par le thorme dexplosion en temps ni, si T
M
< + alors
[x(t)[ + quand t T
M
.
Remarque 4.1 (Hypothse sur f) En fait, pour avoir existence et unicit
dune solution maximale de (4.1.1), on peut aaiblir lhypothse f C
1
(IR
N

IR, IR
N
) en f C(IR
N
IR, IR
N
) qui soit lipschitzienne sur les borns", cest
dire qui vrie :
A > 0, M
A
IR
+
tel que t [0, T[, (x, y) B
A
B
A
,
[f(x, t) f(y, t)[ M
A
[x y[.
(4.1.4)
o [.[ dsigne une norme sur IR
N
et B
A
la boule de centre 0 et de rayon A. Il
est clair que si f C
1
(IR
N
IR, IR
N
) alors f vrie (4.1.4), alors quelle nest
videmment pas forcment globalement lipschitzienne (prendre f(x) = x
2
pour
sen convaincre). De mme la proprit (4.1.4) est encore vrie si f est C
1
par morceaux", proprit toutefois dlicate dmontrer dans le cas gnral.
Exemple 4.2 On suppose N = 1 ; soit la fonction f dnie par f(z, t) = z
2
.
On considre le problme de Cauchy :
_
dx
dt
(t) = x
2
(t)
x(0) = 1
La fonction f est de classe C
1
, donc lipschitzienne sur les borns (mais pas
globalement lipschitzienne). On peut donc appliquer le thorme de Cauchy-
Lipschitz qui nous donne existence et unicit dune solution maximale. On
cherche alors calculer une solution locale. Un calcul simple donne x(t) =
1
1t
, et cette fonction tend vers + lorsque t tend vers 1

. On en dduit que le
temps maximal de la solution est T
M
= 1, et on a donc comme solution maxi-
male x(t) =
1
1t
t [0, 1[.
Exemple 4.3 Supposons que f C
1
(IR
N
IR, IR
N
), et soit x la solution maxi-
male de (4.1.1) sur [0, T
M
[. On suppose que pour tout 0 < T < +, il existe
a
T
> 0 et b
T
> 0 tels que
[f(z, t)[ a
T
[z[ +b
T
z IR
N
, t [0, T]
On a donc : x

(t) a
T
[x(t)[ + b
T
pour tout t, en intgrant entre 0 et t, on
obtient :
x(t) a
T
_
t
0
[x(s)[ds + +b
T
t + x
0
,
et donc :
[x(t)[ a
T
_
t
0
[x(s)[ds +[b
T
[T +[ x
0
[, t [0, T[.
On peut alors appliquer le lemme de Gronwall
1
la fonction t [x(t)[. On
obtient que : [x(t)[ ([b
T
[T +[ x
0
[)e
aT t
pour tout t [0, T[. On en dduit que x
reste borne sur tout intervalle [0, T], T IR. Le temps dexistence T
M
est donc
gal +.
1. On rappelle que le lemme de Gronwall permet de dire que si C([0, T], IR
+
) est telle
que (t)
R
t
0
(s)ds + , avec 0, > 0 alors (t) e
t
pour t [0, T].
220
Dans de nombreux cas, il nest pas possible dobtenir une expression analytique
de la solution de (4.1.1). Lobjet de ce chapitre est de prsenter des mthodes
pour obtenir des solutions (numriques) approches de la solution de (4.1.1).
Plus prcisment, on adopte les notations et hypothses suivantes :
Notations et hypothses :
_

_
Soit f vriant lhypothse (4.1.4))
et soit x solution maximale de (4.1.1) (dnie sur [0, T
M
[),
on se donne T ]0, T
M
[, on cherche calculer x sur [0, T],
o x C
1
([0, T], IR
N
) est solution de (4.1.1).
On se donne une discrtisation de [0, T], i.e. n IN et
(t
0
, t
1
, . . . , t
n
) IR
n+1
tels que 0 < t
0
< t
1
< . . . < t
n
= T.
On pose h
k
= t
k+1
t
k
, k = 0, . . . , n 1,
et h = maxh
0
, . . . , h
n1
. Pour k = 1, . . . n, on cherche x
k
valeur approche de x(t
k
) = x
k
,
et on appelle e
k
= x
k
x
k
lerreur de discrtisation.
(4.1.5)
On cherche alors une mthode qui permette le calcul de x
k
, pour k = 1, . . . , n, et
telle que la solution approche ainsi calcule converge, en un sens dnir, vers
la solution exacte. On cherchera de plus valuer lerreur de discrtisation e
k
,
et plus prcisment, obtenir des estimations derreur de la forme [e
k
[ Ch

,
o C ne dpend que de la solution exacte (et pas de h) ; donne alors lordre
de la convergence.
On tudiera ici les mthodes de discrtisation des quations direntielles dits
schma un pas" qui scrivent sous la forme suivante :
Dnition 4.4 (Schma un pas) Avec les hypothses et notations (4.1.5),
on appelle schma un pas pour la rsolution numrique de (4.1.1), un algo-
rithme de construction des valeurs (x
k
)
k=1,n
qui scrit sous la forme suivante :
_

_
x
0
donn (approximation de x
0
)
x
k+1
x
k
h
k
= (x
k
, t
k
, h
k
), k = 0, . . . n 1,
(4.1.6)
o est une fonction de IR
N
IR
+
IR
+
valeurs dans IR.
Dans la dnition du schma (4.1.6), il est clair que le terme
x
k+1
x
k
h
k
est obtenu
en cherchant une approximation de x

(t
k
) et que (x
k
, t
k
, h
k
) est obtenu en
cherchant une approximation de f(x
k
, t
k
). Le schma numrique est dni par
cette fonction .
Exemples :
1. Schma dEuler explicite Le schma dEuler explicite est dni par (4.1.6)
avec la fonction trs simple suivante :
(x
k
, t
k
, h
k
) = f(x
k
, t
k
). (4.1.7)
2. Schma Euler implicite
_

_
x
0
donn
x
k+1
x
k
h
k
= f(x
k+1
, t
k+1
). k = 0, . . . n 1,
(4.1.8)
221
On remarque que dans le schma dEuler implicite, le calcul de x
k+1
nest
pas explicite, il est donn de manire implicite par (4.1.6) (do le nom
du schma). La premire question se poser pour ce type de schma est
lexistence de x
k+1
. On montrera au thorme 4.15 que si lhypothse
suivante est vrie :
D
1
f(y, t)z z 0 y IR
N
, z IR
N
, t 0, (4.1.9)
alors x
k+1
calcul par (4.1.8) est bien dni en fonction de x
k
, t
k
, et h
k
.
On peut donc bien crire le schma (4.1.8) sous la forme (4.1.6) avec
x
k+1
x
k
h
k
= (x
k
, t
k
, h
k
),
bien que la fonction ne soit dnie ici quimplicitement et non explicite-
ment. Sous lhypothse (4.1.9), ce schma entre donc bien dans le cadre des
schmas (4.1.6) tudis ici ; nanmoins, une proprit supplmentaire dite
de stabilit inconditionnelle", est vrie par ce schma. Cette proprit
peut savrer trs importante en pratique et justie une tude spare (voir
section 4.6).
4.2 Consistance, stabilit et convergence
Dnition 4.5 (Consistance) On se place sous les hypothses et notations
(4.1.5) et on tudie le schma (4.1.6).
1. Pour k = 0, . . . , n, on dnit lerreur de consistance du schma (4.1.6) en
t
k
par :
R
k
=
x
k+1
x
k
h
k
(x
k
, t
k
, h
k
). (4.2.10)
2. Le schma est consistant si
max[R
k
[, k = 0 . . . n 1 0 lorsque h 0. (4.2.11)
3. Soit p IN

, le schma est consistant dordre p sil existe C IR

+
ne
dpendant que de f,T, x
0
(et pas de h) tel que [R
k
[ Ch
p
, k = 1, . . . , n
1.
Donnons maintenant une condition ncessaire sur pour que le schma (4.1.6)
soit consistant.
Proposition 4.6 (Caractrisation de la consistance) Sous les hypothses
et notations (4.1.5), si C(IR
N
IR
+
IR
+
, IR
N
) et si (z, t, 0) = f(z, t)
pour tout z IR
N
et pour tout t [0, T], alors le schma (4.1.6) est consistant.
Dmonstration Comme x C
1
([0, T], IR
N
) est la solution exacte de (4.1.1),
on peut crire que
x(t
k+1
) x(t
k
) =
_
t
k+1
t
k
x

(s)ds =
_
t
k+1
t
k
f(x(s), s)ds.
On en dduit que
R
k
=
x(t
k+1
) x(t
k
)
h
k
(x
k
, t
k
, h
k
) =
1
h
k
_
t
k+1
t
k
(f(x(s), s) (x
k
, t
k
, h
k
))ds.
222
Soit > 0, comme f est continue et (x
k
, t
k
, 0) = f(x
k
, t
k
), il existe
1
tel
que si h
k

1
alors : [(x
k
, t
k
, h
k
) f(x
k
, t
k
)[ . On a donc par ingalit
triangulaire,
[R
k
[ +
1
h
k
_
t
k+1
t
k
[f(x(s), s) f(x
k
, t
k
)[ds.
La fonction s f(x(s), s) est continue et donc uniformment continue sur
[t
k
, t
k+1
]. Il existe donc
2
tel que si h
2
, alors
1
h
k
_
t
k+1
t
k
[f(x(s), s) f(x
k
, t
k
)[ds .
On a ainsi montr que si h min(
1
,
2
), alors [R
k
[ 2, ce qui termine la
preuve de la proposition.
Notons que pour obtenir une consistance dordre p > 1, il est ncessaire de
supposer que la solution x de (4.1.1) est dans C
p
(IR
+
, IR
N
).
Dnition 4.7 (Stabilit) Sous les hypothses (4.1.5), on dit que le schma
(4.1.6) est stable sil existe h

> 0 et R IR
+
tels que x
k
B
R
pour tout
k = 0, . . . , N et pour tout h [0, h

[, o B
R
dsigne la boule de centre 0 et
de rayon R. On dit que le schma est inconditionnellement stable si de plus,
h

= +.
Dnition 4.8 (Convergence) On se place sous les hypothses et notations
(4.1.5).
1. Le schma (4.1.6) est convergent si, lorsquon suppose [e
0
[ = 0, on a
max
k=0,...,n
[e
k
[ 0 lorsque h 0.
2. Soit p IN

, le schma est convergent dordre p sil existe C IR

+
ne
dpendant que de f,T, x
0
(et pas de h) tel que si on suppose [e
0
[ = 0,
alors
max
k=0,...,n
[e
k
[ Ch
p
.
Nous donnons prsent une notion de stabiit souvent utilise dans les ouvrages
classiques, mais qui ne semble pas tre la plus ecace en termes danalyse der-
reur (voir remarque 4.14.
Dnition 4.9 (Stabilit par rapport aux erreurs) Sous les hypothses et
notations (4.1.5), on dit que le schma (4.1.6) est stable par rapport aux erreurs
sil existe h

IR

+
et K IR
+
dpendant de x
0
, f et (mais pas de h) tels que
si h h

et si
x
k+1
= x
k
+h
k
(t
k
, x
k
, h
k
),
y
k+1
= y
k
+h
k
(t
k
, y
k
, h
k
) +
k
,
pour k = 0, . . . , n 1, (4.2.12)
o (
k
)
kIN
IR
+
est donne, alors
[x
k
y
k
[ K([x
0
y
0
[ +
k1

i=0
[
i
[), pour tout k = 0, . . . , n 1.
223
On peut alors noncer le thorme de convergence suivant, dont la dmonstra-
tion, trs simple, fait partie de lexercice 84 page 233.
Thorme 4.10 (Convergence) Sous les hypothses et notations (4.1.5), on
suppose que le schma (4.1.6) est stable par rapport aux erreurs au sens de la
dnition 4.9 et quil est consistant dordre p au sens de la dnition 4.2.10.
Alors il existe K IR
+
ne dpendant que de x
0
, f et (mais pas de h) tel que
[e
k
[ Kh
p
+[e
0
[, pour tout k = 0, . . . , n.
Comme on la dit dans la remarque 4.14, ce thorme est dune porte moins
gnrale que le thorme 4.12 car il nest pas toujours facile de montrer la
stabilit par rapport aux erreurs, en dehors de la condition susante donne
dans la proposition qui suit, et qui est rarement vrie en pratique.
Proposition 4.11 (Condition susante de stabilit) Sous les hypothses
et notations (4.1.5), une condition susante pour que le schma (4.1.6) soit
stable par rapport aux erreurs est que
h

> 0, M > 0; (x, y) IR

N
IR
N
, h < h

, t [0, T],
[(x, t, h) (y, t, h)[ M[x y[.
(4.2.13)
La dmonstration de cette proposition est laisse en exercice (exercice 84 page
233).
4.3 Thorme gnral de convergence
Thorme 4.12 On se place sous les hypothses et notations (4.1.5).
1. On suppose que le schma (4.1.6) est consistant dordre p (i.e. il existe
p IN

et C IR
+
ne dpendant que de T, f, x
0
tel que [R
k
[ Ch
p
.)
2. On suppose quil existe h

> 0 tel que pour tout A IR

+
, il existe M
A
> 0
tel que
(y, z) B
A
B
A
, t [0, T], h [0, h

],
[(y, t, h) (z, t, h)[ M
A
[y z[,
(4.3.14)
o B
A
dsigne la boule de rayon A. (Noter que cette hypothse sur est
semblable lhypothse (4.1.4) Lipschitz sur les borns" faite sur f dans
la remarque 4.1 page 220).
Alors il existe h

> 0 (h

), > 0, et K > 0 (ne dpendant que de

f, x
0
,T,h

,M
A
) tels que si
0 < h h

et [e
0
[ ,
alors
1. le schma est stable", au sens o x
k
B
2A
pour tout k = 0, . . . n, avec
A = max[x(t)[, t [0, T] < +.
2. le schma converge, et plus prcisment, on a lestimation derreur sui-
vante : [e
k
[ K(h
p
+ [e
0
[), pour tout k = 0, . . . , n. (En particulier si
e
0
= 0 on a [e
k
[ Kh
p
donc e
k
tend vers 0 au moins comme h
p
.)
224
Dmonstration : Soit x C
1
([0, T], IR
N
) solution de (4.1.1), et soit A =
max[x(t)[, t [0, T] < + (car x est continue et [0, T] est compact). On a
donc x
k
B
A
= y IR
N
, [y[ A.
On va parachuter" ici un choix de et h

qui permettront de montrer le

thorme par rcurrence sur k, on montrera dans la suite de la dmonstration
pourquoi ce choix convient. On choisit :
1. h

> 0 tel que Ce

T(M2A+1)
(h

)
p

A
2
, o M
2A
est la constante de
Lipschitz de sur B
2A
dans lhypothse (4.3.14),
2. > 0 tel que e
TM2A

A
2
.
On va maintenant montrer par rcurrence sur k que si h h

et [e
0
[ , alors :
_
[e
k
[
k
h
p
+
k
[e
0
[,
x
k
B
2A
,
, (4.3.15)
avec
k
= Ce
t
k
M2A
(1 +h
0
) . . . (1 +h
k1
) et
k
= e
t
k
M2A
. (4.3.16)
Si on suppose (4.3.15) vraie, on peut terminer la dmonstration du thorme :
en eet pour x 0, on a 1 +x e
x
, et donc :
(1 +h
0
)(1 +h
1
) . . . (1 +h
k1
) e
h0+h1+h
k1
= e
t
k
e
T
.
On en dduit que

k
Ce
TM2A
e
T
= Ce
T(M2A+1)
, et que
k
e
TM2A
.
On dduit alors de (4.3.15) et (4.3.16) que
[e
k
[ Ce
T(M2A+1)
h
p
+e
TM2A
[e
0
[
K(h
p
+[e
0
[) avec K = max(Ce
T(M2A+1)
, e
T(M2A
),
et que x
k
B
2A
. Il ne reste donc plus qu dmontrer (4.3.15) par rcurrence
sur k.
Pour k = 0, les formules (4.3.16) donnent
0
= C et
0
= 1. Or on a bien
[e
0
[
0
h
p
+[e
0
[ car C 0. De plus, par dnition de e
0
, on a x
0
= x
0
e
0
, et
donc : [x
0
[ [ x
0
[+[e
0
[ A+ A+
A
2
2A car, par hypothse e
TM2A

A
2
et donc
A
2
. On en dduit que x
0
B
2A
.
Supposons maintenant que les relations (4.3.15) et (4.3.16) sont vraies jus-
quau rang k et dmontrons quelles le sont encore au rang k + 1.
Par dnition du schma (4.1.6) et de lerreur de consistance (4.2.10), on a :
x
k+1
= x
k
+h
k
(x
k
, t
k
, h
k
)
x
k+1
= x
k
+h
k
( x
k
, t
k
, h
k
) +h
k
R
k
.
On a donc e
k+1
= e
k
+h
k
(( x
k
, t
k
, h
k
)(x
k
, t
k
, h
k
))+h
k
R
k
, ce qui entrane
que
[e
k+1
[ [e
k
[ +h
k
[( x
k
, t
k
, h
k
) (x
k
, t
k
, h
k
)[ +h
k
[R
k
[. (4.3.17)
Comme x
k
B
2A
et x
k
B
A
, en utilisant la proprit (4.3.14) de , on a
[( x
k
, t
k
, h
k
) (x
k
, t
k
, h
k
)[ M
2A
[ x
k
x
k
[.
225
De plus, comme le schma (4.1.6) est suppos consistant dordre p, on a
[R
k
[ Ch
p
. On peut donc dduire de (4.3.17) que
[e
k+1
[ [e
k
[(1 +M
2A
h
k
) +h
k
Ch
p
,
et, en utilisant lhypothse de rcurrence (4.3.15) :
[e
k+1
[ (1 +h
k
M
2A
)(
k
h
p
+
k
[e
0
[) +h
k
Ch
p
.
Comme 1 +u e
u
pour tout u 0, ceci entrane
[e
k+1
[
k+1
h
p
+
k+1
[e
0
[,
o
k+1
=
k
e
h
k
M2A
+Ch
k
et
k+1
=
k
e
h
k
M2A
= e
t
k+1
M2A
. Or

k
= Ce
t
k
M2A
(1 +h
0
) + (1 +h
k1
) C,
et donc

k+1

k
(e
h
k
M2A
+h
k
)
k
e
h
k
M2A
(1 +h
k
),
ce qui entrane
Ce
t
k
M2A
e
h
k
M2A
(1 +h
0
) (1 +h
k1
)(1 +h
k
) =
k+1
car t
k
+h
k
= t
k+1
.
Donc
[e
k+1
[
k+1
h
p
+
k
[e
0
[.
Il reste montrer que x
k+1
B
2A
. On a
[x
k+1
[ [ x
k+1
[ +[e
k+1
[ A+[e
k+1
[ car x
k
B
A
.
Or on vient de montrer que [e
k+1
[
k+1
h
p
+
k+1
[e
0
[, et

k+1
Ce
T(M2A+1)
et
k+1
e
TM2A
.
Donc
[e
k+1
[ Ce
T(M2A+1)
h

p
+e
TM2A

A
2
+
A
2
car on a choisi h

et pour !. . . On a donc nalement [x

k+1
[ A+A, cest
dire x
k+1
B
2A
.
On a donc bien montr (4.3.15) pour tout k = 0, . . . n. Ce qui donne la conclusion
du thorme.
Remarque 4.13 Dans le thorme prcdent, on a montr que x
k
B
2A
pour
tout k = 1, . . . n. Ceci est un rsultat de stabilit (cestdire une estimation
sur la solution approche ne dpendant que des donnes T, x
0
, f et (ne dpend
pas du maillage h)) conditionnelle, car on a suppos pour le dmontrer que
h h

, o h

ne dpend que de T, x
0
, f et .
Remarque 4.14 (Sur la dmonstration du thorme de convergence)
Dans la plupart des ouvrages danalyse numrique, la convergence des schmas
de discrtisation des quations direntielles est obtenue partir de la notion
226
de consistance et de la notion de stabilit par rapport aux erreurs (vue au para-
graphe prcdent, voir dnition 4.9, et souvent appele stabilit tout court). Il
est en eet assez facile de voir (cf exercice 84 page 233) que si le schma (4.1.6)
est consistant dordre p et stable par rapport aux erreurs comme dni dans la
dnition 4.9, alors il est convergent, et plus prcisment, [e
k
[ K(h
p
+ [e
0
[),
pour tout k = 0, . . . , n.
Il y a deux avantages utiliser plutt le thorme prcdent. Dune part, ce
thorme est dune porte trs gnrale et sapplique facilement de nombreux
schmas, comme on le verra sur des exemples (voir section 4.4).
Dautre part la preuve de convergence par la notion de stabilit par rapport aux
erreurs prsente un dfaut majeur : la seule condition susante quon connaisse
en gnral pour montrer quun schma est stable par rapport aux erreurs est
que la fonction (., t, h) soit globalement lipschitzienne pour tout t [0, T] et
pour tout h [0, h

] (voir proposition 4.11). Ceci revient dire, dans le cas

du schma dEuler explicite par exemple, que f est globalement lipschitizienne.
Cette hypothse est trs forte et rarement vrie en pratique. Bien sr, comme
la solution x de (4.1.1) est borne sur [0, T], x vit dans un compact et on peut
toujours modier f sur le complmentaire de ce compact pour la rendre globa-
lement lipschitzienne. Cependant, cette manipulation ncessite la connaissance
des bornes de la solution exacte, ce qui est souvent loin dtre facile obtenir
dans les applications pratiques.
4.4 Exemples
On se place sous les hypothses (4.1.5) et on tudie le schma (4.1.6). On donne
quatre exemples de schmas de la forme (4.1.6) :
Exemple 1 Euler explicite On rappelle que le schma scrit (voir (4.1.7)) :
x
k+1
x
k
h
k
= f(x
k
, t
k
),
On a donc (x
k
, t
k
, h
k
) = f(x
k
, t
k
).
On peut montrer (voir exercice 83 page 233) que :
si f C
1
(IR
N
IR
+
, IR
N
), le schma est consistant dordre 1,
le thorme 4.12 sapplique [e
k
[ K(h+[e
0
[) pour h < h

. (La conver-
gence est assez lente, et le schma nest stable que conditionnellement.)
Exemple 2 Euler amlior Le schma scrit :
x
k+1
x
k
h
k
= f
_
x
k
+
h
k
2
f(x
k
, t
k
), t
k
+
h
k
2
_
= (x
k
, t
k
, h
k
) (4.4.18)
si x C
2
(IR
+
, IR
N
),le schma est consistant dordre 2,
le thorme 4.12 sapplique et [e
k
[ K(h
2
+[e
0
[) pour h h

.
La convergence est plus rapide.
227
Exemple 3 Heun
x
k+1
x
k
h
k
=
1
2
f(x
k
, t
k
) +
1
2
[f(x
k
+h
k
f(x
k
, t
k
), t
k+1
)]. (4.4.19)
si x C
2
(IR
+
, IR
N
), le schma est consistant dordre 2,
Le thorme 4.12 sapplique et [e
k
[ K(h
2
+[e
0
[), pour h h

.
Exemple 4 RK4 (Runge et Kutta, 1902) Les schmas de type Runge Kutta
peuvent tre obtenus en crivant lquation direntielle sous la forme
x
k+1
x
k
=
_
t
k+1
t
k
f(x(t), t)dt, et en construisant un schma numrique
partir des formules dintgration numrique pour le calcul approch des
intgrales. Le schma RK4 sobtient partir de la formule dintgration
numrique de Simpson :
A x
k
connu,
x
k,0
= x
k
x
k,1
= x
k
+
h
k
2
f(x
k,0
, t
k
)
x
k,2
= x
k
+
h
k
2
f(x
k,1
, t
k
+
h
k
2
)
x
k,3
= x
k
+ h
k
f(x
k,2
, t
k
+
h
k
2
)
x
k+1
x
k
h
k
=
1
6
f(x
k,0
, t
k
) +
1
3
f(x
k,1
, t
k
+
h
k
2
)
+
1
3
f(x
k,2
, t
k
+
h
k
2
) +
1
6
f(x
k,3
, t
k+1
)
= (x
k
, t
k
, h
k
)
On peut montrer (avec pas mal de calculs. . . ) que si x C
4
([0, T]) alors
le schma est consistant dordre 4. Le thorme 4.12 sapplique et [e
k
[
K(h
4
+[e
0
[), pour h h

.
4.5 Explicite ou implicite ?
On lit souvent que les schmas implicites sont plus stables". Il est vrai que
lorsque la condition (4.1.9) donne plus haut est vrie, le schma dEuler
implicite (4.1.8) est inconditionnellement stable, comme nous le verrons dans
la section suivante. Il est donc naturel de le prfrer au schma explicite pour
lequel on na quun rsultat de stabilit conditionnelle. Cependant, dans le cas
gnral, le choix nest pas si vident, comme nous allons le voir sur des exemples,
en tudiant le comportement respectif des schmas dEuler explicite et implicite.
4.5.1 Limplicite gagne...
Prenons dabord f(x, t) = x, N = 1 et x
0
= 1. Lquation direntielle est
donc :
_
dx
dt
= x(t),
x(0) = 1,
228
dont la solution est clairement donne par x(t) = e
t
. On suppose que le pas
est constant, cestdire h
k
= h k. Le schma dEuler explicite scrit dans ce
cas :
x
k+1
= x
k
hx
k
= (1 h)x
k
et donc
x
k
= (1 h)
k
, k = 0, . . . , n, avec nh = T.
(4.5.20)
(On a donc n points de discrtisation.) La valeur x
k
est cense tre une approxi-
mation de x(t
k
) = e
t
k
, et de fait, on remarque que pour n =
T
h
, on a
x
n
= (1 h)
T/h
e
T
quand h 0.
Lorsquon cherche par exemple obtenir le comportement de la solution dune
quation direntielle dans les grands temps", on peut tre amen utiliser
des pas de discrtisation relativement grands. Ceci peut tre aussi le cas dans
des problmes de couplage avec dautres quations, les chelles de temps" des
quations pouvant tre trs direntes pour les direntes quations. Que se
passe-t-il dans ce cas ? Dans le cas de notre exemple, si on prend h = 2, on
obtient alors x
k
= (1)
k
, ce qui nest clairement pas une bonne approxima-
tion de la solution. Un des problmes majeurs est la perte de la positivit de
la solution. Dans un problme dorigine physique o x serait une concentration
ou une densit, il est indispensable que le schma respecte cette positivit. On
peut noter que ceci nest pas en contradiction avec le thorme 4.12 qui donne
un rsultat de convergence (i.e. de comportement lorsque h tend vers 0). Dans
lexemple prsent, le schma dEuler explicite (4.5.20) ne donne pas une solution
approche raisonnable pour h grand.
Si on essaye maintenant de calculer une solution approche laide du schma
dEuler implicite (4.1.8), on obtient
x
k+1
= x
k
hx
k+1
, c..d. x
k+1
=
1
1 +h
x
k
et donc
x
k
=
1
(1 +h)
k
, k = 0, . . . n, avec nh = T.
Dans ce cas, la solution approche reste proche" de la solution exacte, et posi-
tive, mme pour des pas de discrtisation grands. On pourrait en conclure un
peu htivement que le schma implicite est meilleur" que le schma explicite.
On va voir dans lexemple qui suit quune telle conclusion est peu rapide.
4.5.2 Limplicite perd...
On considre maintenant le problme de Cauchy (4.1.1) avec f(y, t) = +y,
x
0
= 1. La solution est maintenant x(t) = e
t
. Si on prend un pas de discrtisation
constant gal h, le schma dEuler explicite scrit :
x
k+1
= x
k
+hx
k
= (1 +h)x
k
, c..d. x
k
= (1 +h)
k
.
On a donc
x
n
= (1 +h)
n
e
T
c..d. lorsque n +.
Contrairement lexemple prcdent, la solution approche donne par le schma
dEuler explicite reste raisonnable" mme pour les grands pas de temps.
229
Si on essaye maintenant de calculer une solution approche laide du schma
dEuler implicite (4.1.8), on obtient
x
k+1
= x
k
+hx
k+1
, c..d. x
k+1
=
1
1 h
x
k
.
On remarque dune part que le schma implicite nest pas dni pour h = 1, et
que dautre part si h est proche de 1 (par valeurs suprieures ou infrieures), la
solution approche explose". De plus pour les valeurs de h suprieures 1, on
perd la positivit de la solution (pour h = 2 par exemple la solution approche
oscille entre les valeurs +1 et -1).
Dans le cadre de cet exemple, le choix explicite semble donc plus appropri.
4.5.3 Match nul
En conclusion de ces deux exemples, il semble que le meilleur" schma nexiste
pas dans labsolu. Le schma de discrtisation doit tre choisi en fonction du pro-
blme ; ceci ncessite une bonne comprhension du comportement des schmas
en fonction des problmes donns, donc une certaine exprience. . .
4.6 Etude du schma dEuler implicite
On peut crire le schma dEuler implicite sous la forme dun schma (4.1.6), si
pour tout k = 0 . . . n 1, x
k
tant donn, il existe x
k+1
qui satisfait :
x
k+1
x
k
h
k
= f(x
k+1
, t
k+1
), k = 0, . . . , n 1.
On va montrer dans le thorme suivant que ceci est le cas si la condition (4.1.9)
quon rappelle ici est vrie :
D
1
f(y, t)z z 0, y, z IR
N
, t [0, T].
On montrera aussi que sous cette hypothse, on obtient un rsultat de stabilit
inconditionnelle pour le schma dEuler implicite.
Thorme 4.15 On se place sous les hypothses (4.1.5) et (4.1.9). Alors
1. (x
k
)
k=0...n
est bien dnie par (4.1.8),
2. [e
k
[ [e
0
[ +h
_
t
k
0
[x

(s)[ds, k = 0, . . . , n.
Dmonstration :
1. Soit la fonction dnie de [0, 1] valeurs dans IR
N
par (t) = f((1t)y+
tz) ; en crivant que (1) (0) =
_
1
0

(s)ds, et en utilisant lhypothse

(4.1.9), on dduit que :
(f(y, t) f(z, t), (y z)) 0, y, z IR
N
, t [0, T]. (4.6.21)
On veut alors montrer que si x
k
, h
k
, t
k
sont donns, il existe un et un seul
y tel que
y x
k
h
k
= f(y, t
k
+ h
k
). A x
k
et t
k
xs, soit F la fonction de
230
IR
+
IR
N
valeurs dans IR
N
dnie par F(h, y) = y x
k
hf(y, t
k
+h).
On considre alors lquation
F(h, y) = 0. (4.6.22)
Pour h = 0, cette quation admet videmment une unique solution y = x
k
.
Soit I =

h IR

+
t.q. (4.6.22) admette une solution pour tout h <

h.
On va montrer par labsurde que sup I = +, ce qui dmontre lexistence
et lunicit de y solution de (4.6.22).
Supposons que sup I = H < +. Montrons dabord que H est atteint.
Soit (h
n
)
nIN
I telle que h
n
H lorsque n +, alors la suite
(y
n
)
nIN
dnie par y
n
= x
k
+h
n
f(y
n
, t
k
+h
n
) est borne : en eet,
y
n
= x
k
+h
n
(f(y
n
, t
k
+h
n
) f(0, t
k
+h)) +h
n
f(0, t
k
+h),
en prenant le produit scalaire des deux membres de cette galit avec y
n
et en utilisant (4.6.21) et lingalit de Cauchy-Schwarz, on obtient que :
[y
n
[ [x
k
[ +H[f(0, t
k
+h)[.
Il existe donc une sous-suite (y
n
k
)
kIN
qui converge vers un certain Y
lorsque n +. Par continuit de f, on a Y = x
k
+ Hf(Y, t
k
+ H), et
donc H = max I.
Montrons maintenant que H ne peut pas tre gal sup I. On applique
pour cela le thorme des fonctions implicites F dnie en (4.6.22). On
a bien F(H, Y ) = 0, et D
2
F(H, Y ) = IdHD
1
f(Y, t
k
+H) est inversible
grce lhypothse (4.1.9). Donc il existe un voisinage de (H, Y ) sur lequel
(4.6.22) admet une solution, ce qui contredit le fait que H = sup I.
2. La dmonstration de 2 se fait alors par rcurrence sur k. Pour k = 0 la
relation est immdiate. Lhypothse de rcurrence scrit
[e
k
[ [e
0
[ +h
_
t
k
0
[x

(s)[ds.
Par dnition du schma (4.1.8) et de lerreur de consistance, on a :
x
k+1
= x
k
+h
k
f(x
k+1
, t
k+1
),
x
k+1
= x
k
+h
k
f( x
k+1
, t
k+1
) +h
k
R
k
.
avec (par intgration par parties)
[R
k
[
_
t
k+1
t
k
[x

(s)[ds.
On a donc :
e
k+1
= x
k+1
x
k+1
= x
k
x
k
+h
k
(f( x
k+1
, t
k+1
) f(x
k+1
, t
k+1
)) +h
k
R
k
,
et donc
e
k+1
e
k+1
= e
k
e
k+1
+h
k
R
k
e
k+1
+h
k
(f( x
k+1
, t
k+1
)f(x
k+1
, t
k+1
))e
k+1
.
231
Grce lhypothse (4.1.9) ceci entrane (par (4.6.21)) que
[e
k+1
[ [e
k
[ +h[R
k
[,
et donc
[e
k+1
[ [e
0
[ +h
_
t
k
0
[x

(s)[ds+
_
t
k+1
t
k
[x

(s)[ds = [e
0
[ +h
_
t
k+1
0
[x

(s)[ds.
Ce qui dmontre le point 2.
Remarque 4.16 (Stabilit inconditionnelle du schma Euler implicite)
Le schma dEuler implicite (4.1.8) est inconditionnellement stable, au sens o
la suite (x
k
)
k=0,...,n
est majore indpendamment de h. En eet :
[e
k
[ [e
0
[ +T
_
T
0
[x

(s)[ds = ,
[x
k
[ [ x
k
[ + max[x(s)[, s [0, T] + = .
4.7 Exercices
Exercice 79 (Condition de Lipschitz et unicit) Corrig en page 241
Pour a 0, on dnit la fonction
a
: IR
+
IR
+
par :
a
(x) = x
a
. Pour quelles
valeurs de a la fonction
a
est-elle lipschitzienne sur les borns ?
On considre le problme de Cauchy suivant :
y

(t) =
a
(y(t)), t [0, +[
y(0) = 0.
(4.7.23)
Montrer que si
a
est lipschitzienne sur les borns alors le problme de Cauchy
(4.7.23) admet une solution unique, et que si
a
nest pas lipschitzienne sur les
borns alors le problme de Cauchy (4.7.23) admet au moins deux solutions.
Exercice 80 (Fonctions lipschitziennes sur les borns)
Les fonctions suivantes sont elles lipschitziennes sur les borns ?
1.

1
: IR IR
x min(x
2
,
_
(x
2
+ 1)
2.

2
: IR
2
IR
2
(x, y) (x
2
xy, [y + 2xy[)
3.

3
: IR
2
+
IR
2
+
(x, y) (

x +y, x
2
+y
2
)
Exercice 81 (Loi de Malthus) Corrig en page 241
On considre une espce dont la population (i.e. le nombre dindividus) a doubl
en 100 ans et tripl en 200 ans. Montrer que cette population ne peut pas
satisfaire la loi de Malthus (on rappelle que la loi de Malthus scrit p

(t) = ap(t)
avec a > 0 indpendant de t).
232
Exercice 82 (Histoire de sardines) Corrig en page 241
Une famille de sardines tranquillement installes dans les eaux du Frioul a une
population qui crot selon la loi de Malthus, p

(t) = 4p(t) o t est exprim en

jours. A linstant t = 0, un groupe de bonites voraces vient sinstaller dans ces
eaux claires, et se met attaquer les pauvres sardines. Le taux de perte chez
ces dernires slve 10
4
p
2
(t) par jour, o p(t) est la population des sardines
au temps t. De plus, au bout dun mois de ce traitement, suite au dgazement
intempestif dun super tanker au large du phare du Planier, les sardines dcident
dmigrer vers des eaux plus claires au rythme de 10 pour cent de la population
par jour (on supposera que les bonites sont insensibles au gas oil, et donc que
le nombre de bonites reste constant...).
1. Modier la loi de Malthus pour prendre en compte les deux phnomnes.
2. En supposant qu t = 0 le nombre de sardines est de 1 million, calculer le
nombre de sardines pour t > 0. Quel est le comportement de p(t) linni ?
Exercice 83 (Consistance et ordre des schmas) Corrig en page 243
On reprend les hypothses et notations (4.1.5).
1. On suppose que f C
1
(IR
N
IR
+
, IR
N
). Montrer que le schma dEuler
explicite scrit (4.1.7)) est consistant et convergent dordre 1.
2. On suppose que f C
1
(IR
N
IR
+
, IR
N
). Montrer que les schmas dEuler
amlior (4.4), et de Heun (4.4) sont consistants et convergents dordre 2.
3. On suppose que f C
4
(IR
N
IR
+
, IR
N
).Montrer que le schma RK4 est
consistant et convergent dordre 4 (pour les braves. . . )
4. On suppose que f C
1
(IR
N
IR
+
, IR
N
).Montrer que le schma dEuler
implicite est consistant dordre 1.
Exercice 84 (Stabilit par rapport aux erreurs et convergence) Cor-
rig donn en page 244
On se place sous les hypothses et notations (4.1.5) page 221, et on considre le
schma (4.1.6) page 221 pour la rsolution numrique de lquation direntielle
(4.1.1) page 219.
1. Montrer que si le schma (4.1.6) est stable par rapport aux erreurs au sens
de la dnition 4.9 page 223, et quil est consistant dordre p au sens de la
dnition 4.5 page 222, alors il existe K IR
+
ne dpendant que de x
0
, f
et (mais pas de h) tel que [e
k
[ Kh
p
+ [e
0
[, pour tout k = 0 . . . n. En
dduire que si e
0
= 0 le schma converge.
2. Montrer que si est globalement lipschitzienne, c..d. si
h

> 0, M > 0; (x, y) IR

N
IR
N
, h < h

, t [0, T],
[(x, t, h) (y, t, h)[ M[x y[,
alors le schma est stable par rapport aux erreurs.
233
Exercice 85 (Schma dordre 2)
Soit f C
2
(IR
N
IR, IR
N
), N 1, x
0
IR
N
, et soit x solution maximale de
(E) (dnie sur [0, T
M
[) :
_
dx
dt
(t) = f(x(t), t), t > 0,
x(0) = x
0
.
(E)
On se donne T ]0, T
M
[, et une discrtisation de [0, T], dnie par n IN
et (t
0
, t
1
, . . . , t
n
) IR
n+1
tels que 0 = t
0
< t
1
< . . . < t
n
= T. On pose
h
k
= t
k+1
t
k
, k = 0, . . . , n 1.
On considre le schma de discrtisation
_
x
0
donn (approximation de x
0
),
x
k+1
x
k
h
k
=
1
2
[f(x
k
, t
k
) +f(x
k
+h
k
f(x
k
, t
k
), t
k+1
)], k = 0, . . . n 1,
pour la rsolution numrique de lquation direntielle (E). Montrer que ce
schma est convergent dordre 2.
Exercice 86 (Algorithme du gradient pas xe et schma dEuler)
Soit f C
2
(IR
N
, IR) strictement convexe et t.q. f(x) quand [x[ .
Soit x
0
IR
N
. On considre les 2 problmes :
x IR
N
,
f(x) f(x), x IR
N
,
(4.7.24)
dx
dt
(t) = f(x(t)), t IR
+
,
x(0) = x
0
.
(4.7.25)
1. Montrer que lalgorithme du gradient pas xe (de pas not ) pour
trouver la solution de (4.7.24) (avec point de dpart x
0
) est le schma
dEuler explicite pour la rsolution approche de (4.7.25) (avec pas de
temps ).
2. Montrer quil existe un unique x solution de (4.7.24).
3. Montrer que (4.7.25) admet une et une seule solution sur IR
+
et que cette
solution converge vers x (solution de (4.7.24)) quand t .
4. Expliciter le cas f(x) = (1/2)Axxbx avec A symtrique dnie positive
et b IR
N
.
Exercice 87 (Mthode de Taylor) Corrig en page 245
Soit f C

(IR IR, IR), et x

0
IR, on considre le problme de Cauchy
(4.1.1), dont on cherche calculer la solution sur [0, T], o T > 0 est donn. On
se donne un pas de discrtisation h =
T
n
, avec n 1.
Dans toute la suite, on note x
(k)
la drive dordre k de x,
k
i
f la drive partielle
dordre k de f par rapport la i-me variable,
k
i

j
f la drive partielle de f
dordre k par rapport la i-me variable et dordre par rapport la j-me
variable (on omettra les symboles k et lorsque k = 1 ou = 1).
234
On dnit f
(m)
C

(IR IR, IR) par

f
(0)
= f,
f
(m+1)
=
_

1
f
(m)
_
f +
2
f
(m)
, pour m 0.
(4.7.26)
1. Montrer que pour tout m IN, la solution x du problme de Cauchy (4.1.1)
satisfait :
x
(m+1)
(t) = f
(m)
(x(t), t).
2. Calculer f
(1)
et f
(2)
en fonction des drives partielles
1
f,
2
f,
1

2
f,
2
1
f,

2
2
f, et de f.
On dnit pour p 1 la fonction
p
de IR IR valeurs dans IR par

p
(y, t, h) =
p1

j=0
h
j
(j + 1)!
f
(j)
(y, t).
Pour k = 1, . . . , n, on note t
k
= kh. On dnit alors la suite (x
k
)
k=0,n+1
IR
par
_
x
0
= x
0
,
x
k+1
= x
k
+h
p
(x
k
, t
k
, h), pour k = 1, . . . , n.
(4.7.27)
3. Montrer que dans le cas p = 1, le systme (4.7.27) dnit un schma de
discrtisation vu en cours, dont on prcisera le nom exact.
4. On suppose, dans cette question uniquement, que f(y, t) = y pour tout (y, t)
IR IR, et que x
0
= 1.
4.a/ Calculer
p
(y, t, h) en fonction de y et h.
4.b/ Montrer que x
k
=
_
_
p

j=0
h
j
j!
_
_
k
, pour k = 1, . . . , n.
4.c/ Montrer que [x
k
x(t
k
)[
h
p
(p + 1)!
t
k
e
t
k
.
5. On revient au cas gnral f C

(IRIR, IR). Montrer que le schma (4.7.27)

est consistant dordre p. Montrer quil existe

h > 0, et C > 0 ne dpendant que
de x
0
, T et f, tels que si 0 < h <

h, alors [x
k
x(t
k
)[ Ch
p
, pour tout
k = 0, . . . , n + 1.
Exercice 88 (Schma dEuler implicite)
Soit f C
1
(IR, IR) telle que f(y) < 0 pour tout y ]0, 1[ et f(0) = f(1) = 0.
Soit y
0
]0, 1[. On considre le problme suivant :
y

(t) = f(y(t)), t IR
+
, (4.7.28)
y(0) = y
0
. (4.7.29)
Question 1.
235
1.1 Soit T IR
+
; on suppose que y C
1
([0, T[, IR) est solution de (4.7.28)-
(4.7.29). Montrer que 0 < y(t) < 1 pour tout t [0, T[ (On pourra raisonner
par labsurde et utiliser le thorme dunicit).
1.2 Montrer quil existe une unique fonction y C
1
([0, +[, IR) solution de
(4.7.28)-(4.7.29) et que y est une fonction strictement positive et strictement
dcroissante.
Dans les questions suivantes on dsigne par y cette unique solution dnie sur
[0, +[.
Question 2.
2.1 Montrer que y admet une limite IR lorsque t +.
2.2 Montrer que = 0 . (On pourra remarquer que, pour tout t 0, on a
y(t + 1) = y(t) +
_
t+1
t
f(y(s))ds).
Question 3. Soit y
0
]0, 1[, on cherche approcher la solution exacte de
(4.7.28)-(4.7.29) par le schma dEuler implicite de pas h IR

+
, qui scrit :
y
n+1
= y
n
+hf(y
n+1
), n IN. (4.7.30)
3.1 Soit a ]0, 1[. Montrer quil existe b ]0, 1[ t.q.
b a
h
= f(b).
En dduire que pour y
0
]0, 1[ x, il existe (y
n
)
nIN
solution du schma dEuler
implicite (4.7.30) telle que y
n
]0, 1[ pour tout n IN.
3.2 Soit (y
n
)
nIN
une suite construite la question 3.1. Montrer que cette suite
est dcroissante et quelle tend vers 0 lorsque n tend vers linni.
Question 4. On suppose dans cette question que
f

(0) = < 0
Soit ]0, [.
4.1 Montrer que pour t susamment grand,
f(y(t))
y(t)
< .
4.2 En dduire quil existe C IR
+
t.q.
y(t) Ce
t
, t 0.
4.3 Montrer quil existe C IR

+
t.q. la solution du schma dEuler implicite
construite la question 3 vrie :
y
n
C
_
1
1 +h
_
n
, n IN.
236
Exercice 89 (Mthodes semi-implicite et explicite) Corrig en page 246
On sintresse dans cet exercice au systme direntiel :
_
_
_
x

1
(t) = x
1
(t) x
1
(t)x
2
(t),
x

2
(t) =
x
2
(t)
x
1
(t)
,
t > 0, (4.7.31)
avec les conditions initiales
x
1
(0) = a, x
2
(0) = b, (4.7.32)
o a et b appartiennent lintervalle ]0, 1[.
1. On pose x = (x
1
, x
2
)
t
. Montrer que le systme (4.7.31)-(4.7.32) scrit
_
x

(t) = f(x(t)), t > 0,

x(0) = (a, b)
t
,
(4.7.33)
avec f C
1
((IR

+
)
2
, IR
2
).
2. Les questions suivantes sont facultatives : elles permettent de montrer que
le systme (4.7.33) admet une solution maximale x C
1
([0, +[, (IR

+
)
2
).
Le lecteur press par le temps pourra admettre ce rsultat et passer la
question 3.
(a) Montrer quil existe > 0 et x C
1
([0, [, (IR

+
)
2
) solution de
(4.7.33) (on pourra utiliser, ainsi que dans la question suivante, le fait
que f est lipschitzienne sur tout pav [, A]
2
avec 0 < A < +).
(b) Soit > 0, montrer quil existe au plus une solution de (4.7.33)
appartenant C
1
([0, [, (IR

+
)
2
).
(c) Montrer que le systme (4.7.33) admet une solution maximale x
C
1
([0, +[, (IR

+
)
2
). (Cette question est dicile : il faut raisonner
par labsurde, supposer que T < +, montrer que dans ce cas x
nest pas solution maximale. . . )
(d) Montrer que la solution maximale x vrie x C

([0, +[, (IR

+
)
2
).
3. On considre le schma suivant de discrtisation du systme (4.7.31)-
(4.7.32) : soit k le pas de discrtisation, choisi tel que 0 < k <
1
2
.
_

_
x
(n+1)
1
x
(n)
1
k
= x
(n)
1
x
(n)
1
x
(n+1)
2
,
x
(n+1)
2
x
(n)
2
k
=
x
(n+1)
2
x
(n)
1
,
x
(0)
1
= a, x
(0)
2
= b.
(4.7.34)
(a) Montrer par rcurrence sur n que les suites (x
(n)
1
)
nIN
et (x
(n)
2
)
nIN
donnes par (4.7.34) sont bien dnies, dcroissantes et strictement
positives.
(b) Montrer que le schma numrique (4.7.34) scrit sous la forme
x
(n+1)
x
(n)
k
= (x
(n)
, k), (4.7.35)
avec x
(n)
= (x
(n)
1
, x
(n)
2
)
t
, C

((IR

+
)
2
IR
+
, IR
2
) et (x, 0) =
f(x).
237
(c) (Consistance)
Soit T > 0. Pour n IN, on note t
n
= nk. Montrer quil existe
C(T) IR
+
tel que
x(t
n+1
) x(t
n
)
k
= (x(t
n
), k) +R
(n)
k
, pour tout n tel que nk T,
(4.7.36)
avec [R
(n)
k
[ C(T)k.
(d) (Stabilit)
Soit T > 0.
(i) Montrer que x
(n)
1
(1 k kb)
T
k
pour tout entier n tel que
nk T.
(ii) Montrer que
(1 k kb)
T
k
e
(1+b)T
lorsque k 0,
et en dduire que inf
0<k<
1
2
(1 k kb)
T
k
> 0.
(iii) En dduire quil existe a(T) > 0 et b(T) > 0 tels que
_
a(T) x
(n)
1
a,
b(T) x
(n)
2
b,
pour tout n tel que nk T. (4.7.37)
(e) (Convergence)
Soit T > 0. Montrer quil existe D(T) IR
+
tel que
[x
(n)
x(t
n
)[ D(T)k, pour tout n tel que nk T. (4.7.38)
En dduire la convergence du schma (4.7.34).
(f) On remplace maintenant le schma (4.7.34) par le schma dEuler
explicite pour le systme (4.7.33). Ecrire ce schma. Montrer que
pour tout pas de discrtisation k > 0, il existe des valeurs de n telles
que x
(n)
1
0 ou x
(n)
2
0. (On pourra montrer que si x
(n)
1
> 0 et
x
(n)
2
> 0 pour tout n IN, alors x
(n)
1
tend vers 0 lorsque n tend
vers +, et donc quil existe n tel que x
(n)
2
0, ce qui contredit
lhypothse). Commenter.
Exercice 90
Soit f C
2
(IR
n
IR
+
, IR
n
), T > 0, et y
(0)
IR
n
. On dsigne par (., .) le produit
scalaire euclidien sur IR
n
et |.| la norme associe. On suppose que :
(y, z) (IR
n
)
2
, (f(y, t) f(z, t), y z) 0. (4.7.39)
On considre le systme direntiel :
y

(t) = f(y(t), t) t [0, T[, (4.7.40)

y(0) = y
(0)
. (4.7.41)
238
1. Montrer que pour tout y IR
n
et t [0, T[, on a :
(f(y, t), y)
1
2
(|f(0, t)|
2
+|y|
2
). (4.7.42)
En dduire quil existe une unique solution y C
1
([0, T[, IR
n
) vriant (4.7.40)-
(4.7.41).
On se propose de calculer une solution approche de y sur [0, T]. Pour cela, on
considre une discrtisation de lintervalle [0, T] de pas constant, not h, avec
h =
T
N
, o N IN

. Pour k = 0, . . . , N, on note t
k
= kh, et on se propose
dtudier lalgorithme suivant, o 0 1.
y
0
IR
n
est donn (4.7.43)
y
k,1
= y
k
+hf(y
k,1
, t
k
+h), pour k = 0, . . . , N 1, (4.7.44)
y
k+1
= y
k
+hf(y
k,1
, t
k
+h) pour k = 0, . . . , N 1, (4.7.45)
2. Montrer quil existe une unique solution (y
k
)
k=0,...,N
IR
n
de (4.7.43)-
(4.7.44)-(4.7.45).
Pour k = 0, . . . , N 1, on pose y(t
k
) = y
k
, o y est la solution exacte de
(4.7.40)-(4.7.41), t
k,1
= t
k
+h, on dnit y
k,1
par :
y
k,1
= y
k
+hf( y
k,1
, t
k,1
), (4.7.46)
et on dnit lerreur de consistance R
k
du schma (4.7.43)-(4.7.44)-(4.7.45) au
point t
k
par :
R
k
=
y
k+1
y
k
h
f( y
k,1
, t
k,1
) (4.7.47)
3. Pour k = 0, . . . , N, on pose y
k,1
= y(t
k,1
), et, pour k = 0, . . . , N 1 on pose :

R
k
=
1
h
(y
k,1
y
k
) f(y
k,1
, t
k,1
). (4.7.48)
Montrer que pour tout k = 0, . . . , N 1 :
y
k,1
y
k,1
= h
_
f( y
k,1
, t
k,1
) f(y
k,1
, t
k,1
_
+h

R
k
, (4.7.49)
En dduire quil existe C
1
ne dpendant que de y et de T t.q. : | y
k,1
y
k,1
|
C
1
h
2
.
4. Montrer quil existe C
2
ne dpendant que de f, y et T t.q.
|y
k+1
y
k
hf(y
k
, t
k,1
) hR
k
| C
2
h
3
, k = 0, . . . , N 1. (4.7.50)
5. Dduire des questions prcdentes quil existe C
3
ne dpendant que de y, f
et T t.q. :
|R
k
| C
3
((
1
2
)h +h
2
) (4.7.51)
et en dduire lordre du schma (4.7.43)-(4.7.44)-(4.7.45).
239
6. Montrer que pour tout k = 1, . . . , N, on a :
_
y
k
y
k
, f(y
k,1
, t
k,1
) f( y
k,1
, t
k,1
)
_
h|f(y
k,1
, t
k,1
) f( y
k,1
, t
k,1
)|
2
.
(4.7.52)
7. Montrer que pour tout k = 0, . . . , N, on a :
|e
k+1
hR
k
|
2
= |e
k
|
2
+2h(f(y
k,1
, t
k,1
)f( y
k,1
, t
k,1
), e
k
)+h
2
|f(y
k,1
, t
k,1
)f( y
k,1
, t
k,1
)|
2
.
(4.7.53)
8. Montrer que si
1
2
, on a :
|e
k
| |e
0
| +C
3
(h
2
+ (
1
2
)h), k = 1, . . . , N. (4.7.54)
9. Soient (
k
)
kIN
IR
n
donne et (z
k
)
kIN
IR
n
dnie par :
z
0
IR
n
donn (4.7.55)
z
k,1
= z
k
+hf(z
k,1
, t
k,1
), pour k = 0, . . . , N 1, (4.7.56)
z
k+1
= z
k
+ +
k
+hf(z
k,1
, t
k,1
) pour k = 0, . . . , N 1, (4.7.57)
En sinspirant des questions 6 et 7, montrer que si
1
2
, on a :
|y
k+1
z
k+1
+
k
|
2
|y
k
z
k
|
2
, (4.7.58)
et en dduire que
|y
k
z
k
| |y
0
z
0
| +
k1

i=0
|
i
|. (4.7.59)
240
4.8 Corrig des exercices du chapitre 4
Corrig de lexercice 79 page 232 (Condition de Lipschitz et unicit)
Pour a 1, la fonction
a
: IR
+
IR
+
dnie par :
a
(x) = x
a
est continment
direntiable, et sa drive est

a
(x) = ax
a1
. Elle est donc lipschitzienne sur
les borns. Si a = 0, la fonction
a
est constante et gale 1, et donc encore
lipschitzienne sur les borns.
Soit maintenant a ]0, 1[, supposons que soit lipschitzienne sur les borns. Alors,
pour tout A > 0, il existe M
A
> 0 tel que [
a
(x)[ /
A
[x[. Ceci entrane que
la fonction x [
a(x)
x
[ est borne sur B(0, A). Mais [
a(x)
x
[ = [x
a1
[ +
lorsque x 0. Ceci montre que la fonction
a
nest pas lipachitzienne sur les
borns si a ]0, 1[.
Par le thorme de Cauchy-Lipschitz, si
a
est lipschitzienne sur les borns, alors
le problme (4.7.23) admet une unique solution qui est la solution constante et
gale zro.
Si
a
est lipschitzienne sur les borns, i.e. si a ]0, 1[, la fonction nulle est encore
solution du problme (4.7.23), mais on peut obtenir une autre solution dnie
par (calcul lmentaire de sparation de variable) :
y
a
(t) = [(1 a)t]
1
1a
.
(Notons que cette fonction nest dnie que pour a ]0, 1[.)
Corrig de lexercice 81 page 232 (Loi de Malthus)
Soit p
0
le nombre dindividus au temps t = 0. On a donc p(100) = 2p
0
, et
p(200) = 3p
0
. Or la loi de Malthus scrit p

(t) = ap(t) avec a > 0, et donc

p(t) = p
0
e
at
. On a donc
p(100) = p
0
e
100 a
= 2p
0
p(200) = p
0
e
200 a
= 3p
0
,
mais on a aussi p(200) = p(100)e
100 a
, et donc p(200) = 3p
0
e
100 a
. On obtient
donc que p(200) = 3p
0
e
100 a
= p
0
e
200 a
= 3p
0
, ce qui est vrai si
_
e
100 a
=
3
2
e
200 a
= 3.
Ceci est impossible car ln
3
2
,=
1
2
ln 3. Donc la population ne peut pas satisfaire
la loi de Malthus.
Corrig de lexercice 82 page 233 (Histoire de sardines)
1. Pendant le premier mois, le taux daccroissement de la population est celui
de la loi de Malthus (4p(t)) auquel il faut retrancher les pertes dues auxbonites,
soit 10
4
p
2
(t). Donc pour 0 t T = 30, on a :
_
p

1
(t) = 4p
1
(t) 4 10
4
p
2
1
(t)
p
1
(0) = p
0
.
241
A partir de T = 30, le taux diminue en raison de lmigration, soit 10
1
p(t). On
a donc :
_
p

2
(t) = 4p
2
(t) 10
4
p
2
2
(t) 10
1
p
2
(t), t > 30
p
2
(30) = p
1
(30).
cestdire :
_
p

2
(t) = 3.9p
2
(t) 10
4
p
2
2
(t), t > 30
p
2
(30) = p
1
(30).
2. Les quations rsoudre sont de la forme :
_
x

(t) = ax(t) +bx

2
(t)
x(0) = ax
0
.
qui sont du type "Bernoulli". En supposant que x ne sannule pas (ce quon
vriera a posteriori) on divise par x
2
, on pose z =
1
x
, et on obtient
_
_
_
z

(t) = az(t) +b
z(0) =
1
x
0
Notons quon suppose x
0
,= 0. Si x
0
= 0, la solution unique est x(t)
0 t IR
+
, par le thorme de Cauchy-Lipschitz. On cherche une solution
sous la forme : z(t) = C(t)e
at
. On a donc z

(t) = C

(t)e
at
aC(t)e
at
=
C

(t)e
at
az(t). Pour que z soit solution, il faut donc que :
C

(t)e
at
= b, soit encore C

(t) = be
at
.
On en dduit que C(t) =
b
a
e
at
+ K o K IR. La fonction z est donc de la
forme z(t) =
_

b
a
e
+at
+K
_
. On dtermine K laide de la condition initiale
z(0) =
1
x0
, ce qui entraine
b
a
+K =
1
x0
, soit K =
b
a
+
1
x0
. On en dduit que la
solution de (4.8) scrit
z(t) =
_
1
x
0
+
b
a
_
e
at

b
a
,
aprs avoir vri que cette fonction ne sannule pas (ce quon avait suppos
pour pouvoir la calculer). On a donc :
x(t) =
1
_
1
x0
+
b
a
_
e
at

b
a
.
En reportant les donnes de notre problme dans cette expression, on a donc :
_

_
x(t) =
1

10
6

10
4
4

e
4t
+
10
4
4
0 t 30
x
30
= x(30),
x(t) =
1

1
x
30

10
4
3.9

e
3.9t
+
10
4
3.9
t 30.
On en conclut que lim
t+
x(t) = 3.9 10
4
.
242
Corrig de lexercice 83 page 233 (Consistance et ordre des schmas)
1. Un dveloppement de Taylor lordre 1 donne que

x(t
k+1
) x(t
k
)
h
k
f(x(t
k
), t
k
)

sup
[0,T]
[f

[h
k
.
Lerreur de consistance est donc dordre 1, et le schma est convergent par le
thorme 4.12 page 224.
2. Pour les schmas dEuler amlior et de Heun, le thorme 4.12 page 224 sap-
plique encore, condition de montrer quils sont consistants. Calculons lerreur
de consistance pour ces deux schmas :
1. Le schma dEuler amlior scrit :
x
k+1
x
k
h
k
= f
_
x
k
+
h
k
2
f(x
k
, t
k
), t
k
+
h
k
2
_
Soit x
k
= x(t
k
) la solution exacte de lquation direntielle x

(t) =
f(x(t), t) (avec condition initiale x(0) = x
0
) en t
k
. En remarquant que
f( x
k
, t
k
) = x

(t
k
), on a :
x
k
+
h
k
2
f( x
k
, t
k
) = x
k
+
h
k
2
x

(t
k
) = x
_
t
k
+
h
k
2
_

1
8
h
2
k
x

(
k
),
avec
k

_
t
k
, t
k
+
h
k
2

. En posant X = f( x
k
+
h
k
2
f( x
k
, t
k
), t
k
+
h
k
2
), on
remarque que X = f(x(t
k
+
h
k
2
)
1
8
h
2
x

(
k
), t
k
+
h
k
2
) et donc quil existe

k
IR tel que :
X = f(x(t
k
+
h
k
2
), t
k
+
h
k
2
)
1
8
h
2
k
x

(
k
)
1
f(
k
, t
k
+
h
k
2
).
On en dduit que
X = x

(t
k
+
h
k
2
)
1
8
h
2
k
x

(
k
)
1
f(
k
, t
k
+
h
k
2
)
De plus, par dveloppement de Taylor dordre 2, on a :

x
k+1
x
k
h
k
x

(t
k
+
h
k
2
)

Ch
2
(4.8.60)
o C ne dpend que de f. On en dduit que lerreur de consistance R
k
vrie :
R
k
=

x
k+1
x
k
h
k
f( x
k
+
h
k
2
f( x
k
, t
k
), t
k
+
h
k
2
)

1
8
h
2
x(
k
)
1
f(
k
, t
k
+
h
k
2
) +

Ch
2
o C ne dpend que de f. On en dduit que le schma est bien dordre 2.
2. Le schma de Heun scrit :
x
k+1
x
k
h
k
=
1
2
f(x
k
, t
k
) +
1
2
[f(x
k
+h
k
f(x
k
, t
k
), t
k+1
)].
243
Ecrivons dabord quil existe donc
k
[t
k
t
k+1
] tel que
x
k
+h
k
f( x
k
, t
k
) = x(t
k+1
) +
h
2
k
2
x

(
k
).
De plus, il existe
k
IR tel que :
f( x
k
+h
k
f( x
k
, t
k
), t
k+1
) = f( x
k+1
, t
k+1
) +
1
f(
k
, t
k+1
)
h
2
k
2
x(
k
).
Or
1
2
(f( x
k
, t
k
)+f( x
k+1
t
k+1
)) =
1
2
(x

(t
k+1
)+x

(t
k
)) et par dveloppement
de Taylor, il existe C IR ne dpendant que de x tel que
[
1
2
(x

(t
k+1
) + x

(t
k
)) x

(t
k
+
h
k
2
)[ Ch
2
.
En utilisant nouveau (4.8.60), on en dduit que lerreur de consistance
est dordre 2 ( condition que x soit trois fois drivable . . .).
Corrig de lexercice 84 page 233 (Stabilit par rapport aux erreurs
et convergence)
1. Par dnition du schma (4.1.6) et de lerreur de consistance (4.2.10), on a :
x
k+1
= x
k
+h
k
(x
k
, t
k
, h
k
)
x
k+1
= x
k
+h
k
( x
k
, t
k
, h
k
) +h
k
R
k
.
Comme le schma (4.1.6) est suppos stable par rapport aux donnes, on a en
prenant y
k
= x
k
et
k
= h
k
R
k
dans (4.2.12) page 223 :
e
k+1
K([x
0
x
0
[ +
k1

i=0
[h
i
R
i
[) pour tout k = 0, . . . , n 1.
Comme le schma est consistant dordre p, on a R
i
Ch
p
et donc par lingalit
prcdente : e
k+1
K[e
0
[ +

Ch
p
) o

C R
+
ne dpend que de f,T, x
0
(et pas
de h). On en dduit que le schma est convergent dordre p.
2. Soient (x
k
)
k=0,...,n1
et (y
k
)
k=0,...,n1
vriant (4.2.12), cestdire :
x
k+1
= x
k
+h
k
(x
k
, t
k
, h
k
),
y
k+1
= y
k
+h
k
(y
k
, t
k
, h
k
) +
k
,
pour k = 0, . . . , n 1,
alors grce lhypothse sur le caractre lipschitzien de , on a :
[x
k+1
y
k+1
[ (1 +h
k
M)[x
k
y
k
[ +[
k
[ e
h
k
M
[x
k
y
k
[ +[
k
[.
On en dduit par rcurrence sur k que
[x
k
y
k
[ e
t
k
M
[e
0
[ +
k1

i=0
e
(t
k
ti+1)M
[
i
[ K([e
0
[ +
k

i=0
[
i
[),
avec K = e
TM
. On a donc ainsi montr que le schma (4.1.6) est stable par
rapport aux erreurs.
244
Corrig de lexercice 87 page 234 (Mthode de Taylor)
1. Soit x solution du problme de Cauchy (4.1.1). Montrons par rcurrence que
x
(m+1)
(t) = f
(m)
(x(t), t).
Pour m = 0, on a x
(1)
(t) = f(x(t), t) = f
(0)
(x(t), t). Supposons que
x
(p+1)
(t) = f
(p)
(x(t), t) pour p = 0, . . . , m,
et calculons x
(m+2)
(t). On a
x
(m+2)
(t) =
1
f
(m)
(x(t), t)x

(t) +
2
f
(m)
(x(t), t)
=
1
f
(m)
(x(t), t)f(x(t), t) +
2
f
(m)
(x(t), t)
= f
(m+1)
(x(t), t).
2. On a f
(1)
=
2
f + (
1
f)f, et f
(2)
= (
1
f
(1)
)f + (
2
f
(1)
), soit encore
f
(2)
=
_

2
f + (
2
1
)f + (
1
f)
2
_
+
2
2
+ (
1

2
f)f + (
1
f)(
2
f).
3.Dans le cas p = 1, on a
p
(y, t, h) = f(y, t) et donc le schma (4.7.27) scrit :
_
x
0
= x
0
,
x
k+1
= x
k
+hf(x
k
, t
k
), pour k = 1, . . . , n.
On reconnat le schma dEuler explicite.
4.a/ Puisque f(y, t) = y , on a f
(k)
= f pour tout k, et donc

p
(y, t, h) =
p1

j=0
h
j
(j + 1)!
f(y, t).
4.b/ Par dnition,
x
1
= x
0
+hf( x
0
, 0) = x
0
+h
p1

j=0
h
j
(j + 1)!
x
0
= 1 +h
p1

j=0
h
j
(j + 1)!
=
p

j=0
h
j
(j + 1)!
.
Supposons que
x
k
=
_
_
p

j=0
h
j
j!
_
_
k
pour k = 1, . . . , ,
et montrons que cette relation est encore vrie au rang + 1. On a bien :
x
+1
= x

+h
p1

j=0
h
j
j!
x

=
p

j=0
h
j
j!
x

,
ce qui termine la rcurrence.
4.c/ Comme x est la solution de (4.1.1) pour f(y, t) = y et x
0
= 1, on a
videmment x(t) = e
t
, et donc x(t
k
) = e
hk
.
245
Le rsultat de la question 4.b/ permet de dduire que
x
k
=
_

p
j=0
h
j
j!
_
k
=
_
e
h
R(h)
_
k
,
avec 0 < R(h) < e
h h
p+1
(p+1)!
. On a donc
x
k
= e
k
h
_
1
R(h)
e
h
_
k
= e
k
h(1 a)
k
,
avec a =
R(h)
e
h
]0, 1[. On en dduit que
0 x
k
x
k
e
k
h
_
1 (1 a)
k
_
.
Comme k 1 et a ]0, 1[, on en dduit (par rcurrence sur k) que (1 a)
k

1 ka. On a donc
0 x
k
x
k
kae
kh
ke
t
k
h
p+1
(p + 1)!
t
k
e
t
k
h
p
(p + 1)!
.
5. Un dveloppement de Taylor montre que
x
k+1
=
p

j=0
h
j
j!
x
(j)
(t
k
) +C
k,h
h
p+1
= x
k
+
p

j=1
h
j1
j!
f
(j1)
( x
k
, t
k
) +C
k,h
h
p+1
,
avec C
k,h
C IR
+
. On a donc
x
k+1
x
k
h
=
p

j=1
h
j1
j!
f
(j1)
( x
k
, t
k
) +C
k,h
h
p
=
p1

j=0
h
j
(j + 1)!
f
(j)
( x
k
, t
k
) +C
k,h
h
p
=
p
( x
k
, t
k
, h) +C
k,h
h
p
.
Le schma est donc consistant dordre p. Il sut alors dappliquer le thorme
4.12 page 224 (car
p
est de classe C

donc lipschitzienne sur les borns) pour

obtenir lexistence de

h > 0 et C > 0 ne dpendant que de x
0
, T et f, tels que
si 0 < h <

h, alors [x
k
x(t
k
)[ Ch
p
, pour tout k = 0, . . . , n + 1.
Corrig de lexercice 4.7 page 237 (Mthodes semi-implicite et expli-
cite)
1.
_

_
x
(n+1)
1
x
(n)
1
k
= x
(n)
1
x
(n)
1
x
(n+1)
2
,
x
(n+1)
2
x
(n)
2
k
=
x
(n+1)
2
x
(n)
1
,
x
(0)
1
= a, x
(0)
2
= b.
(4.8.61)
246
On a x
(0)
1
= a > 0 et x
(0)
2
= b > 0. De plus, on a
x
(1)
2
=
1
1 +
k
a
b,
donc x
(1)
2
est bien dni, et 0 < x
(1)
2
< x
(0)
2
= b. Or x
(1)
1
= a k(a + ab)
et comme a et b appartiennent ]0, 1[, on a a + ab ]0, 2[, et comme
0 < k < 1/2, on en dduit que 0 < x
(1)
1
< x
(0)
1
= a.
Supposons que les suites soient bien dnies, dcroissantes et strictement
positives jusquau rang n, et vrions-le au rang n + 1. On a
x
(n+1)
2
=
1
1 +
k
x
(n)
1
x
(n)
2
, (4.8.62)
et donc en utilisant lhypothse de rcurrence, on obtient que x
(n+1)
2
< x
(n)
2
et 0 < x
(n+1)
2
< b.
De plus
x
(n+1)
1
= x
(n)
1
kx
(n)
1
kx
(n)
1
x
(n+1)
2
= x
(n)
1
(1 k kx
(n+1)
2
), (4.8.63)
et donc grce au fait que 0 < x
(n+1)
2
< b (et donc 1 k kx
(n+1)
2
>
1 k kb, et lhypothse de rcurrence, on dduit que x
(n+1)
1
< x
(n)
1
et
0 < x
(n+1)
1
< a.
2. Aprs calcul, on obtient que le schma numrique (4.7.34) scrit sous la
forme
x
(n+1)
x
(n)
k
= (x
(n)
, k), (4.8.64)
avec x
(n)
= (x
(n)
1
, x
(n)
2
)
t
, et o C

((IR

+
)
2
IR
,
+
IR
2
) est dnie par
(x, k) =
_
_
x
1
(1 +
x
1
x
2
x
1
+k
)

x
2
x
1
+k
_
_
, (4.8.65)
et on vrie bien que C

((IR

+
)
2
IR
+
, IR
2
) (en fait est de classe
C

sur IR
2
+
IR
+
0 IR
+
0.) et que (x, 0) = f(x). Ceci montre
que pour (x
(n)
1
, x
(n)
2
) (IR

+
)
2
et k > 0, le couple (x
(n+1)
1
, x
(n+1)
2
) est bien
dni par (4.7.34) de manire unique.
3. Comme x C

([0, +[, (IR

+
)
2
), on a
[
x(t
n+1
) x(t
n
)
k
x

(t
n
)[ k max
[0,T]
[x

[,
et
[(x(t
n
), k) (x(t
n
), 0)[ k max
[0,T]
[D
2
(x(t), t)[.
Or la solution exacte x sur [0, T] vit dans un born [, ]
2
de R

+
, et
ses drives atteignent ses bornes sur le compact [0, T], donc il existe
C(T) IR
+
tel que max
[0,T]
[x

[ C(T) et max
[0,T]
[D
2
(x(t), t)[
C(T). Comme de plus (x(t
n
), 0) = f(x(t
n
), on en dduit par ingalit
triangulaire que [R
(n)
k
[ C(T)k.
247
4. (Stabilit)
(i) Soit T > 0. De (4.8.63) et du fait que 0 < x
(n)
2
< b on dduit que
x
(n+1)
1
x
(n)
1
(1 k kb),
et donc par rcurrence sur n que
x
(n)
1
x
(0)
1
(1 k kb)
n
,
Donc pour tout entier n tel que nk T, on a n
T
k
, et comme
1 k kb > 0 (car k < 1/2), on a x
(n)
1
(1 k kb)
T
k
.
(ii) On a (1 k kb)
T
k
= exp(
T
k
ln(1 k kb)), et ln(1 k kb) est
quivalent k kb dans un voisinage de k = 0. On en dduit que
(1 k kb)
T
k
e
(1+b)T
lorsque k 0.
La fonction dnie par (k) = (1 k kb)
T
k
est continue, stric-
tement positive sur [0, 1/2], et sa limite lorsque k tend vers 0 est
minore par un nombre strictement positif. Donc la fonction est elle-
mme minore par un nombre strictement positif. On en dduit que
inf
0<k<
1
2
(1 k kb)
T
k
> 0.
(iii) Daprs les rsultats des questions 3 (a) et 3 (d) (ii), on a a(T)
x
(n)
1
a, pour tout n tel que nk T, avec a(T) = inf
0<k<
1
2
(1 k
kb)
T
k
.
En utilisant ce rsultat (et la question 3 (a)), on dduit alors de
(4.8.62) que
x
(n+1)
2

1
1 +
k
a(T)
x
(n)
2
,
et donc que
x
(n)
2

_
1
1 +
k
a(T)
_T
k
x
(0)
2
,
Une tude similaire celle de la question prcdente montre que la
fonction
k
_
1
1 +
k
a(T)
_T
k
est continue et strictement positive sur [0, 1/2] et sa limite lorsque k
tend vers 0 est strictement positive. On en dduit que b(T) x
(n)
2

b, pour tout n tel que nk T, avec
b(T) = b inf
k[0,1/2]
_
1
1 +
k
a(T)
_T
k
> 0.
5. (Convergence) Soit T > 0. On ne peut pas appliquer directement le tho-
rme du cours car nest pas lipschitzienne sur les borns, mais il sut
de remarquer que :
la solution exacte sur [0, T] vit dans un born [, ]
2
de R

+
.
248
le schma est inconditionnellement stable : x
(n)
[a(T), a] [b(T), b].
Or la fonction est de classe C
1
sur [A, B]
2
R

+
, o A = min(, a(T), b(T))
et B = max(, a, b). Donc elle est lipschitzienne par rapport la premire
variable sur le pav [A, B]
2
. La dmonstration par rcurrence faite en cours
dans le cas globalement lipschitzienne sadapte donc trs facilement. (elle
est mme plus facile car e
0
= 0 et le pas de discrtisation est constant. . . )
6. On remplace maintenant le schma (4.7.34) par le schma dEuler explicite.
Celui scrit :
_

_
x
(n+1)
1
x
(n)
1
k
= x
(n)
1
x
(n)
1
x
(n)
2
,
x
(n+1)
2
x
(n)
2
k
=
x
(n)
2
x
(n)
1
,
x
(0)
1
= a, x
(0)
2
= b.
(4.8.66)
Supposons x
(n)
1
> 0 et x
(n)
2
> 0 pour tout n. La premire quation de
(4.7.34) donne alors que
x
(n+1)
1
x
(n)
1
k
= x
(n)
1
,
et donc x
(n+1)
1
< (1 k)x
(n)
1
. On en dduit par rcurrence que x
(n)
1
<
(1 k)
n
a 0 lorsque n 0 (on supposera que k < 1 pour que le schma
soit bien dni. Donc pour un pas de temps k donn, il existe n tel que
x
(n)
1
k. Or pour cette valeur de n,
x
(n+1)
2
= x
(n)
2
(1
k
x
(n)
1
) 0,
ce qui contredit lhypothse x
(n)
2
> 0 pour tout n.
Ceci montre que le schma dEuler explicite nest franchement pas bon
dans ce cas. (Etudier si le coeur vous en dit le schma totalement impli-
cite...)
249