Anamat

Universit Aix Marseille
Licence de mathmatiques
Cours dAnalyse numrique
Raphale Herbin
18 novembre 2013
Table des matires
1 Systmes linaires 5
1.1 Objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Pourquoi et comment ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.1 Quelques rappels dalgbre linaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 Discrtisation de lquation de la chaleur . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.4 Suggestions pour les exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.2.5 Corrigs des exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3 Les mthodes directes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.1 Dnition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.2 Mthode de Gauss, mthode LU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.3 Mthode de Choleski . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.3.4 Quelques proprits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.3.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.3.6 Suggestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.3.7 Corrigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.4 Normes et conditionnement dune matrice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
1.4.1 Normes, rayon spectral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
1.4.2 Le problme des erreurs darrondis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.4.3 Conditionnement et majoration de lerreur darrondi . . . . . . . . . . . . . . . . . . . . 55
1.4.4 Discrtisation dquations diffrentielles, conditionnement efcace" . . . . . . . . . . . 58
1.4.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
1.4.6 Suggestions pour les exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
1.4.7 Corrigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
1.5 Mthodes itratives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
1.5.1 Dnition et proprits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
1.5.2 Quelques exemples de mthodes itratives . . . . . . . . . . . . . . . . . . . . . . . . . . 75
1.5.3 Les mthodes par blocs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
1.5.4 Exercices, noncs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
1.5.5 Exercices, suggestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
1.5.6 Exercices, corrigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
1.6 Valeurs propres et vecteurs propres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
1.6.1 Mthode de la puissance et de la puissance inverse . . . . . . . . . . . . . . . . . . . . . 104
1.6.2 Mthode QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
1.6.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
1.6.4 Suggestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
1.6.5 Corrigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
1
TABLE DES MATIRES TABLE DES MATIRES
2 Systmes non linaires 116
2.1 Les mthodes de point xe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
2.1.1 Point xe de contraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
2.1.2 Point xe de monotonie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
2.1.3 Vitesse de convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
2.1.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
2.2 Mthode de Newton dans IR
n
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
2.2.1 Construction et convergence de la mthode . . . . . . . . . . . . . . . . . . . . . . . . . 129
2.2.2 Variantes de la mthode de Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
2.2.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
3 Optimisation 155
3.1 Dnitions et rappels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
3.1.1 Extrema, points critiques et points selle. . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
3.1.2 Rappels et notations de calcul diffrentiel . . . . . . . . . . . . . . . . . . . . . . . . . . 157
3.1.3 Convexit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
3.1.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
3.2 Optimisation sans contrainte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
3.2.1 Dnition et condition doptimalit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
3.2.2 Rsultats dexistence et dunicit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
3.2.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
3.3 Algorithmes doptimisation sans contrainte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
3.3.1 Mthodes de descente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
3.3.2 Algorithmes du gradient conjugu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
3.3.3 Mthodes de Newton et QuasiNewton . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
3.3.4 Rsum sur les mthodes doptimisation . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
3.3.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
3.4 Optimisation sous contraintes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
3.4.1 Dnitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
3.4.2 Existence Unicit Conditions doptimalit simple . . . . . . . . . . . . . . . . . . . . 203
3.4.3 Conditions doptimalit dans le cas de contraintes galit . . . . . . . . . . . . . . . . . . 204
3.4.4 Contraintes ingalits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
3.4.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
3.5 Algorithmes doptimisation sous contraintes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
3.5.1 Mthodes de gradient avec projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
3.5.2 Mthodes de dualit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
3.5.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
4 Equations diffrentielles 220
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
4.2 Consistance, stabilit et convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
4.3 Thorme gnral de convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
4.4 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
4.5 Explicite ou implicite ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
4.5.1 Limplicite gagne... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
4.5.2 Limplicite perd... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
4.5.3 Match nul . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
4.6 Etude du schma dEuler implicite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
4.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
4.8 Corrigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
Analyse numrique I, tl-enseignement, L3 2 Universit dAix-Marseille, R. Herbin, 18 novembre 2013
Introduction
Lobjet de lanalyse numrique est de concevoir et dtudier des mthodes de rsolution de certains problmes
mathmatiques, en gnral issus de la modlisation de problmes rels", et dont on cherche calculer la solution
laide dun ordinateur.
Le cours est structur en quatre grands chapitres :
Systmes linaires
Systmes non linaires
Optimisation
Equations diffrentielles.
On pourra consulter les ouvrages suivants pour ces diffrentes parties (ceci est une liste non exhaustive !) :
A. Quarteroni, R. Sacco et F. Saleri, Mthodes Numriques : Algorithmes, Analyse et Applications, Springer
2006.
P.G. Ciarlet, Introduction lanalyse numrique et loptimisation, Masson, 1982, (pour les chapitre 1 3 de ce
polycopi).
M. Crouzeix, A.L. Mignot, Analyse numrique des quations diffrentielles, Collection mathmatiques appli-
ques pour la maitrise, Masson, (pour le chapitre 4 de ce polycopi).
J.P. Demailly, Analyse numrique et quations diffrentielles Collection Grenoble sciences Presses Universi-
taires de Grenoble
L. Dumas, Modlisation loral de lagrgation, calcul scientique, Collection CAPES/Agrgation, Ellipses,
1999.
E. Hairer, polycopi du cours "Analyse Numrique", http ://www.unige.ch/ hairer/polycop.html
J. Hubbard, B. West, Equations diffrentielles et systmes dynamiques, Cassini.
J. Hubbard et F. Hubert, Calcul Scientique, Vuibert.
P. Lascaux et R. Thodor, Analyse numrique matricielle applique lart de lingnieur, tomes 1 et 2, Masson,
1987
L. Sainsaulieu, Calcul scientique cours et exercices corrigs pour le 2me cycle et les coles dingnieurs,
Enseignement des mathmatiques, Masson, 1996.
M. Schatzman, Analyse numrique, cours et exercices, (chapitres 1,2 et 4).
D. Serre, Les matrices, Masson, (2000). (chapitres 1,2 et 4).
P. Lascaux et R. Theodor, Analyse numrique sapplique aux sciences de lingnieur, Paris, (1994)
R. Temam, Analyse numrique, Collection SUP le mathmaticien, Presses Universitaires de France, 1970.
Et pour les anglophiles...
M. Braun, Differential Equations and their applications, Springer, New York, 1984 (chapitre 4).
G. Dahlquist and A. Bjrck, Numerical Methods, Prentice Hall, Series in Automatic Computation, 1974, Engle-
wood Cliffs, NJ.
R. Fletcher, Practical methods of optimization, J. Wiley, New York, 1980 (chapitre 3).
G. Golub and C. Van Loan, Matrix computations, The John Hopkins University Press, Baltimore (chapitre 1).
R.S. Varga, Matrix iterative analysis, Prentice Hall, Englewood Cliffs, NJ 1962.
Pour des rappels dalggre linaire :
Poly dalgbre linaire de premire anne, P. Bousquet, R. Herbin et F. Hubert, http ://www.cmi.univ-mrs.fr/ her-
bin/PUBLI/L1alg.pdf
Introduction to linear algebra, Gilbert Strang, Wellesley Cambridge Press, 2008
3
TABLE DES MATIRES TABLE DES MATIRES
Ce cours a t rdig pour la licence de mathmatiques distance (tlenseignement) du CTES de luniversit
dAix-Marseille. Chaque chapitre est suivi dun certain nombre dexercices. On donne ensuite des suggestions
pour effectuer les exercices, puis des corrigs dtaills. Il est fortement conseill dessayer de faire les exercices
dabord sans ces indications, et de ne regarder les corrigs dtaills quune fois lexercice achev (mme si certaines
questions nont pas pu tre effectues), ceci pour se prparer aux conditions dexamen.
Chapitre 1
Systmes linaires
1.1 Objectifs
On note M
n
(IR) lensemble des matrices carres dordre n. Soit A M
n
(IR) une matrice inversible, et b IR
n
,
on a comme objectif de rsoudre le systme linaire Ax = b, cest dire de trouver x solution de :
_
x IR
n
Ax = b
(1.1)
Comme A est inversible, il existe un unique vecteur x IR
n
solution de (1.1). Nous allons tudier dans les deux
chapitres suivants des mthodes de calcul de ce vecteur x : la premire partie de ce chapitre sera consacre aux
mthodes directes" et la deuxime aux mthodes itratives". Nous aborderons ensuite en troisime partie les
mthodes de rsolution de problmes aux valeurs propres.
Un des points essentiels dans lefcacit des mthodes envisages concerne la taille des systmes rsoudre. Entre
1980 et 2000, la taille de la mmoire des ordinateurs a augment de faon drastique. La taille des systmes quon
peut rsoudre sur ordinateur a donc galement augment, selon lordre de grandeur suivant :
1980 : matrice pleine (tous les termes sont non nuls) n = 10
2
matrice creuse n = 10
6
2000 : matrice pleine n = 10
6
matrice creuse n = 10
8
Le dveloppement des mthodes de rsolution de systmes linaires est lie lvolution des machines infor-
matiques. Un grand nombre de recherches sont dailleurs en cours pour proter au mieux de larchitecture des
machines (mthodes de dcomposition en sous domaines pour proter des architectures parallles, par exemple).
Dans la suite de ce chapitre, nous verrons deux types de mthodes pour rsoudre les systmes linaires : les
mthodes directes et les mthodes itratives. Pour faciliter la comprhension de leur tude, nous commenons par
quelques rappels dalgbre linaire.
1.2 Pourquoi et comment ?
Nous donnons dans ce paragraphe un exemple de problme dont la rsolution numrique recquiert la rsolution
dun systme linaire, et qui nous permet dintroduire des matrices que nous allons beaucoup tudier par la suite.
Nous commenons par donner ci-aprs aprs quelques rappels succincts dalgbre linaire, outil fondamental pour
la rsolution de ces systmes linaires.
5
1.2. POURQUOI ET COMMENT? CHAPITRE 1. SYSTMES LINAIRES
1.2.1 Quelques rappels dalgbre linaire
Quelques notions de base
Ce paragraphe rappelle des notions fondamentales que vous devriez connatre lissue du cours dalgbre linaire
de premire anne. On va commencer par revisiter le produit matriciel, dont la vision combinaison linaire de
lignes est fondamentale pour bien comprendre la forme matricielle de la procdure dlimination de Gauss.
Soient A et B deux matrices carres dordre n, et M = AB. Prenons comme exemple dillustration
A =
_
1 2
0 1
_
, B =
_
1 0
3 2
_
et M =
_
5 4
3 2
_
On note a
i,j
b
i,j
et m
i,j
, i, j = 1, . . . n les coefcients respectifs de A, B et M. Vous savez bien sr que
m
i,j
=
n
k=1
a
i,k
b
k,j
. (1.2)
Si on crit les matrices A et B sous forme de lignes (notes
i
) et colonnes (notes c
j
) :
A =
_
_
1
(A)
. . .
n
(A)
_
_
et B =
_
c
1
(B) . . .
n
(B)
Dans nos exemples, on a donc
1
(A) =
_
1 2
,
2
(A) =
_
0 1
, c
1
(B) =
_
1
3
_
c
2
(B) =
_
0
2
_
.
Lexpression (1.2) scrit encore
m
i,j
=
i
(A)c
j
(B),
qui est le produit dune matrice 1 n par une matrice n 1, quon peut aussi crire sous forme dun produit
scalaire :
m
i,j
= (
i
(A))
t
c
j
(B)
o (
i
(A))
t
dsigne la matrice transpose, qui est donc maintenant une matrice n 1 quon peut identier un
vecteur de IR
n
. Cest la technique habituelle de calcul du produit de deux matrices. On a dans notre exemple :
m
1,2
=
1
(A) c
2
(B) =
_
1 2
_
0
2
_
.
= (
i
(A))
t
c
j
(B) =
_
1
2
_
_
0
2
_
= 4.
Mais de lexpression (1.2), on peut aussi avoir lexpression des lignes et des colonnes de M = AB en fonction
des lignes de B ou des colonnes de A :
i
(AB) =
n
k=1
a
i,k
k
(B) (1.3)
c
j
(AB) =
n
k=1
b
k,j
c
k
(A) (1.4)
Dans notre exemple, on a donc :
1
(AB) =
_
1 0
+ 2
_
3 2
=
_
5 4

ce qui montre que la ligne 1 de AB est combinaison linaire des lignes de B. Le colonnes de AB, par contre, sont
des combinaisons linaires de colonnes de A. Par exemple :
c
2
(AB) = 0
_
1
0
_
+ 2
_
2
1
_
=
_
4
2
_
Il faut donc retenir que dans un produit matriciel AB,
les colonnes de AB sont des combinaisons linaires des colonnes de A
les lignes de AB sont des combinaisons linaires des lignes de B.
Cette remarque est trs importante pour la reprsentation matricielle de llimination de Gauss : lorquon calcule
des systmes quivalents, on effectue des combinaisons linaires de lignes, et donc on multiplie gauche par une
matrice dlimination.
Le tableau ci-dessous est la traduction littrale de Linear algebra in a nutshell, par Gilbert Strang
1
Pour une
matrice carre A, on donne les caractrisations du fait quelle est inversible ou non.
A inversible A non inversible
Les vecteurs colonne sont indpendants Les vecteurs colonne sont lis
Les vecteurs ligne sont indpendants Les vecteurs ligne sont lis
Le dterminant est non nul Le dterminant est nul
Ax = 0 a une unique solution x = 0 Ax = 0 a une innit de solutions.
Le noyau de A est rduit {0} Le noyau de A contient au moins un vecteur non nul.
Ax = b a une solution unique x = A
1
b Ax = b a soit aucune solution, soit une innit.
A a n (nonzero) pivots A a r < n pivots
A est de rang maximal : rg(A) = n. rg(A) = r < n
La forme totatement chelonne R de A est la matrice identit R a au moins une ligne de zros.
Limage de A est tout IR
n
. Limage de A est strictement incluse dans IR
n
.
Lespace L(A) engendr par les lignes de A est tout IR
n
. L(A) est de dimension r < n
Toutes les valeurs propres de A sont non nulles Zero est valeur propre de A.
A
t
A is symtrique dnie positive A
t
A nest que semi- dnie .
TABLE 1.1: Extrait de Linear algebra in a nutshell, G. Strang
On rappelle pour une bonne lecture de ce tableau les quelques dnitions suivantes :
Dnition 1.1 (Pivot). Soit A M
n
(IR) une matrice carre dordre n. On appelle pivot de A le premier lment
non nul de chaque ligne dans la forme chelonne de A obtenue par limination de Gauss. Si la matrice est
inversible, elle a donc n pivots (non nuls).
Dnition 1.2 (Valeurs propres). Soit A M
n
(IR) une matrice carre dordre n. On appelle valeur propre de A
tout Cl tel quil existe x Cl
n
, x = 0 tel que Ax = x. Llment x est appel vecteur propre de A associ
.
1. Voir la page web de Strang www.mit.edu/~gs pour une foule dinformations et de cours sur lalgbre linaire.
Dnition 1.3 (Dterminant). Il existe une unique application, note det de M
n
(IR) dans IR qui vrie les
proprits suivantes
(D1) Le dterminant de la matrice identit est gal 1.
(D2) Si la matrice

A est obtenue partir de A par change de deux lignes, alors det

A = detA.
(D3) Le dterminant est une fonction linaire de chacune des lignes de la matrice A.
(D3a) (multiplication par un scalaire) si

A est obtenue partir de A en multipliant tous les coefcients dune
ligne par IR, alors det(

A) = det(A).
(D3b) (addition) si A =
_
1
(A)
.
.
.
k
(A)
.
.
.
n
(A)
_
_
,

A =
_
1
(A)
.
.
.
k
(A)
.
.
.
n
(A)
_
_
et B =
_
1
(A)
.
.
.
k
(A) +

k
(A)
.
.
.
n
(A)
_
_
, alors
det(B) = det(A) + det(

A).
On peut dduire de ces trois proprits fondamentales un grand nombre de proprits importantes, en particulier
le fait que det(AB) = detA detB et que le dterminant dune matrice inversible est le produit des pivots : cest
de cette manire quon le calcule sur les ordinateurs. En particulier on nutilise jamais la formule de Cramer,
beaucoup trop coteuse en termes de nombre doprations.
On rappelle que si A M
n
(IR) une matrice carre dordre n, les valeurs propres sont les racines du polynme
caractristique P
A
de degr n, qui scrit :
P
A
()) = det(AI).
Matrices diagonalisables
Dnition 1.4 (Matrice diagonalisable dans IR). Soit A une matrice relle carre dordre n. On dit que A est
diagonalisable dans IR si il existe une base (u
1
, . . . , u
n
) de IR
n
et des rels
1
, . . . ,
n
(pas forcment distincts)
tels que Au
i
=
i
u
i
pour i = 1, . . . , n. Les rels
1
, . . . ,
n
sont les valeurs propres de A, et les vecteurs
u
1
, . . . , u
n
sont les vecteurs propres associs.
Vous connaissez srement aussi la diagonalisation dans Cl : une matrice relle carre dordre n est toujours dia-
gonalisable dans Cl , au sens o il existe une base (u
1
, . . . , u
n
) de Cl
n
et des nombres complexes
1
, . . . ,
n
(pas
forcment distincts) tels que Au
i
=
i
u
i
pour i = 1, . . . , n. Ici et dans toute la suite, comme on rsout des
systmes linaires rels, on prfre travailler avec la diagonalisation dans IR ; cependant il y a des cas o la diago-
nalisation dans Cl est utile et mme ncessaire (tude de stabilit des systmes difrentiels, par exemple). Par souci
de clart, nous prciserons toujours si la diagonalisation considre est dans IR ou dans Cl .
Lemme 1.5. Soit A une matrice relle carre dordre n, diagonalisable dans IR. Alors
A = Pdiag(
1
, . . . ,
n
)P
1
,
o P est la matrice dont les vecteurs colonnes sont gaux aux vecteurs
1
, . . . ,
n
.
DMONSTRATION Soit P la matrice dnie (de manire unique) par Pei = ui, o (ei)i=1,...,n est la base canonique
de IR
n
, cest--dire que (ei)j = i,j. La matrice P est appele matrice de passage de la base (ei)i=1,...,n la base
(ui)i=1,...,n ; la i-me colonne de P est constitue des composantes de ui dans la base canonique (e1, . . . , en).
La matrice P est videmment inversible, et on peut crire :
Aui = APei = iui,
de sorte que :
P
1
APei = iP
1
ui = iei.
On a donc bien P
1
AP = diag(1, . . . , n) (ou encore A = Pdiag(1, . . . , n)P
1
).
La diagonalisation des matrices relles symtriques est un outil quon utilisera souvent dans la suite, en particulier
dans les exercices. Il sagit dun rsultat extrmement important.
Lemme 1.6 (Une matrice symtrique est diagonalisable dans IR). Soit E un espace vectoriel sur IR de dimension
nie : dimE = n, n IN
, muni dun produit scalaire i.e. dune application

E E IR,
(x, y) (x | y)
E
,
qui vrie :
x E, (x | x)
E
0 et (x | x)
E
= 0 x = 0,
(x, y) E
2
, (x | y)
E
= (y | x)
E
,
y E, lapplication de E dans IR, dnie par x (x | y)
E
est linaire.
Ce produit scalaire induit une norme sur E, x =
(x | x)
E
.
Soit T une application linaire de E dans E. On suppose que T est symtrique, c..d. que (T(x) | y)
E
= (x |
T(y))
E
, (x, y) E
2
. Alors il existe une base orthonorme (f
1
. . . f
n
) de E (c..d. telle que (f
i
, f
j
)
E
=
i,j
) et
(
1
. . .
n
) IR
n
tels que T(f
i
) =
i
f
i
pour tout i {1 . . . n}.
Consquence immdiate : Dans le cas o E = IR
n
, le produit scalaire canonique de x = (x
1
, . . . , x
n
)
t
et
y = (y
1
, . . . , y
n
)
t
est dni par (x | y)
E
= x y =
n
i=1
x
i
y
i
. Si A M
n
(IR) est une matrice symtrique, alors
lapplication T dnie de E dans E par : T(x) = Ax est linaire, et : (Tx|y) = Ax y = x A
t
y = x Ay =
(x | Ty). Donc T est linaire symtrique. Par le lemme prcdent, il existe (f
1
. . . f
n
) et (
1
. . .
n
) IR tels que
Tf
i
= Af
i
=
i
f
i
i {1, . . . , n} et f
i
f
j
=
i,j
, (i, j) {1, . . . , n}
2
.
Interprtation algbrique : Il existe une matrice de passage P de (e
1
, . . . , e
n
) base canonique dans (f
1
, . . . , f
n
)
dont la premire colonne de P est constitue des coordonnes de f
i
dans (e
1
. . . e
n
). On a : Pe
i
= f
i
. On a alors
P
1
APe
i
= P
1
Af
i
= P
1
(
i
f
i
) =
i
e
i
= diag(
1
, . . . ,
n
)e
i
, o diag(
1
, . . . ,
n
) dsigne la matrice
diagonale de coefcients diagonaux
1
, . . . ,
n
. On a donc :
P
1
AP =
_
i
0
.
.
.
0
n
_
_ = D.
De plus P est orthogonale, i.e. P
1
= P
t
. En effet,
P
t
Pe
i
e
j
= Pe
i
Pe
j
= (f
i
|f
j
) =
i,j
i, j {1 . . . n},
et donc (P
t
Pe
i
e
i
) e
j
= 0 j {1 . . . n} i {1, . . . n}. On en dduit P
t
Pe
i
= e
i
pour tout i = 1, . . . n,
i.e. P
t
P = PP
t
= Id.
DMONSTRATION du lemme 1.6 Cette dmonstration se fait par rcurrence sur la dimension de E.
1re tape.
On suppose dimE = 1. Soit e E, e = 0, alors E = IRe = f1 avec f1 =
e
e
. Soit T : E E linaire symtrique, on
a : Tf1 IRf1 donc il existe 1 IR tel que Tf1 = 1f1.
2me tape.
On suppose le lemme vrai si dimE < n. On montre alors le lemme si dimE = n. Soit E un espace vectoriel norm sur
IR tel que dimE = n et T : E E linaire symtrique. Soit lapplication dnie par :
: E IR
x (Tx|x).
Lapplication est continue sur la sphre unit S1 = {x E| x = 1} qui est compacte car dimE < +; il existe
donc e S1 tel que (x) (e) = (Te | e) = pour tout x E. Soit y E\{0}, et soit t ]0,
1
y
[ alors e +ty = 0.
On en dduit que :
e +ty
e +ty
S1 donc (e) =
_
T
(e +ty)
e +ty
|
e +ty
e +ty
_
E
donc (e +ty | e +ty)E (T(e +ty) | e +ty). En dveloppant on obtient :
[2t(e | y) +t
2
(y | y)E] 2t(T(e) | y) +t
2
(T(y) | y)E.
Comme t > 0, ceci donne :
[2(e | y) +t(y | y)E] 2(T(e) | y) +t(T(y) | y)E.
En faisant tendre t vers 0
+
, on obtient 2(e | y)E 2(T(e) | y), Soit 0 (T(e) e | y) pour tout y E \ {0}. De
mme pour z = y on a 0 (T(e) e|z) donc (T(e) e | y) 0. Do (T(e) e | y) = 0 pour tout y E. On
en dduit que T(e) = e. On pose fn = e et n = .
Soit F = {x E; (x | e) = 0}, on a donc F = E, et E = F
IRe : on peut dcomposer x E comme (x =

x (x | e)e + (x | e)e). Lapplication S = T|F est linaire symtrique et on a dimF = n 1. et S(F) F. On
peut donc utiliser lhypothse de rcurrence : (1 . . . n1) IR
n
et (f1 . . . fn1) E
n
tels que i {1 . . . n 1},
Sfi = Tfi = ifi, et i, j {1 . . . n 1}, (fi | fj) = i,j. Et donc (1 . . . n) et (f1 . . . fn) conviennent.
1.2.2 Discrtisation de lquation de la chaleur
Dans ce paragraphe, nous prenons un exemple trs simple pour obtenir un systme linaire partir de la discrti-
sation dun problme continu.
Lquation de la chaleur unidimensionnelle
Discrtisation par diffrences nies de u
= f Soit f C([0, 1], IR). On cherche u tel que

u
(x) = f(x) (1.5a)

u(0) = u(1) = 0. (1.5b)
Remarque 1.7 (Problmes aux limites, problmes conditions initiales). Lquation diffrentielle u
= f admet
une innit de solutions. Pour avoir existence et unicit, il est ncessaire davoir des conditions supplmentaires.
Si lon considre deux conditions en 0 (ou en 1, lorigine importe peu) on a ce quon appelle un problme de
Cauchy, ou problme conditions initiales. Le problme (1.5) est lui un problme aux limites : il y a une condition
pour chaque bord du domaine. En dimension suprieure, le problme u = f ncessite une condition sur au
moins un bout de frontire pour tre bien pos : voir le cours dquations aux drives partielles de master pour
plus de dtails ce propos.
x
x
x
x
x
x
0
= 0 x
1
x
i
= ih
u(x)
u
i
x
N+1
= 1
x
x
x
x x
FIGURE 1.1: Solution exacte et approche de u
= f
On peut montrer (on ladmettra ici) quil existe une unique solution u C
2
([0, 1], IR). On cherche calculer
u de manire approche. On va pour cela introduire la mthode de discrtisation dite par diffrences nies. Soit
n IN
, on dnit h = 1/(n + 1) le pas de discrtisation, c..d. la distance entre deux points de discrtisation,
et pour i = 0, . . . , n + 1 on dnit les points de discrtisation x
i
= ih (voir Figure 1.1), qui sont les points o
lon va crire lquation u
= f en vue de se ramener un systme discret, c..d. un systme avec un nombre

ni dinconnues u
1
, . . . , u
n
. Remarquons que x
0
= 0 et x
n+1
= 1, et quen ces points, u est spcie par les
conditions limites (1.5b). Soit u(x
i
) la valeur exacte de u en x
i
. On crit la premire quation de (1.5a) en chaque
point x
i
, pour i = 1 . . . n.
u
(x
i
) = f(x
i
) = b
i
i {1 . . . n}. (1.6)
Supposons que u C
4
([0, 1], IR) (ce qui est vrai si f C
2
). Par dveloppement de Taylor, on a :
u(x
i+1
) = u(x
i
) +hu
(x
i
) +
h
2
2
u
(x
i
) +
h
3
6
u
(x
i
) +
h
4
24
u
(4)
(
i
),
u(x
i1
) = u(x
i
) hu
(x
i
) +
h
2
2
u
(x
i
)
h
3
6
u
(x
i
) +
h
4
24
u
(4)
(
i
),
avec
i
(x
i
, x
i+1
) et
i
(x
i
, x
i+1
). En sommant ces deux galits, on en dduit que :
u(x
i+1
) +u(x
i1
) = 2u(x
i
) +
1
h
2
u
(x
i
) +
h
4
24
u
(4)
(
i
) +
h
4
24
u
(4)
(
i
).
On dnit lerreur de consistance, qui mesure la manire dont on a approch u
(x
i
) ; lerreur de consistance R
i
au point x
i
est dnie par
R
i
= u
(x
i
)
u(x
i+1
) +u(x
i1
) 2u(x
i
)
h
2
. (1.7)
On a donc :
|R
i
| =
u(x
i+1
) +u(x
i1
) 2u(x
i
)
h
2
+u
(x
i
)
h
4
24
u
(4)
(
i
) +
h
4
24
u
(4)
(
i
)
h
2
12
u
(4)
. (1.8)
o u
(4)
= sup
x]0,1[
|u
(4)
(x)|. Cette majoration nous montre que lerreur de consistance tend vers 0 comme
h
2
, et on en dit que le schma est consistant dordre 2.
On introduit alors les inconnues (u
i
)
i=1,...,n
quon espre tre des valeurs approches de u aux points x
i
et qui
sont les composantes de la solution (si elle existe) du systme suivant
_

u
i+1
+u
i1
2u
i
h
2
= b
i
, i; 1 i n,
u
0
= u
n+1
= 0.
(1.9)
On cherche donc u =
_
_
u
1
.
.
.
u
n
_
_ IR
n
solution de (1.9). Ce systme peut scrire sous forme matricielle :K
n
u = b
o b =
_
_
b
1
.
.
.
b
n
_
_ et K
n
est la matrice carre dordre n de coefcients (k
i,j
)
i,j=1,n
dnis par :
_
_
k
i,i
=
2
h
2
, i = 1, . . . , n,
k
i,j
=
1
h
2
, i = 1, . . . , n, j = i 1,
k
i,j
= 0, i = 1, . . . , n, |i j| > 1.
(1.10)
On remarque immdiatement que K
n
est tridiagonale.
On peut montrer que K
n
est symtrique dnie positive (voir exercice 7 page 18), et elle est donc inversible Le
systme K
n
u = b admet donc une unique solution. Cest bien, mais encore faut il que cette solution soit ce quon
esprait, c..d. que chaque valeur u
i
soit une approximation pas trop mauvaise de u(x
i
). On appelle erreur de
discrtisation en x
i
la diffrence de ces deux valeurs :
e
i
= u(x
i
) u
i
, i = 1, . . . , n. (1.11)
mSi on appelle e le vecteur de composantes e
i
, on dduit de la dnition 1.11 de lerreur de consistance et des
quations (exactes) 1.6 que
K
n
e = R et donc e = K
1
n
R. (1.12)
Le fait que le schma soit consistant est une bonne chose, mais cela ne suft pas montrer que le schma est
convergent, c..d. que lerreur entre max
i=1,...,n
e
i
tend vers 0 lorsque h tend vers 0, parce que A dpend de
h! Pour cela, il faut de plus que le schma soit stable, au sens o lon puisse montrer que K
1
n
est born
indpendamment de h, ce qui revient trouver une estimation sur les valeurs approches u
i
indpendante de h. La
stabilit et la convergence font lobjet de lexercice 40, o lon montre que le schma est convergent, et quon a
lestimation derreur suivante :
max
i=1...n
{|u
i
u(x
i
)|}
h
2
96
u
(4)
.
Cette ingalit donne la prcision de la mthode (cest une mthode dite dordre 2). On remarque en particulier
que si on rafne la discrtisation, cestdire si on augmente le nombre de points n ou, ce qui revient au mme,
si on diminue le pas de discrtisation h, on augmente la prcision avec laquelle on calcule la solution approche.
Lquation de la chaleur bidimensionnelle
Prenons maintenant le cas dune discrtisation du Laplacien sur un carr par diffrences nies. Si u est une fonction
de deux variables x et y valeurs dans IR, et si u admet des drives partielles dordre 2 en x et y, loprateur
laplacien est dni par u =
xx
u +
yy
u. Lquation de la chaleur bidimensionnelle scrit avec cet oprateur.
On cherche rsoudre le problme :
u = f sur =]0, 1[]0, 1[,
u = 0 sur ,
(1.13)
On rappelle que loprateur Laplacien est dni pour u C
2
(), o est un ouvert de IR
2
, par
u =

2
u
x
2
+

2
u
y
2
.
Dnissons une discrtisation uniforme du carr par les points (x
i
, y
j
), pour i = 1, . . . , M et j = 1, . . . , M
avec x
i
= ih, y
j
= jh et h = 1/(M + 1), represente en gure 1.2 pour M = 6. On peut alors approcher les
drives secondes par des quotients diffrentiels comme dans le cas unidimensionnel (voir page 11), pour obtenir
un systme linaire : Au = b o A M
n
(IR) et b IR
n
avec n = M
2
. Utilisons lordrelexicographique"
pour numroter les inconnues, c..d. de bas en haut et de gauche droite : les inconnues sont alors numrotes de
1 n = M
2
et le second membre scrit b = (b
1
, . . . , b
n
)
t
. Les composantes b
1
, . . . , b
n
sont dnies par :pour
i, j = 1, . . . , M, on pose k = j + (i 1)M et b
k
= f(x
i
, y
j
).
2 3 4 5 6
7 8 9
31
10 11 12
13 14 15 16 17 18
19 20 21 22 23 24
30 29 28 27 26 25
32 33 34 35 36
1 i = 1
j = 1
x
y
FIGURE 1.2: Ordre lexicographique des inconnues, exemple dans le cas M = 6
Les coefcients de A = (a
k,
)
k,l=1,n
peuvent tre calculs de la manire suivante :
_
_
Pour i, j = 1, . . . , M, on pose k = j + (i 1)M,
a
k,k
=
4
h
2
,
a
k,k+1
=
_

1
h
2
si j = M,
0 sinon,
a
k,k1
=
_

1
h
2
si j = 1,
0 sinon,
a
k,k+M
=
_

1
h
2
si i < M,
0 sinon,
a
k,kM
=
_

1
h
2
si i > 1,
0 sinon,
Pour k = 1, . . . , n, et = 1, . . . , n;
a
k,
= 0, k = 1, . . . , n, 1 < |k | < n ou |k | > n.
La matrice est donc tridiagonale par blocs, plus prcisment si on note
D =
_
_
_
_
_
_
_
_
_
_
_
4 1 0 . . . . . . 0
1 4 1 0 . . . 0
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0
.
.
.
.
.
.
.
.
. 1
0 . . . 0 1 4
_
_
_
_
_
_
_
_
_
_
_
,
les blocs diagonaux (qui sont des matrices de dimension M M), on a :
A =
_
_
_
_
_
_
_
_
_
_
D Id 0 . . . . . . 0
Id D Id 0 . . . 0
0 Id D Id 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0
.
.
. Id D Id
0 . . . 0 Id D
_
_
_
_
_
_
_
_
_
_
, (1.14)
o Id dsigne la matrice identit dordre M.
Matrices monotones, ou inverse positive Une proprit qui revient souvent dans ltude des matrices issues
de la discrtisation dquations diffrentielles est le fait que si leur action sur un vecteur u donne un vecteur positif
v (composante par composante) alors le vecteur u de dpart doit tre positif (composante par composante) ; on dit
souvent que la matrice est monotone, ce qui nest pas un terme trs evocateuri. . . Dans ce cours, on lui prferera
le terme inverse positive ; en effet, on montre la proposition quune matrice A est monotone si et seulement
si elle inversible et inverse positive.
Dnition 1.8 (IP-matrice ou matrice monotone). Si x IR
n
, on dit que x 0 [resp. x > 0] si toutes les
composantes de x sont positives [resp. strictement positives].
Soit A M
n
(IR), on dit que A est une matrice monotone si elle vrie la proprit suivante :
Si x IR
n
est tel que Ax 0, alors x 0,
ce qui peut encore scrire : {x IR
n
t.q. Ax 0} {x IR
n
t.q. x 0}.
Proposition 1.9 (Caractrisation des matrices monotones). Une matrice A est monotone si et seulement si elle
inversible et inverse positive (c..d. dont tous les coefcients sont positifs).
La dmonstration de ce rsultat est lobjet de lexercice 5. Retenez que toute matrice monotone est inversible et
dinverse positive que cette proprit de monotonie est utilise pour tablir une borne de A
1
pour la matrice
de discrtisation du Laplacien, dont on a besoin pour montrer la convergence du schma. Cest donc une proprit
qui est importante au niveau de lanalyse numrique.
1.2.3 Exercices
Exercice 1 (Vrai ou faux ? Motiver les rponses. . . ).
On suppose dans toutes les questions suivantes que n 2.
1. Soit Z IR
n
un vecteur non nul. La matrice ZZ
t
est inversible.
2. La matrice inverse dune matrice triangulaire infrieure est triangulaire suprieure.
3. Les valeurs propres sont les racines du polynme caractristiques
4. Toute matrice inversible est diagonalisable dans IR
5. Toute matrice inversible est diagonalisable dans C
6. Le dterminant dune matrice A est gal au produit de ses valeurs propres.
7. Soit A une matrice carre telle que Ax = 0 =x = 0. Alors A est inversible.
8. Soit A une matrice carre telle que Ax 0 =x 0. Alors A est inversible.
9. Une matrice symtrique est inversible.
10. Une matrice symtrique dnie positive est inversible.
Exercice 2 (Sur quelques notions connues).
1. Soit A une matrice carre dordre n et b IR
3
. Peut il exister exactement deux solutions distinctes au
systme Ax = b ?
2. Soient A, B et C de dimensions telles que AB et BC existent. Montrer que si AB = Id et BC = Id, alors
A = C.
3. Combien y a -til de matrices carres dordre 2 ne comportant que des 1 ou des 0 comme coefcients ?
Combien dentre elles sont inversibles ?
4. Soit B =
_
3 2
5 3
_
. Montrer que B
1024
= Id.
Exercice 3 (La matrice K
3
). Soit f C([0, 1], IR). On cherche u tel que
u
(x) = f(x), x (0, 1), (1.15a)

u(0) = u(1) = 0. (1.15b)
1. Calculer la solution exacte u(x) du problme pour f 1 (on admettra quelle est unique).
On discrtise le problme suivant par diffrences nies, avec un pas h =
1
4
avec la technique vue en cours.
2. A laide de dvloppements de Taylor, crire lapproximation de u
(x
i
) au deuxime ordre en fonction de
u(x
i
), u(x
i1
et u(x
i+1
). En dduire le schma aux diffrences nies pour lapproximation de (1.15), quon
crira sous la forme :
K
3
u = b, (1.16)
o K
3
est la matrice de discrtisation quon explicitera, u =
_
_
u
1
u
2
u
3
_
_
et b =
_
_
b
1
b
2
b
3
_
_
=
_
_
f(x
1
)
f(x
2
)
f(x
3
)
_
_
.
3. Rsoudre le systme linaire (1.16) par la mthode de Gauss. Comparer u
i
et u(x
i
) pour i = 1, 2, 3, et
expliquer pourquoi lerreur de discrtisation u(x
i
) u
i
est nulle.
4. Reprendre les questions prcdentes en remplaant les conditions limites (1.15b) par :
u(0) = 0, u
(1) = 0. (1.17)
5. On remplace maintenant les condtions limites (1.15b) par :
u(0) = 0, u
(1) = 0. (1.18)
(a) Montrer que le problme (1.15a)-(1.18) admet plusieurs solutions.
(b) Ecrire la discrtisation du problme (1.15a)-(1.18), toujours avec h =
1
4
, sous la forme

K
3
u =

b en
explicitant

K
3
et
b.
(c) Montrer que la matrice

K
3
nest pas inversble : on part dun problme continu mal pos, et on obtient
par discrtisation un problme discret mal pos. . .
Exercice 4 (Matrices symtriques dnies positives). Suggestions en page 18, corrig en page 19. On rappelle que
toute matrice A M
n
(IR) symtrique est diagonalisable dans IR (cf. lemme 1.6 page 9). Plus prcisment, on a
montr en cours que, si A M
n
(IR) est une matrice symtrique, il existe une base de IR
n
, note {f
1
, . . . , f
n
}, et
il existe
1
, . . . ,
n
IR t.q. Af
i
=
i
f
i
, pour tout i {1, . . . , n}, et f
i
f
j
=
i,j
pour tout i, j {1, . . . , n}
(x y dsigne le produit scalaire de x avec y dans IR
n
).
1. Soit A M
n
(IR). On suppose que A est symtrique dnie positive, montrer que les lments diagonaux
de A sont strictements positifs.
2. Soit A M
n
(IR) une matrice symtrique. Montrer que A est symtrique dnie positive si et seulement si
toutes les valeurs propres de A sont strictement positives.
3. Soit A M
n
(IR). On suppose que A est symtrique dnie positive. Montrer quon peut dnir une unique
matrice B M
n
(IR), symtrique dnie positive t.q. B
2
= A (on note B = A
1
2
).
Exercice 5 (IP-matrice). Corrig en page 20
Soit n IN
, on note M
n
(IR) lensemble des matrices de n lignes et n colonnes et coefcients rels. Si x IR
n
,
on dit que x 0 [resp. x > 0] si toutes les composantes de x sont positives [resp. strictement positives].
Soit A M
n
(IR), on dit que A est une IP-matrice si elle vrie la proprit suivante :
Si x IR
n
est tel que Ax 0, alors x 0,
ce qui peut encore scrire : {x IR
n
t.q. Ax 0} {x IR
n
t.q. x 0}.
1. Soit A = (a
i,j
)
i,j=1,...,n
M
n
(IR). Montrer que A est une IP-matrice si et seulement si A est inversible et
A
1
0 (cest--dire que tous les coefcients de A
1
sont positifs).
2. Soit A =
_
a b
c d
_
une matrice relle dordre 2. Montrer que A est une IP-matrice si et seulement si :
_
_
_
ad < bc,
a < 0, d < 0
b 0, c 0
ou
_
_
_
ad > bc,
a > 0, d > 0,
b 0, c 0.
(1.19)
3. Montrer que si A M
n
(IR) est une IP-matrice alors A
t
(la transpose de A) est une IP-matrice.
4. Montrer que si A est telle que
a
i,j
0, pour tout i, j = 1, . . . , n, i = j,
a
i,i
>
n
j=1
j=i
|a
i,j
|, pour tout i = 1, . . . , n,
(1.20)
alors A est une IP-matrice.
5. En dduire que si A est telle que
a
i,j
0, pour tout i, j = 1, . . . , n, i = j,
a
i,i
>
n
j=1
j=k
|a
j,i
|, pour tout i = 1, . . . , n,
(1.21)
alors A est une IP-matrice.
6. Montrer que si A M
n
(IR) est une IP-matrice et si x IR
n
alors :
Ax > 0 x > 0.
cest--dire que {x IR
n
t.q. Ax > 0} {x IR
n
t.q. x > 0}
7. Montrer, en donnant un exemple, quune matrice Ade M
n
(IR) peut vrier {x IR
n
t.q. Ax > 0} {x IR
n
t.q. x > 0} et ne pas tre une IP-matrice.
8. On suppose dans cette question que A M
n
(IR) est inversible et que {x IR
n
t.q. Ax > 0} {x IR
n
t.q.
x > 0}. Montrer que A est une IP-matrice.
9. (Question plus difcile) Soit E lespace des fonctions continues sur IR et admettant la mme limite nie en
+ et . Soit L(E) lensemble des applications linaires continues de E dans E. Pour f E, on dit que
f > 0 (resp. f 0) si f(x) > 0 (resp. f(x) 0) pour tout x IR. Montrer quil existe T L(E) tel que
Tf 0 = f 0, et g E tel que Tg > 0 et g > 0 (ceci dmontre que le raisonnement utilis en 2 (b) ne
marche pas en dimension innie).
Exercice 6 (M-matrice).
Dans ce qui suit, toutes les ingalits crites sur des vecteurs ou des matrices sont entendre au sens composante
par composante.
Soit A = (a
i,j
)
i,j=1,...,n
une matrice carre dordre n. On dit que A est une M-matrice si A est une IP-matrice (A
est inversible et A
1
0, voir exercice 5) qui vrie de plus
(a) a
i,i
> 0 pour i = 1, . . . , n;
(b) a
i,j
0 pour i, j = 1, . . . , n, i = j ;
1. Soit A une IP-matrice ; montrer que A est une M-matrice si et seulement si la proprit (b) est vrie.
2. Soit A =
_
a b
c d
_
une matrice relle dordre 2. Montrer que A est une M-matrice si et seulement si :
_
_
_
ad > bc,
a > 0, d > 0,
b 0, c 0.
(1.22)
3. Les matrices A =
_
1 2
2 1
_
et B =
_
2 1
1 2
_
sont-elles des IP-matrices ? des M-matrices ?
4. Soit A la matrice carre dordre 3 dnie par :
A =
_
_
2 1
1
2
0 1 1
1 0 1
_
_
Montrer que A
1
0 mais que A nest pas une Mmatrice.
5. Soit A une matrice carre dordre n = m+p, avec m, p IN tels que m 1 et p 1, vriant :
a
i,i
0,
a
i,j
0, pour j = 1, . . . , n, j = i,
a
i,i
+
n
j=1
j=i
a
i,j
= 0
_
_
pour i = 1, . . . , m, (1.23)
a
i,i
= 1,
a
i,j
= 0, pour j = 1, . . . , n, j = i,
_
pour i = m+ 1, . . . , n. (1.24)
i m, (k
)
=1,...,Li
; k
1
= i, k
Li
> m, et a
k
,k
+1
< 0, = 1, . . . , L
i
. (1.25)
Soit b IR
n
tel que b
i
= 0 pour i = 1, . . . , m. On considre le systme linaire
Au = b (1.26)
5.1 Montrer que le systme (1.26) admet une et une seule solution.
5.2 Montrer que u est tel que min
k=m+1,n
b
k
u
i
max
k=m+1,n
b
k
. (On pourra pour simplier supposer que
les quations sont numrotes de telle sorte que min
k=m+1,n
b
k
= b
m+2
b
2
. . . b
n
= max
k=m+1,n
b
k
.)
6. On considre le problme de Dirichlet suivant :
u
= 0 sur [0, 1] (1.27a)

u(0) = 1 (1.27b)
u(1) = 1. (1.27c)
6.1 Calculer la solution exacte u de ce problme et vrier quelle reste comprise entre -1 et 1.
6.2 Soit m > 1 et soient Aet b et la matrice et le second membre du systme linaire dordre n = m+2 obtenu par
discrtisation par diffrences nies avec un pas uniforme h =
1
m
du problme (1.27) (en crivant les conditions
aux limites dans le systme). Montrer que la solution u = (u
1
, . . . , u
n
)
t
IR
n
du systme Au = b vrie
1 u
i
1.
Exercice 7 (Matrice du Laplacien discret 1D). Corrig dtaill en page 19.
Soit f C([0, 1]). Soit n IN
, n impair. On pose h = 1/(n + 1). Soit K

n
la matrice dnie par (1.10) page 12,
issue dune discrtisation par diffrences nies avec pas constant du problme (1.5a) page 10.
Montrer que K
n
est symtrique dnie positive.
Exercice 8 (Pas non constant). Reprendre la discrtisation vue en cours avec un pas h
i
= x
i+1
x
i
non constant,
et montrer que dans ce cas,le schma est consistant dordre 1 seulement.
Exercice 9 (Raction diffusion 1d.). Corrig dtaill en page 19. On sintresse la discrtisation par Diffrences
Finies du problme aux limites suivant :
u
(x) +u(x) = f(x), x ]0, 1[,

u(0) = u(1) = 0.
(1.28)
Soit n IN
. On note U = (u
j
)
j=1,...,n
une valeur approche de la solution u du problme (1.28) aux points
_
j
n+1
_
j=1,...,n
. Donner la discrtisation par diffrences nies de ce problme sous la forme AU = b.
Exercice 10 (Discrtisation).
On considre la discrtisation pas constant par le schma aux diffrences nies symtrique trois points du
problme (1.5a) page 10, avec f C([0, 1]). Soit n IN
, n impair. On pose h = 1/(n + 1). On note u est

la solution exacte, x
i
= ih, pour i = 1, . . . , n les points de discrtisation, et (u
i
)
i=1,...,n
la solution du systme
discrtis (1.9).
1. Montrer que si u C
4
([0, 1], alors la proprit (1.7) est vrie, c..d. :
u(x
i+1
) +u(x
i1
) 2u(x
i
)
h
2
= u
(x
i
) +R
i
avec |R
i
|
h
2
12
u
(4)
.
2. Montrer que si f est constante, alors
max
1in
|u
i
u(x
i
)| = 0.
.
3. Soit n x, et max
1in
|u
i
u(x
i
)| = 0. A-t-on forcment que f est constante sur [0, 1] ? (justier la rponse.)
1.2.4 Suggestions pour les exercices
Exercice 4 page 16 (Matrices symtriques dnies positives)
3. Utiliser la diagonalisation sur les oprateurs linaires associs.
1.2.5 Corrigs des exercices
Exercice 7 page 18 (Matrice du laplacien discret 1D.)
Pour montrer que A est dnie positive (car A est videmment symtrique), on peut montrer que Ax x > 0 si
x = 0. On a
Ax x =
1
h
2
_
x
1
(2x
1
x
2
) +
n1
i=2
x
i
(x
i1
+ 2x
i
x
i+1
) + 2x
2
n
x
n1
x
n
_
On a donc
h
2
Ax x = 2x
2
1
x
1
x
2
n1
i=2
_
x
i
x
i1
+ 2x
2
i
_
i=3
x
i
x
i1
+ 2x
2
n
x
n1
x
n
=
n
i=1
x
2
i
+
n
i=2
x
2
1i
+x
2
n
2
n
i=1
x
i
x
i1
=
n
i=2
(x
i
x
i1
)
2
+x
2
1
+x
2
n
0.
De plus, Ax x = 0 x
2
1
= x
n
= 0 et x
i
= x
i1
pour i = 2 n, donc x = 0.
Exercice 9 page 18 (Raction diffusion 1D.)
La discrtisation du probllme consiste chercher U comme solution du systme linaire
AU =
_
f(
j
N + 1
)
_
j=1,...,n
o la matrice A M
n
(IR) est dnie par A = (N + 1)
2
K
n
+Id, Id dsigne la matrice identit et
K
n
=
_
_
_
_
_
_
_
_
_
2 1 0 . . . 0
1 2 1
.
.
.
.
.
.
0
.
.
.
.
.
.
.
.
. 0
.
.
.
.
.
. 1 2 1
0 . . . 0 1 2
_
_
_
_
_
_
_
_
_
Exercice 4 page 16 (Matrices symtriques dnies positives)
1. Supposons quil existe un lment diagonal a
i,i
ngatif. Alors Ae
i
e
i
0 ce qui contredit le fait que A est
dnie positive.
2. Soit x IR
n
, dcomposons x sur la base orthonorme (f
i
)
i=1,n
: x =
n
i=1
x
i
f
i
. On a donc :
Ax x =
n
i=1
i
x
2
i
. (1.29)
Montrons dabord que si les valeurs propres sont strictement positives alors A est dnie positive :
Supposons que
i
0, i = 1, . . . , n. Alors pour x IR
n
, daprs (1.29), Ax x 0 et la matrice A
est positive. Supposons maintenant que
i
> 0, i = 1, . . . , n. Alors pour x IR
n
, toujours daprs (1.29),
(Ax x = 0) (x = 0), et la matrice A est donc bien dnie.
Montrons maintenant la rciproque : si A est dnie positive, alors Af
i
f
i
> 0, i = 1, . . . , n et donc
i
> 0,
i = 1, . . . , n.
3. Comme A est s.d.p., toutes ses valeurs propres sont strictement positives, et on peut donc dnir lapplication
linaire S dans la base orthonorme (f
i
)
i=1,n
par : S(f
i
) =
i
f
i
, i = 1, . . . , n. On a videmment S S = T,
et donc si on dsigne par B la matrice reprsentative de lapplication S dans la base canonique, on a bien B
2
= A.
Exercice 5 page 16 (IP-matrice)
1. Supposons dabord que A est inversible et que A
1
0 ; soit x IR
n
tel que b = Ax 0. On a donc
x = A
1
b, et comme tous les coefcients de A
1
et de b sont positifs ou nuls, on a bien x 0.
Rciproquement, si A est une IP-matrice, alors Ax = 0 entraine x = 0 ce qui montre que A est inversible.
Soit e
i
le i-me vecteur de la base canonique de IR
n
, on a : AA
1
e
i
= e
i
0, et donc par la proprit de
IP-matrice, A
1
e
i
0, ce qui montre que tous les coefcients de A
1
sont positifs.
2. La matrice inverse de A est A
1
=
1
_
d b
c a
_
avec = ad bc. Les coefcients de A
1
sont donc
positifs ou nuls si et seulement si
_
_
_
ad < bc,
a 0, d 0
b 0, c 0
ou
_
_
_
ad > bc,
a 0, d 0,
b 0, c 0.
Or on a forcment ad = 0 : en effet sinon on aurait dans le premier cas) bc < 0, or b 0 et c 0, ce
qui aboutit une contradiction. De mme dans le deuxime cas, on aurait bc > 0, or b 0 et c 0. Les
conditions prcdentes sont donc quivalentes aux conditions (1.19).
3. La matrice A
t
est une IP-matrice si et seulement A
t
est inversible et (A
t
)
1
0. Or (A
t
)
1
= (A
1
)
t
.
Do lquivalence.
4. Supposons que A vrie (1.20), et soit x IR
n
tel que Ax 0. Soit k 1, . . . , n tel que x
k
= min{x
i
, i =
1, . . . , n}. Alors
(Ax)
k
= a
k,k
x
k
+
n
j=1
j=k
a
k,j
x
j
0.
Par hypothse, a
k,j
0 pour k = j, et donc a
k,j
= |a
k,j
|. On peut donc crire :
a
k,k
x
k
j=1
j=k
|a
k,j
|x
j
0,
et donc :
(a
k,k
j=1
j=k
|a
k,j
|)x
k

n
j=1
j=k
|a
k,j
|(x
j
x
k
).
Comme x
k
= min{x
i
, i = 1, . . . , n}, on en dduit que le second membre de cette ingalit est positif ou
nul, et donc que x
k
0. On a donc x 0.
5. Si la matrice A vrie (1.21), alors la matrice A
t
vrie (1.20). On en dduit par les questions prcdentes
que A
t
et A sont des IP-matrices.
6. Soit 1 le vecteur de IR
n
dont toutes les composantes sont gales 1. Si Ax > 0, comme lespace IR
n
est de
dimension nie, il existe > 0 tel que Ax 1. Soit z = A
1
1 0 ; on a alors A(x z) 0 et donc
x z, car A est une IP-matrice.
Montrons maintenant que z > 0 : tous les coefcients de A
1
sont positifs ou nuls et au moins lun dentre
eux est non nul par ligne (puisque la matrice A
1
est inversible). On en dduit que z
i
=
n
i=1
(A
1
)
i,j
> 0
pour tout i = 1, . . . , n. On a donc bien x z > 0.
1.3. LES MTHODES DIRECTES CHAPITRE 1. SYSTMES LINAIRES
7. Soit A la matrice nulle, on a alors {x IR
n
t.q. Ax > 0} = , et donc {x IR
n
t.q. Ax > 0} {x IR
n
t.q. x > 0}. Pourtant A nest pas inversible, et nest donc pas une IP-matrice.
8. Soit x tel que Ax 0, alors il existe 0 tel que Ax + 1 0. Soit maintenant b = A
1
1; on a
A(x +b) > 0 et donc x +b > 0. En faisant tendre vers 0, on en dduit que x 0.
9. Soit T L(E) dni par f E Tf, avec Tf(x) = f(
1
x
) si x = 0 et f(0) = , avec = lim
f.
On vrie facilement que Tf E. Si Tf 0, alors f(
1
x
) 0 pour tout x IR ; donc f(x) 0 pour tout
x IR \ {0} ; on en dduit que f(0) 0 par continuit. On a donc bien f 0.
Soit maintenant g dnie de IR dans IR par g(x) = | arctan x|. On a g(0) = 0, donc g > 0. Or Tg(0) =

2
et Tg(x) = | arctan
1
x
| > 0 si x > 0, donc Tg > 0.
1.3 Les mthodes directes
1.3.1 Dnition
Dnition 1.10 (Mthode directe). On appelle mthode directe de rsolution de (1.1) une mthode qui donne
exactement x (A et b tant connus) solution de (1.1) aprs un nombre ni doprations lmentaires (+, , , /).
Parmi les mthodes de rsolution du systme (1.1), la plus connue est la mthode de Gauss (avec pivot), encore
appele mthode dchelonnement ou mthode LU dans sa forme matricielle.
Nous rappelons la mthode de Gauss et sa rcriture matricielle qui donne la mthode LU et nous tudierons plus
en dtails la mthode de Choleski, qui est adapte aux matrices symtriques.
1.3.2 Mthode de Gauss, mthode LU
Soit A M
n
n
. On cherche calculer x IR
n
tel que Ax = b. Le principe
de la mthode de Gauss est de se ramener, par des oprations simples (combinaisons linaires), un systme
triangulaire quivalent, qui sera donc facile inverser.
Commenons par un exemple pour une matrice 3 3. Nous donnerons ensuite la mthode pour une matrice nn.
Un exemple 3 3
On considre le systme Ax = b, avec
A =
_
_
1 0 1
0 2 1
1 1 2
_
_
b =
_
_
2
1
2
_
_
.
On crit la matrice augmente, constitue de la matrice A et du second membre b.
A =
_
A b
=
_
_
1 0 1 2
0 2 1 1
1 1 2 2
_
_
.
Gauss et oprations matricielles Allons y pour Gauss :
La premire ligne a un 1 en premire position (en gras dans la matrice), on dit que cest un pivot. On va pouvoir
diviser toute la premire ligne par ce nombre pour en soustraire un multiple toutes les lignes daprs, dans le but
de faire apparatre des 0 dans tout le bas de la colonne.
La deuxime quation a dj un 0 dessous, donc on na rien besoin de faire. On veut ensuite annuler le premier
coefcient de la troisime ligne. On retranche donc (-1) fois la premire ligne la troisime
2
:
_
_
1 0 1 2
0 2 1 1
1 1 2 2
_
_
33+1
_
_
1 0 1 2
0 2 1 1
0 1 1 0
_
_
Ceci revient multiplier

A gauche par la matrice E
1
=
_
_
1 0 0
0 1 0
1 0 1
_
_
.
La deuxime ligne a un terme non nul en deuxime position (2) : cest un pivot. On va maintenant annuler le
deuxime terme de la troisime ligne ; pour cela, on retranche 1/2 fois la ligne 2 la ligne 3 :
_
_
1 1 1 2
0 2 1 1
0 1 1 0
_
_
331/22
_
_
1 0 1 2
0 2 1 1
0 0
1
2

1
2
_
_
.
Ceci revient multiplier la matrice prcdente gauche par la matrice E
2
=
_
_
1 0 0
0 1 0
0
1
2
1
_
_
. On a ici obtenu une
matrice sous forme triangulaire suprieure trois pivots : on peut donc faire la remonte pour obtenir la solution
du systme, et on obtient (en notant x
i
les composantes de x) : x
3
= 1 puis x
2
= 1 et enn x
1
= 1.
On a ainsi rsolu le systme linaire.
On rappelle que le fait de travailler sur la matrice augmente est extrmement pratique car il permet de travailler
simultanment sur les coefcients du systme linaire et sur le second membre.
Finalement, au moyen des oprations dcrites ci-dessus, on a transform le systme linaire
Ax = b en Ux = E
2
E
1
b, o U = E
2
E
1
A
est une matrice triangulaire suprieure.
Factorisation LU Tout va donc trs bien pour ce systme, mais supposons maintenant quon ait rsoudre
3089 systmes, avec la mme matrice A mais 3089 seconds membres b diffrents
3
. Il serait un peu dommage
de recommencer les oprations ci-dessus 3089 fois, alors quon peut en viter une bonne partie. Comment faire ?
Lide est de factoriser la matrice A, c..d de lcrire comme un produit A = LU, o L est triangulaire infrieure
(lower triangular) et U triangulaire suprieure (upper triangular). On reformule alors le systme Ax = b sous la
forme LUx = b et on rsout maintenant deux systmes faciles rsoudre car triangulaires : Ly = b et Ux = y.
La factorisation LU de la matrice dcoule immdiatement de lalgorithme de Gauss. Voyons comment sur lexemple
prcdent.
1/ On remarque que U = E
2
E
1
A peut aussi scrire A = LU , avec L = (E
2
E
1
)
1
.
2/ On sait que (E
2
E
1
)
1
= (E
1
)
1
(E
2
)
1
.
3/ Les matrices inverses E
1
1
et E
1
2
sont faciles dterminer : comme E
2
consiste retrancher 1/2 fois la ligne 2
la ligne 3, lopration inverse est dajouter 1/2 fois la ligne 2 la ligne 3, et donc
E
1
2
==
_
_
1 0 0
0 1 0
0
1
2
1
_
_
.
Il est facile de voir que E
1
1
=
_
_
1 0 0
0 1 0
1 0 1
_
_
et donc L = E
1
1
E
1
2
=
_
_
1 0 0
0 1 0
1
1
2
1
_
_
.
2. Bien sr, ceci revient ajouter la premire ligne ! il est cependant prfrable de parler systmatiquement de retrancher car cest ce quon
fait conceptuellement : pour llimination on enlve un multiple de la ligne du pivot la ligne courante.
3. Ceci est courant dans les applications. Par exemple on peut vouloir calculer la rponse dune structure de gnie civil 3089 chargements
diffrents.
La matrice L est une matrice triangulaire infrieure (et cest dailleurs pour cela quon lappelle L, pour lower
in English...) dont les coefcients sont particulirement simples trouver : les termes diagonaux sont tous gaux
un, et chaque terme non nul sous-diagonal L
i,j
est gal au coefcient par lequel on a multipli la ligne pivot
i avant de la retrancher la ligne j.
4/ On a bien donc A = LU avec L triangulaire infrieure (lower triangular) et U triangulaire suprieure (upper
triangular).
La procdure quon vient dexpliquer sappelle mthode LU pour la rsolution des systmes linaires, et elle
est dune importance considrable dans les sciences de lingnieur, puisquelle est utilise dans les programmes
informatiques pour la rsolution des systmes linaires.
Dans lexemple que nous avons tudi, tout se passait trs bien car nous navons pas eu de zro en position pivotale.
Si on a un zro en position pivotale, la factorisation peut quand mme se faire, mais au prix dune permutation.
Le rsultat gnral que lon peut dmontrer, est que si la matrice A est inversible, alors il existe une matrice de
permutation P, une matrice triangulaire infrieure Let une matrice triangulaire suprieure U telles que PA = LU :
voir le thorme 1.17.
Le cas gnral dune matrice n n
De manire plus gnrale, pour une matrice A carre dordre n, la mthode de Gauss scrit :
On pose A
(1)
= A et b
(1)
= b. Pour i = 1, . . . , n 1, on cherche calculer A
(i+1)
et b
(i+1)
tels que les
systmes A
(i)
x = b
(i)
et A
(i+1)
x = b
(i+1)
soient quivalents, o A
(i+1)
est une matrice dont les coefcients
sous-diagonaux des colonnes 1 i sont tous nuls, voir gure 1.3 :
Une fois la matrice A
(n)
(triangulaire suprieure) et le vecteur b
(n)
calculs, il sera facile de rsoudre le systme
A
(n)
x = b
(n)
. Le calcul de A
(n)
est ltape de factorisation", le calcul de b
(n)
ltape de descente", et le calcul
de x ltape de remonte". Donnons les dtails de ces trois tapes.
Etape de factorisation et descente Pour passer de la matrice A
(i)
la matrice A
(i+1)
, on va effectuer des
combinaisons linaires entre lignes qui permettront dannuler les coefcients de la i-me colonne situs en dessous
de la ligne i (dans le but de se rapprocher dune matrice triangulaire suprieure). Evidemment, lorsquon fait ceci,
il faut galement modier le second membre b en consquence. Ltape de factorisation et descente scrit donc :
1. Pour k i et pour j = 1, . . . , n, on pose a
(i+1)
k,j
= a
(i)
k,j
et b
(i+1)
k
= b
(i)
k
.
2. Pour k > i, si a
(i)
i,i
= 0, on pose :
a
(i+1)
k,j
= a
(i)
k,j

a
(i)
k,i
a
(i)
i,i
a
(i)
i,j
, pour k = j, . . . , n, (1.30)
b
(i+1)
k
= b
(i)
k

a
(i)
k,i
a
(i)
i,i
b
(i)
i
. (1.31)
La matrice A
(i+1)
est de la forme donne sur la gure 1.3. Remarquons que le systme A
(i+1)
x = b
(i+1)
est bien
quivalent au systme A
(i)
x = b
(i)
.
Si la condition a
(i)
i,i
= 0 est vrie pour i = 1 n, on obtient par le procd de calcul ci-dessus un systme linaire
A
(n)
x = b
(n)
quivalent au systme Ax = b, avec une matrice A
(n)
triangulaire suprieure facile inverser. On
verra un peu plus loin les techniques de pivot qui permettent de rgler le cas o la condition a
(i)
i,i
= 0 nest pas
vrie.
Etape de remonte Il reste rsoudre le systme A
(n)
x = b
(n)
. Ceci est une tape facile. Comme A
(n)
est une
matrice inversible, on a a
(i)
i,i
= 0 pour tout i1, . . . , n, et comme A
(n)
est une matrice triangulaire suprieure, on
peut donc calculer les composantes de x en remontant", cestdire de la composante x
n
la composante x
1
:
a
(1)
1,1
a
(i+1)
i+1,i+1
a
(i+1)
i+2,i+1
a
(i+1)
N,N
a
(1)
1,N
a
(i+1)
N,i+1
0
0
0
0
A
(i+1)
=
FIGURE 1.3: Allure de la matrice de Gauss ltape i + 1
x
n
=
b
(n)
n
a
(n)
n,n
,
x
i
=
1
a
(n)
i,i
(b
(i)
j=i+1,n
a
(n)
i,j
x
j
), i = n 1, . . . , 1.
Il est important de savoir mettre sous forme algorithmique les oprations que nous venons de dcrire : cest ltape
clef avant lcriture dun programme informatique qui nous permettra de faire faire le boulot par lordinateur !
Algorithme 1.11 (Gauss sans permutation).
1. (Factorisation et descente)
Pour i allant de 1 n, on effectue les calculs suivants :
(a) On ne change pas la i-me ligne (qui est la ligne du pivot)
u
i,j
= a
i,j
pour j = i, . . . , n,
y
i
= b
i
(b) On calcule les lignes i + 1 n de U et le second membre y en utilisant la ligne i.
Pour k allant de i + 1 n :
k,i
=
a
k,i
ai,i
(si a
i,i
= 0, prendre la mthode avec pivot partiel)
pour j allant de i + 1 n,
u
k,j
= a
k,j

k,i
u
i,j
(noter que a
k,i
= 0)
Fin pour
y
k
= b
k
k,i
y
i
Fin pour
2. (Remonte) On calcule x :
x
n
=
y
n
u
n,n
Pour i allant de n 1 1,
x
i
= y
i
Pour j allant de i + 1 n,
x
i
= x
i
u
i,j
x
j
Fin pour
x
i
=
1
u
i,i
x
i
Fin pour
Cot de la mthode de Gauss (nombre doprations) On peut montrer (on fera le calcul de manire dtaille
pour la mthode de Choleski dans la section suivante, le calcul pour Gauss est similaire) que le nombre doprations
ncessaires pour effectuer les tapes de factorisation, descente et remonte est
2
3
n
3
+O(n
2
).
En ce qui concerne la place mmoire, on peut trs bien stocker les itrs A
(i)
dans la matrice A de dpart, ce quon
na pas voulu faire dans le calcul prcdent, par souci de clart.
Dcomposition LU Si le systme Ax = b doit tre rsolu pour plusieurs second membres b, on a dj dit quon
a intrt ne faire ltape de factorisation (i.e. le calcul de A
(n)
), quune seule fois, alors que les tapes de descente
et remonte (i.e. le calcul de b
(n)
et x) seront faits pour chaque vecteur b. Ltape de factorisation peut se faire en
dcomposant la matrice A sous la forme LU. Supposons toujours pour linstant que lors de lalgorithme de Gauss,
la condition a
(i)
i,i
= 0 est vrie pour tout i = 1, . . . , n. La matrice L a comme coefcients
k,i
=
a
(i)
k,i
a
(i)
i,i
pour k > i,
i,i
= 1 pour tout i = 1, . . . , n, et
i,j
= 0 pour j > i, et la matrice U est gale la matrice A
(n)
. On peut vrier
que A = LU grce au fait que le systme A
(n)
x = b
(n)
est quivalent au systme Ax = b. En effet, comme
A
(n)
x = b
(n)
et b
(n)
= L
1
b, on en dduit que LUx = b, et comme A et LU sont inversibles, on en dduit que
A
1
b = (LU)
1
b pour tout b IR
n
. Ceci dmontre que A = LU. La mthode LU se dduit donc de la mthode
de Gauss en remarquant simplement que, ayant conserv la matrice L, on peut effectuer les calculs sur b aprs les
calculs sur A, ce qui donne :
Algorithme 1.12 (LU simple (sans permutation)).
1. (Factorisation) Pour i allant de 1 n, on effectue les calculs suivants :
(a) On ne change pas la i-me ligne
u
i,j
= a
i,j
pour j = i, . . . , n,
(b) On calcule les lignes i + 1 n de U en utilisant la ligne i (mais pas le second membre).
Pour k allant de i + 1 n :
k,i
=
a
k,i
ai,i
(si a
i,i
= 0, prendre la mthode avec pivot partiel)
pour j allant de i + 1 n,
u
k,j
= a
k,j

k,i
u
i,j
(noter que a
k,i
= 0)
Fin pour
2. (Descente) On calcule y (avec Ly = b)
Pour i allant de 1 n,
y
i
= b
i
i1
k=1
i,k
y
k
(on a ainsi implicitement
i,i
= 1)
3. (Remonte) On calcule x (avec Ux = y)
Pour i allant de n 1,
x
i
=
1
ui,i
(y
i
n
j=i+1
u
i,j
x
j
)
Remarque 1.13 (Optimisation mmoire). Lintroduction des matrices L et U et des vecteurs y et x nest pas
ncessaire (tout peut scrire avec la matrice A et le vecteur b, que lon modie au cours de lalgorithme). Lin-
troduction de L, U, x et y peut toutefois aider comprendre la mthode. Le principe retenu est que, dans les
algorithmes (Gauss ou LU), on modie la matrice A et le second membre b (en remplaant le systme rsoudre
par un systme quivalent) mais on ne modie jamais L, U, y et x (qui sont dnis au cours de lalgorithme).
Que faire en cas de pivot nul : la technique de permutation Dans la prsentation de la mthode de Gauss et de
la dcomposition LU, on a suppos que la condition a
(i)
i,i
= 0 tait vrie chaque tape. Or il peut savrer que
ce ne soit pas le cas, ou que, mme si la condition est vrie, le pivot" a
(i)
i,i
soit trs petit, ce qui peut entraner des
erreurs darrondi importantes dans les calculs. On peut rsoudre ce problme en utilisant les techniques de pivot
partiel" ou pivot total", qui reviennent choisir une matrice de permutation P qui nest pas forcment gale la
matrice identit dans le thorme 1.17.
Plaons-nous litration i de la mthode de Gauss. Comme la matrice A
(i)
est forcment non singulire, on a :
det(A
(i)
) = a
(i)
1,1
a
(i)
2,2
a
(i)
i1,i1
det
_
_
_
_
a
(i)
i,i
. . . a
(i)
i,n
.
.
.
.
.
.
.
.
.
a
(i)
n,i
. . . a
(i)
n,n
_
_
_
_
= 0.
On a donc en particulier
det
_
_
_
_
a
(i)
i,i
. . . a
(i)
i,n
.
.
.
.
.
.
.
.
.
a
(i)
n,i
. . . a
(i)
n,n
_
_
_
_
= 0.
On dduit quil existe i
0
{i, . . . , n} tel que a
(i)
i0,i
= 0. On choisit alors i
0
{i, . . . , n} tel que |a
(i)
i0,i
| =
max{|a
(i)
k,i
|, k = i, . . . , n}. Le choix de ce max est motiv par le fait quon aura ainsi moins derreur darrondi.
On change alors les lignes i et i
0
(dans la matrice A et le second membre b) et on continue la procdure de Gauss
dcrite plus haut.
Lintrt de cette stratgie de pivot est quon aboutit toujours la rsolution du systme (ds que A est inversible).
Remarque 1.14 (Pivot total). La mthode que nous venons de dcrire est souvent nomme technique de pivot
partiel. On peut vouloir rendre la norme du pivot encore plus grande en considrant tous les coefcients restants
et pas uniquement ceux de la colonne i. A letape i, on choisit maintenant i
0
et j
0
{i, . . . , n} tels que |a
(i)
i0,j0
| =
max{|a
(i)
k,j
|, k = i, . . . , n, j = i, . . . , n}, et on change alors les lignes i et i
0
(dans la matrice A et le second
membre b), les colonnes i et j
0
de Aet les inconnues x
i
et x
j0
. La stratgie du pivot total permet une moins grande
sensibilit aux erreurs darrondi. Linconvnient majeur est quon change la structure de A : si, par exemple la
matrice avait tous ses termes non nuls sur quelques diagonales seulement, ceci nest plus vrai pour la matrice
A
(n)
.
Ecrivons maintenant lalgorithme de la mthode LU avec pivot partiel ; pour ce faire, on va simplement remarquer
que lordre dans lequel les quations sont prises na aucune importance pour lalgorithme. Au dpart de lalgo-
rithme, on initialise la bijection t de {1, . . . , n} dans {1, . . . , n} par lidentit, c..d. t(i) = i ; cette bijection t va
tre modie au cours de lalgorithme pour tenir compte du choix du pivot.
Algorithme 1.15 (LU avec pivot partiel).
1. (Initialisation de t) Pour i allant de 1 n, t(i) = i. Fin pour
2. (Factorisation)
Pour i allant de 1 n, on effectue les calculs suivants :
(a) Choix du pivot (et de t(i)) : on cherche i
{i, . . . , n} t.q. |a
t(i
),i
| = max{|a
t(k),i
|, k
{i, . . . , n}} (noter que ce max est forcment non nul car la matrice est inversible).
On modie alors t en inversant les valeurs de t(i) et t(i
).
p = t(i
) ; t(i
) = t(i) ; t(i) = p.
On ne change pas la ligne t(i) :
u
t(i),j
= a
t(i),j
pour j = i, . . . , n,
(b) On modie les lignes t(k), k > i (et le second membre), en utilisant la ligne t(i).
Pour k = i + 1, . . . , n} (noter quon a uniquement besoin de connatre lensemble , et pas lordre) :
t(k),i
=
a
t(k),i
a
t(i),i
Pour j allant de i + 1 n,
u
t(k),j
= a
t(k),j

t(k),i
u
t(i),j
(noter que u
t(k),i
= 0)
Fin pour
Fin pour
3. (Descente) On calcule y
Pour i allant de 1 n,
y
t(i)
= b
t(i)
i1
j=1
t(j),k
y
k
Fin pour
4. (Remonte) On calcule x
Pour i allant de n 1,
x
(t(i)
=
1
u
t(i),i
(y
i
n
j=i+1
u
t(i),j
x
j
)
Fin pour
NB : On a chang lordre dans lequel les quations sont considres (le tableau t donne cet ordre, et donc la
matrice P). Donc, on a aussi chang lordre dans lequel interviennent les composantes du second membre : le
systme Ax = b est devenu PAx = Pb. Par contre, on na pas touch lordre dans lequel interviennent les
composantes de x et y.
Il reste maintenant signaler le miracle" de cet algorithme. . . Il est inutile de connaitre a priori la bijection pour
cet algorithme. A ltape i de litem 1 (et dailleurs aussi ltape i de litem 2), il suft de connatre t(j) pour
j allant de 1 i, les oprations de 1(b) se faisant alors sur toutes les autres lignes (dans un ordre quelconque).
Il suft donc de partir dune bijection arbitraire de {1, . . . , n} dans {1, . . . , n} (par exemple lidentit) et de la
modier chaque tape. Pour que lalgorithme aboutisse, il suft que a
t(i),i
= 0 (ce qui toujours possible car A
est inversible).
Remarque 1.16 (Ordre des quations et des inconnues). Lalgorithme se ramne donc rsoudre LUx = b, en
faisant Ly = b et Ux = y. Quand on fait Ly = b les equations sont dans lordre t(1), . . . , t(k) (les composantes
de b sont donc aussi prises dans cet ordre), mais le vecteur y est bien le vecteur de composantes (y
1
, . . . , y
n
).
Puis, on fait Ux = y, les quations sont toujours dans lordre t(1), . . . , t(k) mais les vecteurs x et y ont comme
composantes respectives (x
1
, . . . , x
n
) et (y
1
, . . . , y
n
).
Le thorme dexistence Lalgorithme LU avec pivot partiel nous permet de dmontre le thorme dexistence
de la dcomposition LU pour una matrice inversible.
Thorme 1.17 (Dcomposition LU dune matrice). Soit A M
n
(IR) une matrice inversible, il existe une
matrice de permutation P telle que, pour cette matrice de permutation, il existe un et un seul couple de matrices
(L, U) o L est triangulaire infrieure de termes diagonaux gaux 1 et U est triangulaire suprieure, vriant
PA = LU.
DMONSTRATION
1. Lexistence de la matrice P et des matrices L U peut seffectuer en sinspirant de lalgorithme LU avec pivot partiel
1.15).
En effet, chaque tape i de lalgorithme 1.15 peut scrire comme A
(i)
= E
(i)
P
(i)
A
(i1)
, avec A
(0)
= A, P
(i)
est
la matrice de permutation qui permet le choix du pivot partiel, et E
(i)
est une matrice dlimination qui effectue les
combinaisons linaires de lignes permettant de mettre zro tous les coefcients de la colonne i situs en dessous de la
ligne i. Pour simplier, raisonnons sur une matrice 4 4 (le raisonnement est le mme pour une matrice n n. On a donc
en appliquant lalgorithme :
E
(3)
P
(3)
E
(2)
P
(2)
E
(1)
P
(1)
A = U
Les matrices P
(i+1)
et E
(i)
ne permutent pas. Prenons par exemple E2, qui est de la forme
E
(2)
=
_
_
_
_
1 0 0 0
0 1 0 0
0 a 1 0
0 b 0 1
_
_
Si P
(3)
est la matrice qui change les lignes 3 et 4, alors
P
(3)
=
_
_
_
_
1 0 0 0
0 1 0 0
0 0 0 1
0 0 1 1
_
_
et P
(3)
E
(2)
=
_
_
_
_
1 0 0 0
0 1 0 0
0 b 0 1
0 a 1 0
_
_
, alors que E
(2)
P
(3)
=
_
_
_
_
1 0 0 0
0 1 0 0
0 a 0 1
0 b 1 0
_
_
Mais par contre, comme la multiplication gauche par P
(i+1)
permute les lignes i + 1 et i + k, pour un certain k 1,
et que la multiplication droite permute les colonnes i + 1 et i + k, la matrice

E
(i)
= P
(i+1)
E
(i)
P
(i+1)
est encore une
matrice triangulaire infrieure avec la mme structure que E
(i)
: on a juste chang les coefcients extradiagonaux des
lignes i + 1 et i +k. On a donc
P
(i+1)
E
(i)
=

E
(i)
P
(i+1)
. (1.32)
Dans lexemple prcdent, on effectue le calcul :
P
(3)
E
(2)
P
(3)
=
_
_
_
_
1 0 0 0
0 1 1 0
0 b 1 0
0 a 0 1
_
_
=

E
(3
,
qui est une matrice triangulaire infrieure de coefcients tous gaux 1, et comme P
(3)
P
(3)
= Id, on a donc :
P
(3)
E
(2)
=

E
(2)
P
(3)
.
Pour revenir notre exemple n = 4, on peut donc crire :
E
(3)
E
(2)
P
(3)
E
(1)
P
(2)
P
(1)
A = U
Mais par le mme raisonnement que prcdemment, on a P
(3)
E
(1)
=

E
(1)
P
(3)
o

E
(1)
est encore une matrice triangulaire
infrieure avec des 1 sur la diagonale. On en dduit que
E
(3)
E
(2)
E
(1)
P
(3)
P
(2)
P
(1)
A = U, soit encore PA = LU
o P = P
(3)
P
(2)
P
(1)
bien une matrice de permutation, et L = (E
(3)
E
(2)
E
(1)
)
1
est une matrice triangulaire infrieure
avec des 1 sur la diagonale.
Le raisonnement que nous venons de faire pour n = 3 se gnralise facilement n quelconque. Dans ce cas, lchelonne-
ment de la matrice scrit sous la forme
U = E
(n1)
P
(n1)
. . . E
(2)
P
(2)
E
(1)
P
(1)
A,
et se transforme grce (1.32) en
U = F
(n1)
. . . F
(2)
F
(1)
P
(n1)
. . . P
(2)
P
(1)
A,
o les matrices Fi sont des matrices triangulaires infrieures de coefcients diagonaux tous gaux 1. Plus prcisment,
Fn1 = En1, Fn2 =

E
(n2)
, Fn3 =
E
(n3)
, etc. . . On a ainsi dmontr lexistence de la dcomposition LU.
2. Pour montrer lunicit du couple (L, U) P donne, supposons quil existe une matrice P et des matrices L1, L2,
triangulaires infrieures et U1, U2, triangulaires suprieures, telles que
PA = L1U1 = L2U2
Dans ce cas, on a donc L
1
2
L1 = U2U
1
1
. Or la matrice L
1
2
L1 est une matrice triangulaire infrieure dont les coefcients
diagonaux sont tout gaux 1, et la matrice U2U
1
1
est une matrice triangulaire suprieure. On en dduit que L
1
2
L1 =
U2U
1
1
= Id, et donc que L1 = L2 et U1 = U2.
Remarque 1.18 (Dcomposition LU pour les matrices non inversibles). En fait nimporte quelle matrice carre
admet une dcomposition de la forme PA = LU . Mais si la matrice A nest pas inversible, son chelonnement
va nous donner des lignes de zros pour les dernires lignes . Dans ce cas, la dcomposition LU nest dans ce cas
pas unique. Cette remarque fait lobjet de lexercice 18.
Programme FORTRAN Voici le programmes FORTRAN (tests avec un exemple) de lalgorithme LU avec
pivot partiel (1.15). Le programme FORTRAN pour lalgorithme LU sans pivot partiel (1.12) sobtient en com-
mentant les lignes 31 45.
1 pr ogr am g a u s s l u p i v o t (LU avec p i v o t )
2 i mp l i c i t none
3 i n t e g e r : : n , m, i , j , k , i p , i pa , nj
4 doubl e p r e c i s i o n : : p
5 ! ma t r i c e du s ys t eme e t f a c t o r i s a t i o n
6 doubl e p r e c i s i o n , di mens i on ( : , : ) , a l l o c a t a b l e : : a , l , u
7 ! t ( i ) =i eme l i g n e p i v o t
8 i n t e g e r , di mens i on ( : ) , a l l o c a t a b l e : : t
9 ! s econd membre , s o l u t i o n i n t e r me d i a i r e , s o l f i n a l e
10 doubl e p r e c i s i o n , di mens i on ( : ) , a l l o c a t a b l e : : b , y , x
11 n=3
12 m=nn
13 ! De f i n i t i o n de l a ma t r i c e a
14 a l l o c a t e ( a ( n , n ) )
15 a l l o c a t e ( l ( n , n ) )
16 a l l o c a t e ( u ( n , n ) )
17 a ( 1 , 1 ) =1 ; a ( 1 , 2 ) =2 ; a ( 1 , 3 ) =4
18 a ( 2 , 1 ) =2; a ( 2 , 2 ) =5 ; a ( 2 , 3 ) =2
19 a ( 3 , 1 ) =3 ; a ( 3 , 2 ) =1 ; a ( 3 , 3 ) =1
20 do i =1 , n
21 do j =1 , n
22 l ( i , j ) =0
23 u ( i , j ) =0
24 end do
25 end do
26 ! Tabl eau des p i v o t s
27 a l l o c a t e ( t ( k ) )
28 do i =1 , n
29 t ( i ) = i
30 end do
31 ! F a c t o r i s a t i o n avec p i v o t
32 do i =1 , n
33 ! Recher che du p i v o t
34 p=a ( t ( i ) , i )
35 i p = i
36 do j = i +1 , n
37 i f ( a ( t ( j ) , i ) a ( t ( j ) , i ) > pp ) t he n
38 p=a ( t ( j ) , i )
39 i p = j
40 end i f
41 end do
42 ! Pe r mut a t i on de l i g n e s
43 i pa = t ( i )
44 t ( i ) = t ( i p )
45 t ( i p ) =i pa
46 p r i n t , t ( 1 ) , t ( 2 ) , t ( 3 )
47 ! i eme l i g n e
48 do j =i , n
49 u ( t ( i ) , j ) =a ( t ( i ) , j )
50 end do
51 ! changement l i g n e s i +1 a n
52 do j = i +1 , n
53 l ( t ( j ) , i ) =a ( t ( j ) , i ) / a ( t ( i ) , i )
54 do k= i +1 , n
55 a ( t ( j ) , k ) =a ( t ( j ) , k )l ( t ( j ) , i ) a ( t ( i ) , k )
56 end do
57 end do
58 end do
59 ! Second membre
60 a l l o c a t e ( b ( k ) )
61 b ( 1 ) =7 ; b ( 2 ) =5 ; b ( 3 ) =5
62 ! s o l u t i o n
63 a l l o c a t e ( x ( k ) )
64 a l l o c a t e ( y ( k ) )
65 ! d e s c e n t e
66 do i =1 , n
67 y ( i ) =b ( t ( i ) )
68 do k=1 , i 1
69 y ( i ) =y ( i )l ( t ( i ) , k ) y ( k )
70 end do
71 end do
72 p r i n t , y ( 1 ) , y ( 2 ) , y ( 3 )
73 ! r emont ee
74 p r i n t , u ( t ( k ) , n )
75 do i =n , 1 , 1
76 x ( i ) =y ( i )
77 do k= i +1 , n
78 x ( i ) =x ( i )u ( t ( i ) , k ) x ( k )
79 end do
80 x ( i ) =x ( i ) / u ( t ( i ) , i )
81 end do
82 p r i n t , x ( 1 ) , x ( 2 ) , x ( 3 )
83 open ( u n i t =1 , f i l e = r e s u l t a t , s t a t u s = unknown )
84 do i =1 , n
85 wr i t e ( 1 , ) x ( i )
86 end do
87 end
1.3.3 Mthode de Choleski
On va maintenant tudier la mthode de Choleski, qui est une mthode directe adapte au cas o A est symtrique
dnie positive. On rappelle quune matrice A M
n
(IR) de coefcients (a
i,j
)
i=1,n,j=1,n
est symtrique si
A = A
t
, o A
t
dsigne la transpose de A, dnie par les coefcients (a
j,i
)
i=1,n,j=1,n
, et que A est dnie
positive si Ax x > 0 pour tout x IR
n
tel que x = 0. Dans toute la suite, x y dsigne le produit scalaire des
deux vecteurs x et y de IR
n
. On rappelle (exercice) que si A est symtrique dnie positive elle est en particulier
inversible.
Description de la mthode
Commenons par un exemple. On considre la matrice A =
_
_
2 1 0
1 2 0
0 1 2
_
_
, qui est symtrique. Calculons sa
dcomposition LU. Par chelonnement, on obtient
A = LU =
_
_
1 0 0
1
2
1 0
0
2
3
1
_
_
_
_
2 1 0
0
3
2
1
0 0
4
3
_
_
La structure LU ne conserve pas la symtrie de la matrice A. Pour des raisons de cot mmoire, il est important de
pouvoir la conserver. Une faon de faire est de dcomposer U en sa partie diagonale fois une matrice triangulaire.
On obtient
U =
_
_
2 0 0
0
3
2
0
0 0
4
3
_
_
_
_
1
1
2
0
0 1
2
3
0 0 1
_
_
On a donc U = DL
t
, et comme tous les coefcients de D sont positifs, on peut crire D =
D, o
D est
la matrice diagonale dont les lments diagonaux sont les racines carres des lments diagonaux de A. On a donc
A = L
DL
t
=

L
L
t
, avec

L = L
D. Notons que la matrice

L est toujours triangulaire infrieure, mais ses
coefcients diagonaux ne sont plus astreints tre gaux 1. Cest la dcomposition de Choleski de la matrice A.
De fait, la mthode de Choleski consiste donc trouver une dcomposition dune matrice A symtrique dnie
positive de la forme A = LL
t
, o L est triangulaire infrieure de coefcients diagonaux strictement positifs. On
rsout alors le systme Ax = b en rsolvant dabord Ly = b puis le systme L
t
x = y. Une fois la matrice
A factorise", cestdire la dcomposition LL
t
obtenue (voir paragraphe suivant), on effectue les tapes de
descente" et remonte" :
1. Etape 1 : descente" Le systme Ly = b scrit :
Ly =
_
1,1
0
.
.
.
.
.
.
.
.
.
n,1
. . .
n,n
_
_
_
_
y
1
.
.
.
y
n
_
_ =
_
_
b
1
.
.
.
b
n
_
_.
Ce systme scrit composante par composante en partant de i = 1.
1,1
y
1
= b
1
, donc y
1
=
b
1
1,1
2,1
y
1
+
2,2
y
2
= b
2
, donc y
2
=
1
2,2
(b
2
2,1
y
1
)
.
.
.
.
.
.
j=1,i
i,j
y
j
= b
i
, donc y
i
=
1
i,i
(b
i
j=1,i1
i,j
y
j
)
.
.
.
.
.
.
j=1,n
n,j
y
j
= b
n
, donc y
n
=
1
n,n
(b
n
j=1,n1
n,j
y
j
).
On calcule ainsi y
1
, y
2
, . . . , y
n
.
2. Etape 2 : remonte" On calcule maintenant x solution de L
t
x = y.
L
t
x =
_
1,1

2,1
. . .
n,1
0
.
.
.
.
.
.
.
.
.
0 . . .
n,n
_
_
_
_
x
1
.
.
.
x
n
_
_
=
_
_
y
1
.
.
.
y
n
_
_
.
On a donc :
n,n
x
n
= y
n
donc x
n
=
y
n
n,n
n1,n1
x
n1
+
n,n1
x
n
= y
n1
donc x
n1
=
yn1n,n1xn
n1,n1
.
.
.
j=1,n
j,1
x
j
= y
1
donc x
1
=
y
1
j=2,n
j,1
x
j
1,1
.
On calcule ainsi x
n
, x
n1
, . . . , x
1
.
Existence et unicit de la dcomposition
Soit A une matrice symtrique dnie positive. On sait dj par le thorme 1.17 page 27, quil existe une matrice
de permutation et L triangulaire infrieure et U triangulaire suprieure telles que PA = LU. Lavantage dans le
cas o la matrice est symtrique dnie positive, est que la dcomposition est toujours possible sans permutation.
On prouve lexistence et unicit en construisant la dcomposition, c..d. en construisant la matrice L.
Pour comprendre le principe de la preuve, commenons dabord par le cas n = 2. Dans ce cas on peut crire
A =
_
a b
b c
_
. On sait que a > 0 car A est s.d.p. . Lchelonnement de A donne donc
A = LU =
_
1 0
b
a
1
_ _
a b
0 c
b
2
a
_
En extrayant la diagonale de U, on obtient :
A = LU =
_
1 0
b
a
1
_ _
a 0
0 c
b
2
a
_ _
a
b
a
0 1
_
.
Et donc
A =

L
L
t
avec

L =
_
a 0
b
acb
2
a
_
.
Thorme 1.19 (Dcomposition de Choleski). Soit A M
n
(IR) (n 1) une matrice symtrique dnie positive.
Alors il existe une unique matrice L M
n
(IR), L = (
i,j
)
n
i,j=1
, telle que :
1. L est triangulaire infrieure (cestdire
i,j
= 0 si j > i),
2.
i,i
> 0, pour tout i {1, . . . , n},
3. A = LL
t
.
DMONSTRATION
I- Existence de L : dmonstration par rcurrence sur n
1. Dans le cas n = 1, on a A = (a1,1). Comme A est symtrique dnie positive, on a a1,1 > 0. On peut donc dnir
L = (1,1) o 1,1 =

a1,1, et on a bien A = LL
t
.
2. On suppose que la dcomposition de Choleski sobtient pour A Mp(IR) symtrique dnie positive, pour 1
p n et on va dmontrer que la proprit est encore vraie pour A Mn+1(IR) symtrique dnie positive. Soit
donc A Mn+1(IR) symtrique dnie positive ; on peut crire A sous la forme :
A =
_
_
_
_
B a
a
t
_
(1.33)
o B Mn(IR) est symtrique, a IR
n
et IR. Montrons que B est dnie positive, c..d. que By y > 0,
pour tout y IR
n
tel que y = 0. Soit donc y IR
n
\ {0}, et x =
_
y
0
_
IR
n+1
. Comme A est symtrique dnie
positive, on a :
0 < Ax x =
_
_
_
_
B a
a
t
_
_
_
_
_
y
0
_
_
_
_
_
y
0
_
_
=
_
_
_
_
By
a
t
y
_
_
_
_
_
y
0
_
_
= By y
donc B est dnie positive. Par hypothse de rcurrence, il existe une matrice M Mn(IR) M = (mi,j)
n
i,j=1
telle
que :
(a) mi,j = 0 si j > i
(b) mi,i > 0
(c) B = MM
t
.
On va chercher L sous la forme :
L =
_
_
_
_
M 0
b
t
_
(1.34)
avec b IR
n
, IR
+
tels que LL
t
= A. Pour dterminer b et , calculons LL
t
o L est de la forme (1.34) et
identions avec A :
LL
t
=
_
_
_
_
M 0
b
t
_
_
_
_
_
M
t
b
0
_
_
=
_
_
_
_
MM
t
Mb
b
t
M
t
b
t
b +
2
_
_
On cherche b IR
n
et IR
+
tels que LL
t
= A, et on veut donc que les galits suivantes soient vries :
Mb = a et b
t
b +
2
= .
Comme M est inversible (en effet, le dterminant de M scrit det(M) =
n
i=1
mi,i > 0), la premire galit
ci-dessus donne : b = M
1
a et en remplaant dans la deuxime galit, on obtient : (M
1
a)
t
(M
1
a) +
2
= ,
donc a
t
(M
t
)
1
M
1
a +
2
= soit encore a
t
(MM
t
)
1
a +
2
= , cestdire :
a
t
B
1
a +
2
= (1.35)
Pour que (1.35) soit vrie, il faut que
a
t
B
1
a > 0 (1.36)
Montrons que la condition (1.36) est effectivement vrie : Soit z =
_
B
1
a
1
_
IR
n+1
. On a z = 0 et donc
Az z > 0 car A est symtrique dnie positive. Calculons Az :
Az =
_
_
B a
a
t
_
_
_
_
_
_
B
1
a
1
_
_
=
_
_
_
_
0
a
t
B
1
a
_
_
.
On a donc Az z = a
t
B
1
a > 0 ce qui montre que (1.36) est vrie. On peut ainsi choisir =
a
t
B
1
a
(> 0) de telle sorte que (1.35) est vrie. Posons :
L =
_
_
_
_
M 0
(M
1
a)
t
_
.
La matrice L est bien triangulaire infrieure et vrie i,i > 0 et A = LL
t
.
On a termin ainsi la partie existence.
II- Unicit et calcul de L. Soit A Mn(IR) symtrique dnie positive ; on vient de montrer quil existe L Mn(IR)
triangulaire infrieure telle que i,j = 0 si j > i, i,i > 0 et A = LL
t
. On a donc :
ai,j =
n
k=1
i,k
j,k
, (i, j) {1 . . . n}
2
. (1.37)
1. Calculons la 1-re colonne de L; pour j = 1, on a :
a1,1 = 1,11,1 donc 1,1 =

a1,1 (a1,1 > 0 car 1,1 existe ),
a2,1 = 2,11,1 donc 2,1 =
a2,1
1,1
,
ai,1 = i,11,1 donc i,1 =
ai,1
1,1
i {2, . . . , n}.
2. On suppose avoir calcul les q premires colonnes de L. On calcule la colonne (q + 1) en prenant j = q + 1 dans
(1.37)
Pour i = q + 1, aq+1,q+1 =
q+1
k=1
q+1,k
q+1,k
donc
q+1,q+1 = (aq+1,q+1
q
k=1
2
q+1,k
)
1/2
> 0. (1.38)
Notons que aq+1,q+1
q
k=1
2
q+1,k
> 0 car L existe : il est indispensable davoir dabord montr lexistence de L
pour pouvoir exhiber le coefcient q+1,q+1.
On procde de la mme manire pour i = q + 2, . . . , n; on a :
ai,q+1 =
q+1
k=1
i,k
q+1,k
=
q
k=1
i,k
q+1,k
+i,q+1q+1,q+1
et donc
i,q+1 =
_
ai,q+1
q
k=1
i,k
q+1,k
_
1
q+1,q+1
. (1.39)
On calcule ainsi toutes les colonnes de L. On a donc montr que L est unique par un moyen constructif de calcul de
L.
Remarque 1.20 (Choleski et LU.). Considrons une matrice A symtrique dnie positive. Alors une matrice P
de permutation dans le thorme 1.19 possible nest autre que lidentit. Il suft pour sen convaincre de remarquer
quune fois quon sest donn la bijection t = Id dans lalgorithme 1.15, celle-ci nest jamais modie et donc on
a P = Id. Les thormes dexistence et dunicit 1.17 et 1.19 nous permettent alors de remarquer que A = LU =
L
t
avec

L = L
D, o D est la matrice diagonale extraite de U, et
D dsigne la matrice dont les coefcients

sont les racines carres des coefcients de D (qui sont tous positifs). Voir ce sujet lexercice 19 39.
Remarque 1.21 (Pivot partiel et Choleski.). Considrons une matrice A symtrique dnie positive. On a vu dans
le thorme quon na pas besoin de permutation pour obtenir la dcomposition LL
t
dune matrice symtrique
dnie positive. Par contre, on utilise malgr tout la technique de pivot partiel pour minimiser les erreurs darrondi.
On peut illustrer cette raison par lexemple suivant :
A =
_
10
n
1
1 1
_
titre dillustration, pour n = 12 en FORTRAN (double prcision), on obtient la bonne solution, c..d. (1, 1),
avec le programme gausslupivot donn plus haut, alors que le programme sans pivot gausslu donne comme
solution (0, 1).
Calcul du cot de la mthode de Choleski
Calcul du cot de calcul de la matrice L Dans le procd de calcul de L expos ci-dessus, le nombre dop-
rations pour calculer la premire colonne est n. Calculons, pour p = 0, . . . , n 1, le nombre doprations pour
calculer la (p + 1)-ime colonne : pour la colonne (p + 1), le nombre doprations par ligne est 2p + 1, car le
calcul de
p+1,p+1
par la formule (1.38) ncessite p multiplications, p soustractions et une extraction de racine,
soit 2p + 1 oprations ; le calcul de
i,p+1
par la formule (1.39) ncessite p multiplications, p soustractions et une
division, soit encore 2p +1 oprations. Comme les calculs se font des lignes p +1 n (car
i,p+1
= 0 pour i p),
le nombre doprations pour calculer la (p+1)-ime colonne est donc (2p+1)(np). On en dduit que le nombre
doprations N
L
ncessaires au calcul de L est :
N
L
=
n1
p=0
(2p + 1)(n p) = 2n
n1
p=0
p 2
n1
p=0
p
2
+n
n1
p=0
1
n1
p=0
p
= (2n 1)
n(n 1)
2
+n
2
2
n1
p=0
p
2
.
(On rappelle que 2
n1
p=0
p = n(n 1).) Il reste calculer C
n
=
n
p=0
p
2
, en remarquant par exemple que
n
p=0
(1 +p)
3
=
n
p=0
1 +p
3
+ 3p
2
+ 3p =
n
p=0
1 +
n
p=0
p
3
+ 3
n
p=0
p
2
+ 3
n
p=0
p
=
n+1
p=1
p
3
=
n
p=0
p
3
+ (n + 1)
3
.
On a donc 3C
n
+ 3
n(n+1)
2
+n + 1 = (n + 1)
3
, do on dduit que
C
n
=
n(n + 1)(2n + 1)
6
.
On a donc :
N
L
= (2n 1)
n(n 1)
2
2C
n1
+n
2
= n
_
2n
2
+ 3n + 1
6
_
=
n
3
3
+
n
2
2
+
n
6
=
n
3
3
+ 0(n
2
).
Cot de la rsolution dun systme linaire par la mthode LL
t
Nous pouvons maintenant calculer le cot
(en termes de nombre doprations lmentaires) ncessaire la rsolution de (1.1) par la mthode de Choleski
pour A M
n
(IR) symtrique dnie positive. On a besoin de N
L
oprations pour le calcul de L, auquel il faut
rajouter le nombre doprations ncessaires pour les tapes de descente et remonte. Le calcul de y solution de
Ly = b seffectue en rsolvant le systme :
_
1,1
0
.
.
.
.
.
.
.
.
.
n,1
. . .
n,1
_
_
_
_
y
1
.
.
.
y
n
_
_ =
_
_
b
1
.
.
.
b
n
_
_
Pour la ligne 1, le calcul y
1
=
b
1
1,1
seffectue en une opration.
Pour les lignes p = 2 n, le calcul y
p
=
_
b
p
p1
i=1

i,p
y
i
_
/
p,p
seffectue en (p1) (multiplications) +(p2)
(additions) +1 soustraction +1 (division) = 2p 1 oprations. Le calcul de y (descente) seffectue donc en
N
1
=
n
p=1
(2p 1) = n(n + 1) n = n
2
. On peut calculer de manire similaire le nombre doprations
ncessaires pour ltape de remonte N
2
= n
2
. Le nombre total doprations pour calculer x solution de (1.1) par
la mthode de Choleski est N
C
= N
L
+N
1
+N
2
=
n
3
3
+
n
2
2
+
n
6
+2n
2
=
n
3
3
+
5n
2
2
+
n
6
. Ltape la plus coteuse
est donc la factorisation de A.
Remarque 1.22 (Dcomposition LDL
t
). Dans les programmes informatiques, on prfre implanter la variante
suivante de la dcomposition de Choleski : A =

LD
L
t
o D est la matrice diagonale dnie par d
i,i
=
2
i,i
,

L
i,i
=
L

D
1
, o

D est la matrice diagonale dnie par d
i,i
=
i,i
. Cette dcomposition a lavantage de ne pas faire
intervenir le calcul de racines carres, qui est une opration plus complique que les oprations lmentaires"
(, +, ).
1.3.4 Quelques proprits
Comparaison Gauss/Choleski
Soit A M
n
(IR) inversible, la rsolution de (1.1) par la mthode de Gauss demande 2n
3
/3 + 0(n
2
) oprations
(exercice). Dans le cas dune matrice symtrique dnie positive, la mthode de Choleski est donc environ deux
fois moins chre.
Et la mthode de Cramer ?
Soit A M
n
(IR) inversible. On rappelle que la mthode de Cramer pour la rsolution de (1.1) consiste calculer
les composantes de x par les formules :
x
i
=
det(A
i
)
det(A)
, i = 1, . . . , n,
o A
i
est la matrice carre dordre n obtenue partir de A en remplaant la i-me colonne de A par le vecteur b,
et det(A) dsigne le dterminant de A.
Chaque calcul de dterminant dune matrice carre dordre n ncessite au moins n! oprations (voir cours L1-L2,
ou livres dalgbre linaire proposs en avant-propos). Par exemple, pour n = 10, la mthode de Gauss ncessite
environ 700 oprations, la mthode de Choleski environ 350 et la mthode de Cramer plus de 4 000 000. . . . Cette
dernire mthode est donc proscrire.
Conservation du prol de A
Dans de nombreuses applications, par exemple lors de la rsolution de systmes linaires issus de la discrtisation
4
de problmes rels, la matrice A M
n
(IR) est creuse", au sens o un grand nombre de ses coefcients sont nuls.
Il est intressant dans ce cas pour des raisons dconomie de mmoire de connatre le prol" de la matrice, donn
dans le cas o la matrice est symtrique, par les indices j
i
= min{j {1, . . . , n} tels que a
i,j
= 0}. Le prol de
la matrice est donc dtermin par les diagonales contenant des coefcients non nuls qui sont les plus loignes de
la diagonale principale. Dans le cas dune matrice creuse, il est avantageux de faire un stockage prol" de A, en
stockant, pour chaque ligne i la valeur de j
i
et des coefcients a
i,k
, pour k = i j
i
, . . . , i, ce qui peut permettre
un large gain de place mmoire, comme on peut sen rendre compte sur la gure ??.
0
0
FIGURE 1.4: Exemple de prol dune matrice symtrique
Une proprit intressante de la mthode de Choleski est de conserver le prol. On peut montrer (en reprenant les
calculs effectus dans la deuxime partie de la dmonstration du thorme 1.19) que
i,j
= 0 si j < j
i
. Donc si on
a adopt un stockage prol" de A, on peut utiliser le mme stockage pour L.
Matrices non symtriques
Soit A M
n
(IR) inversible. On ne suppose plus ici que A est symtrique. On cherche calculer x IR
n
solution de (1.1) par la mthode de Choleski. Ceci est possible en remarquant que : Ax = b A
t
Ax = A
t
b car
4. On appelle discrtisation le fait de se ramener dun problme o linconnue est une fonction en un problme ayant un nombre ni
dinconnues.
det(A) = det(A
t
) = 0. Il ne reste alors plus qu vrier que A
t
A est symtrique dnie positive. Remarquons
dabord que pour toute matrice A M
n
(IR), la matrice AA
t
est symtrique. Pour cela on utilise le fait que
si B M
n
(IR), alors B est symtrique si et seulement si Bx y = x By et Bx y = x B
t
y pour tout
(x, y) (IR
n
)
2
. En prenant B = A
t
A, on en dduit que A
t
A est symtrique. De plus, comme A est inversible,
A
t
Ax x = Ax Ax = |Ax|
2
> 0 si x = 0. La matrice A
t
A est donc bien symtrique dnie positive.
La mthode de Choleski dans le cas dune matrice non symtrique consiste donc calculer A
t
A et A
t
b, puis
rsoudre le systme linaireA
t
A x = A
t
b par la mthode de Choleski symtrique".
Cette manire de faire est plutt moins efcace que la dcomposition LU puisque le cot de la dcomposition LU
est de 2n
3
/3 alors que la mthode de Choleski dans le cas dune matrice non symtrique ncessite au moins 4n
3
/3
oprations (voir exercice 20).
Systmes linaires non carrs
On considre ici des matrices qui ne sont plus carres. On dsigne par M
M,n
(IR) lensemble des matrices relles
M lignes et n colonnes. Pour A M
M,n
(IR), M > n et b IR
M
, on cherche x IR
n
tel que
Ax = b. (1.40)
Ce systme contient plus dquations que dinconnues et nadmet donc en gnral pas de solution. On cherche
x IR
n
qui vrie le sytme (1.40) au mieux". On introduit pour cela une fonction f dnie deIR
n
dans IR par :
f(x) = |Ax b|
2
,
o |x| =
x x dsigne la norme euclidienne sur IR

n
. La fonction f ainsi dnie est videmment positive, et sil
existe x qui annule f, alors x est solution du systme (1.40). Comme on la dit, un tel x nexiste pas forcment, et on
cherche alors un vecteur x qui vrie (1.40) au mieux", au sens o f(x) soit le plus proche de 0. On cherche donc
x IR
n
satisfaisant (1.40) en minimisant f, c..d. en cherchant x IR
n
solution du problme doptimisation :
f(x) f(y) y IR
n
(1.41)
On peut rcrire f sous la forme : f(x) = A
t
Ax x 2b Ax + b b. On montrera au chapitre III que sil existe
une solution au problme (1.41), elle est donne par la rsolution du systme linaire suivant :
AA
t
x = A
t
b IR
n
, (1.42)
quon appelle quations normales du problme de minimisation. La rsolution approche du problme (1.40) par
cette procdure est appele mthode des moindres carrs . La matrice AA
t
tant symtrique, on peut alors employer
la mthode de Choleski pour la rsolution du systme (1.42).
1.3.5 Exercices
Exercice 11 (Vrai ou faux ?). Corrig en page 1.3.7
Les propositions suivantes sont-elles vraies ou fausses ?
1. La matrice B =
_
_
1 2 0
1 1 0
0 0 3
_
_
2. La matrice B ci-dessus admet une dcomposition LU.
3. La matrice
_
1 1
1 3
_
scrit C
t
C.
4. La matrice A =
_
1 1
1 5
_
admet une dcomposition de Choleski A = C
t
C avec C =
_
1 1
0 2
_
.
Exercice 12 (LU). Corrig en page 1.3.7
1. Donner la dcomposition LU de la matrice A =
_
_
_
_
1 0 0 1
0 2 0 1
0 0 1 1
1 2 1 0
_
_
_
_
.
2. Montrer que la matrice A =
_
_
1 0 0
0 0 1
0 1 0
_
_
vrie PA = LU avec P une matrice de permutation, L triangu-
laire infrieure et U triangulaire suprieure dterminer.
3. Calculer la dcomposition LU de la matrice
_
_
2 1 0
1 2 1
0 1 2
_
_
Exercice 13 (Echelonnement et factorisation LU et LDU). Corrig en page 41.
Echelonner les matrices suivantes (c..d. appliquer lalgorithme de Gauss), et lorsquelle existe, donner leur d-
composition LU et LDU
A =
_
_
2 1 4 0
4 1 5 1
2 2 2 3
0 3 9 4
_
_
; B =
_
_
1. 2. 1. 2.
1. 1. 0. 2.
1. 2. 2. 3.
1. 1. 1. 0.
_
_
.
Exercice 14 (Dcomposition LU dune matrice paramtres). Corrig en page 42.
Soient a, b, c et d des nombres rels. On considre la matrice suivante :
A =
_
_
a a a a
a b b b
a b c c
a b c d
_
_
.
Appliquer lalgorithme dlimination de Gauss A pour obtenir sa dcomposition LU.
Donner les conditions sur a, b, c et d pour que la matrice A soit inversible.
Exercice 15 (Dcomposition LU et mineurs principaux). Montrer que la matrice A de coefcients
a
ij
=
_
_
_
1 si i > j
1 si i = j et j = n
0 sinon
admet une dcomposition LU (sans permutation pralable). Calculer les coefcients diagonaux de la matrice U.
Exercice 16 (Conservation du prol). On considre des matrices A et B M
4
(IR) de la forme suivante, o x en
position (i, j) de la matrice signie que le coefcient a
i,j
est non nul) et 0 en position (i, j) de la matrice signie
que a
i,j
= 0.)
A =
_
_
x x x x
x x x 0
0 x x 0
0 0. x. x
_
_
et B =
_
_
x x x 0
x x 0 x
0 x x x
0 x. x. x
_
_
.
Quels sont les coefcients nuls (nots 0 dans les matrices) qui resteront nuls dans les matrices L et U de la
factorisation LU (si elle existe) ?
Exercice 17 (Matrices dnies positives et dcomposition LU). On rappelle que les mineurs principaux dune
matrice A M
n
(IR), sont les dterminants
p
des matrices A
p
= A(1 : p, 1 : p) extraites de la matrice A.
1. Montrer quune matrice symtrique dnie positive a tous ses mineurs pricipaux strictement positifs.
2. En dduire que toute matrice symtrique dnie positive admet une dcomposition LU.
Exercice 18 (Matrices non inversibles et dcomposition LU).
1. Matrices 2 2
(a) Soit A =
_
a
11
a
12
a
21
a
22
_
On suppose que a
11
= 0.
i. Echelonner la matrice A et en dduire quil existe une matrice

L triangulaire infrieure dont
les coefcients diagonaux sont gaux 1, et une matrice

U triangulaire suprieure telles que
A =

L
U.
ii. Montrer que

L et

U sont uniques.
iii. Donner une condition ncessaire et sufsante sur les coefcients de A pour que la matrice

U soit
inversible.
(b) On pose maintenant A =
_
0 1
0 1
_
. Trouver deux matrices

L
1
et

L
2
distinctes, toutes deux triangulaires
infrieures et dont les coefcients diagonaux sont gaux 1, et des matrices

U
1
et

U
2
triangulaires
suprieures avec A =

L
1
U
1
=

L
2
U
2
.
2. Matrices 3 3
(a) Echelonner la matrice A =
_
_
1. 2. 3.
5. 7. 9.
12. 15. 18.
_
_
. et en dduire que la matrice A peut se dcomposer en
A =

L
U o

L est une matrice triangulaire infrieure dont les coefcients diagonaux sont gaux 1,
et

U est une matrice triangulaire suprieure.
(b) Soit A =
_
_
a
11
a
12
a
13
a
21
a
22
a
23
a
31
a
32
a
33
_
_
. Montrer que si a
11
= 0 et que la matrice
_
a
11
a
12
a
21
a
22
_
est inversible,
alors il existe un unique couple de matrices (
L,

U) tel que A =

L
U, o

L est triangulaire infrieure
dont les coefcients diagonaux sont gaux 1, et une matrice

U triangulaire suprieure.
3. Matrices n n.
(a) Gnraliser le rsultat de la question une matrice de dimension n : donner le rsultat espr sous
forme de thorme et le dmontrer.
(b) Soit maintenant A une matrice de dimensions nn. . Montrer quil existe une matrice de permutation
P et des matrices

L triangulaire infrieure et de coefcients diagonaux gaux 1, et

U triangulaire
suprieure, telles que PA = LU. (On pourra commencer par le cas o est de rang gal n 1.)
Exercice 19 (Dcomposition LL
t
pratique ). Corrig en page 43.
1. Soit A une matrice symtrique dnie positive. Montrer que la dcomposition de Choleski

L
L
t
de la matrice A
est obtenue partir de sa dcomposition LU en posant

L = L
D o D est la matrice diagonale extraite de U.

(Voir remarque 1.20.)
En dduire la dcomposition LL
t
de la matrice particulire A =
_
_
2 1 0 0
1 2 1 0
0 1 2 1
0 0 1 2
_
_
.
2. . Que deviennent les coefcients nuls dans la dcomposition LL
t
ci-dessus ? Quelle est la proprit vue en cours
qui est ainsi vrie ?
Exercice 20 (Sur la mthode LL
t
). Corrig dtaill en page 46.
Soit A une matrice carre dordre n, symtrique dnie positive et pleine. On cherche rsoudre le systme
A
2
x = b.
On propose deux mthodes de rsolution de ce systme :
1. Calculer A
2
, effectuer la dcomposition LL
t
de A
2
, rsoudre le systme LL
t
x = b.
2. Calculer la dcomposition LL
t
de A, rsoudre les systmes LL
t
y = b et LL
t
x = y.
Calculer le nombre doprations lmentaires ncessaires pour chacune des deux mthodes et comparer.
Exercice 21 (Dcomposition LDL
t
et LL
t
). Corrig en page 46
1. Soit A =
_
2 1
1 0
_
.
Calculer la dcomposition LDL
t
de A. Existe-t-il une dcomposition LL
t
de A?
2. Montrer que toute matrice de M
n
(IR) symtrique dnie positive admet une dcomposition LDL
t
.
3. Ecrire lalgorithme de dcomposition LDL
t
. La matrice A =
_
0 1
1 0
_
admet-elle une dcomposition
LDL
t
?
Exercice 22 (Dcomposition LL
t
dune matrice tridiagonale symtrique). Soit A M
n
(IR) symtrique dnie
positive et tridiagonale (i.e. a
i,j
= 0 si i j > 1).
1. Montrer que A admet une dcomposition LL
t
, o L est de la forme
L =
_
_
_
_
_
_
_
_
1
0 . . . 0
2

2
0 . . . 0
0
.
.
.
.
.
. . . . 0
.
.
.
.
.
.
.
.
. . . .
.
.
.
0 0
n

n
_
_
_
_
_
_
_
_
.
2. Donner un algorithme de calcul des coefcients
i
et
i
, en fonction des coefcients a
i,j
, et calculer le
nombre doprations lementaires ncessaires dans ce cas.
3. En dduire la dcomposition LL
t
de la matrice :
A =
_
_
_
_
_
_
1 1 0 0 0
1 2 1 0 0
0 1 2 1 0
0 0 1 2 1
0 0 0 1 2
_
_
_
_
_
_
.
4. Linverse dune matrice inversible tridiagonale est elle tridiagonale ?
Exercice 23 (Choleski pour matrice bande). Suggestions en page 40, corrig en page 48
Soit A M
n
(IR) une matrice symtrique dnie positive.
1. On suppose ici que A est tridiagonale. Estimer le nombre doprations de la factorisation LL
t
dans ce cas.
2. Mme question si A est une matrice bande (cest--dire p diagonales non nulles).
3. En dduire une estimation du nombre doprations ncessaires pour la discrtisation de lquation u
= f
vue page 10. Mme question pour la discrtisation de lquation u = f prsente page 12.
1.3.6 Suggestions
Exercice 23 page 40
2. Soit q le nombre de sur- ou sous-diagonales (p = 2q + 1). Compter le nombre c
q
doprations ncessaires
pour le calcul des colonnes 1 q et n q + 1 n, puis le nombre d
n
doprations ncessaires pour le calcul des
colonnes n = q + 1 n q. En dduire lestimation sur le nombre doprations ncessaires pour le calcul de toutes
les colonnes, Z
p
(n), par :
2c
q
Z
p
(n)2c
q
+
nq
n=q+1
c
n
.
1.3.7 Corrigs
Exercice 11 page 37 (Vrai ou faux ?)
1. La matrice B nest pas symtrique.
2. Llimination de Gauss donne A = LU avec
L =
_
_
1 0 0
1 1 0
0 0 1
_
_
et U =
_
_
1 2 0
0 1 0
0 0 3
_
_
.
La matrice B ci-dessus admet une dcomposition LU.
3. Non car elle nest pas symtrique.
4. La matrice A =
_
1 1
1 5
_
admet une dcomposition de Choleski A = C
t
C avec C =
_
1 1
0 2
_
. Non la
dcomposition de Choleski fait apparatre des termes positifs sur la diagonale. Elle scrit
A =
_
1 0
1 2
_ _
1 1
0 2
_
.
Exercice 12 page 38 (Dcomposition LU)
1. Lchelonnement donne
L =
_
_
1 0 0 0
0 1 0. 0.
0 0 1 0.
1 1 1 1.
_
_
et U =
_
_
1 0 0 1
0 2 0 1
0 0 1 1
0 0 0 3
_
_
2. La matrice A est une matrice de permutation (des lignes 2 et 3). Donc on a P = A et PA = Id = LU avec
L = U = Id.
3. Calculer la dcomposition LU de la matrice
_
_
2 1 0
1 2 1
0 1 2
_
_
Lchelonnement donne
L =
_
_
1 0 0
1
2
1 0
0
2
3
1
_
_
et U =
_
_
2 1 0
0
3
2
1
0 0
4
3
_
_
Exercice 13 page 38 (Dcomposition LU)
Pour la premire matrice, on donne le dtail de llimination de Gauss sur cette matrice, et on montre ainsi quon
peut stocker les multiplicateurs quon utilise au fur et mesure dans la matrice L pour chaque tape k.
Etape k = 1
A = A
(1)
=
_
_
2 1 4 0
4 1 5 1
2 2 2 3
0 3 9 4
_
2221
33++1
_
_
2 1 4 0
0 1 3 1
0 1 2 3
0 3 9 4
_
_
= A
(2)
o
i

i
j
veut dire quon a soustrait fois la ligne j la ligne i. On a donc, sous forme matricielle,
A
(2)
= E
(1)
A
(1)
avec E
(1)
=
_
_
1 0 0 0
2 1 0 0
1 0 1 0
0 0 0 1
_
_
.
Notons que A = A
(1)
= (E
(1)
)
1
A
(2)
avec (E
(1)
)
1
=
_
_
1 0 0 0
2 1 0 0
1 0 1 0
0 0 0 1
_
_
et donc L =
_
_
1 0 0 0
2 1 0 0
1 x 1 0
x x x 1
_
_
Etape k = 2
A
(2)
=
_
_
2 1 4 0
0 1 3 1
0 1 2 3
0 3 9 4
_
332
4432
=
_
_
2 1 4 0
0 1 3 1
0 0 5 2
0 0 0 1
_
_
= A
(3)
= E
(2)
A
(2)
avec E
(2)
=
_
_
1 0 0 0
0 1 0 0
0 1 1 0
0 3 0 1
_
_
.
Notons que A
(2)
= (E
(2)
)
1
A
(3)
avec (E
(2)
)
1
=
_
_
1 0 0 0
0 1 0 0
0 1 1 0
0 3 0 1
_
_
et donc L =
_
_
1 0 0 0
2 1 0 0
1 1 1 0
0 3 0 1
_
_
.
Et la vie est belle... car A
(3)
est dj triangulaire suprieure, avec tous les coefcients diagonaux non nuls (ce qui
prouve A est inversible). On na donc pas besoin dtape 4 :
U = A
(3)
=
_
_
2 1 4 0
0 1 3 1
0 0 5 2
0 0 0 1
_
_
.
On a galement U = A
(3)
= E
(2)
E
(1)
A, soit encore A = (E
(1)
)
1
(E
(2)
)
1
U = LU avec
L = (E
(1)
)
1
(E
(2)
)
1
=
_
_
1 0 0 0
2 1 0 0
1 1 1 0
0 3 0 1
_
_
On peut vrier par le calcul quon a bien A = LU. Une fois que le mcanisme dlimination est bien compris, il
est inutile de calculer les matrices E
k)
: on peut directement stocker les multiplicateurs de llimination de Gauss
dans la matrice L. Cest ce quon va faire pour la prochaine matrice.
Pour la troisime matrice, le mme type de raisonnement donne donc : L =
_
_
1. 0. 0. 0.
1. 1. 0. 0.
1. 0. 1. 0.
1. 1. 1. 1.
_
_
, U =
_
_
1. 2. 1. 2.
0. 1. 1. 0.
0. 0. 1. 1.
0. 0. 0. 1.
_
_
Exercice 14 page 38 (Sur la mthode LL
t
)
Appliquons lalgorithme de Gauss ; la premire tape de llimination consiste retrancher la premire ligne
toutes les autres, c..d. multiplier A gauche par E
1
, avec
E
1
=
_
_
1 0 0 0
1 1 0 0
1 0 1 0
1 0 0 1
_
_
.
On obtient :
E
1
A=
_
_
a a a a
0 b a b a b a
0 b a c a c a
0 b a c a d a
_
_
.
La deuxime tape consiste multiplier A gauche par E
2
, avec
E
2
==
_
_
1 0 0 0
0 1 0 0
0 1 1 0
0 1 0 1
_
_
.
On obtient :
E
2
E
1
A=
_
_
a a a a
0 b a b a b a
0 0 c b c b
0 0 c b d b
_
_
.
Enn, la troisime tape consiste multiplier A gauche par E
3
, avec
E
3
=
_
_
1 0 0 0
0 1 0 0
0 0 1 0
0 0 1 1
_
_
.
On obtient :
E
3
E
2
E
1
A =
_
_
a a a a
0 b a b a b a
0 0 c b c b
0 0 0 d c
_
_
.
On A = LU avec L = (E
3
E
2
E
1
)
1
= (E
1
)
1
(E
2
)
1
(E
3
)
1
; les matrices (E
1
)
1
, (E
2
)
1
et (E
3
)
1
sont
faciles calculer : la multiplication gauche par (E
1
)
1
consiste ajouter la premire ligne toutes les suivantes ;
on calcule de la mme faon (E
2
)
1
et (E
3
)
1
. On obtient :
(E
1
)
1
=
_
_
1 0 0 0
1 1 0 0
1 0 1 0
1 0 0 1
_
_
, (E
2
)
1
=
_
_
1 0 0 0
0 1 0 0
0 1 1 0
0 1 0 1
_
_
, (E
3
)
1
=
_
_
1 0 0 0
0 1 0 0
0 0 1 0
0 0 1 1
_
_
,
et donc L =
_
_
1 0 0 0
1 1 0 0
1 1 1 0
1 1 1 1
_
_
et U =
_
_
a a a a
0 b a b a b a
0 0 c b c b
0 0 0 d c
_
_
.
La matrice L est inversible car produit de matrices lmentaires, et la matrice A est donc inversible si et seulement
si la matrice U lest. Or U est une matrice triangulaire qui est inversible si et seulement si ses lments diagonaux
sont non nuls, c..d. a = 0, b = c et c = d.
Exercice 19 page 39 (Dcomposition LL
t
pratique )
1. Ecrivons llimination de Gauss sur cette matrice, en stockant les multiplicateurs quon utilise au fur et mesure
dans la matrice E
(k)
pour chaque tape k.
Etape k = 1
A = A
(1)
=
_
_
2 1 4 0
4 1 5 1
2 2 2 3
0 3 9 4
_
2221
33++1
_
_
2 1 4 0
0 1 3 1
0 1 2 3
0 3 9 4
_
_
= A
(2)
o
i

i
j
veut dire quon a soustrait fois la ligne j la ligne i. On a donc, sous forme matricielle,
A
(2)
= E
(1)
A
(1)
avec E
(1)
=
_
_
1 0 0 0
2 1 0 0
1 0 1 0
0 0 0 1
_
_
.
Notons que A = A
(1)
= (E
(1)
)
1
A
(2)
avec (E
(1)
)
1
=
_
_
1 0 0 0
2 1 0 0
1 0 1 0
0 0 0 1
_
_
Etape k = 2
A
(2)
=
_
_
2 1 4 0
0 1 3 1
0 1 2 3
0 3 9 4
_
332
4432
=
_
_
2 1 4 0
0 1 3 1
0 0 5 2
0 0 0 1
_
_
= A
(3)
= E
(2)
A
(2)
avec E
(2)
=
_
_
1 0 0 0
0 1 0 0
0 1 1 0
0 3 0 1
_
_
.
Notons que A
(2)
= (E
(2)
)
1
A
(3)
avec (E
(2)
)
1
=
_
_
1 0 0 0
0 1 0 0
0 1 1 0
0 3 0 1
_
_
.
Et la vie est belle... car A
(3)
est dj triangulaire suprieure, avec tous les coefcients diagonaux non nuls (ce qui
prouve A est inversible). On na donc pas besoin dtape 4 :
U = A
(3)
=
_
_
2 1 4 0
0 1 3 1
0 0 5 2
0 0 0 1
_
_
.
On a galement U = A
(3)
= E
(2)
E
(1)
A, soit encore A = (E
(1)
)
1
(E
(2)
)
1
U = LU avec
L = (E
(1)
)
1
(E
(2)
)
1
=
_
_
1 0 0 0
2 1 0 0
1 1 1 0
0 3 0 1
_
_
2. Si Aest une matrice symtrique dnie positive, on sait par le thorme 1.17 et la remarque 1.20 quil existe une
unique dcomposition LU : A = LU. Le thorme 1.19 nous donne lexistence (et lunicit) de la dcomposition
A =

L
L
t
. Soit

D la matrice diagonale extraite de

L, qui est strictement positive par construction de

L; on pose
L =

L

D
1
. On a donc A =

L

D

D
L
t
=

L
U, avec

U =

D
2
L
t
. La matrice

D =

D
2
est donc la diagonale de la
matrice

U. Par unicit de la dcomposition LU, on a

L = L,

U = U et

D = D, et donc

L = L
D.
Montrons maintenant que A =
_
_
2 1 0 0
1 2 1 0
0 1 2 1
0 0 1 2
_
_
est s.d.p (symtrique dnite positive). Elle est videm-
ment symtrique. Soit x = (a, b, c, d) IR
4
. Calculons Ax x :
Ax x =
_
_
2a b
a + 2b c
b + 2c d
c + 2d
_
_
a
b
c
d
_
_
Donc Ax x = 2a
2
abab+2b
2
bcbc+2c
2
cdcd+2d
2
= a
2
+(ab)
2
+(bc)
2
+(cd)
2
+d
2
0.
De plus Ax x = 0 ssi a = b = c = d = 0. Donc A est sdp.
On peut soit appliquer ici lalgorithme de construction de la matrice donn dans la partie unicit de la preuve
du thorme 1.19 dexistence et dunicit de la dcomposition de Choleski, soit procder comme en 1, calculer la
dcomposition LU habituelle, puis calculer la dcomposition de A = LU, crire A =

L
L
t
avec

L = L
D, o
Det D la matrice diagonale extraite de U, comme dcrit plus haut. Nous allons procder selon le deuxime choix,
qui est un peu plus rapide crire. (on utilise ici la notation

L parce que les matrices L dans les dcompositions
LU et LL
t
ne sont pas les mmes...)
Etape k = 1
A = A
(1)
=
_
_
2 1 0 0
1 2 1 0
0 1 2 1
0 0 1 2
_
22+
1
2
1
_
_
2 1 0 0
0
3
2
1 0
0 1 2 1
0 0 1 2
_
_
= A
(2)
Etape k = 2
A
(2)
=
_
_
2 1 0 0
0
3
2
1 0
0 1 2 1
0 0 1 2
_
33+
2
3
2
_
_
2 1 0 0
0
3
2
1 0
0 0
4
3
1
0 0 1 2
_
_
= A
(3)
Etape k = 3
A
(3)
=
_
_
2 1 0 0
0
3
2
1 0
0 0
4
3
1
0 0 1 2
_
44+
3
4
3
_
_
2 1 0 0
0
3
2
1 0
0 0
4
3
1
0 0 0
5
4
_
_
= A
(4)
On vrie alors quon a bien U = A
(4)
= DL
t
o L est la matrice inverse du produit des matrices lmentaires
utilises pour transformer A en une matrice lmentaire (mme raisonnement quen 1), c..d.
L =
_
_
1 0 0 0
1
2
1 0 0
0
2
3
1 0
0 0
3
4
1
_
_
On en dduit la dcomposition A =

L
L
t
avec
L =
_
2 0 0 0
2
2
6
2
0 0
0
6
3
2
3
3
0
0 0
3
2
5
2
_
_
3. Que deviennent les coefcients nuls dans la dcomposition LL
t
ci-dessus ? Quelle est la proprit vue en cours
qui est ainsi vrie ?
Ils restent nuls : le prol est prserv, comme expliqu dans le cours page 17.
Exercice 20 page 39 (Sur la mthode LL
t
)
Calculons le nombre doprations lmentaires ncessaires pour chacune des mthodes :
1. Le calcul de chaque coefcient ncessite n multiplications et n 1 additions, et la matrice comporte n
2
coefcients. Comme la matrice est symtrique, seuls n(n+1)/2 coefcients doivent tre calculs. Le calcul
de A
2
ncessite ncessite donc
(2n1)n(n+1)
2
oprations lmentaires.
Le nombre doprations lmentaires pour effectuer la dcomposition LL
t
de A
2
ncessite
n
3
3
+
n
2
2
+
n
6
(cours).
La rsolution du systme A
2
x = b ncessite 2n
2
oprations (n
2
pour la descente, n
2
pour la remonte, voir
cours).
Le nombre total doprations pour le calcul de la solution du systme A
2
x = b par la premire mthode est
donc
(2n1)n(n+1)
2
+
n
3
3
+
3n
2
2
+
n
6
=
4n
3
3
+O(n
2
) oprations.
2. La dcomposition LL
t
de A ncessite
n
3
3
+
n
2
2
+
n
6
, et la rsolution des systmes LL
t
y = b et LL
t
x = y
ncessite 4n
2
oprations. Le nombre total doprations pour le calcul de la solution du systme A
2
x = b par
la deuxime mthode est donc
n
3
3
+
9n
2
2
+
n
6
=
n
3
3
+O(n
2
) oprations.
Pour les valeurs de n assez grandes, il est donc avantageux de choisir la deuxime mthode.
Exercice 21 page 40 (Dcompositions LL
t
et LDL
t
)
1. On pose L =
_
1 0
1
_
et D =
_
0
0
_
.
Par identication, on obtient = 2, =
1
2
et =
1
2
.
Si maintenant on essaye dcrire A = LL
t
avec L =
_
a 0
b c
_
, on obtient c
2
=
1
2
ce qui est impossible dans IR.
En fait, on peut remarquer quil est normal que A nadmette pas de dcomposition LL
t
, car elle nest pas dnie
positive. En effet, soit x = (x
1
, x
2
)
t
IR
2
,, alors Ax x = 2x
1
(x
1
+ x
2
), et en prenant x = (1, 2)
t
, on a
Ax x < 0.
2. 2. Reprenons en ladaptant la dmonstration du thorme 1.3. On raisonne donc par rcurrence sur la dimension.
1. Dans le cas n = 1, on a A = (a
1,1
). On peut donc dnir L = (
1,1
) o
1,1
= 1, D = (a
1,1
), d
1,1
= 0, et
on a bien A = LDL
t
.
2. On suppose que, pour 1 p n, la dcomposition A = LDL
t
sobtient pour A M
p
(IR) symtrique
dnie positive ou ngative, avec d
i,i
= 0 pour 1 i n et on va dmontrer que la proprit est encore
vraie pour A M
n+1
(IR) symtrique dnie positive ou ngative. Soit donc A M
n+1
(IR) symtrique
dnie positive ou ngative ; on peut crire A sous la forme :
A =
_
_
B a
a
t
_
(1.43)
o B M
n
(IR) est symtrique dnie positive ou ngative (calculer Ax x avec x = (y, 0)
t
, avec y IR
n
pour le vrier), a IR
n
et IR.
Par hypothse de rcurrence, il existe une matrice M M
n
(IR) M = (m
i,j
)
n
i,j=1
et une matrice diagonale
D = diag(d
1,1
, d
2,2
, . . . , d
n,n
) dont les coefcients sont tous non nuls, telles que :
(a) m
i,j
= 0 si j > i
(b) m
i,i
= 1
(c) B = M

DM
t
.
On va chercher L et D sous la forme :
L =
_
_
M 0
b
t
1
_
_
, D =
_
D 0
0
_
_
, (1.44)
avec b IR
n
, IR tels que LDL
t
= A. Pour dterminer b et , calculons LDL
t
avec L et D de la forme
(1.44) et identions avec A :
LDL
t
=
_
_
M 0
b
t
1
_
_
_
D 0
0
_
_
_
_
M
t
b
0 1
_
_
=
_
_
M

DM
t
M

Db
b
t

DM
t
b
t

Db +
_
_
On cherche b IR
n
et IR tels que LDL
t
= A, et on veut donc que les galits suivantes soient
vries :
M

Db = a et b
t

Db + = .
La matrice M est inversible (en effet, le dterminant de M scrit det(M) =
n
i=1
1 = 1). Par hypothse
de rcurrence, la matrice

D est aussi inversible. La premire galit ci-dessus donne : b =

D
1
M
1
a. On
calcule alors = b
t
M
1
a. Remarquons quon a forcment = 0, car si = 0,
A = LDL
t
=
_
_
M

DM
t
M

Db
b
t

DM
t
b
t

Db
_
_
qui nest pas inversible. En effet, si on cherche (x, y) IR
n
IR solution de
_
_
M

DM
t
M

Db
b
t

DM
t
b
t

Db
_
_
_
_
x
y
_
_
=
_
_
0
0
_
_
,
on se rend compte facilement que tous les couples de la forme (M
t
by, y)
t
, y IR, sont solutions. Le
noyau de la matrice nest donc pas rduit {0} et la matrice nest donc pas inversible. On a ainsi montr que
d
n+1,n+1
= 0 ce qui termine la rcurrence.
3. On reprend lalgorithme de dcomposition LL
t
:
Soit A M
n
(IR) symtrique dnie positive ou ngative ; on vient de montrer quil existe une matrice L
M
n
(IR) triangulaire infrieure telle que
i,j
= 0 si j > i,
i,i
= 1, et une matrice D M
n
(IR) diagonale
inversible, telles que et A = LDL
t
. On a donc :
a
i,j
=
n
k=1
i,k
d
k,k
j,k
, (i, j) {1, . . . , n}
2
. (1.45)
1. Calculons la 1re colonne de L; pour j = 1, on a :
a
1,1
= d
1,1
donc d
1,1
= a
1,1
,
a
2,1
=
2,1
d
1,1
donc
2,1
=
a
2,1
d
1,1
,
a
i,1
=
i,1
1,1
donc
i,1
=
a
i,1
d
1,1
i {2, . . . , n}.
2. On suppose avoir calcul les n premires colonnes de L. On calcule la colonne (k +1) en prenant j = n+1
dans (1.37).
Pour i = n + 1, a
n+1,n+1
=
n
k=1
2
n+1,k
d
k,k
+d
n+1,n+1
donc
d
n+1,n+1
= a
n+1,n+1
k=1
2
n+1,k
d
k,k
. (1.46)
On procde de la mme manire pour i = n + 2, . . . , n; on a :
a
i,n+1
=
n+1
k=1
i,k
d
k,k
n+1,k
=
n
k=1
i,k
d
k,k
n+1,k
+
i,n+1
d
n+1,n+1
n+1,n+1
,
et donc, comme on a montr dans la question 2 que les coefcients d
k,k
sont tous non nuls, on peut crire :
i,n+1
=
_
a
i,n+1
k=1
i,k
d
k,k
n+1,k
_
1
d
n+1,n+1
. (1.47)
Exercice 23 page 40 (Dcomposition LL
t
dune matrice bande)
On utilise le rsultat de conservation du prol de la matrice nonc dans le cours. Comme A est symtrique,
le nombre p de diagonales de la matrice A est forcment impair si A; notons q =
p1
2
le nombre de sous- et
sur-diagonales non nulles de la matrice A, alors la matrice L aura galement q sous-diagonales non nulles.
1. Cas dune matrice tridiagonale. Si on reprend lalgorithme de construction de la matrice L vu en cours, on
remarque que pour le calcul de la colonne n + 1, avec 1 n < n 1, on a le nombre doprations suivant :
Calcul de
n+1,n+1
= (a
n+1,n+1
k=1
n+1,k
n+1,k
)
1/2
> 0 :
une multiplication, une soustraction, une extraction de racine, soit 3 oprations lmentaires.
Calcul de
n+2,n+1
=
_
a
n+2,n+1
k=1
n+2,k
n+1,k
_
1
n+1,n+1
:
une division seulement car
n+2,k
= 0.
On en dduit que le nombre doprations lmentaires pour le calcul de la colonne n +1, avec 1 n < n 1, est
de 4.
Or le nombre doprations pour la premire et dernire colonnes est infrieur 4 (2 oprations pour la premire
colonne, une seule pour la dernire). Le nombre Z
1
(n) doprations lmentaires pour la dcomposition LL
t
de A
peut donc tre estim par : 4(n 2) Z
1
(n) 4n, ce qui donne que Z
1
(n) est de lordre de 4n (le calcul exact
du nombre doprations, inutile ici car on demande une estimation, est 4n 3.)
2. Cas dune matrice p diagonales.
On cherche une estimation du nombre doprations Z
p
(n) pour une matrice p diagonales non nulles (ou q sous-
diagonales non nulles) en fonction de n.
On remarque que le nombre doprations ncessaires au calcul de
n+1,n+1
= (a
n+1,n+1
k=1
n+1,k
n+1,k
)
1/2
> 0, (1.48)
et
i,n+1
=
_
a
i,n+1
k=1
i,k
n+1,k
_
1
n+1,n+1
, (1.49)
1.4. NORMES ET CONDITIONNEMENT DUNE MATRICE CHAPITRE 1. SYSTMES LINAIRES
est toujours infrieur 2q + 1, car la somme
n
k=1
fait intervenir au plus q termes non nuls.
De plus, pour chaque colonne n+1, il y a au plus q +1 coefcients
i,n+1
non nuls, donc au plus q +1 coefcients
calculer. Donc le nombre doprations pour chaque colonne peut tre major par (2q + 1)(q + 1).
On peut donc majorer le nombre doprations z
q
pour les q premires colonnes et les q dernires par 2q(2q +
1)(q +1), qui est indpendant de n (on rappelle quon cherche une estimation en fonction de n, et donc le nombre
z
q
est O(1) par rapport n.)
Calculons maintenant le nombre doprations x
n
ncessaires une colonne n = q + 1 n q 1. Dans (1.48) et
(1.49), les termes non nuls de la somme sont pour k = i q, . . . , n, et donc on a (n i + q + 1) multiplications
et additions, une division ou extraction de racine. On a donc
x
n
=
n+q+1
i=n+1
_
2(n i +q + 1) + 1
_
=
q+1
j=1
_
2(j +q + 1) + 1
_
= (q + 1)(2q + 3) 2
q+1
j=1
j
= (q + 1)
2
.
Le nombre z
i
doprations ncessaires pour les colonnes n = q + 1 n q 1 est donc
z
i
= (q + 1)
2
(n 2q).
Un encadrement du nombre doprations ncessaires pour la dcomposition LL
t
dune matrice p diagonales est
donc donne par :
(q + 1)
2
(n 2q) Z
p
(n) (q + 1)
2
(n 2q) + 2q(2q + 1)(q + 1), (1.50)
et que, q constant, Z
p
(n) = O((q + 1)
2
n)). Remarquons quon retrouve bien lestimation obtenue pour q = 1.
3. Dans le cas de la discrtisation de lquation u
= f (voir page 10), on a q = 1 et la mthode de Choleski

ncessite de lordre de 4n oprations lmentaires, alors que dans le cas de la discrtisation de lquation u = f
(voir page 12), on a q =

n et la mthode de Choleski ncessite de lordre de n
2
oprations lmentaires (dans
les deux cas n est le nombre dinconnues).
On peut noter que lencadrement (1.50) est intressant ds que q est dordre infrieur n
, < 1.
1.4 Normes et conditionnement dune matrice
Dans ce paragraphe, nous allons dnir la notion de conditionnement dune matrice, qui peut servir tablir une
majoration des erreurs darrondi dues aux erreurs sur les donnes. Malheureusement, nous verrons galement que
cette majoration nest pas forcment trs utile dans des cas pratiques, et nous nous efforcerons dy remdier. La
notion de conditionnement est galement utilise dans ltude des mthodes itratives que nous verrons plus loin.
Pour ltude du conditionnement comme pour ltude des erreurs, nous avons tout dabord besoin de la notion de
norme et de rayon spectral, que nous rappelons maintenant.
1.4.1 Normes, rayon spectral
Dnition 1.23 (Norme matricielle, norme induite). On note M
n
(IR) lespace vectoriel (sur IR) des matrices
carres dordre n.
1. On appelle norme matricielle sur M
n
(IR) une norme sur M
n
(IR) t.q.
AB AB, A, B M
n
(IR) (1.51)
2. On considre IR
n
muni dune norme . On appelle norme matricielle induite (ou norme induite) sur
M
n
(IR) par la norme , encore note , la norme sur M
n
(IR) dnie par :
A = sup{Ax; x IR
n
, x = 1}, A M
n
(IR) (1.52)
Proposition 1.24 (Proprits des normes induites). Soit M
n
(IR) muni dune norme induite . Alors pour toute
matrice A M
n
(IR), on a :
1. Ax A x, x IR
n
,
2. A = max {Ax ; x = 1, x IR
n
},
3. A = max
_
Ax
x
; x IR
n
\ {0}
_
.
4. est une norme matricielle.
DMONSTRATION 1. Soit x IR
n
\ {0}, posons y =
x
x
, alors y = 1 donc Ay A. On en dduit
Ax
x
A et donc Ax A x. Si maintenant x = 0, alors Ax = 0, et donc x = 0 et Ax = 0 ;
lingalit Ax A x est encore vrie.
2. Lapplication dnie de IR
n
dans IR par : (x) = Ax est continue sur la sphre unit S1 = {x IR
n
|x = 1}
qui est un compact de IR
n
. Donc est borne et atteint ses bornes : il existe x0 IR
n
tel que A = Ax0.
3. Cette galit rsulte du fait que
Ax
x
= A
x
x
et
x
x
S1 pour tout x = 0.
4. Soient A et B Mn(IR), on a AB = max {ABx ; x = 1, x IR
n
} . Or ABx ABx
ABx AB. On en dduit que est une norme matricielle.
Dnition 1.25 (Rayon spectral). Soit A M
n
(IR) une matrice inversible. On appelle rayon spectral de A la
quantit (A) = max{||; Cl , valeur propre de A}.
La proposition suivante caractrise les principales normes matricielles induites.
Proposition 1.26 (Caractrisation de normes induites). Soit A = (a
i,j
)
i,j{1,...,n}
M
n
(IR).
1. On munit IR
n
de la norme
et M
n
(IR) de la norme induite correspondante, note aussi
. Alors
A
= max
i{1,...,n}
n
j=1
|a
i,j
|. (1.53)
2. On munit IR
n
de la norme
1
et M
n
1
. Alors
A
1
= max
j{1,...,n}
n
i=1
|a
i,j
| (1.54)
3. On munit IR
n
de la norme
2
et M
n
2
.
A
2
= ((A
t
A))
1
2
. (1.55)
En particulier, si A est symtrique, A
2
= (A).
DMONSTRATION La dmonstration des points (a) et (b) fait lobjet de lexercice 25 page 59. On dmontre ici uni-
quement le point (c).
Par dnition de la norme 2, on a :
A
2
2
= sup
xIR
n
,x
2
=1
Ax Ax = sup
xIR
n
,x
2
=1
A
t
Ax x.
Comme A
t
A est une matrice symtrique positive (car A
t
Ax x = Ax Ax 0), il existe une base orthonorme
(f
i
)i=1,...,n et des valeurs propres (i)i=1,...,n, avec 0 1 2 . . . n tels que Af
i
= if
i
pour tout
i {1, . . . , n}. Soit x =
i=1,...,n
if
i
IR
n
. On a donc :
A
t
Ax x =
_

i=1,...,n
iif
i
_
_

i=1,...,n
if
i
_
=
i=1,...,n
2
i
i nx
2
2
.
On en dduit que A
2
2
(A
t
A).
Pour montrer quon a galit, il suft de considrer le vecteur x = f
n
; on a en effet f
n
2 = 1, et Af
n
2
2
=
A
t
Af
n
f
n
= n = (A
t
A).
Nous allons maintenant comparer le rayon spectral dune matrice avec des normes. Rappelons dabord le thorme
de triangularisation (ou trigonalisation) des matrices complexes.
Thorme 1.27 (Dcomposition de Schur, triangularisation dune matrice). Soit A M
n
(IR) ou M
n
(Cl ) une
matrice carre quelconque, relle ou complexe ; alors il existe une matrice complexe Q inversible et une matrice
complexe triangulaire suprieure T telles que A = QTQ
1
.
Ce rsultat snonce de manire quivalente de la manire suivante : Soit une application linaire de E dans
E, o E est un espace vectoriel norm de dimension nie n sur Cl . Alors il existe une base (f
1
, . . . , f
n
) de Cl et
une famille de complexes (t
i,j
)
i=1,...,n,j=1,...,n,ji
telles que (f
i
) = t
i,i
f
i
+
k<i
t
k,i
f
k
. De plus t
i,i
est valeur
propre de et de A pour tout i {1, . . . , n}.
Les deux noncs sont quivalents au sens o la matrice A de lapplication linaire scrit A = QTQ
1, o T
est la matrice triangulaire suprieure de coefcients (t
i,j
)
i,j=1,...,n,ji
et Q la matrice inversible dont la colonne
j est le vecteur f
j
).
DMONSTRATION On dmontre cette proprit par rcurrence sur n. Elle est videmment vraie pour n = 1. Soit
n 1, on suppose la proprit vraie pour n et on la dmontre pour n + 1. Soint donc E un espace vectoriel sur Cl
de dimension dim + 1 et une application linaire de E dans Cl . On sait quil existe Cl (qui rsulte du caractre
algbriquement clos de Cl ) et f
1
E tels que (f
1
) = f
1
et f
1
= 1 ; on pose t1,1 = et on note F le sous
espace vectoriel de E supplmentaire orthogonal de Cl f
1
. Soit u F, il existe un unique couple (, v) Cl F tel que
(u) = f1 + v. On note

lapplication qui u associe v. On peut appliquer lhypothse de rcurrence

(car

est
une application linaire de F dans F, et F est de dimension n). Il existe donc une base orthonorme f
2
, . . . , f
n+1
de F
et (ti,j)
ji2
tels que
(fi) =
2ji
tj,if
j
, i = 2, . . . , n + 1.
On en dduit que
(f
i
) =
1jin
tj,if
j
, i = 1, . . . , n + 1.
Dans la proposition suivante, nous montrons quon peut toujours trouver une norme (qui dpend de la matrice)
pour approcher son rayon spectral daussi prs que lon veut par valeurs suprieures.
Proposition 1.28 (Approximation du rayon spectral par une norme induite). Soient A M
n
(IR) et > 0. Il
existe une norme sur IR
n
(qui dpend de A et ) telle que la norme induite sur M
n
(IR), note
A,
, vrie
A
A,
(A) +.
DMONSTRATION Soit A Mn(IR), alors par le thorme de triangularisation de Schur (thorme 1.27 ppcdent),
il existe une base (f
1
, . . . , f
n
) de Cl
n
et une famille de complexes (ti,j)
i,j=1,...,n,ji
telles que Af
i
=
ji
tj,ifj. Soit
]0, 1[, quon choisira plus prcisment plus tard. Pour i = 1, . . . , n, on dnit ei =
i1
fi. La famille (ei)i=1,...,n
forme une base de Cl
n
. On dnit alors une norme sur IR
n
par x = (
n
i=1
i
i)
1/2
, o les i sont les composantes de
x dans la base (ei)i=1,...,n. Notons que cette norme dpend de A et de . Soit > 0 ; montrons que pour bien choisi,
on a A (A) +. Remarquons dabord que
Aei = A(
i1
f
i
) =
i1
Af
i
i1
ji
t
k,i
f
j
=
i1
ji
tj,i
1j
ej =
1ji
ij
tj,iej,
Soit maintenant x =
i=1,...,n
iei. On a
Ax =
n
i=1
iAei =
n
i=1
1ji
ij
tj,iiej =
n
j=1
_
n
i=j
ij
i,ji
_
ej.
On en dduit que
Ax
2
=
n
j=1
_
n
i=j
ij
tj,ii
__
n
i=j
ij
tj,ii
_
,
=
n
j=1
tj,jtj,jjj +
n
j=1
k,j
(k,)=(j,j)
k+2j
t
j,k
t
j,
(A)
2
x
2
+ max
k=1,...,n
|
k
|
2
n
j=1
k,j
(k,)=(j,j)
k+2j
t
j,k
t
j,
.
Comme [0, 1] et k + 2j 1 dans la dernire sommation, on a
n
j=1
k,j
(k,)=(j,j)
k+2j
t
j,k
t
j,
CT n
3
,
o CT = max
j,k,=1,...,n
|t
j,k
||t
j,k
| ne dpend que de la matrice T, qui elle mme ne dpend que de A. Comme max
k=1,...,n
|
k
|
2
k=1,...,n
|
k
|
2
= x
2
, on a donc
Ax
2
x
2
(A)
2
+CT n
3
On en conclut que :
A (A)
_
1 +
CT n
3
(A)
2
_
(A) +
CT n
3
2(A)
,
Do le rsultat, en prenant A, = et tel que = min
_
1,
2(A)
CT n
3
_
.
Corollaire 1.29 (Convergence et rayon spectral). On munit M
n
(IR) dune norme, note . Soit A M
n
(IR).
Alors :
(A) < 1 si et seulement si A
k
0 quand k .
DMONSTRATION Si (A) < 1, grce au rsultat dapproximation du rayon spectral de la proposition prcdente, il
existe > 0 tel que (A) < 1 2 et une norme induite .A, tels que AA, = (A) + = 1 < 1. Comme
.A, est une norme matricielle, on a A
k
A,
k
0 lorsque k . Comme lespace Mn(IR) est de dimension
nie, toutes les normes sont quivalentes, et on a donc A
k
0 lorsque k . Montrons maintenant la rciproque :
supposons que A
k
0 lorsque k , et montrons que (A) < 1. Soient une valeur propre de A et x un vecteur
propre associ. Alors A
k
x =
k
x, et si A
k
0, alors A
k
x 0, et donc
k
x 0, ce qui nest possible que si || < 1.
Remarque 1.30 (Convergence des suites). Une consquence immdiate du corollaire prcdent est que la suite
(x
(k)
)
kIN
dnie par x
(k+1)
= Ax
(k)
converge vers 0 (le vecteur nul) pour tout x
(0)
donn si et seulement si
(A) < 1.
Proposition 1.31 (Convergence et rayon spectral). On munit M
n
(IR) dune norme, note . Soit A M
n
(IR).
Alors
(A) = lim
k
A
k
1
k
. (1.56)
DMONSTRATION La dmonstration se fait par des arguments dhomognit, en trois tapes. Rappelons tout dabord
que
limsup
k+
u
k
= lim
k+
sup
nk
un,
liminf
k+
u
k
= lim
k+
inf
nk
un,
et que si limsup
k+
u
k
liminf
k+
u
k
, alors la suite (u
k
)
kIN
converge vers lim
k+
u
k
= liminf
k+
u
k
=
limsup
k+
u
k
.
Etape 1. On montre que
(A) < 1 limsup
k
A
k
1
k
1. (1.57)
En effet, si i (A) < 1, daprs le corollaire 1.29 on a : A
k
0 donc il existe K IN tel que pour k K, A
k
< 1.
On en dduit que pour k K, A
k
1/k
< 1, et donc en passant la limite sup sur k, on obtient bien que
limsup
k+
A
k
1
k
1.
Etape 2. On montre maintenant que
liminf
k
A
k
1
k
< 1 (A) < 1.. (1.58)
Pour dmontrer cette assertion, rappelons que pour toute suite (u
k
)
kIN
dlments de IR ou IR
n
, la limite infrieure
liminf
k+
u
k
est une valeur dadhrence de la suite (u
k
)
kIN
, donc quil existe une suite extraite (u
kn
)nIN telle que
u
kn
liminf
k+
u
k
lorsque k +. Or liminf
k+
A
k
1/k
< 1 ; donc il existe une sous-suite (kn)nIN IN
telle que A
kn
1/kn
< 1 lorsque n +, et donc il existe n tel que pour n n, A
kn
1/kn
, avec ]0, 1[.
On en dduit que pour n n, A
kn

kn
, et donc que A
kn
0 lorsque n +. Soient une valeur propre de A
et x un vecteur propre associ, on a : A
kn
x =
kn
x; on en dduit que || < 1, et donc que (A) < 1.
Etape 3. On montre que (A) = lim
k
A
k
1
k
.
Soit IR+ tel que (A) < . Alors (
1
A) < 1, et donc grce (1.57),

limsup
k+
A
k
1
k
< , > (A).
En faisant tendre vers (A), on obtient donc :
limsup
k+
A
k
1
k
(A). (1.59)
Soit maintenant IR+ tel que liminf
k+
A
k
1
k
< . On a alors liminf
k+
(
1
A)
k
1
k
< 1 et donc en vertu
de (1.58), (
1
A) < 1, donc (A) < pour tout IR+ tel que liminf
k+
A
k
1
k
< . En faisant tendre vers
liminf
k+
A
k
1
k
, on obtient donc
(A) liminf
k+
A
k
1
k
. (1.60)
De (1.59) et (1.60), on dduit que
limsup
k+
A
k
1
k
= liminf
k+
A
k
1
k
= lim
k+
A
k
1
k
= (A). (1.61)
Un corollaire important de la proposition 1.31 est le suivant.
Corollaire 1.32 (Comparaison rayon spectral et norme). On munit M
n
(IR) dune norme matricielle, note .
Soit A M
n
(IR). Alors :
(A) A.
Par consquent, si M M
n
(IR) et x
(0)
IR
n
, pour montrer que la suite x
(k)
dnie par x
(k)
= M
k
x
(0)
converge vers 0 dans IR
n
, il suft de trouver une norme matricielle telle que M < 1.
DMONSTRATION Si . est une norme matricielle, alors A
k
A
k
et donc par la caractrisation (1.56) du rayon
spectral donne dans la proposition prcdente, on obtient que (A) A.
Ce dernier rsultat est videmment bien utile pour montrer la convergence de la suite A
k
, ou de suites de la forme
A
k
x
(0)
avec x
(0)
IR
n
. Une fois quon a trouv une norme matricielle pour laquelle A est de norme strictement
infrieure 1, on a gagn. Attention cependant au pige suivant : pour toute matrice A, on peut toujours trouver
une norme pour laquelle A < 1, alors que la srie de terme gnral A
k
peut ne pas tre convergente.
Prenons un exemple dans IR, x =
1
4
|x|. Pour x = 2 on a x =
1
2
< 1. Et pourtant la srie de terme gnral
x
k
nest pas convergente ; le problme ici est que la norme choisie nest pas une norme matricielle (on na pas
xy xy).
De mme, on peut trouver une matrice et une norme telles que A 1, alors que la srie de terme gnral A
k
converge...
Nous donnons maintenant un thorme qui nous sera utile dans ltude du conditionnement, ainsi que plus tard
dans ltude des mthodes itratives.
Thorme 1.33 (Matrices de la forme Id +A).
1. Soit une norme matricielle induite, Id la matrice identit de M
n
(IR) et A M
n
(IR) telle que A < 1.
Alors la matrice Id +A est inversible et
(Id +A)
1

1
1 A
.
2. Si une matrice de la forme Id + A M
n
(IR) est singulire, alors A 1 pour toute norme matricielle
.
DMONSTRATION
1. La dmonstration du point 1 fait lobjet de lexercice 30 page 60.
2. Si la matrice Id + A Mn(IR) est singulire, alors = 1 est valeur propre, et donc (A) 1. En utilisant le
corollaire 1.32, on obtient que A (A) 1.
1.4.2 Le problme des erreurs darrondis
Soient A M
n
(IR) inversible et b IR
n
; supposons que les donnes A et b ne soient connues qu une erreur
prs. Ceci est souvent le cas dans les applications pratiques. Considrons par exemple le problme de la conduction
thermique dans une tige mtallique de longueur 1, modlise par lintervalle [0, 1]. Supposons que la temprature
u de la tige soit impose aux extrmits, u(0) = u
0
et u(1) = u
1
. On suppose que la temprature dans la
tige satisfait lquation de conduction de la chaleur, qui scrit (k(x)u
(x))
= 0, o k est la conductivit
thermique. Cette quation diffrentielle du second ordre peut se discrtiser par exemple par diffrences nies (on
verra une description de la mthode page 11), et donne lieu un systme linaire de matrice A. Si la conductivit
k nest connue quavec une certaine prcision, alors la matrice A sera galement connue une erreur prs, note
A
. On aimerait que lerreur commise sur les donnes du modle (ici la conductivit thermique k) nait pas une
consquence catastrophique sur le calcul de la solution du modle (ici la temprature u). Si par exemple 1%
derreur sur k entrane 100% derreur sur u, le modle ne sera pas dune utilit redoutable. . .
Lobjectif est donc destimer les erreurs commises sur x solution de (1.1) partir des erreurs commises sur b et A.
Notons
b
IR
n
lerreur commise sur b et
A
M
n
(IR) lerreur commise sur A. On cherche alors valuer
x
o x +
x
est solution (si elle existe) du systme :
_
x +
x
IR
n
(A+
A
)(x +
x
) = b +
b
.
(1.62)
On va montrer que si
A
nest pas trop grand", alors la matrice A+
A
est inversible, et quon peut estimer
x
en
fonction de
A
et
b
.
1.4.3 Conditionnement et majoration de lerreur darrondi
Dnition 1.34 (Conditionnement). Soit IR
n
muni dune norme et M
n
(IR) muni de la norme induite. Soit
A M
n
(IR) une matrice inversible. On appelle conditionnement de A par rapport la norme le nombre
rel positif cond(A) dni par :
cond(A) = A A
1
.
Proposition 1.35 (Proprits gnrales du conditionnement). Soit IR
n
muni dune norme et M
n
(IR) muni
de la norme induite.
1. Soit A M
n
(IR) une matrice inversible, alors cond(A) 1.
2. Soit A M
n
(IR) une matrice inversible et IR
, alors cond(A) = cond(A).

3. Soient A et B M
n
(IR) des matrices inversibles, alors cond(AB) cond(A)cond(B).
DMONSTRATION 1. Comme est une norme induite, cest donc une norme matricielle. On a donc pour toute
matrice A Mn(IR),
Id A A
1
ce qui prouve que cond(A) 1.

2.Par dnition,
cond(A) = A (A)
1
= || A
1
||
A
1
= cond(A)
3. Soient A et B des matrices inversibles, alors AB est une matrice inversible et
cond(AB) = AB (AB)
1
= AB B
1
A
1
A B B
1
A
1
,
car est une norme matricielle. Donc cond(AB) cond(A)cond(B).
Proposition 1.36 (Caractrisation du conditionnement pour la norme 2). Soit IR
n
muni de la norme euclidienne

2
et M
n
(IR) muni de la norme induite. Soit A M
n
(IR) une matrice inversible. On note cond
2
(A) le
conditionnement associ la norme induite par la norme euclidienne sur IR
n
.
1. Soit A M
n
(IR) une matrice inversible. On note
n
[resp.
1
] la plus grande [resp. petite] valeur propre
de A
t
A (noter que A
t
A est une matrice symtrique dnie positive). Alors cond
2
(A) =
n
/
1
.
2. Si de plus A une matrice symtrique dnie positive, alors cond
2
(A) =
n
1
, o
n
[resp.
1
] est la plus
grande [resp. petite] valeur propre de A.
DMONSTRATION On rappelle que si A a comme valeurs propres 1, . . . , n, alors A
1
a comme valeurs propres
1
1
, . . . ,
1
n
et A
t
a comme valeurs propres 1, . . . , n.
1. Par dnition, on a cond2(A) = A2A
1
2. Or on a vu lexercice 3 que A2 = ((A
t
A))
1/2
=

n. On a donc
A
1
2 = (((A
1
)
t
A
1
))
1/2
=
_
(AA
t
)
1
)
_
1/2
; or ((AA
t
)
1
) =
1
1
,
o 1 est la plus petite valeur propre de la matrice AA
t
. Or les valeurs propres de AA
t
sont les valeurs propres de A
t
A :
en effet, si est valeur propre de AA
t
associe au vecteur propre x alors est valeur propre de AA
t
associe au vecteur
propre A
t
x. On a donc
cond2(A) =
n
1
.
2. Si A est s.d.p., alors A
t
A = A
2
et i =
2
i
o i est valeur propre de la matrice A. On a dans ce cas cond2(A) =
n
1
.
Les proprits suivantes sont moins fondamentales, mais cependant intressantes !
Proposition 1.37 (Proprits du conditionnement pour la norme 2). Soit IR
n
muni de la norme euclidienne
2
et M
n
(IR) muni de la norme induite. Soit A M
n
(IR) une matrice inversible. On note cond
2
(A) le condition-
nement associ la norme induite par la norme euclidienne sur IR
n
.
1. Soit A M
n
(IR) une matrice inversible. Alors cond
2
(A) = 1 si et seulement si A = Q o IR
et Q
est une matrice orthogonale (cest--dire Q
t
= Q
1
).
2. Soit A M
n
(IR) une matrice inversible. On suppose que A = QR o Q est une matrice orthogonale.
Alors cond
2
(A) = cond
2
(R).
3. Si Aet B sont deux matrices symtriques dnies positives, alors cond
2
(A+B) max(cond
2
(A), cond
2
(B)).
La dmonstration de cette proposition prcdente fait lobjet de lexercice 33 page 61. On va maintenant majorer
lerreur relative commise sur x solution de Ax = b lorsque lon commet une erreur b sur le second membre b.
Proposition 1.38. Soit A M
n
n
, b = 0. On munit IR
n
dune norme ,
et M
n
(IR) de la norme induite. Soit b IR
n
. Si x est solution de (1.1) et x +x est solution de
A(x +x) = b +b (1.63)
alors
x
cond(A)
b
(1.64)
DMONSTRATION En retranchant (1.1) (1.63), on obtient :
Ax = b
et donc
x A
1
b. (1.65)
Cette premire estimation nest pas satisfaisante car elle porte sur lerreur globale ; or la notion intressante est celle derreur
relative. On obtient lestimation sur lerreur relative en remarquant que b = Ax, ce qui entrane que b Ax. On
en dduit que
1
x

A
b
.
En multipliant membre membre cette dernire ingalit et (1.65), on obtient le rsultat souhait.
Majorons maintenant lerreur relative commise sur x solution de Ax = b lorsque lon commet une erreur A sur
la matrice A.
n
n
n
dune norme , et
M
n
(IR) de la norme induite. Soit A IR
n
; on suppose que A+A est une matrice inversible.. Si x est solution
de (1.1) et x +x est solution de
(A+A)(x +x) = b (1.66)
alors
x
x +x
cond(A)
A
A
(1.67)
DMONSTRATION En retranchant (1.1) (1.66), on obtient :
Ax = A(x +x)
et donc x = A
1
A(x + x). On en dduit que x A
1
Ax + x, do on dduit le rsultat souhait.
On peut en fait majorer lerreur relative dans le cas o lon commet la fois une erreur sur A et une erreur sur b.
On donne le thorme cet effet ; la dmonstration est toutefois nettement plus complique.
Thorme 1.40. Soit A M
n
n
n
dune norme ,
et M
n
(IR) de la norme induite. Soient
A
M
n
(IR) et
b
IR
n
. On suppose que
A
<
1
A
1
. Alors la
matrice (A+
A
) est inversible et si x est solution de (1.1) et x +
x
est solution de (1.62), alors
x

cond(A)
1 A
1

A
b
+

A
A
_
. (1.68)
DMONSTRATION On peut crire A + A = A(Id + B) avec B = A
1
A. Or le rayon spectral de B, (B), vrie
(B) B A A
1
< 1, et donc (voir le thorme 1.33 page 54 et lexercice 30 page 60) (Id+B) est inversible
et (Id+B)
1
=
n=0
(1)
n
B
n
. On a aussi (Id+B)
1

n=0
B
n
=
1
1 B

1
1 A
1
A
. On en dduit
que A+A est inversible, car A+A = A(Id +B) et comme A est inversible, (A+A)
1
= (Id +B)
1
A
1
.
Comme A et A + A sont inversibles, il existe un unique x IR
n
tel que Ax = b et il existe un unique x IR
n
tel que
(A + A)(x + x) = b +
b
. Comme Ax = b, on a (A + A)x + Ax =
b
et donc x = (A + A)
1
(
b
Ax). Or
(A+A)
1
= (Id +B)
1
A
1
, on en dduit :
(A+A)
1
(Id +B)
1
A
1
A
1
1 A
1
A
.
On peut donc crire la majoration suivante :
x
x

A
1
A
1 A
1
A
_

b
A x
+
A
A
_
.
En utilisant le fait que b = Ax et que par suite b A x, on obtient :
x
x

A
1
A
1 A
1
A
_
b
b
+
A
A
_
,
ce qui termine la dmonstration.
Remarquons que lestimation (1.68) est optimale. En effet, en supposant que
A
= 0, lestimation (1.68) devient
alors :
x
cond(A)
b
. (1.69)
Peut-on avoir galit dans (1.69) ? Pour avoir galit dans (1.69) il faut choisir convenablement b et
b
. Soit x
IR
n
tel que x = 1 et Ax = A. Notons quun tel x existe parce que A = sup{Ax; x = 1} =
max{Ax; x = 1} (voir proposition 1.24 page 50) Posons b = Ax; on a donc b = A. De mme, grce
la proposition 1.24, il existe y IR
n
tel que y = 1, et A
1
y = A
1
. On choisit alors
b
tel que
b
= y
o > 0 est donn. Comme A(x +
x
) = b +
b
, on a
x
= A
1
b
et donc :
x
= A
1
b
= A
1
y =
A
1
=
b
A
1
. On en dduit que
x
=
x
=
b
A
1
A
b
car b = A et x = 1.
Par ce choix de b et
b
on a bien galit dans (1.69). Lestimation (1.69) est donc optimale.
1.4.4 Discrtisation dquations diffrentielles, conditionnement efcace"
On suppose encore ici que
A
= 0. On suppose que la matrice A du systme linaire rsoudre provient de la
discrtisation par diffrences nies du problme de la chaleur unidimensionnel (1.5a). On peut alors montrer (voir
exercice 38 page 62) que le conditionnement de A est dordre n
2
, o n est le nombre de points de discrtisation.
Pour n = 10, on a donc cond(A) 100 et lestimation (1.69) donne :
x
100

b
b
.
Une erreur de 1% sur b peut donc entraner une erreur de 100% sur x. Autant dire que dans ce cas, il est inutile
de rechercher la solution de lquation discrtise. . . Heureusement, on peut montrer que lestimation (1.69) nest
pas signicative pour ltude de la propagation des erreurs lors de larsolution des systmes linraires provenant
de la discrtisation dune quation diffrentielle ou dune quation aux drives partielles
5
. Pour illustrer notre
propos, nous reprenons ltude du systme linaire obtenu partir de la discrtisation de lquation de la chaleur
(1.5a)quon crit :Au = b avecb = (b
1
, . . . , b
n
)
t
et A la matrice carre dordre n de coefcients (a
i,j
)
i,j=1,n
dnis par (1.10). On rappelle que A est symtrique dnie positive (voir exercice 7 page 18), et que
max
i=1...n
{|u
i
u(x
i
)|}
h
2
96
u
(4)
.
En effet, si on note u le vecteur de IR
n
de composantes u(x
i
), i = 1, . . . , n, et R le vecteur de IR
n
de composantes
R
i
, i = 1, . . . , n, on a par dnition de R (formule (1.7)) A(u u) = R, et donc u u
A
1
.
Or on peut montrer (voir exercice 38 page 62) que cond(A) n
2
. Donc si on augmente le nombre de points,
le conditionnement de A augmente aussi. Par exemple si n = 10
4
, alors
x
/x = 10
8
b
/b. Or sur un
ordinateur en simple prcision, on a
b
/b 10
7
, donc lestimation (1.69) donne une estimation de lerreur
relative
x
/x de 1000%, ce qui laisse dsirer pour un calcul quon espre prcis.
5. On appelle quation aux drives partielles une quation qui fait intervenir les drives partielles de la fonction inconnue, par exemple
2
u
x
2
+

2
u
y
2
= 0, o u est une fonction de IR
2
dans IR
En fait, lestimation (1.69) ne sert rien pour ce genre de problme, il faut faire une analyse un peu plus pousse,
comme cest fait dans lexercice 40 page 63. On se rend compte alors que pour f donne il existe C IR
+
ne
dpendant que de f (mais pas de n) tel que
u
C
b
avec b =
_
_
f(x
1
)
.
.
.
f(x
n
)
_
_. (1.70)
Lestimation (1.70) est videmment bien meilleure que lestimation (1.69) puisquelle montre que lerreur relative
commise sur u est du mme ordre que celle commise sur b. En particulier, elle naugmente pas avec le nombre
de points de discrtisation. En conclusion, lestimation (1.69) est peut-tre optimale dans le cas dune matrice
quelconque, (on a montr ci-dessus quil peut y avoir galit dans (1.69)) mais elle nest pas signicative pour
ltude des systmes linaires issus de la discrtisation des quations aux drives partielles.
1.4.5 Exercices
Exercice 24 (Normes de lIdentit).
Soit Id la matrice Identit" de M
n
(IR). Montrer que pour toute norme induite on a Id = 1 et que pour toute
norme matricielle on a Id 1.
Exercice 25 (Normes induites particulires). Suggestions en page 64, corrig dtaill en page 65.
Soit A = (a
i,j
)
i,j{1,...,n}
M
n
(IR).
1. On munit IR
n
de la norme
et M
n
. Montrer
que A
= max
i{1,...,n}
n
j=1
|a
i,j
|.
2. On munit IR
n
de la norme
1
et M
n
1
. Montrer
que A
1
= max
j{1,...,n}
n
i=1
|a
i,j
|.
Exercice 26 (Norme non induite).
Pour A = (a
i,j
)
i,j{1,...,n}
M
n
(IR), on pose A
s
= (
n
i,j=1
a
2
i,j
)
1
2
.
1. Montrer que
s
est une norme matricielle mais nest pas une norme induite (pour n > 1).
2. Montrer que A
2
s
= tr(A
t
A). En dduire que A
2
A
s

nA
2
et que Ax
2
A
s
x
2
, pour
tout A M
n
(IR) et tout x IR
n
.
3. Chercher un exemple de norme non matricielle.
Exercice 27 (Valeurs propres nulles dun produit de matrices).
Soient p et n des entiers naturels non nuls tels que n p, et soient A M
n,p
(IR) et B M
p,n
(IR). (On rappelle
que M
n,p
(IR) dsigne lensemble des matrices n lignes et p colonnes.)
1. Montrer que est valeur propre non nulle de AB si et seulement si est valeur propre non nulle de BA.
2. Montrer que si = 0 est valeur propre de AB alors est valeur propre nulle de BA.
(Il est conseill de distinguer les cas Bx = 0 et Bx = 0, o x est un vecteur propre associ la = 0
valeur propre de AB. Pour le deuxime cas, on pourra distinguer selon que ImA = IR
n
ou non.)
3. Montrer en donnant un exemple que peut tre une valeur propre nulle de BA sans tre valeur propre de
AB.
(Prendre par exemple n = 1, p = 2.)
4. On suppose maintenant que n = p, dduire des questions 1. et 2. que lensemble des valeurs propres de AB
est gal lensemble des valeurs propres de la matrice BA.
Exercice 28 (Rayon spectral). Corrig en page 66.
Soit A M
n
(IR). Montrer que si A est diagonalisable, il existe une norme induite sur M
n
(IR) telle que (A) =
A. Montrer par un contre exemple que ceci peut tre faux si A nest pas diagonalisable.
Exercice 29 (Sur le rayon spectral).
On dnit les matrices carres dordre 2 suivantes :
A =
_
1 1
1 1
_
, B =
_
1 0
1 1
_
, C = A+B.
Calculer le rayon spectral de chacune des matrices A, B et C et en dduire que le rayon spectral ne peut tre ni
une norme, ni mme une semi-norme sur lespace vectoriel des matrices.
Exercice 30 (Srie de Neumann). Suggestions en page 64, corrig dtaill en page 66.
Soient A M
n
(IR).
1. Montrer que si (A) < 1, les matrices Id A et Id +A sont inversibles.
2. Montrer que la srie de terme gnral A
k
converge (vers (Id A)
1
) si et seulement si (A) < 1.
3. Montrer que si (A) < 1, et si une norme matricielle telle que A < 1, alors (Id A)
1

1
1A
et
(Id +A)
1

1
1A
.
Exercice 31 (Normes induites).
Soit . une norme induite sur M
n
(IR) par une norme quelconque sur IR
n
, et soit A M
n
(IR) telle que (A) < 1
(on rappelle quon note (A) le rayon spectral de la matrice A). Pour x IR
n
, on dnit x
par :
x
j=0
A
j
x.
1. Montrer que lapplication dnie de IR
n
dans IR par x x
est une norme.

2. Soit x IR
n
tel que x
= 1. Calculer Ax
en fonction de x, et en dduire que A
< 1.
3. On ne suppose plus que (A) < 1. Soit > 0 donn. Construire partir de la norme . une norme induite
.
telle que A
(A) +.
Exercice 32 (Un systme par blocs).
Soit A M
n
(IR) une matrice carre dordre N inversible, b, c, f IR
n
. Soient et IR. On cherche
rsoudre le systme suivant (avec x IR
n
, IR) :
Ax +b = f,
c x + = .
(1.71)
1. Ecrire le systme (1.71) sous la forme : My = g, o M est une matrice carre dordre n + 1, y IR
n+1
,
g IR
n+1
. Donner lexpression de M, y et g.
2. Donner une relation entre A, b, c et , qui soit une condition ncessaire et sufsante pour que le systme
(1.71) soit inversible. Dans toute la suite, on supposera que cette relation est vrie.
3. On propose la mthode suivante pour la rsolution du systme (1.71) :
(a) Soient z solution de Az = b, et h solution de Ah = f.
(b) x = h
c h
c z
z, =
c h
c z
.
Montrer que x IR
n
et IR ainsi calculs sont bien solutions du systme (1.71).
4. On suppose dans cette question que A est une matrice bande, dont la largeur de bande est p.
(a) Calculer le cot de la mthode de rsolution propose ci-dessus en utilisant la mthode LU pour la
rsolution des systmes linaires.
(b) Calculer le cot de la rsolution du systme My = g par la mthode LU (en protant ici encore de la
structure creuse de la matrice A).
(c) Comparer et conclure.
Dans les deux cas, le terme dordre suprieur est 2nq
2
, et les cots sont donc comparables.
Exercice 33 (Proprits gnrales du conditionnement). Corrig dtaill en page 67.
On suppose que IR
n
est muni de la norme euclidienne usuelle =
2
et M
n
(IR) de la norme induite (note
aussi
2
. On note alors cond
2
(A) conditionnement dune matrice A inversible.
1. Soit A M
n
(IR) une matrice inversible. Montrer que cond
2
(A) = 1 si et seulement si A = Qo IR
et Q est une matrice orthogonale (cest--dire Q

t
= Q
1
).
2. Soit A M
n
(IR) une matrice inversible. On suppose que A = QR o Q est une matrice orthogonale.
Montrer que cond
2
(A) = cond
2
(R).
3. Soit A, B M
n
(IR) deux matrices symtriques dnies positives. Montrer que cond
2
(A+B) max{cond
2
(A), cond
2
(B)}.
Exercice 34 (Minoration du conditionnement).
Soit . une norme induite sur M
n
(IR) et soit A M
n
(IR) telle que det(A) = 0.
1. Montrer que si AB <
1
A
1
, alors B est inversible.

2. Montrer que cond (A) sup
BMn(IR)
detB=0
A
AB
Exercice 35 (Minoration du conditionnement). Corrig dtaill en page 68.
On note une norme matricielle sur M
n
(IR). Soit A M
n
(IR) une matrice carre inversible, cond(A) =
AA
1
le conditionnement de A, et soit A M
n
(IR).
1. Montrer que si A+A est singulire, alors
cond(A)
A
A
. (1.72)
2. On suppose dans cette question que la norme est la norme induite par la norme euclidienne sur IR
n
.
Montrer que la minoration (1.72) est optimale, cest--dire quil existe A M
n
(IR) telle que A+A soit
singulire et telle que lgalit soit vrie dans (1.72).
[On pourra chercher A de la forme
A =
y x
t
x
t
x
,
avec y IR
n
convenablement choisi et x = A
1
y.]
3. On suppose ici que la norme est la norme induite par la norme innie sur IR
n
. Soit ]0, 1[. Utiliser
lingalit (1.72) pour trouver un minorant, qui tend vers + lorsque tend vers 0, de cond(A) pour la
matrice
A =
_
_
1 1 1
1
1
_
_
.
Exercice 36 (Conditionnement du carr).
Soit A M
n
(IR) une matrice telle que detA = 0.
1. Quelle relation existe-t-il en gnral entre cond (A
2
) et (cond A)
2
?
2. On suppose que A symtrique. Montrer que cond
2
(A
2
) = (cond
2
A)
2
.
3. On suppose que cond
2
(A
2
) = (cond
2
A)
2
. Peut-on conclure que A est symtrique ? (justier la rponse.)
Exercice 37 (Calcul de linverse dune matrice et conditionnement). Corrig dtaill en page 68.
On note une norme matricielle sur M
n
(IR). Soit A M
n
(IR) une matrice carre inversible. On cherche ici
des moyens dvaluer la prcision de calcul de linverse de A.
1. On suppose quon a calcul B, approximation (en raison par exemple derreurs darrondi) de la matrice A
1
.
On pose :
_
_
e
1
=
B A
1
A
1
, e
2
=
B
1
A
A
e
3
= AB Id, e
4
= BAId
(1.73)
(a) Expliquer en quoi les quantits e
1
, e
2
, e
3
et e
4
mesurent la qualit de lapproximation de A
1
.
(b) On suppose ici que B = A
1
+E, o E A
1
, et que
cond(A) < 1.
Montrer que dans ce cas,
e
1
, e
2

cond(A)
1 cond(A)
, e
3
cond(A) et e
4
cond(A).
(c) On suppose maintenant que AB Id = E
avec E
< 1. Montrer que dans ce cas :

e
1
, e
2

1
, e
3
et e
4
cond(A).
2. On suppose maintenant que la matrice A nest connue qu une certaine matrice derreurs prs, quon note
A
.
(a) Montrer que la matrice A+
A
est inversible si
A
<
1
A
1
.
(b) Montrer que si la matrice A+
A
est inversible,
(A+
A
)
1
A
1
(A+
A
)
1
cond(A)
A
.
Exercice 38 (Conditionnement du Laplacien discret 1D). Suggestions en page 65, corrig dtaill en page 70. Soit
f C([0, 1]). Soit n IN
, n impair. On pose h = 1/(n + 1). Soit A la matrice dnie par (1.10) page 12, issue
dune discrtisation par diffrences nies (vue en cours) du problme (1.5a) page 10.
Calculer les valeurs propres et les vecteurs propres de A. [On pourra commencer par chercher IR et
C
2
(IR, IR) ( non identiquement nulle) t.q.
(x) = (x) pour tout x ]0, 1[ et (0) = (1) = 0].

Calculer cond
2
(A) et montrer que h
2
cond
2
(A)
4
2
lorsque h 0.
Exercice 39 (Conditionnement, raction diffusion 1d.).
On sintresse au conditionnement pour la norme euclidienne de la matrice issue dune discrtisation par Diffren-
ces Finies du problme (1.28) tudi lexercice 9, quon rappelle :
u
(x) +u(x) = f(x), x ]0, 1[,

u(0) = u(1) = 0.
(1.74)
Soit n IN
. On note U = (u
j
)
j=1,...,n
une valeur approche de la solution u du problme (1.28) aux points
_
j
n+1
_
j=1,...,n
. On rappelle que la discrtisation par diffrences nies de ce problme consiste chercher U
comme solution du systme linaire AU =
_
f(
j
N+1
)
_
j=1,...,n
o la matrice A M
n
(IR) est dnie par A =
(N + 1)
2
B +Id, Id dsigne la matrice identit et
B =
_
_
_
_
_
_
_
_
_
2 1 0 . . . 0
1 2 1
.
.
.
.
.
.
0
.
.
.
.
.
.
.
.
. 0
.
.
.
.
.
. 1 2 1
0 . . . 0 1 2
_
_
_
_
_
_
_
_
_
1. (Valeurs propres de la matrice B.)
On rappelle que le problme aux valeurs propres
u
(x) = u(x), x ]0, 1[,

u(0) = u(1) = 0.
(1.75)
admet la famille (
k
, u
k
)
kIN
,
k
= (k)
2
et u
k
(x) = sin(kx) comme solution. Montrer que les vecteurs
U
k
=
_
u
k
(
j
n+1
)
_
j=1,...,n
sont des vecteurs propres de la matrice B. En dduire toutes les valeurs propres
de la matrice B.
2. En dduire les valeurs propres de la matrice A.
3. En dduire le conditionnement pour la norme euclidienne de la matrice A.
Exercice 40 (Conditionnement efcace".). Suggestions en page 65.
Soit f C([0, 1]). Soit n IN
, n impair. On pose h = 1/(n + 1). Soit A la matrice dnie par (1.10) page 12,
issue dune discrtisation par diffrences nies (vue en cours) du problme (1.5a) page 10.
Pour u IR
n
, on note u
1
, . . . , u
n
les composantes de u. Pour u IR
n
, on dit que u 0 si u
i
0 pour tout
i {1, . . . , n}. Pour u, v IR
n
, on note u v =
n
i=1
u
i
v
i
.
On munit IR
n
de la norme suivante : pour u IR
n
, u = max{|u
i
|, i {1, . . . , n}}. On munit alors M
n
(IR)
de la norme induite, galement note , cest--dire B = max{Bu, u IR
n
t.q. u = 1}, pour tout
B M
n
(IR).
Partie I Conditionnement de la matrice et borne sur lerreur relative
1. (Existence et positivit de A
1
) Soient b IR
n
et u IR
n
t.q. Au = b. Remarquer que Au = b peut
scrire :
_
1
h
2
(u
i
u
i1
) +
1
h
2
(u
i
u
i+1
) = b
i
, i {1, . . . , n},
u
0
= u
n+1
= 0.
(1.76)
Montrer que b 0 u 0. [On pourra considrer p {0, . . . , n + 1} t.q. u
p
= min{u
j
, j {0, . . . , n +
1}.]
En dduire que A est inversible.
2. (Prliminaire) On considre la fonction C([0, 1], IR) dnie par (x) = (1/2)x(1 x) pour tout
x [0, 1]. On dnit alors = (
1
, . . .
n
) IR
n
par
i
= (ih) pour tout i {1, . . . , n}. Montrer que
(A
bfphi)
i
= 1 pour tout i {1, . . . , n}.
3. (Calcul de A
1
) Soient b IR
n
et u IR
n
t.q. Au = b. Montrer que u (1/8)b [Calculer
A(u b) avec
bfphi dni la question 2 et utiliser la question 1]. En dduire que A
1
1/8 puis montrer que
A
1
= 1/8.
4. (Calcul de A) Montrer que A =
4
h
2
.
5. (Conditionnement pour la norme ). Calculer A
1
A. Soient b,
b
IR
n
et soient u,
u
IR
n
t.q.
Au = b et A(u +
u
) = b +
b
. Montrer que

u
u
A
1
A
b
.
Montrer quun choix convenable de b et
b
donne lgalit dans lingalit prcdente.
Partie II Borne raliste sur lerreur relative : Conditionnement efcace"
On se donne maintenant f C([0, 1], IR) et on suppose (pour simplier. . . ) que f(x) > 0 pour tout x ]0, 1[.
On prend alors, dans cette partie, b
i
= f(ih) pour tout i {1, . . . , n}. On considre aussi le vecteur dni la
question 2 de la partie I.
1. Montrer que
h
n
i=1
b
i
1
0
f(x)(x)dx quand n
et que
n
i=1
b
i
i
> 0 pour tout n IN
.
En dduire quil existe > 0, ne dpendant que de f, t.q. h
n
i=1
b
i
i
pour tout n IN
.
2. Soit u IR
n
t.q. Au = b. Montrer que nu
n
i=1
u
i
= u A

h
(avec donn la question 1).
Soit
b
IR
n
et
u
IR
n
t.q. A(u +
u
) = b +
b
. Montrer que

u
u

f
L
(]0,1[)
8
b
.
3. Comparer A
1
A (question I.5) et
f
L
(]0,1[)
8
(question II.2) quand n est grand" (ou quand n ).
1.4.6 Suggestions pour les exercices
Exercice 25 page 59 (Normes induites particulires)
1. Pour montrer lgalit, prendre x tel que x
j
= sign(a
i0,j
) o i
0
est tel que
j=1,...,n
|a
i0,j
|
j=1,...,n
|a
i,j
|,
i = 1, . . . , n, et sign(s) dsigne le signe de s.
2. Pour montrer lgalit, prendre x tel que x
j0
= 1 et x
j
= 0 si j = j
0
, o j
0
est tel que

i=1,...,n
|a
i,j0
| =
max
j=1,...,n
i=1,...,n
|a
i,j
|.
Exercice 30 page 60 (Srie de Neumann)
1. Montrer que si (A) < 1, alors 0 nest pas valeur propre de Id +A et Id A.
2. Utiliser le corollaire 1.29.
Exercice 33 page 61 (Proprits gnrales du conditionnement)
3. Soient 0 <
1

2
. . .
n
et 0 <
1

2
. . .
n
les valeurs propres de A et B (qui sont s.d.p.). Montrer
dabord que :
cond
2
(A+B)

n
+
n
1
+
1
.
Montrer ensuite que
a +b
c +d
max(
a
c
,
b
d
), (a, b, c, d) (IR
+
)
4
.
et conclure
Exercice 38 page 62(Conditionnement du Laplacien discret 1D)
2. Chercher les vecteurs propres IR
n
de A sous la forme
j
= (x
j
), j = 1, . . . , n o est introduite dans
les indications de lnonc. Montrer que les valeurs propres associes ces vecteurs propres sont de la forme :
k
=
2
h
2
(1 cos kh) =
2
h
2
(1 cos
k
n + 1
).
Exercice 40 page 63 (Conditionnement efcace)
Partie 1
1. Pour montrer que A est inversible, utiliser le thorme du rang.
2. Utiliser le fait que est un polynme de degr 2.
3. Pour montrer que A
1
=
1
8
, remarquer que le maximum de est atteint en x = .5, qui correspond un point
de discrtisation car n est impair.
Partie 2 Conditionnement efcace
1. Utiliser la convergence uniforme des fonctions constantes par morceaux
h
et f
h
dnies par
h
(x) =
_
(ih) =
i
si x ]x
i
h
2
, x
i
+
h
2
[, i = 1, . . . , n,
0 si x [0,
h
2
] ou x ]1
h
2
, 1].
et
f
h
(x) =
_
f(ih) = b
i
si x ]x
i
h
2
, x
i
+
h
2
[,
f(ih) = 0 si x [0,
h
2
] ou x ]1
h
2
, 1].
2. Utiliser le fait que A = (1 . . . 1)
t
.
1.4.7 Corrigs
Exercice 25 page 59 (Normes induites particulires)
1. Par dnition, A
= sup
xIR
n
,x=1
Ax
, et
Ax
= max
i=1,...,n
|
j=1,...,n
a
i,j
x
j
| max
i=1,...,n
|
j=1,...,n
|a
i,j
||x
j
|.
Or x
= 1 donc |x
j
| 1 et
Ax
max
i=1,...,n
|
j=1,...,n
|a
i,j
|.
Posons maintenant = max
i=1,...,n
|
j=1,...,n
|a
i,j
| et montrons quil existe x IR
n
, x
= 1, tel que
Ax
= . Pour s IR, on note sign(s) le signe de s, cestdire sign(s) = s/|s| si s = 0 et sign(0) = 0.

Choisissons x IR
n
dni par x
j
= sign(a
i0,j
) o i
0
est tel que

j=1,...,n
|a
i0,j
|

j=1,...,n
|a
i,j
|, i =
1, . . . , n. On a bien x
= 1, et
Ax
= max
i=1,...,n
|
n
j=1
a
i,j
sgn(a
i0,j
)|.
Or, par choix de x, on a

j=1,...,n
|a
i0,j
| = max
i=1,...,n
j=1,...,n
|a
i,j
|. On en dduit que pour ce choix de x,
on a bien Ax = max
i=1,...,n
|
j=1,...,n
|a
i,j
|.
2. Par dnition, A
1
= sup
xIR
n
,x1=1
Ax
1
, et
Ax
1
=
i=1,...,n
|
j=1,...,n
a
i,j
x
j
|
j=1,...,n
|x
j
_
_
|
i=1,...,n
|a
i,j
|
_
_
max
j=1,...,n
|
i=1,...,n
|a
i,j
|
j=1,...,n
|x
j
|.
Et comme
j=1,...,n
|x
j
| = 1, on a bien que A
1
max
j=1,...,n
i=1,...,n
|a
i,j
|.
Montrons maintenant quil existe x IR
n
, x
1
= 1, tel que Ax
1
=
i=1,...,n
|a
i,j
|. Il suft de considrer
pour cela le vecteur x IR
n
dni par x
j0
= 1 et x
j
= 0 si j = j
0
, o j
0
est tel que

i=1,...,n
|a
i,j0
| =
max
j=1,...,n
i=1,...,n
|a
i,j
|. On vrie alors facilement quon a bien Ax
1
= max
j=1,...,n
i=1,...,n
|a
i,j
|.
Exercice 28 page 59 (Rayon spectral)
Il suft de prendre comme norme la norme dnie par : x
2
=
n
i=1
2
i
o les (
i
)
i=1,n
sont les composantes
de x dans la base des vecteurs propres associs A.
Pour montrer que ceci est faux dans le cas o A nest pas diagonalisable, il suft de prendre A =
_
0 1
0 0
_
, on a
alors (A) = 0, et comme A est non nulle, A = 0.
Exercice 30 page 60 (Srie de Neumann)
1. Si (A) < 1, les valeurs propres de A sont toutes diffrentes de 1 et 1. Donc 0 nest pas valeur propre des
matrices Id A et Id +A, qui sont donc inversibles.
2. Supposons que (A) < 1. Il est facile de remarquer que
(
n
k=0
A
k
)(Id A) = Id A
n+1
. (1.77)
Si (A) < 1, daprs le corollaire 1.29, on a A
k
0 lorsque k 0. De plus, Id A est inversible. En passant
la limite dans (1.77) et on a donc
(Id A)
1
=
+
k=0
A
k
. (1.78)
Rciproquement, si (A) 1, la srie ne peut pas converger en raison du corollaire 1.29.
3. On a dmontr plus haut que si (A) < 1, la srie de terme gnral A
k
est absolument convergente et quelle
vrie (1.78). On en dduit que si A < 1,
(Id A)
1

+
k=0
A
k
=
1
1 A
.
On a de mme
(Id +A)
1
=
+
k=0
(1)
k
A
k
,
do on dduit de manire similaire que
(Id +A)
1

+
k=0
A
k
=
1
1 A
.
Exercice 33 page 61 (proprits gnrales du conditionnement)
1. Si cond
2
(A) = 1, alors
n
1
= 1 et donc toutes les valeurs propres de A
t
A sont gales. Comme A
t
A est
symtrique dnie positive (car A est inversible), il existe une base orthonorme (f
1
. . . f
n
) telle que A
t
Af
i
=
f
i
, i et > 0 (car A
t
A est s.d.p.). On a donc A
t
A = Id A
t
=
2
A
1
avec =

. En posant Q =
1
A,
on a donc Q
t
=
1
A
t
= A
1
= Q
1
.
Rciproquement, si A = Q, alors A
t
A =
2
Id,
n
1
= 1, et donc cond
2
(A) = 1.
2. A M
n
(IR) est une matrice inversible. On suppose que A = QR o Qest une matrice orthogonale. On a donc
cond
2
(A) =
1
o
1
. . .
n
t
A. Or A
t
A = (QR)
t
(QR) = R
t
Q
1
QR =
R
t
R. Donc cond
2
(A) = cond
2
(R).
3. Soient 0 <
1

2
. . .
n
et 0 <
1

2
. . .
n
les valeurs propres de A et B (qui sont s.d.p.). Alors
cond
2
(A+B) =

n
1
, o 0 <
1
. . .
n
sont les valeurs propres de A+B.
a) On va dabord montrer que
cond
2
(A+B)

n
+
n
1
+
1
.
Remarquons en premier lieu que si A est s.d.p., alors
cond
2
(A) =
sup
x=1
Ax x
inf
x2=1
Ax x
En effet, si A est s.d.p., alors sup
x2=1
Ax x =
n
; il suft pour sen rendre compte de dcomposer x sur la
base (f
i
)
i=1...n
. Soit x =
n
i=1
i
f
i
. Alors : Ax x =
n
i=1
2
i
i

n
2
i
=
n
. Et Af
n
f
n
=
n
.
De mme, Ax x
1
2
i
=
1
et Ax x =
1
si x = f
1
. Donc inf
x=1
Ax x =
1
.
On en dduit que si A est s.d.p., cond
2
(A) =
sup
x=1
Ax x
inf
x=1
Ax x
Donc cond
2
(A+B) =
sup
x=1
(A+B)x x
inf
x=1
(A+B)x x
Or sup
x=1
(Ax x +Bx x) sup
x=1
Ax x + sup
x=1
Bx x =
n
+
n
et inf
x=1
(Ax x +Bx x) inf
x=1
Ax x + inf
x=1
Bx x =
1
+
1
donc
cond
2
(A+B)

n
+
n
1
+
1
.
b) On va montrer que
a +b
c +d
max(
a
c
,
b
d
), (a, b, c, d) (IR
+
)
4
.
Supposons que
a +b
c +d

a
c
alors (a + b)c (c + d)a cestdire bc da donc bc + bd da + db soit
b(c +d) d(a +b) ; donc
a+b
c+d

b
d
. On en dduit que cond
2
(A+B) max(cond
2
(A), cond
2
(B)).
Exercice 35 page 61 (Minoration du conditionnement)
1. Comme A est inversible, A +A = A(Id +A
1
A), et donc si A+A est singulire, alors Id +A
1
A
est singulire. Or on a vu en cours que toute matrice de la forme Id + B est inversible si et seulement si
(B) < 1. On en dduit que (A
1
A) 1, et comme
(A
1
A) A
1
A A
1
A,
on obtient
A
1
A 1, soit encore cond(A)
A
A
.
2. Soit y IR
n
tel que y = 1 et A
1
y = A
1
. Soit x = A
1
y, et A =
y x
t
x
t
x
,on a donc
(A+A)x = Ax
y x
t
x
t
x
x = y
y x
t
x
x
t
x
= 0.
La matrice A+A est donc singulire. De plus,
A =
1
x
2
y y
t
A
t
.
Or par dnition de x et y, on a x
2
= A
1
2
. Dautre part, comme il sagit ici de la norme L
2
, on a
A
t
= A
1
. On en dduit que
A =
1
A
1
2
y
2
A
1
=
1
A
1
.
On a donc dans ce cas galit dans (1.72).
3. Remarquons tout dabord que la matrice Aest inversible. En effet, detA = 2
2
> 0. Soit A =
_
_
0 0 0
0
0
_
_
.
Comme det(A+A) = 0, la matrice A+A est singulire, et donc
cond(A)
A
A
. (1.79)
Or A = 2 et A = max(3, 1 + 2) = 3, car ]0, 1[. Donc cond(A)
3
2
.
Exercice 37 page 62 (Calcul de linverse dune matrice et conditionnement)
1. (a) Linverse de la matrice A vrie les quatre quations suivantes :
_
_
_
X A
1
= 0, X
1
A = 0,
AX Id = 0, XAId = 0.
Les quantits e
1
, e
2
, e
3
et e
4
sont les erreurs relatives commises sur ces quatre quations lorsquon
remplace X par B; en ce sens, elles mesurent la qualit de lapproximation de A
1
.
(b) On remarque dabord que comme la norme est matricielle, on a MP MP pour toutes
matrices M et P de M
n
(IR). On va se servir de cette proprit plusieurs fois par la suite.
() Comme B = A
1
+E, on a
e
1
=
E
A
1

A
1
A
1
= .
() Par dnition,
e
2
=
B
1
A
A
=
(A
1
+E)
1
A
A
.
Or
(A
1
+E)
1
A = (A
1
(Id +AE))
1
A
= (Id +AE)
1
AA
= (Id +AE)
1
(Id (Id +AE))A
= (Id +AE)
1
AEA.
On a donc
e
2
(Id +AE)
1
AE.
Or par hypothse, AE AE cond(A) < 1 ; on en dduit, en utilisant le thorme
1.11, que :
(Id +AE))
1

1
1 AE
, et donc e
2

cond(A)
1 cond(A)
.
() Par dnition, e
3
= AB Id = A(A
1
+E) Id = AE AE AA
1
=
cond(A).
() Enn, e
4
= BAId = (A
1
+E)AId EA EA cond(A).
(c) () Comme B = A
1
(Id +E
), on a
e
1
=
A
1
(Id +E
) A
1
A
1
Id +E
Id .
() Par dnition,
e
2
=
(Id+E
)
1
AA
A
=
(Id+E
)
1
(A(Id+E
)A)
A
(Id +E
)
1
Id (Id +E
)

1
car < 1 (thorme 1.1).
() Par dnition, e
3
= AB Id = AA
1
(Id +E
) Id = E
.
() Enn, e
4
= BAId = A
1
(Id+E
)AId = A
1
(A+E
AA) A
1
AE

cond(A).
2. (a) On peut crire A +
A
= A(Id + A
1
A
). On a vu en cours (thorme 1.11) que si A
1
A
< 1,
alors la matrice Id + A
1
A
est inversible. Or A
1
A
A
1
A
, et donc la matrice A +
A
est inversible si
A
<
1
A
1
.
(b) On peut crire (A+
A
)
1
A
1
= (A +
A
)
1
(Id (A +
A
)A
1
(A +
A
)
1
Id
Id
A
A
1
(A+
A
)
1
A
A
1
. On en dduit le rsultat.
Exercice 38 page 62 (Conditionnement du Laplacien discret 1D)
Pour chercher les valeurs propres et vecteurs propres de A, on sinspire des valeurs propres et vecteurs propres du
problme continu, cestdire des valeurs et fonctions telles que
_

(x) = (x) x ]0, 1[

(0) = (1) = 0
(1.80)
(Notons que ce truc ne marche pas dans nimporte quel cas.)
Lensemble des solutions de lquation diffrentielle
= est un espace vectoriel dordre 2, donc est

de la forme (x) = cos
x + sin
x ( 0) et et dont dtermins par les conditions aux limites

(0) = = 0 et (1) = cos
+ sin
= 0 ; on veut = 0 car on cherche = 0 et donc on obtient

= k
2
2
. Les couples (, ) vriant (1.80) sont donc de la forme (k
2
2
, sin kx).
2. Pour k = 1 n, posons
(k)
i
= sin kx
i
, o x
i
= ih, pour i = 1 n, et calculons A
(k)
:
(A
(k)
)
i
= sink(i 1)h + 2 sin k(ih) sin k(i + 1)h.
En utilisant le fait que sin(a +b) = sin a cos b + cos a sin b pour dvelopper sin k(1 i)h et sin k(i + 1)h, on
obtient (aprs calculs) :
(A
(k)
)
i
=
k
(k)
i
, i = 1, . . . , n,
o
k
=
2
h
2
(1 cos kh) =
2
h
2
(1 cos
k
n + 1
)
On a donc trouv n valeurs propres
1
. . .
n
associes aux vecteurs propres
(1)
. . .
(n)
de IR
n
tels que
(k)
i
=
sin
ki
n + 1
, i = 1 . . . n.
Remarque : Lorsque n +(ou h 0), on a
(h)
k
=
2
h
2
_
1 1 +
k
2
2
h
2
2
+O(h
4
)
_
= k
2
2
+O(h
2
)
Donc
(h)
k
k
2
2
=
k
h 0.
Calculons cond
2
(A). Comme A est s.d.p., on a cond
2
(A) =

n
1
=
1 cos
n
n+1
1 cos

n+1
.
On a : h
2
n
= 2(1 cos
n
n+1
) 4 et
1

2
lorsque h 0. Donc h
2
cond
2
(A)
4
2
lorsque h 0.
Exercice 40 page 63 (Conditionnement efcace")
Partie I
1. Soit u = (u
1
, . . . , u
n
)
t
. On a
Au = b
_
1
h
2
(u
i
u
i1
) +
1
h
2
(u
i
u
i+1
) = b
i
, i = 1, . . . , n,
u
0
= u
n+1
= 0.
Supposons b
i
0, i = 1, . . . , n, et soit
p = min{k {0, . . . , n + 1}; u
k
= min{u
i
, i = 0, . . . , n + 1}}.
Remarquons que p ne peut pas tre gal n + 1 car u
0
= u
n+1
= 0. Si p = 0, alors u
i
0 i = 0, n + 1 et donc
u 0.
Si p {1, . . . , n}, alors
1
h
2
(u
p
u
p1
) +
1
h
2
(u
p
u
p+1
) 0;
mais par dnition de p, on a u
p
u
p1
< 0 et u
p
u
p+1
0, et on aboutit donc une contradiction.
Montrons maintenant que A est inversible. On vient de montrer que si Au 0 alors u 0. On en dduit par
linarit que si Au 0 alors u 0, et donc que si Au = 0 alors u = 0. Ceci dmontre que lapplication linaire
reprsente par la matrice A est injective donc bijective (car on est en dimension nie).
2. Soit C([0, 1], IR) tel que (x) =
1
2
x(1 x) et
i
= (x
i
), i = 1, n, o x
i
= ih.
On remarque que (A)
i
est le dveloppement de Taylor lordre 2 de (x
i
). En effet, est un polynme de degr
2, sa drive troisime est nulle ; de plus on a
(x) =
1
2
x et
(x) = 1. On a donc :
i+1
=
i
+h
(x
i
)
h
2
2
i1
=
i
h
(x
i
)
h
2
2
On en dduit que
1
h
2
(2
i
i+1
i+1
) = 1, et donc que (A)
i
= 1.
3. Soient b IR
n
et u IR
n
tels que Au = b. On a :
(A(u b))
i
= (Au)
i
b(A)
i
= b
i
b.
Prenons dabord

b
i
= b
i
+b 0, alors par la question (1),
u
i
+b
i
0 i = 1 . . . n.
Si maintenant on prend

b
i
= b
i
b 0, alors
u
i
b
i
0 i = 1, . . . , n.
On a donc b
i
u
i
b
i
.
On en dduit que u b ; or =
1
8
. Do u
1
8
b.
On peut alors crire que pour tout b IR
n
,
A
1
b
1
8
b, donc
A
1
b
b

1
8
, do A
1

1
8
.
On montre que A
1
=
1
8
en prenant le vecteur b dni par b(x
i
) = 1, i = 1, . . . , n. On a en effet A
1
b = ,
et comme n est impair, i {1, . . . , n} tel que x
i
=
1
2
;or = (
1
2
) =
1
8
.
4. Par dnition, on a A = sup
x=1
Ax, et donc A = max
i=1,n
j=1,n
|a
i,j
|, do le rsultat.
5. Grce aux questions 3 et 4, on a, par dnition du conditionnement pour la norme , cond(A) = AA
1
=
1
2h
2
.
Comme A
u
=
b
, on a :
u
A
1
b
b
A
1
Au
b
,
do le rsultat.
Pour obtenir lgalit, il suft de prendre b = Au o u est tel que u = 1 et Au = A, et
b
tel que
b
= 1
et A
1
b
= A
1
. On obtient alors
b
=
1
A
et
u
u
= A
1
.
Do lgalit.
Partie 2 Conditionnement efcace
1. Soient
h
et f
h
les fonctions constantes par morceaux dnies par
h
(x) =
_
(ih) =
i
si x ]x
i
h
2
, x
i
+
h
2
[, i = 1, . . . , n,
0 si x [0,
h
2
] ou x ]1
h
2
, 1].
et
f
h
(x) =
_
f(ih) = b
i
si x ]x
i
h
2
, x
i
+
h
2
[,
f(ih) = 0 si x [0,
h
2
] ou x ]1
h
2
, 1].
Comme f C([0, 1], IR) et C
2
([0, 1], IR), la fonction f
h
(resp.
h
) converge uniformment vers f (resp. )
lorsque h 0. En effet,
f f
h
= sup
x[0,1]
|f(x) f
h
(x)|
= max
i=0,...,n
sup
x[xi,xi+1]
|f(x) f
h
(x)|
= max
i=0,...,n
sup
x[xi,xi+1]
|f(x) f(x
i
)|
Comme f est continue, elle est uniformment continue sur [0, 1] et donc pour tout > 0, il existe h
> 0 tel que si

|s t| h
, alors |f(s) f(t)|. On en conclut que si lon prend h h
, on a f f
h
. Le raisonnement est
le mme pour
h
, et donc f
h
h
converge uniformment vers f. On peut donc passer la limite sous lintgrale
et crire que :
h
n
i=1
b
i
i
=
1
0
f
h
(x)
h
(x)dx
1
0
f(x)(x)dx lorsque h 0.
Comme b
i
> 0 et
i
> 0 i = 1, . . . , n, on a videmment
S
n
=
n
i=1
b
i
i
> 0 et S
n

1
0
f(x)(x)dx = > 0 lorsque h 0.
Donc il existe n
0
IN tel que si n n
0
, S
n

2
, et donc S
n
= min(S
0
, S
1
. . . S
n0
,

2
) > 0.
2. On a nu = nsup
i=1,n
|u
i
|

n
i=1
u
i
. Dautre part, A = (1 . . . 1)
t
donc u A =
n
i=1
u
i
; or u A =
A
t
u = Au car A est symtrique. Donc u A =
n
i=1
b
i
i

h
daprs la question 1. Comme
u
= A
1
b
,
on a donc
u
A
1

b
; et comme nu

h
, on obtient :

u
u

1
8
hn
f
b
. Or hn 1 et on a
donc bien :
u

f
8
b
.
3. Le conditionnement cond(A) calcul dans la partie 1 est dordre 1/h
2
, et donc tend vers linni lorsque le
pas de discrtisation tend vers 0, alors quon vient de montrer dans la partie 2 que la variation relative
u
u
est
infrieure une constante multiplie par la variation relative de

b
b
. Cette dernire information est nettement plus
utile et rjouissante pour la rsolution effective du systme linaire.
1.5. MTHODES ITRATIVES CHAPITRE 1. SYSTMES LINAIRES
1.5 Mthodes itratives
Les mthodes directes sont trs efcaces : elles donnent la solution exacte (aux erreurs darrondi prs) du systme
linaire considr. Elles ont linconvnient de ncessiter une assez grande place mmoire car elles ncessitent le
stockage de toute la matrice en mmoire vive. Si la matrice est pleine, c..d. si la plupart des coefcients de la
matrice sont non nuls et quelle est trop grosse pour la mmoire vive de lordinateur dont on dispose, il ne reste
plus qu grer habilement le swapping" cestdire lchange de donnes entre mmoire disque et mmoire
vive pour pouvoir rsoudre le systme.
Cependant, si le systme a t obtenu partir de la discrtisation dquations aux drivs partielles, il est en
gnral creux", c.. d. quun grand nombre des coefcients de la matrice du systme sont nuls ; de plus la matrice
a souvent une structure bande", i.e. les lments non nuls de la matrice sont localiss sur certaines diagonales. On
a vu au chapitre prcdent que dans ce cas, la mthode de Choleski conserve le prol" (voir ce propos page 36).
Si on utilise une mthode directe genre Choleski, on aura donc besoin dune place mmoire de n M = M
3
.
(Notons que pour une matrice pleine on a besoin de M
4
.)
Lorsquon a affaire de trs gros systmes issus par exemple de lingnierie (calcul des structures, mcanique
des uides, . . . ), o n peut tre de lordre de plusieurs milliers, on cherche utiliser des mthodes ncessitant le
moins de mmoire possible. On a intrt dans ce cas utiliser des mthodes itratives. Ces mthodes ne font appel
qu des produits matrice vecteur, et ne ncessitent donc pas le stockage du prol de la matrice mais uniquement
des termes non nuls. Dans lexemple prcdent, on a 5 diagonales non nulles, donc la place mmoire ncessaire
pour un produit matrice vecteur est 5n = 5M
2
. Ainsi pour les gros systmes, il est souvent avantageux dutiliser
des mthodes itratives qui ne donnent pas toujours la solution exacte du systme en un nombre ni ditrations,
mais qui donnent une solution approche cot moindre quune mthode directe, car elles ne font appel qu des
produits matrice vecteur.
Remarque 1.41 (Sur la mthode du gradient conjugu).
Il existe une mthode itrative miraculeuse" de rsolution des systmes linaires lorsque la matrice A est sym-
trique dnie positive : cest la mthode du gradient conjugu. Elle est miraculeuse en ce sens quelle donne la
solution exacte du systme Ax = b en un nombre ni doprations (en ce sens cest une mthode directe) : moins
de n itrations o n est lordre de la matrice A, bien quelle ne ncessite que des produits matrice vecteur ou des
produits scalaires. La mthode du gradient conjugu est en fait une mthode doptimisation pour la recherche du
minimum dans IR
n
de la fonction de IR
n
dans IR dnie par : f(x) =
1
2
Ax x b x. Or on peut montrer que
lorsque A est symtrique dnie positive, la recherche de x minimisant f dans IR
n
est quivalent la rsolution
du systme Ax = b. (Voir paragraphe 3.2.2 page 165.) En fait, la mthode du gradient conjugu nest pas si
miraculeuse que cela en pratique : en effet, le nombre n est en gnral trs grand et on ne peut en gneral pas
envisager deffectuer un tel nombre ditrations pour rsoudre le systme. De plus, si on utilise la mthode du
gradient conjugu brutalement, non seulement elle ne donne pas la solution en n itrations en raison de laccumu-
lation des erreurs darrondi, mais plus la taille du systme crot et plus le nombre ditrations ncessaires devient
lev. On a alors recours aux techniques de prconditionnement". Nous reviendrons sur ce point au chapitre 3.
La mthode itrative du gradient pas xe, qui est elle aussi obtenue comme mthode de minimisation de la
fonction f ci-dessus, fait lobjet des exercices 42 page 85 et 92 page 180.
1.5.1 Dnition et proprits
Soit A M
n
(IR) une matrice inversible et b IR
n
, on cherche toujours ici rsoudre le systme linaire (1.1)
cestdire trouver x IR
n
tel que Ax = b, mais de faon itrative, c..d. par la construction dune suite.
Dnition 1.42 (Mthode itrative). On appelle mthode itrative de rsolution du systme linaire (1.1) une
mthode qui construit une suite (x
(k)
)
kIN
(o litr" x
(k)
est calcul partir des itrs x
(0)
. . . x
(k1)
) cense
converger vers x solution de (1.1)).
Bien sr, on souhaite que cette suite converge vers la solution x du systme.
Dnition 1.43 (Mthode itrative convergente). On dit quune mthode itrative est convergente si pour tout
choix initial x
(0)
IR
n
, on a :
x
(k)
x quand k +
Enn, on veut que cette suite soit simple calculer. Une ide naturelle est de travailler avec une matrice P inversible
qui soit proche de A, mais plus facile que A inverser. On appelle matrice de prconditionnement cette matrice
P. On crit alors A = P (P A) = P N (avec N = P A), et on rcrit le systme linaire Ax = b sous
la forme
Px = (P A)x + b = Nx + b. (1.81)
Cette forme suggre la construction de la suite (x
(k)
)
kIN
partir dun choix initial x
(0)
donn, par la formule
suivante :
Px
(k+1)
= (P A)x
(k)
+ b
= Nx
(k)
+ b,
(1.82)
ce qui peut galement scrire :.
x
(k+1)
= Bx
(k)
+ c, avec B = P
1
(P A) = Id P
1
A = P
1
N et c = P
1
b. (1.83)
Remarque 1.44 (Convergence vers A
1
b). Si Px
(k+1)
= (P A)x
(k)
+b pour tout k IN et x
(k)
x quand
k +alors P x = (P A) x + b, et donc A x = b, c..d. x = x. En conclusion, si la suite converge, alors
elle converge bien vers la solution du systme linaire.
On introduit lerreur dapproximation e
(k)
litration k, dnie par
e
(k)
= x
(k)
x, k IN (1.84)
o x
(k)
est construit par (1.83) et x = A
1
b. Il est facile de vrier que x
(k)
x = A
1
b lorsque k +si
et seulement si e
(k)
0 lorsque k +
Lemme 1.45. La suite (e
(k)
)
kIN
dnie par (1.84)est galement dnie par
e
(0)
= x
(0)
x
e
(k)
= B
k
e
(0)
(1.85)
DMONSTRATION Comme c = P
1
b = P
1
Ax, on a
e
(k+1)
= x
(k+1)
x = Bx
(k)
x +P
1
Ax (1.86)
= B(x
(k)
x). (1.87)
Par rcurrence sur k,
e
(k)
= B
k
(x
(0)
x), k IN. (1.88)
.
Thorme 1.46 (Convergence de la suite). Soit A et P M
n
(IR) des matrices inversibles. Soit x
(0)
donn et
soit (x
(k)
)
kIN
la suite dnie par (1.83).
1. La suite (x)
(k)
)
kIN
dnie par (1.83) converge vers x = A
1
b si et seulement si (B) < 1.
2. La suite (x)
(k)
)
kIN
dnie par (1.83) converge si et seulement si il existe une norme induite note telle
que telle que B < 1.
DMONSTRATION
1. On a vu que la suite (x)
(k)
)
kIN
dnie par (1.83) converge vers x = A
1
b si et seulement si la suite e
(k)
dnie
par (1.85) tend vers 0. On en dduit par le lemme 1.29 que la suite (x)
(k)
)
kIN
converge (vers x) si et seulement si
(B) < 1.
2. Si il existe une norme induite note telle que B < 1, alors en vertu du corollaire 1.29, (B) < 1 et donc la
mthode converge ce qui prcde.
Rciproquement, si la mthode converge alors (B) < 1, et donc il existe > 0 tel que B) = 1 . Prenons
maintenant =

2
et appliquons la proposition 1.28 : il existe une norme induite telle que B (B)+ < 1,
ce qui dmontre le rsultat.
Pour trouver des mthodes itratives de rsolution du systme (1.1), on cherche donc une dcomposition de la
matrice A de la forme : A = P (P A) = P N, o P est inversible et telle que le systme Py = d soit un
systme facile rsoudre (par exemple P diagonale ou triangulaire).
Estimation de la vitesse de convergence Soit x
(0)
donn et soit (x
(k)
)
kIN
la suite dnie par (1.83). On a vu
que si (B) < 1), x
(k)
x quand k , o x est la solution du systme Ax = b. On montre lexercice 56
page 107 que (sauf cas particuliers)
x
(k+1)
x
x
(k)
x
(B) lorsque k +,
indpendamment de la norme sur IR
n
. Le rayon spectral (B) de la matrice B est donc une bonne estimation de
la vitesse de convergence. Pour estimer cette vitesse de convergence lorsquon ne connat pas x, on peut utiliser le
fait (voir encore lexercice 56 page 107) quon a aussi
x
(k+1)
x
(k)
x
(k)
x
(k1)
(B) lorsque k +,
ce qui permet dvaluer la vitesse de convergence de la mthode par le calcul des itrs courants.
1.5.2 Quelques exemples de mthodes itratives
Une mthode simpliste
Le choix le plus simple pour le systme Px = (P A)x + b soit facile rsoudre (on rappelle que cest un
objectif dans la construction dune mthode itrative) est de prendre pour P la matrice identit (qui est trs facile
inverser !). Voyons ce que cela donne sur la matrice
A =
_
2 1
1 2
_
. (1.89)
On a alors B = P A =
_
1 1
1 1
_
. Les valeurs propres de B sont 0 et -2 et on a donc (B) = 2 > 1. La suite
(e
(k)
)
nIN
dnie par e
(k)
= B
k
e
(0)
nest donc en gnral pas convergente. En effet, si e
(0)
= au
1
+ bu
2
, o
u
1
=
_
1
1
_
est vecteur propre de A associ la valeur propre = 2, on a e
(k)
= (2)
k
a et donc |e
(k)
| +
lorsque k ds que a = 0. Cette premire ide nest donc pas la bonne. . .
La mthode de Richardson
Afnons un peu et prenons maintenant P = Id, avec IR. On a dans ce cas PA = IdAet B = Id
1
A =
Id A avec =
1
. Les valeurs propres de B sont de la forme 1 , o est valeur propre de A. Pour la

matrice Adnie par (1.89), les valeurs propres de Asont 1 et 3, et les valeurs propres de B =
_
1 2
1 2,
_
sont 1 et 1 3. Le rayon spectral de la matrice B, qui dpend de est donc (B) = max(|1 |, |1 3|),
quon reprsente sur la gure ci-dessous. La mthode itrative scrit
x
(0)
IR
n
donn ,
x
(k+1)
= Bx
(k)
+ c, avec c = b. (1.90)
Pour que la mthode converge, il faut et il suft que (B) < 1, c..d. 3 1 < 1, donc <
2
3
. On voit que le
choix = 1 quon avait fait au dpart ntait pas bon. Mais on peut aussi calculer le meilleur coefcient pour
avoir la meilleure convergence possible : cest la valeur de qui minimise le rayon spectral ; il est atteint pour
1 = 3 , ce qui donne =
1
2
. Cette mthode est connue sous le nom de mthode de Richardson
6
. Elle est
souvent crite sous la forme :
x
(0)
IR
n
donn ,
x
(k+1)
= x
(k)
+r
(k)
,
o r
(k)
= b Ax
(k)
est le rsidu. On vrie facilement que cette forme est quivalente la forme (1.90) quon
vient dtudier.
1
|1 |
|1 3|
max(|1 |, |1 3|
1
1
3
2
3
1
2
FIGURE 1.5: Rayon spectral de la matrice B de Richardson en fonction du coefcient .
La mthode de Jacobi
Dans le cas de lexemple de la matrice A donn par (1.89), la mthode de Richardson avec le coefcient optimal
=
1
2
revient prendre comme dcomposition de A = P + A P avec comme matrice P = D, o D est la
6. Lewis Fry Richardson, (1881-1953) est un mathmatician, physicien, mtorologue et psychologue qui a introduit les mthodes ma-
thmatiques pour les prvisions mtrologiques. Il est galement connu pour ses travaux sur les fractals. Ctait un paciste qui a abandonn
ses travaux de mtorologie en raison de leur utillisation par larme de lair, pour se tourner vers ltude des raisons de guerres et de leur
prvention.
matrice diagonale dont les coefcients sont les coefcients situs sur la diagonale de A. La mthode de Jacobi
7
consiste justement prendre P = D, et ce mme si la diagonale de A nest pas constante.
Elle nest quivalente la mthode de Richardson avec coefcient optimal que dans le cas o la diagonale est
constante ; cest le cas de lexemple (1.89), et donc dans ce cas la mthode de Jacobi scrit
x
(0)
=
_
x
(0)
1
x
(0)
2
_
IR
2
donn ,
x
(k+1)
=
_
x
(k+1)
1
x
(k+1)
2
_
= B
J
x
(k)
+ c, avec B
J
=
_
0
1
2
1
2
0,
_
et c =
1
2
b. (1.91)
Dans le cas dune matrice A gnrale, on dcompose A sous la forme A = D E F, o D reprsente la
diagonale de la matrice A, (E) la partie triangulaire infrieure et (F) la partie triangulaire suprieure :
D =
_
_
a
1,1
0 . . . 0
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 0
0 0 a
n,n
_
_
, E =
_
_
0 0 . . . 0
a
2,1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 0
a
n,1
. . . a
n1,n
0
_
_
et F =
_
_
0 a
1,2
. . . a
1,n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. a
n,n1
0 . . . 0 0
_
_
. (1.92)
La mthode de Jacobi scrit donc :
_
x
(0)
IR
n
Dx
(k+1)
= (E +F)x
(k)
+ b.
(1.93)
Lorsquon crit la mthode de Jacobi comme sous la forme (1.83) on a B = D
1
(E + F) ; on notera B
J
cette
matrice :
B
J
=
_
_
0
a1,2
a1,1
. . .
a1,n
a1,1
a2,1
a2,2
.
.
.
a2,n
a2,2
.
.
.
.
.
.
.
.
.
.
.
.
an,1
an,n
. . .
an1,n
an,n
0
_
_
.
La mthode de Jacobi scrit aussi :
_
_
_
x
(0)
IR
n
a
i,i
x
(k+1)
i
=
ji
a
i,j
x
(k)
j
+b
i
i = 1, . . . , n.
(1.94)
La mthode de Gauss-Seidel
Dans lcriture (1.94) de la mthode de Jacobi, on pourrait remplacer les composantes x
(k)
j
dans la somme pour
j < i par les composantes x
(k+1)
j
, puisquelles sont dj calcules au moment o lon calcule x
(k+1)
i
. Cest lide
de la mthode de Gauss-Seidel
8
qui consiste utiliser le calcul des composantes de litr (k + 1) ds quil est
effectu. Par exemple, pour calculer la deuxime composante x
(k+1)
2
du vecteur x
(k+1)
, on pourrait employer la
7. Carl G. J. Jacobi, (1804 - 1851), mathmaticien allemand. Issu dune famille juive, il tudie lUniversit de Berlin, o il obtient
son doctorat 21 ans. Sa thse est une discussion analytique de la thorie des fractions. En 1829, il devient professeur de mathmatique
lUniversit de Knigsberg, et ce jusquen 1842. Il fait une dpression, et voyage en Italie en 1843. son retour, il dmnage Berlin o il sera
pensionnaire royal jusqu sa mort. Dans une lettre du 2 juillet 1830 adresse Legendre, Jacobi crit : M. Fourier avait lopinion que le but
principal des mathmatiques tait lutilit publique et lexplication des phnomnes naturels ; mais un philosophe comme lui aurait d savoir
que le but unique de la science, cest lhonneur de lesprit humain, et que sous ce titre, une question de nombres vaut autant quune question du
systme du monde. Cest une question toujours en discussion. . . .
8. Philipp Ludwig von Seidel (Zweibrcken, Allemagne 1821 ? Munich, 13 August 1896) mathmaticien allemand dont il est dit quil a
dcouvert en 1847 le concept crucial de la convergence uniforme en tudiant une dmonstration incorrecte de Cauchy.
nouvelle" valeur x
(k+1)
1
quon vient de calculer plutt que la valeur x
(k)
1
comme dans (1.94) ; de mme, dans le
calcul de x
(k+1)
3
, on pourrait employer les nouvelles" valeurs x
(k+1)
1
et x
(k+1)
2
plutt que les valeurs x
(k)
1
et x
(k)
2
.
Cette ide nous suggre de remplacer dans (1.94) x
(k)
j
par x
(k+1)
j
si j < i. On obtient donc lalgorithme suivant :
_
x
(0)
IR
n
a
i,i
x
(k+1)
i
=
j<i
a
i,j
x
(k+1)
j

i<j
a
i,j
x
(k)
j
+b
i
, i = 1, . . . , n.
(1.95)
La mthode de GaussSeidel scrit donc sous la forme Px
(k+1)
= (P A)x
(k)
+ b, avec P = D E et
P A = F :
_
x
0
IR
n
(D E)x
(k+1)
= Fx
(k)
+b.
(1.96)
Si lon crit la mthode de GaussSeidel sous la forme x
(k+1)
= Bx
(k)
+ c , on voit assez vite que B =
(D E)
1
F ; on notera B
GS
cette matrice, dite matrice de Gauss-Seidel.
Ecrivons la mthode de Gauss-Seidel dans le cas de la matrice Adonne par (1.89) : on a dans ce cas P = DE =
_
2 0
1 2
_
, F =
_
0 1
0 0,
_
. Lalgorithme de Gauss-Seidel scrit donc :
x
(0)
=
_
x
(0)
1
x
(0)
2
_
IR
2
donn ,
x
(k+1)
=
_
x
(k+1)
1
x
(k+1)
2
_
= B
GS
x
(k)
+ c, avec B
GS
=
_
0 0
0
1
4
_
et c =
_
1
2
0
1
4
1
2
_
b. (1.97)
On a donc (B
GS
) =
1
4
. Sur cet exemple la mthode de Gauss-Seidel converge donc beaucoup plus vite que la
mthode de Jacobi : Asymptotiquement, lerreur est divise par 4 au lieu de 2 pour la mthode de Jacobi. On peut
montrer que cest le cas pour toutes les matrices tridiagonales, comme cest nonc dans le thorme suivant :
Thorme 1.47 (Comparaison de Jacobi et Gauss-Seidel pour les matrices tridiagonales). On considre une ma-
trice A M
n
(IR) tridiagonale, c..d. telle que a
i,j
= 0 si |i j| > 1 ; soient B
GS
et B
J
les matrices ditration
respectives des mthodes de Gauss-Seidel et Jacobi, alors :
(B
GS
) = ((B
J
))
2
.
Pour les matrices tridiagonales, la mthode de GaussSeidel converge (ou diverge) donc plus vite que celle de
Jacobi.
La dmonstration de ce rsultat se fait en montrant que dans le cas tridiagonal, est valeur propre de la matrice
ditration de Jacobi si et seulement si
2
est valeur propre de la matrice ditration de Gauss-Seidel. Elle est
laisse titre dexercice.
Mthodes SOR et SSOR
Lide de la mthode de sur-relaxation (SOR = Successive Over Relaxation) est dutiliser la mthode de Gauss-
Seidel pour calculer un itr intermdiaire x
(k+1)
quon relaxe" ensuite pour amliorer la vitesse de convergence
de la mthode. On se donne 0 < < 2, et on modie lalgorithme de GaussSeidel de la manire suivante :
_
_
x
0
IR
n
a
i,i
x
(k+1)
i
=
j<i
a
i,j
x
(k+1)
j

i<j
a
i,j
x
(k)
j
+b
i
x
(k+1)
i
= x
(k+1)
i
+ (1 )x
(k)
i
, i = 1, . . . , n.
(1.98)
(Pour = 1 on retrouve la mthode de GaussSeidel.)
Lalgorithme ci-dessus peut aussi scrire (en multipliant par a
i,i
la ligne 3 de lalgorithme (1.107)) :
_
_
x
(0)
IR
n
a
i,i
x
(k+1)
i
=
_
_
ji
a
i,j
x
(k)
j
+b
i
_
_
+(1 )a
i,i
x
(k)
i
.
(1.99)
On obtient donc
(D E)x
(k+1)
= Fx
(k)
+b + (1 )Dx
(k)
.
La matrice ditration de lalgorithme SOR est donc
B
=
_
D
E
_
1
(F +
_
1
_
D) = P
1
N, avec P =
D
E et N = F +
_
1
_
D.
Il est facile de vrier que A = P N.
Proposition 1.48 (Condition ncessaire de convergence de la mthode SOR).
Soit A M
n
(IR) et soiet D, E et F les matrices dnies par (1.92) ; on a donc A = D E F. Soit B
la
matrice ditration de la mthode SOR (et de la mthode de GaussSeidel pour = 1) dnie par :
B
=
_
D
E
_
1
_
F +
1
D
_
, = 0.
Si (B
) < 1 alors 0 < < 2.

DMONSTRATION Calculons det(B). Par dnition,
B = P
1
N, avec P =
1
D E et N = F +
1
D.
Donc det(B) = (det(P))
1
det(N). Comme P et N sont des matrices triangulaires, leurs dterminants sont les produits
ceofcients diagonaux (voir la remarque 1.55 page 82). On a donc :
det(B) =
(
1
)
n
det(D)
(
1
)
n
det(D)
= (1 )
n
.
Or le dterminant dune matrice est aussi le produit des valeurs propres de cette matrice (comptes avec leur multiplicits
algbriques), dont les valeurs absolues sont toutes, par dnition, infrieures au rayon spectral. On a donc : |det(B)| =
|(1 )
n
| ((B))
n
, do le rsultat.
On a un rsultat de convergence de la mthode SOR (et donc galement de Gauss-Seidel) dans le cas o A est
symtrique dnie positive, grce au lemme suivant :
Lemme 1.49 (Condition sufsante de convergence pour la suite dnie par (1.83)). Soit A M
n
(IR) une matrice
symtrique dnie positive, et soient P et N M
n
(IR) telles que A = P N et P est inversible. Si la matrice
P
t
+N est symtrique dnie positive alors (P
1
N) = (B) < 1, et donc la suite dnie par (1.83) converge.
DMONSTRATION On rappelle (voir le corollaire (1.32) page 54) que si B Mn(IR), et si est une norme induite
sur Mn(IR) par une norme sur IR
n
, on a toujours (B) B. On va donc chercher une norme sur IR
n
, note
telle que
P
1
N = max{P
1
Nx, x IR
n
, x = 1} < 1,
(o on dsigne encore par . la norme induite sur Mn(IR)) ou encore :
P
1
Nx < x, x IR
n
, x = 0. (1.100)
On dnit la norme par x =
Ax x, pour tout x IR
n
. Comme A est symtrique dnie positive,
est bien une norme sur IR
n
, induite par le produit scalaire (x|y)A = Ax y. On va montrer que la proprit (1.100) est
vrie par cette norme. Soit x IR
n
, x = 0, on a : P
1
Nx
2
= AP
1
Nx Pt
1
Nx. Or N = P A, et donc :
P
1
Nx
2
= A(Id Pt
1
A)x (Id P
1
A)x. Soit y = P
1
Ax; remarquons que y = 0 car x = 0 et P
1
A est
inversible. Exprimons P
1
Nx
2
laide de y.
P
1
Nx
2
= A(x y) (x y) = Ax x 2Ax y +Ay y = x

2
2Ax y +Ay y.
Pour que P
1
Nx
2
< x
2
(et par suite (Pt

1
N) < 1), il suft donc de montrer que 2Ax y + Ay y < 0. Or,
comme Py = Ax, on a : 2Axy+Ayy = 2Pyy+Ayy. En crivant : Pyy = yP
t
y = P
t
yy, on obtient donc
que : 2Ax y+Ay y = (P P
t
+A)y y, et comme A = P N on obtient 2Ax y+Ay y = (P
t
+N)y y.
Comme P
t
+ N est symtrique dnie positive par hypothse et que y = 0, on en dduit que 2Ax y + Ay y < 0,
ce qui termine la dmonstration.
Thorme 1.50 (CNS de convergence de la mthode SOR pour les matrices s.d.p.).
Soit A M
n
(IR) une matrice symtrique dnie positive, et soient D, E et F les matrices dnies par (1.92) ; on
a donc A = D E F. Soit B
la matrice ditration de la mthode SOR (et de la mthode de GaussSeidel

pour = 1) dnie par :
B
=
_
D
E
_
1
_
F +
1
D
_
, = 0.
Alors :
(B
) < 1 si et seulement si 0 < < 2.

En particulier, si A est une matrice symtrique dnie positive, la mthode de GaussSeidel converge.
DMONSTRATION On sait par la proposition 1.48 que si (B) < 1 alors 0 < < 2. Supposons maintenant que
A est une matrice symtrique dnie positive, que 0 < < 2et montrons que (B) < 1. Par le lemme 1.49 page 79, il
suft pour cela de montrer que P
t
+N est une matrice symtrique dnie positive. Or,
P
t
=
_
D
E
_
t
=
D
F,
P
t
+N =
D
F +F +
1
D =
2
D.
La matrice P
t
+N est donc bien symtrique dnie positive.
Remarque 1.51 (Comparaison GaussSeidel/Jacobi). On a vu (thorme 1.50) que si A est une matrice sym-
trique dnie positive, la mthode de GaussSeidel converge. Par contre, mme dans le cas o A est symtrique
dnie positive, il existe des cas o la mthode de Jacobi ne converge pas, voir ce sujet lexercice 43 page 85.
Remarquons que le rsultat de convergence des mthodes itratives donn par le thorme prcdent nest que
partiel, puisquil ne concerne que les matrices symtriques dnies positives et que les mthodes Gauss-Seidel
et SOR. On a aussi un rsultat de convergence de la mthode de Jacobi pour les matrices diagonale dominante
stricte, voir exercice 45 page 85, et un rsultat de comparaison des mthodes pour les matrices tridiagonales par
blocs, voir le thorme 1.52 donn ci-aprs. Dans la pratique, il faudra souvent compter sur sa bonne toile. . .
Estimation du coefcient de relaxation optimal de SOR La question est ici destimer le coefcient de relaxa-
tion optimal dans la mthode SOR, c..d. le coefcient
0
]0, 2[ (condition ncessaire pour que la mthode
SOR converge, voir thorme 1.50) tel que
(L
0
) < (B
), ]0, 2[.
Ce coefcient
0
donnera la meilleure convergence possible pour SOR. On sait le faire dans le cas assez restrictif
des matrices tridiagonales (ou tridiagonales par blocs, voir paragraphe suivant). On ne fait ici qunoncer le rsultat
dont la dmonstration est donne dans le livre de Ph.Ciarlet conseill en dbut de cours.
Thorme 1.52 (Coefcient optimal, matrice tridiagonale). On considre une matrice A M
n
(IR) qui admet une
dcomposition par blocs dnie dans la dnition 1.101 page 82 ; on suppose que la matrice A est tridiagonale
par blocs, c..d. A
i,j
= 0 si |i j| > 1 ; soient B
GS
et B
J
les matrices ditration respectives des mthodes
de Gauss-Seidel et Jacobi, alors : On suppose de plus que toutes les valeurs propres de la matrice ditration J
de la mthode de Jacobi sont relles ; alors le paramtre de relaxation optimal, c..d. le paramtre
0
tel que
(B
0
) = min{(B
), ]0, 2[}, sexprime en fonction du rayon spectral (B

J
) de la matrice J par la formule :
0
=
2
1 +
1 (B
J
)
2
> 1,
et on a : (B
0
) =
0
1.
La dmonstration de ce rsultat repose sur la comparaison des valeurs propres des matrices ditration. On montre
que est valeur propre de B
si et seulement si
( + 1)
2
=
2
,
o est valeur propre de B
J
(voir [Ciarlet] pour plus de dtails).
Remarque 1.53 (Mthode de Jacobi relaxe). On peut aussi appliquer une procdure de relaxation avec comme
mthode irative de base la mthode de Jacobi, voir ce sujet lexercice 49 page 87). Cette mthode est toutefois
beaucoup moins employe en pratique (car moins efcace) que la mthode SOR.
Mthode SSOR En symtrisant" le procd de la mthode SOR, c..d. en effectuant les calculs SOR sur les
blocs dans lordre 1 n puis dans lordre n 1, on obtient la mthode de sur-relaxation symtrise (SSOR =
Symmetric Successive Over Relaxation) qui scrit dans le formalisme de la mthode I avec
B
SSOR
=
_
D
F
_
1
_
E +
1
D
_
. .
calcul dans lordre n...1
_
D
E
_
1
_
F +
1
D
_
. .
calcul dans lordre 1...n
.
1.5.3 Les mthodes par blocs
Dcomposition par blocs dune matrice
Dans de nombreux cas pratiques, les matrices des systmes linaires rsoudre ont une structure par blocs", et on
se sert de cette structure lors de la rsolution par une mthode itrative.
Dnition 1.54. Soit A M
n
(IR) une matrice inversible. Une dcomposition par blocs de A est dnie par un
entier S n, des entiers (n
i
)
i=1,...,S
tels que

S
i=1
n
i
= n, et S
2
matrices A
i,j
M
ni,nj
(IR) (ensemble des
matrices rectangulaires n
i
lignes et n
j
colonnes, telles que les matrices A
i,i
soient inversibles pour i = 1, . . . , S
et
A =
_
_
A
1,1
A
1,2
. . . . . . A
1,S
A
2,1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. A
S1,S
A
S,1
. . . . . . A
S,S1
A
S,S
_
_
(1.101)
Remarque 1.55.
1. Si S = n et n
i
= 1 i {1, . . . , S}, chaque bloc est constitu dun seul coefcient, et on retrouve la
structure habituelle dune matrice. Donc toutes les mthodes que nous allons dcrire pour les matrices
structures par blocs sappliquent videmment de la mme manire aux matrices habituelles.
2. Si A est symtrique dnie positive, la condition A
i,i
inversible dans la dnition 1.54 est inutile car A
i,i
est ncessairement symtrique dnie positive donc inversible. Prenons par exemple i = 1 ; soit y IR
n1
,
y = 0 et x = (y, 0 . . . , 0)
t
IR
n
. Alors A
1,1
y y = Ax x > 0 donc A
1,1
3. Si A est une matrice triangulaire par blocs, c..d. de la forme (1.101) avec A
i,j
= 0 si j > i, alors
det(A) =
S
i=1
det(A
i,i
).
Par contre si A est dcompose en 2 2 blocs carrs (i.e. tels que n
i
= m
j
, (i, j) {1, 2}), on a en
gnral : det(A) = det(A
1,1
)det(A
2,2
) det(A
1,2
)det(A
2,1
).
Mthode de Jacobi
On peut remarquer que le choix le plus simple pour le systme Px = (P A)x + b soit facile rsoudre (on
rappelle que cest un objectif dans la construction dune mthode itrative) est de prendre pour P une matrice
diagonale. La mthode de Jacobi consiste prendre pour P la matrice diagonale D forme par les blocs diagonaux
de A :
D =
_
_
A
1,1
0 . . . . . . 0
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 0
0 . . . . . . 0 A
S,S
_
_
.
Dans la matrice ci-dessus, 0 dsigne un bloc nul.
On a alors N = P A = E + F, o E et F sont constitus des blocs triangulaires infrieurs et suprieurs de la
matrice A :
E =
_
_
0 0 . . . . . . 0
A
2,1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 0
A
S,1
. . . . . . A
S,S1
0
_
_
et
F =
_
_
0 A
1,2
. . . . . . A
1,S
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. A
S1,S
0 . . . . . . 0 0
_
_
.
On a bien A = P N et avec D, E et F dnies comme ci-dessus, la mthode de Jacobi scrit :
_
x
(0)
IR
n
Dx
(k+1)
= (E +F)x
(k)
+b.
(1.102)
Lorsquon crit la mthode de Jacobi comme sous la forme (1.83) on a B = D
1
(E + F) ; on notera J cette
matrice.
En introduisant la dcomposition par blocs de x, solution recherche de (1.1), c..d. : x = [x
1
, . . . , x
S
]
t
, o
x
i
IR
ni
, on peut aussi crire la mthode de Jacobi sous la forme :
_
_
_
x
0
IR
n
A
i,i
x
(k+1)
i
=
ji
A
i,j
x
(k)
j
+b
i
i = 1, . . . , S.
(1.103)
Si S = n et n
i
= 1 i {1, . . . , S}, chaque bloc est constitu dun seul coefcient, et on obtient la mthode de
Jacobi par points (aussi appele mthode de Jacobi), qui scrit donc :
_
_
_
x
0
IR
n
a
i,i
x
(k+1)
i
=
ji
a
i,j
x
(k)
j
+b
i
i = 1, . . . , n.
(1.104)
Mthode de Gauss-Seidel
La mme procdure que dans le cas S = n et n
i
= 1 donne :
_
x
(0)
IR
n
A
i,i
x
(k+1)
i
=
j<i
A
i,j
x
(k+1)
j

i<j
A
i,j
x
(k)
j
+b
i
, i = 1, . . . , S.
(1.105)
La mthode de GaussSeidel scrit donc sous forme la forme Px
(k+1)
= (P A)x
(k)
+ b, P = D E et
P A = F :
_
x
0
IR
n
(D E)x
(k+1)
= Fx
(k)
+b.
(1.106)
Si lon crit la mthode de GaussSeidel sous la forme x
(k+1)
= Bx
(k)
+ c , on voit assez vite que B = (D
E)
1
F ; on notera B
GS
cette matrice, dite matrice de Gauss-Seidel.
Mthodes SOR et SSOR
La mthode SOR scrit aussi par blocs :On se donne 0 < < 2, et on modie lalgorithme de GaussSeidel de
la manire suivante :
_
_
x
0
IR
n
A
i,i
x
(k+1)
i
=
j<i
A
i,j
x
(k+1)
j

i<j
A
i,j
x
(k)
j
+b
i
x
(k+1)
i
= x
(k+1)
i
+ (1 )x
(k)
i
, i = 1, . . . , S.
(1.107)
(Pour = 1 on retrouve la mthode de GaussSeidel.)
Lalgorithme ci-dessus peut aussi scrire (en multipliant par A
i,i
la ligne 3 de lalgorithme (1.107)) :
_
_
x
(0)
IR
n
A
i,i
x
(k+1)
i
=
_
_
ji
A
i,j
x
(k)
j
+b
i
_
_
+(1 )A
i,i
x
(k)
i
.
(1.108)
On obtient donc
(D E)x
(k+1)
= Fx
(k)
+b + (1 )Dx
(k)
.
Lalgorithme SOR scrit donc comme une mthode II avec
P =
D
E et N = F +
_
1
_
D.
Il est facile de vrier que A = P N.
Lalgorithme SOR scrit aussi comme une mthode I avec
B =
_
D
E
_
1
(F +
_
1
_
D).
On notera L
cette matrice.
Remarque 1.56 (Mthode de Jacobi relaxe). On peut aussi appliquer une procdure de relaxation avec comme
mthode irative de base la mthode de Jacobi, voir ce sujet lexercice 49 page 87). Cette mthode est toutefois
beaucoup moins employe en pratique (car moins efcace) que la mthode SOR.
En symtrisant" le procd de la mthode SOR, c..d. en effectuant les calculs SOR sur les blocs dans lordre 1
n puis dans lordre n 1, on obtient la mthode de sur-relaxation symtrise (SSOR = Symmetric Successive Over
Relaxation) qui scrit dans le formalisme de la mthode I avec
B =
_
D
F
_
1
_
E +
1
D
_
. .
calcul dans lordre S...1
_
D
E
_
1
_
F +
1
D
_
. .
calcul dans lordre 1...S
.
1.5.4 Exercices, noncs
Exercice 41 (Convergence de suites). Corrig en page 92
Etudier la convergence de la suite (x
(k)
)
nIN
IR
n
dnie par x
(0)
donn, x
(k)
= Bx
(k)
+ c dans les cas
suivants :
(a) B =
_
2
3
1
0
2
3
_
, c =
_
0
1
_
, (b) B =
_
2
3
1
0 2
_
, c =
_
0
0
_
.
Exercice 42 (Mthode de Richardson). ] Suggestions en page 91, corrig en page 93
Soit A M
n
(IR) une matrice symtrique dnie positive, b IR
n
et IR. Pour trouver la solution de Ax = b,
on considre la mthode itrative suivante :
Initialisation : x
(0)
IR
n
,
Iterations : x
(k+1)
= x
(k)
+(b Ax
(k)
).
1. Pour quelles valeurs de (en fonction des valeurs propres de A) la mthode est-elle convergente ?
2. Calculer
0
(en fonction des valeurs propres de A) t.q. (Id
0
A) = min{(Id A), IR}.
Commentaire sur la mthode de Richardson : On peut la voir comme une mthode de gradient pas xe pour la
minimisation de la fonction f dnie de IR
N
dans IR par : x = f(x)
1
2
Ax xb x, qui sera tudie au chapitre
3 page 169. On verra en effet que grce qu caractre symtrique dnie positif de A, la fonction f admet un unique
minimum, caractris par lannulation du gradient de f en ce point. Or f(x) = Ax b(voir exercice 89 dans le
chapitre optimisation, et annuler le gradient consiste rsoudre le systme linaire Ax = b.
Exercice 43 (Non convergence de la mthode de Jacobi). Suggestions en page 91. Corrig en page 93.
Soit a IR et
A =
_
_
1 a a
a 1 a
a a 1
_
_
Montrer que A est symtrique dnie positive si et seulement si 1/2 < a < 1 et que la mthode de Jacobi
converge si et seulement si 1/2 < a < 1/2.
Exercice 44 (Une matrice cyclique). Suggestions en page 92
Soit IR et soit A M
4
(IR) la matrice dnie par
A =
_
_
_
_
1 0 1
1 1 0
0 1 1
1 0 1
_
_
_
_
Cette matrice est dite cyclique : chaque ligne de la matrice peut tre dduite de la prcdente en dcalant chaque
coefcient dune position.
1. Dterminer les valeurs propres de A.
2. Pour quelles valeurs de la matrice A est-elle symtrique dnie positive ? singulire ?
3. On suppose ici que = 0. Soit b = (b
1
, b
2
, b
3
, b
4
)
t
IR
4
donn. On considre la mthode de Jacobi pour
la rsolution du systme Ax = b. Soit (x
(k)
)
nIN
la suite de vecteurs donns par lalgorithme. On note x
(k)
i
pour i = 1, . . . , 4 les composantes de x
(k)
. Donner lexpression de x
(k+1)
i
, i = 1, . . . , 4, en fonction de x
(k)
i
et b
(k)
i
, i = 1, . . . , 4. Pour quelles valeurs de la mthode de Jacobi converge-t-elle ?
4. On suppose maintenant que A est symtrique dnie positive. Reprendre la question prcdente pour la
mthode de Gauss-Seidel.
Exercice 45 (Jacobi pour les matrices diagonale dominante stricte). Suggestions en page 92, corrig en page 94
Soit A = (a
i,j
)
i,j=1,...,n
M
n
(IR) une matrice diagonale dominante stricte (cest--dire |a
i,i
| >
j=i
|a
i,j
|
pour tout i = 1, . . . , n). Montrer que A est inversible et que la mthode de Jacobi (pour calculer la solution de
Ax = b) converge.
Exercice 46 (Jacobi pour pour un problme de diffusion ).
Soit f C([0, 1]) ; on considre le systme linaire Ax = b issu de la discrtisation par diffrences nies de pas
uniforme gal h =
1
n+1
du problme suivant :
_
u
(x) +u(x) = f(x), x [0, 1],

u(0) = 0, u(1) = 1,
(1.109)
o 0.
1. Donner lexpression de A et b.
2. Montrer que la mthode de Jacobi applique la rsolution de ce systme converge (distinguer les cas > 0
et = 0).
Exercice 47 (Jacobi et diagonale dominance forte).
1. Soit A M
n
(IR) une matrice symtrique dnie positive.
(a) Montrer que tous les coefcients diagonaux de A sont strictement positifs.
(b) En dduire que la mthode de Jacobi pour la rsolution du systme linaire Ax = b, avec b IR
n
, est bien
dnie.
Soit M M
n
(IR) une matrice carre dordre n, avec n > 1. On dit que la matrice M est irrductible si :
pour tous ensembles dindices I {1, . . . , n}, I = , et J = {1 . . . , n} \ I, J = , i I, j J; a
i,j
= 0.
(1.110)
2 (a) Montrer quune matrice diagonale nest pas irrductible. En dduire quune matrice inversible nest pas
forcment irrductible.
2 (b) Soit M M
n
(IR) une matrice carre dordre n, qui scrit sous la forme :
M =
_
A 0
B C
_
o Aet C sont des matrices carres dordre p et q, avec p+q = n, et B M
q,p
(IR). La matrice M peut-elle
tre irrductible ?
3. Soit A M
n
(IR), n > 1 une matrice irrductible qui vrie de plus la proprit suivante :
i = 1, . . . , n, a
i,i

j=i
|a
i,j
| (1.111)
(On dit que la matrice est diagonale dominante). Montrer que la mthode de Jacobi pour la rsolution du systme
linaire Ax = b, avec b IR
n
, est bien dnie.
4. Soit A M
n
(IR), n > 1 une matrice irrductible qui vrie la proprit (1.111). On note B
J
la matrice
ditration de la mthode de Jacobi pour la rsolution du systme linaire Ax = b, avec b IR
n
, et (B
J
) son
rayon spectral. On suppose que A vrie la proprit supplmentaire suivante :
i
0
; a
i0,i0
>
j=i0
|a
i,j
|. (1.112)
(a) Montrer que (B
J
) 1.
(b) Montrer que si Jx = x avec || = 1, alors |x
i
| = x
, i = 1, . . . , n, o x
= max
k=1,...,N
|x
k
|.
En dduire que x = 0 et que la mthode de Jacobi converge.
(c) Retrouver ainsi le rsultat de la question 2 de lexercice 46.
5. En dduire que si A est une matrice qui vrie les proprits (1.110), (1.111) et (1.112), alors A est inversible.
6. Montrer que la matrice A suivante est symtrique dnie positive et vrie les proprits (1.111) et (1.112).
A =
_
_
1 0 0 0
0 2 1 1
0 1 2 1
0 1 1 2
_
_
La mthode de Jacobi converge-t-elle pour la rsolution dun systme linaire dont la matrice est A?
Exercice 48 (Diagonalisation dans IR ).
Soit E un espace vectoriel rel de dimension n IN muni dun produit scalaire, not (, ). Soient T et S deux
applications linaires symtriques de E dans E (T symtrique signie (Tx, y) = (x, Ty) pour tous x, y E). On
suppose que T est dnie positive" (cest--dire (Tx, x) > 0 pour tout x E \ {0}).
1. Montrer que T est inversible. Pour x, y E, on pose (x, y)
T
= (Tx, y). Montrer que lapplication (x, y)
(x, y)
T
dnit un nouveau produit scalaire sur E.
2. Montrer que T
1
S est symtrique pour le produit scalaire dni la question prcdente. En dduire, avec
le lemme 1.6 page 9, quil existe une base de E, note {f
1
, . . . , f
n
}, et il existe {
1
, . . . ,
n
} IR t.q.
T
1
Sf
i
=
i
f
i
pour tout i {1, . . . , n} et t.q. (Tf
i
/f
j
) =
i,j
pour tout i, j {1, . . . , n}.
Exercice 49 (Mthode de Jacobi et relaxation). Suggestions en page 92, corrig en page 95
Soit n 1. Soit A = (a
i,j
)
i,j=1,...,n
M
n
(IR) une matrice symtrique. On note D la partie diagonale de A, E
la partie triangulaire infrieure de A et F la partie triangulaire suprieure de A, cest--dire :
D = (d
i,j
)
i,j=1,...,n
, d
i,j
= 0 si i = j, d
i,i
= a
i,i
,
E = (e
i,j
)
i,j=1,...,n
, e
i,j
= 0 si i j, e
i,j
= a
i,j
si i > j,
F = (f
i,j
)
i,j=1,...,n
, f
i,j
= 0 si i j, f
i,j
= a
i,j
si i < j.
Noter que A = D E F. Soit b IR
n
. On cherche calculer x IR
n
t.q. Ax = b. On suppose que D est
dnie positive (noter que A nest pas forcment inversible). On sintresse ici la mthode de Jacobi (par points),
cestdire la mthode itrative suivante :
Initialisation. x
(0)
IR
n
Itrations. Pour n IN, Dx
(k+1)
= (E +F)x
(k)
+b.
On pose J = D
1
(E +F).
1. Montrer, en donnant un exemple avec n = 2, que J peut ne pas tre symtrique.
2. Montrer que J est diagonalisable dans IR et, plus prcisement, quil existe une base de IR
n
, note {f
1
, . . . ,
f
n
}, et il existe {
1
, . . . ,
n
} IR t.q. Jf
i
=
i
f
i
pour tout i {1, . . . , n} et t.q. Df
i
f
j
=
i,j
pour tout
i, j {1, . . . , n}.
En ordonnant les valeurs propres de J, on a donc
1
. . .
n
, on conserve cette notation dans la suite.
3. Montrer que la trace de J est nulle et en dduire que
1
0 et
n
0.
On suppose maintenant que A et 2D A sont symtriques dnies positives et on pose x = A
1
b.
4. Montrer que la mthode de Jacobi (par points) converge (cest--dire x
(k)
x quand n ). [Utiliser un
thorme du cours.]
On se propose maintenant damliorer la convergence de la mthode par une technique de relaxation. Soit
> 0, on considre la mthode suivante :
Initialisation. x
(0)
IR
n
Itrations. Pour n IN, D x
(k+1)
= (E +F)x
(k)
+b, x
(k+1)
= x
(k+1)
+ (1 )x
(k)
.
5. Calculer les matrices M
(inversible) et N
telles que M
x
(k+1)
= N
x
(k)
+b pour tout n IN, en fonction
de , D et A. On note, dans la suite J
= (M
)
1
N
.
6. On suppose dans cette question que (2/)D A est symtrique dnie positive. Montrer que la mthode
converge (cest--dire que x
(k)
x quand n .)
7. Montrer que (2/)D A est symtrique dnie positive si et seulement si < 2/(1
1
).
8. Calculer les valeurs propres de J
en fonction de celles de J. En dduire, en fonction des

i
, la valeur
optimale" de , cest--dire la valeur de minimisant le rayon spectral de J
.
Exercice 50 (Mthodes de Jacobi et Gauss Seidel pour une matrice 3 3).
On considre la matrice A =
_
_
2 1 0
1 2 1
0 1 2
_
_
et le vecteur b =
_
_
1
0
1
_
_
. Soit x
(0)
un vecteur de IR
3
donn.
1. Mthode de Jacobi
1.a Ecrire la mthode de Jacobi pour la rsolution du systme Ax = b, sous la forme x
(k+1)
= B
J
x
(k)
+ c
J
.
1.b Dterminer le noyau de B
J
et en donner une base.
1.c Calculer le rayon spectral de B
J
et en dduire que la mthode de Jacobi converge.
1.d Calculer x
(1)
et x
(2)
pour les choix suivants de x
(0)
:
(i) x
(0)
=
_
_
0
0
0
_
_
, (ii)x
(0)
=
_
_
0
1
2
_
_
.
2. Mthode de Gauss-Seidel.
2.a Ecrire la mthode de Gauss-Seidel pour la rsolution du systme Ax = b, sous la forme x
(k+1)
= B
GS
x
(k)
+
c
GS
.
GS
.
GS
et en dduire que la mthode de Gauss-Seidel converge.
2.d Comparer les rayons spectraux de B
GS
et B
J
et vrier ainsi un rsultat du cours.
2.d Calculer x
(1)
et x
(2)
(0)
:
(i) x
(0)
=
_
_
0
0
0
_
_
, (ii) x
(0)
=
_
_
0
1
1
_
_
.
3. Convergence en un nombre ni ditrations.
3.1 Soit et des rels. Soit u
(0)
R et (u
(k)
)
kIN
la suite relle dnie par u
(k+1)
= u
(k)
+.
3.1.a Donner les valeurs de et pour lesquelles la suite (u
(k)
)
kIN
converge.
3.1.b On suppose que = 0, et que la suite (u
(k)
)
kIN
converge vers une limite quon note u. Montrer que sil
existe K N tel que u
K
= u, alors u
(k)
= u pour tout k IN.
3.2 Soit N > 1, B une matrice relle carre dordre N et b IR
n
. Soit u
(0)
IR
N
et (u
(k)
)
kIN
la suite dnie
par u
(k+1)
= Bu
(k)
+c.
3.2.a Donner les conditions sur B et c pour que la suite (u
(k)
)
kIN
converge vers une limite indpendante du choix
initial u
0
IR
N
.
3.2.b On suppose que la suite (u
(k)
)
kIN
converge vers une limite quon note u. Montrer quon peut avoir u
(1)
= u
avec u
(0)
= u.
Exercice 51 (Jacobi et Gauss-Seidel pour une matrice tridiagonale). Corrig en page 99
1. Soit A =
_
3 1
1 3
_
. Ecrire les mthodes de Jacobi et Gauss Seidel pour la rsolution de Ax = b. Soient B
J
et
B
GS
les matrices ditration respectives. Calculer (B
J
) et (B
GS
) et vrier que (B
GS
) = (B
J
)
2
Soit A = (a
i,j
)
i,j=1,...,n
M
n
(IR) une matrice carre dordre n tridiagonale, cest--dire telle que a
i,j
= 0 si
|i j| > 1, et telle que la matrice diagonale D = diag(a
i,i
)
i=1,...,n
soit inversible. On note A = D E F o
E (resp. F) est la partie triangulaire infrieure (resp. suprieure) de A, et on note J et Gles matrices ditration
des mthodes de Jacobi et Gauss-Seidel associes la matrice A.
2.a. Pour Cl , = 0 et x Cl
n
, on note
x
= (x
1
, x
2
, . . . ,
k1
x
k
,
n1
x
n
)
t
.
Montrer que si est valeur propre de J associe au vecteur propre x, alors x
vrie (E +
1
F)x
= Dx
. En
dduire que si = 0 est valeur propre de J alors
2
est valeur propre de G.
2.b Montrer que si
2
est valeur propre non nulle de G, alors est valeur propre de J .
3. Montrer que (B
GS
) = (B
J
)
2
. En dduire que lorsquelle converge, la mthode de Gauss-Seidel pour la
rsolution du systme Ax = b converge plus rapidement que la mthode de Jacobi.
4. Soit B
la matrice ditration de la mthode SOR associe A. Montrer que est valeur propre de J si et
seulement si
est valeur propre de B
, o
=
2
et
vrie
2
+ 1 = 0.
En dduire que
(B
) = max
valeur propre de J
{|
|;
2
+ 1 = 0}.
Exercice 52 (Mthode de Jacobi pour des matrices particulires). Suggestions en page 92, corrig en page 101
On note M
n
(IR) lensemble des matrices carres dordre n coefcients rels, et Id la matrice identit dans
M
n
(IR). Soit A = [a
i,j
]
i,j=1,...,n
M
n
(IR). On suppose que :
a
i,j
0, i, j = 1, . . . , n, i = j, (1.113)
a
i,i
> 0, i = 1, . . . , n. (1.114)
n
i=1
a
i,j
= 0, j = 1, . . . , n. (1.115)
Soit IR
+
.
1. Pour x IR
n
, on dnit
x
A
=
n
i=1
a
i,i
|x
i
|.
Montrer que
A
est une norme sur IR
n
.
2. Montrer que la matrice Id +A est inversible.
3. On considre le systme linaire suivant :
(Id +A)u = b (1.116)
Montrer que la mthode de Jacobi pour la recherche de la solution de ce systme dnit une suite (u
(k)
)
kn

IR
n
.
4. Montrer que la suite (u
(k)
)
kIN
vrie :
u
(k+1)
u
(k)
A
(
1
1 +
)
k
u
(1)
u
(0)
A
,
o = min
i=1,...,n
a
i,i
.
5. Montrer que la suite (u
(k)
)
kIN
est de Cauchy, et en dduire quelle converge vers la solution du systme
(1.116).
Exercice 53 (Une mthode itrative particulire).
Soient
1
, . . . ,
n
des rels strictement positifs, et A la matrice n n de coefcients a
i,j
dnis par :
_
_
a
i,i
= 2 +
i
a
i,i+1
= a
i,i1
= 1
a
i,j
= 0 pour tous les autres cas.
Pour > 0 on considre la mthode itrative Mx
(k+1)
= Nx
(k)
+ b avec A = M N et N = diag(
i
)
(c..d
i
pour les coefcients diagonaux, et 0 pour tous les autres).
1. Soit C une valeur propre de la matrice M
1
N ; montrer quil existe un vecteur x C
n
non nul tel que
Nx x = Mx x (o x dsigne le conjugu de x). En dduire que toutes les valeurs propres de la matrice M
1
N
sont relles.
2. Montrer que le rayon spectral (M
1
N) de la matrice vrie : (M
1
N) max
i=1,n
|
i
|
3. Dduire de la question 1. que si >

2
, o = max
i=1,n
i
, alors (M
1
N) < 1, et donc que la mthode
itrative converge.
4. Trouver le paramtre minimisant max
i=1,n
|
i
|
.
(On pourra dabord montrer que pour tout > 0, |
i
| max( , ) pour tout i = 1, . . . , n, avec
= min
i=1,...,n
i
et = max
i=1,...,n
i
et en dduire que max
i=1,n
|
i
| = max( , )) .
Exercice 54 (Une matrice 3 3). Suggestions en page 92, corrig en page 102
Soit A M
3
(IR) dnie par A = Id E F avec
E =
_
_
0 2 0
1 0 0
0 0 0
_
_
, et F =
_
_
0 0 0
0 0 0
1 1 0
_
_
.
1. Montrer que A est inversible.
2. Soit 0 < < 2. Montrer que pour (
1
Id E) est inversible si et seulement si =
2/2.
Pour 0 < < 2, =
2/2, on considre la mthode itrative (pour trouver la solution de Ax = b)

suivante :
(
1
Id E)x
n+1
= (F +
1
Id)x
n
+b.
Il sagit donc de la mthode I" du cours avec B = L
= (
1
Id E)
1
(F +
1
Id).
3. Calculer, en fonction de , les valeurs propres de L
et son rayon spectral.

4. Pour quelles valeurs de la mthode est-elle convergente ? Dterminer
0
]0, 2[ t.q. (L
0
) = min{(L
),
]0, 2[, =
2/2}.
Exercice 55 (Mthode des directions alternes).
Soit n IN et n 1, Soit A M
n
(IR) une matrice carre dordre n symtrique inversible et b IR
n
.
On cherche calculer u IR
n
, solution du systme linaire suivant :
Au = b, (1.117)
On suppose connues des matrices X et Y M
n
(IR), symtriques. Soit IR
+
, choisi tel que X + Id et
Y +Id soient dnies positives (o Id dsigne la matrice identit dordre n) et X +Y +Id = A.
Soit u
(0)
IR
n
, on propose, pour rsoudre (1.117), la mthode itrative suivante :
_
(X +Id)u
(k+1/2)
= Y u
(k)
+b,
(Y +Id)u
(k+1)
= Xu
(k+1/2)
+b.
(1.118)
1. Montrer que la mthode itrative (1.118) dnit bien une suite (u
(k)
)
kIN
et que cette suite converge vers la
solution u de (1.1) si et seulement si
_
(Y +Id)
1
X(X +Id)
1
Y
_
< 1.
(On rappelle que pour toute matrice carre dordre n, (M) dsigne le rayon spectral de la matrice M.)
2. Montrer que si les matrices (X +

2
Id) et (Y +

2
Id) sont dnies positives alors la mthode (1.118)
converge. On pourra pour cela (mais ce nest pas obligatoire) suivre la dmarche suivante :
(a) Montrer que
_
(Y +Id)
1
X(X +Id)
1
Y
_
=
_
X(X +Id)
1
Y (Y +Id)
1
_
.
(On pourra utiliser lexercice 27 page 59).
(b) Montrer que
_
X(X +Id)
1
Y (Y +Id)
1
_

_
X(X +Id)
1
_
_
Y (Y +Id)
1
_
.
(c) Montrer que
_
X(X +Id)
1
_
< 1 si et seulement si la matrice (X +

2
Id) est dnie positive.
(d) Conclure.
3. Soit f C([0, 1] [0, 1]) et soit A la matrice carre dordre n = M M obtenue par discrtisation de
lquation u = f sur le carr [0, 1] [0, 1] avec conditions aux limites de Dirichlet homognes u = 0
sur , par diffrences nies avec un pas uniforme h =
1
M
, et b le second membre associ.
(a) Donner lexpression de A et b.
(b) Proposer des choix de X, Y et pour lesquelles la mthode itrative (1.118) converge dans ce cas et
qui justient lappellation mthode des directions alternes" qui lui est donne.
1.5.5 Exercices, suggestions
Exercice 42 page 85(Mthode itrative du gradient pas xe".)
1. Calculer le rayon spectral (B) de la matrice ditration B = IdA. Calculer les valeurs de pour lesquelles
(B) < 1 et en dduire que la mthode itrative du gradient pas xe converge si 0 < <
2
(A)
.
2. Remarquer que (Id A) = max(|1
1
|, |1
n
1|, o
1
, . . . ,
n
ordonnes dans le sens croissant. En traant les graphes des valeurs prises par |1
1
| et |1
n
1| en fonction
de , en dduire que le min est atteint pour =
2
1+n
.
Exercice 43 page 85 (Non convergence de la mthode de Jacobi)
Considrer dabord le cas a = 0.
Si a = 0, pour chercher les valeurs de a pour lesquelles A est symtrique dnie positive, calculer les valeurs
propres de A en cherchant les racines du polynme caractristique. Introduire la variable telle que a = 1 .
Pour chercher les valeurs de a pour lesquelles la mthode de Jacobi converge, calculer les valeurs propres de la
matrice ditration J dnie en cours.
Exercice 44 page 85 (Une matrice cyclique)
1. On peut trouver les trois valeurs propres (dont une double) sans calcul en remarquant que pour = 0 il y a 2
fois 2 lignes identiques, que la somme des colonnes est un vecteur constant et par le calcul de la trace.
2. Une matrice A est symtrique dnie positive si et seulement si elle est diagonalisable et toutes ses valeurs
propres sont strictement positives.
3. Appliquer le cours.
Exercice 45 page 85 (Jacobi et diagonale dominante stricte.)
Pour montrer que A est inversible, montrer que Ax = 0 si et seulement si x = 0. Pour montrer que la mthode de
Jacobi converge, montrer que toutes les valeurs propres de la matrice A sont strictement infrieures 1 en valeur
absolue.
Exercice 49 page 87 (Mthode de Jacobi et relaxation.)
1. Prendre pour A une matrice (2,2) symtrique dont les lments diagonaux sont diffrents lun de lautre.
2. Appliquer lexercice 48 page 87 en prenant pour T lapplication linaire dont la matrice est D et pour S lappli-
cation linaire dont la matrice est E +F.
4. Remarquer que (B
J
) = max(
1
,
n
), et montrer que :
si
1
1, alors 2D A nest pas dnie positive,
si
n
1, alors A nest pas dnie positive.
6. Reprendre le mme raisonnement qu la question 2 4 avec les matrices M
et N
au lieu de D et E +F.
7. Chercher une condition qui donne que toutes les valeurs propres sont strictement positives en utilisant la base
de vecteurs propres ad hoc. (Utiliser la base de IR
n
, note {f
1
, . . . , f
n
}, trouve la question 2.)
8. Remarquer que les f
i
de la question 2 sont aussi vecteurs propres de J
et en dduire que les valeurs propres

()
i
de J
sont de la forme
()
i
= (
i
11/). Pour trouver le paramtre optimal
0
, tracer les graphes des fonc-
tions de IR
+
dans IR dnies par |
()
1
| et |
()
n
|, et en conclure que le minimum de max(|
()
1
|, |
()
n
|)
est atteint pour =
2
21n
.
Exercice 52 page 89 (Mthode de Jacobi et relaxation.)
2. Utiliser lexercice 45 page 85
Exercice 54 page 90 (Convergence de SOR.)
1. Calculer le dterminant de A.
2. Calculer le dterminant de
I
d
E.
3. Remarquer que les valeurs propres de L
annulent det(
1
Id+F(
I
d
E)). Aprs calcul de ce dterminant,
on trouve
1
= 1 ,
2
=
1
1+
2
,
3
=
1
1
2
.
Montrer que si <
2, (L
) = |
3
| et que (L
) = |
1
| si
2.
4. Utiliser lexpression des valeurs propres pour montrer que la mthode converge si >
2
1+
2
et que le paramtre
de relaxation optimal est
0
= 1.
1.5.6 Exercices, corrigs
Exercice 41 page 84
(a) La valeur propre double est
2
3
et donc le rayon spectral est
2
3
qui est strictement infrieur 1, donc la suite
converge vers x = (Id B)
1
c =
_
3
9
_
(b) Les valeurs propres sont
2
3
et 3 et donc le rayon spectral est 2 qui est strictement infrieur 1, donc la suite
diverge
Exercice 42 page 85 (Mthode itrative de Richardson)
1. On peut rcrire litration sous la forme : x
n+1
= (Id A)x
n
+ b. La matrice ditration est donc
B = Id A. La mthode converge si et seulement si (B) < 1 ; or les valeurs propres de B sont de la
forme 1
i
o
i
est v.p. de A. On veut donc :
1 < 1
i
< 1, i = 1, . . . , n.
cestdire 2 0, i = 1, . . . , n, donc il faut > 0.
De plus, on a :
(2 <
i
i = 1, . . . , n) ( <
2
i
i, 1, . . . , n) ( <
2
n
).
La mthode converge donc si et seulement si 0 < <
2
(A)
.
2. On a : (Id A) = sup
i
|1
i
| = max(|1
1
|, |1
n
|). Le minimum de (Id A) est donc
obtenu pour
0
tel que 1
0
1
=
0
n
1, cestdire (voir Figure (??)
0
=
2
1
+
n
.
1
|1
1
|
|1
N
|
max(|1
1
|, |1
N
)|)
0
1
1
1
N

FIGURE 1.6: Graphes de |1
1
| et |1
n
| en fonction de .
Exercice 43 page 85 (Non convergence de la mthode de Jacobi)
Si a = 0, alors A = Id, donc A est s.d.p. et la mthode de Jacobi converge.
Si a = 0, posons a = (1 ), et calculons le polynme caractristique de la matrice A en fonction de la
variable .
P() = det
a a a
a a a
a a a
= a
3
det
1 1
1 1
1 1
= a
3
(
3
3 + 2).
On a donc P() = a
3
( 1)
2
( + 2). Les valeurs propres de la matrice A sont donc obtenues pour = 1 et
= 2, cestdire :
1
= 1 a et
2
= 1 + 2a.
La matrice A est dnie positive si
1
> 0 et
2
> 0, cestdire si
1
2
< a < 1.
La mthode de Jacobi scrit :
X
(k+1)
= D
1
(D A)X
(k)
,
avec D = Id dans le cas prsent ; donc la mthode converge si et seulement si (D A) < 1.
Les valeurs propres de D A sont de la forme = 1 o est valeur propre de A. Les valeurs propres de
DA sont donc
1
== a (valeur propre double) et
2
= 2a.. On en conclut que la mthode de Jacobi converge
si et seulement si 1 < a < 1 et 1 < 2a < 1, i.e.
1
2
< a <
1
2
.
La mthode de Jacobi ne converge donc que sur lintervalle ]
1
2
,
1
2
[ qui est strictement inclus dans lintervalle
]
1
2
, 1[ des valeurs de a pour lesquelles la matrice A est s.d.p..
Exercice 45 page 85 (Jacobi pour les matrices diagonale dominante stricte)
Pour montrer que A est inversible, supposons quil existe x IR
n
tel que Ax = 0 ; on a donc
n
j=1
a
ij
x
j
= 0.
Pour i {1, . . . , n}, on a donc
|a
i,i
||x
i
| = |a
i,i
x
i
| = |
j;i=j
a
i,j
x
j
|
j;i=j
|a
i,j
|x
, i = 1, . . . , n.
Si x = 0, on a donc
|x
i
|
j;i=j
a
i,j
x
j
|
|a
i,i
|
x
< x
, i = 1, . . . , n,
ce qui est impossible pour i tel que
|x
i
| = x
.
Montrons maintenant que la mthode de Jacobi converge : Si on crit la mthode ous la forme Px
(k+1)
= (P
A)x
(k)
+b avec , on a
P = D =
_
_
a
1,1
0
.
.
.
0 a
n,n
_
_.
La matrice ditration est
B
J
= P
1
(P A) = D
1
(E +F) =
_
_
a
1
1,1
0
.
.
.
0 a
1
n,n
_
_
_
_
0 a
i,j
.
.
.
a
i,j
0
_
_
=
_
_
0
a1,2
a1,1
. . .
.
.
.
a1,1
an,n
. . . 0
_
_.
Cherchons le rayon spectral de B
J
: soient x IR
n
et IR tels que B
J
x = x, alors
j;i=j
a
i,j
a
i,i
x
j
= x
i
, et donc |||x
i
|
j;i=j
|a
i,j
|
x
|a
i,i
|
.
Soit i tel que |x
i
| = x
et x = 0, on dduit de lingalit prcdente que

||
j;i=j
|a
i,j
|
|a
ii
|
< 1 pour toute valeur propre .
On a donc (B
J
) < 1 ce qui prouve que la mthode de Jacobi converge.
Exercice 49 page 87 (Mthode de Jacobi et relaxation)
1. B
J
= D
1
(E +F) peut ne pas tre symtrique, mme si A est symtrique :
En effet, prenons A =
_
2 1
1 1
_
.
Alors
B
J
= D
1
(E +F) =
_
1
2
0
0 1
__
0 1
1 0
_
=
_
0
1
2
1 0
_
=
_
0 1
1
2
0
_
.
donc B
J
nest pas symtrique.
2. On applique lexercice prcdent pour lapplication linaire T de matrice D, qui est, par hypothse, dnie
positive (et videmment symtrique puisque diagonale) et S = E +F, symtrique car A est symtrique.
Il existe donc (f
1
. . . f
n
) base de E et (
1
. . .
n
) IR
n
tels que
B
J
f
i
= D
1
(E +F)f
i
=
i
f
i
, i = 1, . . . , n, et (Df
i
, f
j
) =
ij
.
3. Par dnition de B
J
, tous les lments diagonaux de B
J
sont nuls et donc sa trace galement. Or TrB
J
=
n
i=1
i
. Si
i
> 0 i = 1, . . . , n, alors TrB
J
> 0, donc i
0
;
i
0 et comme
1

i0
, on a
1
0. Un
raisonnement similaire montre que
n
0.
4. La mthode de Jacobi converge si et seulement si (B
J
) < 1 (thorme 1.46 page 74). Or, par la question
prcdente, (A) = max(
1
,
n
). Supposons que
1
1, alors
1
= , avec 1. On a alors
D
1
(E+F)f
1
= f
1
ou encore (E+F)f
1
= Df
1
, ce qui scrit aussi (D+E+F)f
1
= D(1)f
1
cestdire (2DA)f
1
= Df
1
avec 0. On en dduit que ((2DA)f
1
, f
1
) = 0, ce qui contredit
le fait que 2D A est dnie positive. En consquence, on a bien
1
1.
Supposons maintenant que
n
= 1. On a alors D
1
(E + F)f
1
= f
n
, soit encore (E + F)f
n
=
Df
n
. On en dduit que Af
n
= (D E F)f
n
= D(1 )f
n
= Df
n
avec 0. On a
alors(Af
n
, f
n
) 0, ce qui contredit le fait que A est dnie positive.
5. Par dnition, on a :D x
(k+1)
s = (E+F)x
(k)
+b et x
(k+1)
= x
(k+1)
+(1 )x
(k)
. On a donc x
(k+1)
=
[D
1
(E+F)x
(k)
+D
1
b]+(1)x
(k)
cestdire x
(k+1)
= [Id(IdD
1
(E+F))]x
(k)
+D
1
b,,
soit encore
1
Dx
(k+1)
= [
1
D(D(E +F))]x
(k)
+b. On en dduit que M
x
(k+1)
= N
x
(k)
+b avec
M
=
1
D et N
=
1
D A.
6. La matrice ditration est donc maintenant J
= M
1
qui est symtrique pour le produit scalaire

(, )
M
donc en reprenant le raisonnement de la question 2, il existe une base (

f
1
, . . . ,

f
n
) (IR
n
)
n
et
(
1
, . . .
n
) IR
n
tels que
J

f
i
= M
1
N

f
i
= D
1
_
1
D A
_

f
i
=
i

f
i
, i = 1, . . . , n,
et
1
D

f
i

f
j
=
ij
, i, = 1, . . . , n, j, = 1, . . . , n.
Supposons
1
1, alors
1
= , avec 1 et D
1
(
1
D A)

f
1
=
f
1
, ou encore
1
D A
f
1
=
D

f
1
. On a donc
2
D A
f
1
= (1 )
1
D

f
1
, ce qui entrane (
2
D A)

f
1

f
1
0. Ceci contredit
lhypothse
2
D A dnie positive.
De mme, si
n
1, alors
n
= avec 1. On a alors
(
1
D A)

f
n
=
1
D

f
n
,
et donc A
f
n
= (1 )
1
D

f
n
ce qui entrane en particulier que A
f
n

f
n
0 ; or ceci contredit lhypothse
A dnie positive.
7. On cherche une condition ncessaire et sufsante pour que
_
2
D A
_
x x > 0, x = 0, (1.119)
ce qui est quivalent
_
2
D A
_
f
i
f
i
> 0, i = 1, . . . , n, (1.120)
o les (f
i
)
i=1,n
sont les vecteurs propres de D
1
(E + F). En effet, la famille (f
i
)
i=1,...,n
est une base de
IR
n
, et
_
2
D A
_
f
i
=
_
2
D D + (E +F)
_
f
i
=
_
2
1
_
Df
i
+
i
Df
i
=
_
2
1 +
i
_
Df
i
.
(1.121)
On a donc en particulier
_
2
D A
_
f
i
f
j
= 0 is i = j, ce qui prouve que (1.119) est quivalent (1.120).
De (1.120), on dduit, grce au fait que (Df
i
, f
i
) = 1,
__
2
D A
_
f
i
, f
i
_
=
_
2
1 +
i
_
.
On veut donc que
2
1 +
1
> 0 car
1
= inf
i
, cestdire :
2
<
1
1, ce qui est quivalent :
<
2
1
1
.
8. La matrice ditration J
scrit :
J
=
_
1
D
_
1
_
1
D A
_
= I
, avec I
= D
1
(
1
D A).
Soit une valeur propre de I
associe un vecteur propre u; alors :

D
1
_
1
D A
_
u = u, i.e.
_
1
D A
_
u = Du.
On en dduit que
(D A)u +
_
1
1
_
Du = Du, soit encore
D
1
(E +F)u =
_
1
1
+
_
u.
Or f
i
est vecteur propre de D
1
(E +F) associe la valeur propre
i
(question 2). On a donc :
D
1
(E +F)f
i
=
i
f
i
=
_
1
1
+
_
f
i
,
ce qui est vrai si
i
= 1
1
+ , cestdire =
i
1
1
. Donc
()
i
=
_
i
1
1
_
est valeur
propre de J
associe au vecteur propre f

i
.
On cherche maintenant minimiser le rayon spectral
(J
) = sup
i
|(
i
1
1
)|
On a
(
1
1
1
) (
i
1
1
) (
n
1
1
),
et
(
n
1
1
) (
1
1
1
) (
i
1
1
),
donc
(J
) = max
_
|(
n
1
1
)|, | (
1
1
1
|)
_
dont le minimum est atteint (voir Figure ??) pour
(1
1
) 1 = 1 (1
n
) cestdire =
2
2
1
n
.
1
1
1
N
1
11
|(1
1
) + 1|
|(1
N
) + 1|
max(|(1
N
) + 1|, |(1
1
) + 1|)
2
21
N
FIGURE 1.7: Dtermination de la valeur de ralisant le minimum du rayon spectral.

Exercice 50 page 88 (Jacobi et Gauss-Seidel pour une matrice tridiagonale)
On considre la matrice A =
_
_
2 1 0
1 2 1
0 1 2
_
_
et le vecteur b =
_
_
1
0
1
_
_
. Soit x
(0)
un vecteur de IR
3
donn.
1. Mthode de Jacobi
1.a Ecrire la mthode de Jacobi pour la rsolution du systme Ax = b, sous la forme x
(k+1)
= B
J
x
(k)
+c
J
.
La mthode de Jacobi Dx
(k+1)
= (E +F)x
(k)
+ b avec
D =
_
_
2 0 0
0 2 0
0 0 2
_
_
, E =
_
_
0 0 0
1 0 0
0 1 0
_
_
et F =
_
_
0 1 0
0 0 1
0 0 0
_
_
.
La mthode de Jacobi scrit donc x
(k+1)
= B
J
x
(k)
+c
J
avec B
J
= D
1
(E+F) =
_
_
0
1
2
0
1
2
0
1
2
0
1
2
0
_
_
et c
J
=
_
_
1
2
0
1
2
_
_
.
J
et en donner une base.
On remarque que x Ker(B
J
) si x
2
= 0 et x
1
+x
3
= 0. Donc KerB
J
= {t
_
_
1
0
1
_
_
, t IR}.
J
et en dduire que la mthode de Jacobi converge.
Le polynme caractristique de B
J
est P
J
() = det(B
J
Id) = ((
2
+
1
2
) et donc (B
J
) =
2
2
< 1. On
en dduit que la mthode de Jacobi converge.
1.d Calculer x
(1)
et x
(2)
(0)
:
(i) x
(0)
=
_
_
0
0
0
_
_
, (ii) x
(0)
=
_
_
0
1
2
_
_
.
Choix (i) : x
(1)
=
_
_
1
2
0
1
2
_
_
, x
(2)
=
_
_
1
2
1
2
1
2
_
_
.
Choix (ii) : x
(1)
=
_
_
1
1
1
_
_
, x
(2)
=
_
_
1
1
1
_
_
.
2. Mthode de Gauss-Seidel.
2.a Ecrire la mthode de Gauss-Seidel pour la rsolution du systme Ax = b, sous la forme x
(k+1)
=
B
GS
x
(k)
+c
GS
.
La mthode de Gauss-Seidel scrit (D E)x
(k+1)
= Fx
(k)
+b, o D, E et F ont t dnies la question 1.a.
La mthode scrit donc x
(k+1)
= B
GS
x
(k)
+c
GS
avec B
GS
= (D E)
1
F et c
GS
= (D E)
1
b. Calculons
(D E))
1
F et (D E))
1
b par chelonnement.
_
_
2 0 0 0 1 0 1
1 2 0 0 0 1 0
0 1 2 0 0 0 1
_
_
;
_
_
2 0 0 0 1 0 1
0 2 0 0
1
2
1
1
2
0 1 2 0 0 0 1
_
_
;
_
_
2 0 0 0 1 0 1
0 2 0 0
1
2
1
1
2
0 0 2 0
1
4
1
2
5
4
_
_
On a donc
B
GS
=
_
_
0
1
2
0
0
1
4
1
2
0
1
8
1
4
_
_
et c
GS
=
_
_
1
2
1
4
5
8
_
_
.
GS
. Il est facile de voir que x Ker(B
GS
) si et seulement si x
2
= x
3
= 0. Donc
KerB
GS
= {t
_
_
1
0
0
_
_
, t IR}.
GS
et en dduire que la mthode de Gauss-Seidel converge.
Le polynme caractristique de B
GS
est P
GS
() = det(B
GS
Id). On a donc
P
GS
() =
1
2
0
0
1
4

1
2
0
1
8
1
4

=
_
(
1
4
)
2
1
16
_
=
2
(
1
2
)
et donc (B
GS
) =
1
2
< 1. On en dduit que la mthode de Gauss-Seidel converge.
2.d Comparer les rayons spectraux de B
GS
et B
J
et vrier ainsi un rsultat du cours.
On a bien (B
GS
) =
1
2
= (B
J
)
2
, ce qui est conforme au thorme 1.36 du cours.
2.d Calculer x
(1)
et x
(2)
(0)
:
(i) x
(0)
=
_
_
0
0
0
_
_
, (ii) x
(0)
=
_
_
0
1
1
_
_
.
Choix (i) : x
(1)
=
_
_
1
2
1
4
5
8
_
_
, x
(2)
=
_
_
5
8
5
8
13
16
s
_
_
.
Choix (ii) : x
(1)
=
_
_
1
1
1
_
_
, x
(2)
=
_
_
1
1
1
_
_
.
3. Convergence en un nombre ni ditrations.
3.1 Soit et des rels. Soit u
(0)
R et (u
(k)
)
kIN
la suite relle dnie par u
(k+1)
= u
(k)
+.
3.1.a Donner les valeurs de et pour lesquelles la suite (u
(k)
)
kIN
converge.
La suite (u
(k)
)
kIN
converge pour les valeurs suivantes de (, ) :
1. || < 1, IR, auquel cas la suite converge vers u =

1
,
2. = 1, = 0, auquel cas la suite est constante et gale u
0
.
3.1.b On suppose que = 0, et que la suite (u
(k)
)
kIN
converge vers une limite quon note u. Montrer que
sil existe K N tel que u
K
= u, alors u
(k)
= u pour tout k IN.
Si u
K
= u, comme u
K
= u
K1
+ et que u = u + , on en dduit que 0 = u
K
u = (u
K1
u),
et comme = 0, ceci entrane u
K1
= u. On en dduit par rcurrence que u
k
= u pour tout k K 1. On
remarque ensuite que si u
K
= u alors u
K+1
= u
K
+ = u + = u. On en dduit par rcurrence que u
k
= u
pour tout k IN.
3.2 Soit N > 1, B une matrice relle carre dordre N et b IR
n
. Soit u
(0)
IR
N
et (u
(k)
)
kIN
la suite
dnie par u
(k+1)
= Bu
(k)
+c.
3.2.a Donner les conditions sur B et c pour que la suite (u
(k)
)
kIN
converge vers une limite indpendante du
choix initial u
0
IR
N
.
Pour que la suite (u
(k)
)
kIN
converge, il faut quil existe u tel que u = Bu +c, ou encore c = (Id B)u.
Supposons que cest le cas. On a alors u
(k+1)
u = B(u
(k)
u), et donc u
(k)
u = B
k
(u
(0)
u). On veut donc
que B
k
(u
(0)
u) tende vers 0 pour tout choix initial u
(0)
, c..d. que B
k
tende vers 0. On en dduit, par le lemme
1.5 que la suite (u
(k)
)
kIN
converge si et seulement si (B) < 1.
3.2.b On suppose que la suite (u
(k)
)
kIN
converge vers une limite quon note u. Montrer quon peut avoir
u
(1)
= u avec u
(0)
= u.
En prenant B = B
J
, c = c
J
et u
(0)
= (0, 1, 2)
t
, on sait par la question 1.2 quon ar u
(1)
= (1, 1, 1)
t
= u avec
u
(0)
= u.
Exercice 51 page 88 (Jacobi et Gauss-Seidel pour une matrice tridiagonale)
1.a. Soit C, = 0 et x Cl
n
, soit x
= (x
1
, x
2
, . . . ,
k1
x
k
,
n1
x
n
)
t
, et soit est valeur propre de J
associe au vecteur propre x. Calculons (E +
1
F)x
:
((E +
1
F)x
)
i
= a
i,i1
i2
x
i1
+
1
a
i,i+1
i
x
i+1
=
i1
(a
i,i1
x
i1
+a
i,i+1
x
i+1
=
i1
((E +F)x)
i
=
(Dx
)
i
.
On a donc (E+
1
F)x
= Dx
. En prenant = dans lgalit prcdente, on obtient :

1
Fx
= (DE)x
,
et donc (D E)
1
Fx
=
2
x
. dduire que si = 0 est valeur propre de B

J
alors
2
est valeur propre de G
(associe au vecteur propre x
).
1.b. Rciproquement, supposons maintenant que
2
est valeur propre non nulle de G, alors il existe y IR
n
, y = 0
tel que (D E)
1
Fy =
2
y. Soit x IR
n
tel que y = x
, cest--dire x
i
=
1i
y
i
, pour i = 1, . . . , n. On en
dduit que
1
Fx
=
2
(D E)x
, et donc (E +
1
F)x
= Dx
.
Il est alors facile de vrier (calculs similaires ceux de la question 1.a) que (E + F)x = Dx, do on dduit
que est valeur propre de B
J
.
2. De par la question 1, on a nalement que C, = 0 est valeur propre de B
J
si et seulement si
2
C, = 0
GS
.
On en dduit que (B
GS
) = (B
J
)
2
.
On a donc en particuler que (B
GS
) < 1 si et seulement si (B
GS
) < 1, ce qui prouve que les mthodes de Jacobi
et Gauss-Seidel convergent ou divergent simultanment.
De plus, on a vu lexercice 56 page 107 que si B dsigne la matrice ditration dune mthode irative x
(k+1)
=
Bx
(k)
+c pour la rsolution de Ax = b, alors
x
(k+1)
x
x
(k)
x
(B) lorsque n +.
On en dduit que lorsquelle converge, la mthode de Gauss-Seidel converge plus rapidement que la mthode de
Jacobi.
3.1 Soit B
la matrice ditration de la mthode SOR associe A, et soit
une valeur propre de B
= (
1
D
E)
1
(
1
D +F). Il existe donc y Cl

n
, y = 0, tel que
(1 D +F)y =
(D E)y.
Ceci scrit encore : (F +
E)y = (
11 +)Dy, et aussi, en notant une valeur propre non nulle de B

J
,
(

1 +
F +

1 +
E)y = Dy,
soit encore
(E +
1
F)y = Dy, (1.122)

avec
=

1 +
et
1
1 +
.
Ceci est possible si
1 + = 0, = 0, et
1 +
1 +
. (1.123)
Remarquons tout dabord quon a forcment
= 1 . En effet, sinon, le vecteur propre y associ
vrie
Fy = Ey, ce qui est impossible pour ]0, 2[ et y = 0.
On a galement = 0 car = 0 et = 0.
Voyons maintenant pour quelles valeurs de
la relation (1.123) est vrie. La relation (1.123) est quivalente

(
1 +)
2
= (
)() ce qui revient dire que
=
2
, o
est solution de lquation
+ 1 = 0. (1.124)
La relation (1.123) est donc vrie pour
=
2
, o
est racine de lquation

2
+ 1 = 0. Soit
donc
+
et
les racines (ou ventuellement la racine double) de cette quation (qui en admet toujours car on la
rsoud dans C).
Donc si = 0 est valeur propre de B
J
associe au vecteur propre x, en vertu de (1.122) et de la question 1.a, les
valeurs
telles que
= (
)
2
o
est solution de (1.124) sont valeurs propres de la matrice B
associs au
vecteurs propres x
(
).
Rciproquement, si
=
2
, o
est solution de lquation (1.124), est valeur propre de B
, alors il existe un
vecteur y = 0 tel que B
y =
y. Soit x IR
n
tel que x
= y (i.e. x
i
=
1i
y
i
pour i = 1, . . . , n). On a alors :
((1)D+F)x
=
2
(DE)x
, soit encore (E+F)x
= (
2
(1))Dx
. Or
2
(1) =
grce a (1.124), et donc (E+F)x
Dx
. On vrie facilement que ceci entrane (E+F)x = Dx.

on a ainsi montr que est valeur propre de B
J
.
On a montr que = 0 est valeur propre de B
J
si et seulement si
=
2
, o
est solution de lquation

(1.124). On en dduit que
(B
) = max
valeur propre de BJ
{|
|;
2
+ 1 = 0}
telles que = (
+
)
2
et
= (
)
2
sont valeurs propres de la matrice B
associs au
vecteurs propres x
(
) et x
. En dduire que
(matsor) = max
valeur propre de BJ
{|
|;
2
+ 1 = 0}.
Exercice 52 page 89 (Mthode de Jacobi pour des matrices particulires)
1. Soit x IR
n
, supposons que
x
A
=
n
i=1
a
i,i
|x
i
| = 0.
Comme a
i,i
> 0, i = 1, . . . , n, on en dduit que x
i
= 0, i = 1, . . . , n. Dautre part, il est immdiat
de voir que x + y
A
x + y
A
pour tout (x, y) IR
n
IR
n
et que x
A
= ||x
A
pour tout
(x, ) IR
n
IR. On en dduit que
A
est une norme sur IR
n
.
2. Posons

A = Id + A et notons a
i,j
ses coefcients. Comme IR
+
,et grce aux hypothses (1.113)
(1.115), ceux-ci vrient :
a
i,j
0, i, j = 1, . . . , n, i = j, (1.125)
a
i,i
>
n
i=1
j=i
a
i,j
, i = 1, . . . , n. (1.126)
La matrice

A est donc diagonale dominante stricte, et par lexercice 45 page 85, elle est donc inversible.
3. La mthode de Jacobi pour la rsolution du systme (1.116) scrit :
Du
(k+1)
= (E +F)u
(k)
+b, (1.127)
avec

D = Id+D, et A = DEF est la dcomposition habituelle de Aen partie diagonale, triangulaire
infrieure et triangulaire suprieure. Comme a
i,i
0 et IR
+
, on en dduit que

D est inversible, et que
donc la suite (u
(k)
)
kIN
est bien dnie dans IR.
4. Par dnition de la mthode de Jacobi, on a :
u
(k+1)
i
=
1
a
i,i
+
(
j=1,n
j=i
a
i,j
u
(k)
j
+b
i
).
On en dduit que
u
(k+1)
i
u
(k)
i
=
1
a
i,i
+
j=1,n
j=i
a
i,j
(u
(k)
j
u
(k1)
j
).
et donc
u
(k+1)
u
(k)
A

n
i=1
a
i,i
a
i,i
+
j=1,n
j=i
a
i,j
(u
(k)
j
u
(k1)
j
).
Or
a
i,i
a
i,i
+

1
1 +

ai,i
1
1 +
. On a donc
u
(k+1)
u
(k)
A

1
1 +
n
j=1
(u
(k)
j
u
(k1)
j
)
j=1,n
j=i
a
i,j
.
Et par hypothse,
j=1,n
j=i
a
i,j
= a
j,j
. On en dduit que
u
(k+1)
u
(k)
A

1
1 +
u
(k)
u
(k1)
A
.
On en dduit le rsultat par une rcurrence immdiate.
5. Soient p et q = p +m IN, avec m 0. Par le rsultat de la question prcdente, on a :
u
(q)
u
(p)
A

m
i=1
u
(p+i)
u
(pi1)
A
u
(1)
u
(0)
A
(
1
1 +
)
p
m
i=0
(
1
1 +
)
i
Or > 0 donc la srie de terme gnral (
1
1+
)
i
, et on a :
u
(q)
u
(p)
A
u
(1)
u
(0)
A
(
1
1 +
)
p
+
i=0
(
1
1 +
)
i
(1 +
1
)u
(1)
u
(0)
A
(
1
1 +
)
p
0 lorsque p +.
On en dduit que pour tout > 0, il existe n tel que si p, q > n alors u
(q)
u
(p)
A
, ce qui montre
que la suite est de Cauchy, et donc quelle converge. Soit u sa limite. En passant la limite dans (1.127), on
obtient que u est solution de (1.116).
Exercice 54 page 90 (Une mthode itrative particulire)
1. Det (A) = 1 et donc A est inversible.
2. Det (
1
Id E) =
1
_
1
2
2
_
. Or ]0, 2[. Donc la matrice
1
Id E est inversible si =
2
2
.
3. Les valeurs propres de B
sont les complexes tels quil existe x C

3
, x = 0, t.q : B
x = x, cestdire :
_
F +
1
Id
_
x =
_
1
Id E
_
x,
soit encore M
,
x = 0, avec M
,
= F +E + (1 )Id.
Or
Det (M
,
) = (1 )((1 )
2
2
2
2
)
= (1 )(1 (1 +
2))(1 (1
2))
Les valeurs propres de B
sont donc relles, et gales
1
= 1 ,
2
=
1
1 +
2
et
3
=
1
1
2
.
1.6. VALEURS PROPRES ET VECTEURS PROPRES CHAPITRE 1. SYSTMES LINAIRES
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
3
2
1
0
1
2
3
FIGURE 1.8: Graphe des valeurs propres
1
et
3
Par dnition, le rayon spectral (B
) de la matrice B
est gal max(|

1
|, |
2
|, |
3
|). Remarquons tout dabord
que |1 +
2| > 1, ]0, 2[, et donc |

1
| > |
2
|, ]0, 2[. Il ne reste donc plus qu comparer |
1
| et |
3
|.
Une rapide tude des fonctions |
1
| et |
3
| permet dtablir le graphe reprsentatif ci-contre.
On a donc :
(B
) = |
3
()| =
1
1
si ]0,
2]
(B
) =
1
() = |1 | si [
2, 2[.
4. La mthode est convergente si (B
) < 1 ; Si [
2, 2[, (B
) = 1 < 1 ; si ]0,
2[,
(B
) =
1
1
< 1
ds que
1
2 1
< 1, cestdire >
2
1 +
2
.
Le minimum de (B
) est atteint pour

0
= 1, on a alors (B
) = 0.
1.6 Valeurs propres et vecteurs propres
Les techniques de recherche des lments propres, c..d. des valeurs et vecteurs propres (voir Dnition 1.2 page
7) dune matrice sont essentielles dans de nombreux domaines dapplication, par exemple en dynamique des struc-
tures : la recherche des modes propres dune structure peut savrer importante pour le dimensionnement de struc-
tures sous contraintes dynamiques ; elle est essentielle dans la comprhension des phnomnes acoustiques. On
peut se demander pourquoi on parle dans ce chapitre, intitul systmes linaires du problme de recherche des
valeurs propres : il sagit en effet dun problme non linaire, les valeurs propres tant les solutions du polynme
caractristique, qui est un polynme de degr n, o n est la dimension de la matrice. Il nest malheureusement
pas possible de calculer numriquement les valeurs propres comme les racines du polynme caractristique, car
cet algorithme est instable : une petite perturbation sur les coefcients du polynme peut entraner une erreur trs
grande sur les racines, et en gnral (voir par exemple le chapitre 5 du polycopi d E. Hairer, en ligne sur le web
(voir lintroduction de ce cours). De nombreux algorithmes ont t dvelopps pour le calcul des valeurs propres
et vecteurs propres. Ces mthodes sont en fait assez semblables aux mthodes de rsolution de systmes linaires.
Dans le cadre de ce cours, nous nous restreignons deux mthodes trs connues : la mthode de la puissance (et
son adaptation de la puissance inverse), et la mthode dite QR.
1.6.1 Mthode de la puissance et de la puissance inverse
Lid de la mthode de la puissance est trs simple. Soit A une matrice coefcients complexes de taille n n.
On note
1
, ,
n
ses valeurs propres et on suppose quelles satisfont
|
n
| > |
i
|, i = 2, , n.
On appellera alors
n
la valeur propre dominante de A.
Soit x Cl
n
tel que x = 0 au hasard, et considrons la suite de vecteurs unitaires
x
(0)
=
x
x
, x
(1)
=
Ax
(0)
Ax
(0)
, , x
(k+1)
=
Ax
(k)
Ax
(k)
Prenons par exemple la matrice A =

_
2 1
1 2
_
dont les valeurs propres sont 1 et 3, et les vecteurs propres asso-
cis f
(1)
=
2
2
_
1
1
_
et f
(2)
=
2
2
_
1
1
_
. Partons de x =
_
1
0
_
et faisons tourner scilab :
1 >x = A x
2 x =
3
4 2 .
5 1 .
6
7 >x = x / norm( x )
8 x =
9
10 0. 8944272
11 0. 4472136
12
13 >x = A x
14 x =
15
16 2. 236068
17 1. 7888544
18
19 >x = x / norm( x )
20 x =
21
22 0. 7808688
23 0. 6246950
24
25 >x = A x
26 x =
27
28 2. 1864327
29 2. 0302589
30
31 >x = x / norm( x )
32 x =
33
34 0. 7327935
35 0. 6804511
36
37 >x = A x
38 x =
39
40 2. 1460381
41 2. 0936957
42
43 >x = x / norm( x )
44 x =
45
46 0. 7157819
47 0. 6983239
48
49 >x = A x
50 x =
51
52 2. 1298877
53 2. 1124297
1
2 >x = x / norm( x )
3 x =
4
5 0. 7100107
6 0. 7041909
7
8 >x = A x
9 x =
10
11 2. 1242123
12 2. 1183925
13
14 >x = x / norm( x )
15 x =
16
17 0. 7080761
18 0. 7061361
19
20 >x = A x
21 x =
22
23 2. 1222883
24 2. 1203484
25
26 >x = x / norm( x )
27 x =
28
29 0. 7074300
30 0. 7067834
31
32 >x = A x
33 x =
34
35 2. 1216434
36 2. 1209968
37
38 >x = x / norm( x )
39 x =
40
41 0. 7072145
42 0. 706999
43
44 >x = A x
45 x =
46
47 2. 1214281
48 2. 1212125
49
50 >x = x / norm( x )
51 x =
52
53 0. 7071427
54 0. 7070709
On voit clairement sur cet exemple que la suite x
(k)
converge vers
2
f
2
lorsque k +.
Thorme 1.57 (Convergence de la mthode de la puissance). Soit Aune matrice de M
n
(Cl ). On note
1
, ,
n
les valeurs propres de A, (f
1
, , f
n
) une base orthonorme de trigonalisation de A telle que Af
n
=
n
f
n
.
On suppose que la valeur propre
n
est dominante, c..d. que
|
n
| > |
n1
| |
1
|,
et on suppose de plus que
n
IR. Alors si x V ect(f
1
, , f
n1
), la suite de vecteurs x
2k
converge vers un
vecteur unitaire qui est vecteur propre de A pour la valeur propre dominante
n
.
De plus, la suite (Ax
k
, x
k
)
nIN
converge vers
n
lorsque k +.
Dmonstration. La dmonstration de ce rsultat fait lobjet de lexercice 56 dans le cas plus simple o A est une
matrice symtrique, et donc diagonalisable dans IR.
Remarque 1.58 (Sur la vitesse de convergence de lalgorithme de la puissance). Supposons pour simplier que
n
> 0, on voit que
x
k

f
1
2
= 2
2
f
1
+B
k
f
1
+B
k
,

f
1
)
2 (1
f
1
+B
k
)
. .
B
k
+
2
f
1
+B
k
B
k
2
CB
k
avec B
k
C
_
|2|
|1|
_
k
. La mthode de la puissance converge dautant plus vite que lcart entre les deux plus
grandes valeurs propres est grand.
La mthode de la puissance souffre de plusieurs inconvnients :
1. Elle ne permet de calculer que la plus grande valeur propre. Or trs souvent, on veut pouvoir calculer la plus
petite valeur propre.
2. De plus, elle ne peut converger que si cette valeur propre est simple.
3. Enn, mme dans le cas o elle est simple, si le rapport des des deux plus grandes valeurs propres est proche
de 1, la mthode va converger trop lentement.
Mais de manire assez miraculeuse, il existe un remde chacun de ces maux :
1. Pour calculer plusieurs valeurs propres simulatanment, on procde par blocs : on part de p vecteurs ortho-
gonaux x
0
1
, . . . x
0
p
(au lieu dun seul). Une itration de la mthode consiste alors multiplier les p vecteurs
par A et les orthogonaliser par Gram-Schmidt. En rptant cette itration, on approche, si tout se passe
bien, p valeurs propres et vecteurs propres de A, et la vitesse de convergence de la mthode est maintenant
np
n
.
2. Si lon veut calculer la plus petite valeur propre, on applique la mthode de la puissance A
1
. On a alors
convergence (toujours si tout se passe bien) de
x
k+1
x
k
vers 1/|
1
|. Bien sr, la mise en oeuvre effective ne
seffectue pas avec linverse de A, mais en effectuant une dcomposition LU de A qui permet ensuite la
rsolution du systme linaire Ax
k+1
= Ax
k
.
3. Enn, pour acclrer la convergence de la mthode, on utilise une translation sur A, qui permet de se rap-
procher de la valeur propre que lon veut effectivement calculer. Voir ce propos lexercice 57.
1.6.2 Mthode QR
Toute matrice A peut se dcomposer sous la forme A = QR, o Q est une matrice orthogonale et R une matrice
triangulaire suprieure. Dans le cas o A est inversible, cette dcomposition est unique. On a donc le thorme
suivant :
Thorme 1.59 (Dcomposition QR dune matrice). Soit A M
n
(IR). Alors il existe Q matrice orthogonale et
R matrice triangulaire suprieure coefcients diagonaux positifs ou nuls tels que A = QR. Si la matrice A est
inversible, alors cette dcomposition est unique.
La dmonstration est effectue dans le cas inversible la question 1 de lexercice 60. La dcomposition QR dune
matrice A inversible sobtient de manire trs simple par la mthode de Gram-Schmidt, qui permet de construire
une base orthonorme q
1
, . . . , q
n
(les colonnes de la matrice Q), partir de n vecteurs vecteurs indnpendants
a
1
, . . . , a
n
(les colonnes de la matrice A). On se reportera lexercice 58 pour un ventuel raffraichissement de
mmoire sur Gram-Schmidt... Dans le cas o A nest pas inversible (et mme non carre), la dcomposition existe
mais nest pas unique. la dmonstration dans le cadre gnral se trouve dans le livre de Ph. Ciarlet conseill en
dbut de ce cours.
Lalgorithme QRpour la recherche des valeurs propres dune matrice est extmement simple : Si Aest une matrice
inversible, on pose A
0
= A, on effectue la dcomposition QR de A : A = A
0
= Q
0
R
0
et on calcule A
1
= R
0
Q
0
.
Comme le produit de matrices nest pas commutatif, les matrices A
0
et A
1
ne sont pas gales, mais en revanche
elles sont semblables ; en effet, grace lassociativit du produit matriciel, on a :
A
1
= R
0
Q
0
= (Q
1
0
Q
0
)R
0
Q
0
= Q
1
0
(Q
0
R
0
)Q
0
= Q
1
0
AQ
0
.
Les matrices A
0
et A
1
ont donc mme valeurs propres.
On recommence alors lopration : litration n, on.effectue la dcomposition QR de A
n
: A
n
= Q
n
R
n
et on
calcule A
n+1
= R
n
Q
n
.
Par miracle, pour la plupart des matrices, les coefcients diagonaux de la matrice R
n
tendent vers les valeurs
propres de la matrice A, et les colonnes de la matrice Q
n
vers les vecteurs propres associs. Notons que la conver-
gence de lalgorithme QR est un problme ouvert. On retiendra que lalgorithme converge pour une large classe
de matrices, et on pourra trouver dans les livres de Serre ou Hubbard-Hubert la dmonstration sous une hypothse
assez technique et difcile vrier en pratique ; lexercice 60 donne la dmonstration (avec la mme hypothse
technique) pour le cas plus simple dune matrice symtrique dnie positive.
Pour amliorer la convergence de lalgorithme QR, on utilise souvent la technique dite de shift (translation en
bon franais). A litration n, au lieu deffectuer la dcomposition QR de la matrice A
n
, on travaille sur la matrice
A
n
bI, o b est choisi proche de la plus grande valeur propre. En gnral on choisit le coefcient b = a
(k)
nn
.
Lexercice 59 donne un exemple de lapplication de la mthode QR avec shift.
1.6.3 Exercices
Exercice 56 (Mthode de la puissance). Suggestions en page 111, corrig en page 111
1. Soit A M
n
(IR) une matrice symtrique. Soit
n
IR valeur propre de A t.q. |
n
| = (A) et soit
x
(0)
IR
n
. On suppose que
n
nest pas une valeur propre de A et que x
(0)
nest pas orthogonal
Ker(A
n
Id), ce qui revient dire que . lorsquon crit le vecteur propre x
(0)
dans la base des vecteurs
propres, la composante sur le vecteur propre associ
n
est non nulle. On dnit la suite (x
(k)
)
nIN
par
x
(k+1)
= Ax
(k)
pour n IN. Montrer que
(a)
x
(k)
(n)
n
x, quand k , avec x = 0 et Ax =
n
x.
(b)
x
(k+1)
x
(k)
(A) quand n .
Cette mthode de calcul de la plus grande valeur propre sappelle mthode de la puissance".
2. Soit A M
n
(IR) une matrice inversible et b IR
n
. Pour calculer x t.q. Ax = b, on considre un mthode
itrative : on se donne un choix initial x
(0)
, et on construit la suite x
(k)
telle que x
(k+1)
= Bx
(k)
+ c avec
c = (IdB)A
1
b, et on suppose B symtrique. On rappelle que si (B) < 1, la suite tend vers x. Montrer
que, sauf cas particuliers prciser,
(a)
x
(k+1)
x
x
(k)
x
(B) quand k (ceci donne une estimation de la vitesse de convergence de la
mthode itrative).
(b)
x
(k+1)
x
(k)
x
(k
x
(k1)
(B) quand k (ceci permet destimer (B) au cours des itrations).

Exercice 57 (Mthode de la puissance inverse avec shift). Suggestions en page 111.
Soient A M
n
(IR) une matrice symtrique et
1
, . . . ,
p
(p n) les valeurs propres de A. Soit i {1, . . . , p},
on cherche calculer
i
. Soit x
(0)
IR
n
. On suppose que x
(0)
nest pas orthogonal Ker(A
i
Id). On suppose
galement connatre IR t.q. 0 < |
i
| < |
j
| pour tout j = i. On dnit la suite (x
(k)
)
nIN
par
(AId)x
(k+1)
= x
(k)
pour n IN.
1. Vrier que la construction de la suite revient appliquer la mthode de la puissance la matrice AId)
1
.
2. Montrer que x
(k)
(
i
)
k
x, quand k , o x est un vecteur propre associ la valeur propre
i
,
c..d. x = 0 et Ax =
i
x.
3. Montrer que
x
(k+1)
x
(k)

1
|i|
quand k .
Exercice 58 (Orthogonalisation de Gram-Schmidt). Corrig en page 1.6.5
Soient u et v deux vecteurs de IR
n
. On rappelle que la projection orthogonale proj
u
(v) du vecteur v sur la droite
vectorielle engendre par u peut scrire de la manire suivante :
proj
u
(v) =
v u
u u
u,
o u v dsigne le produit scalaire des vecteurs u et v. On note la norme euclidienne sur IR
n
.
1. Soient (a
1
, . . . , a
n
) une base de IR
n
. On rappelle qu partir de cette base, on peut obtenir une base orthogonale
(v
1
, . . . , v
n
) et une base orthonormale (q
1
, . . . , q
n
) par le procd de Gram-Schmidt qui scrit :
v
1
= a
1
, q
1
=
a
1
a
1
v
2
= a
2
proj
v1
(a
2
), q
2
=
v
2
v
2
v
3
= a
3
proj
v1
(a
3
) proj
v2
(a
3
), q
3
=
v
3
v
3
v
4
= a
4
proj
v1
(a
4
) proj
v2
(a
4
) proj
v3
(a
4
), q
4
=
v
4
v
4
.
.
.
.
.
.
v
k
= a
k
k1
j=1
proj
vj
(a
k
), q
k
=
v
k
v
k
On a donc
v
k
= a
k
k1
j=1
a
k
v
j
v
j
v
j
v
j
, q
k
=
v
k
v
k
. (1.128)
1. Montrer par rcurrence que la famille (v
1
, . . . , v
n
) est une base orthogonale de IR
n
.
2. Soient A la matrice carre dordre n dont les colonnes sont les vecteurs a
j
et Qla matrice carre dordre N dont
les colonnes sont les vecteurs q
j
dnis par le procd de Gram-Schmidt (1.128), ce quon note :
A =
_
a
1
a
2
. . . a
n
, Q =
_
q
1
q
2
. . . q
n
.
Montrer que
a
k
= v
k
q
k
+
k1
j=1
a
k
v
j
v
j
q
j
.
En dduire que A = QR, o Rest une matrice triangulaire suprieure dont les coefcients diagonaux sont positifs.
3. Montrer que pour toute matrice A M
n
(IR) inversible, on peut construire une matrice orthogonale Q (c.. d.
telle que QQ
t
= Id) et une matrice triangulaire suprieure R coefcients diagonaux positifs telles que A = QR.
4. Donner la dcomposition QR de A =
_
1 4
1 0
_
.
5. On considre maintenant lalgorithme suivant (o lon stocke la matrice Qorthogonale cherche dans la matrice
A de dpart (qui est donc crase)
Algorithme 1.60 (Gram-Schmidt modi).
Pour k = 1, . . . , n,
Calcul de la norme de a
k
r
kk
:= (
n
i=1
a
2
ik
)
1
2
Normalisation
Pour = 1, . . . , n
a
k
:= a
k
/r
kk
Fin pour
Pour j = k + 1, . . . , n
Produit scalaire correspondant q
k
a
j
r
kj
:=
n
i=1
a
ik
a
ij
On soustrait la projection de a
k
sur q
j
sur tous les vecteurs de A aprs k.
Pour i = k + 1, . . . , n,
a
ij
:= a
ij
a
ik
r
kj
Fin pour i
Fin pour j
Montrer que la matrice A rsultant de cet algorithme est identique la matrice Q donne par la mthode de Gram-
Schmidt, et que la matrice R est celle de Gram-Schmidt. (Cet algorithme est celui qui est effectivement implant,
car il est plus stable que le calcul par le procd de Gram-Schmidt original. )
Exercice 59 (Mthode QR avec shift). Soit A =
_
cos sin
sin 0
_
1. Calculer les valeurs propres de la matrice A.
2. Effectuer la dcomposition QR de la matrice A.
3. Calculer A
1
= RQ et

A
1
= RQbId o b est le terme a
1
22
de la matrice A
1
4. Effectuer la dcomposition QR de A
1
et

A
1
, et calculer les matrices A
2
= R
1
Q
1
et

A
2
=

R
1

Q
1
.
Exercice 60 (Mthode QR pour la recherche de valeurs propres). Corrig en page 113
Soit Aune matrice inversible. Pour trouver les valeurs propres de A, on propose la mthode suivante, dite mthode
QR : On pose A
1
= Aet on construit une matrice orthogonale Q
1
et une matrice triangulaire suprieure R
1
telles
que A
1
= Q
1
R
1
(par exemple par lalgorithme ??). On pose alors A
2
= R
1
Q
1
, qui est aussi une matrice inversible.
On construit ensuite une matrice orthogonale Q
2
et une matrice triangulaire suprieure R
2
telles que A
2
= Q
2
R
2
et on pose A
3
= R
3
Q
3
. On continue et on construit une suite de matrices A
k
telles que :
A
1
= A = Q
1
R
1
, R
1
Q
1
= A
2
= Q
2
R
2
, . . . , R
k
Q
k
= A
k
= Q
k+1
R
k+1
. (1.129)
Dans de nombreux cas, cette construction permet dobenir les valeurs propres de la matrice A sur la diagonale
des matrices A
k
. Nous allons dmontrer que ceci est vrai pour le cas particulier des matrices symtriques dnies
positives dont les valeurs propres sont simples (on peut le montrer pour une classe plus large de matrices).
On suppose partir de maintenant que A est une matrice symtrique dnie positive qui admet N valeurs propres
(strictement positives) vriant
1
<
2
< . . . <
n
. On a donc :
A = PP
t
, avec = diag(
1
, . . . , n), et P est une matrice orthogonale. (1.130)
(La notation diag(
1
, . . . ,
n
) dsigne la matrice diagonale dont les termes diagonaux sont
1
,... ,
n
).
On suppose de plus que
P
t
admet une dcomposition LU et que les coefcients diagonaux de U sont strictement positifs. (1.131)
On va montrer que A
k
tend vers = diag(
1
, . . . ,
n
).
2. Soient Q
i
et R
i
les matrices orthogonales et triangulaires suprieures dnies par (1.129).
2.1 Montrer que A
2
=

Q
2

R
2
avec

Q
k
= Q
1
Q
2
et

R
k
= R
2
R
1
.
2.2 Montrer, par rcurrence sur k, que
A
k
=

Q
k

R
k
, (1.132)
avec
Q
k
= Q
1
Q
2
. . . Q
k1
Q
k
et

R
k
= R
k
R
k1
. . . R
2
R
1
. (1.133)
2.3 Justier brivement le fait que

Q
k
est une matrice orthogonale et

R
k
est une matrice triangulaire coefcients
diagonaux positifs.
3. Soit M
k
=
k
L
k
.
3.1 Montrer que PM
k
=

Q
k
T
k
o T
k
=

R
k
U
1
k
est une matrice triangulaire suprieure dont les coefcients
diagonaux sont positifs.
3.2 Calculer les coefcients de M
k
en fonction de ceux de L et des valeurs propres de A.
3.3 En dduire que M
k
tend vers la matrice identit et que

Q
k
T
k
tend vers P lorsque k +.
4. Soient (B
k
)
kIN
et (C
k
)
kIN
deux suites de matrices telles que les matrices B
k
sont orthogonales et les matrices
C
k
triangulaires suprieures et de coefcients diagonaux positifs. On va montrer que si B
k
C
k
tend vers la matrice
orthogonale B lorsque k tend vers linni alors B
k
tend vers B et C
k
tend vers lidentit lorsque k tend vers
linni.
On suppose donc que B
k
C
k
tend vers la matrice orthogonale B. On note b
1
, b
2
, . . . , b
n
les colonnes de la matrice
B et b
(k)
1
, b
(k)
2
, . . . , b
(k)
n
les colonnes de la matrice B
k
, ou encore :
B =
_
b
1
b
2
. . . b
n
, B
k
=
_
b
(k)
1
b
(k)
2
. . . b
(k)
n
_
.
et on note c
(k)
i,j
les coefcients de C
k
.
4.1 Montrer que la premire colonne de B
k
C
k
est gale c
(k)
1,1
b
(k)
1
. En dduire que c
(k)
1,1
1 et que b
(k)
1
b
1
.
4.2 Montrer que la seconde colonne de B
k
C
k
est gale c
(k)
1,2
b
(k)
1
+ c
(k)
2,2
b
(k)
2
. En dduire que c
(k)
1,2
0, puis que
c
(k)
2,2
1 et que b
(k)
2
b
2
.
4.3 Montrer que lorsque k +, on a c
(k)
i,j
0 si i = j, puis que c
(k)
i,i
1 et b
(k)
i
b
i
.
4.4 En dduire que B
k
tend B et C
k
tend vers lidentit lorsque k tend vers linni.
5. Dduire des questions 3 et 4 que

Q
k
tend vers P et T
k
tend vers Id lorsque k +.
6. Montrer que

R
k
(

R
k1
)
1
= T
k
T
k1
. En dduire que R
k
et A
k
tendent vers .
1.6.4 Suggestions
Exercice 56 page 107 (Mthode de la puissance pour calculer le rayon spectral de A.)
1. Dcomposer x
0
sur une base de vecteurs propres orthonorme de A, et utiliser le fait que
n
nest pas valeur
propre.
2. a/ Raisonner avec y
(k)
= x
(k)
x o x est la solution de Ax = b et appliquer la question 1.
b/ Raisonner avec y
(k)
= x
(k+1)
x
(k)
.
Exercice 57 page 107 (Mthode de la puissance inverse)
Appliquer lexercice prcdent la matrice B = (AId)
1
.
1.6.5 Corrigs
Exercice 56 page 107 (Mthode de la puissance pour calculer le rayon spectral de A)
1. Comme A est une matrice symtrique, A est diagonalisable dans IR. Soit (f
1
, . . . , f
n
) (IR
n
)
n
une base
orthonorme de vecteurs propres de Aassocie aux valeurs propres (
1
, . . . ,
n
) IR
n
. On dcompose x
(0)
sur (f
i
)
i=1,...,n
: x
(0)
=
n
i=1
i
f
i
. On a donc Ax
(0)
=
n
i=1
i
f
i
et A
n
x
(0)
=
n
i=1
n
i

i
f
i
.
On en dduit :
x
(n)
n
n
=
n
i=1
_
n
_
n
i
f
i
.
Comme
n
nest pas valeur propre,
lim
n+
(
n
)
n
= 0 si
i
=
n
. (1.134)
Soient
1
, . . . ,
p
les valeurs propres diffrentes de
n
, et
p+1
, . . . ,
n
=
n
. On a donc
lim
n+
x
(n)
n
n
=
n
i=p+1
i
f
i
= x, avec Ax =
n
x.
De plus, x = 0 : en effet, x
(0)
/ (Ker(A
n
Id))
= V ect{f
1
, . . . , f
p
}, et donc il existe i {p+1, . . . , n}
tel que
i
= 0.
Pour montrer (b), remarquons que :
x
(n+1)
=
n
i=1
n+1
i

i
et x
(n)
=
n
i=1
n
i

i
car (f
1
, . . . , f
n
) est une base orthonorme. On a donc
x
(n+1)
x
(n)
=
n
n
x
(n+1)
n+1
n
x
(n)
n
x
x
=
n
lorsque n +.
2. a) La mthode I scrit partir de x
(0)
connu : x
(n+1)
= Bx
(n)
+ c pour n 1, avec c = (I B)A
1
b.
On a donc
x
(n+1)
x = Bx
(n)
+ (Id B)x x
= B(x
(n)
x).
(1.135)
Si y
(n)
= x
(n)
x, on a donc y
(n+1)
= By
(n)
, et daprs la question 1a) si y
(0)
Ker(B
n
Id)
o
n
est la plus grande valeur propre de B, (avec |
n
| = (B)et
n
non valeur propre), alors
y
(n+1)
y
(n)
(B) lorsque n +,
cestdire
x
(n+1)
x
x
(n)
x
(B) lorsque n +.
b) On applique maintenant 1a) y
(n)
= x
(n+1)
x
(n)
avec
y
(0)
= x
(1)
x
(0)
o x
(1)
= Ax
(0)
.
On demande que x
(1)
x
(0)
/ Ker(B
n
Id)
comme en a), et on a bien y

(n+1)
= By
(n)
, donc
y
(n+1)
y
(n)
(B) lorsque n +.
Exercice 58 page 108 (Orthogonalisation par Gram-Schmidt)
1. Par dnition de la projection orthogonale, on a v
1
v
2
= a
1
(a
2
proj
a1
(a
2
)) = 0.
Supposons la rcurrence vraie au rang N1 et montrons que v
n
est orthogonal tous les v
i
pour i = 1, . . . , N1.
Par dnition, v
n
= a
n
n1
j=1
a
k
vj
vjvj
v
j
, et donc
v
n
v
i
= a
n
v
i
n1
j=1
a
n
v
j
v
j
v
j
v
j
v
i
= a
n
v
i
a
n
v
i
v
i
v
i
par hypothse de rcurrence. On en dduit que v
n
v
i
= 0 et donc que la famille (v
1
, . . . v
n
) est une base orthogo-
nale.
2. De la relation (1.128), on dduit que :
a
k
= v
k
+
k1
j=1
w
k
v
j
v
j
v
j
v
j
, q
k
=
v
k
v
k
,
et comme v
j
= v
j
a
j
, on a bien :
a
k
= v
k
q
k
+
k1
j=1
a
k
v
j
v
j
q
j
.
La k-ime colonne de A est donc une combinaison linaire de la k-me colonne de Q affecte du poids v
k
et
des k 1 premires affectes des poids
a
k
vj
lvj
. Ceci scrit sous forme matricielle A = QR o R est une matrice
carre dont les coefcients sont R
k,k
= v
k
, R
j,k
=
a
k
vj
vj
si j < k, et R
j,k
= 0 si j > k. La matrice R est donc
bien triangulaire suprieure et coefcients diagonaux positifs.
3. Si A est inversible, par le procd de Gram-Schmidt (1.128) on construit la matrice Q =
_
q
1
q
2
. . . q
n
,
et par la question 1.b, on sait construire une matrice R triangulaire suprieure coefcients diagonaux positifs
A = QR.
4. On a a
1
=
_
1
1
_
et donc q
1
=
1
2
_
2
2
_
Puis a
2
=
_
4
0
_
et donc v
2
= a
2
a2v1
v1v1
v
1
=
_
4
0
_
4
2
_
1
1
_
=
_
2
2
_
. Donc q
2
=
1
2
_
2
2
_
, et Q =
1
2
_
2
2
_
.
Enn, R =
_
v
1
a2v1
v1
0 v
1
_
=
_
2 2
2
0 2
2
_
, et Q =
1
2
_
2
2
_
.
Exercice 60 page 109 (Mthode QR pour la recherche de valeurs propres)
1.1 Par dnition et associativit du produit des matrices,
A
2
= (Q
1
R
1
)(Q
1
R
1
) = Q
1
(R
1
Q
1
)R
1
= Q
1
(R
1
Q
1
)R
1
= Q
1
(Q
2
R
2
)R
1
= (Q
1
Q
2
)(R
2
R
1
) =

Q
2

R
2
avec

Q
2
= Q
1
Q
2
et

R
2
= R
1
R
2
.
1.2 La proprit est vraie pour k = 2. Supposons la vraie jusquau rang k 1 et montrons l au rang k. Par
dnition, A
k
= A
k1
A et donc par hypothse de rcurrence, A
k
=

Q
k1

R
k1
A. On en dduit que :
A
k
=

Q
k1

R
k1
Q
1
R
1
= Q
1
. . . Q
k1
R
k1
. . . R
2
(R
1
Q
1
)R
1
= Q
1
. . . Q
k1
R
k1
. . . R
2
(Q
2
R
2
)R
1
= Q
1
. . . Q
k1
R
k1
. . . (R
2
Q
2
)R
2
R
1
= Q
1
. . . Q
k1
R
k1
. . . R
3
(Q
3
R
3
)R
2
R
1
.
.
.
.
.
.
= Q
1
. . . Q
k1
R
k1
. . . R
j
(Q
j
R
j
)R
j1
. . . R
2
R
1
= Q
1
. . . Q
k1
R
k1
. . . R
j+1
(R
j
Q
j
)R
j1
. . . R
2
R
1
= Q
1
. . . Q
k1
R
k1
. . . R
j+1
(Q
j+1
R
j
)R
j1
. . . R
2
R
1
= Q
1
. . . Q
k1
R
k1
(Q
k1
R
k1
)R
k2
. . . R
2
R
1
= Q
1
. . . Q
k1
(R
k1
Q
k1
)R
k1
R
k2
. . . R
2
R
1
= Q
1
. . . Q
k1
(Q
k
R
k
)R
k1
R
k2
. . . R
2
R
1
=

Q
k

R
k
1.3 La matrice

Q
k
est un produit de matrices orthogonales et elle est donc orthogonale. (On rappelle que si P et Q
sont des matrices orthogonales, c..d. P
1
= P
t
et Q
1
= Q
t
, alors (PQ)
1
= Q
1
P
1
= Q
t
P
t
= (PQ)
t
et
donc PQ est orthogonale.)
De mme, le produit de deux matrices triangulaires suprieures coefcients diagonaux positifs est encore une
matrice triangulaire suprieure coefcients diagonaux positifs.
2.1 Par dnition, PM
k
= P
k
L
k
= P
k
P
t
P
t
L
k
= A
k
P
t
L
k
.
Mais A
k
=

Q
k

R
k
et P
t
= LU, et donc :
PM
k
=

Q
k

R
k
U
1
k
=

Q
k
T
k
o T
k
=

R
k
U
1
k
. La matrice T
k
est bien triangulaire suprieure co-
efcients diagonaux positifs, car cest un produit de matrices triangulaires suprieures coefcients diagonaux
positifs.
2.2
(M
k
)
i,j
= (
k
L
k
)
i,j
=
_
_
L
i,i
si i = j,
k
j
k
i
Li, j si i > j,
0 sinon.
2.3 On dduit facilement de la question prcdente que, lorsque k +, (M
k
)
i,j
0 si i = j et (M
k
)
i,j
1
et donc que M
k
tend vers la matrice identit et que

Q
k
T
k
tend vers P lorsque k +.
3.1 Par dnition, (B
k
C
k
)
i,1
=
=1,n
(B
k
)
i,
(C
k
)
,1
= (B
k
)
i,1
(C
k
)
1,1
car C
k
est triangulaire suprieure. Donc
la premire colonne de B
k
C
k
est bien gale c
(k)
1,1
b
(k)
1
.
Comme B
k
C
k
tend vers B, la premire colonne b
1
de B
k
C
k
tend vers la premire colonne de B, cest --dire
c
(k)
1,1
b
(k)
1
lb
1
lorsque k .
Comme les matrices B et B
k
sont des matrices orthogonales, leurs vecteurs colonnes sont de norme 1, et donc
|c
(k)
1,1
| = c
(k)
1,1
lb
(k)
1
b
1
= 1 lorsque k .
On en dduit que |c
(k)
1,1
| 1 lorsque k +, et donc lim
k+
c
(k)
1,1
= 1. Or, par hypothse, la matrice
C
(k)
a tous ses coefcients diagonaux positifs, on a donc bien c
(k)
1,1
1 lorsque k +. Par consquent, on a
b
(k)
1
b
1
lorsque k .
3.2 Comme C
k
est triangulaire suprieure, on a :
(B
k
C
k
)
i,2
=
=1,n
(B
k
)
i,
(C
k
)
,2
= (B
k
)
i,1
(C
k
)
1,1
+ (B
k
)
i,2
(C
k
)
2,1
,
et donc la seconde colonne de B
k
C
k
est bien gale c
(k)
1,2
lb
(k)
1
+c
(k)
2,2
b
(k)
2
.
On a donc
c
(k)
1,2
b
(k)
1
+c
(k)
2,2
lb
(k)
2
b
2
lorsque k +. (1.136)
La matrice B
k
est orthogonale, et donc b
(k)
1
b
(k)
1
= 1 et b
(k)
1
b
(k)
2
= 0. De plus, par la question prcdente,
b
(k)
1
b
1
lorsque k +, On a donc, en prenant le produit scalaire du membre de gauche de (1.136) avec lb
(k)
1
,
c
(k)
1,2
=
_
c
(k)
1,2
b
(k)
1
+c
(k)
2,2
b
(k)
2
_
b
(k)
1
b
2
b
1
= 0 lorsque k +.
Comme c
(k)
1,2
0 et b
(k)
1
b
1
on obtient par (1.136) que
c
(k)
2,2
b
(k)
2
b
2
lorsque k +.
Le mme raisonnement que celui de la question prcdente nous donne alors que c
(k)
2,2
1 et b
(k)
2
b
2
lorsque
k +.
3.3 On sait dj par les deux questions prcdentes que ces assertions sont vraies pour i = 1 et 2. Supposons
quelles sont vries jusquau rang i 1, et montrons que c
(k)
i,j
0 si i = j, puis que c
(k)
i,i
1 et b
(k)
i
b
i
.
Comme C
k
est triangulaire suprieure, on a :
(B
k
C
k
)
i,j
=
=1,n
(B
k
)
i,
(C
k
)
,j
=
j1
=1
(B
k
)
i,
(C
k
)
,j
+ (B
k
)
i,j
(C
k
)
j,j
,
et donc la j-me colonne de B
k
C
k
est gale
j1
=1
c
(k)
,1
b
(k)
+c
(k)
j,j
b
(k)
j
. On a donc
j1
=1
c
(k)
,1
b
(k)
+c
(k)
j,j
b
(k)
j
b
j
lorsque k +. (1.137)
La matrice B
k
est orthogonale, et donc b
(k)
i
b
(k)
i
=
i,j
. De plus, par hypothse de rcurrence, on sait que
b
(k)
pour tout j 1. En prenant le produit scalaire du membre de gauche de (1.137) avec b

(k)
m
, pour
m < i, on obtient
c
(k)
m,j
=
_
j1
=1
c
(k)
,1
b
(k)
+c
(k)
j,j
b
(k)
j
_
b
(k)
m
b
m
b
j
= 0 lorsque k +.
On dduit alors de (1.137) que c
(k)
j,j
b
(k)
j
b
j
lorsque k +, et le mme raisonnement que celui de la question
4.1 nous donne alors que c
(k)
j,j
1 et b
(k)
j
b
j
lorsque k +.
ce qui conclut le raisonnement par rcurrence.
3.4 En dduire que B
k
tend B et C
k
tend vers lidentit lorsque k tend vers linni.
On a montr aux trois questions prcdentes que la j-ime colonne de B
k
tend vers la j-ime colonne de B, et que
c
(k)
i,j

i,j
lorque k tend vers +. On a donc bien le rsultat demand.
4. Daprs la question 3,

Q
k
T
k
tend vers P, et daprs la question 4, comme

Q
k
est orthogonale et T
k
triangulaire
suprieure coefcients positifs, on a bien

Q
k
qui tend vers P et T
k
qui tend vers Id lorsque k +.
5. On a

R
k
= T
k
k
U et donc

R
k
(

R
k1
)
1
= T
k
k
UU
1
k+1
T
k1
= T
k
T
k1
.
Comme T
k
tend vers Id, on a R
k
=

R
k
(

R
k1
)
1
qui tend vers . De plus, A
k
= Q
k
R
k
, o Q
k
=

Q
k
(

Q
k1
)
1
tend vers Id et R
k
tend vers . Donc A
k
tend vers .
Chapitre 2
Systmes non linaires
Dans le premier chapitre, on a tudi quelques mthodes de rsolution de systmes linaires en dimension nie.
Lobjectif est maintenant de dvelopper des mthodes de rsolution de systmes non linaires, toujours en dimen-
sion nie. On se donne g C(IR
n
, IR
n
) et on cherche x dans IR
n
solution de :
_
x IR
n
g(x) = 0.
(2.1)
Au Chapitre I on a tudi des mthodes de rsolution du systme (2.1) dans le cas particulier g(x) = Ax b,
A M
n
(IR), b IR
n
. On va maintenant tendre le champ dtude au cas o g nest pas forcment afne. On
tudiera deux familles de mthodes pour la rsolution approche du systme (2.1) :
les mthodes de point xe : point xe de contraction et point xe de monotonie
les mthodes de type Newton
1
.
2.1 Les mthodes de point xe
2.1.1 Point xe de contraction
Soit g C(IR
n
, IR
n
), on dnit la fonction f C(IR
n
, IR
n
) par f(x) = x g(x). On peut alors remarquer que
g(x) = 0 si et seulement si f(x) = x. Rsoudre le systme non linaire (2.1) revient donc trouver un point xe
de f. Encore faut-il quun tel point xe existe. . . On rappelle le thorme de point xe bien connu :
Thorme 2.1 (Point xe). Soit E un espace mtrique complet, d la distance sur E, et f : E E une fonction
strictement contractante, cestdire telle quil existe k ]0, 1[ tel que d(f(x), f(y)) kd(x, y) pour tout x, y
E. Alors il existe un unique point xe x E qui vrie f( x) = x. De plus si x
(0)
E, et x
(k+1)
= f(x
(k)
),
k 0, alors x
(k)
x quand n +.
DMONSTRATION Etape 1 : Existence de x et convergence de la suite
Soit x
(0)
E et (x
(k)
)nIN la suite dnie par x
(k+1)
= f(x
(k)
) pour n 0. On va montrer que :
1. (x
(k)
)n est de Cauchy (donc convergente car E est complet),
2. lim
n+
x
(k)
= x est point xe de f.
1. Isaac Newton (1643 - 1727, n dune famille de fermiers, est un philosophe, mathmaticien, physicien, alchimiste et astronome anglais.
Figure emblmatique des sciences, il est surtout reconnu pour sa thorie de la gravitation universelle et la cration, en concurrence avec Leibniz,
du calcul innitsimal.
116
2.1. LES MTHODES DE POINT FIXE CHAPITRE 2. SYSTMES NON LINAIRES
Par hypothse, on sait que pour tout n 1,
d(x
(k+1)
, x
(k)
) = d(f(x
(k)
), f(x
(k1)
)) kd(x
(k)
, x
(k1)
).
Par rcurrence sur n, on obtient que
d(x
(k+1)
, x
(k)
) k
n
d(x
(1)
, x
(0)
), n 0.
Soit n 0 et p 1, on a donc :
d(x
(n+p)
, x
(k)
) d(x
(n+p)
, x
(n+p1)
) + +d(x
(k+1)
, x
(k)
)
q=1
d(x
(n+q)
, x
(n+q1)
)
q=1
k
n+q1
d(x
(1)
, x
(0)
)
d(x
(1)
, x
(0)
)k
n
(1 +k +. . . +k
p1
)
d(x
(1)
, x
(0)
)
k
n
1 k
0 quand n +car k < 1.
La suite (x
(k)
)nIN est donc de Cauchy, i.e. :
> 0, n IN; n n, p 1 d(x
(n+p)
, x
(k)
) .
Comme E est complet, on a donc x
(k)
x dans E quand n +. Comme la fonction f est strictement
contractante, elle est continue, donc on a aussi f(x
(k)
) f( x) dans E quand n +. En passant la limite dans
lgalit x
(k+1)
= f(x
(k)
), on en dduit que x = f( x).
Etape 2 : Unicit
Soit x et y des points xes de f, qui satisfont donc x = f( x) et y = f( y). Alors d(f( x), f( y)) = d( x, y)
kd( x, y) ; comme k < 1, ceci est impossible sauf si x = y.
La mthode du point xe sappelle aussi mthode des itrations successives. Dans le cadre de ce cours, nous
prendrons E = IR
n
, et la distance associe la norme euclidienne, que nous noterons | |.
(x, y) IR
n
IR
n
avec x = (x
1
, . . . , x
n
), y = (y
1
, . . . , y
n
), d(x, y) = |x y| =
_
n
i=1
(x
i
y
i
)
2
_1
2
.
Atitre dillustration, essayons de la mettre en oeuvre pour trouver les points xes des fonctions x x
2
et x
x.
1
1
f( x
(2)
)
y = x
y = x
2
x
(2)
x
(3)
x
(1)
f(x
(0)
)
f(x
(1)
)
f(x
(2)
)
x
(0)
x
(1)
x
(1)
x
(0)
y = x
y =
x
x
(2)
f(x
(2)
)
f(x
(1)
)
f(x
(0)
)
x
(0)
f( x
(0)
)
f( x
(1)
)
FIGURE 2.1: Comportement des itrs successifs du point xe A gauche : x x
2
, droite : x
x.
Pour la fonction x x
2
, on voit sur la gure de gauche que si lon part de x = x
(0)
< 1, la mthode converge
rapidement vers 0 ; de fait, cette fonction est strictement contractante que sur lintervalle ]
1
2
,
1
2
[. Donc si x =
x
(0)
]
1
2
,
1
2
[, on est dans les conditions dapplication du thorme du point xe. Mais en fait, la suite (x
(k)
)
nIN
dnie par le point xe converge pour tout x
(0)
] 1, 1[ ; ceci est trs facile voir car x
(k)
= x
k
et on a donc
convergence vers 0 si |x| < 1.
Par contre si lon partait de x
(0)
> 1 (non reprsent sur la gure), on divergerait rapidement : mais rien de
surprenant cela, puisque la fonction x x
2
nest pas contractante sur [1, +[
Dans le cas de la fonction x
x, les itrs convergent vers 1 que lon parte droite ou gauche de x = 1, alors
que a fonction x

x nest contractante que pour x >
1
4
; mais on natteint jamais le point xe 0, ce qui est
moral, puisque la fonction nest pas contractante en 0. On se rend compte encore sur cet exemple que le thorme
du point xe donne une condition sufsante de convergence, mais que cette condition nest pas ncessaire.
Remarquons que lhypothse que f envoie E dans E est cruciale. Par exemple la fonction f : x
1
x
est lipschit-
zienne de rapport k < 1 sur [1 +, +[ pour tout > 0 mais elle nenvoie pas [1 +, +[ dans [1 +, +[. La
mthode du point xe partir du choix initial x = 1 donne la suite x,
1
x
, x,
1
x
, . . . , x,
1
x
qui ne converge pas.
Remarque 2.2.
1. Sous les hypothses du thorme 2.1, d(x
(k+1)
, x) = d(f(x
(k)
), f( x)) kd(x
(k)
, x); donc si x
(k)
= x
alors
d(x
(k+1)
, x)
d(x
(k)
, x)
k (< 1), voir ce sujet la dnition 2.11. La convergence est donc au moins linaire
(mme si de fait, cette mthode converge en gnral assez lentement).
2. Le thorme 2.1 se gnralise en remplaant lhypothse f strictement contractante" par il existe n > 0
tel que f
(k)
= f f . . . f
. .
n fois
est strictement contractante (reprendre la dmonstration du thorme pour
le vrier).
La question qui vient alors naturellement est : que faire si la mthode du point xe ne converge pas ? Dans ce
cas, f nest pas strictement contractante, et une ide naturelle est dintroduire un paramtre = 0 et la fonction
f
(x) = x g(x) ; on remarque l encore que x est encore solution du systme (2.1) si et seulement si x est
point xe de f
(x). On aimerait dans ce cas trouver pour que f
soit strictement contractante. Pour quelle le

soit, il suft que |f
(x) f
(y)| = |x y (g(x) g(y))| k|x y| pour (x, y) IR

n
. Or
|x y (g(x) g(y))|
2
=
_
x y (g(x) g(y))
_
_
x y (g(x) g(y))
_
= |x y|
2
2(x y) ((g(x) g(y))) +
2
|g(x) g(y)|
2
.
Supposons que g soit lipschitzienne, et soit M > 0 sa constante de Lipschitz :
|g(x) g(y)| M|x y|, x, y IR
n
. (2.2)
On a donc
|x y (g(x) g(y))|
2
(1 +
2
M
2
)|x y|
2
2(x y) ((g(x) g(y)))
Or on veut |x y (g(x) g(y))|
2
k|x y|
2
, avec k < 1. On a donc intrt ce que le terme 2(x y)
((g(x) g(y))) soit de la forme a|x y|
2
avec a strictement positif. Pour obtenir ceci, on va supposer de plus
que :
> 0 tel que (g(x) g(y)) (x y) |x y|
2
, x, y IR
n
, (2.3)
On obtient alors :
|x y (g(x) g(y))|
2
(1 +
2
M
2
2)|x y|
2
.
Et donc si ]0,
2
M
2
[, le polynme
2
M
2
2 est strictement ngatif : soit (noter que ]0, 1[) et on
obtient que
|x y (g(x) g(y))|
2
(1 )|x y|
2
.
On peut donc noncer le thorme suivant :
Thorme 2.3 (Point xe de contraction avec relaxation). On dsigne par | | la norme euclidienne sur IR
n
. Soit
g C(IR
n
, IR
n
) lipschitzienne de constante de Lipschitz M > 0, et telle que (2.3) est vrie : alors la fonction
f
: x x g(x) est strictement contractante si 0 < <

2
M
2
. Il existe donc un et un seul x IR
n
tel que
g( x) = 0 et x
(k)
x quand n +avec x
(k+1)
= f
(x
(k)
) = x
(k)
+g(x
(k)
).
Remarque 2.4. Le thorme 2.3 permet de montrer que sous les hypothses (2.3) et (2.2), et pour ]0,
2
M
2
[, on
peut obtenir la solution de (2.1) en construisant la suite :
_
x
(k+1)
= x
(k)
+g(x
(k)
) n 0,
x
(0)
IR
n
.
(2.4)
Or on peut aussi crire cette suite de la manire suivante :
_
x
(k+1)
= f(x
(k)
), n 0
x
(k+1)
= x
(k+1)
+ (1 )x
(k)
, x
(0)
IR
n
.
(2.5)
En effet si x
(k+1)
est donn par la suite (2.5), alors x
(k+1)
= x
(k+1)
+(1)x
(k)
= f(x
(k)
) +(1)x
(k)
=
g(x
(k)
) +x
(k)
. Le procd de construction de la suite (2.5) est lalgorithme de relaxation sur f.
Remarque 2.5 (Quelques rappels de calcul diffrentiel).
Soit h C
2
(IR
n
, IR). La fonction h est donc en particulier diffrentiable, c..d. que pour tout x IR
n
, il existe
Dh(x) L(IR
n
, IR) telle que
h(x +) = h(x) +Dh(x)() +||(), avec () 0
0
.
On a dans ce cas, par dnition du gradient, Dh(x)() = h(x) o h(x) = (
1
h(x), ,
n
h(x))
t
IR
n
est le gradient de h au point x (on dsigne par
i
h la drive partielle de f par rapport sa i-me variable).
Comme on suppose h C
2
(IR
n
, IR), on a donc g = h C
1
(IR
n
, IR
n
), et g est continment diffrentiable,
cestdire
Dg(x) L(IR
n
, IR
n
), et g(x +) = g(x) +Dg(x)() +||(),
avec () 0
0
.
Comme Dg(x) L(IR
n
, IR
n
), on peut reprsenter Dg(x) par une matrice de M
n
(IR), on confond alors lappli-
cation linaire et la matrice qui la reprsente dans la base canonique, et on crit par abus de notation Dg(x)
M
n
(IR). On peut alors crire, grce cet abus de notation, Dg(x)() = Dg(x) avec (Dg(x))
i
=
i,j=1,n
2
i,j
h
j
(x)
o
2
i,j
h =
i
(
j
h)(x).
Comme h est de classe C
2
, la matrice Dg(x) est symtrique, et donc diagonalisable dans IR. Pour x IR
n
, on
note (
i
(x))
1in
les valeurs propres de Dg(x), qui sont donc relles.
La proposition suivante donne une condition sufsante pour quune fonction vrie les hypothses (2.3) et (2.2).
Proposition 2.6. Soit h C
2
(IR
n
, IR), et (
i
)
i=1,n
les valeurs propres de la matrice hessienne de h. On suppose
quil existe des rels strictement positifs et tels que
i
(x) , i {1 . . . n}, x IR
n
. (Notons
que cette hypothse est plausible puisque les valeurs propres de la matrice hessienne sont relles). Alors la fonction
g = h (gradient de h) vrie les hypothses (2.3) et (2.2) du thorme 2.3 avec = et M = .
DMONSTRATION Montrons dabord que lhypothse (2.3) est vrie. Soit (x, y) (IR
n
)
2
, on veut montrer que
(g(x) g(y)) (x y) |x y|
2
. On introduit pour cela la fonction C
1
(IR, IR
n
) dnie par :
(t) = g(x +t(y x)).
On a donc (1) (0) = g(y) g(x) =
1
0

(t)dt. Or
(t) = Dg(x + t(y x))(y x). Donc g(y) g(x) =
1
0
Dg(x +t(y x))(y x)dt. On en dduit que :
(g(y) g(x)) (y x) =
1
0
(Dg(x +t(y x))(y x) (y x)) dt.
Comme i(x) [, ] i {1, . . . , n}, on a donc |y|
2
Dg(z)y y |y|
2
. On a donc : (g(y) g(x))
(y x)
1
0
|y x|
2
dt = |y x|
2
ce qui termine la dmonstration de (2.3).
Montrons maintenant que lhypothse (2.2) est vrie. On veut montrer que |g(y) g(x)| |y x|. On peut crire :
g(y) g(x) =
1
0
Dg(x +t(y x))(y x)dt,
et donc
|g(y) g(x)|
1
0
|Dg(x +t(y x))(y x)|dt
1
0
|Dg(x +t(y x))||y x|dt,
o |.| est la norme sur Mn(IR) induite par la norme euclidienne sur IR
n
.
Or, comme i(x) [, ] pour tout i = 1, . . . , N, la matrice Dg(x + t(y x)) est symtrique dnie positive
et donc, daprs la proposition 1.26 page 50, son rayon spectral estgale sa norme, pour la norme induite par la norme
euclidienne. On a donc :
|Dg(x +t(y x)| = (Dg(x +t(y x)) .
On a donc ainsi montr que : |g(y) g(x)| |y x|, ce qui termine la dmonstration.
Remarque 2.7 (Un cas particulier). Dans de nombreux cas issus de la discrtisation dquations aux drives
partielles, le problme de rsolution dun problme non linaire apparat sous la forme Ax = R(x) o A est une
matrice carre dordre n inversible, et R C(IR
n
, IR
n
). On peut le rcrire sous la forme x = A
1
R(x) et
appliquer lalgorithme de point xe sur la fonction f : x A
1
Rx, ce qui donne comme itration : x
(k+1)
=
A
1
R(x
(k)
). Si on pratique un point xe avec relaxation, dont le paramtre de relaxation > 0, alors litration
scrit :
x
(k+1)
= A
1
R(x
(k)
), x
(k+1)
= x
(k+1)
+ (1 )x
(k)
.
2.1.2 Point xe de monotonie
Thorme 2.8 (Point xe de monotonie).
Soient A M
n
(IR) et R C(IR
n
, IR
n
). On suppose que :
1. la matrice A est une matrice dinverse positive, ou IPmatrice voir exercice 5), c..d. que A est inversible et
tous les coefcients de A
1
sont positifs ou nuls, ce qui est quivalent dire que :
Ax 0 x 0,
au sens composante par composante, cest--dire
_
(Ax)
i
0, i = 1, . . . , n
_
_
x
i
0, i = 1, . . . , n
_
.
2. R est monotone, c..d. que si x y (composante par composante) alors R(x) R(y) (composante par
composante).
3. 0 est une sous-solution du problme, cest--dire que 0 R(0) et il existe x IR
n
; x 0 tel que x est une
sur-solution du problme, cest--dire que A x R( x).
On pose x
(0)
= 0 et Ax
(k+1)
= R(x
(k)
). On a alors :
1. 0 x
(k)
x, n IN,
2. x
(k+1)
x
(k)
, n IN,
3. x
(k)
x quand n +et A x = R( x).
DMONSTRATION Comme A est inversible la suite (x
(k)
)nIN vriant
_
x
(0)
= 0,
Ax
(k+1)
= R(x
(k)
), n 0
est bien dnie. On va montrer par rcurrence sur n que 0 x
(k)
x pour tout n 0 et que x
(k)
x
(k+1)
pour tout
n 0.
1. Pour n = 0, on a x
(0)
= 0 et donc 0 x
(0)
x et Ax
(1)
= R(0) 0. On en dduit que x
(1)
0 grce aux
hypothses 1 et 3 et donc x
(1)
x
(0)
= 0.
2. On suppose maintenant (hypothse de rcurrence) que 0 x
(p)
x et x
(p)
x
(p+1)
pour tout p {0, . . . , n1}.
On veut montrer que 0 x
(k)
x et que x
(k)
x
(k+1)
. Par hypothse de rcurrence pour p = n 1, on sait que
x
(k)
x
(k1)
et que x
(k1)
0. On a donc x
(k)
0. Par hypothse de rcurrence, on a galement que x
(k1)
x
et grce lhypothse 2, on a donc R(x
(k1)
) R( x). Par dnition de la suite (x
(k)
)nIN, on a Ax
(k)
=
R(x
(k1)
) et grce lhypothse 3, on sait que A x R( x). On a donc : A( x x
(k)
) R( x) R(x
(k1)
) 0.
On en dduit alors (grce lhypothse 1) que x
(k)
x.
De plus, comme Ax
(k)
= R(x
(k1)
) et Ax
(k+1)
= R(x
(k)
), on a A(x
(k+1)
x
(k)
) = R(x
(k)
) R(x
(k1)
) 0
par lhypothse 2, et donc grce lhypothse 1, x
(k+1)
x
(k)
.
On a donc ainsi montr (par rcurrence) que
0 x
(k)
x, n 0
x
(k)
x
(k+1)
, n 0.
Ces ingalits sentendent composante par composante, c..d. que si x
(k)
= (x
(k)
1
. . . x
(k)
n )
t
IR
n
et x = ( x1 . . . xn)
t
IR
n
, alors 0 x
(k)
i
xi et x
(k)
i
x
(k+1)
i
, i {1, . . . , n}, et n 0.
Soit i {1, . . . , n} ; la suite (x
(k)
i
)nIN IR est croissante et majore par xi donc il existe xi IR tel que xi =
lim
n+
x
(k)
i
. Si on pose x = ( x1 . . . xn)
t
IR
n
, on a donc x
(k)
x quand n +.
Enn, comme Ax
(k+1)
= R(x
(k)
) et comme R est continue, on obtient par passage la limite lorsque n + que
A x = R( x) et que 0 x x.
Lhypothse 1 du thorme 2.8 est vrie par exemple par les matrices A quon a obtenues par discrtisation par
diffrences nies des oprateurs u
sur lintervalle ]0, 1[ (voir page 11 et lexercice 40) et u sur ]0, 1[]0, 1[
(voir page 14).
Thorme 2.9 (Gnralisation du prcdent).
Soit A M
n
(IR), R C
1
(IR
n
, IR
n
), R = (R
1
, . . . , R
n
)
t
tels que
1. Pour tout 0 et pour tout x IR
n
, Ax +x 0 x 0
2.
R
i
x
j
0, i, j t.q. i = j (R
i
est monotone croissante par rapport la variable x
j
si j = i) et > 0,

R
i
x
i
0, x IR
n
, i {1, . . . , n} (R
i
est monotone dcroissante par rapport la variable x
i
).
3. 0 R(0) (0 est sous-solution) et x 0 tel que A( x) R( x) ( x est sur-solution).
Soient x
(0)
= 0, , et (x
(k)
)
nIN
la suite dnie par Ax
(k+1)
+ x
(k+1)
= R(x
(k)
) + x
(k)
. Cette suite
converge vers x IR
n
et A x = R( x). De plus, 0 x
(k)
x n IN et x
(k)
x
(k+1)
, n IN.
DMONSTRATION On se ramne au thorme prcdent avec A+Id au lieu de Aet R+ au lieu de R.
Remarque 2.10 (Point xe de Brouwer). On sest intress ici uniquement des thormes de point xe construc-
tifs", i.e. qui donnent un algorithme pour le dterminer. Il existe aussi un thorme de point xe dans IR
n
avec des
hypothses beaucoup plus gnrales (mais le thorme est non constructif), cest le thorme de Brouwer
2
: si f
est une fonction continue de la boule unit de IR
n
dans la boule unit, alors elle admet un point xe dans la boule
unit.
2.1.3 Vitesse de convergence
Dnition 2.11 (Vitesse de convergence). Soit (x
(k)
)
nIN
IR
n
et x IR
n
. On suppose que x
(k)
x lorsque
n +, que la suite est non stationnaire, c..d. que x
(k)
= x pour tout n IN, et que
lim
n+
x
(k+1)
x
x
(k)
x
= [0, 1]. (2.6)
On sintresse la vitesse de convergence" de la suite (x
(k)
)
nIN
. On dit que :
1. La convergence est souslinaire si = 1.
2. La convergence est au moins linaire si [0, 1[.
3. La convergence est linaire si ]0, 1[.
4. La convergence est super linaire si = 0. Dans ce cas, on dit galement que :
(a) La convergence est au moins quadratique sil existe IR
+
et il existe n
0
IN tels que si n n
0
alors x
(k+1)
x x
(k)
x
2
.
(b) La convergence est quadratique si
lim
n+
x
(k+1)
x
x
(k)
x
2
= > 0.
Plus gnralement, on dit que :
(a) La convergence est au moins dordre k sil existe IR
+
et il existe n
0
IN tels que si n n
0
alors x
(k+1)
x x
(k)
x
k
.
(b) La convergence est dordre k si
lim
n+
x
(k+1)
x
x
(k)
x
k
= > 0.
Remarque 2.12 (Sur la vitesse de convergence des suites).
Remarquons dabord que si une suite (x
(k)
)
nIN
IR
n
converge vers x IR
n
lorsque n tend vers linni, alors
on a forcment 1 dans (2.6). En effet, si la suite vrie (2.6) avec > 1, alors il existe n
0
IN tel que si
n n
0
, |x
n
x| |x
n0
x| pour tout n n
0
, ce qui contredit la convergence.
Quelques exemples de suites sui convergent sous-linairement : x
n
=
1
n
, x
n
=
1
n
, mais aussi, de manire
moins intuitive : x
n
=
1
n
2
. . . . Toutes ces suites vrient lgalit (2.6) avec = 1.
Attention donc, contrairement ce que pourrait suggrer son nom, la convergence linaire (au sens donn ci-
dessus), est dj une convergence trs rapide. Les suites gomtriques dnies par x
n
=
n
avec ]0, 1[ sont
des suites qui convergent linairement (vers 0), car elles verient videmment bien (2.6) avec ]0, 1[.
la convergence quadratique est encore plus rapide ! Par exemple la suite dnie par x
n+1
= x
2
n
converge de
manire quadratique pour un choix initial x
0
] 1, 1[. Mais si par malheur le choix initial est en dehors de cet
intervalle, la suite diverge alors trs vite... de manire exponentielle, en fait, puisque x
n
= exp(nln x
0
).
2. Luitzen Egbertus Jan Brouwer (1881-1966), mathmaticien nerlandais.
Cest le cas de la mthode de Newton, que nous allons introduire. Lorsquelle converge, elle converge trs vite
(nous dmontrerons que la vitesse de convergence est quadratique). Mais lorsquelle diverge, elle diverge aussi
trs vite...
Pour construire des mthodes itratives qui convergent super vite", nous allons donc essayer dobtenir des vitesses
de convergence super linaires. Cest dans cet esprit que nous tudions dans la proposition suivante des conditions
sufsantes de convergence de vitesse quadratique pour une mthode de type point xe, dans le cas dune fonction
f de IR dans IR..
Proposition 2.13 (Vitesse de convergence dune mthode de point xe). Soit f C
1
(IR, IR) ; on suppose quil
existe x IR tel que f( x) = x. On construit la suite
x
(0)
IR
x
(k+1)
= f(x
(k)
).
1. Si on suppose que f
( x) = 0 et |f
( x)| < 1, alors il existe > 0 tel que si x

(0)
I
= [ x , x + ]
on a x
(k)
x lorsque n +, et si x
(k)
= x, alors
|x
(k+1)
x|
|x
(k)
x|
|f
( x)| = , o ]0, 1[. La

convergence est donc linaire.
2. Si on suppose maintenant que f
( x) = 0 et f C
2
(IR, IR), alors il existe > 0 tel que si x
(0)
I
=
[ x , x +], alors x
(k)
x quand n +, et si x
(k)
= x, n IN alors
|x
(k+1)
x|
|x
(k)
x|
2
=
1
2
|f
( x)|.
La convergence est donc au moins quadratique.
DMONSTRATION
1. Supposons que |f
( x)| < 1, et montrons quil existe > 0 tel que si x

(0)
I alors x
(k)
x. Comme f C
1
(IR, IR)
il existe > 0 tel que = maxxI
|f
(x)| < 1 ( par continuit de f
).
On va maintenant montrer que f : I I est strictement contractante, on pourra alors appliquer le thorme du point
xe f
|I
, (I tant ferm), pour obtenir que x
(k)
x o x est lunique point xe de f
|I
.
Soit x I ; montrons dabord que f(x) I : comme f C
1
(IR, IR), il existe ]x, x[ tel que |f(x) x| =
|f(x) f( x)| = |f
()||x x| |x x| < , ce qui prouve que f(x) I.

On vrie alors que f
|I
est strictement contractante en remarquant que pour tous x, y I, x < y, il existe ]x, y[(
I) tel que |f(x) f(y)| = |f
()||x y| |x y| avec < 1.

On a ainsi montr que x
(k)
x si x
(0)
I.
Cherchons maintenant la vitesse de convergence de la suite. Supposons que f
( x) = 0 et x
(k)
= x pour tout n IN.
Comme x
(k+1)
= f(x
(k)
) et x = f( x), on a |x
(k+1)
x| = |f(x
(k)
) f( x)|. Comme f C
1
(IR, IR), il existe
n ]x
(k)
, x[ ou ] x, x
(k)
[, tel que f(x
(k)
) f( x) = f
(n)(x
(k)
x). On a donc
|x
(k+1)
x|
|x
(k)
x|
= |f
(n)| |f
( x)| car x
(k)
x et f
est continue.
On a donc une convergence linaire.
2. Supposons maintenant que f
( x) = 0 et f C
2
(IR, IR). On sait dj par ce qui prcde quil existe > 0 tel que
si x
(0)
I alors x
(k)
x lorsque n +. On veut estimer la vitesse de convergence. On suppose pour cela que
x
(k)
= x pour tout n IN.
Comme f C
2
(IR, IR), il existe n ]x
(k)
, x[ tel que f(x
(k)
) f( x) = f
( x)(x
(k)
x) +
1
2
f
(n)(x
(k)
x)
2
. On a
donc : x
(k+1)
x =
1
2
f
(n)(x
(k)
x)
2
ce qui entrane que
|x
(k+1)
x|
|x
(k)
x|
2
=
1
2
|f
(n)|
1
2
|f
( x)| quand n +.
La convergence est donc quadratique.
On tudie dans le paragraphe suivant la mthode de Newton pour la rsolution dun systme non linaire. (En fait,
il semble que lide de cette mthode revienne plutt Simpson
3
Donnons lide de la mthode de Newton dans
le cas n = 1 partir des rsultats de la proposition prcdente. Soit g C
3
(IR, IR) et x IR tel que g( x) = 0.
On cherche une mthode de construction dune suite (x
(k)
)
n
IR
n
qui converge vers x de manire quadratique.
On pose
f(x) = x +h(x)g(x) avec h C
2
(IR, IR) tel que h(x) = 0 x IR.
on a donc
f(x) = x g(x) = 0.
Si par miracle f
( x) = 0, la mthode de point xe sur f va donner (pour x

(0)
I
donn par la proposition 2.13)

(x
(k)
)
nIN
tel que x
(k)
x de manire au moins quadratique. Or on a f
(x) = 1 + h
(x)g(x) + g
(x)h(x) et
donc f
( x) = 1 +g
( x)h( x). Il suft donc de prendre h tel que h( x) =

1
g
( x)
. Ceci est possible si g
( x) = 0.
En rsum, si g C
3
(IR, IR) est telle que g
(x) = 0 x IR et g( x) = 0, on peut construire, pour x assez proche

de x, la fonction f C
2
(IR, IR) dnie par
f(x) = x
g(x)
g
(x)
.
Grce la proposition 2.13, il existe > 0 tel que si x
(0)
I
alors la suite dnie par x

(k+1)
= f(x
(k)
) =
x
(k)
g(x
(k)
)
g
(x
(k)
)
converge vers x de manire au moins quadratique.
Remarquons que dans le cas n = 1, a suite de Newton peut sobtenir naturellement en remplaant lquation
g(x) = 0 par g(x
(k+1)
) = 0, et g(x
(k+1)
) par le dveloppement limit en x
k
:
g(x
(k+1)
) = g(x
(k)
)g
(x
(k)
)(x
(k+1)
x
(k)
) +|x
(k+1)
x
(k)
|(x
(k+1)
x
(k)
).
Cest le plus sr moyen mnmotechnique pour retrouver litration de Newton :
g(x
(k)
) +g
(x
(k)
)(x
(k+1)
x
(k)
) = 0 ou encore g
(x
(k)
)(x
(k+1)
x
(k)
) = g(x
(k)
). (2.7)
Remarque 2.14 (Attention lutilisation du thorme des accroissements nis. . . ). On a fait grand usage du
thorme des accroissements nis dans ce qui prcde. Rappelons que sous la forme quon a utilise, ce thorme
nest valide que pour les fonctions de IR dans IR. On pourra sen convaincre en considrant la fonction de IR dans
IR
2
dnie par :
(x) =
_
sin x
cos x
_
.
On peut vrier facilement quil nexiste pas de IR tel que (2) (0) = 2
().
2.1.4 Exercices
Enoncs
Exercice 61 (Calcul diffrentiel). Suggestions en page 126, corrig dtaill en page 126
3. Voir Nick Kollerstrom (1992). Thomas Simpson and Newtons method of approximation : an enduring myth, The British Journal for
the History of Science, 25, pp 347-354 doi :10.1017/S0007087400029150 Thomas Simpson est un mathmaticien anglais du 18-me sicle
qui on attribue gnralement la mthode du mme nom pour le calcul approch des intgrales, probablement tort car celle-ci apparat dj
dans les travaux de Kepler deux sicles plus tt !
Soit f C
2
(IR
n
, IR).
1. Montrer que pour tout x IR
n
, il existe un unique vecteur a(x) IR
n
tel que Df(x)(h) = a(x) h pour tout
h IR
n
.
Montrer que (a(x))
i
=
i
f(x).
2. On pose f(x) = (
1
f(x), . . . ,
1
f(x))
t
. Soit lapplication dnie de IR
n
dans IR
n
par (x) = f(x).
Montrer que C
1
(IR
n
, IR
n
) et que D(x)(y) = A(x)y, o A(x))
i,j
=
2
i,j
f(x).
Exercice 62 (Calcul diffrentiel, suite).
1. Soit f C
2
(IR
2
, IR) la fonction dnie par f(x
1
, x
2
) = ax
1
+bx
2
+cx
1
x
2
, o a, b, et c sont trois rels xs.
Donner la dnition et lexpression de Df(x), f(x),Df, D
2
f(x), H
f
(x).
2. Mme question pour la fonction f C
2
(IR
3
, IR) dnie par f(x
1
, x
2
, x
3
) = x
2
1
+x
2
1
x
2
+x
2
sin(x
3
).
Exercice 63 (Mthode de monotonie). Suggestions en page 126, corrig dtaill en page 127.
On suppose que f C
1
(IR, IR), f(0) = 0 et que f est croissante. On sintresse, pour > 0, au systme non
linaire suivant de n quations n inconnues (notes u
1
, . . . , u
n
) :
(Au)
i
=
i
f(u
i
) +b
i
i {1, . . . , n},
u = (u
1
, . . . , u
n
)
t
IR
n
,
(2.8)
o
i
> 0 pour tout i {1, . . . , n}, b
i
0 pour tout i {1, . . . , n} et A M
n
(IR) est une matrice vriant
u IR
n
, Au 0 u 0. (2.9)
On suppose quil existe > 0 t.q. (2.8) ait une solution, note u
()
, pour = . On suppose aussi que u
()
0.
Soit 0 < < . On dnit la suite (v
(k)
)
nIN
IR
n
par v
(0)
= 0 et, pour n 0,
(Av
(k+1)
)
i
=
i
f(v
(k)
i
) +b
i
i {1, . . . , n}. (2.10)
Montrer que la suite (v
(k)
)
nIN
est bien dnie, convergente (dans IR
n
) et que sa limite, note u
()
, est solution
de (2.8) (et vrie 0 u
()
u
()
).
Exercice 64 (Point xe amlior). Suggestions en page 126, Corrig en page 127
Soit g C
3
(IR, IR) et x IR tels que g(x) = 0 et g
(x) = 0.
On se donne C
1
(IR, IR) telle que (x) = x.
On considre lalgorithme suivant :
_
_
_
x
0
IR,
x
n+1
= h(x
n
), n 0.
(2.11)
avec h(x) = x
g(x)
g
((x))
1) Montrer quil existe > 0 tel que si x
0
[x , x +] = I
, alors la suite donne par lalgorithme (2.11) est

bien dnie ; montrer que x
n
x lorsque n +.
On prend maintenant x
0
I
o est donn par la question 1.

2) Montrer que la convergence de la suite (x
n
)
nIN
dnie par lalgorithme (2.11) est au moins quadratique.
3) On suppose que
est lipschitzienne et que
(x) =
1
2
. Montrer que la convergence de la suite (x
n
)
nIN
dnie
par (2.11) est au moins cubique, cest--dire quil existe c IR
+
tel que
|x
n+1
x| c|x
n
x|
3
, n 1.
4) Soit IR
+
tel que g
(x) = 0 x I
=]x , x +[ ; montrer que si on prend telle que :

(x) = x
g(x)
2g
(x)
si x I
,
alors la suite dnie par lalgorithme (2.11) converge de manire cubique.
Suggestions
Exercice 61 page 124 (Calcul diffrentiel) 1. Utiliser le fait que Df(x) est une application linaire et le tho-
rme de Riesz. Appliquer ensuite la diffrentielle un vecteur h bien choisi.
2. Mmes ides...
Exercice 63 page 125 (Mthode de monotonie) Pour montrer que la suite (v
(k)
)
nIN
est bien dnie, remarquer
que la matrice A est inversible. Pour montrer quelle est convergente, montrer que les hypothses du thorme du
point xe de monotonie vu en cours sont vries.
Exercice 64 page 125 (Point xe amlior)
1) Montrer quon peut choisir de manire ce que |h
(x)| < 1 si x I
, et en dduire que g
((x
n
) = 0 si x
0
est bien choisi.
2) Remarquer que
|x
n+1
x| = (x
n
x)(1
g(x
n
) g(x)
(x
n
x)g
((x
n
))
. (2.12)
En dduire que
|x
n+1
x|
1
|x
n
x|
2
sup
xI
|
(x)| sup
xI
|g
(x)|.
3) Reprendre le mme raisonnement avec des dveloppements dordre suprieur.
4) Montrer que vrie les hypothses de la question 3).
Corrigs
Exercice 61 page 124 1. Par dnition, T = Df(x) est une application linaire de IR
n
dans IR
n
, qui scrit
donc sous la forme : T(h) =
n
i=1
a
i
h
i
= a h. Or lapplication T dpend de x, donc le vecteur a aussi.
Montrons maintenant que (a(x))
i
=
i
f(x), pour 1 i n Soit h
(i)
IR
n
dni par h
(i)
j
= h
i,j
, o h > 0
et
i,j
dsigne le symbole de Kronecker, i.e.
i,j
= 1 si i = j et
i,j
= 0 sinon. En appliquant la dnition de la
diffrentielle avec h
(i)
, on obtient :
f(x +h
(i)
) f(x) = Df(x)(h(i)) +h
(i)
(h
(i)
),
cestdire :
f(x
1
, . . . , x
i1
, x
i
+h, x
i1
, . . . , x
n
) f(x
1
, . . . , x
n
) = (a(x))
i
h +h(h
(i)
).
En divisant par h et en faisant tendre h vers 0, on obtient alors que (a(x))
i
=
i
f(x).
2. Comme f C
2
(IR
n
, IR), on a (
i
f(x) C
1
(IR
n
, IR), et donc C
1
(IR
n
, IR
n
). Comme D(x) est une
application linaire de IR
n
dans IR
n
, il existe une matrice A(x) carre dordre n telle que D(x)(y) = A(x)y
pour tout y IR
n
. Il reste montrer que (A(x))
i,j
=
2
i,j
f(x). Soit h
(i)
IR
n
dni la question prcedente,
pour i, j = 1, . . . , n, on a
(D(x)(h
(j)
))
i
= (A(x)h
(j)
)
i
=
n
k=1
a
i,k
(x)h
(j)
)
k
= ha
i,j
(x).
Or par dnition de la diffrentielle,
i
(x +h
(j)
)
i
(x) = (D(x)(h
(j)
))
i
+h
(j)
i
(h
(j)
),
ce qui entrane, en divisant par h et en faisant tendre h vers 0 :
j
i
(x) = a
i,j
(x). Or
i
(x) =
i
f(x), et donc
(A(x))
i,j
= a
i,j
(x) =
2
i,j
f(x).
Corrig de lexercice 63 page 125 (Mthode de monotonie) Montrons que la suite v
(k)
est bien dnie.
Supposons v
(k)
connu ; alors v
(k+1)
est bien dni si le systme
Av
(k+1)
= d
(k)
,
o d
(x)
est dni par : d
(k)
i
=
i
f(v
(k)
i
) + b
i
pour i = 1, . . . , n, admet une solution. Or, grce au fait que
Av 0 v 0, la matrice A est inversible, ce qui prouve lexistence et lunicit de v
(k+1)
.
Montrons maintenant que les hypothses du thorme de convergence du point xe de monotonie sont bien satis-
faites.
On pose R
()
i
(u) =
i
f(u
i
) +b
i
. Le systme rsoudre scrit donc :
Au = R
()
(u)
Or 0 est soussolution car 0
i
f(0) +b
i
(grce au fait que f(0) = 0, > 0 et b
i
0).
Cherchons maintenant une sursolution, cestdire u IR
n
tel que
u R
()
( u).
Par hypothse, il existe > 0 et u
()
0 tel que
(Au
()
)
i
= f(u
()
i
) +b
i
.
Comme < et b
i
0, on a
(Au
()
)
i

i
f(u
()
i
) +b
i
= R
()
i
(u
()
).
Donc u
()
est sursolution. Les hypothses du thorme dont bien vries, et donc v
(k)
u lorsque n +,
o u est tel que A u = R( u).
Corrig de lexercice 64 page 125 (Point xe amlior)
1) La suite donne par lalgorithme (2.11) est bien dnie si pour tout n IN, g
(x
n
) = 0. Remarquons
dabord que g
(x) = 0. Or la fonction g
est continue ; pour > 0 x, il existe donc IR

+
tel que
g
(x) pour tout x [x , x + ] = I
. Remarquons ensuite que h
(x) = 1
(g
( x))
2
(g
( x))
2
= 0. Or h
est
aussi continue. On en dduit lexistence de IR
+
tel que h
(x) < 1 pour tout x [x , x +] = I
.
Soit maintenant = min(, ) ; si x
0
I
, alors g
(x
0
) = 0. Comme h est strictement contractante sur I
,
on en dduit que x
1
I
, et par r
1
2
currence sur n, x
1
I
pour tout n IN. On en dduit que g
(x
n
) = 0
pour tout n IN. Donc la suite est bien dnie. De plus, comme h est strictement contractante sur I
, le thorme
du point xe (thorme 2.1 page 116 donne la convergence de la suite (x
n
)
nIN
vers x.
2) Remarquons dabord que si C
2
(IR, R), on peut directement appliquer la proposition 2.13 (item 2), car dans
ce cas h C
2
(IR, IR), puisquon a dj vu que h
(x) = 0. Effectuons maintenant le calcul dans le cas o lon na

que C
1
(IR, R). Calculons |x
n+1
x|. Par dnition de x
n+1
, on a :
x
n+1
x = x
n
x
g(x
n
)
g
((x
n
))
,
ce qui entrane que
x
n+1
x = (x
n
x)
_
1
g(x
n
) g(x)
(x
n
x)g
((x
n
))
_
. (2.13)
Or il existe
n
I(x, x
n
), o I(x, x
n
) dsigne lintervalle dextrmits x et x
n
, tel que
g(x
n
) g(x)
x
n
x
= g
(
n
).
Mais comme g C
3
(IR, IR) il existe
n
I(
n
, (x
n
)) tel que :
g
(
n
) = g
((x
n
)) + (
n
(x
n
))g
(
n
).
On en dduit que
x
n+1
x = (x
n
x)(
n
(x
n
))
g
(
n
)
g
((x
n
))
. (2.14)
Par ingalit triangulaire, on a :
|
n
(x
n
)| |
n
x| +|x (x
n
)| = |
n
x| +|(x) (x
n
)|.
Comme
n
I(x, x
n
), on a donc |
n
x| |x
n
x| ; de plus : |(x) (x
n
)| sup
xI
|
(x)||x
n
x|. On
en dduit que
|
n
(x
n
)| |x
n
x|
_
1 + sup
xI
|
(x))|
_
.
En reportant dans (2.14), on en dduit que :
|x
n+1
x|
1
|x
n
x|
2
_
1 + sup
xI
|
(x))|
_
sup
xI
|g
(x)|.
On a ainsi montr que la convergence de la suite (x
n
)
nIN
3) Reprenons le calcul de la question prcdente en montant en ordre sur les dveloppements. Calculons |x
n+1
x|.
Ecrivons maintenant quil existe
n
I(x, x
n
) tel que
g(x
n
) = g(x) + (x
n
x)g
(x) +
1
2
(x
n
x)
2
g
(
n
).
De (2.13), on en dduit que
x
n+1
x = (x
n
x)
_
1 (x
n
x)
g
(x) +
1
2
(x
n
x)g
(
n
)
(x
n
x)g
((x
n
))
_
.
Or il existe
n
I(x, (x
n
)) tel que
g
((x
n
)) = g
(x) + ((x
n
) (x))g
(
n
).
On a donc :
x
n+1
x =
x
n
x
g
((x
n
))
_
((x
n
) (x))g
(
n
)
1
2
(x
n
x)g
(
n
)
_
.
Ecrivons maintenant que (x
n
) = (x) +
(
n
)(x
n
x), o
n
I(x, x
n
). Comme
est lipschitzienne, on a
(
n
) =
(x) +
n
=
1
2
+
n
, avec |
n
| M|x
n
x|, o M est la constante de Lipschitz de
. On a donc :
x
n+1
x =
x
n
x
g
((x
n
))
_
(x
n
x)(
1
2
+
n
)g
(
n
)
1
2
(x
n
x)g
(
n
)
_
,
et donc :
|x
n+1
x|
1
|x
n
x|
2
_
(
1
2
(g
(
n
) g
(
n
)) +
n
g
(
n
)
_
.
2.2. MTHODE DE NEWTON DANS IR
N
CHAPITRE 2. SYSTMES NON LINAIRES
Mais de mme, comme g C
3
(IR, IR), et que
n
et
n
I(x, x
n
), on a
|g
(
n
) g
(
n
)| sup
xI
|g
(x)||x
n
x|.
On en dduit nalement que :
|x
n+1
x| C|x
n
x|
3
, avec C =
1
2
sup
xI
|g
(x)|.
4) Pour montrer que la suite dnie par lalgorithme (2.11) converge de manire cubique, il suft de montrer
que vrie les hypothses de la question 3). On a videmment ( x) = x. Comme g C
3
(IR, IR) et que
g
(x) = 0, x I
, on en dduit que C
2
(IR, IR). De plus
(x) = 1
1
2
g
(x)
2
g
(x)g(x)
g
(x)
2
=
1
2
.
La fonction vrie donc bien les hypothses de la question 3.
2.2 Mthode de Newton dans IR
n
2.2.1 Construction et convergence de la mthode
On a vu ci-dessus comment se construit la mthode de Newton partir du point xe de monotonie en dimension
n = 1. On va maintenant tudier cette mthode dans le cas n quelconque. Soient g C
1
(IR
n
, IR
n
) et x IR
n
tels que g( x) = 0.
On cherche une mthode de construction dune suite (x
(k)
)
n
IR
n
qui converge vers x de manire quadratique.
Lalgorithme de Newton de construction dune telle suite scrit :
_
x
(0)
IR
n
Dg(x
(k)
)(x
(k+1)
x
(k)
) = g(x
(k)
), n 0.
(2.15)
(On rappelle que Dg(x
(k)
) M
n
(IR) est la matrice reprsentant la diffrentielle de g en x
(k)
.)
Pour chaque n IN, il faut donc effectuer les oprations suivantes :
1. Calcul de Dg(x
(k)
),
2. Rsolution du systme linaire Dg(x
(k)
)(x
(k+1)
x
(k)
) = g(x
(k)
).
Remarque 2.15. Si la fonction g dont on cherche un zro est linaire, i.e. si g est dnie par g(x) = Ax b avec
A M
n
(IR) et b IR
n
, alors la mthode de Newton revient rsoudre le systme linaire Ax = b. En effet
Dg(x
(k)
) = A et donc (2.15) scrit Ax
(k+1)
= b.
Pour assurer la convergence et la qualit de la mthode, on va chercher maintenant rpondre aux questions
suivantes :
1. la suite (x
(k)
)
n
estelle bien dnie ? Aton Dg(x
(k)
) inversible ?
2. Aton convergence x
(k)
x quand n +?
3. La convergence est-elle au moins quadratique ?
Thorme 2.16 (Convergence de la mthode de Newton, I). Soient g C
2
(IR
n
, IR
n
) et x IR
n
tels que g( x) =
0. On munit IR
n
dune norme . On suppose que Dg( x) est inversible. Alors il existe b > 0, et > 0 tels que
N
1. si x
(0)
B( x, b) = {x IR
n
, x x < b} alors la suite (x
(k)
)
nIN
est bien dnie par (2.15) et
x
(k)
B( x, b) pour tout n IN,
2. si x
(0)
B( x, b) et si la suite (x
(k)
)
nIN
est dnie par (2.15) alors x
(k)
x quand n +,
3. si x
(0)
B( x, b) et si la suite (x
(k)
)
nIN
est dnie par (2.15) alors x
(k+1)
x x
(k)
x
2
n IN.
Pour dmontrer ce thorme, on va commencer par dmontrer le thorme suivant, qui utilise des hypothses plus
faibles mais pas trs faciles vrier en pratique :
Thorme 2.17 (Convergence de la mthode de Newton, II).
Soient g C
1
(IR
n
, IR
n
) et x IR
n
tels que g( x) = 0. On munit IR
n
dune norme et M
n
(IR) de la norme
induite. On suppose que Dg( x) est inversible. On suppose de plus quil existe a, a
1
, a
2
IR
+
tels que :
1. si x B( x, a) alors Dg(x) est inversible et Dg(x))
1
a
1
;
2. si x, y B( x, a) alors g(y) g(x) Dg(x)(y x) a
2
y x
2
.
Alors, si on pose : b = min
_
a,
1
a
1
a
2
_
> 0, = a
1
a
2
et si x
(0)
B( x, b), on a :
1. (x
(k)
)
nIN
est bien dnie par (2.15),
2. x
(k)
x lorsque n +,
3. x
(k+1)
x x
(k)
x
2
n IN.
DMONSTRATION Soit x
(0)
B( x, b) B( x, a) o b a. On va montrer par rcurrence sur n que x
(k)
B( x, b)
n IN (et que (x
(k)
)nIN est bien dnie). Lhypothse de rcurrence est que x
(k)
est bien dni, et que x
(k)
B( x, b).
On veut montrer que x
(k+1)
est bien dni et x
(k+1)
B( x, b).
Comme b a, la matrice Dg(x
(k)
) est inversible et x
(k+1)
est donc bien dni ; on a : x
(k+1)
x
(k)
= Dg(x
(k)
)
1
(g(x
(k)
)).
Pour montrer que x
(k+1)
B( x, b) on va utiliser le fait que b
1
a1a2
.
Par hypothse, on sait que si x, y B( x, a), on a
g(y) g(x) Dg(x)(y x) a2y x
2
.
Prenons y = x et x = x
(k)
B( x, a) dans lingalit ci-dessus. On obtient alors :
g( x) g(x
(k)
) Dg(x
(k)
)( x x
(k)
) a2 x x
(k)
2
.
Comme g( x) = 0 et par dnition de x
(k+1)
, on a donc :
Dg(x
(k)
)(x
(k+1)
x
(k)
) Dg(x
(k)
)( x x
(k)
) a2 x x
(k)
2
,
et donc
Dg(x
(k)
)(x
(k+1)
x) a2 x x
(k)
2
. (2.16)
Or x
(k+1)
x = [Dg(x
(k)
)]
1
(Dg(x
(k)
))(x
(k+1)
x), et donc
x
(k+1)
x Dg(x
(k)
)
1
Dg(x
(k)
)(x
(k+1)
x).
En utilisant (2.16), les hypothses 1 et 2 et le fait que x
(k)
B( x, b), on a donc
x
(k+1)
x a1a2x
(k)
x
2
< a1a2b
2
. (2.17)
Or a1a2b
2
< b car b
1
a1a2
. Donc x
(k+1)
B( x, b).
On a ainsi montr par rcurrence que la suite (x
(k)
)nIN est bien dnie et que x
(k)
B( x, b) pour tout n 0.
Pour montrer la convergence de la suite (x
(k)
)nIN vers x, on repart de lingalit (2.17) :
a1a2x
(k+1)
x (a1a2)
2
x x
(k)
2
= (a1a2x
(k)
x)
2
, n IN,
N
et donc par rcurrence a1a2x
(k)
x (a1a2x
(0)
x)
2
n
n IN. Comme x
(0)
B( x, b) et b
1
a
1
a
2
, on a
(a1a2x
(0)
x) < 1 et donc x
(k)
x 0 quand n +.
La convergence est au moins quadratique car lingalit (2.17) scrit : x
(k+1)
x x
(k)
x
2
avec = a1a2.
du thorme 2.16 Soient g C
2
(IR
n
, IR
n
) et x IN tels que g( x) = 0. Par hypothse, Dg( x) est inversible. Il suft de
dmontrer (pour se ramener au thorme 2.17) quil existe a, a1, a2 IR
+
tels que
1. si x B( x, a) alors Dg(x) est inversible et (Dg(x))
1
a1,
2. si x, y B( x, a) alors g(y) g(x) Dg(x)(y x) a2y x
2
.
Remarquons dabord que Dg(x) = Dg( x) Dg( x) + Dg(x) = Dg( x)(Id +S) o S = Dg( x)
1
(Dg(x) Dg( x)).
Or si S < 1, la matrice (Id + S) est inversible et (Id + S)
1

1
1S
. Nous allons donc essayer de majorer S.
Par dnition de S, on a :
S Dg( x)
1
Dg(x) Dg( x).
Comme g C
2
(IR
n
, IR
n
), on a Dg C
1
(IR
n
, Mn(IR))) ; donc par continuit de Dg, pour tout IR
+
, il existe a
IR
+
tel que si x x a alors Dg(x) Dg( x) . En prenant =
1
2Dg( x)
1
, il existe donc a > 0 tel que si x

B( x, a) alors Dg(x)Dg( x)
1
2Dg( x)
1
, et donc si x B( x, a), alors S

1
2
. On en dduit que si x B( x, a)
alors Id +S est inversible et donc que Dg(x) = Dg( x)(Id +S) est inversible (on rappelle que Dg( x) est inversible par
hypothse). De plus, si x B( x, a) on a : (Id +S)
1
1
1S
2 et comme (Id +S)
1
= (Dg( x))
1
Dg(x), on a
Dg(x)
1
Dg( x) 2, et donc Dg(x)
1
(Dg(x))
1
(Dg(x))
1
Dg(x) 2(Dg(x))
1
.
En rsum, on a donc prouv lexistence de a et de a1 = 2Dg( x)
1
tels que si x B( x, a) alors Dg(x) est inversible
et Dg(x)
1
a1. Il reste maintenant trouver a2 tel que si x, y B( x, a) alors g(y) g(x) Dg(x)(y x)
a2y x
2
.
Comme g C
2
(IR
n
, IR
n
), on a donc Dg C
1
(IR
n
, Mn(IR))) (remarquons que jusqu prsent on avait utilis unique-
ment le caractre C
1
de g). On dnit la fonction C
1
(IR, IR
n
) par (t) = g(x+t(y x)) g(x) tDg(x)(y x).
On a donc (1) = g(y) g(x) Dg(x)(y x) (cest le terme quon veut majorer en norme) et (0) = 0. On crit
maintenant que est lintgrale de sa drive :
(1) (0) =
1
0
(t)dt =
1
0
Dg(x +t(y x))(y x) Dg(x)(y x)dt.
On a donc
(1) (0)| = g(y) g(x) Dg(x)(y x)
1
0
Dg(x +t(y x))(y x) Dg(x)(y x)dt
y x
1
0
Dg(x +t(y x)) Dg(x)dt.
(2.18)
Pour majorer Dg(x +t(y x)) Dg(x)), on utilise alors le thorme des accroissements nis
4
(parfois aussi appel
thorme de la moyenne") appliqu Dg ; de lingalit (2.18), on tire donc que pour x, y B( x, a) et t ]0, 1[ :
Dg(x +t(y x)) Dg(x) ty x sup
cB( x,a)
D(Dg)(c)
L(IR
n
,Mn(IR))
. (2.19)
Comme D(Dg) = D
2
g est continue par hypothse, et comme B( x, a) est inclus dans un compact, on a
a2 = sup
cB( x,a)
D(Dg)(c)
L(IR
n
,Mn(IR))
< +.
De plus, t < 1 et on dduit de (2.19) que :
Dg(x +t(y x) Dg(x)) a2y x,
et de lingalit (2.18) on dduit ensuite que
g(y) g(x) Dg(x)(y x)
1
0
a2y xdt y x = a2y x
2
.
4. Thorme des accroissements nis : Soient E et F des espaces vectoriels norms, soient h C
1
(E, F) et (x, y) E
2
. On dnit
]x, y[= {tx + (1 t)y, t ]0, 1[}. Alors : h(y) h(x) y x sup
z]x,y[
Dh(z)
L(E,F)
.
(On rappelle que si T L(E, F) alors T
[L(E,F)
= sup
xE,x
E
=1
Tx
F
|.)
Attention : Si dimF > 1, on ne peut pas dire, comme cest le cas en dimension 1, que : ]x,y[ t.q. h(y) h(x) = Dh()(y x).
N
On a donc ainsi dmontr que g vrie les hypothses du thorme 2.17, ce qui termine la dmonstration du thorme 2.16.
Remarque 2.18 (Choix de litr initial). On ne sait pas bien estimer b dans le thorme 2.16, et ceci peut poser
problme lors de limplantation numrique : il faut choisir litr initial x
(0)
sufsamment proche" de x pour
avoir convergence.
2.2.2 Variantes de la mthode de Newton
Lavantage majeur de la mthode de Newton par rapport une mthode de point xe par exemple est sa vitesse
de convergence dordre 2. On peut dailleurs remarquer que lorsque la mthode ne converge pas, par exemple si
litr initial x
(0)
na pas t choisi sufsamment proche" de x, alors la mthode diverge trs vite. . .
Linconvnient majeur de la mthode de Newton est son cot : on doit dune part calculer la matrice jacobienne
Dg(x
(k)
) chaque itration, et dautre part la factoriser pour rsoudre le systme linaire Dg(x
(k)
)(x
(k+1)
x
(k)
) = g(x
(k)
). (On rappelle que pour rsoudre un systme linaire, il ne faut pas calculer linverse de la
matrice, mais plutt la factoriser sous la forme LU par exemple, et on calcule ensuite les solutions des systmes
avec matrice triangulaires faciles inverser, voir Chapitre 1.) Plusieurs variantes ont t proposes pour tenter de
rduire ce cot.
Faux quasi Newton
Soient g C
1
(IR
n
, IR
n
) et x IR tels que g( x) = 0. On cherche calculer x. Si on le fait par la mthode de
Newton, lalgorithme scrit :
_
x
(0)
IR
n
,
Dg(x
(k)
)(x
(k+1)
x
(k)
) = g(x
(k)
), n 0.
La mthode du Faux quasi-Newton (parfois appele quasi-Newton) consiste remplacer le calcul de la matrice
jacobienne Dg(x
(k)
) chaque itration par un calcul toutes les quelques" itrations. On se donne une suite
(n
i
)
iIN
, avec n
0
= 0 et n
i+1
> n
i
i IN, et on calcule la suite (x
(k)
)
nIN
de la manire suivante :
_
x
(0)
IR
n
Dg(x
(ni)
)(x
(k+1)
x
(k)
) = g(x
(k)
) si n
i
n < n
i+1
.
(2.20)
Avec cette mthode, on a moins de calculs et de factorisations de la matrice jacobienne Dg(x) effectuer, mais on
perd malheureusement la convergence quadratique : cette mthode nest donc pas trs utilise en pratique.
Newton incomplet
On suppose que g scrit sous la forme : g(x) = Ax+F
1
(x)+F
2
(x), avec A M
n
(IR) et F
1
, F
2
C
1
(IR
n
, IR
n
).
Lalgorithme de Newton (2.15) scrit alors :
_
_
_
x
(0)
IR
n
_
A+DF
1
(x
(k)
) +DF
2
(x
(k)
)
_
(x
(k+1)
x
(k)
) =
Ax
(k)
F
1
(x
(k)
) F
2
(x
(k)
).
La mthode de Newton incomplet consiste ne pas tenir compte de la jacobienne de F
2
.
_
x
(0)
IR
n
(A+DF
1
(x
(k)
))(x
(k+1)
x
(k)
) = Ax
(k)
F
1
(x
(k)
) F
2
(x
(k)
).
(2.21)
On dit quon fait du Newton sur F
1
et du point xe sur F
2
. Les avantages de cette procdure sont les suivants :
La mthode ne ncessite pas le calcul de DF
2
(x), donc on peut lemployer si F
2
C(IR
n
, IR
n
)) nest pas
drivable.
N
On peut choisir F
1
et F
2
de manire ce que la structure de la matrice A + DF
1
(x
(k)
) soit meilleure que
celle de la matrice A + DF
1
(x
(k)
) + DF
2
(x
(k)
) ; si par exemple A est la matrice issue de la discrtisation du
Laplacien, cest une matrice creuse. On peut vouloir conserver cette structure et choisir F
1
et F
2
de manire
ce que la matrice A+DF
1
(x
(k)
) ait la mme structure que A.
Dans certains problmes, on connat a priori les couplages plus ou moins forts dans les non-linarits : un
couplage est dit fort si la variation dune variable entrane une variation forte du terme qui en dpend. Donnons
un exemple : Soit f de IR
2
dans IR
2
dnie par f(x, y) = (x + sin(10
5
y), exp(x) + y), et considrons le
systme non linaire f(x, y) = (a, b)
t
o (a, b)
t
IR
2
est donn. Il est naturel de penser que pour ce systme,
le terme de couplage de la premire quation en la variable y sera faible, alors que le couplage de deuxime
quation en la variable x sera fort.
On a alors intrt mettre en oeuvre la mthode de Newton sur la partie couplage fort" et une mthode de point
xe sur la partie couplage faible".
Linconvnient majeur est la perte de la convergence quadratique. La mthode de Newton incomplet est cependant
assez souvent employe en pratique en raison des avantages numrs ci-dessus.
Remarque 2.19. Si F
2
= 0, alors la mthode de Newton incomplet est exactement la mthode de Newton. Si
F
1
= 0, la mthode de Newton incomplet scrit A(x
(k+1)
x
(k)
) = Ax
(k)
F
2
(x
(k)
), elle scrit alors
Ax
(k+1)
= F
2
(x
(k)
), ou encore x
(k+1)
= A
1
F
2
(x
(k)
) si A inversible. Cest donc dans ce cas la mthode du
point xe sur la fonction A
1
F
2
.
Mthode de la scante
La mthode de la scante est une variante de la mthode de Newton dans le cas de la dimension 1 despace. On
suppose ici n = 1 et g C
1
(IR, IR). La mthode de Newton pour calculer x IR tel que g(x) = 0 scrit :
_
x
(0)
IR
g
(x
(k)
)(x
(k+1)
x
(k)
) = g(x
(k)
), n 0.
On aimerait simplier le calcul de g
(x
(k)
), cestdire remplacer g
(x
(k)
) par une quantit proche sans calculer
g
. Pour cela, on remplace la drive par un quotient diffrentiel. On obtient la mthode de la scante :
_
_
_
x
(0)
, x
(1)
IR
g(x
(k)
) g(x
(k1)
)
x
(k)
x
(k1)
(x
(k+1)
x
(k)
) = g(x
(k)
) n 1.
(2.22)
Remarquons que dans la mthode de la scante, x
(k+1)
dpend de x
(k)
et de x
(k1)
: on a une mthode deux
pas ; on a dailleurs besoin de deux itrs initiaux x
(0)
et x
(1)
. Lavantage de cette mthode est quelle ne ncessite
pas le calcul de g
. Linconvnient est quon perd la convergence quadratique. On peut toutefois montrer (voir
exercice 82 page 140) que si g( x) = 0 et g
( x) = 0, il existe > 0 tel que si x

(0)
, x
(1)
[ x . x + ] = I
,
la suite (x
(k)
)
nIN
construite par la mthode de la scante (2.22) est bien dnie, que (x
(k)
)
nIN
I
et que
x
(k)
x quand n +. De plus, la convergence est super linaire, i.e. si x
(k)
= x pour tout n IN, alors
x
(k+1)
x
x
(k)
x
0 quand n +. On peut mme montrer (voir exercice 82 page 140) que la mthode de la
scante est convergente dordre d, o d est le nombre dor.
Mthodes de type Quasi Newton"
On veut gnraliser la mthode de la scante au cas n > 1. Soient donc g C
1
(IR
n
, IR
n
). Pour viter de
calculer Dg(x
(k)
) dans la mthode de Newton (2.15), on va remplacer Dg(x
(k)
) par B
(k)
M
n
(IR) proche de
Dg(x
(k)
). En sinspirant de la mthode de la scante en dimension 1, on cherche une matrice B
(k)
qui, x
(k)
et
x
(k1)
tant connus, vrie la condition :
B
(k)
(x
(k)
x
(k1)
) = g(x
(k)
) g(x
(k1)
) (2.23)
N
Dans le cas o n = 1, cette condition dtermine entirement B
(k)
;car on peut crire : B
(k)
=
g(x
(k)
) g(x
(k1)
x
(k)
x
(k1)
.
Si n > 1, la condition (2.23) ne permet pas de dterminer compltement B
(k)
. Il y a plusieurs faons possibles
de choisir B
(k)
, nous en verrons en particulier dans le cadre des mthodes doptimisation (voir chapitre 4, dans ce
cas la fonction g est un gradient), nous donnons ici la mthode de Broyden
5
.. Celle-ci consiste choisir B
(k)
de
la manire suivante : x
(k)
et x
(k1)
connus, on pose
(k)
= x
(k)
x
(k1)
et y
(k)
= g(x
(k)
) g(x
(k1)
) ; on
suppose B
(k1)
M
n
(IR) connue, et on cherche B
(k)
M
n
(IR) telle que
B
(k)
(k)
= y
(k)
(2.24)
(cest la condition (2.23), qui ne suft pas dterminer B
(k)
de manire unique) et qui vrie galement :
B
(k)
= B
(k1)
, IR
n
tel que
(k)
. (2.25)
Proposition 2.20 (Existence et unicit de la matrice de Broyden).
Soient y
(k)
IR
n
,
(k)
IR
n
et B
(k1)
M
n
(IR). Il existe une unique matrice B
(k)
M
n
(IR) vriant (2.24)
et (2.25) ; la matrice B
(k)
sexprime en fonction de y
(k)
,
(k)
et B
(k1)
B
(k)
= B
(k1)
+
y
(k)
B
(k1)
(k)
(k)

(k)
(
(k)
)
t
. (2.26)
DMONSTRATION Lespace des vecteurs orthogonaux
(k)
est de dimension n 1. Soit (1, . . . , n1) une base
de cet espace, alors (1, . . . , n1,
(k)
) est une base de IR
n
et si B
(k)
vrie (2.24) et (2.25), les valeurs prises par
lapplication linaire associe B
(k)
sur chaque vecteur de base sont connues, ce qui dtermine lapplication linaire et
donc la matrice B
(k)
de manire unique. Soit B
(k)
dnie par (2.26), on a :
B
(k)
(k)
= B
(k1)
(k)
+
y
(k)
B
(k1)
(k)
(k)

(k)
(
(k)
)
t
(k)
= y
(k)
,
et donc B
(k)
vrie (2.24). Soit IR
n
tel que
(k)
, alors
(k)
= (
(k)
)
t
= 0 et donc
B
(k)
= B
(k1)
+
(y
(k)
B
(k1)
(k)
)
(k)

(k)
(
(k)
)
t
= B
(k1)
,
(k)
.
Lalgorithme de Broyden scrit donc :
_
_
Initialisation : x
(0)
, x
(1)
IR
n
B
0
M
n
(IR)
A x
(k)
, x
(k1)
et B
(k1)
connus, on pose
(k)
= x
(k)
x
(k1)
et y
(k)
= g(x
(k)
) g(x
(k1)
);
Calcul de B
(k)
= B
(k1)
+
y
(k)
B
(k1)
(k)
(k)
(k)
(
(k)
)
t
,
Itration n : rsolution de : B
(k)
(x
(k+1)
x
(k)
) = g(x
(k)
).
Une fois de plus, lavantage de cette mthode est de ne pas ncessiter le calcul de Dg(x), mais linconvnient est
la perte du caractre quadratique de la convergence .
2.2.3 Exercices
Enoncs des exercices
Exercice 65 (Newton et logarithme). Suggestions en page 141
Soit f la fonction de IR
+
dans IR dnie par f(x) = ln(x). Montrer que la mthode de Newton pour la recherche
de x tel que f(x) = 0 converge si et seulement si le choix initial x
(0)
est tel que x
(0)
]0, e[.
5. C. G. Broyden, A Class of Methods for Solving Nonlinear Simultaneous Equations." Math. Comput. 19, 577-593, 1965
N
Exercice 66 (Newton pour un systme linaire). Soit f lapplication dnie sur IR
n
par f(x) = Ax b o A
est une matrice inversible et b IR
n
. Ecrire lalgorithme de Newton pour la rsolution de lquation f(x) = 0 et
montrer quil converge pour toute condition initiale x
0
IR
n
.
Exercice 67 (Mthode de Newton pour un systme 2 2). Corrig en page 142
1. Ecrire la mthode de Newton pour la rsolution du systme suivant :
5x + 2 sin x + 2 cos y = 0, (2.27)
2 cos x + 2 sin y 5y = 0. (2.28)
et montrer que la suite dnie par cet algorithme est toujours bien dnie.
2. Soit (x, y) une solution du problme (2.27)-(2.28). Montrer quil existe > 0 tel que si (x
0
, y
0
) est dans la
boule B
de centre (x, y) et de rayon , alors la suite (x

n
, y
n
)
nIN
construite par la mthode de Newton converge
vers (x, y) lorsque n tends vers +.
3. Montrer quil existe au moins une solution (x, y) au problme (2.27)-(2.28).
Exercice 68 (Mthode de Newton pour un autre systme 2 2).
1. Ecrire la mthode de Newton pour la rsolution du systme suivant :
x
2
+ 2xy = 0, (2.29)
xy + 1 = 0. (2.30)
2. Calculer les solutions de ce systme.
3. Soit (x, y) une solution du problme (2.29)-(2.30). Montrer quil existe > 0 tel que si (x
0
, y
0
) est dans la
boule B
de centre (x, y) et de rayon , alors la suite (x

n
, y
n
)
nIN
construite par la mthode de Newton converge
vers (x, y) lorsque n tends vers +.
Exercice 69 (Newton et les chelles. . . ). Corrig en page 2.2.3 page 143
Soient deux chelles de longueurs respec-
tives 3 et 4 m, poses contre deux murs ver-
ticaux selon la gure ci-contre. On sait que
les chelles se croisent 1m du sol, et on
cherche connatre la distance d entre les
deux murs.
4m
1m
3m
d
A M B
1. Montrer que le problme revient dterminer x et y tels que

16x
2
= (x
2
+ 1)(x +y)
2
(2.31)
9y
2
= (y
2
+ 1)(x +y)
2
. (2.32)
2. Ecrire lalgorithme de Newton pour la rsolution du systme (2.31)-(2.32).
3. Calculer les premiers itrs x
(1)
et y
(1)
construits par la mthode de Newton en partant de x
(0)
= 1 et y
(0)
= 1.
N
Exercice 70 (Nombre ditrations ni pour Newton). Corrig dtaill en page 144
1. Soit f la fonction de IR dans IR dnie par : f(x) = e
x
1. Pour x
(0)
IR, on note (x
(k)
)
nIN
la suite des
itrs construits par la mthode de Newton pour la recherche dun point o f sannule.
1.1 Montrer que pour tout x
(0)
IR, la suite (x
(k)
)
nIN
est bien dnie.
1.2 Montrer que si x
(0)
= 0, alors x
(k+1)
= x
(k)
pour tout n IN. En dduire que la mthode de Newton converge
en un nombre ni doprations si et seulement si f(x
(0)
) = 0.
1.3 Montrer que :
1.3 (a) si x
(0)
< 0 alors x
(1)
> 0.
1.3 (b) si x
(0)
> 0 alors 0 < x
(1)
< x
(0)
.
1.4 Montrer que la suite (x
(k)
)
nIN
converge lorsque n tend vers linni et donner sa limite.
2. Soit F : IR
n
IR une fonction continment diffrentiable et strictement convexe (n 1) et dont la diffren-
tielle ne sannule pas. Soit x
(0)
IR
n
le choix initial (ou itr 0) dans la mthode de Newton.
Montrer que la mthode de Newton converge en un nombre ni doprations si et seulement si F(x
(0)
) = 0.
Exercice 71 (Mthode de Newton pour un systme 2 2). Corrig en page 144
1. On considre lapplication f : IR IR dnie par f(x) = x
2
. Ecrire la mthode de Newton pour calculer
la solution de f(x) = 0 et montrer quelle converge quel que soit le choix initial x
0
IR.
2. On considre maintenant lapplication F : IR
2
IR
2
dnie par
F(x, y) =
_
x
2
y
y
2
_
(a) Dterminer lensemble des solutions de F(x, y) = (0, 0).
(b) Ecrire lalgorithme de Newton pour la rsolution, et montrer que lalgorithme est bien dni pour tous
les couples (x
0
, y
0
) tels que x
0
= 0 et y
0
> 0.
(c) Soit (x
0
, y
0
) = (1, 1). On note (x
k
, y
k
), k IN les itrs de Newton.
i. Expliciter y
k
et en dduire que la suite (y
k
)
kIN
converge.
ii. Montrer que x
k
2
k
2
pour tout k IN et en dduire que x
k+1
x
k
pour tout k IN.
iii. En dduire que la mthode de Newton converge vers une solution de F(x, y) = (0, 0).
Exercice 72 (Mthode de Newton pour le calcul de linverse). Corrig en page 145
1. Soit a > 0. On cherche calculer
1
a
par lalgorithme de Newton.
(a) Montrer que lalgorithme de Newton appliqu une fonction g (dont
1
a
est un zro) bien choisie scrit :
_
x
(0)
donn,
x
(k+1)
= x
(k)
(2 ax
(k)
).
(2.33)
(b) Montrer que la suite (x
(k)
)
nIN
dnie par (2.33) vrie
lim
n+
x
(k)
=
_
_
1
a
si x
(0)
]0,
2
a
[,
si x
(0)
] , 0[]
2
a
, +[
2. On cherche maintenant calculer linverse dune matrice par la mthode de Newton. Soit donc Aune matrice
carre dordre n inversible, dont on cherche calculer linverse.
(a) Montrer que lensemble GL
n
(IR) des matrices carres inversibles dordre n (o n 1) est un ouvert
de lensemble M
n
(IR) des matrices carres dordre n.
N
(b) Soit T lapplication dnie de GL
n
(IR) dans GL
n
(IR) par T(B) = B
1
. Montrer que T est drivable,
et que DT(B)H = B
1
HB
1
.
(c) Ecrire la mthode de Newton pour calculer A
1
en cherchant le zro de la fonction g de M
n
(IR) dans
M
n
(IR) dnie parg(B) = B
1
A. Soit B
(k)
la suite ainsi dnie.
(d) Montrer que la suite B
(k)
dnie dans la question prcdente vrie :
Id AB
(k+1)
= (Id AB
(k)
)
2
.
En dduire que la suite (B
(k)
)
nIN
converge vers A
1
si et seulement si (Id AB
(0)
) < 1.
Exercice 73 (Mthode de Newton pour le calcul de la racine).
1. Soit IR
+
et f
la fonction de IR dans IR dnie par f
(x) = x
2
.
1.1 Soit x
(0)
IR x. Donner lalgorithme de Newton pour la rsolution de lquation f
(x) = 0.
1.2 On suppose x
(0)
> 0.
(i) Montrer que la suite (x
(k)
)
k1
est minore par
.
(ii) Montrer que la suite (x
(k)
)
k0
converge et donner sa limite.
Soit n IN
et soit A M
n
(IR) une matrice diagonalisable dans IR ; on note
i
, i = 1, . . . , n les valeurs propres
de A. On suppose que
i
> 0 pour tout i = 1, . . . , n.
2. Montrer quil existe au moins une matrice B M
n
(IR) telle que B
2
= A. Calculer une telle matrice B
dans le cas o n = 2 et A =
_
1 1
0 2
_
.
3. On suppose de plus que A est symtrique dnie positive. Montrer quil existe une unique matrice sym-
trique dnie positive B telle que B
2
= A. Montrer par un contre exemple que lunicit nest pas vrie si
on ne demande pas que B soit symtrique dnie positive.
Soit F lapplication de M
n
(IR) dans M
n
(IR) dnie par F(X) = X
2
A.
4. Montrer que F est diffrentiable en tout X M
n
(IR), et dterminer DF(X)H pour tout H M
n
(IR).
Dans la suite de lexercice, on considre la mthode de Newton pour dterminer B.
5. On suppose maintenant n 1. On note (X
(k)
)
kIN
la suite (si elle existe) donne par lalgorithme de
Newton partir dun choix initial X
(0)
= I, o I est la matrice identit de M
n
(IR).
5.1 Donner le procd de construction de X
(k+1)
en fonction de X
(k)
, pour k 0.
5.2 On note
1

n
les valeurs propres de A (dont certaines peuvent tre gales) et P la matrice
orthogonale telle que A = P
1
diag(
1
, ,
n
)P.
(i) Montrer que pour tout k IN, X
(k)
est bien dnie et est donn par X
(k)
= P
1
diag(
(k)
1
, ,
(k)
n
)P
o
(k)
i
est le k
i` eme
terme de la suite de Newton pour la rsolution de f
i
(x) = (x
i
)
2
= 0
avec comme choix initial
(0)
i
= 1.
(ii) En dduire que la suite X
(k)
converge vers B quand k +.
Exercice 74 (Valeurs propres et mthode de Newton).
Suggestions en page 141, corrig dtaill en page 147
Soit A M
n
(IR) une matrice symtrique. Soient une valeur propre simple de A et x IR
n
un vecteur propre
associ t.q. x x = 1. Pour calculer (, x) on applique la mthode de Newton au systme non linaire (de IR
n+1
dans IR
n+1
) suivant :
Ax x = 0,
x x = 1.
(2.34)
Montrer que la mthode est localement convergente.
N
Exercice 75 (Modication de la mthode de Newton). Suggestions en page 141.
Soient f C
1
(IR
n
, IR
n
) et x IR
n
t.q. f(x) = 0. On considre, pour > 0 donn, la mthode itrative suivante :
Initialisation : x
(0)
IR
n
.
Iterations : pour n 0,
x
(k+1)
= x
(k)
[Df(x
(k)
)
t
Df(x
(k)
) +Id]
1
Df(x
(k)
)
t
f(x
(k)
).
[Noter que, pour = 0, on retrouve la mthode de Newton.]
1. Montrer que la suite (x
(k)
)
nIN
est bien dnie.
2. On suppose, dans cette question, que n = 1 et que f
(x) = 0. Montrer que la mthode est localement

convergente en x.
3. On suppose que le rang de Df(x) est gal n. Montrer que la mthode est localement convergente en x.
[Noter que cette question redonne la question prcdente si n = 1.]
Exercice 76 (Convergence de la mthode de Newton si f
(x) = 0).
Soient f C
2
(IR, IR) et x IR t.q. f(x) = 0.
1. Rappel du cours. Si f
(x) = 0, la mthode de Newton est localement convergente en x et la convergence est

au moins dordre 2.
2. On suppose maintenant que f
(x) = 0 et f
(x) = 0. Montrer que la mthode de Newton est localement

convergente (en excluant le cas x
0
= x. . . ) et que la convergence est dordre 1. Si on suppose f de classe
C
3
, donner une modication de la mthode de Newton donnant une convergence au moins dordre 2.
Exercice 77 (Point xe et Newton).
Soit g C
3
(IR, IR) et x IR tels que g(x) = 0 et g
(x) = 0 et soit f C
1
(IR, IR) telle que f(x) = x.
On considre lalgorithme suivant :
_
_
_
x
0
IR,
x
n+1
= h(x
n
), n 0.
(2.35)
avec h(x) = x
g(x)
g
f(x))
.
1. Montrer quil existe > 0 tel que si x
0
[x , x +] = I
, alors la suite donne par lalgorithme (2.35)

est bien dnie ; montrer que x
n
x lorsque n +(on pourra montrer quon peut choisir de manire
ce que |h
(x)| < 1 si x I
).
On prend maintenant x
0
I
o est donn par la question 1.

2. Montrer que la convergence de la suite (x
n
)
nIN
3. On suppose de plus que f est deux fois drivable et que f
(x) =
1
2
. Montrer que la convergence de la suite
(x
n
)
nIN
dnie par (1) est au moins cubique, cest--dire quil existe c IR
+
tel que
|x
n+1
x| c|x
n
x|
3
, n 1.
4. Soit IR
+
tel que g
(x) = 0 x I
=]x , x + [ ; montrer que si on prend f C

1
(IR, IR) telle
que :
f(x) = x
g(x)
2g
(x)
si x I
,
alors la suite dnie par lalgorithme (1) converge de manire cubique.
N
Exercice 78 (Variante de la mthode de Newton).
Corrig dtaill en page 148
Soit f C
1
(IR, IR) et x IR tel que f( x) = 0. Soient x
0
IR, c IR
+
, IR
+
. On suppose que les
hypothses suivantes sont vries :
(i) x I = [x
0
c, x
0
+c],
(ii) |f(x
0
)|
c
2
,
(iii) |f
(x) f
(y)|
1
2
, (x, y) I
2
(iv) |f
(x)|
1
x I.
On dnit la suite (x
(k)
)
nIN
par :
x
(0)
= x
0
,
x
(k+1)
= x
(k)
f(x
(k)
)
f
(y)
,
(2.36)
o y I est choisi arbitrairement.
1. Montrer par rcurrence que la suite dnie par (2.36) satisfait x
(k)
I pour tout n IN.
(On pourra remarquer que si x
(k+1)
est donn par (2.36) alors x
(k+1)
x
0
= x
(k)
x
0
f(x
(k)
)f(x0)
f
(y)

f(x0)
f
(y)
.)
2. Montrer que la suite (x
(k)
)
nIN
dnie par (2.36) vrie |x
(k)
x|
c
2
n
et quelle converge vers x de
manire au moins linaire.
3. On remplace lalgorithme (2.36) par
x
(0)
= x
0
,
x
(k+1)
= x
(k)
f(x
(k)
)
f
(y
(k)
)
,
(2.37)
o la suite (y
(k)
)
nIN
est une suite donne dlments de I. Montrer que la suite (x
(k)
)
nIN
converge vers
x de manire au moins linaire, et que cette convergence devient super-linaire si f
(y
n
) f
( x) lorsque
n +.
4. On suppose maintenant que n 1 et que f C
1
(IR
n
, IR
n
). La mthode dnie par (2.36) ou (2.37)
peut-elle se gnraliser, avec dventuelles modications des hypothses, la dimension n?
Exercice 79 (Mthode de Newton pour un systme semi-linaire). Suggestions en page 142.
On suppose que f C
2
(IR, IR) et que f est croissante. On sintresse au systme non linaire suivant de n
quations n inconnues (notes u
1
, . . . , u
n
) :
(Au)
i
+
i
f(u
i
) = b
i
i {1, . . . , n},
u = (u
1
, . . . , u
n
)
t
IR
n
,
(2.38)
o A M
n
(IR) est une matrice symtrique dnie positive,
i
> 0 pour tout i {1, . . . , n} et b
i
IR pour tout
i {1, . . . , n}.
On admet que (2.38) admet au moins une solution (ceci peut tre dmontr mais est difcile).
1. Montrer que (2.38) admet une unique solution.
2. Soit u la solution de (2.38). Montrer quil existe a > 0 t.q. la mthode de Newton pour approcher la solution
de (2.38) converge lorsque le point de dpart de la mthode, not u
(0)
, vrie |u u
(0)
| < a.
Exercice 80 (Mthode de Steffensen).
N
Soient f C
2
(IR, IR) et x IR t.q. f(x) = 0 et f
(x) = 0. On considre la mthode itrative suivante :

Initialisation : x
(0)
IR
n
.
Itrations : pour n 0, si f(x
(k)
+f(x
(k)
)) = f(x
(k)
),
x
(k+1)
= x
(k)
(f(x
(k)
))
2
f(x
(k)
+f(x
(k)
)) f(x
(k)
)
, (2.39)
et si f(x
(k)
+f(x
(k)
)) = f(x
(k)
), x
(k+1)
= x
(k)
.
1. Montrer quil existe > 0 tel que si x
(k)
B(x, ), alors f(x
(k)
+ f(x
(k)
)) = f(x
(k)
) si x
(k)
= x. En
dduire que si x
0
B(x, ), alors toute la suite (x
(k)
)
nIN
vrie (2.39) pourvu que x
(k)
= x pour tout
n IN.
2. Montrer par des dveloppements de Taylor avec reste intgral qu il existe une fonction a continue sur un
voisinage de x telle que si x
0
B(x, ), alors
x
(k+1)
x = a(x
(k)
)(x
(k)
x), pour tout n IN tel que x
(k)
= x. (2.40)
3. Montrer que la mthode est localement convergente en x et la convergence est au moins dordre 2.
Exercice 81 (Mthode de Newton-Tchebycheff).
1. Soit f C
3
(IR, IR) et soit x IR tel que x = f( x) et f
( x) = f
( x) = 0. Soit (x
n
)
nIN
la suite dnie par :
_
x
0
IR,
x
n+1
= f(x
n
).
(PF)
(a) Justier lappellation (PF) de lalgorithme.
(b) Montrer quil existe a > 0 tel que si |y x| a alors |f
(y)|
1
2
.
(c) Montrer par rcurrence sur n que si x
0
B( x, a) alors x
n
B( x,
a
2
n
).
(d) En dduire que la suite construite par (PF) converge localement, cestdire quil existe un voisinage V
de x tel que si x
0
V alors x
n
x lorsque n +. .
(e) Montrer que la vitesse de convergence de la suite construite par (PF) est au moins cubique (cest--dire
qu il existe IR
+
tel que |x
n+1
x| |x
n
x|
3
si la donne initiale x
0
est choisie dans un certain
voisinage de x. On pourra utiliser un dveloppement de Taylor-Lagrange).
2. Soit g C
3
(IR, IR), et soit x IR tel que g( x) = 0 et g
( x) = 0. Pour une fonction h C

3
(IR, IR)
dterminer, on dnit f C
3
(IR, IR) par f(x) = x + h(x)g(x). Donner une expression de h( x) et h
( x) en
fonction de g
( x) et de g
( x) telle que la mthode (PF) applique la recherche dun point xe de f converge

localement vers x avec une vitesse de convergence au moins cubique.
3. Soit g C
5
(IR, IR), et soit x IR tel que g( x) = 0 et g
( x) = 0. On considre la modication suivante (de

Tchebychev) de la mthode de Newton :
x
n+1
= x
n
g(x
n
)
g
(x
n
)

g
(x
n
)[g(x
n
)]
2
2[g
(x
n
)]
3
. (2.41)
Montrer que la mthode (2.41) converge localement et que la vitesse de convergence est au moins cubique. [On
pourra commencer par le cas o g
ne sannule pas].
Exercice 82 (Mthode de la scante). Corrig en page 2.2.3 page 152
Soient f C
2
(IR, IR) et x IR t.q. f(x) = 0 et f
(x) = 0. Pour calculer x, on considre la mthode itrative

suivante (appele mthode de la scante") :
Initialisation : x
0
, x
1
IR.
N
Itrations : pour n 1, x
n+1
= x
n
f(x
n
)(x
n
x
n1
)
f(x
n
) f(x
n1
)
si f(x
n
) = 0 et x
n+1
= x
n
si f(x
n
) = 0.
Si la suite (x
n
)
nIN
est bien dnie par cette mthode, on pose e
n
= |x
n
x| pour tout n IN.
1. Montrer quil existe > 0 t.q. pour x
0
, x
1
]x , x + [, x
0
= x
1
, la mthode de la scante dnit bien
une suite (x
n
)
nIN
et lon a e
n+1
(1/2)e
n
pour tout n 1. [Raisonner par rcurrence : on suppose
x
n
, x
n1
]x , x + [, x
n
= x
n1
et x
n
= x. Montrer, grce un choix convenable de , que f(x
n
) =
f(x
n1
) et que f(x
n
) = 0. En dduire que x
n+1
est bien dni et x
n
= x
n+1
. Puis, toujours grce un
choix convenable de , que e
n+1
(1/2)e
n
. Conclure.]
Dans les questions suivantes, on suppose que x
0
, x
1
]x , x + [, x
0
= x
1
( trouv la premire
question) et que la suite (x
n
)
nIN
donne par la mthode de la scante vrie x
n
= x pour tout n IN. On
pose d = (1 +
5)/2 et on dmontre que la convergence est en gnral dordre d.

2. Pour x = x, on dnit (x) comme la moyenne de f
sur lintervalle dont les extrmits sont x et x.

(a) Montrer que e
n+1
= e
n
e
n1
M
n
, pour tout n 1, avec M
n
= |
(xn)(xn1)
f(xn)f(xn1)
|.
(b) Montrer que la fonction est drivable sur IR \ {x}. Calculer lim
xx
(x).
(c) Calculer la limite de la suite (M
n
)
n1
lorsque n . En dduire que la suite (M
n
)
n1
est borne.
3. Soit M > 0, M M
n
pour tout n 1 (M
n
donn la question prcdente). On pose a
0
= Me
0
,
a
1
= Me
1
et a
n+1
= a
n
a
n1
pour n 1.
(a) Montrer que Me
n
a
n
pour tout n IN.
(b) Montrer quil existe
1
]0, ] t.q. la suite (a
n
)
n1
tend en dcroissant vers 0 lorsque n +, si
x
0
, x
1
]x
1
, x +
1
[.
(c) Dans cette question, on prend x
0
, x
1
]x
1
, x +
1
[. Montrer quil existe > 0 et ]0, 1[ t.q
Me
n
a
n
()
d
n
pour tout n IN (ceci correspond une convergence dordre au moins d). [On
pourra utiliser la relation de rcurrence ln a
n+1
= ln a
n
+ ln a
n1
pour n 1].
(d) (Question plus difcile) Si f(x) = 0, e
n+1
= e
n
e
n1
M
n
, montrer que M
n
M, quand n ,
avec M > 0. En dduire quil existe > 0 t.q.
en+1
(en)
d
quand n (ceci signie que la
convergence est exactement dordre d). [Considrer, par exemple,
n
= ln e
n+1
d ln e
n
et montrer
que
n
converge dans IR quand n .]
(e) Comparer lordre de convergence de la mthode de la scante celui de la mthode de Newton.
Suggestions
Exercice 65 page 134 (Newton et logarithme) Etudier les variations de la fonction dnie par : (x) =
x xln x.
Exercice 73 page 137 (Mthode de Newton pour le calcul de la racine) 4. Ecrire la dnition de la diffrentiel
en faisant attention que le produit matriciel nest pas commutatif.
5. Ecrire lalgorithme de Newton dans la base des vecteurs propres associs aux valeurs propres de A.
Exercice 74 page 137 (Valeurs propres et mthode de Newton) Ecrire le systme sous la forme F(x, ) = 0
o F est une fonction de IR
n+1
dans IR
n+1
et montrer que DF(, x) est inversible.
Exercice 75 page 138 (Modication de la mthode de Newton) 1. Remarquer que si A M
n
(IR) et > 0,
alors A
t
A+Id est symtrique dnie positive.
2. En introduisant la fonction dnie par (t) = f(tx
n
+ (1 t)x), montrer que f(x
n
) = (x
n
x)g(x
n
), o
g(x) =
1
0
f
(tx + (1 t)x)dt. Montrer que g est continue.

N
Montrer que la suite (x
n
)
nIN
vrie x
n+1
x = a
n
(x
n
x), o
a
n
= 1
f
(x
n
)g(x
n
)
f
(x
n
)
2
+
,
et quil existe tel que si x
n
B(x, ), alors a
n
]0, 1[. Conclure.
3. Reprendre la mme mthode que dans le cas n = 1 pour montrer que la suite (x
n
)
nIN
vrie x
n+1
x =
D(x
n
)(x
n
x), o D C(IR
n
, M
n
(IR)). Montrer que D(x) est symtrique et montrer alors que D(x)
2
< 1
en calculant son rayon spectral. Conclure par continuit comme dans le cas prcdent.
Exercice 76 page 138 (Convergence de la mthode de Newton si f
(x) = 0) Supposer par exemple que

f
(x) > 0 et montrer que si x

0
est assez proche" de x la suite (x
n
)
nIN
est croissante majore ou dcroissante
minore et donc convergente. Pour montrer que lordre de la mthode est 1, montrer que
x
n+1
x
x
n
x

1
2
lorsque n +.
Exercice 79 page 139 (Mthode de Newton) 1. Pour montrer lunicit, utiliser la croissance de f et le caractre
s.d.p. de A.
2. Utiliser le thorme de convergence du cours.
Exercice 80 page 139 (Mthode de Steffensen)) 1. Utiliser la monotonie de f dans un voisinage de x.
2. Dvelopper le dnominateur dans lexpression de la suite en utilisant le fait que f(x
n
+ f(x
n
)) f(x
n
) =
1
0

(t)dt o (t) = f(x

n
+ tf(x
n
)), puis que f
(x
n
+ tf(x
n
)) =
t
0

(s)ds o (t) = f
(x
n
+ tf(x
n
)).
Dvelopper ensuite le numrateur en utilisant le fait que f(x
n
) =
1
0

(t)dt o (t) = f(tx + (1 t)x

n
), et
que f
(tx + (1 t)x
n
) =
1
0
(s)ds +(0), o (t) = f(x + (1 t)
n
).
3. La convergence locale et lordre 2 se dduisent des rsultats de la question 2.
Corrigs des exercices
Corrig de lexercice 68 page 135 (Mthode de Newton pour un systme 2 2) En cours de rdaction
Corrig de lexercice 66 page 135 (Mthode de Newton pour un systme linaire) On a pour tout x IR
n
,
Df(x) = A inversible donc lalgorithme de Newton est bien dni et scrit Ax
(1)
= .b. Il converge donc en une
itration, qui demande la rsolution du sysme linaire Ax = b. . .
Corrig de lexercice 67 page 135 (Mthode de Newton pour un systme 2 2) 1. Soit F lapplication de IR
2
dans IR
2
dnie par F(x, y) = (5x + 2 sin x + 2 cos y, 2 cos x + 2 sin y 5y). Calculons la matrice jacobienne
de F au point (x, y) :
DF(x, y) =
_
5 + 2 cos x 2 sin y
2 sin x 2 cos y 5
_
Det(DF)(x, y) = (5 + 2 cos x)(5 + 2 cos y) 4 sin xsin y = 25 + 4 cos xcos y 10 cos x 10 cos y
4 sin xsin y.
Si cos xcos y 0, alors Det(DF)(x, y) 1 > 0,
Sinon, alors cos x > 0 et cos y < 0 (ou cos y > 0 et cos x < 0), et Det(DF)(x, y) 25 4 10 cos x
4 sin xsin y > 0.
On a donc Det(DF)(x, y) > 0 pour tout (x, y) IR
2
, ce qui prouve que la Jacobienne DF(x, y) est toujours
inversible. On peut donc toujours crire lalorithme de Newton :
DF(x
(k)
, y
(k)
)
_
x
(k+1)
x
(k)
y
(k+1)
y
(k)
_
= F(x
(k)
, y
(k)
)
N
2. Il est facile de voir que la fonction F est deux fois continment diffrentiable. Il suft alors dappliquer le
thorme de convergence du cours.
3. Soit f la fonction dnie par f(x) = 5x+2 sin x. Elle est strictement dcroissante, et cest donc une bijection
de IR dans IR. On note g sa rciproque. La fonction g est donc continue. Lquation (2.27) donne x = g(2 cos y).
On cherche donc y t.q. h(y) = 5y + 2 sin y + 2 cos(g(2 cos y)) = 0. La fonction h est continue et lim
=
. Donc par le thorme des valeurs intrmdiaires, h sannule.
Corrig de lexercice 69 page 135 (Newton et les chelles. . . ) 1. Notons A et B les deux pieds des murs, P
le point de croisement des chelles et M sa projection sur le plan horiszontal, comme indiqu sur la gure. Soient
x = d(A, M) la distance de A M, y = d(B, M), = d(A, P) et = d(B, P).
Par le thorme de Pythagore, x
2
+ 1 =
2
et y
2
+ 1 =
2
. Par le thorme de Thals,
x
d
=

4
et
y
d
=

3
. En
liminant et , on en dduit que x et y sont solutions du systme non linaire :
16x
2
= (x
2
+ 1)(x +y)
2
9y
2
= (y
2
+ 1)(x +y)
2
,
qui est bien le systme (2.31)-(2.32).
2. Le systme prcdent scrit sous la forme F(X) = 0, o F est la fonction de IR
2
dans IR
2
dnie par
F(X) = F
__
x
y
__
=
_
(x
2
+ 1)(x +y)
2
16x
2
(y
2
+ 1)(x +y)
2
9y
2
_
.
On a donc
DF(X) =
_
4x
3
+ 2xy
2
+ 6x
2
y + 2x + 2y 32x 2x
2
y + 2x
3
+ 2y + 2x
2xy
2
+ 2y
3
+ 2x + 2y 4y
3
+ 2yx
2
+ 6y
2
x + 2y + 2x 18y
_
Lalgorithme de Newton pour la rsolution du systme (2.31)-(2.32) scrit donc, pour X
k
=
_
x
k
y
k
_
connu,
DF(X
k
)(X
k+1
X
k
) = F(X
k
).
A ltape k, on doit donc rsoudre le systme linaire
[DF(X
k
)
_
s
t
_
=
_
(x
2
k
+ 1)(x
k
+y
k
)
2
16x
2
k
(y
2
k
+ 1)(x
k
+y
k
)
2
9y
2
k
_
(2.42)
avec
DF(X
k
) =
_
_
4x
3
k
+ 2x
k
y
2
k
+ 6x
2
k
y
k
+ 2x
k
+ 2y
k
32x
k
2x
2
y
k
+ 2x
3
k
+ 2y
k
+ 2x
k
2x
k
y
2
k
+ 2y
3
k
+ 2x
k
+ 2y
k
4y
3
k
+ 2y
k
x
2
k
+ 6y
2
k
x + 2y
k
+ 2x
k
18y
k
_
_
et on obtient le nouvel itr X
k+1
=
_
x
k+1
y
k+1
_
=
_
x
k
+s
y
k
+t
_
.
3. La premire itration ncessite donc la rsolution du systme linaire (2.42) pour k = 0, soit, pour x
0
= 1 et
y
0
= 1,
_
16 8
8 2
_ _
s
t
_
=
_
8
1
_
dont la solution est s =
3
4
et t =
5
2
. On en dduit que x
1
= 1.75 et y
1
= 3.5 construits par la mthode de Newton
en partant de x
(0)
= 1 et y
(0)
= 1. La distance d la premire itration est donc d = 5.25.
N
Corrig de lexercice 70 page 136 (Nombre ditrations ni pour Newton) 1.1 Comme f
est dnie sur tout

IR par f
(x) = e
x
et ne sannule pas, on en dduit que la suite construite par la mthode de Newton, qui scrit :
x
(k+1)
= x
(k)
f(x
(k)
)
f
(x
(k)
)
= x
(k)
e
x
(k)
1
e
x
(k)
est bien dnie.
1.2 Par dnition de la suite, on a x
(k+1)
x
(k)
=
e
x
(k)
1
e
x
(k)
= 0 ssi x
(k)
= 0. Donc par rcurrence sur n, si
x
(0)
= 0, on a x
(k+1)
= x
(k)
pour tout n IN. De plus, si f(x
(0)
) = 0 (c..d. si x
(0)
= 0), la suite est stationnaire.
On en dduit que la mthode de Newton converge en un nombre ni doprations si et seulement si f(x
(0)
) = 0.
1.3 Par dnition, on a : x
(1)
= x
(0)
e
x
(0)
1
e
x
(0)
. Par le thorme de accroissements nis, on a donc : x
(1)
=
x
(0)
(1 e
x
(0)
), avec ]x
(0)
, 0[ si x
(0)
< 0 et ]0, x
(0)
[ si x
(0)
> 0. Si x
(0)
< 0, on a e
x
(0)
> 1 et donc
x
(1)
> 0. En revanche, si x
(0)
> 0, on a e
x
(0)
< e
x
(0)
< 1 et donc 0 < x
(1)
< x
(0)
.
1.4 On a vu la question 1.2 que si x
(0)
= 0 la suite est stationnaire et gale 0. On a vu la question 1.3 que
si x
(0)
< 0 alors x
(1)
> 0. Il suft donc dtudier le cas x
(0)
> 0. Or si x
(0)
> 0, on a 0 < x
(1)
< x
(0)
. Par
rcurrence sur n, on en dduit que si x
(0)
> 0, la suite (x
(k)
)
nIN
est dcroissante et minore par 0, donc elle
converge. La limite de la suite vrie : =
e
1
e
, soit encore = 0 (unique solution de lquation f(x) = 0).

2. Soient x
(k)
et x
(k+1)
deux itrs successifs donns par la mthode de Newton, tels que F(x
(k)
) = 0. On a donc :
DF(x
(k)
)(x
(k+1)
x
(k)
) = F(x
(k)
), (2.43)
et en particulier, x
(k+1)
= x
(k)
. Or, la condition de stricte convexit pour une fonction continment diffrentiable
entra
1
2
ne que :
DF(x
(k)
)(x
(k+1)
x
(k)
) < F(x
(k+1)
) F(x
(k)
),
et donc, avec (2.43), F(x
(k+1)
) > 0. On montre ainsi, par rcurrence sur n, que si F(x
(0)
) = 0, alors F(x
(k)
) > 0
pour tout n > 0, ce qui montre que la mthode de Newton converge en un nombre ni doprations si et seulement
si F(x
(0)
) = 0.
Corrig de lexercice 71 page 136 ([Mthode de Newton pour un systme 2 2)
1. Lla mthode de Newton pour calculer la solution de f(x) = 0 scrit : x
k+1
=
1
2
x
k
, et donc x
k
converge
vers 0 pour tout x
0
.
2. (a) Lensemble des solutions de F(x, y) = (0, 0).est {(0, 0)}.
(b) La matrice jacobienne scrit : DF(x, y) =
_
2x 1
0 2y
_
, et donc lalgorithme de Newton scrit :
_
x
k+1
y
k+1
_
=
_
x
k
y
k
_
+
_
x
y
_
avec
_
2x
k
1
0 2y
k
_ _
x
y
_
=
_
x
2
k
y
k
y
2
k
_
Cet algorithme est bien dni ds que la matrice jacobienne est inversible, c..d ds que x
k
y
k
= 0.
Cest vrai pour k = 0 par hypothse. Montrons que cest vrai pour tout k IN par rcurrence sur
k. Supposons quon a x
p
= 0 et y
p
> 0 pour tout p k, et montrons que dans ce cas on a encore
x
k+1
= 0 et y
k+1
> 0. Par dnition de lalgorithme de Newton, on a y
k+1
=
y
k
2
> 0 et x
k+1
=
x
k
2
+
y
k
4x
k
=
1
2x
k
(x
2
k
+
y
k
2
) = 0, car x
2
k
+
y
k
2
> 0.
(c) i. Comme y
0
= 1 et que y
k+1
=
y
k
2
, on a y
k
= 2
k
ii. On crit que x
k+1
= g
k
(x
k
) avec g
k
(x) =
x
2
+ 2
k2 1
x
. Ltude de la fonction g
k
montre que
min g
k
= 2
k+1
2
.
Comme x
k
2
k
2
> 0 et que y
k
= 2
k
, on en dduit que x
k+1
x
k
=
1
2x
k
(x
2
k
+
y
k
2
0.
N
iii. La suite (x
k
)
kIN
est dcroissante minore par 0, et donc elle converge. En passant la limite sur
lexpression de x
k+1
, on en dduit que la suite x
k
converge vers 0. Par lexpression de y
k
, on sait
quelle converge galement vers 0. Do la conclusion. .
suite dcroissante minore, on passe la limite dans lexpression de x
k+1
et on trouve que la
limite est nulle.
Corrig de lexercice 72 page 136 (Mthode de Newton pour le calcul de linverse)
1. (a) Soit g la fonction dnie de IR
dans IR par g(x) =

1
x
a. Cette fonction est continue et drivable
pour tout x = 0, et on a : g
(x) =
1
x
2
. Lalgorithme de Newton pour la recherche dun zro de cette
fonction scrit donc bien :
_
x
(0)
donn,
x
(k+1)
= x
(k)
(2 ax
(k)
).
(2.44)
(b) Soit (x
(k)
)
nIN
dnie par (2.33). Daprs le thorme du cours, on sait que la suite (x
(k)
)
nIN
converge de localement (de manire quadratique) dans un voisinage de
1
a
. On veut dterminer ici
lintervalle de convergence prcisment. On a x
(k+1)
= (x
(k)
) o est la fonction dnie par de IR
dans IR par (x) = x(2 ax). Le tableau de variation de la fonction est le suivant :
x | 0
1
a
2
a
(x) | + 0
(x) |
1
a

(2.45)
Il est facile de remarquer que lintervalle ]0,
1
a
[ est stable par et que (]
1
a
,
2
a
[) =]0,
1
a
[ Donc si
x
(0)
]
1
a
,
2
a
[ alors x
(1)
]0,
1
a
[, et on se ramne au cas x
(0)
]0,
1
a
[.
On montre alors facilement que si x
(0)
]0,
1
a
[, alors x
(k+1)
x
(k)
pour tout n, et donc la suite
(x
(k)
)
nIN
est croissante. Comme elle est majore (par
1
a
), elle est donc convergente. Soit sa limite,
on a = (2 a), et comme x
(0)
> 0, on a =
1
a
.
Il reste maintenant montrer que si x
(0)
] , 0[]
2
a
, +[ alors lim
n+
x
(k)
= . On montre
dabord facilement que si x
(0)
] , 0[, la suite (x
n
)
nIN
est dcroissante. Elle admet donc une
limite nie ou innie. Appelons cette limite. Celle-ci vrie : = (2a). Si est nie, alors = 0
ou =
1
a
ce qui est impossible car x
(0)
< 0. On en dduit que = .
Enn, ltude des variations de la fonction montre que si x
(0)
]
2
a
, +[, alors x
(1)
] , 0[, et on
est donc ramen au cas pcdent.
2. (a) Lensemble GL
n
(IR) est ouvert car image rciproque de louvert IR
par lapplication continue qui a

une matrice associe son dterminant.
(b) Lapplication T est clairement dnie de GL
n
(IR) dans GL
n
(IR). Montrons quelle est drivable. Soit
H GL
n
(IR) telle que B +H soit inversible. Ceci est vrai si HB
1
< 1, et on a alors, daprs
le cours :
(B +H)
1
=
_
B(Id +B
1
H)
_
1
=
+
k=0
(B
1
H)
k
B
1
.
N
On a donc :
T(B +H) T(B) =
+
k=0
(B
1
H)
k
B
1
B
1
= (Id +
+
k=1
(B
1
H)
k
Id)B
1
=
+
k=1
(B
1
H)
k
B
1
.
On en dduit que
T(B +H) T(B) +B
1
HB
1
=
+
k=2
(B
1
H)
k
B
1
.
Lapplication qui H associe B
1
HB
1
est clairement linaire, et de plus,
T(B +H) T(B) +B
1
HB
1
B
1
k=2
(B
1
H)
k
.
Or B
1
H < 1 par hypothse. On a donc
T(B +H) T(B) B
1
HB
1
H
B
1
3
H
+
k=0
(B
1
H)
k
0 lorsque H 0.
On en dduit que lapplication T est diffrentiable et que DT(B)(H) = B
1
HB
1
.
(c) La mthode de Newton pour la recherche dun zro de la fonction g scrit :
_
B
0
GL
n
(IR),
Dg(B
n
)(B
n+1
B
n
) = g(B
n
).
Or, dapres la question prcdente, Dg(B
n
)(H) = (B
n
)
1
H(B
n
)
1
. On a donc
Dg(B
n
)(B
n+1
B
n
) = (B
n
)
1
(B
n+1
B
n
)(B
n
)
1
.
La mthode de Newton scrit donc :
_
B
0
GL
n
(IR),
(B
n+1
B
n
) = (Id B
n
A)B
n
.
(2.46)
soit encore
_
B
0
GL
n
(IR),
B
n+1
= 2B
n
B
n
AB
n
.
(2.47)
(d) Par dnition, on a :
Id AB
n+1
= Id A(2B
n
B
n
AB
n
) = Id 2AB
n
+AB
n
AB
n
.
Comme les matrices Id et AB
n
commutent, on a donc :
Id AB
n+1
= (Id AB
n
)
2
.
Une rcurrence immdiate montre alors que Id AB
n
= (Id AB
0
)
2
n
. On en dduit que la suite
Id AB
n
converge (vers la matrice nulle) lorsque n + ssi (Id AB
0
) < 1, et ainsi que la
suite B
n
converge vers A
1
si et seulement si (Id AB
0
) < 1.
N
Corrig de lexercice 74 page 137 (Valeurs propres et mthode de Newton) On crit le systme sous la forme
F(x, ) = 0 o F est une fonction de IR
n+1
dans IR
n+1
dnie par
F(y) = F(x, ) =
_
Ax x
x x 1
_
,
et on a donc
DF(, x)(z, ) =
_
Az
z x
2 x z
_
,
Supposons que DF(x, )(z, ) = 0, on a alors Az

z x = 0 et 2 x z = 0. En multipliant la premire
quation par x et en utilisant le fait que A est symtrique, on obtient :
z A x
z x x x = 0, (2.48)
et comme A x =

x et x x = 1, ceci entrane que = 0. En revenant (2.48) on obtient alors que Ax
x = 0,
c..d. que x Ker(A
Id) = IR x car

est valeur propre simple. Or on a aussi x z = 0, donc z x ce qui
nest possible que si z = 0. On a ainsi montr que Df( x,
) est injective, et comme on est en dimension nie,

Df( x,
) est bijective. Dnc, daprs le thorme du cours, la mthode de Newton est localement convergente.
Corrig de lexercice 76 page 138 (Convergence de la mthode de Newton si f
(x) = 0) Comme f
(x) = 0,
on peut supposer par exemple f
(x) > 0 ; par continuit de f
, il existe donc > 0 tel que f
(x) < 0 si
x ]x , x[ et f
(x) > 0 si x ]x, x +[, et donc f est dcroissante sur ]x , x[ (et croissante sur ]x, x +[).
Supposons x
0
]x, x +[, alors f
(x
0
) > 0 et f
(x
0
) > 0.
On a par dnition de la suite (x
n
)
nIN
,
f
(x
0
)(x
1
x
0
) = f(x
0
)
= f(x) f(x
0
)
= f
(
0
)(x x
0
), o
0
]x, x
0
[
Comme f
est strictement croissante sur ]x, x +[, on a f
(
0
) < f
(x
0
) et donc x
1
]x, x
0
[.
On montre ainsi par rcurrence que la suite (x
n
)
nIN
vrie
x
0
> x
1
> x
2
. . . > x
n
> x
n+1
> . . . > x.
La suite (x
n
)
nIN
est donc dcroissante et minore, donc elle converge. Soit x sa limite ; comme
f
(x
n
)(x
n+1
x
n
) = f(x
n
) pour tout n IN,
on a en passant la limite : f(x) = 0, donc x = x.
Le cas f
(x) < 0 se traite de la mme manire.

Montrons maintenant que la mthode est dordre 1. Par dnition, la mthode est dordre 1 si
x
n+1
x
x
n
x
IR
+
.
Par dnition de la suite (x
n
)
nIN
, on a :
f
(x
n
)(x
n+1
x
n
) = f(x
n
) (2.49)
Comme f C
2
(IR) et f
(x) = 0, il existe
n
]x, x
n
[ et
n
]x, x
n
[ tels que f
(x
n
) = f
(
n
)(x
n
x) et
f(x
n
) =
1
2
f
(
n
)(x x
n
)
2
. On dduit donc de (2.49) que
f
(
n
)(x
n+1
x
n
) =
1
2
f
(
n
)(x
n
x),
soit f
(
n
)(x
n+1
x) = (
1
2
f
(
n
) +f
(
n
))(x
n
x)
N
Donc
x
n+1
x
x
n
x
= |1
1
2
f
(
n
)
f
(
n
)
|
1
2
lorsque n +.
La mthode est donc dordre 1.
On peut obtenir une mthode dordre 2 en appliquant la mthode de Newton f
.
Corrig de lexercice 78 page 139 (Variante de la mthode de Newton)
1. On a videmment x
(0)
= x
0
I. Supposons que x
(k)
I et montrons que x
(k+1)
I. Par dnition, on
peut crire :
x
(k+1)
= x
(k)
f(x
(k)
) f(x
0
)
f
(y)

f(x
0
)
f
(y)
.
Donc
x
(k+1)
x
0
= x
(k)
x
0
(
n
)(x
(k)
n
x
0
) f(x
0
)
f
(y)
, o
n
[x
0
, x
(k)
].
On en dduit que
x
(k+1)
x
0
= (1
f
(
n
)
f
(y)
)(x
(k)
n
x
0
)
f(x
0
)
f
(y)
.
Ceci entrane :
|x
(k+1)
x
0
| =
1
|f
(y)|
|f
(
n
) f
(y)||x
(k)
x
0
| +
|f(x
0
)|
f
(y)

1
2
c +
c
2
= c.
Donc x
(k+1)
I.
2. On a :
x
(k+1)
x = x
(k)
x
f(x
(k)
) f( x)
f
(y)

f( x)
f
(y)
.
Donc|x
(k+1)
x| |x
(k)
x||f
(y) f
(
n
)|
1
|f
(y)|
o
n
[ x, x
(k)
];
Par hypothse, on a donc
|x
(k+1)
x| |x
(k)
x|
1
2
c
2
|x
(k)
x|.
On en dduit par rcurrence que
|x
(k)
x|
c
2
n
|x
(0)
x|.
Ceci entrane en particulier que
x
(k)
x
n +.
Il reste montrer que la convergence est au moins linaire. On a :
|x
(k+1)
x|
|x
(k)
x|
= |f
(y) f
(x
(k)
)|
1
|f
(y)|
Donc
|x
(k+1)
x|
|x
(k)
x|
|1
f
( x)
f
(y)
| = 0
n +
La convergence est donc au moins linaire, elle est linaire si f
( x) = f
(y) et superlinaire si f
( x) =
f
(y).
N
3. Le fait de remplacer y par y
(k)
ne change absolument rien la preuve de la convergence de x
(k)
vers x. Par
contre, on a maintenant :
|x
(k+1)
x|
|x
(k)
x|
= |f
(y
n
) f
(
n
)|
1
|f
(y
n
)|
= |1
f
(
n
)
f
(y
n
)
|
Or f
(
n
)
n+
f
( x) et donc si f
(y
n
)
n+
f
( x) la convergence devient superlinaire.

4. Pour n 1, lalgorithme se gnralise en :
_
x
(0)
= x
0
x
(k+1)
= x
(k)
(DF(y))
1
f(x
(k)
).
On a donc
x
(k+1)
x
0
= x
(k)
x
0
(DF(y))
1
(f(x
(k)
) f(x
0
)) (DF(y))
1
f(x
0
). (2.50)
On dnit : IR IR
n
par (t) = f(tx
(k)
+ (1 t)x
(0)
). On a
(t) = Df(tx
(k)
+ (1 t)x
(0)
)(x
(k)
x
(0)
).
et donc
f(x
(k)
) f(x
(0)
) = (1) (0)
=
1
0
(t)dt
=
1
0
Df(tx
(k)
+ (1 t)x
(0)
)(x
(k)
x
(0)
)dt.
Lgalit (2.50) scrit donc
x
(k+1)
x
(0)
=
_
Id (Df(y))
1
1
0
Df(tx
(k)
+ (1 t)x
(0)
)dt
_
(x
(k)
x
(0)
) (Df(y))
1
f(x
0
)
= (Df(y))
1
_
1
0
_
Df(y) Df(tx
(k)
+ (1 t)x
(0)
_
dt
_
(x
(k)
x
(0)
) (Df(y))
1
f(x
0
).
On en dduit que :
x
(k+1)
x
(0)
(Df(y))
1
1
0
Df(y) Df(tx
(k)
+ (1 t)x
(0)
)dt x
(k)
x
(0)
+(Df(y))
1
f(x
0
). (2.51)
Si on suppose que x
(k)
I, alors tx
(k)
+ (1 t)x
(0)
I. Lhypothse (iii) gnralise la dimension n
scrit :
Df(x) Df(y)
1
2
(x, y) I
2
,
si on suppose de plus que
(ii) f(x
0
)
c
2
et
(iv) (Df(x))
1
x I, alors 2.51 donne que
x
(k+1)
x
(0)
x
(k)
x
(0)
1
2
+
c
2
c.
ce qui prouve que x
(k+1)
I.
On montre alors de la mme manire que x
(k)
n
x, (car x
(k+1)
x
1
2
x
(k)
x).
N
Corrig de lexercice 80 page 139 (Mthode de Steffensen)
1. Comme f
(x) = 0, il existe > 0 tel que f soit strictement monotone sur B(x, ) ; donc si f(x) = 0 et
x B(x, ) alors x = x. De plus, comme x +f(x) x lorsque x x, il existe tel que si x B(x, ),
alors f(x + f(x) B(x, ). Or si x B(x, ), on a :f(x) = 0 si x = x, donc x + f(x) = x et
comme x + f(x) B(x, ) o f est strictement monotone, on a f(x) = f(x + f(x)) si x = x. On
en dduit que si x
n
B(x, ), alors f(x
n
+ f(x
n
)) = f(x
n
) (si x
n
= x) et donc x
n+1
est dni par
x
n+1
=
(f(x
n
))
2
f(x
n
+f(x
n
)) f(x
n
)
. Ceci est une forme de stabilit du schma).
2. Montrons maintenant que la suite (x
n
)
nIN
vrie :
x
n+1
x = a(x
n
)(x
n
x)
2
si x
n
= x et x
0
B(x, ),
o a est une fonction continue. Par dnition de la suite (x
n
)
nIN
, on a :
x
n+1
x = x
n
x
(f(x
n
))
2
f(x
n
+f(x
r
)) f(x
n
)
. (2.52)
Soit
n
: [0, 1] IR la fonction dnie par :
n
(t) = f(x
n
+tf(x
n
))
On a
n
C
2
(]0, 1[, IR),
n
(0) = f(x
n
) et
n
(1) = f(x
n
+f(x
n
)).
On peut donc crire :
f(x
n
+f(x
n
)) f(x
n
) =
n
(1)
n
(0) =
1
0
n
(t)dt
Ceci donne :
f(x
n
+f(x
n
)) f(x
n
) =
1
0
f
(x
n
+tf(x
n
))f(x
n
)dt
On pose maintenant
n
(t) = f
(x
n
+tf(x
n
)), et on crit que
n
(t) =
t
0
n
(s)ds +
n
(0).
On obtient alors :
f(x
n
+f(x
n
)) f(x
n
) = f(x
n
)
_
f(x
n
)
1
0
t
0
f
(x
n
+sf(x
n
))ds +f
(x
n
)
_
. (2.53)
Soit b C(IR, IR) la fonction dnie par :
b(x) =
1
0
_
t
0
f
(x +sf(x))ds
_
dt.
Comme f C(IR, IR), on a b(x)
1
2
f
(x) lorsque x x
Lgalit (2.53) scrit alors :
f(x
n
+f(x
n
)) f(x
n
) = (f(x
n
))
2
b(x
n
) +f(x
n
)f
(x
n
). (2.54)
Comme x
0
B(x, ), on a x
n
B(x, ) et donc f(x
n
) = 0 si x
n
= x.
Donc pour x
n
= x, on a grce (2.52) et (2.54) :
x
n+1
x = x
n
x
f(x
n
)
f(x
n
)b(x
n
) +f
(x
n
))
(2.55)
N
On a maintenant f(x
n
) = f(x) f(x
n
) =
1
0
(t)dt o C
2
(IR, IR) est dnie par (t) =
f(tx + (1 t)x
n
).
Donc
f(x
n
) =
1
0
f
(tx + (1 t)x
n
)(x x
n
)dt.
Soit C
1
(IR, IR) la fonction dnie par (t) = f
(tx + (1 t)x
n
),
on a (0) = f
(x
n
) et donc :
f(x
n
) =
1
0
_
t
0
(f
(sx + (1 s)x
n
)(x x
n
) +f
(x
n
)) ds(x x
n
)
_
dt
Soit c C(IR, IR) la fonction dnie par
c(x) =
1
0
_
t
0
f
(sx + (1 s)x)ds
_
dt,
on a c(x)
1
2
f
(x) lorsque x x et :
f(x
n
) = c(x)(x x
n
)
2
+f
(x
n
)(x x
n
) (2.56)
De (2.56) et(1.118), on obtient :
x
n+1
x = (x
n
x)
_
1 +
c(x
n
)(x
n
x) f
(x
n
)
f(x
n
)b(x
n
) +f
(x
n
)
_
=
(x
n
x)
f(x
n
)b(x
n
) +f
(x
n
)
_
c(x
n
)(x x
n
)
2
b(x
n
)
f
(x
n
)(x x
n
)b(x
n
) +f
(x
n
) +c(x
n
)(x
n
x) f
(x
n
))
On en dduit :
(x
n+1
x) = (x
n
x)
2
a(x
n
) (2.57)
o
a(x) =
c(x)b(x)(x x) +f
(x)b(x)b +c(x)
f(x) +f
(x)
La fonction a est continue en tout point x tel que
D(x) = f(x)b(x) +f
(x) = 0.
Elle est donc continue en x puisque D(x) = f(x)b(x) +f
(x) = f
(x) = 0.
De plus, comme f, f
et b sont continues, il existe un voisinage de x sur lequel D est non nulle et donc a
continue.
3. Par continuit de a, pour tout > 0, il existe
> 0 tel que si x B(x,
) alors
(7) |a(x) a(x)| .
Calculons
a(x) =
f
(x)b(x) +c(x)
f
(x)
=
1
2
f
(x)
1 +f
(x)
f
(x)
= .
Soit = min(
1
,
1
2( + 1)
) ; si x B(x, ), alors |a(x)| + 1 grce (7), et |x x|
1
2( + 1)
.
N
On dduit alors de (6) que si x
n
B(x, ), alors
|x
n+1
x|
1
2
|x
n
x|.
Ceci entrane dune part que x
n+1
B(x, ) et dautre part, par rcurrence, la convergence de la suite
(x
n
)
nIN
vers x.
Il reste montrer que la convergence est dordre 2.
Grce (6), on a :
|x
n+1
x|
|x
n
x|
2
= |a(x
n
)|.
Or on a montr ltape 3 que a est continue et que a(x) IR. On a donc une convergence dordre au
moins 2.
Corrig de lexercice 82 page 140 (Mthode de la scante)
1. Supposons x
n1
et x
n
connus.
Pour que x
n+1
soit bien dni, il faut et il suft que f(x
n
) = f(x
n1
). Or par hypothse, f
( x) = 0. On
en dduit quil existe un voisinage de x sur lequel f
est monotone, donc bijective. Donc il existe

1
tel que
si x
n
, x
n1
]x
1
, x +
1
[, x
n
= x
n1
et x
n
= x, alors f(x
n
) = f(x
n1
). De mme, toujours par
injectivit de f sur ]x
1
, x +
1
[, on a f(x
n
) = 0.
En choisissant x
0
et x
1
dans lintervalle ]x
1
, x +
1
[, on a par une rcurrence immdiate que la suite
(x
n
)
nIN
est bien dnie.
Par dnition, si f(x
n
) = 0, on a :
x
n+1
x = x
n
x
f(x
n
) f( x)
x
n
x
(x
n
x)
x
n
x
n1
f(x
n
) f(x
n1
)
.
En notant I(a, b) lintervalle dextrmits a et b, il existe donc
n
I( x, x
n
) et
n
I(x
n1
, x
n
) tels que
x
n+1
x = (x
n
x)(1
f
(
n
)
f
(
n
)
), , et donc : e
n+1
= |1
f
(
n
)
f
(
n
)
|e
n
.
Or f
est continue, il existe

2
tel que x
n
, x
n1
]x
2
, x +
2
[, alors 1
f
(
n
)
f
(
n
)
1/2, et donc
e
n+1

1
2
e
n
.
En posant = min(
1
,
2
), on a donc par rcurrence le fait que si x
0
et x
1
appartiennent lintervalle
]x , x +[, la suite (x
n
)
nIN
est bien dnie et la mthode de la scante est localement convergente.
2. (a) Par dnition,
e
n+1
= e
n
f(x
n
) f(x)
f(x
n
) f(x
n1
)
(x
n
x
n1
).
Donc :
(f(x
n
) f(x
n1
)e
n+1
= e
n
f(x
n
) e
n
f(x
n1
) f(x
n
)e
n
+f(x
n
)e
n1
(2.58)
= e
n
f(x
n1
) +f(x
n
)e
n1
(2.59)
= e
n
e
n1
(
f(x
n
)
e
n
f(x
n1
)
e
n1
). (2.60)
Or
f(xn)
en
=
f(xn)f(x)
en
(resp.
f(xn1
en1
=
f(xn1f(x)
en1
)est la valeur moyenne de f
sur lintervalle
dextrmits x, x
n
(resp. x, x
n1
). On en dduit que (f(x
n
) f(x
n1
)e
n+1
= e
n
e
n1
(
n
n1
),
do le rsultat.
N
(b) Si x > x, la fonction vrie :
(x x)(x) =
x
x
f
(t)dt,
on en dduit que la fonction est continue et drivable et sa drive
vrie :
(x x)
(x) +(x) = f
(x), x > x.
soit encore
(x) =
f
(x) (x)
x x
, x > x. (2.61)
Or
(x) =
1
x x
(f(x) f(x)) (2.62)
=
1
x x
(f(x) (f(x) + (x x)f
(x) +
1
2
(x x)
2
f
(x)(x x)
3
(x). (2.63)
On en dduit que
(x) = f
(x) +
1
2
(x x)f
(x) + (x x)
2
(x).
Et nalement, en reportant dans (2.61) :
(x) =
1
2
f
(x) + (x x)(x), x > x. (2.64)

On en dduit que
admet une limite lorsque x tend vers x par valeurs positives. Le mme raisonne-
ment pour x < x donne le mme rsultat.
Enn, comme f C
2
(IR, IR), on peut passer la limite dans (2.64) et on obtient :
lim
xx
(x) =
1
2
f
(x). (2.65)
(c) Par dnition, on a
M
n
= |
(x
n
) (x
n1
)
x
n
x
n1
x
n
x
n1
f(x
n
) f(x
n1
)
| =

(
n
)
f
(
n
)
,
o
n
et
n
sont compris entre x
n1
et x
n
(par le thorme des accroissements nis). Comme la suite
(x
n
)
nIN
tend vers x, comme f
est continue et grce (2.65), on a :

lim
n+
M
n
=
1
2
f
(x)
f
(x)
.
Notons que cette limite est nie car f
(x) = 0 par hypothse. On en conclut que la suite (M

n
)
nIN
est
borne.
3. (a) La relation dmontrer est vrie pour n = 0 et n = 1. Supposons-la vrie jusquau rang n. On a
par dnition : a
n+1
= a
n
a
n1
Me
n
Me
n1
. Or par la question 2a, e
n
e
n1
= M
n
e
n+1
Me
n+1
.
On en dduit que la relation est encore vrie au rang n + 1.
(b) Par dnition, a
i
= Me
i
= M(x
i
x), pour i = 0, 1, donc si x
0
, x
1
]x
1
, x+
1
[ avec
1
< 1/M,
alors a
0
< 1 et a
1
< 1. On en dduit alors facilement par rcurrence que la suite a
n
< 1, et donc que
la suite (a
n
)
nIN
est strictement dcroissante. Elle converge donc vers une limite a qui vrie a = a
2
et a < 1. On en dduit que la limite est nulle.
N
(c) On pose b
n
= ln a
n
on a donc
b
n+1
= b
n
+b
n1
, n 1 (2.66)
Lensemble de suites (b
n
)
nIN
vriant (2.66) est un espace vectoriel de dimension 2. Pour trouver une
base de cet espace vectoriel, on cherche des lments de cet espace sous la forme b
n
= r
n
, n 0. Une
telle suite vrie (2.66) si et seulement si r
2
= r + 1, c..d. r =
1
5
2
. Si la suite (b
n
)
nIN
vrie
(2.66), il existe donc C IR et D IR tels que
b
n
= ln(a
n
) = C(
1 +
5
2
)
n
+D(
1
5
2
)
n
.
On en dduit que a
n

d
n
, avec d =
1+
5
2
, = e
|D|
et = e
C
. Notons quon a bien 0 < < 1
car C < 0 puisque ln(a
n
) < 0, pour tout n IN.
(d) Par la question 2(c) et lhypothse f(x) = 0, on dduit que M > 0. Comme e
n+1
= M
n
e
n
e
n1
, on
a ln e
n+1
= ln M
n
+ ln e
n
+ ln e
n1
; si on pose
n
= ln e
n+1
d ln e
n
(pour n 0, on a donc
n
= (1 d) ln e
n
+ ln e
n1
+ ln M
n
= (1 d)(
n1
+d ln e
n1
) + ln e
n1
+ ln M
n
= (1 d)(
n1
+ (1 d)d ln e
n1
) + ln e
n1
+ ln M
n
.
Or (1 d)d = 1 car d est racine de lquation : d
2
d 1 = 0. On obtient donc nalement
n
= (1 d)
n1
+ ln M
n
.
On pose maintenant
n
= C
n
(1 d)
n
(obtenu par variation de la constante" C pour la solution de
lquation homogne
n
= (1 d)
n1
). On obtient alors
C
n
(1 d)
n
= (1 d)C
n1
(1 d)
n1
+ ln M
n
.
Ceci entrane :
C
n
= C
n1
+
ln M
n
(1 d)
n
.
Donc
C
n
= C
0
+
n
p=1
ln M
p
(1 d)
p
,
et comme la suite (M
n
)
nIN
est borne, la srie de terme gnral
ln Mp
(1d)
p
est convergente. Comme
(1d)
n
tend vers 0 lorsque n tend vers linni, on en dduit que
n
0. On a donc ln e
n+1
d ln e
n

0, i.e.
en+1
e
d
n
1 lorsque n +.
(e) Lordre de convergence de la mthode de la scante est d =
1+
5
2
< 2, donc plus petit que lordre de
convergence de la mthode de Newton.
Chapitre 3
Optimisation
3.1 Dnitions et rappels
3.1.1 Extrema, points critiques et points selle.
Lobjectif de ce chapitre est de rechercher des extrema, cest--dire des minima ou des maxima dune fonction
f C(IR
n
, IR) avec ou sans contrainte. Notons que la recherche dun minimum ou dun maximum implique que
lon ait une relation dordre, pour pouvoir comparer les valeurs prises par f. La fonction f est donc forcment
valeurs dans IR.
Dnition 3.1 (Extremum dune fonction). Soit E un espace vectoriel et f : E IR.
On dit que x est un minimum local de f sil existe un voisinage V de x tel que
f(x) f( x), x V.
De mme, on dit que x est un maximum local de f sil existe un voisinage V de x tel que
f(x) f( x), x V.
On dit que x est un extremum local de f si cest un minimum local ou un maximum local.
On dit que x est un minimum global de f si
f(x) f( x), x E.
De mme, on dit que x est un maximum global de f si
f(x) f( x), x E.
On dit que x est un extremum local (resp. global) de f si cest un minimum local (resp. global) ou un maximum
local (resp. global).
Le problme doptimisation sans contrainte scrit :
_
Trouver x IR
n
tel que :
f( x) f(y), y IR
n
.
(3.1)
Le problme doptimisation avec contrainte scrit :
_
Trouver x Ktel que :
f( x) f(y), y K.
(3.2)
155
3.1. DFINITIONS ET RAPPELS CHAPITRE 3. OPTIMISATION
o K IR
n
et K = IR
n
Lensemble K o lon recherche la solution est donc lensemble qui reprsente les
contraintes. Par exemple, si lon cherche un miminum dune fonction f de R IR et que lon demande que les
points qui ralisent ce minimum soient positifs, on aura K = IR
+
.
Si x est solution du problme (3.1), on dit que x arg min
IR
n
f, et si x est solution du problme (3.2), on dit que
x arg min
K
f.
Vous savez dj que si un point x ralise le minimum dune fonction f drivable de de IR dans IR, alors f
((x) = 0.
La rciproque est videmment fausse : la fonction x x
3
est drivable sur IR, et sa drive sannule en 0, mais
0 nest pas un extremum (cest un point dinexion). Nous verrons plus loin que de manire gnrale, lorsque la
fonctionnelle f est diffrentiable, les extrema sont des points critiques de f , au sens o ils annulent le gradient.
Dnition 3.2 (Point critique). Soit E un espace vectoriel et f : E IR.
On dit que x est un minimum local de f sil existe un voisinage V de x tel que
f(x) f( x), x V.
De mme, on dit que x est un maximum local de f sil existe un voisinage V de x tel que
f(x) f( x), x V.
On dit que x est un minimum global de f si
f(x) f( x), x E.
De mme, on dit que x est un maximum global de f si
f(x) f( x), x E.
En dimension N = 2, un point critique peut tre minimal dans une
direction et maximale dans une direction indpendante de la pre-
mire. Cest ce quon appelle un point selle (voir gure ci contre).
Dnition 3.3 (Point selle). Soit E un espace vectoriel et f : E IR. On dit que x est un point selle de f sil
existe F et G des sous espaces vectoriels de E tels que E = F G un voisinage V de x tel que
f( x +z) f( x), z F ; x +z V,
f( x +z) f( x), z G ; x +z V.
3.1.2 Rappels et notations de calcul diffrentiel
Dnition 3.4 (Application diffrentiable). Soient E et F des espaces vectoriels norms, f une application de E
dans F et x E. On rappelle que f est diffrentiable en x sil existe T
x
L(E, F) (o L(E, F) est lensemble
des applications linaires de E dans F) telle que
f(x +h) = f(x) +T
x
(h) +h(h) avec (h) 0 quand h 0. (3.3)
Lapplication T
x
est alors unique
1
et on note Df(x) = T
x
L(E, F) la diffrentielle de f au point x. Si f est
diffrentiable en tout point de E, alors on appelle diffrentielle de f lapplication Df = E L(E, F) qui
x E associe lapplication linaire Df(x). de E dan F.
Remarquons tout de suite que si f est une application linaire de E dans F, alors f est diffrentiable, et Df = f.
En effet, si f est linaire, f(x +h) f(x) = f(h), et donc lgalit (3.3) est vrie avec T
x
= f et = 0.
Voyons maintenant quelques cas particuliers despaces E et F :
Cas o E = IR et F = IR Si f est une fonction de IR dans IR, dire que f est diffrentiable en x revient dire
que f est drivable en x. En effet, dire que f est drivable en x revient dire que
lim
h0
f(x +h) f(x)
h
existe, et lim
h0
f(x +h) f(x)
h
= f
(x),
ce qui scrit encore
f(x +h) f(x)
h
= f
(x) +(h), avec (h) 0 lorsque h 0,

cest--dire
f(x +h) f(x) = T
x
(h) +h(h), avec T
x
(h) = f
(x)h,
ce qui revient dire que f est diffrentiable en x, et que sa diffrentielle en x est lapplication linaire T
x
: IR IR,
qui h associe f
(x)h. On a ainsi vri que pour une fonction de IR dans IR, la notion de diffrentielle concide
avec celle de drive.
Exemple 3.5. Prenons f : IR IR dnie par f(x) = sin x. Alors f est videmment drivable en tout point
et sa drive vaut f
(x) = cos x. La fonction f est donc aussi diffrentiable en tout point. La diffrentielle de f
au point x est lapplication linaire Df(x) qui h IR associe Df(x)(h) = cos xh. La diffrentielle de f est
lapplication de IR dans L(IR, IR), qui x associe Df(x).
Cas o E = IR
n
et F = IR
p
Soit f : IR
n
IR
p
, x IR
n
et supposons que f est diffrentiable en x; alors
Df(x) L(IR
n
, IR
p
), et il existe une unique matrice J
f
(x) M
p,n
(IR) telle que
Df(x)(y)
. .
IR
p
= J
f
(x)y
. .
IR
p
, y IR
n
.
On confond alors lapplication linaire Df(x) L(IR
n
, IR
p
) avec la matrice J
f
(x) M
p,n
(IR) qui la reprsente.
On crit donc :
J
f
(x) = Df(x) = (a
i,j
)
1ip,1jn
o a
i,j
=
j
f
i
(x),
j
dsignant la drive partielle par rapport la j-me variable.
La matrice J
f
(x) sappelle la matrice jacobienne de f au point x (do la notation J
f
). Notons que si n = p = 1,
la fonction f est de IR dans IR et la matrice jacobienne en x nest autre que la drive en x : J
f
(x) = f
(x).
Exemple 3.6. Prenons n = 3 et p = 2 ; soit f : IR
3
IR
2
dnie par :
f(x) =
_
_
x
2
1
+x
3
2
+x
4
3
2x
1
x
2
_
_
, x =
_
_
x
1
x
2
x
3
_
_
Soit h IR
3
de composantes (h
1
, h
2
, h
3
). Pour calculer la diffrentielle de f (en x applique h), on peut calculer
f(x +h) f(x) :
f(x +h) f(x) =
_
_
(x
1
+h
1
)
2
x
2
1
+ (x
2
+h
2
)
3
x
3
2
+ (x
3
+h
3
)
4
x
4
3
2(x
1
+h
1
) 2x
1
2(x
2
+h
2
) + 2x
2
_
_
=
_
_
2x
1
h
1
+h
2
1
+
3x
2
2
h
2
+ 3x
2
h
2
2
+h
3
2
+4x
3
3
h
3
+4x
2
3
h
2
3
+h
4
3
2h
1
2 +h
2
_
_
et on peut ainsi vrier lgalit (3.3) avec :
Df(x)h =
_
_
2x
1
h
1
+ 3x
2
2
h
2
+ 4x
3
3
h
3
2h
1
h
2
_
_
et donc, avec les notations prcdentes,
J
f
(x) =
_
_
2x
1
3x
2
2
4x
3
3
2 1 0
_
_
.
Bien sr, dans la pratique, on na pas besoin de calculer la diffrentielle en effectuant la diffrence f(x+h)f(x).
on peut directement calculer les dries partielles pour calculer la matrice jacobienne J
f
.
Cas o E = IR
n
, F = IR Cest en fait un sous-cas du paragraphe prcdent, puisquon est ici dans le cas p = 1.
Soit x IR
n
et f une fonction de E dans F diffrentiable en x; on a donc J
f
f(x) M
1,n
(IR), et on dnit le
gradient de f en x par f(x) = (J
f
(x))
t
IR
n
. Pour (x, y) (IR
n
)
2
, on a donc
Df(x)(y) = J
f
(x)y =
n
j=i
j
f(x)y
j
= f(x) y o f(x) =
_
1
f(x)
.
.
.
n
f(x)
_
_ IR
n
.
Attention, lorsque lon crit J
f
(x)y il sagit dun produit matrice vecteur, alors que lorsquon crit f(x) y, il
sagit du produit scalaire entre les vecteurs f(x) et y.
Cas o E est un espace de Hilbert et F = IR On gnralise ici le cas prsent au paragraphe prcdent. Soit
f : E IR diffrentiable en x E. Alors Df(x) L(E, IR) = E
, o E
dsigne le dual topologique de

E, c..d. lensemble des formes linaires continues sur E. Par le thorme de reprsentation de Riesz, il existe un
unique u E tel que Df(x)(y) = (u|y)
E
pour tout y E, o (.|.)
E
dsigne le produit scalaire sur E. On appelle
encore gradient de f en x ce vecteur u. On a donc u = f(x) E et pour y E, Df(x)(y) = (f(x)|y)
E
.
Diffrentielle dordre 2, matrice hessienne
Revenons maintenant au cas gnral de deux espaces vectoriels norms E et F, et supposons maintenant que
f C
2
(E, F). Le fait que f C
2
(E, F) signie que Df C
1
(E, L(E, F)). Par dnition, on a D
2
f(x)
L(E, L(E, F)) et donc pour y E, D
2
f(x)(y) L(E, F) ; en particulier, pour z E, D
2
f(x)(y)(z) F.
Considrons maintenant le cas particulier E = IR
n
et F = IR. On a :
f C
2
(IR
n
, IR) [f C
1
(IR
n
, IR) et f C
1
(IR
n
, IR
n
)].
Soit g = f C
1
(IR
n
, IR
n
), et x IR
n
, alors, en confondant lapplication linaire Dg(x) avec la matrice
qui la repr sente, on a Dg(x) M
n
(IR) et on peut dnir la matrice hessienne de f, quon note H
f
, par :
H
f
(x) = Dg(x) = D(Df)(x) = (b
i,j
)
i,j=1...N
M
n
(IR) o b
i,j
=
2
i,j
f(x) o
2
i,j
dsigne la drive partielle
par rapport la variable i de la drive partielle par rapport la variable j. Notons que par dnition (toujours avec
labus de notation qui consiste confondre lapplication linaire Dg(x) avec la matrice qui la repr sente), Dg(x)
est la matrice jacobienne de g = f en x.
3.1.3 Convexit
Dnition 3.7 (Convexit). Soit E un espace vectoriel et f : E IR. On dit que f est convexe si
(tx + (1 t)y) tf(x) + (1 t)f(y) pour tout (x, y) E
2
t.q. x = y et t [0, 1].
On dit que f est strictement convexe si
f(tx + (1 t)y) < tf(x) + (1 t)f(y) pour tout (x, y) E
2
t.q. x = y et t ]0, 1[.
Proposition 3.8 (1re caractrisation de la convexit). Soit E un espace vectoriel norm (sur IR) et f C
1
(E, IR)
alors :
1. f convexe si et seulement si f(y) f(x) +Df(x)(y x), pour tout couple (x, y) E
2
,
2. f est strictement convexe si et seulement si f(y) > f(x) + Df(x)(y x) pour tout couple (x, y) E
2
tel
que x = y.
DMONSTRATION Dmonstration de 1.
() Supposons que f est convexe : soit (x, y) E
2
; on veut montrer que f(y) f(x) +Df(x)(y x). Soit t [0, 1],
alors f(ty + (1 t)x) tf(y) + (1 t)f(x) grce au fait que f est convexe. On a donc :
f(x +t(y x)) f(x) t(f(y) f(x)). (3.4)
Comme f est diffrentiable, f(x +t(y x)) = f(x) +Df(x)(t(y x)) +t(t) o (t) tend vers 0 lorsque t tend vers
0. Donc en reportant dans (3.4),
(t) +Df(x)(y x) f(y) f(x), t ]0, 1[.
En faisant tendre t vers 0, on obtient alors :
f(y) Df(x)(y x) +f(x).
() Montrons maintenant la rciproque : Soit (x, y) E
2
, et t ]0, 1[ (pour t = 0 ou = 1 on na rien dmontrer). On
veut montrer que f(tx + (1 t)y) tf(x) + (1 t)f(y). On pose z = tx + (1 t)y. On a alors par hypothse :
f(y) f(z) +Df(z)(y z),
et f(x) f(z) +Df(z)(x z).
En multipliant la premire ingalit par 1 t, la deuxime par t et en les additionnant, on obtient :
(1 t)f(y) +tf(x) f(z) + (1 t)Df(z)(y z) +tDf(z)(x z)
(1 t)f(y) +tf(x) f(z) +Df(z)((1 t)(y z) +t(x z)).
Et comme (1 t)(y z) +t(x z) = 0, on a donc (1 t)f(y) +tf(x) f(z) = f(tx + (1 t)y).
Dmonstration de 2
() On suppose que f est strictement convexe, on veut montrer que f(y) > f(x) + Df(x)(y x) si y = x. Soit donc
(x, y) E
2
, x = y. On pose z =
1
2
(y x), et comme f est convexe, on peut appliquer la partie 1. du thorme et crire
que f(x + z) f(x) + Df(x)(z). On a donc f(x) + Df(x)(
yx
2
) f(
x+y
2
). Comme f est strictement convexe, ceci
entrane que f(x) +Df(x)(
yx
2
) <
1
2
(f(x) +f(y)), do le rsultat.
() La mthode de dmonstration est la mme que pour le 1.
Proposition 3.9 (2me caractrisation de la convexit). Soit E = IR
n
et f C
2
(E, IR). Soit H
f
(x) la hessienne
de f au point x, i.e. (H
f
(x))
i,j
=
2
i,j
f(x). Alors
1. f est convexe si et seulement si H
f
(x) est symtrique et positive pour tout x E (c..d. H
f
(x)
t
= H
f
(x)
et H
f
(x)y y 0 pour tout y IR
n
)
2. f est strictement convexe si H
f
(x) est symtrique dnie positive pour tout x E. (Attention la rciproque
est fausse.)
DMONSTRATION Dmonstration de 1.
() Soit f convexe, on veut montrer que H
f
(x) est symtrique positive. Il est clair que H
f
(x) est symtrique car
2
i,j
f =
2
j,i
f car f est C
2
. Par dnition, H
f
(x) = D(f(x)) et f C
1
(IR
n
, IR
n
). Soit (x, y) E
2
, comme f est convexe
et de classe C
1
, on a, grce la proposition 3.8 :
f(y) f(x) +f(x) (y x). (3.5)
Soit C
2
(IR, IR) dnie par (t) = f(x +t(y x)). Alors :
f(y) f(x) = (1) (0) =
1
0
(t)dt = [
(t)(t 1)]
1
0

1
0
(t)(t 1)dt,
cest dire : f(y) f(x) =
(0) +
1
0

(t)(1 t)dt. Or
(t) = f(x +t(y x)) (y x), et
(t) = D(f(x +t(y x))(y x) (y x) = H

f
(x +t(y x))(y x) (y x).
On a donc :
f(y) f(x) = f(x)(y x) +
1
0
H
f
(x +t(y x))(y x) (y x)(1 t)dt. (3.6)
Les ingalits (3.5) et (3.6) entranent :
1
0
H
f
(x +t(y x))(y x) (y x)(1 t)dt 0 x, y E. On a donc :
1
0
H
f
(x +tz)z z(1 t)dt 0 x, z E. (3.7)
En xant x E, on crit (3.7) avec z = y, > 0, y IR
n
. On obtient :
1
0
H
f
(x +ty)y y(1 t)dt 0 x, y E, > 0, et donc :
1
0
Hf(x +ty)y y(1 t)dt 0 > 0.
Pour (x, y) E
2
x, H
f
(x +ty) tend vers H
f
(x) uniformment lorsque 0, pour t [0, 1]. On a donc :
1
0
H
f
(x)y y(1 t)dt 0, c..d.
1
2
H
f
(x)y y 0.
Donc pour tout (x, y) (IR
n
)
2
, H
f
(x)y y 0 donc H
f
(x) est positive.
() Montrons maintenant la rciproque : On suppose que H
f
(x) est positive pour tout x E. On veut dmontrer que
f est convexe ; on va pour cela utiliser la proposition 3.8 et montrer que : f(y) f(x) + f(x) (y x) pour tout
(x, y) E
2
. Grce (3.6), on a :
f(y) f(x) = f(x) (y x) +
1
0
H
f
(x +t(y x))(y x) (y x)(1 t)dt.
Or H
f
(x + t(y x))(y x) (y x) 0 pour tout couple (x, y) E
2
, et 1 t 0 sur [0, 1]. On a donc f(y)
f(x) +f(x) (y x) pour tout couple (x, y) E
2
. La fonction f est donc bien convexe.
Dmonstration de 2.
() On suppose que H
f
(x) est strictement positive pour tout x E, et on veut montrer que f est strictement convexe.
On va encore utiliser la caractrisation de la proposition 3.8. Soit donc (x, y) E
2
tel que y = x. Alors :
f(y) = f(x) +f(x) (y x) +
1
0
H
f
(x +t(y x))(y x) (y x)
. .
>0 si x=y
(1 t)
. .
=0 si t]0,1[
dt.
Donc f(y) > f(x) +f(x)(y x) si x = y, ce qui prouve que f est strictement convexe.
Contre-exemple Pour montrer que la rciproque de 2. est fausse, on propose le contre-exemple suivant : Soit
n = 1 et f C
2
(IR, IR), on a alors H
f
(x) = f
(x). Si f est la fonction dnie par f(x) = x

4
, alors f est
strictement convexe car f
(x) = 12x
2
0, mais f
(0) = 0.
3.1.4 Exercices
Exercice 83 (Vrai / faux). corrig en page 162
1. Lapplication x x
est-elle convexe sur IR

2
?, strictement convexe ?
2. Soit A M
n,m
(IR), b IR
n
, lapplication x Ax b
2
admet un unique minimum.
Exercice 84 (Minimisation dans IR). corrig en page 162
On considre les fonctions dnies de IR dans IR par f
0
(x) = x
2
, f
1
(x) = x
(
x1)
2
, f
2
(x) = |x|, f
3
(x) = cos x,
f
4
(x) = | cos x|, f
5
(x) = e
x
. On pose K = [1, 1]. Pour chacune de ces fonctions, rpondre aux questions
suivantes :
1. Etudier la diffrentiabilit et la (stricte) convexit ventuelles de la fonction, ; donner lallure de son graphe.
2. La fonction admet elle un minimum global sur IR ; ce minimum est-il unique ? Le cas chant, calculer ce
minimum.
3. La fonction admet elle un minimumsur K ; ce minimumest-il unique ? Le cas chant, calculer ce minimum.
Exercice 85 (Hessienne).
1. Montrer que la fonction f de IR
2
dans IR dnie par f(x, y) = x
2
+ 4xy + 3y
2
nadmet pas de minimum
en 0.
2. Trouver la matrice (symtrique) S telle que f(x) = x
t
Sx, pour f(x) = 2(x
2
1
+ x
2
2
+ x
2
3
x
1
x
2
x
2
x
3
),
puis pour f(x) = 2(x
2
1
+x
2
2
+x
2
3
x
1
x
2
x
1
x
3
x
2
x
3
)
3. Dans chacun des deux cas prcdents, tudier la convexit de la fonction f.
Exercice 86 (Fonctions quadratiques).
1. Montrer que la fonction f de IR
2
dans IR dnie par f(x, y) = x
2
+ 4xy + 3y
2
nadmet pas de minimum
en (0, 0).
2. Trouver la matrice (symtrique) S telle que f(x) = x
t
Sx, pour f
1
(x) = 2(x
2
1
+ x
2
2
+ x
2
3
x
1
x
2
x
2
x
3
),
puis pour f
2
(x) = 2(x
2
1
+x
2
2
+x
2
3
x
1
x
2
x
1
x
3
x
2
x
3
) Etudier la convexit des fonctions f
1
et f
2
.
3. Calculer les matrices hessiennes de g
1
et g
2
dnies par : g
1
(x, y) =
1
4
x
4
+x
2
y+y
2
et g
2
(x, y) = x
3
+xyx
et tudier la convexit de ces deux fonctions.
Exercice 87 (Convexit et continuit). Suggestions en page 162.
%
1. Soit f : IR IR une fonction convexe.
(a) Montrer que f est continue.
(b) Montrer que f est localement lipschitzienne.
2. Soit n 1 et f : IR
n
IR. On suppose que f est convexe.
(a) Montrer f est borne suprieurement sur les borns (cest--dire : pour tout R > 0, il existe m
R
t.q.
f(x) m
R
si la norme de x est infrieure ou gale R).
(b) Montrer que f est continue.
(c) Montrer que f est localement lipschitzienne.
(d) On remplace maintenant IR
n
par E, e.v.n. de dimension nie. Montrer que f est continue et que f est
localement lipschitzienne.
3. Soient E un e.v.n. de dimension innie et f : E IR. On suppose que f est convexe.
(a) On suppose, dans cette question, que f est borne suprieurement sur les borns. Montrer que f est
continue.
(b) Donner un exemple de.v.n. (not E) et de fonction convexe f : E IR t.q. f soit non continue.
Suggestions pour les exercices
Exercice 87 page 161 (Convexit et continuit)
1. (a) Pour montrer la continuit en 0, soit x = 0, |x| < 1. On pose a = sgn(x) (=
x
|x|
). Ecrire x comme une
combinaison convexe de 0 et a et crire 0 comme une combinaison convexe de x et a. En dduire
une majoration de |f(x) f(0)|.
(b) Utiliser la continuit de f et la majoration prcdente.
2. (a) Faire une rcurrence sur n et pour x = (x
1
, y)
t
avec R < x
1
< R et y IR
n1
(n > 1), majorer
f(x) en utilisant f(+R, y) et f(R, y).
(b) Reprendre le raisonnement fait pour n = 1.
(c) Se ramener E = IR
n
.
3. (a) reprendre le raisonnement fait pour E = IR.
(b) On pourra, par exemple choisir E = C([0, 1], IR). . .
Exercice 83 page 161 (Minimisation dans R)
1. FAUX. Lapplication est convexe mais pas strictement convexe. Si on xe v
1
= (1, 0) et v
2
= (1, 1), alors
pour tout t (0, 1),
tv
1
+ (1 t)v
2
= (1, 1 t)
= 1 = tv
1
+ (1 t)v
2
.
2. Contre-exemple. Soit A =
_
1 0
0 0
_
et b =
_
0
0
_
. Alors Ax b
2
= x
2
1
et toute la droite x
1
= 0 ralise le
minimum de f.
Exercice 84 page 161 (Minimisation dans R)
1. La fonction f
0
est diffrentiable sur IR, et strictement convexe. Elle admet un minimum unique sur IR et sur
K et son minimum est ralis en x = 0, et on a f
0
( x) = 0.
2. La fonction f
1
est diffrentiable sur IR, et non convexe. La fonction f
1
admet un maximum local en x =
1
2
,
et on a f( x) =
1
16
. Elle admet un minimum global non unique, ralis en 0 et 1, et dont la valeur est 0.
3. La fonction f
2
est diffrentiable sur IR\{0}, et convexe, mais pas strictement convexe. La fonction f
2
admet
un minimum unique sur IR et sur K et son minimum est ralis en x = 0, et on a f
2
( x) = 0, mais la fonction
f
2
nest pas diffrentiable en 0.
4. La fonction f
3
3
admet un minimum, qui est -1, et qui
nest pas unique car il est ralis pour les points (2k + 1), k ZZ .
5. La fonction f
4
4
admet un minimum, qui est 0, et qui
nest pas unique car il est ralis pour les points (2k + 1)
2
, k ZZ . La fonction f
4
nest pas diffrentiable
en ces points.
6. La fonction f
5
est diffrentiable et strictement convexe. Elle nadmet pas de minimum. On a f
5
(x) 0
lorsque x mais f(x) > 0 pour tout x IR.
3.2. OPTIMISATION SANS CONTRAINTE CHAPITRE 3. OPTIMISATION
3.2 Optimisation sans contrainte
3.2.1 Dnition et condition doptimalit
Soit f C(E, IR) et E un espace vectoriel norm. On cherche soit un minimum global de f, c..d. :
x E tel que f( x) f(y) y E, (3.8)
ou un minimum local, c..d. :
x tel que > 0 f( x) f(y) y B( x, ). (3.9)
Proposition 3.10 (Condition ncessaire doptimalit).
Soit E un espace vectoriel norm, et soient f C(E, IR), et x E tel que f est diffrentiable en x. Si x est
solution de (3.9) alors Df( x) = 0.
DMONSTRATION Supposons quil existe > 0 tel que f( x) f(y) pour tout y B( x, ). Soit z E \ {0},
alors si |t| <

z
, on a x + tz B( x, ) (o B( x, ) dsigne la boule ouverte de centre x et de rayon ) et on a donc
f( x) f( x +tz). Comme f est diffrentiable en x, on a :
f( x +tz) = f( x) +Df( x)(tz) +|t|z(t),
o z(t) 0 lorsque t 0. On a donc f( x) + tDf( x)(z) +|t|z(t) f( x). Et pour

z
> t > 0, on a Df( x)(z) +
z(t) 0. En faisant tendre t vers 0, on obtient que
Df( x)(z) 0, z E.
On a aussi Df( x)(z) 0 z E, et donc : Df( x)(z) 0 z E.
On en conclut que
Df( x) = 0.
Remarque 3.11. Attention, la proposition prcdente donne une condition ncessaire mais non sufsante. En effet,
Df( x) = 0 nentrane pas que f atteigne un minimum (ou un maximum) mme local, en x. Prendre par exemple
E = IR, x = 0 et la fonction f dnie par : f(x) = x
3
pour sen convaincre.
3.2.2 Rsultats dexistence et dunicit
Thorme 3.12 (Existence). Soit E = IR
n
et f : E IR une application telle que
(i) f est continue,
(ii) f(x) +quand x +.
Alors il existe x IR
n
tel que f( x) f(y) pour tout y IR
n
.
DMONSTRATION La condition (ii) peut encore scrire
A IR, R IR; x R f(x) A. (3.10)
On crit (3.10) avec A = f(0). On obtient alors :
R IR tel que x R f(x) f(0).
On en dduit que infIR
n f = infB
R
f, o BR = {x IR
n
; |x| R}. Or, BR est un compact de IR
n
et f est continue
donc il existe x BR tel que f( x) = infB
R
f et donc f( x) = infIR
nf.
Remarque 3.13.
1. Le thorme est faux si E est de dimension innie (i.e. si E est espace de Banach au lieu de E = IR
n
), car
si E est de dimension innie, B
R
nest pas compacte.
2. Lhypothse (ii) du thorme peut tre remplace par
(ii)
b IR
n
, R > 0 tel que x R f(x) f(b).
3. Sous les hypothses du thorme il ny a pas toujours unicit de x mme dans le cas n = 1, prendre pour
sen convaincre la fonction f dnie de IR dans IR par f(x) = x
2
(x 1)(x + 1).
Thorme 3.14 (Condition sufsante dunicit). Soit E un espace vectoriel norm et f : E IR strictement
convexe alors il existe au plus un x E tel que f( x) f(y), y E.
DMONSTRATION Soit f strictement convexe, supposons quil existe x et

x E tels que f( x) = f(
x) = infIR
n f.
Comme f est strictement convexe, si x =

x alors
f(
1
2
x +
1
2
x) <
1
2
f( x) +
1
2
f(
x) = inf
IR
n
f,
ce qui est impossible ; donc x =

x.
Ce thorme ne donne pas lexistence. Par exemple dans le cas n = 1 la fonction f dnie par f(x) = e
x
natteint
pas son minimumn ; en effet, inf
IR
n
f = 0 et f(x) = 0 pour tout x IR, et pourtant f est strictement convexe. Par
contre, si on runit les hypothses des thormes 3.12 et 3.14, on obtient le rsultat dexistence et unicit suivant :
Thorme 3.15 (Existence et unicit). Soit E = IR
n
, et soit f : E IR. On suppose que :
(i) f continue,
(ii) f(x) +quand x +,
(iii) f est strictement convexe ;
alors il existe un unique x IR
n
tel que f( x) = inf
IR
n
f.
Remarque 3.16 (Gnralisation un espace de Hilbert). Le thorme 3.15reste vrai si E est un espace de Hilbert ;
on a besoin dans ce cas pour la partie existence des hypothses (i), (ii) et de la convexit de f.
Proposition 3.17 (Caractrisation des points tels que f( x) = inf
E
f). Soit E espace vectoriel norm et f une
fonction de E dans IR. On suppose que f C
1
(E, IR) et que f est convexe. Soit x E. Alors :
f( x) = inf
E
f Df( x) = 0.
En particulier si E = IR
n
alors f( x) = inf
xIR
n
f(x) f( x) = 0.
Dmonstration
() Supposons que f( x) = inf
E
f alors on sait (voir Proposition 3.10) que Df( x) = 0 (la convexit est inutile).
() Si f est convexe et diffrentiable, daprs la proposition 3.8, on a : f(y) f( x) + Df( x)(y x) pour tout
y E et comme par hypothse Df( x) = 0, on en dduit que f(y) f( x) pour tout y E. Donc f( x) = inf
E
f.
Cas dune fonctionnelle quadratique Soient A M
n
(IR), b IR
n
, et f la fonction de IR
n
dans IR
n
dnie
par f(x) =
1
2
Ax x b x. Alors f C
(IR
n
, IR). Le calcul du gradient de f et de sa hessienne font lobjet de
lexercice 89 : on montre que
f(x) =
1
2
(Ax +A
t
x) b.
Donc si A est symtrique f(x) = Ax b. Le calcul de la hessienne de f donne :
H
f
(x) = D(f(x)) =
1
2
(A+A
t
).
On en dduit que si A est symtrique, H
f
(x) = A. On peut montrer en particulier (voir exercice 89) que si A est
symtrique dnie positive alors il existe un unique x IR
n
tel que f( x) f(x) pour tout x IR
n
, et que ce x
est aussi lunique solution du systme linaire Ax = b.
3.2.3 Exercices
Exercice 88 (Maximisation).
Suggestions en page 167
Soit E un espace vectoriel norm et f : E IR.
1. Donner une condition sufsante dexistence de x E tel que x = sup
xE
f(x).
2. Donner une condition sufsante dunicit de x E tel que x = sup
xE
f(x).
3. Donner une condition sufsante dexistence et unicit de x E tel que x = sup
xE
f(x).
Exercice 89 (Minimisation dune fonctionnelle quadratique). Suggestions en page 3.2.3. Corrig dtaill en page
167
Soient A M
n
(IR) une matrice inversible, b IR
n
, et f la fonction de IR
n
dans IR dnie par f(x) =
1
2
Ax
x b x.
1. Montrer que f C
(IR
n
, IR) et calculer le gradient et la matrice hessienne de f en tout point.
2. Montrer que si A est symtrique dnie positive alors il existe un unique x IR
n
qui minimise f, et que ce x
est lunique solution du systme linaire Ax = b.
3. Montrer que si A est symtrique dnie positive alors il existe un unique x IR
n
qui maximise f, et que ce
x est lunique solution du systme linaire Ax = b.
4. Montrer que si A a des valeurs propres strictement positives et des valeurs propres strictement ngatives alors
x = A
1
b est un point selle de f.
Exercice 90 (Complment de Schur).
Soient n et p deux entiers naturels non nuls. Dans toute la suite, si u et v sont deux vecteurs de IR
k
, k 1, le
produit scalaire de u et v est not u v. Soient A une matrice carre dordre n, symtrique dnie positive, soit B
une matrice n p, C une matrice carre dordre p, et soient f IR
n
et g IR
p
. On considre le systme linaire
suivant :
M
_
x
y
_
=
_
f
g
_
, avec M =
_
A B
B
t
C
_
. (3.11)
1. On suppose dans cette question seulement que n = p = 1, et A =
_
a
, B =
_
b
, C =
_
c
(a) Donner une condition ncessaire et sufsante sur a, b, et c pour que M soit inversible.
(b) Donner une condition ncessaire et sufsante sur a, b, et c pour que M soit symtrique dnie positive.
2. On dnit la matrice S = C B
t
A
1
B, quon appelle complment de Schur".
(a) Calculer S dans le cas A =
_
1 1
0 1
_
, B =
_
1 1
0 1
_
, C =
_
1 0
0 1
_
.
(b) Montrer quil existe une unique solution au problme (3.11) si et seulement si la matrice S est inversible.
Est-ce le cas dans la question (a) ?
3. On suppose dans cette question que C est symtrique.
(a) Vrier que M est symtrique.
(b) Soient x IR
n
, y IR
p
et z = (x, y) IR
n+p
. Calculer Mz z en fonction de A, B, C, x et y.
(c) On xe maintenant y IR
p
, et on dnit la fonction F de IR
n
dans IR par : x Ax x +2By x +Cy y.
Calculer F(x), et calculer x
0
IR
n
tel que F(x
0
) = 0
(d) Montrer que la fonction F dnie en 3(c) admet un unique minimum, et calculer la valeur de ce mimimum.
(e) En dduire que M est dnie positive si et seulement si S est dnie positive (o S est la matrice dnie
la question 1).
4. On suppose dans cette question que C est la matrice (carre dordre p) nulle.
(a) Montrer que la matrice

S = S est symtrique dnie positive si et seulement si p n et rang(B)=p. On
supposera que ces deux conditions sont vries dans toute la suite de la question.
(b) En dduire que la matrice P =
_
A 0
0

S
_
(c) Calculer les valeurs propres de la matrice T = P
1
M (il peut tre utile de distinguer les cas KerB
t
= {0}
et KerB
t
= {0}).
Exercice 91 (Approximation au sens des moindres carrs).
1. Un premier exemple. Dans le plan (s, t), on cherche la droite dquation t = +s qui passe par les points
(0, 1), (1, 9), (3, 9), (4, 21).
(a) Montrer que si cette droite existait, le vecteur x =
_
_
serait solution dun systme linaire Ax = b ;
on donnera explicitement la matrice A et le vecteur b.
(b) Montrer quune telle droite nexiste pas. Dans la suite du problme on va trouver la droite passe le
plus prs possible de ces quatre points, au sens de la norme euclidienne.
2. Un second exemple. On cherche maintenant dterminer les coefcients , et dune fonction linaire
T de IR
3
dans IR, dont on ne connat la valeur quen deux points : T(1, 1, 1) = 3 et T(0, 1, 1) = 2.
(a) Montrer que les coefcients , et sils existent, satisfont un systme linaire Ax = b ; on donnera
explicitement la matrice A et le vecteur b.
(b) Montrer quil existe une innit de solutions au systme Ax = b. Dans la suite du problme on va
trouver les coefcients , et qui donnent un vecteur x de norme euclidienne minimale.
On considre maintenant une matrice A dordre n m et b IR
n
, et on veut rsoudre dans un sens aussi satis-
faisant" que possible le systme linaire
Ax = b, x IR
m
, (3.12)
lorsque m = n ou lorsque m = n mais que A nest pas inversible. On note y =
_
p
i=1
y
2
i
_1
2
la norme
euclidienne sur IR
p
, p = n ou m suivant les cas et ( | ) le produit scalaire associ. Soit f la fonction dnie de
IR
m
dans IR
n
par f(x) = Ax b
2
. On cherche minimiser f, c..d. trouver x IR
n
tel que
f( x) = min{f(x), x IR
n
}. (3.13)
3. Soit E un sous espace vectoriel de IR
m
tel que IR
m
= E
KerA.
(a) Montrer que f(z) +lorsque z +avec z E.
(b) Montrer que f est strictement convexe de E dans IR.
(c) En dduire quil existe un unique z E tel que
f( z) f(z), z E.
4. Soit X
b
= { z+y, y KerA.}, o z est dni la question prcdente. Montrer que X
b
est gal lensemble
des solutions du problme de minimisation (3.13).
5. Montrer que x X
b
A
t
Ax = A
t
b, o A
t
dsigne la matrice transpose de A. On appelle systme
dquations normales le systme A
t
Ax = A
t
b.
6. Ecrire les quations normales dans le cas de lexemple de la question 1, et en dduire lquation de la droite
obtenue par moindres carrs, i.e. par rsolution de (3.13). Tracer les quatre points donns la question 1 et
la droite obtenue sur un graphique.
7. Ecrire les quations normales dans le cas de lexemple de la question 2, et vrier que le systme obtenu
nest pas inversible.
8. Pour y KerA, on pose g(y) = y + z
2
, o z est dnie la question 3. Montrer quil existe un unique
y KerA tel que g( y) g(y) pour tout y KerA. En dduire quil existe un unique x X
b
tel que
x
2
x
2
pour tout x X
b
. On appelle x pseudo-solution de (3.13).
9. Calculer x dans le cas des exemples des questions 1 et 2.
Dans la suite du problme, on considre, pour > 0 x, une version pnalise du problme (3.13). On introduit
la fonction f
de IR
m
dans IR, dnie par f
(x) = x
2
+
1
A
t
Ax A
t
b
2
, et on cherche trouver x
solution
du problme de minimisation suivant :
f
(x
) f
(x), x IR
m
. (3.14)
10. Montrer que le problme (3.14) possde une unique solution x
.
11. Calculer f
(x) et en dduire lquation satisfaite par x
.
12. Montrer que x
converge vers x lorsque 0.

Exercice 88 page 165 (Maximisation) Appliquer les thormes du cours f.
Exercice 89 page 165 (Minimisation dune fonctionnelle quadratique)
1. Calculer la diffrentielle de f en formant la diffrence f(x + h) f(x) et en utilisant la dnition. Calculer la
hessienne en formant la diffrence f(x +h) f(x).
2. Utiliser le cours. . .
Corrig de lexercice 89 page 165 (Minimisation dune fonctionnelle quadratique)
1. Puisque f(x) =
1
2
Ax x b x, on a f C
(IR
n
, IR). Calculons le gradient de f :
f(x +h) =
1
2
A(x +h) (x +h) b (x +h)
=
1
2
Ax x +
1
2
Ax h +
1
2
Ah x +
1
2
Ah h b x b h
= f(x) +
1
2
(Ax h +Ah x) b h +
1
2
Ah h
= f(x) +
1
2
(Ax +A
t
x) h b h +
1
2
Ah h.
3.3. ALGORITHMES DOPTIMISATION SANS CONTRAINTE CHAPITRE 3. OPTIMISATION
Et comme Ah h A
2
h
2
, on a :
f(x) =
1
2
(Ax +A
t
x) b. (3.15)
Si A est symtrique f(x) = Ax b. Calculons maintenant la hessienne de f. Daprs (3.15), on a :
f(x +h) =
1
2
(A(x +h) +A
t
(x +h)) b = f(x) +
1
2
(Ah +A
t
h)
et donc H
f
(x) = D(f(x)) =
1
2
(A+A
t
). On en dduit que si A est symtrique, H
f
(x) = A.
2. Si Aest symtrique dnie positive, alors f est strictement convexe. De plus, si Aest symtrique dnie positive,
alors f(x) +quand |x| +. En effet,
Ah h |h|
2
o est la plus petite valeur propre de A, et > 0
f(h)

2
h
2
bh; or bh b h
f(h) h
_
h
2
b
_
quand h +
On en dduit lexistence et lunicit de x qui minimise f. On a aussi :
f( x) = 0 f( x) = inf
IR
n
f
Par la question 1. x est donc lunique solution du systme A x = b.
3.3 Algorithmes doptimisation sans contrainte
Soit E = IR
n
et f C(E, IR). On suppose quil existe x E tel que f( x) = inf
E
f. On cherche calculer x
(si f est de classe C
1
, on a ncessairement f( x) = 0). On va donc maintenant dvelopper des algorithmes (ou
mthodes de calcul) du point x qui ralise le minimum de f.
3.3.1 Mthodes de descente
Dnition 3.18. Soient f C(E, IR) et E = IR
n
.
1. Soit x E, on dit que w E \ {0} est une direction de descente en x sil existe
0
> 0 tel que
f(x +w) f(x) [0,
0
]
2. Soit x E, on dit que w E \ {0} est une direction de descente stricte en x si sil existe
0
> 0 tel que
f(x +w) < f(x) ]0,
0
].
3. Une mthode de descente" pour la recherche de x tel que f( x) = inf
E
f consiste construire une suite
(x
n
)
n
(a) Initialisation x
0
E ;
(b) Itration n : on suppose x
0
. . . x
n
connus (n 0) ;
i. On cherche w
n
direction de descente stricte en x
n
ii. On prend x
n+1
= x
n
+
n
w
n
avec
n
> 0 bien choisi".
Proposition 3.19. Soient E = IR
n
, f C
1
(E, IR), x E et w E \ {0} ; alors
1. si w direction de descente en x alors w f(x) 0
2. si f(x) = 0 alors w = f(x) est une direction de descente stricte en x.
DMONSTRATION 1. Soit w E \ {0} une direction de descente en x alors par dnition,
0 > 0 tel que f(x +w) f(w), [0, 0].
Soit la fonction de IR dans IR dnie par : () = f(x+w). On a C
1
(IR, IR) et
() = f(x+w) w.
Comme w est une direction de descente, on peut crire : () (0), [0, 0], et donc
]0, 0[,
() (0)
0;
en passant la limite lorsque tend vers 0, on dduit que
(0) 0, c..d. f(x) w 0.

2. Soit w = f(x) = 0. On veut montrer quil existe 0 > 0 tel que si ]0, 0] alors f(x + w) < f(x) ou
encore que () < (0) o est la fonction dnie en 1 ci-dessus. On a :
(0) = f(x) w = |f(x)|

2
< 0.
Comme
est continue, il existe 0 > 0 tel que si [0, 0] alors
() < 0. Si ]0, 0] alors () (0) =
(t)dt < 0, et on a donc bien () < (0) pour tout ]0, 0], ce qui prouve que w est une direction de
descente stricte en x.
Algorithme du gradient pas xe Soient f C
1
(E, IR) et E = IR
n
. On se donne > 0.
_
_
Initialisation : x
0
E,
Itration n : x
n
connu, (n 0)
w
n
= f(x
n
),
x
n+1
= x
n
+w
n
.
(3.16)
Thorme 3.20 (Convergence du gradient pas xe). Soient E = IR
n
et f C
1
(E, IR) On suppose que :
1. > 0 tel que (f(x) f(y)) (x y) x y
2
, (x, y) E
2
,
2. M > 0 tel que f(x) f(y) Mx y, (x, y) E
2
,
alors :
1. f est strictement convexe,
2. f(x) +quand |x| +,
3. il existe un et un seul x E tel que f( x) = inf
E
f (consquence de 1. et 2.),
4. si 0 < <
2
M
2
alors la suite (x
n
)
nIN
construite par (3.16) converge vers x lorsque n +.
La dmonstration de ce thorme fait lobjet de lexercice 92.
Algorithme du gradient pas optimal Lide de lalgorithme du gradient pas optimal est dessayer de calculer
chaque itration le paramtre qui minimise la fonction dans la direction de descente donne par le gradient. Soient
f C
1
(E, IR) et E = IR
n
, cet algorithme scrit :
_
_
Initialisation : x
0
IR
n
.
Itration n : x
n
connu.
On calcule w
n
= f(x
n
).
On choisit
n
0 tel que
f(x
n
+
n
w
n
) f(x
n
+w
n
) 0.
On pose x
n+1
= x
n
+
n
w
n
.
(3.17)
Les questions auxquelles on doit rpondre pour sassurer du bien fond de ce nouvel algorithme sont les suivantes :
1. Existetil
n
tel que f(x
n
+
n
w
n
) f(x
n
+w
n
), 0 ?
2. Comment calculeton
n
?
3. La suite (x
n
)
nIN
construite par lalgorithme convergetelle ?
La rponse aux questions 1. et 3. est apporte par le thorme suivant :
Thorme 3.21 (Convergence du gradient pas optimal).
Soit f C
1
(IR
n
, IR) telle que f(x) +quand |x| +. Alors :
1. La suite (x
n
)
nIN
est bien dnie par (3.17). On choisit
n
> 0 tel que f(x
n
+
n
w
n
) f(x
n
+ w
n
)
0 (
n
existe mais nest pas ncessairement unique).
2. La suite (x
n
)
nIN
est borne et si (x
n
k
)
kIN
est une sous suite convergente, i.e. x
n
k
x lorsque k +,
on a ncessairement f(x) = 0. De plus si f est convexe on a f(x) = inf
IR
n
f
3. Si f est strictement convexe on a alors x
n
x quand n +, avec f( x) = inf
IR
n
f
La dmonstration de ce thorme fait lobjet de lexercice 94. On en donne ici les ides principales.
1. On utilise lhypothse f(x) + quand |x| + pour montrer que la suite (x
n
)
nIN
construite par
(3.17) existe : en effet, x
n
connu,
1er cas : si f(x
n
) = 0, alors x
n+1
= x
n
et donc x
p
= x
n
p n,
2me cas : si f(x
n
) = 0, alors w
n
= f(x
n
) est une direction de descente stricte.
Dans ce deuxime cas, il existe donc
0
tel que
f(x
n
+w
n
) < f(x
n
), ]0,
0
]. (3.18)
De plus, comme w
n
= 0, |x
n
+ w
n
| + quand + et donc f(x
n
+ w
n
) + quand
+. Il existe donc M > 0 tel que si > M alors f(x
n
+w
n
) f(x
n
). On a donc :
inf
IR
+
f(x
n
+w
n
) = inf
[0,M]
f(x
n
+w
n
).
Comme [0, M] est compact, il existe
n
[0, M] tel que f(x
n
+
n
w
n
) = inf
[0,M]
f(x
n
+ w
n
). De plus
on a grce (3.18) que
n
> 0.
2. Le point 2. dcoule du fait que la suite (f(x
n
))
nIN
est dcroissante, donc la suite (x
n
)
nIN
est borne (car
f(x) +quand |x| +). On montre ensuite que si x
n
k
x lorsque k +alors f( x) = 0
(ceci est plus difcile, les tapes sont dtailles dans lexercice 94).
Reste la question du calcul de
n
. Soit la fonction de IR
+
dans IR dnie par : () = f(x
n
+ w
n
). Comme
n
> 0 et (
n
) () pour tout IR
+
, on a ncessairement
(
n
) = f(x
n
+
n
w
n
)w
n
= 0. Considrons
le cas dune fonctionnelle quadratique, i.e. f(x) =
1
2
Ax xb x, A tant une matrice symtrique dnie positive.
Alors f(x
n
) = Ax
n
b, et donc f(x
n
+
n
w
n
) w
n
= (Ax
n
+
n
Aw
n
b) w
n
= 0. On a ainsi dans ce cas
une expression explicite de
n
:
n
=
(b Ax
n
) w
n
Aw
n
w
n
,
(en effet, Aw
n
w
n
= 0 car A est symtrique dnie positive).
Dans le cas dune fonction f gnrale, on na pas en gnral de formule explicite pour
n
. On peut par exemple le
calculer en cherchant le zro de f
par la mthode de la scante ou la mthode de Newton. . .

Lalgorithme du gradient pas optimal est donc une mthode de minimisation dont on a prouv la convergence. Ce-
pendant, cette convergence est lente (en gnral linaire), et de plus, lalgorithme ncessite le calcul du paramtre
n
optimal.
Algorithme du gradient pas variable Dans ce nouvel algorithme, on ne prend pas forcment le paramtre
optimal pour , mais on lui permet dtre variable dune itration lautre. Lalgorithme scrit :
_
_
Initialisation : x
0
IR
n
.
Itration : On suppose x
n
connu ; soit w
n
= f(x
n
) o : w
n
= 0
(si w
n
= 0 lalgorithme sarrte).
On prend
n
> 0 tel que f(x
n
+
n
w
n
) < f(x
n
).
On pose x
n+1
= x
n
+
n
w
n
.
(3.19)
Thorme 3.22 (Convergence du gradient pas variable).
Soit f C
1
(IR
n
, IR) une fonction telle que f(x) +quand |x| +, alors :
1. On peut dnir une suite (x
n
)
nIN
par (3.19).
2. La suite (x
n
)
nIN
est borne. Si x
n
k
x quand k + et si f(x
n
k
) 0 quand n + alors
f(x) = 0. Si de plus f est convexe on a f(x) = inf
IR
n
f
3. Si f(x
n
) 0 quand n +et si f est strictement convexe alors x
n
x et f( x) = inf
IR
n
f.
La dmonstration seffectue facilement partir de la dmonstration du thorme prcdent : reprendre en ladaptant
lexercice 94.
3.3.2 Algorithmes du gradient conjugu
La mthode du gradient conjugu a t dcouverte en 1952 par Hestenes et Steifel pour la minimisation de fonc-
tionnelles quadratiques, cest- -dire de fonctionnelles de la forme
f(x) =
1
2
Ax x b x,
o A M
n
(IR) est une matrice symtrique dnie positive et b IR
n
. On rappelle (voir section (3.2.2) et
exercice (89)) que f( x) = inf
IR
n
f A x = b.
Dnition 3.23 (Vecteurs conjugus). Soit A M
n
(IR) une matrice symtrique dnie positive,
1. Deux vecteurs v et w de IR
n
\ {0} sont dits A-conjugus si Av w = w Av = 0.
2. Une famille (w
(1)
, . . . , w
(p)
) de IR
n
\ {0} est dite A-conjugue si w
(i)
Aw
(j)
= 0 pour tout couple
(i, j) {1, . . . , p}
2
tel que i = j.
n
(IR) une matrice symtrique dnie positive, (w
(1)
, . . . , w
(p)
) une famille de IR
n
,
alors :
1. si la famille (w
(1)
, . . . , w
(p)
) est A-conjugue alors elle est libre ;
2. dans le cas o p = n, si la famille (w
(1)
, . . . , w
(n)
) est A-conjugue alors cest une base de IR
n
.
DMONSTRATION Le point 2. est immdiat ds quon a dmontr le point 1. Supposons donc que (w
(1)
, . . . , w
(p)
)
est une famille A-conjugue, i.e. w
(i)
= 0, i et w
(i)
Aw
(j)
= 0 si i = j ; soit (i)i=1,...,p IR, supposons que
p
i=1
iw
(i)
= 0, on a donc
p
i=1
iw
(i)
Aw
(j)
= 0 et donc jw
(j)
Aw
(j)
= 0. Or w
(j)
Aw
(j)
= 0 car w
(j)
= 0 et
A est symtrique dnie positive. On en dduit que j = 0 pour j = 1, . . . , p. La famille (w
(1)
, . . . , w
(p)
) est donc libre.
n
(IR) une matrice symtrique dnie positive, b IR
n
et f une fonction dnie de
IR
n
dans IR
n
par f(x) =
1
2
Ax x b x. On suppose que la suite (x
(k)
)
n
est dnie par :
Initialisation x
(0)
IR
n
Itration n x
(k+1)
= x
(k)
+
n
w
(k)
o
1) w
(k)
= 0 est une direction de descente stricte en x
(k)
2)
n
est optimal dans la direction w
(k)
.
Si la famille (w
(0)
, . . . , w
(n1)
) est une famille A-conjugue alors x
(n)
= x avec A x = b.
DMONSTRATION Soit w
(k)
direction de descente stricte en x
(k)
et n optimal dans la direction w
(k)
; alors n > 0
et f(x
(k+1)
) w
(k)
= 0, cest--dire
(Ax
(k+1)
b) w
(k)
= 0 (3.20)
On va montrer que
(Ax
(n)
b) w
(p)
= 0, p {0, . . . , n 1}.
Comme (w
(0)
, . . . , w
(n1)
) est une base de IR
n
, on en dduit alors que Ax
(n)
= b, cest--dire x
(n)
= x. Remarquons
dabord grce (3.20) que (Ax
(n)
b) w
(n1)
= 0. Soit maintenant p < n 1. On a :
Ax
(n)
b = A(x
(n1)
+n1w
(n1)
) b = Ax
(n1)
b +n1Aw
(n1)
.
On a donc en itrant,
Ax
(n)
b = Ax
(p+1)
b +n1Aw
(n1)
+. . . +p+1Aw
(p+1)
, p 1
. On en dduit que
(Ax
(n)
b) w
(p)
= (Ax
(p+1)
b) w
(p)
+
n1
j=p+1
(iAwj w
(p)
).
Comme les directions wi sont conjugues, on a donc (Ax
(n)
b) w
(p)
= 0 pour tout p = 0 . . . , n1 et donc Ax
(n)
= b.
Le rsultat prcdent suggre de rechercher une mthode de minimisation de la fonction quadratique f selon le
principe suivant : Pour x
(0)
. . . x
(k)
connus, w
(0)
, . . . , w
(k1)
connus, on cherche w
(k)
tel que :
1. w
(k)
soit une direction de descente stricte en x
(k)
,
2. w
(k)
soit A-conjugu avec w
(p)
pour tout p < n.
Si on arrive trouver w
(k)
on prend alors x
(k+1)
= x
(k)
+
n
w
(k)
avec
n
optimal dans la direction w
(k)
. La
proprit prcdente donne x
(n)
= x avec A x = b.
Dnition 3.26 (Mthode du gradient conjugu). Soit A M
n
(IR) une matrice symtrique dnie positive,
b IR
n
et f(x) =
1
2
Ax x b x.
_
_
Initialisation
Soit x
(0)
IR
n
, et soit r
(0)
= b Ax
(0)
= f(x
(0)
).
1) Si r
(0)
= 0, alors Ax
(0)
= b et donc x
(0)
= x,
auquel cas lalgorithme sarrte.
2) Si r
(0)
= 0, alors on pose w
(0)
= r
(0)
, et on choisit
0
optimal
dans la direction w
(0)
.
On pose alors x
(1)
= x
(0)
+
0
w
(0)
.
Itration 1 n n 1 :
On suppose x
(0)
, . . . , x
(k)
et w
(0)
, . . . , w
(k1)
connus et on pose
r
(k)
= b Ax
(k)
.
1) Si r
(k)
= 0 on a Ax
(k)
= b donc x
(k)
= x
2) Si r
(k)
(k)
= r
(k)
+
n1
w
(k1)
avec
n1
tel que w
(k)
Aw
(k1)
= 0,
et on choisit
n
(k)
;
On pose alors x
(k+1)
= x
(k)
+
n
w
(k)
.
(3.21)
Thorme 3.27. Soit A une symtrique dnie positive, A M
n
(IR), b IR
n
et f(x) =
1
2
Ax x b x alors
(3.21) dnit une suite (x
(k)
)
n=0,...,p
avec p n telle que x
(n)
= x avec A x = b.
DMONSTRATION Initialisation Si r
(0)
= 0, alors Ax
(0)
= b et donc x
(0)
= x auquel cas p = 0. Si r
(0)
= 0,
comme w
(0)
= r
(0)
= b Ax
(0)
= f(x
(0)
), w
(0)
est une direction de descente stricte ; il existe donc 0 qui
minimise la fonction dnie de IR dans IR par () = f(x
(0)
+ w
(0)
). La valeur de 0 est obtenue en demandant
que
() = 0, ce qui donne : 0 =
r
(0)
w
(0)
Aw
(0)
w
(0)
. Llment x
(1)
= x
(0)
+ 0w
(0)
est donc bien dni. Notons que
r
(1)
= Ax
(1)
b = r
(0)
0Aw
(0)
, et donc r
(1)
w
(0)
= 0.
Itration n
On suppose x
(0)
, . . . , x
(k)
et w
(0)
, . . . , w
(k)
connus, et on pose r
(k)
= b Ax
(k)
.
Si r
(k)
= 0 alors Ax
(k)
= b et donc x
(k)
= x auquel cas lalgorithme sarrte et p = n.
Si r
(k)
= 0, on pose w
(k)
= r
(k)
+n1w
(k1)
. Comme w
(k1)
= 0, on peut choisir n1 tel que w
(k)
Aw
(k1)
= 0,
c..d. (r
(k)
+n1w
(k1)
) Aw
(k1)
= 0, en prenant
n1 =
r
(k)
Aw
(k1)
w
(k1)
Aw
(k1)
.
Montrons maintenant que w
(k)
est une direction de descente stricte en x
(k)
. On a :
w
(k)
(f(x
(k)
)) = (r
(k)
+n1w
(k1)
) (f(x
(k)
))
= (f(x
(k)
) +n1wn1) (f(xn))
= |f(x
(k)
)|
2
n1w
(k1)
f(x
(k)
).
Or w
(k1)
f(x
(k)
) = 0 car n1 est le paramtre de descente optimal en x
(k1)
dans la direction w
(k1)
, on a donc :
w
(k)
f(x
(k)
) = |f(x
(k)
)|
2
= |r
(k)
|
2
> 0
ceci donne que w
(k)
(k)
On peut choisir n > 0 optimal en x
(k)
dans la direction
w
(k)
, et le calcul de n (similaire celui de ltape dinitialisation) donne
n =
r
(k)
w
(k)
Aw
(k)
w
(k)
. (3.22)
On peut donc bien dnir x
(k+1)
= x
(k)
+nw
(k)
. Remarquons que ce choix de n entrane que
r
(k)
w
(k1)
= 0. (3.23)
Pour pouvoir appliquer la proposition 3.25, il reste montrer que la famille w
(0)
, . . . , w
(k)
est A-conjugue. Ceci est
lobjet de la proposition 3.29 qui suit. Grce cette proposition, on obtient que si r
(k)
= 0, n = 0, . . . , n 1, la famille
(w
(0)
, . . . , w
(n1)
) est donc A-conjugue, et w
(k)
(k)
pour tout n n 1. On
en dduit par la proposition 3.25 que x
(n)
= x.
La dmonstration de la proposition 3.29 que lon vient dutiliser se fait par rcurrence, et ncessite les petits
rsultats prliminaires noncs dans le lemme suivant :
Lemme 3.28. Sous les hypothses et notations de la dnition 3.26, on a :
n
=
r
(k)
r
(k)
w
(k)
Aw
(k)
, (3.24)
r
(k)
= r
(k1)
+
n1
Aw
(k1)
, (3.25)
r
(k)
r
(k1)
= 0, (3.26)
n1
=
r
(k)
r
(k)
r
(k1)
r
(k1)
, (3.27)
DMONSTRATION 1. Comme n est le paramtre optimal dans la direction w
(k)
, on sait (voir (3.22)) que
n =
r
(k)
w
(k)
Aw
(k)
w
(k)
.
Or par dnition, w
(k)
= r
(k)
+ n1w
(k1)
, et donc w
(k)
r
(k)
= r
(k)
r
(k)
+ n1w
(k1)
r
(k)
. Il ne reste plus
remarquer que w
(k1)
r
(k)
= 0 en raison de loptimalit de n1 (voir (3.23)). On en dduit que
n =
r
(k)
r
(k)
w
(k)
Aw
(k)
.
2. Par dnition, x
(k)
= x
(k1)
+ n1w
(k1)
, donc Ax
(k)
= Ax
(k1)
+ n1Aw
(k1)
, ce qui entrane r
(k)
=
r
(k1)
+n1Aw
(k1)
.
3. Par dnition, et grce (3.25), on a :
r
(k)
r
(k1)
= r
(k1)
r
(k1)
+n1Aw
(k1)
r
(k1)
.
Or w
(k1)
= r
(k1)
+n1w
(n2)
, et donc r
(k1)
= w
(k1)
n1w
(n2)
. On en dduit que
r
(k)
r
(k1)
= r
(k1)
r
(k1)
n1Aw
(k1)
w
(k1)
n1n1Aw
(k1)
w
(n2)
.
Or Aw
(k1)
w
(n2)
= 0 et par (3.24), on a r
(k1)
r
(k1)
n1Aw
(k1)
w
(k1)
= 0.
4. Par dnition,
n1 =
r
(k)
Aw
(k1)
w
(k1)
Aw
(k1)
.
Or par (3.25), on a :
Aw
(k1)
=
1
n1
(r
(k1)
r
(k)
).
On conclut grce (3.26) et (3.24).
Proposition 3.29. Sous les hypothses et notations de la dnition 3.26, soit n IN tel que 1 n n, si r
(q)
= 0
pour 0 q n, les proprits suivantes sont vries :
1. r
(k)
w
(q)
= 0, q = 0, . . . , n 1,
2. Vect(r
(0)
, . . . , r
(k)
) = Vect(r
(0)
, . . . , A
n
r
(0)
),
3. Vect(w
(0)
, . . . , w
(k)
) = Vect(r
(0)
, . . . , A
n
r
(0)
),
4. w
(k)
Aw
(q)
= 0, q = 0, . . . , n 1,
5. r
(k)
r
(q)
= 0, q = 0, . . . , n 1,
o V ect(w
(0)
, . . . , w
(k)
) dsigne lespace vectoriel engendr par les vecteurs w
(0)
, . . . , w
(k)
. En particulier, la
famille (w
(0)
, . . . , w
(n1)
) est A-conjugue.
Lespace Vect(r
(0)
, . . . , A
n
r
(0)
) est appel espace de Krylov.
DMONSTRATION On dmontre les proprits 1. 5 par rcurrence.
Etudions tout dabord le cas n = 1. Remarquons que r
(1)
w
(0)
= 0 en vertu de (3.23) (on rappelle que cette proprit
dcoule du choix optimal de 0).
On a grce (3.25) :
r
(1)
= r
(0)
0Aw
(0)
= r
(0)
0Ar
(0)
,
car w
(0)
= r
(0)
. On a donc V ect(r
(0)
, r
(1)
) = V ect(r
(0)
, Ar
(0)
).
De plus, comme w
(0)
= r
(0)
, et w
(1)
= r
(1)
+1w
(0)
, on a
V ect(r
(0)
, r
(1)
) = V ect(w
(0)
, w
(1)
).
On en dduit que 2. et 3. sont vraies pour n = 1.
Enn, on a bien w
(1)
Aw
(0)
= 0 car w
(0)
et w
(1)
sont conjugues, et r
(0)
r
(1)
= 0 en vertu de (3.26).
On a ainsi montr que les proprits 1. 5. sont vries au rang n = 1. Supposons maintenant que ces proprits soient
vries jusquau rang n, et dmontrons quelles le sont encore au rang n + 1.
1. En vertu de (3.25), et par les hypothses de rcurrence 1. et 4., on a :
r
(k+1)
w
(q)
= r
(k)
w
(q)
nAw
(k)
w
(q)
= 0, q n 1.
De plus, (3.26) entrane r
(k+1)
w
(k)
= 0
2. Montrons que V ect(r
(0)
, r
(1)
. . . , r
(k+1)
) = V ect(r
(0)
, Ar
(0)
, . . . , A
(k+1)
r
(0)
). Pour ce faire, commenons par re-
marquer que
r
(k+1)
V ect(r
(0)
, Ar
(0)
. . . , A
(k+1)
r
(0)
).
En effet, en vertu de (3.25), on a : r
(k+1)
= r
(k)
nAw
(k)
, et par hypothse de rcurrence, on a
r
(k)
V ect(r
(0)
, Ar
(0)
. . . , A
n
r
(0)
), et w
(k)
V ect(r
(0)
, Ar
(0)
. . . , A
n
r
(0)
).
Montrons maintenant que A
n+1
r
(0)
V ect(r
(0)
, r
(1)
. . . , r
(k+1)
). Comme r
(k+1)
V ect(r
(0)
, Ar
(0)
. . . , A
(k+1)
r
(0)
),
il existe une famille (
k
)
k=0,...,n+1
telle que
r
(k+1)
=
n+1
k=0
k
A
k
r(0) =
n
k=0
k
A
k
r(0) +n+1A
n+1
r
(0)
.
Or grce la proprit 1. on sait que r
(k+1)
w
(q)
= 0, q n, et donc r
(k+1)
V ect(w
(0)
, w
(1)
. . . , w
(k)
). On a donc
n+1 = 0, et on peut donc crire
A
n+1
r
(0)
=
1
n+1
(r
(k+1)
k=0
k
A
k
r
(0)
) V ect(r
(0)
, r
(1)
. . . , r
(k+1)
),
par hypothse de rcurrence.
3. Montrons maintenant que
V ect(w
(0)
, w
(1)
. . . , w
(k+1)
) = V ect(r
(0)
, Ar
(0)
. . . , A
n+1
r
(0)
).
On a : w
(k+1)
= r
(k+1)
+nw
(k)
. Or on vient de montrer que
r
(k+1)
V ect(r
(0)
, Ar
(0)
. . . , A
n+1
r
(0)
),
et par hypothse de rcurrence, w
(k)
V ect(r
(0)
, Ar
(0)
. . . , A
n
r
(0)
). On a donc bien w
(k+1)
V ect(r
(0)
, Ar
(0)
. . . , A
n+1
r
(0)
).
Montrons que rciproquement, A
n+1
r
(0)
) V ect(w
(0)
, w
(1)
. . . , w
(k+1)
). On a montr en 2. que
A
n+1
r
(0)
=
1
n+1
(r
(k+1)
k=0
k
A
k
r
(0)
).
Or r
(k+1)
= w
(k+1)
nw
(k)
V ect(w
(0)
, w
(1)
. . . , w
(k+1)
), et
n
k=0
k
A
k
r
(0)
) V ect(r
(0)
, r
(1)
. . . , r
(k)
) = V ect(w
(0)
, w
(1)
. . . , w
(k)
),
par hypothse de rcurrence. On en dduit que
A
n+1
r
(0)
V ect(w
(0)
, w
(1)
. . . , w
(k)
).
4. On veut maintenant montrer que w
(k+1)
Aw
(q)
= 0, q n. Pour q = n, cette proprit est vrie en raison du
choix de w
(k+1)
(conjugue avec w
(k)
). Pour q < n, on calcule :
w
(k+1)
Aw
(q)
= r
(k+1)
Aw
(q)
+nw
(k)
Aw
(q)
. (3.28)
Or w
(k)
Aw
(q)
= 0 pour tout q n 1 par hypothse de rcurrence. De plus, toujours par hypothse de rcurrence,
w
(q)
V ect(r
(0)
, Ar
(0)
. . . , A
q
r
(0)
), et donc
Aw
(q)
V ect(r
(0)
, Ar
(0)
. . . , A
q+1
r
(0)
) = V ect(w
(0)
, w
(1)
. . . , w
(q+1)
).
On a montr en 1. que r
(k+1)
w
(k)
= 0 pour tout k n, on a donc r
(k+1)
Aw
(q)
= 0, et en reportant dans (3.28), on
obtient donc que w
(k+1)
Aw
(q)
= 0 pour tout q n.
5. Il reste montrer que r
(k+1)
r
(q)
= 0 pour tout q n. Pour q = n, on la dmontr dans le lemme 3.28. Pour
q n 1, on a
r
(k+1)
r
(q)
= (r
(k)
nAw
(k)
) r
(q)
= r
(k)
r
(q)
nAw
(k)
r
(q)
.
Or r
(k)
r
(q)
= 0 par hypothse de rcurrence, et Aw
(k)
r
(q)
= w
(k)
Ar
(q)
; or Ar
(q)
V ect(r
(0)
, . . . , r
(q)
et
w
(k)
r
(k)
= 0 pour tout k n 1 par hypothse de rcurrence 1. On en dduit que r
(k+1)
r
(q)
= 0.
Ceci termine la dmonstration de la proposition (3.29).
Remarque 3.30 (Gradient conjugu prconditionn).
1. On a vu que
n1
=
r
(k)
r
(k)
r
(k1)
r
(k1)
et que
n
=
r
(k)
r
(k)
w
(k)
Aw
(k)
.
On peut calculer le nombre doprations ncessaires pour calculer x (c..d. pour calculer x
(n)
, sauf dans le cas
miraculeux o x
(n)
= x pour n < n) et montrer (exercice) que :
N
gc
= 2n
3
+O(n
2
)
On rappelle que le nombre doprations pour Choleski est
n
3
6
donc la mthode nest pas intressante comme
mthode directe car elle demande 12 fois plus doprations que Choleski.
2. On peut alors se demander si la mthode est intressante comme mthode itrative, c..d. si on peut esprer
que x
(k)
soit proche de x" pour n n". Malheureusement, si la dimension n du systme est grande, ceci nest
pas le cas en raison de laccumulation des erreurs darrondi. Il est mme possible de devoir effectuer plus de n
itrations pour se rapprocher de x. Cependant, dans les annes 80, des chercheurs se sont rendus compte que ce
dfaut pouvait tre corrig condition dutiliser un prconditionnement". Donnons par exemple le principe du
prconditionnement dit de Choleski incomplet".
On calcule une approximation" de la matrice de Choleski de A c..d. quon cherche L triangulaire infrieure
inversible telle que A soit proche de LL
t
, en un sens dnir. Si on pose y = L
t
x, alors le systme Ax = b
peut aussi scrire L
1
A(L
t
)
1
y = L
1
b, et le systme (L
t
)
1
y = x est facile rsoudre car L
t
est triangulaire
suprieure. Soit B M
n
(IR) dnie par B = L
1
A(L
t
)
1
, alors
B
t
= ((L
t
)
1
)
t
A
t
(L
1
)
t
= L
1
A(L
t
)
1
= B
et donc B est symtrique. De plus,
Bx x = L
1
A(L
t
)
1
x x = A(L
t
)
1
x (L
t
)
1
x,
et donc Bxx > 0 si x = 0. La matrice B est donc symtrique dnie positive. On peut donc appliquer lalgorithme
du gradient conjugu la recherche du minimum de la fonction f dnie par
f(y) =
1
2
By y L
1
b y.
On en dduit lexpression de la suite (y
(k)
)
nIN
et donc (x
(k)
)
nIN
.
On peut alors montrer (voir exercice 100) que lalgorithme du gradient conjugu prconditionn ainsi obtenu peut
scrire directement pour la suite (x
(k)
)
nIN
, de la manire suivante :
Itration n On pose r
(k)
= b Ax
(k)
,
on calcule s
(k)
solution de LL
t
s
(k)
= r
(k)
.
On pose alors
n1
=
s
(k)
r
(k)
s
(k1)
r
(k1)
et w
(k)
= s
(k)
+
n1
w
(k1)
.
Le paramtre optimal
n
a pour expression :
n
=
s
(k)
r
(k)
Aw
(k)
w
(k)
, et on pose alors x
(k+1)
= x
(k)
+
n
w
(k)
.
Le choix de la matrice L peut se faire par exemple dans le cas dune matrice creuse, en effectuant une factorisation
LL
t
" incomplte, qui consiste ne remplir que certaines diagonales de la matrice L pendant la factorisation, et
laisser les autres 0.
On peut gnraliser le principe de lalgorithme du gradient conjugu une fonction f non quadratique. Pour cela,
on reprend le mme algorithme que (3.21), mais on adapte le calcul de
n1
et
n
.
Itration n :
A x
(0)
, . . . , x
(k)
et w
(0)
, . . . , w
(k1)
connus, on calcule r
(k)
= f(x
(k)
).
Si r
(k)
= 0 alors Ax
(k)
= b et donc x
(k)
= x auquel cas lalgorithme sarrte.
Si r
(k)
= 0, on pose w
(k)
= r
(k)
+
n1
w
(k1)
o
n1
peut tre choisi de diffrentes manires :
1re mthode (FletcherReeves)
n1
=
r
(k)
r
(k)
r
(k1)
r
(k1)
,
2me mthode (PolakRibire)
n1
=
(r
(k)
r
(k1)
) r
(k)
r
(k1)
r
(k1)
.
On pose alors x
(k+1)
= x
(k)
+
n
w
(k)
, o
n
est choisi, si possible, optimal dans la direction w
(k)
.
La dmonstration de la convergence de lalgorithme de PolakRibire fait lobjet de lexercice 101 page 185.
En rsum, la mthode du gradient conjugu est trs efcace dans le cas dune fonction quadratique condition
de lutiliser avec prconditionnement. Dans le cas dune fonction non quadratique, le prconditionnement ne se
trouve pas de manire naturelle et il vaut donc mieux rserver cette mthode dans le cas n petit".
3.3.3 Mthodes de Newton et QuasiNewton
Soit f C
2
(IR
n
, IR) et g = f C
1
(IR
n
, IR
n
). On a dans ce cas :
f(x) = inf
IR
n
f g(x) = 0.
Si de plus f est convexe alors on a g(x) = 0 f(x) = inf
IR
n
f. Dans ce cas dquivalence, on peut employer la
mthode de Newton pour minimiser f en appliquant lalgorithme de Newton pour chercher un zro de g = f.
On a D(f) = H
f
o H
f
(x) est la matrice hessienne de f en x. La mthode de Newton scrit dans ce cas :
_
Initialisation x
(0)
IR
n
,
Itration n H
f
(x
(k)
)(x
(k1)
x
(k)
) = f(x
(k)
).
(3.29)
Remarque 3.31. La mthode de Newton pour minimiser une fonction f convexe est une mthode de descente. En
effet, si H
f
(x
n
) est inversible, on a x
(k+1)
x
(k)
= [H
f
(x
(k)
)]
1
(f(x
(k)
)) soit encore x
(k+1)
= x
(k)
+
n
w
(k)
o
n
= 1 et w
(k)
= [H
f
(x
(k)
)]
1
(f(x
(k)
)). Si f est convexe, H
f
est une matrice symtrique positive
(dj vu). Comme on suppose H
f
(x
(k)
) inversible par hypothse, la matrice H
f
(x
(k)
) est donc symtrique dnie
positive.
Donc w
(k)
est alors une direction de descente stricte si w
(k)
= 0 (donc f(x
(k)
) = 0). On en dduit que
w
(k)
f(x
(k)
) = [H
f
(x
(k)
)]
1
f(x
(k)
) f(x
(k)
) > 0
ce qui est une condition sufsante pour que w
(k)
soit une direction de descente stricte.
La mthode de Newton est donc une mthode de descente avec w
(k)
= H
f
(x
(k)
)(f(x
(k)
)) et
n
= 1.
On peut aussi remarquer, en vertu du thorme 2.16 page 129, que si f C
3
(IR
n
, IR), si x est tel que f( x) = 0
et si H
f
( x) = D(f)( x) est inversible alors il existe > 0 tel que si x
0
B( x, ), alors la suite (x
(k)
)
n
est
bien dnie par (3.29) et x
(k)
x lorsque n +. De plus, daprs la proposition 2.13, il existe > 0 tel que
|x
(k+1)
x| |x
(k)
x|
2
pour tout n IN.
Remarque 3.32 (Sur limplantation numrique). La convergence de la mthode de Newton est trs rapide, mais
ncessite en revanche le calcul de H
f
(x), qui peut savrer impossible ou trop coteux.
On va maintenant donner des variantes de la mthode de Newton qui vitent le calcul de la matrice hessienne.
Proposition 3.33. Soient f C
1
(IR
n
, IR), x IR
n
tel que f(x) = 0, et soit B M
n
(IR) une matrice
symtrique dnie positive ; alors w = Bf(x) est une direction de descente stricte en x.
DMONSTRATION On a : w f(x) = Bf(x) f(x) < 0 car B est symtrique dnie positive et f(x) = 0
donc w est une direction de descente stricte en x. En effet, soit la fonction de IR dans IR dnie par () = f(x +w).
Il est clair que C
1
(IR, IR),
() = f(x + w) w et
(0) = f(x) w < 0. Donc 0 > 0 tel que
() < 0
si ]0, 0[. Par le thorme des accroissements nis, () < (0) ]0, 0[ donc w est une direction de descente
stricte.
Mthode de Broyden La premire ide pour construire une mthode de type quasi Newton est de prendre comme
direction de descente en x
(k)
le vecteur w
(k)
= (B
(k)
)
1
(f(x
(k)
)) o la matrice B
(k)
est cense approcher
H
f
(x
(k)
) (sans calculer la drive seconde de f). On suppose x
(k)
, x
(k1)
et B
(k1)
connus. Voyons comment on
peut dterminer B
(k)
. On peut demander par exemple que la condition suivante soit satisfaite :
f(x
(k)
) f(x
(k1)
) = B
(k)
(x
(k)
x
(k1)
). (3.30)
Ceci est un systme n quations et n n inconnues, et ne permet donc pas de dterminer entirement la matrice
B
(k)
si n > 1. Voici un moyen possible pour dterminer entirement B
(k)
, d Broyden. On pose s
(k)
= x
(k)
x
(k1)
, on suppose que s
(k)
= 0, et on pose y
(k)
= f(x
(k)
) f(x
(k1)
). On choisit alors B
(k)
telle que :
_
B
(k)
s
(k)
= y
(k)
B
(k)
s = B
(k1)
s, s s
(k)
(3.31)
On a exactement le nombre de conditions quil faut avec (3.31) pour dterminer entirement B
(k)
. Ceci suggre la
mthode suivante :
Initialisation Soient x
(0)
IR
n
et B
(0)
une matrice symtrique dnie positive. On pose
w
(0)
= (B
(0)
)
1
(f(x
(0)
));
alors w
(0)
est une direction de descente stricte sauf si f(x
(0)
) = 0.
On pose alors
x
(1)
= x
(0)
+
(0)
w
(0)
,
o
(0)
(0)
.
Itration n On suppose x
(k)
, x
(k1)
et B
(k1)
connus, (n 1), et on calcule B
(k1)
par (3.31). On pose
w
(k)
= (B
(k)
)
1
(f(x
(k)
)).
On choisit
(k)
optimal en x
(k)
dans la direction w
(k)
, et on pose x
(k+1)
= x
(k)
+
(k)
w
(k)
.
Le problme avec cet algorithme est que si la matrice est B
(k1)
symtrique dnie positive, la matrice B
(k)
ne
lest pas forcment, et donc w
(k)
nest pas forcment une direction de descente stricte. On va donc modier cet
algorithme dans ce qui suit.
Mthode de BFGS La mthode BFGS (de Broyden
2
, Fletcher
3
, Goldfarb
4
et Shanno
5
) cherche construire
B
(k)
proche de B
(k1)
, telle que B
(k)
vrie (3.30) et telle que si B
(k1)
est symtrique dnie positive alors
2. Broyden, C. G., The Convergence of a Class of Double-rank Minimization Algorithms, Journal of the Institute of Mathematics and Its
Applications 1970, 6, 76-90
3. Fletcher, R., A New Approach to Variable Metric Algorithms, Computer Journal 1970, 13, 317-322
4. Goldfarb, D., A Family of Variable Metric Updates Derived by Variational Means, Mathematics of Computation 1970, 24, 23-26
5. Shanno, D. F.,Conditioning of Quasi-Newton Methods for Function Minimization , Mathematics of Computation 1970, 24, 647-656
B
(k)
est symtrique dnie positive. On munit M
n
(IR) dune norme induite par un produit scalaire, par exemple
si A M
n
(IR) et A = (a
i,j
)
i,j=1,...,n
on prend A =
_
n
i,j=1
a
2
i,j
_
1/2
. M
n
(IR) est alors un espace de Hilbert.
On suppose x
(k)
, x
(k1)
, B
(k1)
connus, et on dnit
C
n
= {B M
n
(IR)|B symtrique, vriant (3.30)},
qui est une partie de M
n
(IR) convexe ferme non vide. On choisit alors B
(k)
= P
Cn
B
(k1)
o P
Cn
dsigne la
projection orthogonale sur C
n
. La matrice B
(k)
ainsi dnie existe et est unique ; elle est symtrique daprs le
choix de C
n
. On peut aussi montrer que si B
(k1)
symtrique dnie positive alors B
(k)
lest aussi.
Avec un choix convenable de la norme sur M
n
(IR), on obtient le choix suivant de B
(k)
si s
(k)
= 0 et f(x
(k)
) = 0
(sinon lalgorithme sarrte) :
B
(k)
= B
(k1)
+
y
(k)
(y
(k)
)
t
(s
(k)
)
t
y
(k)

B
(k1)
s
(k)
(s
(k)
)
t
B
(k1)
(s
(k)
)
t
B
(k1)
s
(k)
. (3.32)
Lalgorithme obtenu est lalgorithme de BFGS.
Algorithme de BFGS
_
_
Initialisation On choisit x
(0)
IR
n
et
B
(0)
symtrique dnie positive
( par exemple B
(0)
= Id) et on pose
w
(0)
= B
(0)
f(x
(0)
)
si f(x
(0)
) = 0, on choisit
(0)
optimal
dans la direction w
(0)
, et donc
w
(0)
est une direction de descente stricte.
On pose x
(1)
= x
(0)
+
(0)
w
(0)
.
Itration k A x
(k)
, x
(k1)
et B
n1
connus (n 1)
On suppose
s
(k)
= x
(k)
x
(k1)
y
(k)
= f(x) f(x
(n1
)
si s
(k)
= 0 et f(x
(k)
) = 0,
on choisit B
(k)
vriant (3.32)
On calcule w
(k)
= (B
(k)
)
1
(f(x
(k)
))
(direction de descente stricte en x
(k)
).
On calcule
(k)
(k)
et on pose x
(k+1)
= x
(k)
+
(k)
w
(k)
.
(3.33)
On donne ici sans dmonstration le thorme de convergence suivant :
Thorme 3.34 (Fletcher, 1976). Soit f C
2
(IR
n
, IR) telle que f(x) +quand |x| +. On suppose de
plus que f est strictement convexe (donc il existe un unique x IR
n
tel que f( x) = inf
IR
n f) et on suppose que
la matrice hessienne H
f
( x) est symtrique dnie positive.
Alors si x
(0)
IR
n
et si B
(0)
est symtrique dnie positive, lalgorithme BFGS dnit bien une suite x
(k)
et on a
x
(k)
x quand n +
De plus, si x
(k)
= x pour tout n, la convergence est super linaire i.e.
|
x
(k+1)
x
x
(k)
x
| 0 quand n +.
Pour viter la rsolution dun systme linaire dans BFGS, on peut choisir de travailler sur (B
(k)
)
1
au lieu de
B
(k)
.
_
_
Initialisation Soit x
(0)
IR
n
et K
(0)
symtrique dnie positive
telle que
0
soit optimal dans la direction K
(0)
f(x
(0)
) = w
(0)
x
(1)
= x
(0)
+
0
w
(0)
Itration n : A x
(k)
, x
(k1)
, K
(k1)
connus, n 1,
on pose s
(k)
= x
(k)
x
(k1)
, y
(k)
= f(x
(k)
) f(x
(k1)
)
et K
(k)
= P
Cn
K
(k1)
.
On calcule w
(k)
= K
(k)
f(x
(k)
) et on choisit
n
(k)
.
On pose alors x
(k+1)
= x
(k)
+
n
w
(k)
.
(3.34)
Remarquons que le calcul de la projection de P
Cn
K
(k1)
peut seffectuer avec la formule (3.32) o on a remplac
B
(k1)
par K
(k1)
. Malheureusement, on obtient exprimentalement une convergence nettement moins bonne
pour lalgorithme de quasi-Newton modi (3.34) que pour lalgorithme de BFGS (3.32).
3.3.4 Rsum sur les mthodes doptimisation
Faisons le point sur les avantages et inconvnients des mthodes quon a vues sur loptimisation sans contrainte.
Mthodes de gradient : Ces mthodes ncessitent le calcul de f(x
(k)
). Leur convergence est linaire (donc
lente).
Mthode de gradient conjugu : Si f est quadratique (c..d. f(x) =
1
2
Ax x b x avec A symtrique dnie
positive), la mthode est excellente si elle est utilise avec un prconditionnement (pour n grand). Dans le
cas gnral, elle nest efcace que si n nest pas trop grand.
Mthode de Newton : La convergence de la mthode de Newton est excellente (convergence localement quadra-
tique) mais ncessite le calcul de H
f
(x
(k)
) (et de f(
(k)
)). Si on peut calculer H
f
(x
(k)
), cette mthode est
parfaite.
Mthode de quasi Newton : Lavantage de la mthode de quasi Newton est quon ne calcule que f(x
(k)
) et pas
H
f
(x
(k)
)). La convergence est super linaire. Par rapport une mthode de gradient o on calcule w
(k)
=
f(x
(k)
), la mthode BFGS ncessite une rsolution de systme linaire : w
(k)
= (B
(k)
)
1
(f(x
(k)
)).
QuasiNewton modi :
Pour viter la rsolution de systme linaire dans BFGS, on peut choisir de travailler sur (B
(k)
)
1
au lieu de
B
(k)
, pour obtenir lalgorithme de quasi Newton (3.34). Cependant, on perd alors en vitesse de convergence.
Comment faire si on ne veut (ou peut) pas calculer f(x
(k)
) ? On peut utiliser des mthodes sans gradient",
c..d. quon choisit a priori les directions w
(k)
. Ceci peut se faire soit par un choix dterministe, soit par un
choix stochastique.
Un choix dterministe possible est de calculer x
(k)
en rsolvant n problmes de minimisation en une dimen-
sion despace. Pour chaque direction i = 1, . . . , n, on prend w
(n,i)
= e
i
, o e
i
est le i-me vecteur de la
base canonique, et pour i = 1, . . . , n, on cherche IR tel que :
f(x
(k)
1
, x
(k)
2
, . . . , , . . . , x
(k)
n
) f(x
(k)
1
, x
(k)
2
, . . . , t, . . . , x
(k)
n
), t IR.
Remarquons que si f est quadratique, on retrouve la mthode de Gauss Seidel.
3.3.5 Exercices
Exercice 92 (Convergence de lalgorithme du gradient pas xe).
Soit f C
1
(IR
n
, IR) (n 1). On suppose que f vrie :
> 0 t.q. (f(x) f(y)) (x y) |x y|
2
, x, y IR
n
, (3.35)
M > 0 t.q. |f(x) f(y)| M|x y|, x, y IR
n
. (3.36)
1. Montrer que
f(y) f(x) f(x) (y x) +

2
|y x|
2
, x, y IR
n
.
2. Montrer que f est strictement convexe et que f(x) quand |x| . En dduire quil existe un et un
seul x IR
n
t.q. f(x) f(x) pour tout x IR
n
.
3. Soient ]0, (2/M
2
)[ et x
0
IR
n
. Montrer que la suite (x
n
)
nIN
dnie par x
n+1
= x
n
f(x
n
)
(pour n IN) converge vers x.
Exercice 93 (Mise en oeuvre de GPF, GPO). Corrig en page 189.
On considre la fonction f : IR
2
IR dnie par f(x
1
, x
2
) = 2x
2
1
+x
2
2
x
1
x
2
3x
1
x
2
+ 4.
1. Montrer quil existe un unique x IR
2
tel que x = min
xIR
2 f(x) admet un unique minimum, et le calculer.
2. Calculer le premier itr donn par lalgorithme du gradient pas xe (GPF) et du gradient pas optimal
(GPO), en partant de (x
(0)
1
, x
(0)
2
) = (0, 0), pour un pas de = .5 dans le cas de GPF.
Exercice 94 (Convergence de lalgorithme du gradient pas optimal). Suggestions en page 188. Corrig dtaill
en page 190
Soit f C
2
(IR
n
, IR) t.q. f(x) quand |x| . Soit x
0
IR
n
. On va dmontrer dans cet exercice la
convergence de lalgorithme du gradient pas optimal.
1. Montrer quil existe R > 0 t.q. f(x) > f(x
0
) pour tout x / B
R
, avec B
R
= {x IR
n
, |x| R}.
2. Montrer quil existe M > 0 t.q. |H(x)y y| M|y|
2
pour tout y IR
n
et tout x B
R+1
(H(x) est la
matrice hessienne de f au point x, R est donn la question 1).
3. (Construction de la" suite (x
n
)
nIN
de lalgorithme du gradient pas optimal.) On suppose x
n
connu (n
N). On pose w
n
= f(x
n
). Si w
n
= 0, on pose x
n+1
= x
n
. Si w
n
= 0, montrer quil existe > 0 t.q.
f(x
n
+w
n
) f(x
n
+w
n
) pour tout 0. On choisit alors un
n
> 0 t.q. f(x
n
+
n
w
n
) f(x
n
+w
n
)
pour tout 0 et on pose x
n+1
= x
n
+
n
w
n
.
On considre, dans les questions suivantes, la suite (x
n
)
nIN
ainsi construite.
4. Montrer que (avec R et M donns aux questions prcdentes)
(a) la suite (f(x
n
))
nIN
est une suite convergente,
(b) x
n
B
R
pour tout n IN,
(c) f(x
n
+w
n
) f(x
n
) |w
n
|
2
+ (
2
/2)M|w
n
|
2
pour tout [0, 1/|w
n
|].
(d) f(x
n+1
) f(x
n
) |w
n
|
2
/(2M), si |w
n
| M.
(e) f(x
n+1
) +f(x
n
) |w
n
|
2
/(2M), avec M = sup(M,

M),
M = sup{|f(x)|, x B
R
}.
5. Montrer que f(x
n
) 0 (quand n ) et quil existe une sous suite (n
k
)
kIN
t.q. x
n
k
x quand
k et f(x) = 0.
6. On suppose quil existe un unique x IR
n
t.q. f(x) = 0. Montrer que f(x) f(x) pour tout x IR
n
et
que x
n
x quand n .
Exercice 95 (Application du GPO).
Soit A M
n
(IR) et J la fonction dnie de IR
n
dans IR par J(x) = e
Ax
2
, o dsigne la norme euclidienne
sur IR
n
.
1. Montrer que J admet un minimum (on pourra le calculer. . . ).
2. On suppose que la matrice A est inversible, montrer que ce minimum est unique.
3. Ecrire lalgorithme du gradient pas optimal pour la recherche de ce minimum. [On demande de calculer le
paramtre optimal
n
en fonction de A et de x
n
.] A quelle condition sufsante cet algorithme converge-t-il ?
Exercice 96 (Fonction non croissante linni). Suggestions en page 188.
Soient n 1, f C
2
(IR
n
, IR) et a IR. On suppose que A = {x IR
n
; f(x) f(a)} est un ensemble
born de IR
n
et quil existe M IR t.q. |H(x)y y| M|y|
2
pour tout x, y IR
n
(o H(x) dsigne la matrice
hessienne de f au point x).
1. Montrer quil existe x A t.q. f(x) = min{f(x), x IR
n
} (noter quil ny a pas ncessairement unicit
de x).
2. Soit x A t.q. f(x) = 0. On pose T(x) = sup{ 0; [x, x f(x)] A}. Montrer que 0 < T(x) <
+ et que [x, x T(x)f(x)] A} (o [x, x T(x)f(x)] dsigne lensemble {tx + (1 t)(x
T(x)f(x)), t [0, 1]}.
3. Pour calculer une valeur appoche de x (t.q. f(x) = min{f(x), x IR
n
}), on propose lalgorithme suivant :
Initialisation : x
0
A,
Itrations : Soit k 0.
Si f(x
k
) = 0, on pose x
k+1
= x
k
. Si f(x
k
) = 0, on choisit
k
[0, T(x
k
)] t.q. f(x
k
k
f(x
k
)) =
min{f(x
k
f(x
k
)), 0 T(x
k
)} (La fonction T est dnie la question 2) et on pose x
k+1
=
x
k
k
f(x
k
).
(a) Montrer que, pour tout x
0
A, lalgorithme prcdent dnit une suite (x
k
)
kIN
A (cestdire
que, pour x
k
A, il existe bien au moins un lment de [0, T(x
k
)], not
k
, t.q. f(x
k
k
f(x
k
) =
min{f(x
k
f(x
k
)), 0 T(x
k
)}).
(b) Montrer que cet algorithme nest pas ncessairement lalgorithme du gradient pas optimal. [on pourra
chercher un exemple avec n = 1.]
(c) Montrer que f(x
k
) f(x
k+1
)
|f(x
k
)|
2
2M
, pour tout k IN.
4. On montre maintenant la convergence de la suite (x
k
)
kIN
construite la question prcdente.
(a) Montrer quil existe une sous suite (x
kn
)
nIN
et x A t.q. x
kn
x, quand n , et f(x) = 0.
(b) On suppose, dans cette question, quil existe un et un seul lment z A t.q. f(z) = 0. Montrer que
x
k
z, quand k , et que f(z) = min{f(x), x A}.
Exercice 97 (Mthode de relaxation). Corrig dtaill en page 193
Soit f une fonction continment diffrentiable de E = IR
n
dans IR vriant lhypothse (3.35) :
1. Justier lexistence et lunicit de x IR
n
tel que f(x) = inf
xIR
n f(x).
On propose lalgorithme de recherche de minimum de f suivant :
_
_
Initialisation : x
(0)
E,
Itration n : x
(k)
connu, (n 0)
Calculer x
(k+1)
1
tel que, pour tout IR,
f(x
(k+1)
1
, x
(k)
2
, x
(k)
3
, . . . , x
(k)
n
) f(, x
(k)
2
, x
(k)
3
, . . . , x
(k)
n
),
Calculer x
(k+1)
2
f(x
(k+1)
1
, x
(k+1)
2
, x
(k)
3
, . . . , x
(k)
n
) f(x
(k+1)
1
, , x
(k)
3
, . . . , x
(k)
n
),
. . .
Calculer x
(k+1)
k
f(x
(k+1)
1
, . . . , x
(k+1)
k1
, x
(k+1)
k
, x
(k)
(k+1)
, . . . , x
(k)
n
)
f(x
(k+1)
1
, . . . , x
(k+1)
k1
, , x
(k)
(k+1)
, . . . , x
(k)
n
),
. . .
Calculer x
(k+1)
n
f(x
(k+1)
1
, x
(k+1)
2
, . . . , x
(k+1)
n1
, x
(k+1)
n
) f(x
(k+1)
1
, . . . , x
(k+1)
n1
, ).
(3.37)
2. Pour n IN et 1 k N, soit
(k+1)
k
la fonction de IR dans IR dnie par :
(k+1)
k
(s) = f(x
(k+1)
1
, . . . , x
(k+1)
k1
, s, x
(k)
(k+1)
, . . . , x
(k)
n
).
Montrer quil existe un unique lment s IR tel que
(k+1)
k
(s) = inf
sIR
(k+1)
k
(s).
En dduire que la suite (x
(k)
)
nIN
construite par lalgorithme (3.37) est bien dnie.
Dans toute la suite, on note la norme euclidienne sur IR
n
et (|) le produit scalaire associ. Pour i = 1, . . . , n,
on dsigne par
i
f la drive partielle de f par rapport la i-me variable.
3. Soit (x
(k)
)
nIN
la suite dnie par lalgorithme (3.37). Pour n 0, on dnit x
(n+1,0)
= x
(k)
= (x
(k)
1
, . . . , x
(k)
n
)
t
,
et pour 1 k n, x
(n+1,k)
= (x
(k+1)
1
, . . . , x
(k+1)
k
, x
(k)
k+1
, . . . , x
(k)
n
)
t
(de sorte que x
(n+1,n)
= x
(k+1)
).
(a) Soit n IN. Pour 1 k n, montrer que
k
f(x
(n+1,k)
) = 0, pour k = 1, . . . , n. En dduire que
f(x
(n+1,k1)
) f(x
(n+1,k)
)

2
x
(n+1,k1)
x
(n+1,k)
2
.
(b) Montrer que la suite (x
(k)
)
nIN
vrie
f(x
(k)
) f(x
(k+1)
)

2
x
(k)
x
(k+1)
2
.
En dduire que lim
n+
x
(k)
x
(k+1)
= 0 et que, pour 1 k n, lim
n+
x
(n+1,k)
x
(k+1)
= 0.
4. Montrer que
x
(k+1)
x
1
_
n
k=1
|
k
f(x
(k+1)
)|
2
_1
2
.
5. Montrer que les suites (x
(k)
)
nIN
, et (x
(n+1,k)
)
nIN
, pour k = 1, . . . , n, sont bornes.
Montrer que
|
k
f(x
(k+1)
)| 0 lorsque n +.
(On rappelle que
k
f(x
(n+1,k)
) = 0.)
Conclure quant la convergence de la suite(x
(k)
)
nIN
lorsque n +.
6. On suppose dans cette question que f(x) =
1
2
(Ax|x) (b|x). Montrer que dans ce cas, lalgorithme (3.37) est
quivalent une mthode itrative de rsolution de systmes linaires quon identiera.
7. On suppose dans cette question que n = 2. Soit g la fonction dnie de IR
2
dans IR par : g(x) = x
2
1
+ x
2
2
2(x
1
+x
2
) + 2|x
1
x
2
|, avec x = (x
1
, x
2
)
t
.
(a) Montrer quil existe un unique lment x = (x
1
, x
2
)
t
de IR
2
tel que g(x) = inf
xIR
2 g(x).
(b) Montrer que x = (1, 1)
t
.
(c) Montrer que si x
(0)
= (0, 0)
t
, lalgorithme (3.37) appliqu g ne converge pas vers x. Quelle est lhypothse
mise en dfaut ici ?
Exercice 98 (Mise en oeuvre de GC).
On considre la fonction f : IR
2
IR dnie par f(x
1
, x
2
) = 2x
2
1
+x
2
2
x
1
x
2
3x
1
x
2
+ 4.
1. Montrer quil existe un unique x IR
2
tel que x = min
xIR
2 f(x) admet un unique minimum, et le calculer.
2. Calculer le premier itr donn par lalgorithme du gradient conjugu, en partant de (x
(0)
1
, x
(0)
2
) = (0, 0),
pour un pas de = .5 dans le cas de GPF.
Exercice 99 (Gradient conjugu pour une matrice non symtrique). Corrig dtaill en page 195
Soit n IN, n 1. On dsigne par la norme euclidienne sur IR
n
, et on munit lensemble M
n
(IR) de la
norme induite par la norme , . Soit A M
n
(IR) une matrice inversible. On dnit M M
n
(IR) par
M = A
t
A. On se donne un vecteur b IR
n
, et on sintresse la rsolution du systme linaire
Ax = b; . (3.38)
1. Montrer que x IR
n
est solution de (1.116) si et seulement si x est solution de
Mx = A
t
b; . (3.39)
2. On rappelle que le conditionnement dune matrice C M
n
(IR) inversible est dni par cond(C) =
CC
1
(et dpend donc de la norme considre ; on rappelle quon a choisi ici la norme induite par
la norme euclidienne).
(a) Montrer que les valeurs propres de la matrice M sont toutes strictement positives.
(b) Montrer que cond(A) =
n
1
, o
n
(resp.
1
) est la plus grande (resp. plus petite) valeur propre de
M.
3. Ecrire lalgorithme du gradient conjugu pour la rsolution du systme (3.39), en ne faisant intervenir que
les matrices A et A
t
(et pas la matrice M) et en essayant de minimiser le nombre de calculs. Donner une
estimation du nombre doprations ncessaires et comparer par rapport lalgorithme du gradient conjugu
crit dans le cas dune matrice carr dordre n symtrique dnie positive.
Exercice 100 (Gradient conjugu prconditionn par LL
t
).
Soit A M
n
(IR) une matrice symtrique dnie positive, et b IR
n
. Soit L une matrice triangulaire infrieure
inversible, soit B = L
1
A(L
t
)
1
et

b = L
1
b.
1. Montrer que B est symtrique dnie positive.
2. Justier lexistence et lunicit de x IR
n
tel que Ax = b, et de y IR
n
tel que By =

b. Ecrire x en
fonction de y.
Soit y
(0)
IR
n
x. On pose r
(0)
= w
(0)
=

b By
(0)
. Si r
(0)
= 0, on pose alors y
(1)
= y
(0)
+
0
w
(0)
, avec
0
=
r
(0)
r
(0)
w
(0)
A w
(0)
.
Pour n > 1, on suppose y
(0)
, . . . , y
(k)
et w
(0)
, . . . , w
(k1)
connus, et on pose : r
(k)
=

b By
(k)
. Si r
(k)
= 0,
on calcule : w
(k)
= r
(k)
+
n1
w
(k1)
avec
n1
=
r
(k)
r
(k)
r
(k1)
r
(k1)
et on pose alors : y
(k+1)
= y
(k)
+
n
w
(k)
avec
n
=
r
(k)
r
(k)
w
(k)
B w
(k)
,
3. En utilisant le cours, justier que la famille y
(k)
ainsi construite est nie. A quoi est gale sa dernire valeur ?
Pour n IN, on pose : x
(k)
= L
t
y
(k)
(avec L
t
= (L
1
)
t
= (L
t
)
1
), r
(k)
= b Ax
(k)
, w
(k)
= L
t
w
(k)
et
s
(k)
= (LL
t
)
1
r
(k)
.
4. Soit n > 0 x. Montrer que :
(a)
n1
=
s
(k)
r
(k)
s
(k1)
r
(k1)
, (b)
n
=
s
(k)
r
(k)
w
(k)
Aw
(k)
,
(c) w
(k)
= s
(k)
+
n
w
(k1)
, (d) x
(k+1)
= x
(k)
+
n
w
(k)
.
5. On suppose que la matrice LL
t
est une factorisation de Choleski incomplte de la matrice A. Ecrire lalgo-
rithme du gradient conjugu prconditionn par cette factorisation, pour la rsolution du systme Ax = b.
Exercice 101 (Mthode de Polak-Ribire). Suggestions en page 188, corrig en page 196
Dans cet exercice, on dmontre la convergence de la mthode de Polak-Ribire (mthode de gradient conjugu
pour une fonctionnelle non quadratique) sous des hypothses simples" sur f.
Soit f C
2
(IR
n
, IR). On suppose quil existe > 0, t.q. |y|
2
H(x)y y |y|
2
pour tout x, y IR
n
.
(H(x) est la matrice hessienne de f au point x.)
1. montrer que f est strictement convexe, que f(x) quand |x| et que le spectre VP(H(x)) de
H(x) est inclus dans [, ] pour tout x IR
n
.
On note x lunique point de IR
n
n
(lexistence et lunicit de x est donn
par la question prcdente). On cherche une approximation de x en utilisant lalgorithme de Polak-Ribire :
initialisation. x
(0)
IR
n
. On pose g
(0)
= f(x
(0)
). Si g
(0)
= 0, lalgorithme sarrte (on a x
(0)
= x).
Si g
(0)
= 0, on pose w
(0)
= g
(0)
et x
(1)
= x
(0)
+
0
w
(0)
avec
0
optimal" dans la direction w
(0)
.
itration. x
(k)
, w
(k1)
connus (n 1). On pose g
(k)
= f(x
(k)
). Si g
(k)
= 0, lalgorithme sarrte (on a
x
(k)
= x). Si g
(k)
= 0, on pose
n1
= [g
(k)
(g
(k)
g
(k1)
)]/[g
(k1)
g
(k1)
], w
(k)
= g
(k)
+
n1
w
(k1)
et x
(k+1)
= x
(k)
+
n
w
(k)
avec
n
n
. (Noter que
n
existe bien.)
On suppose dans la suite que g
(k)
= 0 pour tout n IN.
2. Montrer (par rcurrence sur n) que g
(k+1)
w
(k)
= 0 et g
(k)
g
(k)
= g
(k)
w
(k)
, pour tout n IN.
3. On pose
J
(k)
=
1
0
H(x
(k)
+
n
w
(k)
)d.
Montrer que g
(k+1)
= g
(k)
+
n
J
(k)
w
(k)
et que
n
= (g
(k)
w
(k)
)/(J
(k)
w
(k)
w
(k)
) (pour tout n IN).
4. Montrer que |w
(k)
| (1 + /)|g
(k)
| pour tout n IN. [Utiliser, pour n 1, la question prcdente et la
formule donnant
n1
.]
5. Montrer que x
(k)
x quand n .
Exercice 102 (Algorithme de quasi Newton).
Corrig dtaill en page 198
Soit A M
n
(IR) une matrice symtrique dnie positive et b IR
n
. On pose f(x) = (1/2)Ax x b x pour
x IR
n
. On rappelle que f(x) = Ax b. Pour calculer x IR
n
n
, on va
utiliser un algorithme de quasi Newton, cest--dire :
initialisation. x
(0)
IR
n
.
itration. x
(k)
connu (n 0. On pose x
(k+1)
= x
(k)

n
K
(k)
g
(k)
avec g
(k)
= f(x
(k)
), K
(k)
une matrice
symtrique dnie positive dterminer et
n
(k)
= K
(k)
g
(k)
. (Noter que
n
existe
bien.)
Partie 1. Calcul de
n
. On suppose que g
(k)
= 0.
1. Montrer que w
(k)
(k)
et calculer la valeur de
n
(en fonction de
K
(k)
et g
(k)
).
2. On suppose que, pour un certain n IN, on a K
(k)
= (H(x
(k)
))
1
(o H(x) est la matrice hessienne de f
en x, on a donc ici H(x) = A pour tout x IR
n
). Montrer que
n
= 1.
3. Montrer que la mthode de Newton pour calculer x converge en une itration (mais ncessite la rsolution
du systme linaire A(x
(1)
x
(0)
) = b Ax
(0)
. . . )
Partie 2. Mthode de Fletcher-Powell. On prend maintenant K
(0)
= Id et
K
(k+1)
= K
(k)
+
s
(k)
(s
(k)
)
t
s
(k)
y
(k)

(K
(k)
y
(k)
)(K
(k)
(y
(k)
)
t
K
(k)
y
(k)
y
(k)
, n 0, (3.40)
avec s
(k)
= x
(k+1)
x
(k)
et y
(k)
= g
(k+1)
g
(k)
= As
(k)
.
On va montrer que cet algorithme converge en au plus n itrations (cest--dire quil existe n n + 1 t.q.
x
N+1
= x.)
1. Soit n IN. On suppose, dans cette question, que s
(0)
, . . . , s
(k1)
sont des vecteurs A-conjugus et non-
nuls et que K
(0)
, . . . , K
(k)
sont des matrices symtriques dnies positives t.q. K
(j)
As
(i)
= s
(i)
si 0 i <
j n (pour n = 0 on demande seulement K
(0)
symtrique dnie positive).
(a) On suppose que g
(k)
= 0. Montrer que s
(k)
= 0 (cf. Partie I) et que, pour i < n,
s
(k)
As
(i)
= 0 g
(k)
s
(i)
= 0.
Montrer que g
(k)
s
(i)
= 0 pour i < n. [On pourra remarquer que g
(i+1)
s
(i)
= g
(i+1)
w
(i)
= 0
et (g
(k)
g
(i+1)
) s
(i)
= 0 par lhypothse de conjugaison de s
(0)
, . . . , s
(k1)
.] En dduire que
s
(0)
, . . . , s
(k)
sont des vecteurs A-conjugus et non-nuls.
(b) Montrer que K
(k+1)
est symtrique.
(c) Montrer que K
(k+1)
As
(i)
= s
(i)
si 0 i n.
(d) Montrer que, pour tout x IR
n
, on a
K
(k+1)
x x =
(K
(k)
x x)(K
(k)
y
(k)
y
(k)
) (K
(k)
y
(k)
x)
2
K
(k)
y
(k)
y
(k)
+
(s
(k)
x)
2
As
(k)
s
(k)
.
En dduire que K
(k+1)
est symtrique dnie positive. [On rappelle (ingalit de Cauchy-Schwarz)
que, si K est symtrique dnie positive, on a (Kx y)
2
(Kx x)(Ky y) et lgalit a lieu si et
seulement si x et y sont colinaires.]
2. On suppose que g
(k)
= 0 si 0 n n1. Montrer (par rcurrence sur n, avec la question prcdente) que
s
(0)
, . . . , s
(n1)
sont des vecteurs A-conjugus et non-nuls et que K
(n)
As
(i)
= s
(i)
si i < n. En dduire
que K
(n)
= A
1
,
n
= 1 et x
(n+1)
= A
1
b = x.
Exercice 103 (Mthodes de GaussNewton et de quasilinarisation). Corrig dtaill en page 201
Soit f C
2
(IR
n
, IR
P
), avec n, P IN
. Soit C M
P
(IR) une matrice relle carre dordre P, symtrique
dnie positive, et d IR
P
. Pour x IR
n
, on pose
J(x) = (f(x) d) C(f(x) d).
On cherche minimiser J.
I Proprits dexistence et dunicit
(a) Montrer que J est borne infrieurement.
(b) Donner trois exemples de fonctions f pour lesquels les fonctionnelles J associes sont telles que lon
ait :
i. existence et unicit de x IR
n
qui ralise le minimum de J, pour le premier exemple.
ii. existence et non unicit de x IR
n
qui ralise le minimum de J, pour le second exemple.
iii. non existence de x IR
n
qui ralise le minimum de J, pour le troisime exemple.
(On pourra prendre N = P = 1.)
II Un peu de calcul diffrentiel
(a) On note Df et D
2
f les diffrentielles dordre 1 et 2 de f. A quels espaces appartiennent Df(x),
D
2
f(x) (pour x IR
n
), ainsi que Df et D
2
f ? Montrer que pour tout x IR
n
, il existe M(x)
M
P,n
(IR), o M
P,n
(IR) dsigne lensemble des matrices relles P lignes et n colonnes, telle que
Df(x)(y) = M(x)y pour tout y IR
n
.
(b) Pour x IR
n
, calculer J(x).
(c) Pour x IR
n
, calculer la matrice hessienne de J en x (quon notera H(x)). On suppose maintenant
que M ne dpend pas de x; montrer que dans ce cas H(x) = 2M(x)
t
CM(x).
III Algorithmes doptimisation
Dans toute cette question, on suppose quil existe un unique x IR
n
qui ralise le minimum de J, quon
cherche calculer de manire itrative. On se donne pour cela x
0
IR
n
, et on cherche construire une suite
(x
n
)
nIN
qui converge vers x.
(a) On cherche calculer x en utilisant la mthode de Newton pour annuler J. Justier brivement cette
procdure et crire lalgorithme obtenu.
(b) Lalgorithme dit de Gauss-Newton" est une modication de la mthode prcdente, qui consiste
approcher, chaque itration n, la matrice jacobienne de J en x
n
par la matrice obtenue en ngligeant
les drives secondes de f. Ecrire lalgorithme ainsi obtenu.
(c) Lalgorithme dit de quasilinarisation" consiste remplacer, chaque itration n IN, la minimisa-
tion de la fonctionnelle J par celle de la fonctionnelle J
n
, dnie de IR
n
dans IR, et obtenue partir
de J en effectuant un dveloppement limit au premier ordre de f(x) en x
n
, c..d.
J
n
(x) = (f(x
n
) +Df(x
n
)(x x
n
) d) C(f(x
n
) +Df(x
n
)(x x
n
) d).
i. Soit n 0, x
n
IR
n
connu, M
n
= M(x
n
) M
P,n
(IR), et x IR
n
. On pose h = x x
n
.
Montrer que
J
n
(x) = J(x
n
) +M
t
n
CM
n
h h + 2M
t
n
C(f(x
n
) d) h.
ii. Montrer que la recherche du minimum de J
n
est quivalente la rsolution dun systme linaire
dont on donnera lexpression.
iii. Ecrire lalgorithme de quasilinarisation, et le comparer avec lalgorithme de Gauss-Newton.
Exercice 92 page 180 (Algorithme du gradient pas xe)
1. Introduire la fonction dnie (comme dhabitude...) par (t) = f(tx + (1 t)y), intgrer entre 0 et 1 et
utiliser lhypothse (3.3.15) sur f(x +t(y x)) f(x).
2. Utiliser le cours pour la stricte convexit et lexistence et lunicit de x, et la question 1 pour montrer que
f(x) +lorsque |x| +.
3. Montrer grce aux hypothses (3.3.15) et (3.3.16) que |x
n+1
x|
2
< |x
n
x|
2
(1 2 +M
2
2
).
Exercice 94 page 181 (Algorithme du gradient pas optimal)
2. Utiliser le fait que H est continue.
3. Etudier la fonction : IR
+
dans IR dnie par () = f(x
n
+w
n
).
4. a. Montrer que f est minore et remarquer que la suite (f(x
n
))
nIN
est dcroissante.
4.b se dduit du 4.a
4.c. Utiliser la fonction dnie plus haut, la question 4.b. et la question 2.
4.d. Utiliser le fait que le choix de
n
est optimal et le rsultat de 4.c.
4.e. Etudier le polynme du 2nd degr en dni par : P
n
() = f(x
n
) |w
n
|
2
+
1
2
M|w
n
|
2
2
dans les cas o
|w
n
| M (fait
`
la quesiton 4.c) puis dans le cas |w
n
| M.
5. utiliser lingalit prouve en 4.e. pour montrer que |w
n
| 0 lorsque n +.
6. Pour montrer que toute la suite converge, utiliser largument dunicit de la limite, en raisonnant par labsurde
(supposer que la suite ne converge pas et aboutir une contradiction).
Exercice 96 page 182 (Cas o f nest pas croissante linni)
Sinspirer des techniques utilises aux exercices 92 et 94 (il faut imprativement les avoir fait avant...).
Exercice 101 page 185 (Mthode de Polak-Ribire)
1. Utiliser la deuxime caractrisation de la convexit. Pour montrer le comportement linni, introduire la
fonction habituelle. . . ((t) = f(x +ty)).
2. Pour montrer la convergence, utiliser le fait que si w
n
f(x
n
) < 0 alors w
n
est une direction de descente
stricte de f en x
n
, et que si
n
est optimal alors f(x
n
+
n
w
n
) = 0.
3. Utiliser la fonction dnie par () = f(x
n
+
n
w
n
).
4. Cest du calcul...
5. Montrer dabord que g
n
w
n
|w
n
||g
n
|. Montrer ensuite (en utilisant la bonne vieille fonction dnie
par (t) = f(x
n
+t
n
), que g
n
0 lorsque n +.
Exercice 106 page 208 (Fonctionnelle quadratique)
1. Pour montrer que K est non vide, remarquer que comme d = 0, il existe x IR
n
tel que d x = = 0. En
dduire lexistence de x IR
n
tel que d x = c.
2. Montrer par le thorme de Lagrange que si x est solution de (3.49), alors y = ( x, )
t
est solution du
systme (3.58), et montrer ensuite que le systme (3.58) admet une unique solution.
Corrig de lexercice 92 page 180 (Convergence de lalgorithme du gradient pas xe)
1. Soit la fonction dnie de IR dans IR
n
par : (t) = f(x + t(y x)). Alors (1) (0) =
1
0
f(x +
t(y x)) (y x)dt, et donc :
f(y) f(x) =
1
0
f(x +t(y x)) (y x)dt.
On a donc :
f(y) f(x) f(x) (y x) =
1
0
(f(x +t(y x)) (y x) f(x) (y x))dt,
cestdire :
f(y) f(x) f(x) (y x) =
1
0
(f(x +t(y x)) f(x))
. .
t(yx)
2
(y x)dt.
Grce la premire hypothse sur f, ceci entrane :
f(y) f(x) f(x) (y x)
1
0
t|y x|
2
dt =

2
|y x|
2
> 0 si y = x. (3.41)
2. On dduit de la question 1 que f est strictement convexe. En effet, grce la question 1, pour tout (x, y)
E
2
, f(y) > f(x) +f(x) (y x) ; et daprs la premire caractrisation de la convexit, voir proposition
3.8. On en dduit que f est strictement convexe.
Montrons maintenant que f(y) +quand |y| +.
On crit (3.41) pour x = 0 : f(y) f(0) +f(0) y +

2
|y|
2
.
Comme f(0) y |f(0)|(y), on a donc
f(y) f(0) |f(0)| |y| +

2
|y|
2
, et donc :
f(y) f(0) +|y|
_
2
|y| |f(0)|
_
+quand |y| +.
3. On pose h(x) = x f(x). Lalgorithme du gradient pas xe est un algorithme de point xe pour h.
x
n+1
= x
n
f(x
n
) = h(x
n
).
Grce au thorme 2.3 page 119, on sait que h est strictement contractante si 0 < <
2
M
2
.
Donc x
n
x unique point xe de h, cestdire x = h( x) = x f( x). Ceci entrane
f( x) = 0 donc f( x) = inf
E
f car f est convexe .
Corrig de lexercice 93 page 181 (Mise en oeuvre de GPF et GPO)
1. On a
f(x) =
_
4x
1
x
2
3
2x
2
x
1
1
_
et H
f
=
_
4 1
1 2
_
La fonction f vrie les hypothses du thorme 3.37 dexistence et dunicit du minimum. En particulier la
hessienne H
f
=
_
4 1
1 2
_
est s.d.p., car H
f
x x = (4x
1
x
2
)x
1
+(x
1
+2x
2
)x
2
= (x
1
x
2
)
2
+3x
2
1
+x
2
2
> 0
sauf pour x
1
= x
2
= 0. Le minimum est obtenu pour
1
f(x
1
, x
2
) = 4x
1
x
2
3 = 0
2
f(x
1
, x
2
) = 2x
2
x
1
1 = 0
cest--dire x
1
= 1 et x
2
= 1. Ce minimum est f( x
1
, x
2
) = 2.
2. Lalgorithme du gradient pas xe scrit :
_
_
Initialisation : x
(0)
E,
Itration n : x
(k)
connu, (n 0)
w
(k)
= f(x
(k)
),
x
(k+1)
= x
(k)
+w
(k)
.
A la premire itration, on a f(0, 0) = (3, 1) et donc w
0
= (3, 1). On en dduit x
(1)
= (3, 2) = (3/2, 1)
et f(x
(1)
) = 5/2..
Lalgorithme du gradient pas optimal scrit :
_
_
Initialisation : x
(0)
IR
n
.
Itration n : x
(k)
connu.
On calcule w
(k)
= f(x
(k)
).
On choisit
n
0 tel que
f(x
(k)
+
n
w
(k)
) f(x
(k)
+w
(k)
) 0.
On pose x
(k+1)
= x
(k)
+
n
w
(k)
.
Calculons le
0
optimal litration 0. On a vu prcdemment que w
0
= (3, 2). Le
0
optimal minimise la fonction
() = f(x
(0)
+ w
(0)
) = f(3, ). On doit donc avoir
(
0
) = 0. Calculons
(). Par le thorme de

drivation des fonctions composes, on a :
() = f(x
(0)
+w
(0)
) w(0) =
_
10 3
1
_
_
3
1
_
= 3(11 3) + ( 1) = 32 10.
On en dduit que
0
=
5
16
. On obtient alors x
(1)
= x
(0)
+
0
w
(0)
= (
15
16
,
5
16
), et f(x
(1)
) = 2.4375, ce qui est,
comme attendu, mieux quavec GPF.
Corrig de lexercice 94 page 181 (Convergence de lalgorithme du gradient pas optimal)
1. On sait que f(x) + lorsque |x| +. Donc A > 0, R IR
+
; |x| > R f(x) > A. En
particulier pour A = f(x
0
) ceci entrane :
R IR
+
; x B
R
f(x) > f(x
0
).
2. Comme f C
2
(IR
n
, IR), sa hessienne H est continue, donc H atteint son max sur B
R+1
qui est un
ferm born de IR
n
. Soit M = max
xBR+1
H(x), on a H(x)y y My y M|y|
2
.
3. Soit w
n
= f(x
n
).
Si w
n
= 0, on pose x
n+1
= x
n
.
Si w
n
= 0, montrons quil existe > 0 tel que
f(x
n
+ w
n
) f(x
n
+w
n
) > 0.
On sait que f(x) +lorsque |x| +.
Soit : IR
+
IR dnie par () = f(x
n
+w
n
). On a (0) = f(x
n
) et () = f(x
n
+w
n
) +
lorsque +.
En effet si +, on a |x
n
+ w
n
| +. Donc tant continue, admet un minimum, atteint en ,
et donc IR
+
; f(x
n
+ w) f(x
n
+w
n
) > 0.
4. a) Montrons que la suite (f(x
n
))
nIN
est convergente. La suite (f(x
n
))
nIN
vrie
f(x
n+1
) f(x
n
).
De plus f(x) +lorsque |x| +donc f est borne infrieurement. On en conclut que la suite
(f(x
n
))
nIN
est convergente.
b) Montrons que x
n
B
R
n IN. On sait que si x / B
R
alors f(x) > f(x
0
). Or la suite (f(x
n
))
nIR
est dcroissante donc f(x
n
) f(x
0
) n, donc x
n
B
R
, n IN.
c) Montrons que f(x
n
+ w
n
) f(x
n
) |w
n
|
2
+

2
2
M|w
n
|
2
, [0,
1
|w
n
|
]. Soit dnie de IR
+
dans IR par () = f(x
n
+w
n
). On a
() = (0) +
(0) +

2
2

( ), o ]0, [.
Or
() = f(x
n
+w
n
) w
n
et
() = H(x
n
+w
n
)w
n
w
n
. Donc
() = (0)
..
0
+ f(x
n
)
. .
wn
w
n
+

2
2
H(x
n
+ w
n
)w
n
w
n
.
Si [0,
1
|w
n
|
] on a
|x
n
+ w
n
| |x
n
| +
1
|w
n
|
|w
n
|
R + 1,
donc x
n
+ w
n
B
R+1
et par la question 2,
H(x
n
+ w
n
)w
n
w
n
M|w
n
|
2
.
On a donc bien
() = f(x
n
+w
n
) f(x
n
) |w
n
|
2
+

2
2
M|w
n
|
2
.
d) Montrons que f(x
n+1
) f(x
n
)
|w
n
|
2
2M
si |w
n
| M.
Comme le choix de
n
est optimal, on a
f(x
n+1
) = f(x
n
+
n
w
n
) f(x
n
+w
n
), IR
+
.
donc en particulier
f(x
n+1
) f(x
n
+w
n
), [0,
1
|w
n
|
].
En utilisant la question prcdente, on obtient
f(x
n+1
) f(x
n
) |w
n
|
2
+

2
2
M|w
n
|
2
= (), [0,
1
|w
n
|
]. (3.42)
Or la fonction atteint son minimum pour
|w
n
|
2
+M|w
n
|
2
= 0
cestdire M = 1 ou encore =
1
M
ce qui est possible si
1
|w
n
|

1
M
(puisque 3.42 est vraie si

1
|w
n
|
).
Comme on a suppos |w
n
| M, on a donc
f(x
n+1
) f(x
n
)
|w
n
|
2
M
+
|w
n
|
2
2M
= f(x
n
)
|w
n
|
2
2M
.
e) Montrons que f(x
n+1
) +f(x
n
)
|w
n
|
2
2

M
o

M = sup(M,

M) avec

M = sup{|f(x)|, x C
R
}.
On sait par la question prcdente que si
|w
n
| M, on a f(x
n+1
) f(x
n
)
|w
n
|
2
2M
.
Montrons que si |w
n
| M, alors f(x
n+1
) +f(x
n
)
|w
n
|
2
2

M
. On aura alors le rsultat souhait.
On a
f(x
n+1
) f(x
n
) |w
n
|
2
+

2
2
M|w
n
|
2
, [0,
1
|w
n
|
].
Donc
f(x
n+1
) min
[0,
1
|wn|
]
[f(x
n
) |w
n
|
2
+

2
2
M|w
n
|
2
]
. .
Pn()
1er cas si |w
n
| M, on a calcul ce min la question c).
si |w
n
| M, la fonction P
n
() est dcroissante sur [0,
1
|w
n
|
] et le minimum est donc atteint pour =
1
|w
n
|
.
Or P
n
_
1
|w
n
|
_
= f(x
n
) |w
n
| +
M
2
f(x
n
)
|w
n
|
2
f(x
n
)
|w
n
|
2
2

M
.
5. Montrons que f(x
n
) 0 lorsque n +. On a montr que n, |w
n
|
2
2

M(f(x
n
) f(x
n+1
)). Or
la suite (f(x
n
))
nIN
est convergente. Donc |w
n
| 0 lorsque n +et w
n
= f(x
n
) ce qui prouve le
rsultat.
La suite (x
n
)
nIN
est borne donc (n
k
)
kIN
et x IR
n
; x
n
k
x lorsque k + et comme
f(x
n
k
) 0, on a, par continuit, f( x) = 0.
6. On suppose ! x IR
n
tel que f( x) = 0. Montrons que f( x) f(x) x IR
n
et que x
n
x quand
n +. Comme f est croissante linni, il existe un point qui ralise un minimum de f, et on sait quen
ce point le gradient sannule ; en utilisant lhypothse dunicit, on en dduit que ce point est forcment x,
et donc f( x) f(x) pour tout x IR
n
.
Montrons maintenant que la suite (x
n
)
nIN
converge vers x. En raison de lhypotse dunicit, on a forc-
ment x = x, et on sait quon a convergence dune sous-suite de (x
n
)
nIN
vers x par la question 5. Il reste
donc montrer que cest toute la suite qui converge. Supposons quelle ne converge pas ; alors
> 0; k IN, n
k
k et |x
n
k
x| > (3.43)
Mais daprs la question 5), on peut extraire de la suite (x
n
k
)
k
une soussuite qui converge, ce qui contre-
dit (3.43). Donc la suite (x
n
)
nIN
converge.
Corrig de lexercice 97 page 182 (Mthode de relaxation)
1. On vu lexercice 92, questions 1 et 2, que si f vrie lhypothse (3.35) alors f est strictement convexe et tend
vers linni en linni, et donc il existe un unique x IR
n
ralisant son minimum.
2. Ecrivons lhypothse (3.35) avec x = se
k
et y = te
k
o (s, t) IR
2
et e
k
est le k-ime vecteur de la base
canonique de IR
n
; en notant
k
f la drive partielle de f par rapport la k-ime variable, il vient :
(
k
f(s)
k
f(t))(s t) |s t|
2
.
En appliquant nouveau les rsultats de lexercice 92, questions 1 et 2 au cas n = 1, on en dduit lexistence et
unicit de s tel que
(k+1)
k
(s) = inf
sIR
(k+1)
k
(s).
Comme lalgorithme (3.37) procde n minimisations de ce type chaque itration, on en dduit que la suite
(x
(k)
)
nIN
construite par cet algorithme est bien dnie.
3.(a) Par dnition, x
(k+1)
k
ralise le minimum de la fonction
(k+1)
k
sur IR. Comme de plus,
(k+1)
k
C
1
(IR, IR),
on a donc (
(k+1)
k
)
(x
(k+1)
k
) = 0. Or (
(k+1)
k
)
(x
(k+1)
k
) =
k
f(x
(n+1,k)
), et donc
k
f(x
(n+1,k)
) = 0.
Daprs la question 2 de lexercice 92, on a
f(x
(n+1,k1)
) f(x
(n+1,k)
) f(x
(n+1,k)
) (x
(n+1,k1)
x
(n+1,k)
)
+

2
|x
(n+1,k1)
x
(n+1,k)
|
2
.
Or x
(n+1,k1)
x
(n+1,k)
= x
(k+1)
k
e
k
et f(x
(n+1,k)
) e
k
=
k
f(x
(n+1,k)
) = 0. On en dduit que :
f(x
(n+1,k1)
) f(x
(n+1,k)
)

2
|x
(n+1,k1)
x
(n+1,k)
|
2
.
3.(b) Par dnition de la suite (x
(k)
)
nIN
, on a :
f(x
(k)
) f(x
(k+1)
) =
n
k=1
f(x
(n+1,k1)
) f(x
(n+1,k)
).
Par la question prcdente, on a donc :
f(x
(k)
) f(x
(k+1)
)

2
n
k=1
|x
(n+1,k1))
x
(n+1,k)
|
2
.
Or x
(n+1,k1))
x
(n+1,k)
= x
(k+1)
k
e
k
, et (e
k
)
kn
est une base orthonorme. On peut donc crire que
n
k=1
|x
(n+1,k1))
x
(n+1,k)
|
2
=
n
k=1
|(x
(k)
k
x
(k+1)
k
)e
k
|
2
= |
n
k=1
(x
(k)
k
x
(k+1)
k
)e
k
|
2
= |
n
k=1
(x
(n+1,k1))
x
(n+1,k)
)|
2
= |x
(k)
x
(k+1)
|
2
.
On en dduit que
f(x
(k)
) f(x
(k+1)
)

2
|x
(k)
x
(k+1)
|
2
.
La suite (f(x
(k)
))
nIN
est borne infrieurement par f( x) ; lingalit prcdente montre quelle est dcroissante,
donc elle converge. On a donc f(x
(k)
) f(x
(k+1)
0 lorsque n +, et donc par lingalit prcdente,
lim
n+
|x
(k)
x
(k+1)
| = 0.
De plus, pour 1 k n,
|x
(n+1,k)
x
(k+1)
|
2
=
n
=k
|(x
(k)
x
(k+1)
)e
|
2
= |
n
=k
(x
(k)
x
(k+1)
)e
|
2
= |
n
=k
(x
(n+1,1))
x
(n+1,)
)|
2
|x
(k)
x
(k+1)
|
2
.
do lon dduit que lim
n+
|x
(n+1,k)
x
(k+1)
| = 0.
4. En prenant x = x et y = x
(k+1)
dans lhypothse (3.35) et en remarquant que, puisque x ralise le minimum de
f, on a f( x) = 0, on obtient :
(f(x
(k+1)
) ( x x
(k+1)
) | x x
(k+1)
|
2
,
et donc, par lingalit de Cauchy Schwarz :
|x
(k+1)
x|
1
_
n
k=1
|
k
f(x
(k+1)
)|
2
_1
2
.
5. Par les questions 1 et 2 de lexercice 92, on sait que la fonction f est croissante linni. Donc il existe R > 0 tel
que si |x| > R alors f(x) > f(x
0
). Or, la suite (f(x
n
))
nIN
tant dcroissante, on a f(x
n
)) f(x
0
) pour tout n,
et donc |x
n
| R pour tout n. Par la question 3(b), on sait que pour tout k 1, lim
n+
|x
(n+1,k)
x
(k+1)
| = 0,
ce qui prouve que les suites (x
(n+1,k)
)
nIN
, pour k = 1, . . . , n, sont galement bornes.
Comme lim
n+
|x
(n+1,k)
x
(k+1)
| = 0, on a pour tout > 0, lexistence de N
IN tel que |x
(n+1,k)
x
(k+1)
| < si n N
. Comme f C
1
(IR, IR), la fonction
k
f est uniformment continue sur les borns
(thorme de Heine), et donc pour tout > 0, il existe > 0 tel que si |x y| < alors |
k
f(x)
k
f(y)| .
On a donc, pour n N
: |
k
f(x
(n+1,k)
)
k
f(x
(k+1)
)| , ce qui dmontre que :
|
k
f(x
(k+1)
)| 0 lorsque n +.
On en conclut par le rsultat de la question 4 que x
(k)
x lorsque n +.
6. On a vu a lexercice 89 que dans ce cas, f(x) =
1
2
(A + A
t
)x b. Lalgorithme 3.37 est donc la mthode de
Gauss Seidel pour la rsolution du systme linaire
1
2
(A+A
t
)x = b.
7 (a) La fonction g est strictement convexe (car somme dune fonction strictement convexe : (x
1
, x
2
) x
2
1
+x
2
2
,
dune fonction linaire par morceaux : (x
1
, x
2
) 2(x
1
+ x
2
) + 2|x
1
x
2
|. et croissante linni grce aux
termes en puissance 2. Il existe donc un unique lment x = (x
1
, x
2
)
t
de IR
2
tel que g(x) = inf
xIR
2 g(x).
7 (b) Soit > 0. On a, pour tout x IR,
x
() = g(x, x +) = x
2
+ (x +)
2
4x, qui atteint (pour tout x) son
minimum pour = 0. Le minimum de g se situe donc sur laxe x = y. Or (x) = g(x, x) = 2x
2
4x atteint son
minimum en x = 1.
7 (c) Si x
(0)
= (0, 0)
t
, on vrie facilement que lalgorithme (3.37) appliqu g est stationnaire. La suite ne
converge donc pas vers x. La fonction g nest pas diffrentiable sur la droite x
1
= x
2
.
Corrig de lexercice 99 page 184 (Gradient conjugu pour une matrice non symtrique)
1. Comme A est inversible, A
t
lest aussi et donc les systmes (3.38) et (3.39) sont quivalents.
2 (a) La matrice M est symtrique dnie positive, car A est inversible et M = AA
t
est symtrique. Donc ses
valeurs propres sont strictement positives.
2 (b) On a cond(A) = AA
1
. Comme la norme est ici la norme euclidienne, on a : A = ((A
t
A))
1
2
et
A
1
= (((A
1
)
t
A
1
))
1
2
= ((AA
t
)
1
))
1
2
. On vrie facilement que M = A
t
A et A
t
A ont mmes valeurs
propres et on en dduit le rsultat.
3. Ecrivons lalgorithme du gradient conjugu pour la rsolution du systme (3.39)
_
_
Initialisation
Soit x
(0)
IR
n
, et soit r
(0)
= A
t
b A
t
Ax
(0)
=
1) Si r
(0)
= 0, alors Ax
(0)
= b et donc x
(0)
= x,
2) Si r
(0)
(0)
= r
(0)
, et on choisit
0
=
r
(0)
r
(0)
A
t
Aw
(0)
w
(0)
.
On pose alors x
(1)
= x
(0)
+
0
w
(0)
.
Itration 1 n n 1 :
On suppose x
(0)
, . . . , x
(k)
et w
(0)
, . . . , w
(k1)
connus et on pose
r
(k)
= A
t
b A
t
Ax
(k)
.
1) Si r
(k)
= 0 on a Ax
(k)
= b donc x
(k)
= x
2) Si r
(k)
(k)
= r
(k)
+
n1
w
(k1)
avec
n1
=
r
(k)
r
(k)
r
(k1)
r
(k1)
. et on pose
n
=
r
(k)
r
(k)
A
t
Aw
(k)
w
(k)
.
On pose alors x
(k+1)
= x
(k)
+
n
w
(k)
.
Si on implmente lalgorithme sous cette forme, on a intrt calculer dabord

b = A
t
b et M = A
t
A pour
minimiser le nombre de mutliplications matrice matrice et matrice vecteur. Au lieu du cot de lalgorithme initial,
qui est en 2n
3
+O(n
2
), on a donc un cot en 3n
3
+O(n
2
).
Maintenant si on est optimiste, on peut esprer converger en moins de n itrations (en fait, cest malheureusement
rarement le cas), et dans ce cas il est plus conomique dcrire lalgorithme prcdent sous la forme suivante.
_
_
Initialisation
Soit x
(0)
IR
n
, et soit s
(0)
= b Ax
(0)
et soit r
(0)
= A
t
s
(0)
1) Si r
(0)
= 0, alors Ax
(0)
= b et donc x
(0)
= x,
2) Si r
(0)
(0)
= r
(0)
, y
(0)
= Aw
(0)
et on choisit
0
=
r
(0)
r
(0)
y
(0)
y
(0)
.
On pose alors x
(1)
= x
(0)
+
0
w
(0)
.
Itration 1 n n 1 :
On suppose x
(0)
, . . . , x
(k)
et w
(0)
, . . . , w
(k1)
connus et on pose
s
(k)
= b Ax
(k)
et r
(k)
= A
t
s
(k)
.
1) Si r
(k)
= 0 on a Ax
(k)
= b donc x
(k)
= x
2) Si r
(k)
(k)
= r
(k)
+
n1
w
(k1)
avec
n1
=
r
(k)
r
(k)
r
(k1)
r
(k1)
. et on pose
n
=
r
(k)
r
(k)
y
(k)
y
(k)
avec y
(k)
= Aw
(k)
.
On pose alors x
(k+1)
= x
(k)
+
n
w
(k)
.
On peut facilement vrier que dans cette version, on a un produit matrice vecteur en plus chaque itration, donc
le cot est le mme pour n itrations, mais il est infrieur si on a moins de n itrations.
Remarque : Cette mthode sappelle mthode du gradient conjugu applique aux quations normales. Elle est
facile comprendre et programmer. Malheureusement, elle ne marche pas trs bien dans la pratique, et on lui
prfre des mthodes plus sophistiques telles sue la mthode "BICGSTAB" ou "GMRES".
Corrig de lexercice 101 page 185 (Mthode de Polak-Ribire)
1. Montrons que f est strictement convexe et croissante linni. Soit la fonction de IR dans IR dnie par
(t) = f(x +t(y x)).
On a C
2
(IR, IR), (0) = f(x) et (1) = f(y), et donc :
f(y) f(x) = (1) (0) =
1
0
(t)dt.
En intgrant par parties, ceci entrane :
f(y) f(x) =
(0) +
1
0
(1 t)
(t)dt. (3.44)
Or
(t) = (x + t(y x)) (y x) et donc
(t) = H(x + t(y x))(y x) (y x). On a donc par

hypothse
(t) |y x|
2
.
On dduit alors de 3.44 que
f(y) f(x) +f(x) (y x) +

2
|y x|
2
. (3.45)
Lingalit 3.45 entrane la stricte convexit de f et sa croissance linni (voir dmonstration de la conver-
gence du gradient pas xe, exercice 92).
Il reste montrer que lensemble VP(H(x)) des valeurs propres de H(x) est inclus dans [, ]. Comme f
C
2
(IR, IR), H(x) est symtrique pour tout x IR, et donc diagonalisable dans IR. Soit VP(H(x)) ; il
existe donc y IR
n
, y = 0 tel que H(x)y = y, et donc y y y y y y, VP(H)(x)). On
en dduit que VP(H(x)) [, ].
2. Montrons par rcurrence sur n que g
(k+1)
w
(k)
= 0 et g
(k)
g
(k)
= g
(k)
w
(k)
pout tout n IN.
Pour n = 0, on a w
(0)
= g
(0)
= f(x
(0)
).
Si f(x
(0)
) = 0 lalgorithme sarrte. Supposons donc que f(x
(0)
) = 0. Alors w
(0)
= f(x
(0)
) est
une direction de descente stricte. Comme x
(1)
= x
(0)
+
0
w
(0)
o
0
(0)
, on
a g
(1)
w
(0)
= f(x
(1)
) w
(0)
= 0. De plus, on a videmment g
(0)
w
(0)
= g
(0)
g
(0)
.
Supposons maintenant que g
(k)
w
(k1)
= 0 et g
(k1)
g
(k1)
= g
(k1)
w
(k1)
, et montrons que g
(k+1)
w
(k)
= 0 et g
(k)
g
(k)
= 0.
Par dnition, on a :
w
(k)
= g
(k)
+
n1
w
(k1)
, donc
w
(k)
g
(k)
= g
(k)
g
(k)
+
n1
w
(k1)
g
(k)
= g
(k)
g
(k)
par hypothse de rcurrence. On dduit de cette galit que w
(k)
g
(k)
> 0 (car g
(k)
= 0) et donc w
(k)
est
une direction de descente stricte en x
(k)
. On a donc f(x
(k+1)
) w
(k)
= 0, et nalement g
(k+1)
w
(k)
= 0.
3. Par dnition, g
(k)
= f(x
(k)
) ; or on veut calculer g
(k+1)
g
(k)
= f(x
(k+1)
) + f(x
(k)
). Soit
la fonction de IR dans IR dnie par :
(t) = f(x
(k)
+t(x
(k+1)
x
(k)
)).
On a donc :
(1) (0) = g
(k+1)
g
(k)
=
1
0
(t)dt.
Calculons
(t) = H(x
(k)
+t(x
(k+1)
x
(k)
))(x
(k+1)
x
(k)
). Et comme x
(k+1)
= x
(k)
+
n
w
(k)
, on
a donc :
g
(k+1)
g
(k)
=
n
J
n
w
(k)
. (3.46)
De plus, comme g
(k+1)
w
(k)
= 0 (question 1), on obtient par (3.46) que
n
=
g
(k)
w
(k)
J
n
w
(k)
w
(k)
(car J
n
w
(k)
w
(k)
= 0, puisque J
n
est symtrique dnie positive).
4. Par dnition, on a w
(k)
= g
(k)
+
n1
w
(k1)
, et donc
|w
(k)
| |g
(k)
| +|
n1
||w
(k1)
|. (3.47)
Toujours par dnition, on a :
n1
=
g
(k)
(g
(k)
g
(k1)
)
g
(k1)
g
(k1)
.
Donc, par la question 3, on a :
n1
=

n
g
(k)
J
(k1)
w
(k1)
g
(k1)
g
(k1)
.
En utilisant la question 2 et nouveau la question 3, on a donc :
n1
=
J
(k1)
w
(k1)
g
(k)
J
(k1)
w
(k1)
w
(k1)
,
et donc
n1
=
|J
(k1)
w
(k1)
g
(k)
|
J
(k1)
w
(k1)
w
(k1)
,
car J
(k1)
De plus, en utilisant les hypothses sur H, on vrie facilement que
|x|
2
J
(k)
x x |x|
2
x IR
n
.
On en dduit que
n1

|J
(k1)
w
(k1)
g
(k)
|
|w
(k1)
|
2
.
On utilise alors lingalit de CauchySchwarz :
|J
(k1)
w
(k1)
g
(k)
| J
(k1)
2
|w
(k1)
| |g
(k1)
|
|w
(k1)
| |g
(k1)
|.
On obtient donc que
n1

|g
(k1)
|
|w
(k1)|
,
ce qui donne bien grce (3.47) :
|w
(k)
| |g
(k)
|(1 +

).
5. Montrons dabord que la suite (f(x
(k)
))
nIN
converge. Comme f(x
(k+1)
) = f(x
(k)
+
n
w
(k)
)
f(x
(k)
+ w
(k)
) 0, on a donc en particulier f(x
(k+1)
) f(x
(k)
). La suite (f(x
(k)
))
nIN
est
donc dcroissante. De plus, elle est minore par f( x). Donc elle converge, vers une certaine limite
IR, lorsque n tend vers +.
La suite (x
(k)
)
nIN
est borne : en effet, comme f est croissante linni, il existe R > 0 tel que si
|x| > R alors f(x) f(x
(0)
). Or f(x
(k)
) f(x
(0)
) pout tout n IN, et donc la suite (x
(k)
)
nIN
est
incluse dans la boule de rayon R.
Montrons que f(x
(k)
) 0 lorsque n +.
On a, par dnition de x
(k+1)
,
f(x
(k+1)
) f(x
(k)
+w
(k)
), 0.
En introduisant la fonction dnie de IR dans IR par (t) = f(x
(k)
+tw
(k)
), on montre facilement
(les calculs sont les mmes que ceux de la question 1) que
f(x
(k)
+w
(k)
) = f(x
(k)
) +f(x
(k)
) w
(k)
+
2
1
0
H(x
(k)
+tw
(k)
)w
(k)
w
(k)
(1 t)dt,
pour tout 0. Grce lhypothse sur H, on en dduit que
f(x
(k+1)
) f(x
(k)
) +f(x
(k)
) w
(k)
+

2
2
|w
(k)
|
2
, 0.
Comme f(x
(k)
) w
(k)
= g
(k)
w
(k)
= |g
(k)
|
2
(question 2) et comme |w
(k)
| |g
(k)
|(1 +

)
(question 4), on en dduit que :
f(x
(k+1)
) f(x
(k)
) |g
(k)
|
2
+
2
|g
(k)
|
2
=
n
(), 0,
o =

2
2
+ (1 +

)
2
. La fonction
n
est un polynme de degr 2 en , qui atteint son minimum
lorsque
n
() = 0, i.e. pour =
1
2
. On a donc, pour =
1
2
,
f(x
(k+1)
) f(x
(k)
)
1
4
|g
(k)
|
2
,
do on dduit que
|g
(k)
|
2
4(f(x
(k)
) f(x
(k+1)
) 0
n+
On a donc f(x
(k)
) 0 lorsque n +.
La suite (x
(k)
)
nIN
tant borne, il existe une soussuite qui converge vers x IR
n
, comme f(x
(k)
)
0 et comme f est continue, on a f(x) = 0. Par unicit du minimum (f est croissante linni et
strictement convexe) on a donc x = x.
Enn on conclut la convergence de toute la suite par un argument classique (voir question 6 de
lexercice 94 page 181).
Corrig de lexercice 102 page 185 (Algorithme de quasi Newton)
Partie 1
1. Par dnition de w
(k)
, on a :
w
(k)
f(x
(k)
) = K
(k)
f(x
(k)
) f(x
(k)
) < 0
car K est symtrique dnie positive.
Comme
n
est le paramtre optimal dans la direction w
(k)
, on a f(x
(k)
+
n
w
(k)
) w
(k)
= 0, et
donc Ax
(k)
w
(k)
+
n
Aw
(k)
w
(k)
= b w
(k)
; on en dduit que
n
=
g
(k)
w
(k)
Aw
(k)
w
(k)
.
Comme w
(k)
= K
(k)
g
(k)
, ceci scrit encore :
n
=
g
(k)
K
(k)
g
(k)
AK
(k)
g
(k)
K
(k)
g
(k)
.
2. Si K
(k)
= A
1
, la formule prcdente donne immdiatement
n
= 1.
3. La mthode de Newton consiste chercher le zro de f par lalgorithme suivant ( litration 1) :
H
f
(x
(0)
)(x
(1)
x
(0)
) = f(x
(0)
),
(o H
f
(x) dsigne la hessienne de f au point x) cestdire
A(x
(1)
x
(0)
) = Ax
(0)
+b.
On a donc Ax
(k)
= b, et comme la fonction f admet un unique minimum qui vrie Ax = b, on a
donc x
(1)
= x, et la mthode converge en une itration.
Partie 2 Mthode de FletcherPowell.
1. Soit n IN, on suppose que g
(k)
= 0. Par dnition, on a s
(k)
= x
(k+1)
x
(k)
=
n
K
(k)
g
(k)
, avec
n
> 0. Comme K
(k)
est symtrique dnie positive elle est donc inversible ; donc comme g
(k)
= 0,
on a K
(k)
g
(k)
= 0 et donc s
(k)
= 0.
Soit i < n, par dnition de s
(k)
, on a :
s
(k)
As
(i)
=
n
K
(k)
g
(k)
As
(i)
.
Comme K
(k)
est symtrique,
s
(k)
As
(i)
=
n
g
(k)
K
(k)
As
(i)
.
Par hypothse, on a K
(k)
As
(i)
= s
(i)
pour i < n, donc on a bien que si i < n
s
(k)
As
(i)
= 0 g
(k)
s
(i)
= 0.
Montrons maintenant que g
(k)
s
(i)
= 0 pour i < n.
On a
g
(i+1)
s
(i)
=
i
g
(i+1)
K
(i)
g
(i)
=
i
g
(i+1)
w
(i)
.
Or g
(i+1)
= f(x
(i+1)
) et
i
(i)
. Donc
g
(i+1)
s
(i)
= 0.
On a
(g
(k)
g
(i+1)
) s
(i)
= (Ax
(k)
Ax
(i+1)
) s
(i)
=
n1
k=i+1
(Ax
(k+1)
Ax
(k)
) s
(i)
=
n1
k=i+1
As
(k)
s
(i)
,
= 0
Par hypothse de Aconjugaison de la famille (s
(i)
)
i=1,k1
on dduit alors facilement des deux
galits prcdentes que g
(k)
s
(i)
= 0. Comme on a montr que g
(k)
s
(i)
= 0 si et seulement si
s
(k)
As
(i)
= 0, on en conclut que la famille (s
(i)
)
i=1,...,n
est Aconjugue, et que les vecteurs
s
(i)
sont non nuls.
2. Montrons que K
(k+1)
est symtrique. On a :
(K
(k+1)
)
t
= (K
(k)
)
t
+
(s
(k)
(s
(k)
)
t
)
t
s
(k)
y
(k)

[(K
(k)
y
(k)
)(K
(k)
y
(k)
)
t
]
t
K
(k)
y
(k)
y
(k)
= K
(k+1)
,
car K
(k)
est symtrique.
3. Montrons que K
(k+1)
As
(i)
= s
(i)
si 0 i n. On a :
K
(k+1)
As
(i)
= K
(k)
As
(i)
+
s
(k)
(s
(k)
)
t
s
(k)
y
(k)
As
(i)
(K
(k)
y
(k)
)(K
(k)
(y
(k)
)
t
K
(k)
y
(k)
y
(k)
As
(i)
. (3.48)
Considrons dabord le cas i < n. On a
s
(k)
(s
(k)
)
t
As
(i)
= s
(k)
[(s
(k)
)
t
As
(i)
] = s
(k)
[s
(k)
As
(i)
] = 0
car s
(k)
As
(i)
= 0 si i < n. De plus, comme K
(k)
est symtrique, on a :
(K
(k)
y
(k)
)(K
(k)
y
(k)
)
t
As
(i)
= K
(k)
y
(k)
(y
(k)
)
t
K
(k)
As
(i)
.
Or par la question (c), on a K
(k)
As
(i)
= s
(i)
si 0 i n. De plus, par dnition, y
(k)
= As
(k)
.
On en dduit que
(K
(k)
y
(k)
)(K
(k)
y
(k)
)
t
As
(i)
= K
(k)
y
(k)
(As
(k)
)
t
s
(i)
= K
(k)
y
(k)
(s
(k)
)
t
As
(i)
= 0
puisque on a montr en (a) que les vecteurs s
(0)
, . . . , s
(k)
sont A-conjugus. On dduit alors de
(3.48) que
K
(k+1)
As
(i)
= K
(k)
As
(i)
= s
(i)
.
Considrons maintenant le cas i = n. On a
K
(k+1)
As
(k)
= K
(k)
As
(k)
+
s
(k)
(s
(k)
)
t
s
(k)
y
(k)
As
(k)
(K
(k)
y
(k)
)(K
(k)
(y
(k)
)
t
K
(k)
y
(k)
y
(k)
As
(k)
,
et comme y
(k)
= As
(k)
,, ceci entrane que
K
(k+1)
As
(k)
= K
(k)
As
(k)
+s
(k)
K
(k)
y
(k)
= s
(k)
.
4. Pour x IR
n
, calculons K
(k+1)
x x :
K
(k+1)
x x = K
(k)
x x +
s
(k)
(s
(k)
)
t
s
(k)
y
(k)
x x
(K
(k)
y
(k)
)(K
(k)
y
(k)
)
t
K
(k)
y
(k)
y
(k)
x x.
Or s
(k)
(s
(k)
)
t
x x = s
(k)
(s
(k)
x) x = (s
(k)
x)
2
, et de mme, (K
(k)
y
(k)
)(K
(k)
y
(k)
)
t
x x =
(K
(k)
y
(k)
x)
2
. On en dduit que
K
(k+1)
x x = K
(k)
x x +
(s
(k)
x)
2
s
(k)
y
(k)

(K
(k)
y
(k)
x)
2
K
(k)
y
(k)
y
(k)
.
En remarquant que y
(k)
= As
(k)
, et en rduisant au mme dnominateur, on obtient alors que
K
(k+1)
x x =
(K
(k)
x x)(K
(k)
y
(k)
y
(k)
) (K
(k)
y
(k)
x)
2
(K
(k)
y
(k)
y
(k)
)
+
(s
(k)
x)
2
As
(k)
s
(k)
.
Montrons maintenant que K
(k+1)
est symtrique dnie positive. Comme K
(k)
est symtrique dnie
positive, on a grce lingalit de Cauchy-Schwarz que (K
(k)
y
(k)
x)
2
(K
(k)
x x)(K
(k)
y
(k)
)
avec galit si et seulement si x et y
(k)
sont colinaires. Si x nest pas colinaire y
(k)
, on a donc donc
clairement
K
(k+1)
x x > 0.
Si maintenant x est colinaire y
(k)
, i.e. x = y
(k)
avec IR
+
, on a, grce au fait que y
(k)
= As
(k)
,
(s
(k)
x)
2
As
(k)
s
(k)
=
2
(s
(k)
As
(k)
)
2
As
(k)
s
(k)
> 0, et donc K
(k+1)
x x > 0.
On en dduit que K
(k+1)
5. On suppose que g
(k)
= 0 si 0 n n1. On prend comme hypothse de rcurrence que les vecteurs
s
(0)
, . . . , s
(k1)
sont A-conjugus et non-nuls, que K
(j)
As
(i)
= s
(i)
si 0 i < j n et que les
matrices K
(j)
sont symtriques dnies positives pour j = 0, . . . , n.
Cette hypothse est vrie au rang n = 1 grce la question 1 en prenant n = 0 et K
(0)
symtrique
dnie positive.
On suppose quelle est vraie au rang n. La question 1 prouve quelle est vraie au rang n + 1.
Il reste maintenant montrer que x
(n+1)
= A
1
b = x. On a en effet K
(n)
As
(i)
= s
(i)
pour i = 0
n 1. Or les vecteurs s
(0)
, . . . , s
(k1)
sont A-conjugus et non-nuls : ils forment donc une base. On
en dduit que K
(n)
A = Id, ce qui prouve que K
(n)
= A
1
, et donc, par dnition de x
(n+1)
, que
x
(n+1)
= A
1
b = x.
Corrig de lexercice 103 page 186 (Mthodes de GaussNewton et de quasilinarisation)
Soit f C
2
(IR
n
, IR
P
), avec n, P IN
. Soit C M
P
(IR) une matrice relle carre dordre P, symtrique
dnie positive, et d IR
P
. Pour x IR
n
, on pose
J(x) = (f(x) d) C(f(x) d).
On cherche minimiser J.
I Proprits dexistence et dunicit
(a) Comme C est symtrique nie positive, on a y Cy 0 pour tout y IR
n
, ce qui prouve que
J(x) 0 pour tout x IR
n
. Donc J est borne infrieurement.
(b) Trois exemples
i. Si N = P et f(x) = x, J(x) = (x d) C(x d) qui est une fonction quadratique pour laquelle
on a existence et unicit de x IR
n
qui ralise le minimum de J.
ii. Si f(x) = 0, J(x) = d C et J est donc constante. Il y a donc existence et non unicit de x IR
n
iii. Pour N = P = 1, si f(x) = e
x
, avec c = 1 et d = 0, J(x) = (e
x
)
2
tend vers 0 en linni mais 0
nest jamais atteint. Il ya donc non existence de x IR
n
II Un peu de calcul diffrentiel
(a) On note Df et D
2
f les diffrentielles dordre 1 et 2 de f. A quels espaces appartiennent Df(x),
D
2
f(x) (pour x IR
n
), ainsi que Df et D
2
f ? Montrer que pour tout x IR
n
, il existe M(x)
M
P,n
(IR), o M
P,n
(IR) dsigne lensemble des matrices relles P lignes et n colonnes, telle que
Df(x)(y) = M(x)y pour tout y IR
n
.
Df(x) est la diffrentielle de f en x et cest donc une application linaire de IR
n
dans IR
P
. Donc
il existe M(x) M
P,n
(IR), o M
P,n
(IR) dsigne lensemble des matrices relles P lignes et n
colonnes, telle que Df(x)(y) = M(x)y pour tout y IR
n
.
On a ensuite D
2
f(x) L(IR
n
, L(IR
n
, IR
P
)).
Enn, on a Df C
1
(IR
n
, L(IR
n
, IR
P
)) et D
2
f L(IR
n
, L(IR
n
, IR
P
)).
3.4. OPTIMISATION SOUS CONTRAINTES CHAPITRE 3. OPTIMISATION
(b) Comme C ne dpend pas de x, on a J(x) = M(x)C(f(x) d) + (f(x) d)CM(x).
(c) Pour x IR
n
, calculer la matrice hessienne de J en x (quon notera H(x)). On suppose maintenant
que M ne dpend pas de x; montrer que dans ce cas H(x) = 2M(x)
t
CM(x).
III Algorithmes doptimisation
Dans toute cette question, on suppose quil existe un unique x IR
n
qui ralise le minimum de J, quon
cherche calculer de manire itrative. On se donne pour cela x
0
IR
n
, et on cherche construire une suite
(x
n
)
nIN
qui converge vers x.
(a) On cherche calculer x en utilisant la mthode de Newton pour annuler J. Justier brivement cette
procdure et crire lalgorithme obtenu.
(b) Lalgorithme dit de Gauss-Newton" est une modication de la mthode prcdente, qui consiste
approcher, chaque itration n, la matrice jacobienne de J en x
n
par la matrice obtenue en ngligeant
les drives secondes de f. Ecrire lalgorithme ainsi obtenu.
(c) Lalgorithme dit de quasilinarisation" consiste remplacer, chaque itration n IN, la minimisa-
tion de la fonctionnelle J par celle de la fonctionnelle J
n
, dnie de IR
n
dans IR, et obtenue partir
de J en effectuant un dveloppement limit au premier ordre de f(x) en x
n
, c..d.
J
n
(x) = (f(x
n
) +Df(x
n
)(x x
n
) d) C(f(x
n
) +Df(x
n
)(x x
n
) d).
i. Soit n 0, x
n
IR
n
connu, M
n
= M(x
n
) M
P,n
(IR), et x IR
n
. On pose h = x x
n
.
Montrer que
J
n
(x) = J(x
n
) +M
t
n
CM
n
h h + 2M
t
n
C(f(x
n
) d) h.
ii. Montrer que la recherche du minimum de J
n
est quivalente la rsolution dun systme linaire
dont on donnera lexpression.
iii. Ecrire lalgorithme de quasilinarisation, et le comparer avec lalgorithme de Gauss-Newton.
3.4 Optimisation sous contraintes
3.4.1 Dnitions
Soit E = IR
n
, soit f C(E, IR), et soit K un sous ensemble de E. On sintresse la recherche de u K tel
que :
_
u K
f( u) = inf
K
f
(3.49)
Ce problme est un problme de minimisation avec contrainte (ou sous contrainte") au sens o lon cherche u qui
minimise f en astreignant u a tre dans K. Voyons quelques exemples de ces contraintes (dnies par lensemble
K), quon va expliciter laide des p fonctions continues, g
i
C(E, IR) i = 1 . . . p.
1. Contraintes galits. On pose K = {x E, g
i
(x) = 0 i = 1 . . . p}. On verra plus loin que le problme de
minimisation de f peut alors tre rsolu grce au thorme des multiplicateurs de Lagrange (voir thorme
3.41).
2. Contraintes ingalits. On pose K = {x E, g
i
(x) 0 i = 1 . . . , p}. On verra plus loin que le problme
de minimisation de f peut alors tre rsolu grce au thorme de KuhnTucker (voir thorme 3.45).
Programmation linaire. Avec un tel ensemble de contraintes K, si de plus f est linaire, cest--dire
quil existe b IR
n
tel que f(x) = b x, et les fonctions g
i
sont afnes, cest--dire quil existe b
i
IR
n
et c
i
IR tels que g
i
(x) = b
i
x + C
i
, alors on dit quon a affaire n problme de programmation
linaire". Ces problmes sont souvent rsolus numriquement laide de lalgorithme de Dantzig, invent
vers 1950.
Programmation quadratique. Avec le mme ensemble de contraintes K, si de plus f est quadratique,
cest--dire si f est de la forme f(x) =
1
2
Ax x b x, et les fonctions g
i
sont afnes, alors on dit quon
a affaire n problme de programmation quadratique".
3. Programmation convexe. Dans le cas o f est convexe et K est convexe, on dit quon a affaire n problme
de programmation convexe".
3.4.2 Existence Unicit Conditions doptimalit simple
Thorme 3.35 (Existence). Soit E = IR
n
et f C(E, IR).
1. Si K est un sous-ensemble ferm born de E, alors il existe x K tel que f( x) = inf
K
f.
2. Si K est un sous-ensemble ferm de E, et si f est croissante linni, cestdire que f(x) +quand
|x| +, alors x K tel que f( x) = inf
K
f
DMONSTRATION
1. Si K est un sous-ensemble ferm born de E, comme f est continue, elle atteint ses bornes sur K, do lexistence
de x.
2. Si f est croissante linni, alors il existe R > 0 tel que si x > R alors f(x) > f(0) ; donc inf
K
f = inf
KB
R
f, o
BR dsigne la boule de centre 0 et de rayon R. Lensemble KBR est compact, car intersection dun ferm et dun
compact. Donc, par ce qui prcde, il existe x K tel que f( x) = inf
KB
R
f = inf
B
R
f.
Thorme 3.36 (Unicit). Soit E = IR
n
et f C(E, IR). On suppose que f est strictement convexe et que K est
convexe. Alors il existe au plus un lment x de K tel que f( x) = inf
K
f.
DMONSTRATION Supposons que x et
=
x
soient deux solutions du problme (3.49), avec x =
=
x
Alors f(
1
2
x +
1
2
=
x
) <
1
2
f( x) +
1
2
f(
=
x
) = inf
K
f . On aboutit donc une contradiction.
Des thormes dexistence 3.35 et dunicit 3.36 on dduit immdiatement le thorme dexistence et dunicit
suivant :
Thorme 3.37 (Existence et unicit). Soient E = IR
n
, f C(E, IR
n
) une fonction strictement convexe et K un
sous ensemble convexe ferm de E. Si K est born ou si f est croissante linni, cestdire si f(x) +
quand x +, alors il existe un unique lment x de K solution du problme de minimisation (3.49), i.e. tel
que f( x) = inf
K
f
Remarque 3.38. On peut remplacer E = IR
n
par E espace de Hilbert de dimension innie dans le dernier
thorme, mais on a besoin dans ce cas de lhypothse de convexit de f pour assurer lexistence de la solution
(voir cours de matrise).
Proposition 3.39 (Condition simple doptimalit). Soient E = IR
n
, f C(E, IR) et x K tel que f( x) = inf
K
f.
On suppose que f est diffrentiable en x
1. Si x
K alors f( x) = 0.
2. Si K est convexe, alors f( x) (x x) 0 pour tout x K.
DMONSTRATION 1. Si x
K, alors il existe > 0 tel que B( x, ) K et f( x) f(x) x B( x, ). Alors

on a dj vu (voir preuve de la Proposition 3.10 page 163) que ceci implique f( x) = 0.
2. Soit x K. Comme x ralise le minimum de f sur K, on a : f( x + t(x x)) = f(tx + (1 t) x) f( x) pour
tout t ]0, 1], par convexit de K. On en dduit que
f( x +t(x x)) f( x)
t
0 pour tout t ]0, 1].
En passant la limite lorsque t tend vers 0 dans cette dernire ingalit, on obtient : f( x) (x x) 0.
3.4.3 Conditions doptimalit dans le cas de contraintes galit
Dans tout ce paragraphe, on considrera les hypothses et notations suivantes :
f C(IR
n
, IR), g
i
C
1
(IR
n
, IR), i = 1 . . . p ;
K = {u IR
n
, g
i
(u) = 0 i = 1 . . . p} ;
g = (g
1
, . . . , g
p
)
t
C
1
(IR
n
, IR
p
)
(3.50)
Remarque 3.40 (Quelques rappels de calcul diffrentiel).
Comme g C
1
(IR
n
, IR
p
), si u IR
n
, alors Dg(u) L(IR
n
, IR
p
), ce qui revient dire, en confondant lappli-
cation linaire Dg(u) avec sa matrice, que Dg(u) M
p,n
(IR). Par dnition, Im(Dg(u)) = {Dg(u)z, z
IR
n
} IR
p
, et rang(Dg(u)) = dim(Im(Dg(u))) p. On rappelle de plus que
Dg(u) =
_
_
_
_
_
_
g
1
x
1
, ,
g
1
x
n
,
.
.
. ,
g
p
x
1
, ,
g
p
x
n
_
_
_
_
_
_
,
et que rang (Dg(u)) min(n, p). De plus, si rang (Dg(u)) = p, alors les vecteurs (Dg
i
(u))
i=1...p
sont linaire-
ment indpendants dans IR
n
.
Thorme 3.41 (Multiplicateurs de Lagrange). Soit u K tel que f( u) = inf
K
f. On suppose que f est diffren-
tiable en u et dim(Im(Dg( u)) = p (ou rang (Dg( u)) = p), alors :
il existe (
1
, . . . ,
p
)
t
IR
p
telsquef( u) +
p
i=1
i
g
i
( u) = 0.
(Cette dernire galit a lieu dans IR
n
)
DMONSTRATION Pour plus de clart, donnons dabord une ide gomtrique" de la dmonstration dans le cas n = 2
et p = 1. On a dans ce cas f C
1
(IR
2
, IR) et K = {(x, y) IR
2
g(x, y) = 0}, et on cherche u K tel que f(u) = inf
K
f.
Traons dans le repre (x, y) la courbe g(x, y) = 0, ainsi que les courbes de niveau de f. Si on se promne" sur la courbe
g(x, y) = 0, en partant du point P0 vers la droite (voir gure 3.1), on rencontre les courbes de niveau successives de f et
f(x) = 5
f(x) = 4 f(x) = 3
f(x) = 2
f(x) = 1
g(x) = 0
x
y
FIGURE 3.1: Interprtation gomtrique des multiplicateurs de Lagrange
on se rend compte sur le dessin que la valeur minimale que prend f sur la courbe g(x, y) = 0 est atteinte lorsque cette
courbe est tangente la courbe de niveau de f : sur le dessin, ceci correspond au point P1 o la courbe g(x, y) = 0 est
tangente la courbe f(x, y) = 3. Une fois quon a pass ce point de tangence, on peut remarquer que f augmente.
On utilise alors le fait que si est une fonction continment diffrentiable de IR
2
dans IR, le gradient de est orthogonal
toute courbe de niveau de , cest--dire toute courbe de la forme (x, y) = c, o c IR. (En effet, soit (x(t), y(t)), t
IR un paramtrage de la courbe g(x, y) = c, en drivant par rapport t, on obtient : g(x(t), y(t)) (x
(t), y
(t))
t
= 0).
En appliquant ceci f et g, on en dduit quau point de tangence entre une courbe de niveau de f et la courbe g(x, y) = 0,
les gradients de f et g sont colinaires. Et donc si g(u) = 0, il existe = 0 tel que f(u) = g(u).
Passons maintenant la dmonstration rigoureuse du thorme dans laquelle on utilise le thorme des fonctions impli-
cites
6
.
Par hypothse, Dg( u) L(IR
n
, IR
p
) et Im(Dg( u)) = IR
p
. Donc il existe un sous espace vectoriel F de IR
n
de
dimension p, tel que Dg( u) soit bijective de F dans IR
p
. En effet, soit (e1 . . . ep) la base canonique de IR
p
, alors pour
tout i {1, . . . p}, il existe yi IR
n
tel que Dg( x)yi = ei. Soit F le sous espace engendr par la famille {y1 . . . yp} ; on
remarque que cette famille est libre, car si

p
i=1
iyi = 0, alors

p
i=1
iei = 0, et donc i = 0 pour tout i = 1, . . . p.
On a ainsi montr lexistence dun sous espace F de dimension p telle que Dg( x) soit bijective (car surjective) de F dans
IR
p
.
Il existe un sous espace vectoriel G de IR
n
, tel que IR
n
= F
G. Pour v F et w G; on pose g(w, v) = g(v + w)

et

f(w, v) = f(v +w). On a donc

f C(GF, IR) et g C
1
(GF, IR). De plus, D2 g(w, v) L(F, IR
p
), et pour
tout z F, on a D2 g(w, v)z = Dg(v +w)z.
Soit ( v, w) F G tel que u = v + w. Alors D2 g( w, v)z = Dg( u)z pour tout z F. Lapplication D2 g( w, v) est une
bijection de F sur IR
p
, car, par dnition de F, Dg( u) est bijective de F sur IR
p
.
On rappelle que K = {u IR
n
: g(u) = 0} et on dnit K = {(w, v) G F, g(w, v) = 0}. Par dnition de

f et
de g, on a
_
( w, v) K
f( w, v) f(w, v) (w, v) K
(3.51)
6. Thorme des fonctions implicites Soient p et q des entiers naturels, soit h C
1
(IR
q
IR
p
, IR
p
), et soient ( x, y) IR
q
IR
p
et
c IR
p
tels que h( x, y) = c. On suppose que la matrice de la diffrentielle D
2
h( x, y)( Mp(IR)) est inversible. Alors il existe > 0 et
> 0 tels que pour tout x B( x, ), il existe un unique y B( y, ) tel que h(x, y) = c. on peut ainsi dnir une application de B( x, )
dans B( y, ) par (x) = y. On a ( x) = y, C
1
(IR
p
, IR
p
) et D(x) = [D
2
h(x, (x))]
1
D
1
h(x,(x)).
Dautre part, le thorme des fonctions implicites (voir note de bas de page 205) entrane lexistence de > 0 et > 0
tels que pour tout w BG( w, ) il existe un unique v BF ( v, ) tel que g(w, v) = 0. On note v = (w) et on dnit
ainsi une application C
1
(BG( w, ), BF ( v, )).
On dduit alors de (3.51) que :
f( w, ( w))

f(w, (w))), w BG( w, ),
et donc
f( u) = f( w +( w)) f(w +(w)), w BG( w, ).
En posant (w) =

f(w, (w)), on peut donc crire
( w) =

f( w, ( w)) (w), w BG( w, ).
On a donc, grce la proposition 3.39,
D( w) = 0. (3.52)
Par dnition de , de

f et de g , on a :
D( w) = D1

f( w, (( w)) +D2

f( w, ( w))D( w).
Daprs le thorme des fonctions implicites,
D( w) = [D2 g( w, (( w))]
1
D1 g( w, (( w)).
On dduit donc de (3.52) que
D1

f( w, (( w))w [D2 g( w, (( w))]
1
D1 g( w, (( w))w = 0, pour tout w G. (3.53)
De plus, comme D2 g( w, (( w))]
1
D2 g( w, (( w)) = Id, on a :
D2

f( w, (( w))z D2

f( w, (( w)) [D2 g( w, (( w))]
1
D2 g( w, (( w))z = 0, z F. (3.54)
Soit x IR
n
, et (z, w) F G tel que x = z +w. En additionant (3.53) et (3.54), et en notant
= D2

f( w, (( w)) [D2 g( w, (( w))]
1
,
on obtient :
Df( u)x + Dg( u)x = 0,
ce qui donne, en transposant : Df( u) +
p
i=1
igi( u) = 0, avec = (1, . . . , p).
Remarque 3.42 (Utilisation pratique du thorme de Lagrange). Soit f C
1
(IR
n
, IR), g = (g
1
, . . . , g
p
)
t
avec
g
i
C(IR
n
, IR) pour i = 1, . . . , p., et soit K = {u IR
n
, g
i
(u) = 0, i = 1, . . . , p}.
Le problme quon cherche rsoudre est le problme de minimisation (3.49) quon rappelle ici :
_
u K
f( u) = inf
K
f
Daprs le thorme des multiplicateurs de Lagrange, si u est solution de (3.49) et Im(Dg( u)) = IR
p
, alors il
existe (
1
, . . . ,
p
) IR
p
tel que u est solution du problme
_
_
f
x
j
( u) +
p
i=1
i
g
i
x
j
= 0, j = 1, . . . n,
g
i
( u) = 0, i = 1, . . . , p.
(3.55)
Le systme (3.55) est un systme non linaire de de (n+p) quations et (n+p) inconnues ( x, . . . , x
n
,
i
. . .
p
).
Ce systme sera rsolu par une mthode de rsolution de systme non linaire (Newton par exemple).
Remarque 3.43. On vient de montrer que si x solution de (3.49) et Im(Dg( x)) = IR
p
, alors x solution de (3.55).
Par contre, si x est solution de (3.55), ceci nentrane pas que x est solution de (3.49).
Des exemples dapplication du thorme des multiplicateurs de Lagrange sont donns dans les exercices 105 page
208 et 106 page 208.
3.4.4 Contraintes ingalits
Soit f C(IR
n
, IR) et g
i
C
1
(IR
n
, IR) i = 1, . . . , p, on considre maintenant un ensemble K de la forme :
K = {x IR
n
, g
i
(x) 0 i = 1 . . . p}, et on cherche rsoudre le problme de minimisation (3.49) qui scrit :
_
x K
f( x) f(x), x K.
Remarque 3.44. Soit x une solution de (3.49) et supposons que g
i
( x) < 0, pour tout i {1, . . . , p}. Il existe
alors > 0 tel que si x B( x, ) alors g
i
(x) < 0 pour tout i = 1, . . . , p.
On a donc f( x) f(x) x B( x, ). On est alors ramen un problme de minimisation sans contrainte, et si
i f est diffrentiable en x, on a donc f( x) = 0.
On donne maintenant sans dmonstration le thorme de Kuhn-Tcker qui donne une caractrisation de la solution
du problme (3.49).
Thorme 3.45 (KuhnTucker). Soit f C(IR
n
, IR), soit g
i
C
1
(IR
n
, IR), pour i = 1, . . . , p, et soit K =
{x IR
n
, g
i
(x) 0 i = 1 . . . p}. On suppose quil existe x solution de (3.49), et on pose I( x) = {i
{1, . . . , p}; |g
i
( x) = 0}. On suppose que f est diffrentiable en x et que la famille (de IR
n
) {g
i
( x), i I( x)}
est libre. . Alors il existe une famille (
i
)
iI( x)
IR
+
telle que
f( x) +
iI( x)
i
g
i
( x) = 0.
Remarque 3.46. 1. Le thorme de Kuhn-Tucker sapplique pour des ensembles de contrainte de type inga-
lit. Si on a une contraite de type galit, on peut videmment se ramener deux contraintes de type ingalit
en remarquant que {h(x) = 0} = {h(x) )} {h(x) 0}. Cependant, si on pose g
1
= h et g
2
= h,
on remarque que la famille {g
1
( x), g
2
( x)} = {h( x), h( x)} nest pas libre. On ne peut donc pas
appliquer le thorme de Kuhn-Tucker sous la forme donne prcdemment dans ce cas (mais on peut il
existe des versions du thorme de Kuhn-Tucker permettant de traiter ce cas, voir Bonans-Saguez).
2. Dans la pratique, on a intrt crire la conclusion du thorme de Kuhn-Tucker (i.e. lexistence de la
famille (
i
)
iI( x)
) sous la forme du systme de n +p quations et 2p inquations rsoudre suivant :
_
_
f( x) +
p
i=1
i
g
i
( x) = 0,
i
g
i
( x) = 0, i = 1, . . . , p,
g
i
( x) 0, i = 1, . . . , p,
i
0, i = 1, . . . , p.
i = 1 . . . p
i0
g
i
( x) 0 i = 1 . . . p
3.4.5 Exercices
Exercice 104 (Sur lexistence et lunicit). Corrig en page 209
Etudier lexistence et lunicit des solutions du problme (3.49), avec les donnes suivantes : E = IR, f : IR IR
est dnie par f(x) = x
2
, et pour les quatre diffrents ensembles K suivants :
(i) K = {|x| 1} ; (ii) K = {|x| = 1}
(iii) K = {|x| 1} ; (iv) K = {|x| > 1}.
(3.56)
Exercice 105 (Aire maximale dun rectangle primtre donn).
Corrig en page 210
1. On cherche maximiser laire dun rectangle de primtre donn gal 2. Montrer que ce problme peut se
formuler comme un problme de minimisation de la forme (3.49), o K est de la forme K = {x IR
2
; g(x) = 0}.
On donnera f et g de manire explicite.
2. Montrer que le problme de minimisation ainsi obtenu est quivalent au problme
_
x = ( x
1
, x
2
)
t

K
f( x
1
, x
2
) f(x
1
, x
2
), (x
1
, x
2
)
t

K,
(3.57)
o

K = K [0, 1]
2
, K et f tant obtenus la question 1. En dduire que le problme de minimisation de laire
admet au moins une solution.
3. Calculer Dg(x) pour x K et en dduire que si x est solution de (3.57) alors x = (1/2, 1/2). En dduire que
le problme (3.57) admet une unique solution donne par x = (1/2, 1/2).
Exercice 106 (Fonctionnelle quadratique). Suggestions en page 188, corrig en page 210
Soit f une fonction quadratique, i.e. f(x) =
1
2
Ax x b x, o A M
n
(IR) est une matrice symtrique
dnie positive et b IR
n
. On suppose que la contrainte g est une fonction linaire de IR
n
dans IR, cest--dire
g(x) = d xc o c IR et d IR
n
, et que d = 0. On pose K = {x IR
n
, g(x) = 0} et on cherche rsoudre
le problme de minimisation (3.49).
1. Montrer que lensemble K est non vide, ferm et convexe. En dduire que le problme (3.49) admet une unique
solution.
2. Montrer que si x est solution de (3.49), alors il existe IR tel que y = ( x, )
t
soit lunique solution du
systme :
_
_
A d
d
t
0
_
_
_
_
x
_
_
=
_
_
b
c
_
_
(3.58)
Exercice 107 (Minimisation sans drivabilit).
Soient A M
n
(IR) une matrice s.d.p., b IR
n
, j : IR
n
IR une fonction continue et convexe, valeurs
positives ou nulles (mais non ncessairement drivable, par exemple j(v) =
n
j=1
i
|v
i
|, avec
i
0 pour tout
i {1, . . . , n}). Soit U une partie non vide, ferme convexe de IR
n
. Pour v IR
n
, on pose J(v) = (1/2)Av v
b v +j(v).
1. Montrer quil existe un et un seul u tel que :
u U, J(u) J(v), v U. (3.59)
2. Soit u U, montrer que u est solution de (3.59) si et seulement si (Au b) (v u) + j(v) j(u) 0,
pour tout v U.
Exercice 108 (Utilisation du thorme de Lagrange).
1. Pour (x, y) IR
2
, on pose : f(x, y) = y, g(x, y) = x
2
+ y
2
1. Chercher le(s) point(s) o f atteint son
maximum ou son minimum sous la contrainte g = 0.
2. Soit a = (a
1
, . . . , a
n
) IR
n
, a = 0. Pour x = (x
1
, . . . , x
n
) IR
n
, on pose : f(x) =
n
i=1
|x
i
a
i
|
2
,
g(x) =
n
i=1
|x
i
|
2
. Chercher le(s) point(s) o f atteint son maximum ou son minimum sous la contrainte
g = 1.
3. Soient A M
n
(IR) symtrique, B M
n
(IR) s.d.p. et b IR
n
. Pour v IR
n
, on pose f(v) = (1/2)Av
v b v et g(v) = Bv v. Peut-on appliquer le thorme de Lagrange et quelle condition donne-t-il sur u si
f(u) = min{f(v), v K} avec K = {v IR
n
; g(v) = 1} ?
Exercice 109 (Contre exemple aux multiplicateurs de Lagrange).
Soient f et g : IR
2
IR, dnies par : f(x, y) = y, et g(x, y) = y
3
x
2
. On pose K = {(x, y) IR
2
; g(x, y) =
0}.
1. Calculer le minimum de f sur K et le point (x, y) o ce minimum est atteint.
2. Existe-t-il tel que Df(x, y) = Dg(x, y) ?
3. Pourquoi ne peut-on pas appliquer le thorme des multiplicateurs de Lagrange ?
4. Que trouve-t-on lorsquon applique la mthode dite de Lagrange" pour trouver (x, y) ?
Exercice 110 (Application simple du thorme de Kuhn-Tucker). Corrig en page 211
Soit f la fonction dnie de E = IR
2
dans IR par f(x) = x
2
+ y
2
et K = {(x, y) IR
2
; x + y 1}.
Justier lexistence et lunicit de la solution du problme (3.49) et appliquer le thorme de Kuhn-Tucker pour la
dtermination de cette solution.
Exercice 111 (Exemple doprateur de projection).
Correction en page 211
1.Soit K = C
+
= {x IR
n
, x = (x
1
, . . . , x
n
)
t
, x
i
0, i = 1, . . . , N}.
(a) Montrer que K est un convexe ferm non vide.
(b) Montrer que pour tout y IR
n
, on a : (p
K
(y))
i
= max(y
i
, 0).
2. Soit (
i
)
i=1,...,n
IR
n
et (
i
)
i=1,...,n
IR
n
tels que
i

i
pour tout i = 1, . . . , n. Soit K = {x =
(x
1
, . . . , x
n
)
t
;
i

i
, i = 1, . . . , n}.
1. Montrer que K est un convexe ferm non vide.
2. Soit p
K
loprateur de projection dnie la proposition 3.47 page 212. Montrer que pour tout y IR
n
, on a :
(p
K
(y))
i
= max(
i
, min(y
i
,
i
)), i = 1, . . . , n
Corrigs
Exercice 104 page 207 (Sur lexistence et lunicit)
La fonction f : IR IR dnie par f(x) = x
2
est continue, strictement convexe, et croissante linni. Etudions
maintenant les proprits de K dans les quatre cas proposs :
(i) Lensemble K = {|x| 1} est ferm born et convexe. On peut donc appliquer le thorme dexistence et
dunicit 3.37 page 203. En remarquant que f(x) 0 pour tout x IR et que f(0) = 0, on en dduit que lunique
solution du problme (3.49) est donc x = 0.
(ii) Lensemble K = {|x| = 1} est ferm born mais non convexe. Le thorme dexistence 3.35 page 203
sapplique donc, mais pas le thorme dunicit 3.36 page 203. De fait, on peut remarquer que K = {1, 1}, et
donc {f(x), x K} = {1}. Il existe donc deux solutions du problme (3.49) : x
1
= 1 et x
1
= 1.
(iii) Lensemble K = {|x| 1} est ferm, non born et non convexe. Cependant, on peut crire K = K
1
K
2
o K
1
= [1, +[ et K
2
=] , 1] sont des ensembles convexes ferms. On peut donc appliquer le thorme
3.37 page 203 : il existe un unique x
1
IR et un unique x
2
IR solution de (3.49) pour K = K
1
et K = K
2
respectivement. Il suft ensuite de comparer x
1
et x
2
. Comme x
1
= 1 et x
2
= 1, on a existence mais pas unicit.
(iv) Lensemble K = {|x| > 1} nest pas ferm, donc le thorme 3.35 page 203 ne sapplique pas. De fait, il
nexiste pas de solution dans ce cas, car on a lim
x1
+f(x) = 1, et donc inf
K
f = 1, mais cet inmum nest pas
atteint.
Exercice 105 page 208 (Maximisation de laire dun rectangle primtre donn)
1. On peut se ramener sans perte de gnralit au cas du rectangle [0, x
1
] [0, x
2
], dont laire est gale x
1
x
2
et
de primtre 2(x
1
+ x
2
). On veut donc maximiser x
1
x
2
, ou encore minimiser x
1
x
2
. Pourx = (x
1
, x
2
)
t
IR
2
,
posons f(x
1
, x
2
) = x
1
x
2
et g(x
1
, x
2
) = x
1
+x
2
. Dnissons
K =
_
x = (x
1
, x
2
)
t
(IR
+
)
2
tel que x
1
+x
2
= 1
_
.
Le problme de minimisation de laire du rectangle de primtre donn et gal 2 scrit alors :
_
_
_
_
x
1
x
2
_
K
f( x
1
, x
2
) f(x
1
, x
2
) (x
1
, x
2
) K
(3.60)
2. Comme x
1
et x
2
sont tous deux positifs, puisque leur somme doit tre gale 1, ils sont forcment tous deux
infrieurs 1. Il est donc quivalent de rsoudre (3.60) ou (3.57). Lensemble

K est un convexe ferme born, la
fonction f est continue, et donc par le thorme 3.35 page 203, il existe au moins une solution du problme (3.57)
(ou (3.60)).
3. Calculons g : g(x) = (1, 1)
t
, donc rang Dg(x, y) = 1. Par le thorme de Lagrange, si x = (x
1
, x
2
)
t
est
solution de (3.60), il existe IR tel que
_
f( x, y) + g( x, y) = 0,
x + y = 1.
Or f( x, y) = ( x, y)
t
, et g( x, y) = (1, 1)
t
. Le systme prcdent scrit donc :
y + = 0
x + = 0
x + y = 1.
On a donc
x = y =
1
2
.
Exercice 106 page 208 (Fonctionnelle quadratique)
1. Comme d = 0, il existe x IR
n
tel que d x = = 0. Soit x =
c
x alors d x = c. Donc lensemble K est

non vide. Lensemble K est ferm car noyau dune forme linaire continue de IR
n
dans IR, et K est videmment
convexe. La fonction f est strictement convexe et f(x) +quand |x| +, et donc par les thormes 3.35
et 3.36 il existe un unique x solution de (3.49).
2. On veut calculer x. On a : Dg(x)z = d z, et donc Dg(x) = d
t
. Comme d = 0 on a rang(Dg(x)) = 1, ou
encore Im(Dg(x)) = IR pour tout x. Donc le thorme de Lagrange sapplique. Il existe donc IR tel que
f( x) +g( x) = 0, cest--dire A x b +d = 0. Le couple ( x, ) est donc solution du problme suivant :
_
A x b +d = 0,
d x = c
, (3.61)
3.5. ALGORITHMES DOPTIMISATION SOUS CONTRAINTES CHAPITRE 3. OPTIMISATION
qui scrit sous forme matricielle : By = e, avec B =
_
_
A d
d
t
0
_
_
M
n+1
(IR), y =
_
x
_
IR
n+1
et
e =
_
_
b
c
_
_
IR
n+1
. Montrons maintenant que B est inversible. En effet, soit z
_
x
_
IR
n+1
, avec x IR
n
et
IR tel que Bz = 0. Alors
_
_
A d
d
t
0
_
_
_
x
_
= 0.
Ceci entrane Ax d = 0 et d
t
x = d x = 0. On a donc Ax x (d x) = 0. On en dduit que x = 0, et
comme d = 0, que = 0. On a donc nalement z = 0.
On en conclut que B est inversible, et quil existe un unique (x, )
t
IR
n+1
solution de (3.61) et et x est solution
de (3.49).
Exercice 110 page 209 (Application simple du thorme de Kuhn-Tucker
La fonction f dnie de E = IR
2
dans IR par f(x) = x
2
+ y
2
est continue, strictement convexe et croissante
linni. Lensemble K qui peut aussi tre dni par : K = {(x, y) IR
2
; g(x, y) 0}, avec g(x, y) = 1 x y
est convexe et ferm. Par le thorme 3.37 page 203, il y a donc existence et unicit de la solution du problme
(3.49). Appliquons le thorme de Kuhn-Tucker pour la dtermination de cette solution. On a :
g(x, y) =
_
1
1
_
et f(x, y) =
_
2x
2y
_
.
Il existe donc IR
+
tel que :
_
_
2x = 0,
2y = 0,
(1 x y) = 0,
1 x y 0,
0.
Par la troisime quation de ce systme, on dduit que = 0 ou 1xy = 0. Or si = 0, on a x = y = 0 par les
premire et deuxime quations, ce qui est impossible en raison de la quatrime. On en dduit que 1 x y = 0,
et donc, par les premire et deuxime quations, x = y =
1
2
.
Exercice 3.4.5 page 209 (Exemple doprateur de projection)
2. Soit p
K
loprateur de projection dnie la proposition 3.47 page 212, il est facile de montrer que, pour tout
i = 1, . . . , n, :
(p
K
(y))
i
= y
i
si y
i
[
i
,
i
],
(p
K
(y))
i
=
i
si y
i

i
,
ce qui entrane
(p
K
(y))
i
= max(
i
, min(y
i
,
i
)) pour tout i = 1, . . . , n.
3.5 Algorithmes doptimisation sous contraintes
3.5.1 Mthodes de gradient avec projection
On rappelle le rsultat suivant de projection sur un convexe ferm :
Proposition 3.47 (Projection sur un convexe ferm). Soit E un espace de Hilbert, muni dune norme . induite
par un produit scalaire (., .), et soit K un convexe ferm non vide de E. Alors, tout x E, il existe un unique
x
0
K tel que x x
0
x y pour tout y K. On note x
0
= p
K
(x) la projection orthogonale de x sur
K. On a galement :
x
0
= p
K
(x) si et seulement si (x x
0
, x
0
y) 0, y K.
Dans le cadre des algorithmes de minimisation avec contraintes que nous allons dvelopper maintenant, nous
considrerons E = IR
n
, f C
1
(IR
n
, IR) une fonction convexe, et K ferm convexe non vide. On cherche
calculer une solution approche de x, solution du problme (3.49).
Algorithme du gradient pas xe avec projection sur K (GPFK) Soit > 0 donn, on considre lalgorithme
suivant :
Algorithme (GPFK)
Initialisation : x
0
K
Itration :
x
n
connu x
n+1
= p
K
(x
n
f(x
n
))
o p
K
est la projection sur K dnie par la proposition 3.47.
Lemme 3.48. Soit (x
n
)
n
construite par lalgorithme (GPFK). On suppose que x
n
x quand n+. Alors x est
solution de (3.49).
DMONSTRATION Soit pK : IR
n
K IR
n
la projection sur K dnie par la proposition 3.47. Alors pK est
continue. Donc si
xn x quand n +alors x = pK(x f(x)) et x K (car xn K et K est ferm).
La caractrisation de pK(x f(x)) donne dans la proposition 3.47 donne alors :
(x f(x) x/x y) 0 pour tout y K, et comme > 0, ceci entrane (f(x)/x y) pour tout y K. Or f
est convexe donc f(y) f(x) +f(x)(y x) pour tout y K, et donc f(y) f(x) pour tout y K, ce qui termine
la dmonstration.
Thorme 3.49 (Convergence de lalgorithme GPFK).
Soit f C
1
(IR
n
, IR), et K convexe ferm non vide. On suppose que :
1. il existe > 0 tel que (f(x) f(y)|x y) |x y|
2
, pour tout (x, y) IR
n
IR
n
,
2. il existe M > 0 tel que |f(x) f(y)| M|x y| pour tout (x, y) IR
n
IR
n
,
alors :
1. il existe un unique lment x K solution de (3.49),
2. si 0 < <
2
M
2
, la suite (x
n
) dnie par lalgorithme (GPFK) converge vers x lorsque n +.
DMONSTRATION
1. La condition 1. donne que f est strictement convexe et que f(x) +quand |x| +. Comme K est convexe
ferm non vide, il existe donc un unique x solution de (3.49).
2. On pose, pour x IR
n
, h(x) = pK(x f(x)). On a donc xn+1 = h(xn). Pour montrer que la suite (xn)nIN
converge, il suft donc de montrer que h est strictement contractante ds que
0 < <
2
M
2
. (3.62)
Grce au lemme 3.50 dmontr plus loin, on sait que pK est contractante. Or h est dnie par :
h(x) = pK(
h(x)) o

h(x) = x f(x).
On a dj vu que

h est strictement contractante si la condition (3.62) est vrie (voir thorme 3.20 page 169 et exercice
92 page 180), et plus prcisment :
|
h(x)
h(y)| (1 2 +M
2
2
)|x y|
2
.
On en dduit que :
|h(x) h(y)|
2
|pK(
h(x)) pK(
h(y))|
2
|
h(x)
h(y))|
2
(1 2 +
2
M
2
)|x y|
2
.
Lapplication h est donc strictement contractante ds que 0 <
2
M
2
. La suite (xn)nIN converge donc bien vers x = x
Lemme 3.50 (Proprit de contraction de la projection orthogonale). Soit E un espace de Hilbert, la norme
et (, ) le produit scalaire, K un convexe ferm non vide de E et p
K
la projection orthogonale sur K dnie par
la proposition 3.47, alors p
K
(x) p
K
(y) x y pour tout (x, y) E
2
.
DMONSTRATION Comme E est un espace de Hilbert,
pK(x) pK(y)
2
= (pK(x) pK(y)|pK(x) pK(y)).
On a donc
pK(x) pK(y)
2
= (pK(x) x +x y +y pK(y)|pK(x) pK(y))
= (pK(x) x|pK(x) pK(y))E + (x y|pK(x) pK(y))+
(y pK(y)|pK(x) pK(y)).
Or (pK(x) x|pK(x) pK(y)) 0 et (y pK(y)|pK(x) pK(y)), do :
pK(x) pK(y) (x y|pK(x) pK(y)),
et donc, grce lingalit de Cauchy-Schwarz,
pK(x) pK(y)x y pK(x) pK(y) x y.
Algorithme du gradient pas optimal avec projection sur K (GPOK)
Lalgorithme du gradient pas optimal avec projection sur K scrit :
Initialisation x
0
K
Itration x
n
connu
w
n
= f(x
n
); calculer
n
n
x
n+1
= p
K
(x
n
+
n
w
n
)
La dmonstration de convergence de cet algorithme se dduit de celle de lalgorithme pas xe.
Remarque 3.51. On pourrait aussi utiliser un algorithme de type QuasiNewton avec projection sur K.
Les algorithmes de projection sont simples dcrire, mais ils soulvent deux questions :
1. Comment calcule-t-on p
K
?
2. Que faire si K nest pas convexe ?
On peut donner une rponse la premire question dans les cas simples :
1er cas On suppose ici que K = C
+
= {x IR
n
, x = (x
1
, . . . , x
n
)
t
x
i
0 i}.
Si y IR
n
y = (y
+
1 . . . y
n
)
t
, on peut montrer (exercice 3.4.5 page 209) que
(p
K
(y))
i
= y
+
i
= max(y
i
, 0), i {1, . . . , n}
2me cas Soit (
i
)
i=1,...,n
IR
n
et (
i
)
i=1,...,n
IR
n
tels que
i

i
pour tout i = 1, . . . , n. Si
K =
i=1,n
[
i
,
i
],
alors
(p
K
(y))
i
= max(
i
, min(y
i
,
i
)), i = 1, . . . , n
Dans le cas dun convexe K plus compliqu, ou dans le cas o K nest pas convexe, on peut utiliser des mthodes
de dualit introduites dans le paragraphe suivant.
3.5.2 Mthodes de dualit
Supposons que les hypothses suivantes sont vries :
_
_
_
f C
1
(IR
n
, IR),
g
i
C
1
(IR
n
, IR),
K = {x IR
n
, g
i
(x) 0 i = 1, . . . , p}, et K est non vide.
(3.63)
On dnit un problme primal" comme tant le problme de minimisation dorigine, cestdire
_
x K,
f( x) f(x), pour tout x K,
(3.64)
On dnit le lagrangien" comme tant la fonction L dnie de IR
n
IR
p
dans IR par :
L(x, ) = f(x) + g(x) = f(x) +
p
i=1
i
g
i
(x), (3.65)
avec g(x) = (g
1
(x), . . . , g
p
(x))
t
et = (
1
(x), . . . ,
p
(x))
t
.
On note C
+
lensemble dni par
C
+
= { IR
p
, = (
1
, . . . ,
p
)
t
,
i
0 pour tout i = 1, . . . , p}.
Remarque 3.52. Le thorme de Kuhn-Tucker entrane que si x est solution du problme primal (3.64) alors il
existe C
+
tel que D
1
L( x, ) = 0 (cestdire Df( x) + Dg( x) = 0) et g( x) = 0.
On dnit alors lapplication M de IR
p
dans IR par :
M() = inf
xIR
n
L(x, ), pour tout IR
p
. (3.66)
On peut donc remarquer que M() ralise le minimum (en x) du problme sans contrainte, qui scrit, pour
IR
p
x :
_
x IR
n
L(x, ) L(y, ) pour tout x IR
n
,
(3.67)
Lemme 3.53. Lapplication M de IR
p
dans IR dnie par (3.66) est concave (ou encore lapplication -M est
convexe), cestdire que pour tous , IR
p
et pour tout t ]0, 1[ on a M(t + (1 t)) tM() + (1
t)M(u)
DMONSTRATION Soit , IR
p
et t ]0, 1[ ; on veut montrer que M(t + (1 t)) tM() + (1 t)M().
Soit x IR
n
, alors :
L(x, t + (1 t)) = f(x) + (t + (1 t))g(x)
= tf(x) + (1 t)f(x) + (t + (1 t))g(x).
On a donc L(x, t + (1 t)) = tL(x, ) + (1 t)L(x, ). Par dnition de M, on en dduit que pour tout x IR
n
,
L(x, t + (1 t)) tM() + (1 t)M()
Or, toujours par dnition de M,
M(t + (1 t)) = inf
xIR
n
L(x, t + (1 t)) tM() + (1 t)M().
On considre maintenant le problme doptimisation dit dual" suivant :
_
C
+
,
M() M() C
+
.
(3.68)
Dnition 3.54. Soit L : IR
n
IR
p
IR et (x, ) IR
n
C
+
. On dit que (x, ) est un point selle de L sur
IR
n
C
+
si
L(x, ) L(x, ) L(y, ) pour tout y IR et pour tout C
+
.
Proposition 3.55. Sous les hypothses (3.63), soit L dnie par L(x, ) = f(x) + g(x) et (x, ) IR
n
C
+
un point selle de L sur IR
n
C
+
.
alors
1. x est solution du problme (3.64),
2. est solution de (3.68),
3. x est solution du problme (3.67) avec = .
On admettra cette proposition.
Rciproquement, on peut montrer que (sous des hypothses convenables sur f et g), si est solution de (3.68), et
si x solution de (3.67) avec = , alors ( x, ) est un point selle de L, et donc x est solution de (3.64).
De ces rsultats dcoule lide de base des mthodes de dualit : on cherche solution de (3.68). On obtient ensuite
une solution x du problme (3.64), en cherchant x comme solution du problme (3.67) avec = (qui est un
problme de minimisation sans contraintes). La recherche de la solution du problme dual (3.68) peut se faire
par exemple par lalgorithme trs classique dUzawa, que nous dcrivons maintenant.
Algorithme dUzawa Lalgorithme dUzawa consiste utiliser lalgorithme du gradient pas xe avec pro-
jection (quon a appel GPFK, voir page 212) pour rsoudre de manire itrative le problme dual (3.68). On
cherche donc C
+
tel que M() M() pour tout C
+
. On se donne > 0, et on note p
C
+ la projection
sur le convexe C
+
(voir proposition 3.47 page 212). Lalgorithme (GPFK) pour la recherche de scrit donc :
Initialisation :
0
C
+
Itration :
n+1
= p
C+
(
n
+M(
n
))
Pour dnir compltement lalgorithme dUzawa, il reste prciser les points suivants :
1. Calcul de M(
n
),
2. calcul de p
C
+() pour dans IR
n
.
On peut galement sintresser aux proprits de convergence de lalgorithme.
La rponse au point 2 est simple (voir exercice 3.4.5 page 209) : pour IR
n
, on calcule p
C+
() = avec
= (
1
, . . . ,
p
)
t
en posant
i
= max(0,
i
) pour i = 1, . . . , p, o = (
1
, . . . ,
p
)
t
.
La rponse au point 1. est une consquence de la proposition suivante (quon admettra ici) :
Proposition 3.56. Sous les hypothses (3.63), on suppose que pour tout IR
n
, le problme (3.67) admet une
solution unique, note x
et on suppose que lapplication dnie de IR

p
dans IR
n
par x
est diffrentiable.
Alors M() = L(x
, ), M est diffrentiable en pour tout , et M() = g(x
).
En consquence, pour calculer M(), on est ramen chercher x
solution du problme de minimisation sans

contrainte (3.67). On peut dont maintenant donner le dtail de litration gnrale de lalgorithme dUzawa :
Itration de lalgorithme dUzawa. Soit
n
C
+
connu ;
1. On cherche x
n
IR
n
solution de
_
x
n
IR
n
,
L(x
n
,
n
) L(x,
n
), x IR
n
(On a donc x
n
= x
n
)
2. On calcule M(
n
) = g(x
n
)
3.
n+1
=
n
+M(
n
) =
n
+g(x
n
) = ((
n+1
)
1
, . . . , (
n+1
)
p
)
t
4.
n+1
= p
C
+(
n+1
), cest-dire
n+1
= ((
n+1
)
1
, . . . , (
n+1
)
p
)
t
avec (
n+1
)
i
= max(0, (
n+1
)
i
) pour
tout i = 1, . . . , p.
On a alors le rsultat suivant de convergence de lalgorithme :
Proposition 3.57 (Convergence de lalgorithme dUzawa). Sous les hypothses (3.63), on suppose de plus que :
1. il existe > 0 tel que (f(x) f(y)) (x y) |x y|
2
pour tout (x, y) (IR
n
)
2
,
2. il existe M
f
> 0 |f(x) f(y)| M
f
|x y| pour tout (x, y) (IR
n
)
2
,
3. pour tout C
+
, il existe un unique x
IR
n
tel que L(x
, ) L(x, ) pour tout x IR

n
.
Alors si 0 < <
2
M
f
2
, la suite ((x
n
,
n
))
n
IR
n
C
+
donne par lalgorithme dUzawa vrie :
1. x
n
x quand n +, o x est la solution du problme (3.64),
2. (
n
)
nIN
est borne.
Remarque 3.58 (Sur lalgorithme dUzawa).
1. Lalgorithme est trs efcace si les contraintes sont afnes : (i.e. si g
i
(x) =
i
x+
i
pour tout i = 1, . . . , p,
avec
i
IR
n
et
i
IR).
2. Pour avoir lhypothse 3 du thorme, il suft que les fonctions g
i
soient convexes. (On a dans ce cas
existence et unicit de la solution x
du problme (3.67) et existence et unicit de la solution x du problme

(3.64).)
3.5.3 Exercices
Exercice 112 (Mthode de pnalisation).
Soit f une fonction continue et strictement convexe de IR
n
dans IR, satisfaisant de plus :
lim
|x|+
f(x) = +.
Soit K un sous ensemble non vide, convexe (cestdire tel que (x, y) K
2
, tx + (1 t)y K, t ]0, 1[),
et ferm de IR
n
. Soit une fonction continue de IR
n
dans [0, +[ telle que (x) = 0 si et seulement si x K.
Pour n IN, on dnit la fonction f
n
par f
n
(x) = f(x) +n(x).
1. Montrer quil existe au moins un lment x
n
IR
n
tel que f
n
( x
n
) = inf
xIR
n f
n
(x), et quil existe un
unique lment x
K
K tel que f( x
K
) = inf
xK
f(x).
2. Montrer que pour tout n IN,
f( x
n
) f
n
( x
n
) f( x
K
).
3. En dduire quil existe une sous-suite ( x
n
k
)
kIN
et y K tels que x
n
k
y lorsque k +.
4. Montrer que y = x
K
. En dduire que toute la suite ( x
n
)
nIN
converge vers x
K
.
5. Dduire de ces questions un algorithme (dit de pnalisation") de rsolution du problme de minimisation
suivant :
_
Trouver x
K
K;
f( x
K
) f(x), x K,
en donnant un exemple de fonction .
Exercice 113 (Mthode de relaxation avec Newton problmes sous contrainte).
On considre le problme :
_
x K,
f(x) f(x), x K,
(3.69)
o K IR
n
.
(a) On prend ici K =
i=1,n
[a
i
, b
i
], o (a
i
, b
i
) IR
2
est tel que a
i
b
i
. On considre lalgorithme suivant :
_
_
Initialisation : x
(0)
E,
Itration n : x
(k)
connu, (n 0)
Calculer x
(k+1)
1
[a
1
, b
1
] tel que :
f(x
(k+1)
1
, x
(k)
2
, x
(k)
3
, . . . , x
(k)
n
) f(, x
(k)
2
, x
(k)
3
, . . . , x
(k)
n
), pour tout [a
1
, b
1
],
Calculer x
(k+1)
2
[a
2
, b
2
] tel que :
f(x
(k+1)
1
, x
(k+1)
2
, x
(k)
3
, . . . , x
(k)
n
) f(x
(k+1)
1
, , x
(k)
3
, . . . , x
(k)
n
),
pour tout [a
2
, b
2
],
. . .
Calculer x
(k+1)
k
[a
k
, b
k
], tel que :
f(x
(k+1)
1
, . . . , x
(k+1)
k1
, x
(k+1)
k
, x
(k)
(k+1)
, . . . , x
(k)
n
)
f(x
(k+1)
1
, . . . , x
(k+1)
k1
, , x
(k)
(k+1)
, . . . , x
(k)
n
), pour tout [a
k
, b
k
],
. . .
Calculer x
(k+1)
n
[a
n
, b
n
] tel que :
f(x
(k+1)
1
, x
(k+1)
2
, . . . , x
(k+1)
n1
, x
(k+1)
n
) f(x
(k+1)
1
, . . . , x
(k+1)
n1
, ),
pour tout [a
n
, b
n
].
(3.70)
Montrer que la suite x
(k)
construite par lalgorithme (3.70) est bien dnie et converge vers x lorsque n tend
vers +, o x K est tel que f(x) f(x) pour tout x K.
(b) On prend maintenant n = 2, f la fonction de IR
2
dans IR dnie par f(x) = x
2
1
+x
2
2
, et K = {(x
1
, x
2
)
t
IR
2
; x
1
+x
2
2}. Montrer quil existe un unique lment x = (x
1
, x
2
)
t
de K tel que f(x) = inf
xIR
2 f(x).
Dterminer x.
On considre lalgorithme suivant pour la recherche de x :
_
_
Initialisation : x
(0)
E,
Itration n : x
(k)
connu, (n 0)
Calculer x
(k+1)
1
2 x
(k)
2
tel que :
f(x
(k+1)
1
, x
(k)
2
) f(, x
(k)
2
), pour tout 2 x
(k)
2
,
Calculer x
(k+1)
2
2 x
(k)
1
tel que :
f(x
(k+1)
1
, x
(k+1)
2
) f(x
(k+1)
1
, ), pour tout 2 x
(k)
1
.
(3.71)
Montrer (ventuellement graphiquement) que la suite construite par lalgorithme ci-dessus ne converge vers
x que si lune des composantes de x
(0)
vaut 1.
Exercice 114 (Convergence de lalgorithme dUzawa).
Soient n 1 p IN
. Soit f C
1
(IR
n
, IR) une fonction telle que
> 0, (f(x) f(y)) (x y) |x y|
2
, x, y IR
n
.
Soit C M
p,n
(IR) (C est donc une matrice, lments rels, ayant p lignes et n colonnes) et d IR
p
. On note
D = {x IR
n
, Cx d} et C
+
= {u IR
p
, u 0}.
On suppose D = et on sintresse au problme suivant :
x D, f(x) f(y), y D. (3.72)
1. Montrer que f(y) f(x) +f(x) (y x) +

2
|x y|
2
pour tout x, y IR
n
.
2. Montrer que f est strictement convexe et que f(x) quand |x| . En dduire quil existe une et une
seule solution au problme (3.72).
Dans la suite, on note x cette solution.
Pour u IR
p
et x IR
n
, on pose L(x, u) = f(x) +u (Cx d).
3. Soit u IR
p
(dans cette question, u est x). Montrer que lapplication x L(x, u) est strictement convexe
(de IR
n
dans IR) et que L(x, u) quand |x| [Utiliser la question 1]. En dduire quil existe une
et une seule solution au problme suivant :
x IR
n
, L(x, u) L(y, u), y IR
n
. (3.73)
Dans la suite, on note x
u
cette solution. Montrer que x
u
est aussi lunique lment de IR
n
t.q. f(x
u
) +
C
t
u = 0.
4. On admet que le thorme de Kuhn-Tucker sapplique ici (cf. cours). Il existe donc u C
+
t.q. f(x) +
C
t
u = 0 et u (Cx d) = 0. Montrer que (x, u) est un point selle de L sur IR
n
C
+
, cest--dire :
L(x, v) L(x, u) L(y, u), (y, v) IR
n
C
+
. (3.74)
Pour u IR
p
, on pose M(u) = L(x
u
, u) (de sorte que M(u) = inf{L(x, u), x IR
n
}). On considre
alors le problme suivant :
u C
+
, M(u) M(v), v C
+
. (3.75)
5. Soit (x, u) IR
n
C
+
un point selle de L sur IR
n
C
+
(cest--dire L(x, v) L(x, u) L(y, u), pour
tout (y, v) IR
n
C
+
). Montrer que x = x = x
u
(on rappelle que x est lunique solution de (3.72) et
x
u
est lunique solution de (3.73)) et que u est solution de (3.75). [On pourra commencer par montrer, en
utilisant la premire ingalit, que x D et u (Cx d) = 0.]
Montrer que f(x) + C
t
u = 0 et que u = P
C
+(u + (Cx d)), pour tout > 0, o P
C
+ dsigne
loprateur de projection orthogonale sur C
+
. [on rappelle que si v IR
p
et w C
+
, on a w = P
C
+v
((v w) (w z) 0, z C
+
).]
6. Dduire des questions 2, 4 et 5 que le problme (3.75) admet au moins une solution.
7. Montrer que lalgorithme du gradient pas xe avec projection pour trouver la solution de (3.75) scrit (on
dsigne par > 0 le pas de lalgorithme) :
Initialisation. u
0
C
+
.
Itrations. Pour u
k
C
+
connu (k 0). On calcule x
k
IR
n
t.q. f(x
k
) +C
t
u
k
= 0 (montrer quun tel
x
k
existe et est unique) et on pose u
k+1
= P
C
+(u
k
+(Cx
k
d)).
Dans la suite, on sintresse la convergence de la suite (x
k
, u
k
)
kIN
donne par cet algorithme.
8. Soit t.q. 0 < < 2/C
2
avec C = sup{|Cx|, x IR
n
t.q. |x| = 1}. Soit (x, u) IR
n
C
+
un
point selle de L sur IR
n
C
+
(cest--dire vriant (3.74)) et (x
k
, u
k
)
kIN
la suite donne par lalgorithme
de la question prcdente. Montrer que
|u
k+1
u|
2
|u
k
u|
2
(2 C
2
)|x
k
x|
2
, k IR
n
.
En dduire que x
k
x quand k .
Montrer que la suite (u
k
)
kIN
est borne et que, si u est une valeur dadhrence de la suite (u
k
)
kIN
, on a
f(x) +C
t
u = 0. En dduire que, si rang(C)=p, on a u
k
u quand k et que u est lunique lment
de C
+
t.q. f(x) +C
t
u = 0.
Chapitre 4
Equations diffrentielles
4.1 Introduction
On sintresse ici la rsolution numrique dquations diffrentielles avec conditions initiales (ou problme de
Cauchy) :
_
x
(t) = f(x(t), t) t > 0,

x(0) = x
0
.
(4.1)
o f est une fonction de IR
n
IR valeurs dans IR
n
, avec n 1. Linconnue est la fonction x de IR dans IR
n
.
Souvent, t reprsente le temps, et on cherche donc x fonction de IR
+
valeurs dans IR
n
. On a donc affaire
un systme diffrentiel dordre 1. De nombreux exemples de problmes scrivent sous cette forme. Citons entre
autres les lois qui rgissent la cintique dun ensemble de ractions chimiques, ou encore les quations rgissant
la dynamique des populations. Notons quun systme diffrentiel faisant intervenir des diffrentielles dordre su-
prieur peut toujours scrire sous la forme (4.1). Prenons par exemple lquation du second ordre dcrivant le
comportement de lamortisseur dune voiture :
_
_
_
my
+cy
+ky = 0,
y(0) = x
0
,
y
(0) = 0.
(4.2)
o m est la masse de la voiture, c le coefcient damortissement et k la force de rappel. Linconnue y est le
dplacement de lamortisseur par rapport sa position dquilibre. Pour se ramener un systme dordre 1, on
pose x
1
= y, x
2
= y
, et le systme amortisseur scrit alors, avec comme inconnue x = (x

1
, x
2
)
t
:
_
x
(t) = f(x(t), t),

x(0) = ( x
0
, 0)
t
,
avec f(x, t) =
_
x
2
,
1
m
(cx
2
+kx
1
)
_
. (4.3)
On rappelle que par le thorme de Cauchy-Lipschitz, si f C
1
(IR
n
IR, IR
n
) alors il existe T
M
> 0 et
x C
2
([0, T
M
[, IR
n
) solution maximale de (4.1), cestdire que x est solution de (4.1) sur [0, T
M
[, et que sil
existe > 0 et y C
2
([0, [, IR
n
) solution de (4.1) sur [0, [ alors T
M
et y = x sur [0, [. De plus, par le
thorme dexplosion en temps ni, si T
M
< +alors |x(t)| +quand t T
M
.
Remarque 4.1 (Hypothse sur f). On rappelle dabord quune fonction de IR dans IR est dite lipschitzienne si
A > 0, M
A
IR
+
tel que , (x, y) IR, |(x) (y)| M
A
|x y|. (4.4)
Par exemple, toute fonction linaire est lipschitzienne, et la fonction valeur absolue lest aussi. Mais la fonction
x x
2
ne lest pas. Il est donc utile dintroduire la notion plus faible suivante : on dit quune fonction de IR
dans IR est dite lipschitzienne sur les borns si
A > 0, M
A
IR
+
tel que (x, y) B
2
A
|(x) (y)| M
A
|x y|. (4.5)
220
4.1. INTRODUCTION CHAPITRE 4. EQUATIONS DIFFRENTIELLES
Par exemple la fonction x x
2
est lipschitzienne sur les borns, mais la fonction x
x ne lest pas (sa drive

explose en 0).
On peut se servir de cette notion pour affaiblir lhypothse sur f pour avoir existence et unicit dune solution
maximale de (4.1) ; on remplace lhypothse f C
1
(IR
n
IR, IR
n
) par f C(IR
n
IR, IR
n
) lipschitzienne
sur les borns", cestdire qui vrie :
A > 0, M
A
IR
+
tel que t [0, T[, (x, y) B
A
B
A
,
|f(x, t) f(y, t)| M
A
|x y|.
(4.6)
o |.| dsigne une norme sur IR
n
et B
A
la boule de centre 0 et de rayon A. Il est clair que si f C
1
(IR
n
IR, IR
n
) alors f vrie (4.6), alors quelle nest videmment pas forcment globalement lipschitzienne (prendre
f(x) = x
2
pour sen convaincre). De mme la proprit (4.6) est encore vrie si f est C
1
par morceaux",
proprit toutefois dlicate dmontrer dans le cas gnral.
Exemple 4.2. On suppose n = 1 ; soit la fonction f dnie par f(z, t) = z
2
. On considre le problme de
Cauchy :
_
dx
dt
(t) = x
2
(t)
x(0) = 1
La fonction f est de classe C
1
, donc lipschitzienne sur les borns (mais pas globalement lipschitzienne). On peut
donc appliquer le thorme de Cauchy-Lipschitz qui nous donne existence et unicit dune solution maximale. On
cherche alors calculer une solution locale. Un calcul simple donne x(t) =
1
1t
, et cette fonction tend vers +
lorsque t tend vers 1
. On en dduit que le temps maximal de la solution est T

M
= 1, et on a donc comme solution
maximale x(t) =
1
1t
t [0, 1[.
Exemple 4.3. Supposons que f C
1
(IR
n
IR, IR
n
), et soit x la solution maximale de (4.1) sur [0, T
M
[. On
suppose que pour tout 0 < T < +, il existe a
T
> 0 et b
T
> 0 tels que
|f(z, t)| a
T
|z| +b
T
z IR
n
, t [0, T]
On a donc : x
(t) a
T
|x(t)| +b
T
pour tout t, en intgrant entre 0 et t, on obtient :
x(t) a
T
t
0
|x(s)|ds + +b
T
t + x
0
,
et donc :
|x(t)| a
T
t
0
|x(s)|ds +|b
T
|T +| x
0
|, t [0, T[.
On peut alors appliquer le lemme de Gronwall
1
la fonction t |x(t)|. On obtient que : |x(t)| (|b
T
|T +
| x
0
|)e
aT t
pour tout t [0, T[. On en dduit que x reste borne sur tout intervalle [0, T], T IR. Le temps
dexistence T
M
est donc gal +.
Dans de nombreux cas, il nest pas possible dobtenir une expression analytique de la solution de (4.1). Lobjet
de ce chapitre est de prsenter des mthodes pour obtenir des solutions (numriques) approches de la solution de
(4.1). Plus prcisment, on adopte les notations et hypothses suivantes :
1. On rappelle que le lemme de Gronwall permet de dire que si C([0, T], IR
+
) est telle que (t)
t
0
(s)ds + , avec 0,
> 0 alors (t) e
t
pour t [0, T].
4.1. INTRODUCTION CHAPITRE 4. EQUATIONS DIFFRENTIELLES
Notations et hypothses :
_
_
Soit f vriant lhypothse (4.6))
et soit x solution maximale de (4.1) (dnie sur [0, T
M
[),
on se donne T ]0, T
M
[, on cherche calculer x sur [0, T],
o x C
1
([0, T], IR
n
) est solution de (4.1).
On se donne une discrtisation de [0, T], i.e. n IN et
(t
0
, t
1
, . . . , t
n
) IR
n+1
tels que 0 < t
0
< t
1
< . . . < t
n
= T.
On pose h
k
= t
k+1
t
k
, k = 0, . . . , n 1,
et h = max{h
0
, . . . , h
n1
}. Pour k = 1, . . . n, on cherche x
k
valeur approche de x(t
k
) = x
k
,
et on appelle e
k
= x
k
x
k
lerreur de discrtisation.
(4.7)
On cherche alors une mthode qui permette le calcul de x
k
, pour k = 1, . . . , n, et telle que la solution approche
ainsi calcule converge, en un sens dnir, vers la solution exacte. On cherchera de plus valuer lerreur de
discrtisation e
k
, et plus prcisment, obtenir des estimations derreur de la forme |e
k
| Ch
, o C ne dpend
que de la solution exacte (et pas de h) ; donne alors lordre de la convergence.
On tudiera ici les mthodes de discrtisation des quations diffrentielles dits schma un pas" qui scrivent
sous la forme suivante :
Dnition 4.4 (Schma un pas). Avec les hypothses et notations (4.7), on appelle schma un pas pour la
rsolution numrique de (4.1), un algorithme de construction des valeurs (x
k
)
k=1,n
qui scrit sous la forme
suivante :
_
_
x
0
donn (approximation de x
0
)
x
k+1
x
k
h
k
= (x
k
, t
k
, h
k
), k = 0, . . . n 1,
(4.8)
o est une fonction de IR
n
IR
+
IR
+
valeurs dans IR.
Dans la dnition du schma (4.8), il est clair que le terme
x
k+1
x
k
h
k
est obtenu en cherchant une approximation
de x
(t
k
) et que (x
k
, t
k
, h
k
) est obtenu en cherchant une approximation de f(x
k
, t
k
). Le schma numrique est
dni par cette fonction .
Exemples :
1. Schma dEuler explicite Le schma dEuler explicite est dni par (4.8) avec la fonction trs simple
suivante :
(x
k
, t
k
, h
k
) = f(x
k
, t
k
). (4.9)
2. Schma Euler implicite
_
_
x
0
donn
x
k+1
x
k
h
k
= f(x
k+1
, t
k+1
). k = 0, . . . n 1,
(4.10)
On remarque que dans le schma dEuler implicite, le calcul de x
k+1
nest pas explicite, il est donn de
manire implicite par (4.8) (do le nom du schma). La premire question se poser pour ce type de
schma est lexistence de x
k+1
. On montrera au thorme 4.15 que si lhypothse suivante est vrie :
D
1
f(y, t)z z 0 y IR
n
, z IR
n
, t 0, (4.11)
4.2. CONSISTANCE, STABILIT ET CONVERGENCE CHAPITRE 4. EQUATIONS DIFFRENTIELLES
alors x
k+1
calcul par (4.10) est bien dni en fonction de x
k
, t
k
, et h
k
. On peut donc bien crire le schma
(4.10) sous la forme (4.8) avec
x
k+1
x
k
h
k
= (x
k
, t
k
, h
k
),
bien que la fonction ne soit dnie ici quimplicitement et non explicitement. Sous lhypothse (4.11), ce
schma entre donc bien dans le cadre des schmas (4.8) tudis ici ; nanmoins, une proprit supplmentaire
dite de stabilit inconditionnelle", est vrie par ce schma. Cette proprit peut savrer trs importante
en pratique et justie une tude spare (voir section 4.6).
4.2 Consistance, stabilit et convergence
Dnition 4.5 (Consistance). On se place sous les hypothses et notations (4.7) et on tudie le schma (4.8).
1. Pour k = 0, . . . , n, on dnit lerreur de consistance du schma (4.8) en t
k
par :
R
k
=
x
k+1
x
k
h
k
(x
k
, t
k
, h
k
). (4.12)
2. Le schma est consistant si
max{|R
k
|, k = 0 . . . n 1} 0 lorsque h 0. (4.13)
3. Soit p IN
, le schma est consistant dordre p sil existe C IR

+
ne dpendant que de f,T, x
0
(et pas de
h) tel que |R
k
| Ch
p
, k = 1, . . . , n 1.
Donnons maintenant une condition ncessaire sur pour que le schma (4.8) soit consistant.
Proposition 4.6 (Caractrisation de la consistance). Sous les hypothses et notations (4.7), si C(IR
n
IR
+
IR
+
, IR
n
) et si (z, t, 0) = f(z, t) pour tout z IR
n
et pour tout t [0, T], alors le schma (4.8) est consistant.
DMONSTRATION Comme x C
1
([0, T], IR
n
) est la solution exacte de (4.1), on peut crire que
x(t
k+1
) x(t
k
) =
t
k+1
t
k
x
(s)ds =
t
k+1
t
k
f(x(s), s)ds.
On en dduit que
R
k
=
x(t
k+1
) x(t
k
)
h
k
(x
k
, t
k
, h
k
) =
1
h
k
t
k+1
t
k
(f(x(s), s) (x
k
, t
k
, h
k
))ds.
Soit > 0, comme f est continue et (x
k
, t
k
, 0) = f(x
k
, t
k
), il existe 1 tel que si h
k
1 alors : |(x
k
, t
k
, h
k
)
f(x
k
, t
k
)| . On a donc par ingalit triangulaire,
|R
k
| +
1
h
k
t
k+1
t
k
|f(x(s), s) f(x
k
, t
k
)|ds.
La fonction s f(x(s), s) est continue et donc uniformment continue sur [t
k
, t
k+1
]. Il existe donc 2 tel que si h 2,
alors
1
h
k
t
k+1
t
k
|f(x(s), s) f(x
k
, t
k
)|ds .
On a ainsi montr que si h min(1, 2), alors |R
k
| 2, ce qui termine la preuve de la proposition.
Notons que pour obtenir une consistance dordre p > 1, il est ncessaire de supposer que la solution x de (4.1) est
dans C
p
(IR
+
, IR
n
).
4.2. CONSISTANCE, STABILIT ET CONVERGENCE CHAPITRE 4. EQUATIONS DIFFRENTIELLES
Dnition 4.7 (Stabilit). Sous les hypothses (4.7), on dit que le schma (4.8) est stable sil existe h
> 0 et
R IR
+
tels que x
k
B
R
pour tout k = 0, . . . , n et pour tout h [0, h
[, o B
R
dsigne la boule de centre 0 et
de rayon R. On dit que le schma est inconditionnellement stable si de plus, h
= +.
Dnition 4.8 (Convergence). On se place sous les hypothses et notations (4.7).
1. Le schma (4.8) est convergent si, lorsquon suppose |e
0
| = 0, on a
max
k=0,...,n
|e
k
| 0 lorsque h 0.
2. Soit p IN
, le schma est convergent dordre p sil existe C IR

+
ne dpendant que de f,T, x
0
(et pas de
h) tel que si on suppose |e
0
| = 0, alors
max
k=0,...,n
|e
k
| Ch
p
.
Nous donnons prsent une notion de stabiit souvent utilise dans les ouvrages classiques, mais qui ne semble
pas tre la plus efcace en termes danalyse derreur (voir remarque 4.14.
Dnition 4.9 (Stabilit par rapport aux erreurs). Sous les hypothses et notations (4.7), on dit que le schma (4.8)
est stable par rapport aux erreurs sil existe h
IR
+
et K IR
+
dpendant de x
0
, f et (mais pas de h) tels
que si h h
et si
x
k+1
= x
k
+h
k
(t
k
, x
k
, h
k
),
y
k+1
= y
k
+h
k
(t
k
, y
k
, h
k
) +
k
,
pour k = 0, . . . , n 1, (4.14)
o (
k
)
kIN
IR
+
est donne, alors
|x
k
y
k
| K(|x
0
y
0
| +
k1
i=0
|
i
|), pour tout k = 0, . . . , n 1.
On peut alors noncer le thorme de convergence suivant, dont la dmonstration, trs simple, fait partie de lexer-
cice 120 page 232.
Thorme 4.10 (Convergence). Sous les hypothses et notations (4.7), on suppose que le schma (4.8) est stable
par rapport aux erreurs au sens de la dnition 4.9 et quil est consistant dordre p au sens de la dnition 4.12.
Alors il existe K IR
+
ne dpendant que de x
0
, f et (mais pas de h) tel que |e
k
| Kh
p
+ |e
0
|, pour tout
k = 0, . . . , n.
Comme on la dit dans la remarque 4.14, ce thorme est dune porte moins gnrale que le thorme 4.12 car il
nest pas toujours facile de montrer la stabilit par rapport aux erreurs, en dehors de la condition sufsante donne
dans la proposition qui suit, et qui est rarement vrie en pratique.
4.3. THORME GNRAL DE CONVERGENCE CHAPITRE 4. EQUATIONS DIFFRENTIELLES
Proposition 4.11 (Condition sufsante de stabilit). Sous les hypothses et notations (4.7), une condition sufsante
pour que le schma (4.8) soit stable par rapport aux erreurs est que
h
> 0, M > 0; (x, y) IR

n
IR
n
, h < h
, t [0, T],
|(x, t, h) (y, t, h)| M|x y|.
(4.15)
La dmonstration de cette proposition est laisse en exercice (exercice 120 page 232).
4.3 Thorme gnral de convergence
Thorme 4.12. On se place sous les hypothses et notations (4.7).
1. On suppose que le schma (4.8) est consistant dordre p (i.e. il existe p IN
et C IR
+
ne dpendant que
de T, f, x
0
tel que |R
k
| Ch
p
.)
2. On suppose quil existe h
> 0 tel que pour tout A IR
+
, il existe M
A
> 0 tel que
(y, z) B
A
B
A
, t [0, T], h [0, h
],
|(y, t, h) (z, t, h)| M
A
|y z|,
(4.16)
o B
A
dsigne la boule de rayon A. (Noter que cette hypothse sur est semblable lhypothse (4.6)
Lipschitz sur les borns" faite sur f dans la remarque 4.1 page 220).
Alors il existe h
> 0 (h
), > 0, et K > 0 (ne dpendant que de f, x

0
,T,h
,M
A
) tels que si
0 < h h
et |e
0
| ,
alors
1. le schma est stable", au sens o x
k
B
2A
pour tout k = 0, . . . n, avec A = max{|x(t)|, t [0, T]} <
+.
2. le schma converge, et plus prcisment, on a lestimation derreur suivante : |e
k
| K(h
p
+ |e
0
|), pour
tout k = 0, . . . , n. (En particulier si e
0
= 0 on a |e
k
| Kh
p
donc e
k
tend vers 0 au moins comme h
p
.)
DMONSTRATION Soit x C
1
([0, T], IR
n
) solution de (4.1), et soit A = max{|x(t)|, t [0, T]} < +(car x est
continue et [0, T] est compact). On a donc x
k
BA = {y IR
n
, |y| A}.
On va parachuter" ici un choix de et h
qui permettront de montrer le thorme par rcurrence sur k, on montrera dans

la suite de la dmonstration pourquoi ce choix convient. On choisit :
1. h
> 0 tel que Ce

T(M
2A
+1)
(h
)
p
A
2
, o M2A est la constante de Lipschitz de sur B2A dans lhypothse
(4.16),
2. > 0 tel que e
TM
2A

A
2
.
On va maintenant montrer par rcurrence sur k que si h h
et |e0| , alors :
_
|e
k
|
k
h
p
+
k
|e0|,
x
k
B2A,
, (4.17)
avec
k
= Ce
t
k
M
2A
(1 +h0) . . . (1 +h
k1
) et
k
= e
t
k
M
2A
. (4.18)
Si on suppose (4.17) vraie, on peut terminer la dmonstration du thorme : en effet pour x 0, on a 1+x e
x
, et donc :
(1 +h0)(1 +h1) . . . (1 +h
k1
) e
h
0
+h
1
+h
k1
= e
t
k
e
T
.
On en dduit que
k
Ce
TM
2A
e
T
= Ce
T(M
2A
+1)
, et que
k
e
TM
2A
.
4.3. THORME GNRAL DE CONVERGENCE CHAPITRE 4. EQUATIONS DIFFRENTIELLES
On dduit alors de (4.17) et (4.18) que
|e
k
| Ce
T(M
2A
+1)
h
p
+e
TM
2A
|e0|
K(h
p
+|e0|) avec K = max(Ce
T(M
2A
+1)
, e
T(M
2
A
),
et que x
k
B2A. Il ne reste donc plus qu dmontrer (4.17) par rcurrence sur k.
Pour k = 0, les formules (4.18) donnent 0 = C et 0 = 1. Or on a bien |e0| 0h
p
+ |e0| car C 0. De plus,
par dnition de e0, on a x0 = x0 e0, et donc : |x0| | x0| + |e0| A + A +
A
2
2A car, par hypothse
e
TM
2
A
A
2
et donc
A
2
. On en dduit que x0 B2A.
Supposons maintenant que les relations (4.17) et (4.18) sont vraies jusquau rang k et dmontrons quelles le sont encore
au rang k + 1.
Par dnition du schma (4.8) et de lerreur de consistance (4.12), on a :
x
k+1
= x
k
+h
k
(x
k
, t
k
, h
k
)
x
k+1
= x
k
+h
k
( x
k
, t
k
, h
k
) +h
k
R
k
.
On a donc e
k+1
= e
k
+h
k
(( x
k
, t
k
, h
k
) (x
k
, t
k
, h
k
)) +h
k
R
k
, ce qui entrane que
|e
k+1
| |e
k
| +h
k
|( x
k
, t
k
, h
k
) (x
k
, t
k
, h
k
)| +h
k
|R
k
|. (4.19)
Comme x
k
B2A et x
k
BA, en utilisant la proprit (4.16) de , on a
|( x
k
, t
k
, h
k
) (x
k
, t
k
, h
k
)| M2A| x
k
x
k
|.
De plus, comme le schma (4.8) est suppos consistant dordre p, on a |R
k
| Ch
p
. On peut donc dduire de (4.19) que
|e
k+1
| |e
k
|(1 +M2Ah
k
) +h
k
Ch
p
,
et, en utilisant lhypothse de rcurrence (4.17) :
|e
k+1
| (1 +h
k
M2A)(
k
h
p
+
k
|e0|) +h
k
Ch
p
.
Comme 1 +u e
u
pour tout u 0, ceci entrane
|e
k+1
|
k+1
h
p
+
k+1
|e0|,
o
k+1
=
k
e
h
k
M
2A
+Ch
k
et
k+1
=
k
e
h
k
M
2A
= e
t
k+1
M
2A
. Or
k
= Ce
t
k
M
2A
(1 +h0) + (1 +h
k1
) C,
et donc

k+1

k
(e
h
k
M
2A
+h
k
)
k
e
h
k
M
2A
(1 +h
k
),
ce qui entrane
Ce
t
k
M
2A
e
h
k
M
2A
(1 +h0) (1 +h
k1
)(1 +h
k
) =
k+1
car t
k
+h
k
= t
k+1
.
Donc
|e
k+1
|
k+1
h
p
+
k
|e0|.
Il reste montrer que x
k+1
B2A. On a
|x
k+1
| | x
k+1
| +|e
k+1
| A+|e
k+1
| car x
k
BA.
Or on vient de montrer que |e
k+1
|
k+1
h
p
+
k+1
|e0|, et
k+1
Ce
T(M
2A+1
)
et
k+1
e
TM
2A
.
Donc
|e
k+1
| Ce
T(M
2A
+1)
h
p
+e
TM
2A

A
2
+
A
2
car on a choisi h
et pour !. . . On a donc nalement |x

k+1
| A+A, cestdire x
k+1
B2A.
On a donc bien montr (4.17) pour tout k = 0, . . . n. Ce qui donne la conclusion du thorme.
Remarque 4.13. Dans le thorme prcdent, on a montr que x
k
B
2A
pour tout k = 1, . . . n. Ceci est un
rsultat de stabilit (cestdire une estimation sur la solution approche ne dpendant que des donnes T, x
0
, f
et (ne dpend pas du pas de discrtisation h)) conditionnelle, car on a suppos pour le dmontrer que h h
,
o h
ne dpend que de T, x
0
, f et .
Remarque 4.14 (Sur la dmonstration du thorme de convergence).
Dans la plupart des ouvrages danalyse numrique, la convergence des schmas de discrtisation des quations
diffrentielles est obtenue partir de la notion de consistance et de la notion de stabilit par rapport aux erreurs
(vue au paragraphe prcdent, voir dnition 4.9, et souvent appele stabilit tout court). Il est en effet assez facile
4.4. EXEMPLES CHAPITRE 4. EQUATIONS DIFFRENTIELLES
de voir (cf exercice 120 page 232) que si le schma (4.8) est consistant dordre p et stable par rapport aux erreurs
comme dni dans la dnition 4.9, alors il est convergent, et plus prcisment, |e
k
| K(h
p
+ |e
0
|), pour tout
k = 0, . . . , n.
Il y a deux avantages utiliser plutt le thorme prcdent. Dune part, ce thorme est dune porte trs gnrale
et sapplique facilement de nombreux schmas, comme on le verra sur des exemples (voir section 4.4).
Dautre part la preuve de convergence par la notion de stabilit par rapport aux erreurs prsente un dfaut ma-
jeur : la seule condition sufsante quon connaisse en gnral pour montrer quun schma est stable par rapport
aux erreurs est que la fonction (., t, h) soit globalement lipschitzienne pour tout t [0, T] et pour tout h [0, h
]
(voir proposition 4.11). Ceci revient dire, dans le cas du schma dEuler explicite par exemple, que f est globa-
lement lipschitizienne. Cette hypothse est trs forte et rarement vrie en pratique. Bien sr, comme la solution
x de (4.1) est borne sur [0, T], x vit dans un compact et on peut toujours modier f sur le complmentaire de ce
compact pour la rendre globalement lipschitzienne. Cependant, cette manipulation ncessite la connaissance des
bornes de la solution exacte, ce qui est souvent loin dtre facile obtenir dans les applications pratiques.
4.4 Exemples
On se place sous les hypothses (4.7) et on tudie le schma (4.8). On donne quatre exemples de schmas de la
forme (4.8) :
Exemple 1 Euler explicite On rappelle que le schma scrit (voir (4.9)) :
x
k+1
x
k
h
k
= f(x
k
, t
k
),
On a donc (x
k
, t
k
, h
k
) = f(x
k
, t
k
).
On peut montrer (voir exercice 119 page 232) que :
si f C
1
(IR
n
IR
+
, IR
n
), le schma est consistant dordre 1,
le thorme 4.12 sapplique |e
k
| K(h + |e
0
|) pour h < h
. (La convergence est assez lente, et le

schma nest stable que conditionnellement.)
Exemple 2 Euler amlior Le schma scrit :
x
k+1
x
k
h
k
= f
_
x
k
+
h
k
2
f(x
k
, t
k
), t
k
+
h
k
2
_
= (x
k
, t
k
, h
k
) (4.20)
si x C
2
(IR
+
, IR
n
),le schma est consistant dordre 2,
le thorme 4.12 sapplique et |e
k
| K(h
2
+|e
0
|) pour h h
.
La convergence est plus rapide.
Exemple 3 Heun
x
k+1
x
k
h
k
=
1
2
f(x
k
, t
k
) +
1
2
[f(x
k
+h
k
f(x
k
, t
k
), t
k+1
)]. (4.21)
si x C
2
(IR
+
, IR
n
), le schma est consistant dordre 2,
Le thorme 4.12 sapplique et |e
k
| K(h
2
+|e
0
|), pour h h
.
Exemple 4 RK4 (Runge et Kutta, 1902) Les schmas de type Runge Kutta peuvent tre obtenus en crivant lqua-
tion diffrentielle sous la forme x
k+1
x
k
=
t
k+1
t
k
f(x(t), t)dt, et en construisant un schma numrique
partir des formules dintgration numrique pour le calcul approch des intgrales. Le schma RK4 sobtient
partir de la formule dintgration numrique de Simpson :
A x
k
connu,
4.5. EXPLICITE OU IMPLICITE? CHAPITRE 4. EQUATIONS DIFFRENTIELLES
x
k,0
= x
k
x
k,1
= x
k
+
h
k
2
f(x
k,0
, t
k
)
x
k,2
= x
k
+
h
k
2
f(x
k,1
, t
k
+
h
k
2
)
x
k,3
= x
k
+ h
k
f(x
k,2
, t
k
+
h
k
2
)
x
k+1
x
k
h
k
=
1
6
f(x
k,0
, t
k
) +
1
3
f(x
k,1
, t
k
+
h
k
2
)
+
1
3
f(x
k,2
, t
k
+
h
k
2
) +
1
6
f(x
k,3
, t
k+1
)
= (x
k
, t
k
, h
k
)
On peut montrer (avec pas mal de calculs. . . ) que si x C
4
([0, T]) alors le schma est consistant dordre 4.
Le thorme 4.12 sapplique et |e
k
| K(h
4
+|e
0
|), pour h h
.
4.5 Explicite ou implicite ?
On lit souvent que les schmas implicites sont plus stables". Il est vrai que lorsque la condition (4.11) donne
plus haut est vrie, le schma dEuler implicite (4.10) est inconditionnellement stable, comme nous le verrons
dans la section suivante. Il est donc naturel de le prfrer au schma explicite pour lequel on na quun rsultat de
stabilit conditionnelle. Cependant, dans le cas gnral, le choix nest pas si vident, comme nous allons le voir
sur des exemples, en tudiant le comportement respectif des schmas dEuler explicite et implicite.
4.5.1 Limplicite gagne...
Prenons dabord f(x, t) = x, n = 1 et x
0
= 1. Lquation diffrentielle est donc :
_
dx
dt
= x(t),
x(0) = 1,
dont la solution est clairement donne par x(t) = e
t
. On suppose que le pas est constant, cestdire h
k
= h k.
Le schma dEuler explicite scrit dans ce cas :
x
k+1
= x
k
hx
k
= (1 h)x
k
et donc
x
k
= (1 h)
k
, k = 0, . . . , n, avec nh = T.
(4.22)
(On a donc n points de discrtisation.) La valeur x
k
est cense tre une approximation de x(t
k
) = e
t
k
, et de fait,
on remarque que pour n =
T
h
, on a
x
n
= (1 h)
T/h
e
T
quand h 0.
Lorsquon cherche par exemple obtenir le comportement de la solution dune quation diffrentielle dans les
grands temps", on peut tre amen utiliser des pas de discrtisation relativement grands. Ceci peut tre aussi le
cas dans des problmes de couplage avec dautres quations, les chelles de temps" des quations pouvant tre
trs diffrentes pour les diffrentes quations. Que se passe-t-il dans ce cas ? Dans le cas de notre exemple, si on
prend h = 2, on obtient alors x
k
= (1)
k
, ce qui nest clairement pas une bonne approximation de la solution.
Un des problmes majeurs est la perte de la positivit de la solution. Dans un problme dorigine physique o x
serait une concentration ou une densit, il est indispensable que le schma respecte cette positivit. On peut noter
que ceci nest pas en contradiction avec le thorme 4.12 qui donne un rsultat de convergence (i.e. de comporte-
ment lorsque h tend vers 0). Dans lexemple prsent, le schma dEuler explicite (4.22) ne donne pas une solution
approche raisonnable pour h grand.
4.6. ETUDE DU SCHMA DEULER IMPLICITE CHAPITRE 4. EQUATIONS DIFFRENTIELLES
Si on essaye maintenant de calculer une solution approche laide du schma dEuler implicite (4.10), on obtient
x
k+1
= x
k
hx
k+1
, c..d. x
k+1
=
1
1 +h
x
k
et donc
x
k
=
1
(1 +h)
k
, k = 0, . . . n, avec nh = T.
Dans ce cas, la solution approche reste proche" de la solution exacte, et positive, mme pour des pas de discr-
tisation grands. On pourrait en conclure un peu htivement que le schma implicite est meilleur" que le schma
explicite. On va voir dans lexemple qui suit quune telle conclusion est peu rapide.
4.5.2 Limplicite perd...
On considre maintenant le problme de Cauchy (4.1) avec f(y, t) = +y, x
0
= 1. La solution est maintenant
x(t) = e
t
. Si on prend un pas de discrtisation constant gal h, le schma dEuler explicite scrit :
x
k+1
= x
k
+hx
k
= (1 +h)x
k
, c..d. x
k
= (1 +h)
k
.
On a donc
x
n
= (1 +h)
n
e
T
c..d. lorsque n +.
Contrairement lexemple prcdent, la solution approche donne par le schma dEuler explicite reste raison-
nable" mme pour les grands pas de temps.
Si on essaye maintenant de calculer une solution approche laide du schma dEuler implicite (4.10), on obtient
x
k+1
= x
k
+hx
k+1
, c..d. x
k+1
=
1
1 h
x
k
.
On remarque dune part que le schma implicite nest pas dni pour h = 1, et que dautre part si h est proche de 1
(par valeurs suprieures ou infrieures), la solution approche explose". De plus pour les valeurs de h suprieures
1, on perd la positivit de la solution (pour h = 2 par exemple la solution approche oscille entre les valeurs +1
et -1).
Dans le cadre de cet exemple, le choix explicite semble donc plus appropri.
4.5.3 Match nul
En conclusion de ces deux exemples, il semble que le meilleur" schma nexiste pas dans labsolu. Le schma de
discrtisation doit tre choisi en fonction du problme ; ceci ncessite une bonne comprhension du comportement
des schmas en fonction des problmes donns, donc une certaine exprience. . .
4.6 Etude du schma dEuler implicite
On peut crire le schma dEuler implicite sous la forme dun schma (4.8), si pour tout k = 0 . . . n 1, x
k
tant
donn, il existe x
k+1
qui satisfait :
x
k+1
x
k
h
k
= f(x
k+1
, t
k+1
), k = 0, . . . , n 1.
On va montrer dans le thorme suivant que ceci est le cas si la condition (4.11) quon rappelle ici est vrie :
D
1
f(y, t)z z 0, y, z IR
n
, t [0, T].
On montrera aussi que sous cette hypothse, on obtient un rsultat de stabilit inconditionnelle pour le schma
dEuler implicite.
4.6. ETUDE DU SCHMA DEULER IMPLICITE CHAPITRE 4. EQUATIONS DIFFRENTIELLES
Thorme 4.15. On se place sous les hypothses (4.7) et (4.11). Alors
1. (x
k
)
k=0...n
est bien dnie par (4.10),
2. |e
k
| |e
0
| +h
t
k
0
|x
(s)|ds, k = 0, . . . , n.
DMONSTRATION 1. Soit la fonction dnie de [0, 1] valeurs dans IR
n
par (t) = f((1 t)y + tz) ; en
crivant que (1) (0) =
1
0

(s)ds, et en utilisant lhypothse (4.11), on dduit que :

(f(y, t) f(z, t), (y z)) 0, y, z IR
n
, t [0, T]. (4.23)
On veut alors montrer que si x
k
, h
k
, t
k
sont donns, il existe un et un seul y tel que
y x
k
h
k
= f(y, t
k
+h
k
). A x
k
et t
k
xs, soit F la fonction de IR+ IR
n
valeurs dans IR
n
dnie par F(h, y) = y x
k
hf(y, t
k
+ h). On
considre alors lquation
F(h, y) = 0. (4.24)
Pour h = 0, cette quation admet videmment une unique solution y = x
k
. Soit I = {
h IR
+
t.q. (4.24) admette
une solution pour tout h <

h}. On va montrer par labsurde que sup I = +, ce qui dmontre lexistence et
lunicit de y solution de (4.24).
Supposons que sup I = H < +. Montrons dabord que H est atteint. Soit (hn)nIN I telle que hn H
lorsque n +, alors la suite (yn)nIN dnie par yn = x
k
+hnf(yn, t
k
+hn) est borne : en effet,
yn = x
k
+hn(f(yn, t
k
+hn) f(0, t
k
+h)) +hnf(0, t
k
+h),
en prenant le produit scalaire des deux membres de cette galit avec yn et en utilisant (4.23) et lingalit de
Cauchy-Schwarz, on obtient que :
|yn| |x
k
| +H|f(0, t
k
+h)|.
Il existe donc une sous-suite (yn
k
)
kIN
qui converge vers un certain Y lorsque n +. Par continuit de f, on a
Y = x
k
+Hf(Y, t
k
+H), et donc H = max I.
Montrons maintenant que H ne peut pas tre gal sup I. On applique pour cela le thorme des fonctions implicites
F dnie en (4.24). On a bien F(H, Y ) = 0, et D2F(H, Y ) = Id HD1f(Y, t
k
+ H) est inversible grce
lhypothse (4.11). Donc il existe un voisinage de (H, Y ) sur lequel (4.24) admet une solution, ce qui contredit le
fait que H = sup I.
2. La dmonstration de 2 se fait alors par rcurrence sur k. Pour k = 0 la relation est immdiate. Lhypothse de
rcurrence scrit
|e
k
| |e0| +h
t
k
0
|x
(s)|ds.
Par dnition du schma (4.10) et de lerreur de consistance, on a :
x
k+1
= x
k
+h
k
f(x
k+1
, t
k+1
),
x
k+1
= x
k
+h
k
f( x
k+1
, t
k+1
) +h
k
R
k
.
avec (par intgration par parties)
|R
k
|
t
k+1
t
k
|x
(s)|ds.
On a donc :
e
k+1
= x
k+1
x
k+1
= x
k
x
k
+h
k
(f( x
k+1
, t
k+1
) f(x
k+1
, t
k+1
)) +h
k
R
k
,
et donc
e
k+1
e
k+1
= e
k
e
k+1
+h
k
R
k
e
k+1
+h
k
(f( x
k+1
, t
k+1
) f(x
k+1
, t
k+1
)) e
k+1
.
Grce lhypothse (4.11) ceci entrane (par (4.23)) que
|e
k+1
| |e
k
| +h|R
k
|,
4.7. EXERCICES CHAPITRE 4. EQUATIONS DIFFRENTIELLES
et donc
|e
k+1
| |e0| +h
t
k
0
|x
(s)|ds +
t
k+1
t
k
|x
(s)|ds = |e0| +h
t
k+1
0
|x
(s)|ds.
Ce qui dmontre le point 2.
Remarque 4.16 (Stabilit inconditionnelle du schma Euler implicite). Le schma dEuler implicite (4.10) est
inconditionnellement stable, au sens o la suite (x
k
)
k=0,...,n
est majore indpendamment de h. En effet :
|e
k
| |e
0
| +T
T
0
|x
(s)|ds = ,
|x
k
| | x
k
| + max{|x(s)|, s [0, T]} + = .
4.7 Exercices
Exercice 115 (Condition de Lipschitz et unicit). Corrig en page 239
Pour a 0, on dnit la fonction
a
: IR
+
IR
+
par :
a
(x) = x
a
. Pour quelles valeurs de a la fonction
a
est-elle lipschitzienne sur les borns ?
On considre le problme de Cauchy suivant :
y
(t) =
a
(y(t)), t [0, +[
y(0) = 0.
(4.25)
Montrer que si
a
est lipschitzienne sur les borns alors le problme de Cauchy (4.25) admet une solution unique,
et que si
a
nest pas lipschitzienne sur les borns alors le problme de Cauchy (4.25) admet au moins deux
solutions.
Exercice 116 (Fonctions lipschitziennes sur les borns).
Les fonctions suivantes sont elles lipschitziennes sur les borns ?
1.
1
: IR IR
x min(x
2
,
(x
2
+ 1))
2.
2
: IR
2
IR
2
(x, y) (x
2
xy, |y + 2xy|)
3.
3
: IR
2
+
IR
2
+
(x, y) (
x +y, x
2
+y
2
)
Exercice 117 (Loi de Malthus). Corrig en page 239
On considre une espce dont la population (i.e. le nombre dindividus) a doubl en 100 ans et tripl en 200 ans.
Montrer que cette population ne peut pas satisfaire la loi de Malthus (on rappelle que la loi de Malthus scrit
p
(t) = ap(t) avec a > 0 indpendant de t).

Exercice 118 (Histoire de sardines). Corrig en page 239
Une famille de sardines tranquillement installes dans les eaux du Frioul a une population qui crot selon la loi de
Malthus, p
(t) = 4p(t) o t est exprim en jours. A linstant t = 0, un groupe de bonites voraces vient sinstaller
dans ces eaux claires, et se met attaquer les pauvres sardines. Le taux de perte chez ces dernires slve
10
4
p
2
(t) par jour, o p(t) est la population des sardines au temps t. De plus, au bout dun mois de ce traitement,
suite au dgazement intempestif dun super tanker au large du phare du Planier, les sardines dcident dmigrer
vers des eaux plus claires au rythme de 10 pour cent de la population par jour (on supposera que les bonites sont
insensibles au gas oil, et donc que le nombre de bonites reste constant...).
1. Modier la loi de Malthus pour prendre en compte les deux phnomnes.
2. En supposant qu t = 0 le nombre de sardines est de 1 million, calculer le nombre de sardines pour t > 0. Quel
est le comportement de p(t) linni ?
Exercice 119 (Consistance et ordre des schmas). Corrig en page 240
On reprend les hypothses et notations (4.7).
1. On suppose que f C
1
(IR
n
IR
+
, IR
n
). Montrer que le schma dEuler explicite scrit (4.9)) est consis-
tant et convergent dordre 1.
1
(IR
n
IR
+
, IR
n
). Montrer que les schmas dEuler amlior (4.4), et de Heun (4.4)
sont consistants et convergents dordre 2.
4
(IR
n
IR
+
, IR
n
).Montrer que le schma RK4 est consistant et convergent dordre
4 (pour les braves. . . )
1
(IR
n
IR
+
, IR
n
).Montrer que le schma dEuler implicite est consistant dordre 1.
Exercice 120 (Stabilit par rapport aux erreurs et convergence). Corrig donn en page 241
On se place sous les hypothses et notations (4.7) page 222, et on considre le schma (4.8) page 222 pour la
rsolution numrique de lquation diffrentielle (4.1) page 220.
1. Montrer que si le schma (4.8) est stable par rapport aux erreurs au sens de la dnition 4.9 page 224, et
quil est consistant dordre p au sens de la dnition 4.5 page 223, alors il existe K IR
+
ne dpendant que
de x
0
, f et (mais pas de h) tel que |e
k
| Kh
p
+ |e
0
|, pour tout k = 0 . . . n. En dduire que si e
0
= 0 le
schma converge.
2. Montrer que si est globalement lipschitzienne, c..d. si
h
> 0, M > 0; (x, y) IR

n
IR
n
, h < h
, t [0, T],
|(x, t, h) (y, t, h)| M|x y|,
alors le schma est stable par rapport aux erreurs.
Exercice 121 (Schma dordre 2).
Soit f C
2
(IR
n
IR, IR
n
), n 1, x
0
IR
n
, et soit x solution maximale de (E) (dnie sur [0, T
M
[) :
_
dx
dt
(t) = f(x(t), t), t > 0,
x(0) = x
0
.
(E)
On se donne T ]0, T
M
[, et une discrtisation de [0, T], dnie par n IN et (t
0
, t
1
, . . . , t
n
) IR
n+1
tels que
0 = t
0
< t
1
< . . . < t
n
= T. On pose h
k
= t
k+1
t
k
, k = 0, . . . , n 1.
On considre le schma de discrtisation
_
x
0
donn (approximation de x
0
),
x
k+1
x
k
h
k
=
1
2
[f(x
k
, t
k
) +f(x
k
+h
k
f(x
k
, t
k
), t
k+1
)], k = 0, . . . n 1,
pour la rsolution numrique de lquation diffrentielle (E). Montrer que ce schma est convergent dordre 2.
Exercice 122 (Algorithme du gradient pas xe et schma dEuler).
Soit f C
2
(IR
n
, IR) strictement convexe et t.q. f(x) quand |x| . Soit x
0
IR
n
. On considre les 2
problmes :
x IR
n
,
f(x) f(x), x IR
n
,
(4.26)
dx
dt
(t) = f(x(t)), t IR
+
,
x(0) = x
0
.
(4.27)
1. Montrer que lalgorithme du gradient pas xe (de pas not ) pour trouver la solution de (4.26) (avec point
de dpart x
0
) est le schma dEuler explicite pour la rsolution approche de (4.27) (avec pas de temps ).
2. Montrer quil existe un unique x solution de (4.26).
3. Montrer que (4.27) admet une et une seule solution sur IR
+
et que cette solution converge vers x (solution
de (4.26)) quand t .
4. Expliciter le cas f(x) = (1/2)Ax x b x avec A symtrique dnie positive et b IR
n
.
Exercice 123 (Mthode de Taylor). Corrig en page 243
Soit f C
(IR IR, IR), et x

0
IR, on considre le problme de Cauchy (4.1), dont on cherche calculer la
solution sur [0, T], o T > 0 est donn. On se donne un pas de discrtisation h =
T
n
, avec n 1.
Dans toute la suite, on note x
(k)
la drive dordre k de x,
k
i
f la drive partielle dordre k de f par rapport la
i-me variable,
k
i

j
f la drive partielle de f dordre k par rapport la i-me variable et dordre par rapport
la j-me variable (on omettra les symboles k et lorsque k = 1 ou = 1).
On dnit f
(m)
C
(IR IR, IR) par

f
(0)
= f,
f
(m+1)
=
_
1
f
(m)
_
f +
2
f
(m)
, pour m 0.
(4.28)
1. Montrer que pour tout m IN, la solution x du problme de Cauchy (4.1) satisfait :
x
(m+1)
(t) = f
(m)
(x(t), t).
2. Calculer f
(1)
et f
(2)
en fonction des drives partielles
1
f,
2
f,
1
2
f,
2
1
f,
2
2
f, et de f.
On dnit pour p 1 la fonction
p
de IR IR valeurs dans IR par
p
(y, t, h) =
p1
j=0
h
j
(j + 1)!
f
(j)
(y, t).
Pour k = 1, . . . , n, on note t
k
= kh. On dnit alors la suite (x
k
)
k=0,n+1
IR par
_
x
0
= x
0
,
x
k+1
= x
k
+h
p
(x
k
, t
k
, h), pour k = 1, . . . , n.
(4.29)
3. Montrer que dans le cas p = 1, le systme (4.29) dnit un schma de discrtisation vu en cours, dont on
prcisera le nom exact.
4. On suppose, dans cette question uniquement, que f(y, t) = y pour tout (y, t) IR IR, et que x
0
= 1.
4.a/ Calculer
p
(y, t, h) en fonction de y et h.
4.b/ Montrer que x
k
=
_
_
p
j=0
h
j
j!
_
_
k
, pour k = 1, . . . , n.
4.c/ Montrer que |x
k
x(t
k
)|
h
p
(p + 1)!
t
k
e
t
k
.
5. On revient au cas gnral f C
(IRIR, IR). Montrer que le schma (4.29) est consistant dordre p. Montrer
quil existe

h > 0, et C > 0 ne dpendant que de x
0
, T et f, tels que si 0 < h <

h, alors |x
k
x(t
k
)| Ch
p
,
pour tout k = 0, . . . , n + 1.
Exercice 124 (Schma dEuler implicite).
Soit f C
1
(IR, IR) telle que f(y) < 0 pour tout y ]0, 1[ et f(0) = f(1) = 0. Soit y
0
]0, 1[. On considre le
problme suivant :
y
(t) = f(y(t)), t IR
+
, (4.30)
y(0) = y
0
. (4.31)
Question 1.
1.1 Soit T IR
+
; on suppose que y C
1
([0, T[, IR) est solution de (4.30)-(4.31). Montrer que 0 < y(t) < 1
pour tout t [0, T[ (On pourra raisonner par labsurde et utiliser le thorme dunicit).
1.2 Montrer quil existe une unique fonction y C
1
([0, +[, IR) solution de (4.30)-(4.31) et que y est une
fonction strictement positive et strictement dcroissante.
Dans les questions suivantes on dsigne par y cette unique solution dnie sur [0, +[.
Question 2.
2.1 Montrer que y admet une limite IR lorsque t +.
2.2 Montrer que = 0 . (On pourra remarquer que, pour tout t 0, on a y(t + 1) = y(t) +
t+1
t
f(y(s))ds).
Question 3. Soit y
0
]0, 1[, on cherche approcher la solution exacte de (4.30)-(4.31) par le schma dEuler
implicite de pas h IR
+
, qui scrit :
y
n+1
= y
n
+hf(y
n+1
), n IN. (4.32)
3.1 Soit a ]0, 1[. Montrer quil existe b ]0, 1[ t.q.
b a
h
= f(b).
En dduire que pour y
0
]0, 1[ x, il existe (y
n
)
nIN
solution du schma dEuler implicite (4.32) telle que
y
n
]0, 1[ pour tout n IN.
3.2 Soit (y
n
)
nIN
une suite construite la question 3.1. Montrer que cette suite est dcroissante et quelle tend
vers 0 lorsque n tend vers linni.
Question 4. On suppose dans cette question que
f
(0) = < 0
Soit ]0, [.
4.1 Montrer que pour t sufsamment grand,
f(y(t))
y(t)
< .
4.2 En dduire quil existe C IR
+
t.q.
y(t) Ce
t
, t 0.
4.3 Montrer quil existe C IR
+
t.q. la solution du schma dEuler implicite construite la question 3 vrie :
y
n
C
_
1
1 +h
_
n
, n IN.
Exercice 125 (Mthodes semi-implicite et explicite). Corrig en page 244
On sintresse dans cet exercice au systme diffrentiel :
_
_
_
x
1
(t) = x
1
(t) x
1
(t)x
2
(t),
x
2
(t) =
x
2
(t)
x
1
(t)
,
t > 0, (4.33)
avec les conditions initiales
x
1
(0) = a, x
2
(0) = b, (4.34)
o a et b appartiennent lintervalle ]0, 1[.
1. On pose x = (x
1
, x
2
)
t
. Montrer que le systme (4.33)-(4.34) scrit
_
x
(t) = f(x(t)), t > 0,

x(0) = (a, b)
t
,
(4.35)
avec f C
1
((IR
+
)
2
, IR
2
).
2. Les questions suivantes sont facultatives : elles permettent de montrer que le systme (4.35) admet une
solution maximale x C
1
([0, +[, (IR
+
)
2
). Le lecteur press par le temps pourra admettre ce rsultat et
passer la question 3.
(a) Montrer quil existe > 0 et x C
1
([0, [, (IR
+
)
2
) solution de (4.35) (on pourra utiliser, ainsi que
dans la question suivante, le fait que f est lipschitzienne sur tout pav [, A]
2
avec 0 < A < +).
(b) Soit > 0, montrer quil existe au plus une solution de (4.35) appartenant C
1
([0, [, (IR
+
)
2
).
(c) Montrer que le systme (4.35) admet une solution maximale x C
1
([0, +[, (IR
+
)
2
). (Cette question
est difcile : il faut raisonner par labsurde, supposer que T < +, montrer que dans ce cas x nest
pas solution maximale. . . )
(d) Montrer que la solution maximale x vrie x C
([0, +[, (IR
+
)
2
).
3. On considre le schma suivant de discrtisation du systme (4.33)-(4.34) : soit k le pas de discrtisation,
choisi tel que 0 < k <
1
2
.
_
_
x
(k+1)
1
x
(k)
1
k
= x
(k)
1
x
(k)
1
x
(k+1)
2
,
x
(k+1)
2
x
(k)
2
k
=
x
(k+1)
2
x
(k)
1
,
x
(0)
1
= a, x
(0)
2
= b.
(4.36)
(a) Montrer par rcurrence sur n que les suites (x
(k)
1
)
nIN
et (x
(k)
2
)
nIN
donnes par (4.36) sont bien
dnies, dcroissantes et strictement positives.
(b) Montrer que le schma numrique (4.36) scrit sous la forme
x
(k+1)
x
(k)
k
= (x
(k)
, k), (4.37)
avec x
(k)
= (x
(k)
1
, x
(k)
2
)
t
, C
((IR
+
)
2
IR
+
, IR
2
) et (x, 0) = f(x).
(c) (Consistance)
Soit T > 0. Pour n IN, on note t
n
= nk. Montrer quil existe C(T) IR
+
tel que
x(t
n+1
) x(t
n
)
k
= (x(t
n
), k) +R
(k)
k
, pour tout n tel que nk T, (4.38)
avec |R
(k)
k
| C(T)k.
(d) (Stabilit)
Soit T > 0.
(i) Montrer que x
(k)
1
(1 k kb)
T
k
pour tout entier n tel que nk T.
(ii) Montrer que
(1 k kb)
T
k
e
(1+b)T
lorsque k 0,
et en dduire que inf
0<k<
1
2
(1 k kb)
T
k
> 0.
(iii) En dduire quil existe a(T) > 0 et b(T) > 0 tels que
_
a(T) x
(k)
1
a,
b(T) x
(k)
2
b,
pour tout n tel que nk T. (4.39)
(e) (Convergence)
Soit T > 0. Montrer quil existe D(T) IR
+
tel que
|x
(k)
x(t
n
)| D(T)k, pour tout n tel que nk T. (4.40)
En dduire la convergence du schma (4.36).
(f) On remplace maintenant le schma (4.36) par le schma dEuler explicite pour le systme (4.35).
Ecrire ce schma. Montrer que pour tout pas de discrtisation k > 0, il existe des valeurs de n telles
que x
(k)
1
0 ou x
(k)
2
0. (On pourra montrer que si x
(k)
1
> 0 et x
(k)
2
> 0 pour tout n IN, alors
x
(k)
1
tend vers 0 lorsque n tend vers +, et donc quil existe n tel que x
(k)
2
0, ce qui contredit
lhypothse). Commenter.
Exercice 126.
Soit f C
2
(IR
n
IR
+
, IR
n
), T > 0, et y
(0)
IR
n
. On dsigne par (., .) le produit scalaire euclidien sur IR
n
et
. la norme associe. On suppose que :
(y, z) (IR
n
)
2
, (f(y, t) f(z, t), y z) 0. (4.41)
On considre le systme diffrentiel :
y
(t) = f(y(t), t) t [0, T[, (4.42)

y(0) = y
(0)
. (4.43)
1. Montrer que pour tout y IR
n
et t [0, T[, on a :
(f(y, t), y)
1
2
(f(0, t)
2
+y
2
). (4.44)
En dduire quil existe une unique solution y C
1
([0, T[, IR
n
) vriant (4.42)-(4.43).
On se propose de calculer une solution approche de y sur [0, T]. Pour cela, on considre une discrtisation de
lintervalle [0, T] de pas constant, not h, avec h =
T
n
, o n IN
. Pour k = 0, . . . , n, on note t
k
= kh, et on se
propose dtudier lalgorithme suivant, o 0 1.
y
0
IR
n
est donn (4.45)
y
k,1
= y
k
+hf(y
k,1
, t
k
+h), pour k = 0, . . . , n 1, (4.46)
y
k+1
= y
k
+hf(y
k,1
, t
k
+h) pour k = 0, . . . , n 1, (4.47)
2. Montrer quil existe une unique solution (y
k
)
k=0,...,n
IR
n
de (4.45)-(4.46)-(4.47).
Pour k = 0, . . . , n 1, on pose y(t
k
) = y
k
, o y est la solution exacte de (4.42)-(4.43), t
k,1
= t
k
+h, on dnit
y
k,1
par :
y
k,1
= y
k
+hf( y
k,1
, t
k,1
), (4.48)
et on dnit lerreur de consistance R
k
du schma (4.45)-(4.46)-(4.47) au point t
k
par :
R
k
=
y
k+1
y
k
h
f( y
k,1
, t
k,1
) (4.49)
3. Pour k = 0, . . . , n, on pose y
k,1
= y(t
k,1
), et, pour k = 0, . . . , n 1 on pose :
R
k
=
1
h
(y
k,1
y
k
) f(y
k,1
, t
k,1
). (4.50)
Montrer que pour tout k = 0, . . . , n 1 :
y
k,1
y
k,1
= h
_
f( y
k,1
, t
k,1
) f(y
k,1
, t
k,1
_
+h
R
k
, (4.51)
En dduire quil existe C
1
ne dpendant que de y et de T t.q. : y
k,1
y
k,1
C
1
h
2
.
4. Montrer quil existe C
2
ne dpendant que de f, y et T t.q.
y
k+1
y
k
hf(y
k
, t
k,1
) hR
k
C
2
h
3
, k = 0, . . . , n 1. (4.52)
5. Dduire des questions prcdentes quil existe C
3
ne dpendant que de y, f et T t.q. :
R
k
C
3
((
1
2
)h +h
2
) (4.53)
et en dduire lordre du schma (4.45)-(4.46)-(4.47).
6. Montrer que pour tout k = 1, . . . , n, on a :
_
y
k
y
k
, f(y
k,1
, t
k,1
) f( y
k,1
, t
k,1
)
_
hf(y
k,1
, t
k,1
) f( y
k,1
, t
k,1
)
2
. (4.54)
7. Montrer que pour tout k = 0, . . . , n, on a :
e
k+1
hR
k
2
= e
k
2
+ 2h(f(y
k,1
, t
k,1
) f( y
k,1
, t
k,1
), e
k
) +h
2
f(y
k,1
, t
k,1
) f( y
k,1
, t
k,1
)
2
. (4.55)
8. Montrer que si
1
2
, on a :
e
k
e
0
+C
3
(h
2
+ (
1
2
)h), k = 1, . . . , n. (4.56)
9. Soient (
k
)
kIN
IR
n
donne et (z
k
)
kIN
IR
n
dnie par :
z
0
IR
n
donn (4.57)
z
k,1
= z
k
+hf(z
k,1
, t
k,1
), pour k = 0, . . . , n 1, (4.58)
z
k+1
= z
k
+ +
k
+hf(z
k,1
, t
k,1
) pour k = 0, . . . , n 1, (4.59)
En sinspirant des questions 6 et 7, montrer que si
1
2
, on a :
y
k+1
z
k+1
+
k
2
y
k
z
k
2
, (4.60)
et en dduire que
y
k
z
k
y
0
z
0
+
k1
i=0
i
. (4.61)
Exercice 127 (Le pendule).
On considre lquation diffrentielle suivante, qui dcrit le mouvement dun pendule.
x
(t) + sin x(t) = 0, t > 0,

x(0) = ,
x
(0) = 0,
(4.62)
o [0, 2[ est la position initiale du pendule.
1. Ecrire le problme sous la forme dun systme diffrentiel dordre 1.
2. Ecrire la mthode dEuler implicite pour la rsolution du systme diffrentiel dordre 1 obtenu la question 1,
donnant les approximations x
n+1
et y
n+1
de x et y au temps t
n+1
en fonction des approximations x
n
et y
n
de x
et y au temps t
n
. En dduire qu chaque pas de temps, on doit rsoudre un systme non linvaire de la forme
x ay = ,
a sin x +y = .
(4.63)
On exprimera a, et en fonction du pas de temps t et des approximations x
n
et y
n
de x et y au temps t
n
= nt.
3. Mettre le systme (4.63) sous la forme F(X) = 0 o F est une fonction de IR
2
dans IR
2
, et crire la mthode de
Newton pour la rsolution F(X) = 0. Dterminer les valeurs de a pour lesquelles la mthode de Newton permet
de construire une suite qui est toujours bien dnie (quelque soit le choix initial).
4. Soit (x, y) une solution du problme (4.63). En supposant que a est tel que la mthode de Newton est bien
dnie, montrer quil existe > 0 tel que si (x
0
, y
0
) est dans la boule B
de centre (x, y) et de rayon , alors la

suite (x
n
, y
n
)
nIN
construite par la mthode de Newton converge vers (x, y) lorsque n tends vers +.
5. a Montrer que le systme (4.63) est quivalent au systme
x ay =
f(x) = 0
o f est une fonction de IR dans IR dont on donnera lexpression.
5.b Ecrire la mthode de Newton pour la rsolution de lquation f(x) = 0, et donner les valeurs de a pour
lesquelles la mthode de Newton permet de construire une suite qui est toujours bien dnie (quelque soit le choix
initial). Comparer les itrs obtenus avec cette mthode avec les itrs obtenus par la mthode de la question 3.
6. En sinspirant des question prcdentes, tudier la mthode de Newton pour le schma dEuler implicite pour le
problme suivant qui modlise le pendule avec amortissement :
x
(t) +x
(t) + sin x(t) = 0, t > 0,

x(0) = ,
x
(0) = 0,
(4.64)
o [0, 2[ est la position initiale du pendule et IR
+
. le coefcient damortissement.
4.8. CORRIGS CHAPITRE 4. EQUATIONS DIFFRENTIELLES
4.8 Corrigs
Corrig de lexercice 115 page 231 (Condition de Lipschitz et unicit)
Pour a 1, la fonction
a
: IR
+
IR
+
dnie par :
a
(x) = x
a
est continment diffrentiable, et sa drive est
a
(x) = ax
a1
. Elle est donc lipschitzienne sur les borns. Si a = 0, la fonction
a
est constante et gale 1, et
donc encore lipschitzienne sur les borns.
Soit maintenant a ]0, 1[, supposons que soit lipschitzienne sur les borns. Alors, pour tout A > 0, il existe
M
A
> 0 tel que |
a
(x)| M
A
|x|. Ceci entrane que la fonction x |
a(x)
x
| est borne sur B(0, A). Mais
|
a(x)
x
| = |x
a1
| +lorsque x 0. Ceci montre que la fonction
a
nest pas lipachitzienne sur les borns si
a ]0, 1[.
Par le thorme de Cauchy-Lipschitz, si
a
est lipschitzienne sur les borns, alors le problme (4.25) admet une
unique solution qui est la solution constante et gale zro.
Si
a
nest pas lipschitzienne sur les borns, i.e. si a ]0, 1[, la fonction nulle est encore solution du problme
(4.25), mais on peut obtenir une autre solution dnie par (calcul lmentaire de sparation de variable) :
y
a
(t) = [(1 a)t]
1
1a
.
(Notons que cette fonction nest dnie que pour a ]0, 1[.)
Corrig de lexercice 117 page 231 (Loi de Malthus)
Soit p
0
le nombre dindividus au temps t = 0. On a donc p(100) = 2p
0
, et p(200) = 3p
0
. Or la loi de Malthus
scrit p
(t) = ap(t) avec a > 0, et donc p(t) = p

0
e
at
. On a donc
p(100) = p
0
e
100 a
= 2p
0
p(200) = p
0
e
200 a
= 3p
0
,
mais on a aussi p(200) = p(100)e
100 a
, et donc p(200) = 3p
0
e
100 a
. On obtient donc que p(200) = 3p
0
e
100 a
=
p
0
e
200 a
= 3p
0
, ce qui est vrai si
_
e
100 a
=
3
2
e
200 a
= 3.
Ceci est impossible car ln
3
2
=
1
2
ln 3. Donc la population ne peut pas satisfaire la loi de Malthus.
Corrig de lexercice 118 page 231 (Histoire de sardines)
1. Pendant le premier mois, le taux daccroissement de la population est celui de la loi de Malthus (4p(t)) auquel
il faut retrancher les pertes dues auxbonites, soit 10
4
p
2
(t). Donc pour 0 t T = 30, on a :
_
p
1
(t) = 4p
1
(t) 4 10
4
p
2
1
(t)
p
1
(0) = p
0
.
A partir de T = 30, le taux diminue en raison de lmigration, soit 10
1
p(t). On a donc :
_
p
2
(t) = 4p
2
(t) 10
4
p
2
2
(t) 10
1
p
2
(t), t > 30
p
2
(30) = p
1
(30).
cestdire :
_
p
2
(t) = 3.9p
2
(t) 10
4
p
2
2
(t), t > 30
p
2
(30) = p
1
(30).
2. Les quations rsoudre sont de la forme :
_
x
(t) = ax(t) +bx

2
(t)
x(0) = ax
0
.
qui sont du type "Bernoulli". En supposant que x ne sannule pas (ce quon vriera a posteriori) on divise par x
2
,
on pose z =
1
x
, et on obtient
_
_
_
z
(t) = az(t) +b
z(0) =
1
x
0
Notons quon suppose x
0
= 0. Si x
0
= 0, la solution unique est x(t) 0 t IR
+
, par le thorme de
Cauchy-Lipschitz. On cherche une solution sous la forme : z(t) = C(t)e
at
. On a donc z
(t) = C
(t)e
at
aC(t)e
at
= C
(t)e
at
az(t). Pour que z soit solution, il faut donc que :
C
(t)e
at
= b, soit encore C
(t) = be
at
.
On en dduit que C(t) =
b
a
e
at
+K o K IR. La fonction z est donc de la forme z(t) =
_
b
a
e
+at
+K
_
. On
dtermine K laide de la condition initiale z(0) =
1
x0
, ce qui entraine
b
a
+ K =
1
x0
, soit K =
b
a
+
1
x0
. On en
dduit que la solution de (4.8) scrit
z(t) =
_
1
x
0
+
b
a
_
e
at
b
a
,
aprs avoir vri que cette fonction ne sannule pas (ce quon avait suppos pour pouvoir la calculer). On a donc :
x(t) =
1
_
1
x0
+
b
a
_
e
at
b
a
.
En reportant les donnes de notre problme dans cette expression, on a donc :
_
_
x(t) =
1
(
10
6
10
4
4
)
e
4t
+
10
4
4
0 t 30
x
30
= x(30),
x(t) =
1
(
1
x
30
10
4
3.9
)
e
3.9t
+
10
4
3.9
t 30.
On en conclut que lim
t+
x(t) = 3.9 10
4
.
Corrig de lexercice 119 page 232 (Consistance et ordre des schmas)
1. Un dveloppement de Taylor lordre 1 donne que
x(t
k+1
) x(t
k
)
h
k
f(x(t
k
), t
k
)
sup
[0,T]
|f
|h
k
.
Lerreur de consistance est donc dordre 1, et le schma est convergent par le thorme 4.12 page 225.
2. Pour les schmas dEuler amlior et de Heun, le thorme 4.12 page 225 sapplique encore, condition de
montrer quils sont consistants. Calculons lerreur de consistance pour ces deux schmas :
1. Le schma dEuler amlior scrit :
x
k+1
x
k
h
k
= f
_
x
k
+
h
k
2
f(x
k
, t
k
), t
k
+
h
k
2
_
Soit x
k
= x(t
k
) la solution exacte de lquation diffrentielle x
(t) = f(x(t), t) (avec condition initiale

x(0) = x
0
) en t
k
. En remarquant que f( x
k
, t
k
) = x
(t
k
), on a :
x
k
+
h
k
2
f( x
k
, t
k
) = x
k
+
h
k
2
x
(t
k
) = x
_
t
k
+
h
k
2
_
1
8
h
2
k
x
(
k
),
avec
k

_
t
k
, t
k
+
h
k
2
. En posant X = f( x
k
+
h
k
2
f( x
k
, t
k
), t
k
+
h
k
2
), on remarque que X = f(x(t
k
+
h
k
2
)
1
8
h
2
x
(
k
), t
k
+
h
k
2
) et donc quil existe
k
IR tel que :
X = f(x(t
k
+
h
k
2
), t
k
+
h
k
2
)
1
8
h
2
k
x
(
k
)
1
f(
k
, t
k
+
h
k
2
).
On en dduit que
X = x
(t
k
+
h
k
2
)
1
8
h
2
k
x
(
k
)
1
f(
k
, t
k
+
h
k
2
)
De plus, par dveloppement de Taylor dordre 2, on a :
x
k+1
x
k
h
k
x
(t
k
+
h
k
2
)
Ch
2
(4.65)
o C ne dpend que de f. On en dduit que lerreur de consistance R
k
vrie :
R
k
=
x
k+1
x
k
h
k
f( x
k
+
h
k
2
f( x
k
, t
k
), t
k
+
h
k
2
)
1
8
h
2
x(
k
)
1
f(
k
, t
k
+
h
k
2
) +

Ch
2
o C ne dpend que de f. On en dduit que le schma est bien dordre 2.
2. Le schma de Heun scrit :
x
k+1
x
k
h
k
=
1
2
f(x
k
, t
k
) +
1
2
[f(x
k
+h
k
f(x
k
, t
k
), t
k+1
)].
Ecrivons dabord quil existe donc
k
[t
k
t
k+1
] tel que
x
k
+h
k
f( x
k
, t
k
) = x(t
k+1
) +
h
2
k
2
x
(
k
).
De plus, il existe
k
IR tel que :
f( x
k
+h
k
f( x
k
, t
k
), t
k+1
) = f( x
k+1
, t
k+1
) +
1
f(
k
, t
k+1
)
h
2
k
2
x(
k
).
Or
1
2
(f( x
k
, t
k
) +f( x
k+1
t
k+1
)) =
1
2
(x
(t
k+1
) +x
(t
k
)) et par dveloppement de Taylor, il existe C IR
ne dpendant que de x tel que
|
1
2
(x
(t
k+1
) +x
(t
k
)) x
(t
k
+
h
k
2
)| Ch
2
.
En utilisant nouveau (4.65), on en dduit que lerreur de consistance est dordre 2 ( condition que x soit
trois fois drivable . . .).
Corrig de lexercice 120 page 232 (Stabilit par rapport aux erreurs et convergence)
1. Par dnition du schma (4.8) et de lerreur de consistance (4.12), on a :
x
k+1
= x
k
+h
k
(x
k
, t
k
, h
k
)
x
k+1
= x
k
+h
k
( x
k
, t
k
, h
k
) +h
k
R
k
.
Comme le schma (4.8) est suppos stable par rapport aux donnes, on a en prenant y
k
= x
k
et
k
= h
k
R
k
dans
(4.14) page 224 :
e
k+1
K(|x
0
x
0
| +
k1
i=0
|h
i
R
i
|) pour tout k = 0, . . . , n 1.
Comme le schma est consistant dordre p, on a R
i
Ch
p
et donc par lingalit prcdente : e
k+1
K|e
0
| +
Ch
p
) o

C R
+
ne dpend que de f,T, x
0
(et pas de h). On en dduit que le schma est convergent dordre p.
2. Soient (x
k
)
k=0,...,n1
et (y
k
)
k=0,...,n1
vriant (4.14), cestdire :
x
k+1
= x
k
+h
k
(x
k
, t
k
, h
k
),
y
k+1
= y
k
+h
k
(y
k
, t
k
, h
k
) +
k
,
pour k = 0, . . . , n 1,
alors grce lhypothse sur le caractre lipschitzien de , on a :
|x
k+1
y
k+1
| (1 +h
k
M)|x
k
y
k
| +|
k
| e
h
k
M
|x
k
y
k
| +|
k
|.
On en dduit par rcurrence sur k que
|x
k
y
k
| e
t
k
M
|e
0
| +
k1
i=0
e
(t
k
ti+1)M
|
i
| K(|e
0
| +
k
i=0
|
i
|),
avec K = e
TM
. On a donc ainsi montr que le schma (4.8) est stable par rapport aux erreurs.
Exercice 122 page 233 (Algorithme du gradient pas xe et schma dEuler)
1. Lalgorithme du gradient pas xe scrit :
pour x
0
donn, et x
n
connu, n 0, w
n
= f(x
n
) et x
n+1
= x
n
+w
n
.
Lalgorithme dEuler explicite pour la rsolution de lquation x
(t) = f(x(t)) avec x(0) = x

0
, et pour le pas
de discrtisation scrit :
x
0
= x(0),
x
n+1
x
n
= f(x(t
n
))
Il est donc clair que les deux algorithmes sont quivalents.
2. Ceci est une consquence directe du thorme dexistence et unicit 3.15 page 164.
3. Comme f est de classe C
1
, par le thorme de Cauchy-Lipschitz il existe une unique solution maximale. On
sait de plus que si le temps maximal dexistence T
M
est ni, alors x(t) +lorsque t +. Montrons que
x(t) est born, ce qui entrane donc existence dune solution globale.
On pose (t) = f(x(t)). On a donc
(t) = |f(x(t))|
2
< 0. La fonction est donc dcroissante et borne
infrieurement (car f est borne infrieurement, puisque f est continue et tend vers +en ). Il existe donc
IR tel que tend en dcroissant vers quand t tend vers linni. Ceci prouve en particulier que lensemble
{x(t); t IR} est born. On obtient donc ainsi existence et unicit dune solution globale.
Montrons maintenant que que = min
IR
f, et que x(t) x o x = Argminf. On raisonne par labsurde ;
sSi > min
IR
f, on pose = min
IR
f > 0. Il existe > 0 tel que |x x| f(x) f( x) =
f(x) min
IR
f < .
Comme f(x(t)) = + min
IR
f, on a donc |x(t) x| > pour tout t IR. Donc |f(x(t))| =
min{|f(y)|, |y x| , |y| M}, o M est une borne de {x(t), t IR}.
Comme > 0, on obtient une contradiction avec le fait que tend en dcroissant vers quand t tend vers linni,
puisque :
t
0

(s)ds
t
0

2
ds t
2
, avec
t
0

(s)ds (0) et t
2
+lorque t +.
4. Dans le cas f(x) =
1
2
Ax x b x, o A est s.d.p., il est facile de voir que la fonctionnelle f vrie les
hypothses de lexercice. On a f(x) = Ax b, et donc x(t) tend vers A
1
b. Lalgorithme scrit dans ce cas :
x
n+1
= x
n
(Ax b).
Corrig de lexercice 123 page 233 (Mthode de Taylor)
1. Soit x solution du problme de Cauchy (4.1). Montrons par rcurrence que
x
(m+1)
(t) = f
(m)
(x(t), t).
Pour m = 0, on a x
(1)
(t) = f(x(t), t) = f
(0)
(x(t), t). Supposons que
x
(p+1)
(t) = f
(p)
(x(t), t) pour p = 0, . . . , m,
et calculons x
(m+2)
(t). On a
x
(m+2)
(t) =
1
f
(m)
(x(t), t)x
(t) +
2
f
(m)
(x(t), t)
=
1
f
(m)
(x(t), t)f(x(t), t) +
2
f
(m)
(x(t), t)
= f
(m+1)
(x(t), t).
2. On a f
(1)
=
2
f + (
1
f)f, et f
(2)
= (
1
f
(1)
)f + (
2
f
(1)
), soit encore
f
(2)
=
_
2
f + (
2
1
)f + (
1
f)
2
_
+
2
2
+ (
1
2
f)f + (
1
f)(
2
f).
3.Dans le cas p = 1, on a
p
(y, t, h) = f(y, t) et donc le schma (4.29) scrit :
_
x
0
= x
0
,
x
k+1
= x
k
+hf(x
k
, t
k
), pour k = 1, . . . , n.
On reconnat le schma dEuler explicite.
4.a/ Puisque f(y, t) = y , on a f
(k)
= f pour tout k, et donc
p
(y, t, h) =
p1
j=0
h
j
(j + 1)!
f(y, t).
4.b/ Par dnition,
x
1
= x
0
+hf( x
0
, 0) = x
0
+h
p1
j=0
h
j
(j + 1)!
x
0
= 1 +h
p1
j=0
h
j
(j + 1)!
=
p
j=0
h
j
(j + 1)!
.
Supposons que
x
k
=
_
_
p
j=0
h
j
j!
_
_
k
pour k = 1, . . . , ,
et montrons que cette relation est encore vrie au rang + 1. On a bien :
x
+1
= x
+h
p1
j=0
h
j
j!
x
=
p
j=0
h
j
j!
x
,
ce qui termine la rcurrence.
4.c/ Comme x est la solution de (4.1) pour f(y, t) = y et x
0
= 1, on a videmment x(t) = e
t
, et donc x(t
k
) = e
hk
.
Le rsultat de la question 4.b/ permet de dduire que
x
k
=
_
p
j=0
h
j
j!
_
k
=
_
e
h
R(h)
_
k
,
avec 0 < R(h) < e
h h
p+1
(p+1)!
. On a donc
x
k
= e
k
h
_
1
R(h)
e
h
_
k
= e
k
h(1 a)
k
,
avec a =
R(h)
e
h
]0, 1[. On en dduit que
0 x
k
x
k
e
k
h
_
1 (1 a)
k
_
.
Comme k 1 et a ]0, 1[, on en dduit (par rcurrence sur k) que (1 a)
k
1 ka. On a donc
0 x
k
x
k
kae
kh
ke
t
k
h
p+1
(p + 1)!
t
k
e
t
k
h
p
(p + 1)!
.
5. Un dveloppement de Taylor montre que
x
k+1
=
p
j=0
h
j
j!
x
(j)
(t
k
) +C
k,h
h
p+1
= x
k
+
p
j=1
h
j1
j!
f
(j1)
( x
k
, t
k
) +C
k,h
h
p+1
,
avec C
k,h
C IR
+
. On a donc
x
k+1
x
k
h
=
p
j=1
h
j1
j!
f
(j1)
( x
k
, t
k
) +C
k,h
h
p
=
p1
j=0
h
j
(j + 1)!
f
(j)
( x
k
, t
k
) +C
k,h
h
p
=
p
( x
k
, t
k
, h) +C
k,h
h
p
.
Le schma est donc consistant dordre p. Il suft alors dappliquer le thorme 4.12 page 225 (car
p
est de classe
C
donc lipschitzienne sur les borns) pour obtenir lexistence de

h > 0 et C > 0 ne dpendant que de x
0
, T et
f, tels que si 0 < h <

h, alors |x
k
x(t
k
)| Ch
p
, pour tout k = 0, . . . , n + 1.
Corrig de lexercice 125 page 235 (Mthodes semi-implicite et explicite)
1.
_
_
x
(k+1)
1
x
(k)
1
k
= x
(k)
1
x
(k)
1
x
(k+1)
2
,
x
(k+1)
2
x
(k)
2
k
=
x
(k+1)
2
x
(k)
1
,
x
(0)
1
= a, x
(0)
2
= b.
(4.66)
On a x
(0)
1
= a > 0 et x
(0)
2
= b > 0. De plus, on a
x
(1)
2
=
1
1 +
k
a
b,
donc x
(1)
2
est bien dni, et 0 < x
(1)
2
< x
(0)
2
= b. Or x
(1)
1
= a k(a +ab) et comme a et b appartiennent
]0, 1[, on a a +ab ]0, 2[, et comme 0 < k < 1/2, on en dduit que 0 < x
(1)
1
< x
(0)
1
= a.
Supposons que les suites soient bien dnies, dcroissantes et strictement positives jusquau rang n, et
vrions-le au rang n + 1. On a
x
(k+1)
2
=
1
1 +
k
x
(k)
1
x
(k)
2
, (4.67)
et donc en utilisant lhypothse de rcurrence, on obtient que x
(k+1)
2
< x
(k)
2
et 0 < x
(k+1)
2
< b.
De plus
x
(k+1)
1
= x
(k)
1
kx
(k)
1
kx
(k)
1
x
(k+1)
2
= x
(k)
1
(1 k kx
(k+1)
2
), (4.68)
et donc grce au fait que 0 < x
(k+1)
2
 1 k kb, et lhypothse de
rcurrence, on dduit que x
(k+1)
1
< x
(k)
1
et 0 < x
(k+1)
1
< a.
2. Aprs calcul, on obtient que le schma numrique (4.36) scrit sous la forme
x
(k+1)
x
(k)
k
= (x
(k)
, k), (4.69)
avec x
(k)
= (x
(k)
1
, x
(k)
2
)
t
, et o C
((IR
+
)
2
IR
,
+
IR
2
) est dnie par
(x, k) =
_
_
x
1
(1 +
x
1
x
2
x
1
+k
)
x
2
x
1
+k
_
_
, (4.70)
et on vrie bien que C
((IR
+
)
2
IR
+
, IR
2
) (en fait est de classe C
sur IR
2
+
IR
+
\ {0}
IR
+
{0}.) et que (x, 0) = f(x). Ceci montre que pour (x
(k)
1
, x
(k)
2
) (IR
+
)
2
et k > 0, le couple
(x
(k+1)
1
, x
(k+1)
2
) est bien dni par (4.36) de manire unique.
3. Comme x C
([0, +[, (IR
+
)
2
), on a
|
x(t
n+1
) x(t
n
)
k
x
(t
n
)| k max
[0,T]
|x
|,
et
|(x(t
n
), k) (x(t
n
), 0)| k max
[0,T]
|D
2
(x(t), t)|.
Or la solution exacte x sur [0, T] vit dans un born [, ]
2
de R
+
, et ses drives atteignent ses bornes sur
le compact [0, T], donc il existe C(T) IR
+
tel que max
[0,T]
|x
| C(T) et max
[0,T]
|D
2
(x(t), t)|
C(T). Comme de plus (x(t
n
), 0) = f(x(t
n
), on en dduit par ingalit triangulaire que |R
(k)
k
| C(T)k.
4. (Stabilit)
(i) Soit T > 0. De (4.68) et du fait que 0 < x
(k)
2
 0 (car k < 1/2), on a
x
(k)
1
(1 k kb)
T
k
.
(ii) On a (1 k kb)
T
k
= exp(
T
k
ln(1 k kb)), et ln(1 k kb) est quivalent k kb dans un
voisinage de k = 0. On en dduit que (1 k kb)
T
k
e
(1+b)T
lorsque k 0.
La fonction dnie par (k) = (1 k kb)
T
k
est continue, strictement positive sur [0, 1/2], et
sa limite lorsque k tend vers 0 est minore par un nombre strictement positif. Donc la fonction est
elle-mme minore par un nombre strictement positif. On en dduit que inf
0<k<
1
2
(1 k kb)
T
k
> 0.
(iii) Daprs les rsultats des questions 3 (a) et 3 (d) (ii), on a a(T) x
(k)
1
a, pour tout n tel que nk T,
avec a(T) = inf
0<k<
1
2
(1 k kb)
T
k
.
En utilisant ce rsultat (et la question 3 (a)), on dduit alors de (4.67) que
x
(k+1)
2

1
1 +
k
a(T)
x
(k)
2
,
et donc que
x
(k)
2

_
1
1 +
k
a(T)
_T
k
x
(0)
2
,
Une tude similaire celle de la question prcdente montre que la fonction
k
_
1
1 +
k
a(T)
_T
k
est continue et strictement positive sur [0, 1/2] et sa limite lorsque k tend vers 0 est strictement positive.
On en dduit que b(T) x
(k)
2
b, pour tout n tel que nk T, avec
b(T) = b inf
k[0,1/2]
_
1
1 +
k
a(T)
_T
k
> 0.
5. (Convergence) Soit T > 0. On ne peut pas appliquer directement le thorme du cours car nest pas
lipschitzienne sur les borns, mais il suft de remarquer que :
la solution exacte sur [0, T] vit dans un born [, ]
2
de R
+
.
le schma est inconditionnellement stable : x
(k)
[a(T), a] [b(T), b].
Or la fonction est de classe C
1
sur [A, B]
2
R
+
, o A = min(, a(T), b(T)) et B = max(, a, b). Donc
elle est lipschitzienne par rapport la premire variable sur le pav [A, B]
2
. La dmonstration par rcurrence
faite en cours dans le cas globalement lipschitzienne sadapte donc trs facilement. (elle est mme plus
facile car e
0
= 0 et le pas de discrtisation est constant. . . )
6. On remplace maintenant le schma (4.36) par le schma dEuler explicite. Celui scrit :
_
_
x
(k+1)
1
x
(k)
1
k
= x
(k)
1
x
(k)
1
x
(k)
2
,
x
(k+1)
2
x
(k)
2
k
=
x
(k)
2
x
(k)
1
,
x
(0)
1
= a, x
(0)
2
= b.
(4.71)
Supposons x
(k)
1
> 0 et x
(k)
2
> 0 pour tout n. La premire quation de (4.36) donne alors que
x
(k+1)
1
x
(k)
1
k
= x
(k)
1
,
et donc x
(k+1)
1
< (1 k)x
(k)
1
. On en dduit par rcurrence que x
(k)
1
< (1 k)
n
a 0 lorsque n 0 (on
supposera que k < 1 pour que le schma soit bien dni. Donc pour un pas de temps k donn, il existe n tel
que x
(k)
1
k. Or pour cette valeur de n,
x
(k+1)
2
= x
(k)
2
(1
k
x
(k)
1
) 0,
ce qui contredit lhypothse x
(k)
2
> 0 pour tout n.
Ceci montre que le schma dEuler explicite nest franchement pas bon dans ce cas. (Etudier si le coeur vous
en dit le schma totalement implicite...)

Anamat

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Anamat

Uploaded by

Copyright:

Available Formats

Universit Aix Marseille

Dans nos exemples, on a donc

Analyse numrique I, tl-enseignement, L3 6 Universit dAix-Marseille, R. Herbin, 18 novembre 2013

, muni dun produit scalaire i.e. dune application

IRe : on peut dcomposer x E comme (x =

= f Soit f C([0, 1], IR). On cherche u tel que

(x) = f(x) (1.5a)

= f en vue de se ramener un systme discret, c..d. un systme avec un nombre

(x) = f(x), x (0, 1), (1.15a)

= 0 sur [0, 1] (1.27a)

, n impair. On pose h = 1/(n + 1). Soit K

(x) +u(x) = f(x), x ]0, 1[,

, n impair. On pose h = 1/(n + 1). On note u est

D. Notons que la matrice

D, o D est la matrice diagonale extraite de U, et

D dsigne la matrice dont les coefcients

x x dsigne la norme euclidienne sur IR

D o D est la matrice diagonale extraite de U.

= f (voir page 10), on a q = 1 et la mthode de Choleski

A) < 1, et donc grce (1.57),

, alors cond(A) = cond(A).

ce qui prouve que cond(A) 1.

est une norme.

en fonction de x, et en dduire que A

et Q est une matrice orthogonale (cest--dire Q

, alors B est inversible.

< 1. Montrer que dans ce cas :

(x) = (x) pour tout x ]0, 1[ et (0) = (1) = 0].

(x) +u(x) = f(x), x ]0, 1[,

(x) = u(x), x ]0, 1[,

= . Pour s IR, on note sign(s) le signe de s, cestdire sign(s) = s/|s| si s = 0 et sign(0) = 0.

(x) = (x) x ]0, 1[

= est un espace vectoriel dordre 2, donc est

x ( 0) et et dont dtermins par les conditions aux limites

= 0 ; on veut = 0 car on cherche = 0 et donc on obtient

> 0 tel que si

, alors |f(s) f(t)|. On en conclut que si lon prend h h

. Les valeurs propres de B sont de la forme 1 , o est valeur propre de A. Pour la

) < 1 alors 0 < < 2.

= A(x y) (x y) = Ax x 2Ax y +Ay y = x

(et par suite (Pt

la matrice ditration de la mthode SOR (et de la mthode de GaussSeidel

) < 1 si et seulement si 0 < < 2.

), ]0, 2[}, sexprime en fonction du rayon spectral (B

(x) +u(x) = f(x), x [0, 1],

en fonction de celles de J. En dduire, en fonction des

est valeur propre de B

3. Dduire de la question 1. que si >

Id E) est inversible si et seulement si =

2/2, on considre la mthode itrative (pour trouver la solution de Ax = b)

et son rayon spectral.

et en dduire que les valeurs propres

et x = 0, on dduit de lingalit prcdente que

qui est symtrique pour le produit scalaire

associe un vecteur propre u; alors :

associe au vecteur propre f

FIGURE 1.7: Dtermination de la valeur de ralisant le minimum du rayon spectral.

. En prenant = dans lgalit prcdente, on obtient :

. dduire que si = 0 est valeur propre de B

la matrice ditration de la mthode SOR associe A, et soit

une valeur propre de B

D +F). Il existe donc y Cl

11 +)Dy, et aussi, en notant une valeur propre non nulle de B