Exercices avec corrig´e succinct du chapitre 3

(Remarque : les r´ef´erences ne sont pas g´er´ees dans ce document, par contre les quelques?? qui
apparaissent dans ce texte sont bien d´efinis dans la version ´ecran compl`ete du chapitre 3)
Exercice III.1
1. Ecrire le probl`eme de la r´egression lin´eaire comme un probl`eme de moindres carr´es : plus pr´ecis´ement
on se donne une famille de points (t
i
,b
i
)
1≤i≤m
(les t
i
´etant distincts) et on cherche `a faire passer
une droite le plus pr`es possible de ces points.
2. La question pr´ec´edente conduit `a une fonction de deux variables `a minimiser. On admet que ce
minimum est donn´e en annulant les deux d´eriv´ees partielles. Donner le syst`eme lin´eaire de deux
´equations `a deux inconnues ainsi obtenu.
Solution :
1. Soit y = α + βt, l’´equation de la droite consid´er´ee. Le probl`eme de r´egression lin´eaire s’´ecrit
min
(α,β)∈IR
2
E(α,β)
o` u
E(α,β) =
m
¸
i=1
(α + βt
i
−b
i
)
2
.
La solution (α



) donne les coefficients de la droite solution du probl`eme de r´egression lin´eaire
et elle v´erifie
E(α



) = min
(α,β)∈IR
2
E(α,β).
2. Calculons les deux d´eriv´ees partielles

∂E
∂α
(α,β) =
¸
m
i=1
2(α + βt
i
−b
i
)
∂E
∂β
(α,β) =
¸
m
i=1
2(α + βt
i
−b
i
)t
i
La solution (α



) du probl`eme de r´egression lin´eaire est donc donn´ee par la solution des deux
´equations lin´eaires obtenues en regroupant les termes

α

m + β

¸
m
i=1
t
i
=
¸
m
i=1
b
i
α

¸
m
i=1
t
i
+ β

¸
m
i=1
t
2
i
=
¸
m
i=1
b
i
t
i
Exercice III.2
On cherche `a approcher les donn´ees (t
i
,b
i
)
1≤i≤m
(les t
i
´etant distincts) `a l’aide d’un polynˆ ome de degr´e
inf´erieur ou ´egal `a n −1, on suppose m ≥ n, on note
p(t) = α
1
+ α
2
t + . . . + α
n
t
n−1
,
et on cherche les coefficients α
1

2
,...,α
n
qui minimisent
E(α
1

2
,...,α
n
) =
m
¸
i=1
(p(t
i
) −b
i
)
2
.
1
Ecrire le probl`eme de moindres carr´es sous forme matricielle. Montrer alors que la matrice A est
bien de rang n. (On rappelle que la matrice carr´ee de Van der Monde V, v
ij
= t
j−1
i
, est inversible si
tous les t
i
sont distincts).
Solution : Soit
p(t) = α
1
+ α
2
t + . . . + α
n
t
n−1
,
un polynˆome de degr´e n − 1. Pour que ce polynˆ ome approche les donn´ees (t
i
,b
i
)
i=1,...,m
le plus pr`es
possible, il doit minimiser la quantit´e suivante
E(α
1

2
, . . . ,α
n
) =
m
¸
i=1
(p(t
i
) −b
i
)
2
= Ax −b
2
.
En effet on peut ´ecrire

¸
¸
¸
p(t
1
) −b
1
p(t
2
) −b
2
. . .
p(t
m
) −b
m
¸

=

¸
¸
¸
α
1
+ α
2
t
1
+ . . . + α
n
t
n−1
1
−b
1
α
1
+ α
2
t
2
+ . . . + α
n
t
n−1
2
−b
2
. . .
α
1
+ α
2
t
m
+ . . . + α
n
t
n−1
m
−b
m
¸

= A

¸
¸
¸
α
1
α
2
. . .
α
n
¸

¸
¸
¸
b
1
b
2
. . .
b
m
¸

= Ax −b,
o` u les matrices A et x sont d´efinies par :
A =

¸
¸
¸
1 t
1
. . . t
n−1
1
1 t
2
. . . t
n−1
2
. . . . . . . . . . . .
1 t
m
. . . t
n−1
m
¸

, x =

¸
¸
¸
¸
α
1
α
2
.
.
.
α
n
¸

.
Dans les donn´ees, les points t
i
sont tous distincts, ce qui implique que la matrice V , constitu´ee des n
premi`eres lignes de A est inversible, d’o` u la matrice A est de rang n.
Exercice III.3
Donner les ´equations normales du probl`eme de moindres carr´es associ´e `a la r´egression lin´eaire. Montrer
que l’on retrouve les ´equations de l’exercice ??.
Solution : La matrice A du probl`eme de r´egression lin´eaire s’´ecrit (voir la correction de l’exercice
??) :
A =

¸
¸
¸
1 t
1
1 t
2
. . . . . .
1 t
m
¸

.
Les ´equations normales sont
A
T
Aˆ x = A
T
b
ce qui donne en effectuant les produits matriciels

m
¸
m
i=1
t
i
¸
m
i=1
t
i
¸
m
i=1
t
2
i

ˆ x =
¸
m
i=1
b
i
¸
m
i=1
t
i
b
i

.
On retrouve bien ainsi le syst`eme de deux ´equations `a deux inconnues de l’exercice ??.
Exercice III.4
Soit b ∈ IR
n
, montrer que
b
T
z = 0,∀z ∈ IR
n
⇔ b = 0.
2
Solution : L’implication ⇐ est ´evidente puisque l’on multiplie 0 par le vecteur z.
Supposons maintenant que
b
T
z = 0,∀z ∈ IR
n
,
alors cette ´egalit´e ´etant vraie pour tout z l’est en particulier pour z = b, ce qui donne
b
T
b = b
2
= 0.
Or la norme d’un vecteur est nulle si et seulement si ce vecteur est nul, ce qui donne
b = 0.
Exercice III.5
Ecrire l’algorithme de l’orthogononalisation de Schmidt, donn´ee dans le document ??.
Solution : Cet algorithme est tr`es simple et suppose connues des fonctions telles que norme, produit
scalaire . . . ce qui est le cas de Scilab.
1: E
1
= B
1
/B
1

2: pour k = 2, . . . ,n faire
3:
¯
E
k
= B
k

¸
k−1
j=1
B
k
,E
j
E
j
4: E
k
=
¯
E
k
/
¯
E
k

5: fin pour
Exercice III.6
Soit E ∈ M
mn
, une matrice dont les colonnes sont des vecteurs orthonorm´es de IR
n
, montrer que
E
T
E = I
Solution : On a donc
E
i
,E
i
= 1, E
i
,E
j
= 0 pour i = j,
ou ce qui est ´equivalent
E
T
i
E
i
= 1, E
T
i
E
j
= 0 pour i = j.
Les termes de la matrice (carr´ee) C = E
T
E sont donc
c
ii
= E
T
i
E
i
= 1, c
ij
= E
T
i
E
j
= 0 pour i = j,
C est donc la matrice identit´e.
Exercice III.7
On applique l’orthogonalisation de Schmidt (voir le document ??), sur les n colonnes A
1
,A
2
,...,A
n
d’une matrice A ∈ M
m,n
de rang n (m ≥ n), on obtient les vecteurs E
1
,E
2
,...,E
n
qui seront les
colonnes d’une matrice E.
1. Montrer que les colonnes A
k
de A peuvent s’´ecrire
A
k
=
k
¸
j=1
α
jk
E
j
sans expliciter les scalaires α
jk
.
3
2. En d´eduire que A = ET, o` u T est une matrice triangulaire sup´erieure inversible.
Solution :
1. Reprenons l’algorithme d’orthogonalisation de Schmidt, alors
E
1
= A
1
/A
1
⇒ A
1
= α
11
E
1
,
puis
¯
E
2
= A
2
−A
1
,E
1
E
1
et E
2
=
¯
E
2
/
¯
E
2
⇒ A
2
= A
1
,E
1
E
1
+
¯
E
2
E
2
,
ce qui donne
A
2
= α
12
E
1
+ α
22
E
2
.
De mani`ere g´en´erale
¯
E
k
= A
k

k−1
¸
j=1
A
k
,E
j
E
j
et E
k
=
¯
E
k
/
¯
E
k
⇒ A
k
=
k−1
¸
j=1
A
k
,E
j
E
j
+
¯
E
k
E
k
,
ce qui donne
A
k
=
k
¸
j=1
α
jk
E
j
.
2. Consid´erons le produit C = ET de deux matrices, E ∈ M
m,n
et T ∈ M
n,n
, alors
c
ik
=
n
¸
j=1
e
ij
t
jk
.
On peut aussi consid´erer c
ik
comme le i`eme ´el´ement de la ki`eme colonne de C. Alors cette colonne
est donn´ee par
C
k
= ET
k
=
n
¸
j=1
t
jk
E
j
.
Si l’on compare avec le r´esultat de la question pr´ec´edente :
A
k
=
k
¸
j=1
α
jk
E
j
,
on voit que t
jk
= α
jk
pour j = 1, . . . ,k et que t
jk
= 0 pour j = k + 1, . . . ,n, ce qui correspond `a
une matrice triangulaires sup´erieure
T =

¸
¸
¸
¸
α
11
α
12
. . . . . . α
1n
0 α
22
. . . . . . α
2n
0 . . .
.
.
. . . . . . .
0 . . . . . . . . . α
nn
¸

La matrice T est inversible car α
ii
=
¯
E
i
.
Exercice III.8
4
1. Montrer que si Q est une matrice orthogonale, alors Q
T
est orthogonale.
2. Montrer que si Q est orthogonale, alors Qy = y pour tout vecteur y de IR
n
.
Solution :
1. On a
Q orthogonale ⇔ Q
−1
= Q
T
⇔ (Q
T
)
−1
= Q ⇔ Q
T
orthogonale .
2. On va d´emontrer le r´esultat pour le carr´e de l’expression, ce qui est ´equivalent pour des r´eels
positifs. Dans ces ´equivalences, on utilise le fait que Q
T
Q = I.
Qy
2
= (Qy)
T
Qy = y
T
Q
T
Qy = y
T
y = y
2
.
Exercice III.9
On veut effectuer une r´egression lin´eaire sur les points suivants : (−1,0.5), (0.5,1), (2,2.5). Appliquer la
m´ethode ”QR” pour r´esoudre ce probl`eme et utiliser SCILAB, en particulier la proc´edure ”qr”, pour
faire les calculs.
Solution : La matrice A et le vecteur b correspondants `a ce probl`eme sont
A =

¸
1 −1
1 0.5
1 2
¸

, b =

¸
0.5
1
2.5
¸

.
Les ´etapes du calcul sont alors les suivantes :
– calcul de la d´ecomposition QR par ”qr” ce qui donne A = QR, o` u R =

¯
R
0

,
– calcul de Q
T
b =

c
d

,
– r´esolution de
¯
Rx = c, ce qui donne x =

1
0.666667

– calcul de l’erreur d
2
= 0.1666667.
Exercice III.10
Soit A une matrice m×n de rang n ≤ m. Soient Q une matrice orthogonale et
¯
R une matrice carr´ee
triangulaire sup´erieure telles que A = Q

¯
R
0

.
Montrer que, si χ
2
d´esigne le conditionnement calcul´e `a partir de la norme matricielle subordonn´ee
`a la norme 2,
χ
2
(
¯
R) =

χ
2
(A
T
A).
Solution : Revoyez le lien entre la norme .
2
et le rayon spectral vu au chapitre 2.

2
(
¯
R))
2
=
¯
R
2
2

¯
R
−1

2
2
= ρ(
¯
R
T
¯
R)ρ((
¯
R
−1
)
T
¯
R
−1
).
On remarque que A
T
A = R
T
Q
T
QR = R
T
R =
¯
R
T
¯
R donc
χ
2
(A
T
A) = χ
2
(
¯
R
T
¯
R) =
¯
R
T
¯
R
2
(
¯
R
T
¯
R)
−1

2
,
5
or
¯
R
T
¯
R et son inverse sont des matrices sym´etriques, toujours dans le chapitre 2, on a montr´e
R
T
R
2
= ρ(R
T
R),
on a donc ´egalement
(
¯
R
T
¯
R)
−1

2
= ρ((
¯
R
T
¯
R)
−1
) = ρ(
¯
R
−1
(
¯
R
T
)
−1
) = ρ((
¯
R
T
)
−1
¯
R
−1
)
On a utilis´e le r´esultat montr´e dans le chapitre 2 : ρ(AB) = ρ(BA) on sait d’autre part que (
¯
R
T
)
−1
=
(
¯
R
−1
)
T
, ce qui permet de terminer la d´emonstration.
Ce r´esultat est important car dans le cas des ´equations normales on est conduit `a r´esoudre un
syst`eme dont la matrice est A
T
A, dans le cas de la factorisation QR on est amen´e `a r´esoudre un
syst`eme dont la matrice est
¯
R, comme vous le savez le conditionnement est toujours sup´erieur `a
1 donc la matrice
¯
R a un conditionnement plus faible que la matrice A
T
A, ce qui est int´eressant
num´eriquement.
6

Solution : Soit p(t) = α1 + α2 t + . Montrer e e e ea e e que l’on retrouve les ´quations de l’exercice ??. . . .  Dans les donn´es.. .. constitu´e des n e e premi`res lignes de A est inversible. il doit minimiser la quantit´ suivante e m E(α1 . tn−1  2 .. p(tm ) − bm α1 + α2 tm + . les points ti sont tous distincts.. .α2 . ... . e e a Exercice III.. (On rappelle que la matrice carr´e de Van der Monde V.. . ..    .∀z ∈ I n ⇔ b = 0.. . Montrer alors que la matrice A est e e bien de rang n. En effet on peut ´crire e    p(t1 ) − b1 α1 + α2 t1 + . e u Exercice III. + αn tn−1 − bm m o` les matrices A et x sont d´finies par : u e 1 t1  1 t2 A=  ... ... R 2 . x =   . 1 tm Les ´quations normales sont e AT Aˆ = AT b x ce qui donne en effectuant les produits matriciels m m i=1 ti m i=1 ti m 2 i=1 ti x= ˆ m i=1 bi m i=1 ti bi .m le plus pr`s o e o e e possible. αn bm     = Ax − b. . + αn tn−1 − b2 2  =    .. . + αn tn−1 .αn ) = i=1 (p(ti ) − bi )2 = Ax − b 2 .. .. .4 Soit b ∈ I n ... un polynˆme de degr´ n − 1. .. tn−1 m α1 α2 . . . . . . On retrouve bien ainsi le syst`me de deux ´quations ` deux inconnues de l’exercice ??. Pour que ce polynˆme approche les donn´es (ti .3 Donner les ´quations normales du probl`me de moindres carr´s associ´ ` la r´gression lin´aire. . d’o` la matrice A est de rang n. ce qui implique que la matrice V .Ecrire le probl`me de moindres carr´s sous forme matricielle. e Solution : La matrice A du probl`me de r´gression lin´aire s’´crit (voir la correction de l’exercice e e e e ??) :   1 t1  1 t2   A=  . montrer que R bT z = 0.. αn    .. vij = tj−1 . 1 tm     α1 b1   α2   b2  = A     ..bi )i=1. tn−1 1  . . + αn tn−1 − b1 1  p(t2 ) − b2   α1 + α2 t2 + .  −  . est inversible si e i tous les ti sont distincts).. .   . .

Ei Ej = 0 pour i = j. donn´e dans le document ??. Ei .n de rang n (m ≥ n).. on obtient les vecteurs E1 . ce qui donne b = 0. 1. .. Montrer que les colonnes Ak de A peuvent s’´crire e k Ak = j=1 αjk Ej sans expliciter les scalaires αjk .An d’une matrice A ∈ Mm.E2 . e Exercice III. ou ce qui est ´quivalent e T T Ei Ei = 1.A2 . ... Or la norme d’un vecteur est nulle si et seulement si ce vecteur est nul..Ei = 1.Ej Ej j=1 Ek = Ek / Ek 5: fin pour 4: Exercice III. montrer que e R TE = I E Solution : On a donc Ei .Ej = 0 pour i = j. Les termes de la matrice (carr´e) C = E T E sont donc e T T cii = Ei Ei = 1. ce qui est le cas de Scilab.En qui seront les colonnes d’une matrice E. cij = Ei Ej = 0 pour i = j. ce qui donne e ee bT b = b 2 = 0. produit e scalaire . R alors cette ´galit´ ´tant vraie pour tout z l’est en particulier pour z = b. 1: E1 = B1 / B1 2: pour k = 2..5 Ecrire l’algorithme de l’orthogononalisation de Schmidt.. 3 . .7 On applique l’orthogonalisation de Schmidt (voir le document ??). Exercice III. e Solution : Cet algorithme est tr`s simple et suppose connues des fonctions telles que norme. C est donc la matrice identit´. une matrice dont les colonnes sont des vecteurs orthonorm´s de I n ..6 Soit E ∈ Mmn .∀z ∈ I n .Solution : L’implication ⇐ est ´vidente puisque l’on multiplie 0 par le vecteur z. . sur les n colonnes A1 . .n faire 3: Ek = Bk − k−1 Bk . e Supposons maintenant que bT z = 0. .

. . . . . . E ∈ Mm. .. Exercice III.E1 E1 et E2 = E2 / E2 ce qui donne A2 = α12 E1 + α22 E2 . .8 4 . α1n  0 α22 . . . .. . . E k = Ak − j=1 Ak .Ej Ej et Ek = Ek / Ek ⇒ Ak = j=1 Ak . alors E 1 = A1 / A1 puis E2 = A2 − A1 .. ce qui correspond ` a une matrice triangulaires sup´rieure e   α11 α12 . alors e n cik = j=1 eij tjk . . . . ce qui donne k Ak = j=1 αjk Ej . 2. . . . .E1 E1 + E2 E2 . . . Reprenons l’algorithme d’orthogonalisation de Schmidt. ⇒ A2 = A1 . . . Si l’on compare avec le r´sultat de la question pr´c´dente : e e e k Ak = j=1 αjk Ej .n . . En d´duire que A = ET . On peut aussi consid´rer cik comme le i`me ´l´ment de la ki`me colonne de C. 0 . o` T est une matrice triangulaire sup´rieure inversible..    0 .2. . e u e Solution : 1.Ej Ej + Ek Ek . αnn La matrice T est inversible car αii = Ei . . . De mani`re g´n´rale e e e k−1 k−1 ⇒ A1 = α11 E1 . Alors cette colonne e e ee e est donn´e par e n Ck = ETk = j=1 tjk Ej .. α2n    T = .k et que tjk = 0 pour j = k + 1.n. Consid´rons le produit C = ET de deux matrices. . on voit que tjk = αjk pour j = 1.n et T ∈ Mn.. .

ce qui donne x = e – calcul de l’erreur d 2 = 0.5  . alors QT est orthogonale. 1 0. si χ2 d´signe le conditionnement calcul´ ` partir de la norme matricielle subordonn´e e ea e a ` la norme 2. On a Q orthogonale ⇔ Q−1 = QT ⇔ (QT )−1 = Q ⇔ QT orthogonale . 2. 1 2 2.2. .666667 R 0 . on utilise le fait que QT Q = I. χ2 (R) = Solution : Revoyez le lien entre la norme . Solution : La matrice A et le vecteur b correspondants ` ce probl`me sont a e     1 −1 0. Soient Q une matrice orthogonale et R une matrice carr´e e R triangulaire sup´rieure telles que A = Q e . Exercice III. pour e e e e faire les calculs. Dans ces ´quivalences. (χ2 (R))2 = R 2 2 2 χ2 (AT A). – r´solution de Rx = c. et le rayon spectral vu au chapitre 2.5 A =  1 0. o` R = e u – calcul de QT b = c d . Montrer que si Q est une matrice orthogonale. On remarque que AT A = RT QT QR = RT R = RT R donc χ2 (AT A) = χ2 (RT R) = RT R 5 2 (RT R)−1 2 . en particulier la proc´dure ”qr”.1). ce qui est ´quivalent pour des r´els e e e e e positifs. 2.1.1666667. On va d´montrer le r´sultat pour le carr´ de l’expression.5 Les ´tapes du calcul sont alors les suivantes : e – calcul de la d´composition QR par ”qr” ce qui donne A = QR. e Qy 2 = (Qy)T Qy = y T QT Qy = y T y = y 2 . (2.5. b =  1  . alors Qy = y pour tout vecteur y de I n . Montrer que si Q est orthogonale.9 On veut effectuer une r´gression lin´aire sur les points suivants : (−1. Appliquer la e e m´thode ”QR” pour r´soudre ce probl`me et utiliser SCILAB.5). Exercice III.5). 0 Montrer que. R Solution : 1.10 Soit A une matrice m × n de rang n ≤ m. 2 2 R−1 = ρ(RT R)ρ((R−1 )T R−1 ). (0.0.

comme vous le savez le conditionnement est toujours sup´rieur ` e e a 1 donc la matrice R a un conditionnement plus faible que la matrice AT A.or RT R et son inverse sont des matrices sym´triques. ce qui est int´ressant e num´riquement. (R e Ce r´sultat est important car dans le cas des ´quations normales on est conduit ` r´soudre un e e a e syst`me dont la matrice est AT A. dans le cas de la factorisation QR on est amen´ ` r´soudre un e e a e syst`me dont la matrice est R. ce qui permet de terminer la d´monstration. toujours dans le chapitre 2. e 6 . = ρ((RT R)−1 ) = ρ(R−1 (RT )−1 ) = ρ((RT )−1 R−1 ) On a utilis´ le r´sultat montr´ dans le chapitre 2 : ρ(AB) = ρ(BA) on sait d’autre part que (RT )−1 = e e e −1 )T . on a montr´ e e RT R on a donc ´galement e (RT R)−1 2 2 = ρ(RT R).