a.ch.

Octombrie 2008

1
CURS 2
METODE NUMERICE PENTRU SISTEME DE ECUAII NELINIARE
------------------------------------------------------------------------------------------------------------
0. Preliminarii: Norma unui vector si norma unei matrici (rapel).
1. Sisteme de ecuaii neliniare. Definiii.
2. Metoda punctului fix.
3. Metoda Newton; metode cvasi-Newton.

0 Norma unui vector i norma unei matrici
Fie V un spaiu vectorial: n cazul de fa, V este
n
R sau
n
C .
Norma unui vector V x este aplicaie
+
R V ||: . || , satisfcnd axiomele:
1. || x || 0, i || x || = 0 x = 0.
2. || || | | || || x x = , scalar = ( C R sau ).
3. || || || || || || y x y x + +
Exemple de norme ale unui vector:
| | max || ||
, 1
i
n i
x
=

= x norma- (norma maximum)

=
=
n
i
i
x
1
1
| | || || x norma-1
2 / 1
1
2
2
| | || || |

\
|
=

=
n
i
i
x x norma-2 (norma euclidian)

Fie
n
A este mulimea matricilor n n cu elemente scalare (reale, complexe).
Norma unei matrici
n
A A este o aplicaie
+
R
n
A ||: . || , care satisface axiomele
1 3, i n plus, urmtoarele:
4. || || || || || || B A B A
5. || || || || || || x A x A
n axiomele 4-5,
n
A B , iar x este un vector. Normele care satisfac 5 se zic
compatibile cu norma vectorului.

a.ch. Octombrie 2008

2
Observaie
Definiia normei unei matrici, indus de norma vectorului, este:
|| ||
|| ||
sup || ||
0 x
x A
A

=
x

Pentru detalii privind norma unui vector i norma unei matrici, vezi Capitolul 4-I
Exemple de norme ale unei matrici:

j
ij
i
a | | max || || A - norma liniilor

=
i
ij
j
a | | max || ||
1
A - norma coloanelor
[ ]
2 / 1
2
) ( || || A A A =

- norma euclidian,
n care:
T
A A =

( A conjugat transpus); | | max

j
j
= , unde n j
j
, 1 , = sunt
valorile proprii ale matricii A. se zice raz spectral.


1 Definiii
Fie sistemul de ecuaii neliniare
0 ) , ... , , (
0 ) , ... , , (
2 1
2 1 1
=
=
n n
n
x x x f
x x x f
K K
Acesta se scrie vectorial
0 x f = ) ( (1)
unde
n
R I f : ,
n
R I . Explicit:
(
(
(
(
(
(

=
n
x
x
x
.
.
2
1
x ,
(
(
(
(
(
(

=
0
.
.
0
0
0 ,
(
(
(
(
(
(

=
) (
.
.
) (
) (
) (
2
1
x
x
x
x f
n
f
f
f
,
O soluie a sistemului (1) se va nota cu , adic: 0 f = ) ( .

a.ch. Octombrie 2008

3
Pentru rezolvarea prin metoda punctului fix, sistemul (1) se va considera pus sub
forma:
) (x g x = (2)
n care
n
R I g : ,
n
R I ,
O soluie a lui (2) se va nota , adic: ) ( g = .
n ceea ce urmeaz, se presupun cunoscute noiunile de norm a unui vector || || x , i
norm a unei matrici ptratice || || A . n particular, norma- este:
| | max || ||
i
i
x =

x ;

j
ij
i
a | | max || || A .

2 Metoda punctului fix
Ecuaii de forma ) (x g x = .
Metoda
Metoda const n construirea irului:
T
n
x x x ] ... [
) 0 ( ) 0 (
2
) 0 (
1
) 0 (
= x - aproximaia iniial, dat;
0 ), (
) ( ) 1 (
=
+
n
n n
x g x
A nu se confunda indicele superior (n) (indicele iteratei) cu ordinul n al sistemului
(indice inferior al coordonatei
) (k
n
x ).
Convergena procesului iterativ este asigurat de urmtoarele condiii:
(1) g este contractant pe o vecintate I a rdcinii: pentru I y x ,
|| || || ) ( ) ( || y x y g x g M , M < 1.
(2) Aproximaia iniial I x
) 0 (
este suficient de apropiat de rdcina .
Observaie
Dac C C g : i
n
R C este un compact (mulime mrginit i nchis), atunci
procesul converge pentru C x
) 0 (
.

a.ch. Octombrie 2008

4

Teorema 1
Presupunem:
1. ) (x g x = are o rdcin .
2. g este continu i are derivate pariale de ordinul 1 continue, pe I definit de:


|| || x .
3. Derivatele satisfac condiia:
1
) (
max <

j j
i
i
x
g x
, I x .
Atunci, I x
) 0 (
:
(a) Iteratele I x
) (n
.
(b) irul x
) (n
.
(c) este unica rdcin n I

Intervalul I din Condiia (2).


1
x
2
x

y

x



a.ch. Octombrie 2008

5
Sumarul demonstraiei:
Fie x, y I:

|| || x ,

|| || y . Din desvoltarea Taylor, se arat c avem:

|| || || ) ( ) ( || y x y g x g
Rezult:
< =

+
|| || || ) ( ) ( || || ||
) ( ) ( ) 1 (
x g x g x
n n n

i prin inducie:


n n
|| ||
) (
x
Cum < 1, rezult 0
n
, sau x
) ( n
.
Concluzia (c) se demonstreaz prin contradicie
Observaii
1) Matricea jacobian a funciei g:
Introducem jacobianul G a lui g, prin:
x
x
x G
(
(
(
(
(
(

=
(
(

=
n
n n n
n
j
i
x
g
x
g
x
g
x
g
x
g
x
g
x
g
...
. . . . . . . . . . . . . . . . . . . . .
...
) (
2 1
1
2
1
1
1

Cu definiia normei

j
ij
i
a | | max || || A , condiia 3 se scrie:
3'. 1 || ) ( || <

x G , I x
G(x) joac rolul lui ) (x g pentru o funcie scalar.

2) Convergena liniar:
n condiiile din Teorema 1, cu > 0, convergena este liniar, conform relaiei:

+
|| || || ||
) ( ) 1 (
x x
n n
.

a.ch. Octombrie 2008

6

3) Convergena de ordinul 2 (ptratic)
S presupunem c n rdcina , avem:
0 ) ( =

O G
j
i
x
g
; i, j = 1, 2, , n
unde O este matricea nul, i c
j i
x g / sunt continue pe o vecintate a lui .
Atunci, 0 > astfel nct condiia 3 sau 3' este satisfcut. Dac, n plus, derivatele
de ordinul 2 exist i sunt mrginite pe

|| || x , adic:
1
2
, ,
max M
x x
g
k j
i
k j i

,
atunci din formula Taylor rezult:
2
|| || || ) ( ) ( ||

x g x g M ,
unde
1
2
2
1
M n M = ,
Cu
) (n
x x = ,
) 1 ( ) (
) (
+
=
n n
x x g , rezult:
2 ) ( ) 1 (
|| || || ||

+
x x
n n
M
care arat c convergena este de ordinul 2

2.2 Procedur explicit de punct fix
Considerm sistemul dat sub forma 0 x f = ) ( i vrem s-l transformm ntr-un sistem
echivalent de forma ) (x g x = .
Fie )] ( [ ) ( x x A
ij
a = o matrice n n , nesingular pe o vecintate a lui . Definim:
) ( ) ( ) ( x f x A x x g =
Este evident c, A fiind nesingular, avem:

a.ch. Octombrie 2008

7
0 x f x g x = = ) ( ) ( .

Exemplu 1: Iterare cu matrice constant
A(x) = A , unde A = matrice constant (a
ij
= constant) i nesingular.
) ( ) ( x f A x x g =
Se verific imediat c, jacobianul lui g este dat de:
) ( ) ( x F A I x G = ,
unde I este matricea unitate, iar F(x) este jacobianul lui f,
x
x F
(

=
k
j
x
f
) ( .
Explicit:
x
x
x F
(
(
(
(
(
(

=
(
(

=
n
n n n
n
j
i
x
f
x
f
x
f
x
f
x
f
x
f
x
f
...
. . . . . . . . . . . . . . . . . . . . .
...
) (
2 1
1
2
1
1
1

Conform Teoremei 2, iteraia va converge dac elementele matricii G(x) sunt
suficient de mici, i
) 0 (
x este suficient de apropiat de .
Pentru o convergen mai rapid, s cerem v. Observaia 3:
O G = ) ( .
Rezult I F A = ) ( , sau
[ ]
1
) (

= F A . (3)
Cum nu este cunoscut, lum de exemplu,
) 0 (
x , rezult:
[ ]
1
) 0 (
) (

= x F A . (4)
Iteraia va fi definit de

a.ch. Octombrie 2008

8
) (
) ( ) ( ) 1 ( n n n
x f A x x =
+
, (5)
unde A este definit de (4).
Procedura se zice iterare cu matricea constant A, i este analoag cu metoda coardei
pentru o funcie scalar
2.3 Schema practic de iterare
Procedeul practic, care evit inversarea matricii ) (
) 0 (
x F , este urmtorul. Punem:
) ( ) 1 ( ) 1 ( n n n
x x x =
+ +
,
i rezult:

+ =
=
+ +
+
0
) ( (
) 1 ( ) ( ) 1 (
) ( ) 1 ( ) 0 (
n
n n n
n n
x x x
x f x x F

(6)
Procedeul revine la determinarea coreciei
) 1 ( + n
x prin rezolvarea sistemului liniar din
prima ecuaie (6). Iteraia se oprete prin testele
eps
n

+
|| ||
) 1 (
x , (7a)
n +1 lnit (7b)
unde tolerana eps i numrul limit de iteraii lnit, sunt alese dinainte. Procedeul este
util mai ales dac actualizm A dup un numr de pai, conform Observaiei 1.
Codul Fortran care implementeaz aceast schem, cu actualizarea matricii A dup 3
pai, este dat n ANA Fix_Sys.

Exemplu 2: Metoda Newton
S presupunem c, pentru a avea [ ]
1
) (

= F A , actualizm matricea A din (4,5), la
fiecare pas. Iteraia (5) devine:
[ ] ) ( ) (
) (
1
) ( ) ( ) 1 ( n n n n
x f x F x x =

+
.
Aceasta reprezint metoda Newton pentru sistemul f(x) = 0 v. n continuare


a.ch. Octombrie 2008

9
3 Metoda Newton
Ecuaii de forma 0 x f = ) ( .
Metoda
Considerm ecuaia echivalent ) (x g x = , unde ) ( ) ( ) ( x f x A x x g = .
Cutm ) (x A , astfel ca metoda punctului fix pentru g s aib ordinul doi. Condiia
este v. mai sus, O G = ) ( , sau
0 =

= x
k
i
x
g
, i, k = 1, 2, .., n .
Se verific faptul c aceasta conduce la condiia [ ]
1
) ( ) (

= F A .
Atunci, presupunem c:
- f este continu i cu derivate pariale de ordinul 1 continue, pe o vecintate a lui
rdcinii .
- Jacobianul lui f este nesingular n :
0 )) ( det( F .
Determinantul fiind funcie continu de elementele jacobianului, 0 > astfel c
pentru || || x s avem
0 )) ( det( x F .
Alegem atunci
[ ]
1
) ( ) (

= x F x A , || || x ,
care asigur [ ]
1
) ( ) (

= F A . Rezult:
[ ] ) ( ) ( ) (
1
x f x F x x g =


Metoda Newton este atunci:
[ ] ) ( ) (
) (
1
) ( ) ( ) 1 ( n n n n
x f x F x x =

+
(8)
Conform Teoremei 1 i Observaiei 3, rezult urmtoarea

a.ch. Octombrie 2008

10
Propoziie
Dac f are derivate pariale de ordinul 2, mrginite pe || || x , i
) 0 (
x este
suficient de apropiat de , atunci metoda Newton are convergen ptratic
n propoziia de mai sus, i n relaiile anterioare, || . || este

|| . || .

Not
Ipotezele de mai sus, n particular 0 )) ( det( F , se poate nlocui cu altele v . Cap.
3-IV, 3.1, Teorema 3. Astfel, metoda se poate aplica i n cazul 0 )) ( det( = F . n
acest caz, convergena este liniar.
3.2 Schema practic de iterare
Schema practic de iterare este cea de la 2.3, evitndu-se inversarea matricii ) (
) (n
x F ,
i anume:

+ =
=
+ +
+
0
) ( ) (
) 1 ( ) ( ) 1 (
) ( ) 1 ( ) (
n
n n n
n n n
x x x
x f x x F

(9)
Corecia
) 1 ( + n
x se calculeaz prin rezolvarea sistemului liniar din prima ecuaie (9).
Iteraia se oprete prin testul
eps
n

+
|| ||
) 1 (
x , (10a)
unde tolerana eps este aleas dinainte. Obinuit, se adaug i testul:
Numr de iteraii lnit, (10b)
unde lnit este numrul limit prescris de iteraii.
Codul Fortran care implementeaz aceast schem se d n ANA Newton_Sys.

3.3 Calculul numeric al derivatelor pariale
Evaluarea jacobianului ) (
) (k
x F , la pasul k, cere evaluarea a n
2
funcii
k i
x f / . Chiar
dac acestea se pot calcula analitic, pentru n mare efortul de calcul este mare. Alteori,
) (x
i
f sunt date numeric. n astfel de cazuri, derivatele se calculeaz numeric, prin
diferene divizate:

a.ch. Octombrie 2008

11

) (
) (
) , ... , , ... , ( ) , ... , , ... , (
1 1
k
k
h
x x x f x h x x f
x
f
n j i n j i
j
i
x
x
+
=

,
unde | | h este mic. Creterea h poate constant, sau poate fi variat de la un pas la
altul (lund
) (k
h h = ). h nu se ia excesiv de mic, pentru a nu conduce la erori de
rotunjire mari. Se art c, pentru a menine convergena ptratic, h trebuie s
satisfac condiia (la pasul k):
|| ) ( || | |
) (k
C h x f ,
unde C este o constant pozitiv, fixat dinainte (Ralston & Rabinowitz (1978)).

3.4 Metode cvasi-Newton
Metoda Newton este metoda descris de formula de iterare (6), care utilizeaz
jacobianul evaluat la fiecare pas
) (n
x (analitic, sau numeric).
Dac jacobianul ) (
) (n
x F este nlocuit cu o aproximaie a acestuia, metodele se zic
metode Newton-modificate sau metode cvasi-Newton.

Pentru a reduce efortul de calcul se procedeaz la nlocuirea jacobianului ) (
) (k
x F de
la pasul k, cu o aproximaie a acestuia, fie aceasta
) (k
A , dup una din urmtoarele
scheme:
- Jacobianul nu se actualizeaz dup fiecare pas, ci dup un numr m de pai:
) (
) ( ) ( k l
x F A = - pentru ) 1 ( , , + = m k k l K .
Aceast schem reduce viteza convergenei, dar este economic la o rulare lung.
- Aproximaia jacobianului la pasul k+1 se genereaz din cea de la pasul k, fr
evaluri suplimentare de funcii. Aceast schem este mai bun dect precedenta.
Pentru modalitti de generare a lui
) 1 ( + k
A - v. Ralston & Rabinowitz (1978).
Cu modificrile precedente, formula de iterare (8) devine:
) ( ] [
) ( 1 ) ( ) ( ) 1 ( k k k k
x f A x x =
+
(9)

a.ch. Octombrie 2008

12

Nota 1: Metoda Newton prin liniarizarea ecuaiilor
Fie ecuaia neliniar 0 x f = ) ( , sau explicit, sistemul
n i f
i
, , 2 , 1 , 0 ) ( K = = x
Dac
) 0 (
x este n vecintatea rdcinii, considerm desvoltarea Taylor a lui ) (x
i
f n
jurul lui
) 0 (
x :

=
+

+ =
n
j
j j
j
i
i i
x x
x
f
f f
1
) 0 (
) 0 (
) 0 (
) ( ) ( ) ( K
x
x x
unde termenii nescrii sunt de ordin mai mare sau egal cu doi n ) (
) 0 (
j j
x x .
Presupunem c acetia sunt neglijabili n raport cu termenii de orinul nti, i avem

+
n
j
j j
j
i
i i
x x
x
f
f f
1
) 0 (
) 0 (
) 0 (
) ( ) ( ) (
x
x x
Notm
j
i i
j
x
f
F

= elementele jacobianului F al lui f, adic

(
(
(

=
(
(
(

=
n
n
n
n
n n n
n
F F
F F
x f x f
x f x f
L
L L L
L
L
L L L
L
1
1 1
1
1
1 1 1
/ /
/ /
) (x F
Desvoltarea devine

=
+
n
j
j j
i
j i i
x x F f f
1
) 0 ( ) 0 ( ) 0 (
) )( ( ) ( ) ( x x x ,
Sau, matriceal,
(
(
(
(
(

+ =
0
0
2 2
0
1 1
2 1
) 0 (
) 0 (
] [ ) ( ) (
n n
i
n
i i
i i
x x
x x
x x
F F F f f
M
K
x
x x

a.ch. Octombrie 2008

13
Ecuaiile scrise pentru n i , , 2 , 1 K = , dau:
) )( ( ) ( ) (
) 0 ( ) 0 ( ) 0 (
x x x F x f x f +
Rezolvm aproximativ sistemul 0 x f = ) ( , nlocuind ) (x f prin expresia sa liniarizat
(n membrul doi al relaiei precedente; punem semnul = n loc de ).
Rezult:
) ( ) (
) 0 ( ) 0 (
x f x x F = , (11)
unde s-a pus
) 0 (
x x x = .
Relaia (11) este formula schemei de iterare n metoda Newton.
Soluia x x x + =
) 0 ( ) 1 (
este o aproximaie a rdcinii (este soluia sistemului
liniarizat).
Presupunnd c aproximaia
) 1 (
x este mai bun dect
) 0 (
x , atunci metoda const n
aplicarea repetat a formulei (10), nlocuind, la pasul urmtor,
) 0 (
x cu
) 1 (
x .
Astfel, n general, metoda Newton este:
K , 1 , 0 ), ( ) (
) ( ) 1 ( ) 1 (
= =
+ +
k
k k k
x f x x F
unde
) ( ) 1 ( ) 1 ( k k k
x x x =
+ +

Problema const acum, n a proba c irul x
) (k
.

Nota 2: Interpretare geometric pentru cazul n = 2
S punem ) , (
1
y x f z = , ) , (
2
y x f z = . Acestea sunt ecuaiile a dou suprafee, fie
acestea
1
S i
2
S .
Ecuaia 0 ) , (
1
= y x f , revine la 0 = z , adic la intersecia suprafeei
1
S cu planul x-y:
aceasta este o curb
1
C . Soluia sistemului 0 ) , ( , 0 ) , (
2 1
= = y x f y x f , revine la
intersecia curbelor
1
C i
2
C .

a.ch. Octombrie 2008

14
Funcia liniarizat este:
) (
) , (
) (
) , (
) , (
) 0 (
) 0 ( ) 0 (
) 0 (
) 0 ( ) 0 (
) 0 ( ) 0 (
j j
i
j j
i
i
y y
y
y x f
x x
x
y x f
y x f z

+
Aceasta reprezint ecuaia planului tangent n ) , (
) 0 ( ) 0 (
y x , la suprafaa
i
S .
Deci, metoda revine la nlocuirea suprafeei, n vecintatea rdcinii, prin planul
tangent
(Analog, cu metoda Newton pentru o ecuaie scalar 0 ) ( = x f , unde graficul se
nlocuiete cu tangenta la grafic).
Interseciile planelor tangente cu planul x-y vor fi dou drepte care aproximeaz
curbele
1
C i
2
C . Intersecia dreptelor este aproximaia rdcinii.


Exemplu
Fie sistemul de dou ecuaii neliniare:
0 5 ) , (
2 2
1
= + y x y x f , 0 1 ) , (
2
=
x
e y y x f .
Aproximaiile iniiale se iau:
) 1 , 2 (
) 0 (
= x , i ) 2 , 5 . 0 (
) 0 (
= x .
De exemplu, acestea se pot gsi analiznd intersecia graficelor curbelor
5
2 2
= + y x , 1 + =
x
e y .


a.ch. Octombrie 2008

15


Matricea jacobian este:
(

=
1
2 2
) , (
x
e
y x
y x F .
Lum eps = 1E-6. Calculul este efectuat n simpl precizie. Soluia calculat (x, y),
numrul de iteraii, i valorile lui f n soluie, sunt date n tabelele de mai jos.
1) Metoda punctului fix, iterare cu matricea constant ) (
) 0 (
x F A = , cu actualizare
dup 3 pai:


a.ch. Octombrie 2008

16
) 0 (
x
Nr. iteraii x y f
1
(x, y) f
2
(x, y)
(-2,1) 5 -1.919 684 1.146 653 -2.761 E-7 -2.995 E-8
(0.5, 2) 17 0.2043 374 2.226 712 7.210 E-8 -4.654 E-8

Observaii
Derivatele pariale ale funciilor
i
f sunt calculate numeric , cu h = 0.001. Numrul
de iteraii pentru a doua rdcin este mai mare dect cel pentru prima rdcin,
ntruct aproximaia iniial (0.5, 2) este mai ndeprtat de rdcin. Cu aproximaia
) 0 (
x = (0.2, 2.2), se gsete aceeai soluie n 8 iteraii.

2) Metoda Newton:
) 0 (
x
Nr. iteraii x y f
1
(x, y) f
2
(x, y)
(-2,1) 4 -1.919 684 1.146 653 -2.761 E-7 -2.995 E-8
(0.5, 2) 5 0.2043 374 2.226 712 5.384 E-8 8.289 E-9

Not: Derivatele pariale sunt calculate cu matricea jacobian F(x, y)


Exerciiu
S se rezolve sistemul:

=
= +
=
7
4
2
2 2
2
z e e
y x xyz
z xy
y x

S se gseasc rdcinile din vecintatea punctelor ) 1 , 2 , 2 (
0
= w i ) 1 , 1 , 1 (
0
= w .