Tehnici de Optimizare

Cristian OARA
Facultatea de Automatica si Calculatoare
Universitatea Politehnica Bucuresti
Splaiul Independentei 313,
Bucuresti, Romania
Fax: + 40 21 3234 234
Email: oara@riccati.pub.ro
CAPITOLUL 1: Introducere 0
Capitolul 1: INTRODUCERE
Optimizare
Tipuri de Probleme
Dimensiunea Problemelor
Algoritmi Iterativi si Convergenta
CAPITOLUL 1: Introducere 1 Introducere
1. Optimizare
• Principiu fundamental al unei multitudini de probleme complexe de alocare si decizie;
• Implica selectia de valori pentru o multime de variabile inter–relationate prin focalizarea atentiei
asupra unei singur obiectiv proiectat (ales special) pentru a cuantifica performanta si a masura
calitatea deciziei;
Obiectivul:
• Este de obicei o functie sau functionala;
• Este maximizat sau minimizat cu posibile constrangeri care limiteaza alegerea valorilor pentru
variabile;
• Izoleaza si caracterizeaza un aspect relevant al unei probleme in timp ce teoria optimizarii
furnizeaza un cadru adecvat pentru analiza;
• Poate fi :
– Profitul sau pierderea intr-un mediu de afaceri;
– Viteza sau distanta intr–o problema de fizica;
– Veniturile probabile intr-un mediu de investitii supuse riscului;
CAPITOLUL 1: Introducere 2 Optimizare
– Bunastare sociala in contextul planificarii guvernamentale;
Atentie !
• Este foarte rar posibil sa reprezentam toate complexitatile interactiunilor dintre variabile,
constrangeri si obiective;
• Formularea unei probleme de optimizare trebuie sa fie privita doar ca o aproximatie;
• Intocmai ca si in alte domenii ale ingineriei abilitatile in modelare si o judecata corecta in
interpretarea rezultatelor sunt absolut necesare pentru a obtine concluzii relevante;
• Experienta practica si intelegerea profunda a teoriei sunt cheia succesului;
• Trebuie stapanit compromisul in construirea unui model matematic care descrie exact
complexitatea problemei (suficient de complex) si care este fezabil din punct de vedere numeric
(nu prea complex)
Accentul cursului: Stapanirea acestui compromis si obtinerea de abilitati pentru a putea construi
modele in mod expert ceea ce inseamna:
• Identificarea si surprinderea aspectelor importante ale unei probleme;
• Abilitatea de a distinge modelele fezabile de cele nefezabile prin studierea tehnicilor existente si
a teoriei asociate;
• Extinderea teoriei disponibile in cazul unor noi situatii;
CAPITOLUL 1: Introducere 3 Optimizare
2. Tipuri de Probleme
Vom considera in principal urmatoarele subiecte:
• Programare Liniara
• Probleme Neconstranse
• Probleme Constranse (cu constrangeri algebrice)
• Subiecte avansate in domeniul Controlului Automat al Sistemelor: (Control Optimal; Optimizare
H-2 si H-infinit, optimizare Nehari si Aproximanti, Inegalitati Matriceale, Jocuri Diferentiale)
Programare Liniara:
• Functiile obiectiv sunt combinatii liniare de necunoscute;
• Constrangerile sunt egalitati sau inegalitati matriciale in necunoscute;
• Aceste metode sunt relativ populare datorita fazei de modelare si nu atat datorita teoriei relativ
simple;
• Se poate testa chiar si pentru probleme neliniare facandu–se in prealabil o liniarizare;
CAPITOLUL 1: Introducere 4 Tipuri de Probleme
Exemplu: Problema cu o constrangere de buget. Avem o suma de bani fixa pe care trebuie sa o
impartim intre doua cheltuieli de tipul
x
1
+x
2
≤ B.
x
i
: suma alocata activitatii i;
B: bugetul total. Sa presupunem ca functia obiectiv este greutatea maxima. Atunci avem
maximizeaza w
1
x
1
+w
2
x
2
unde x
1
+x
2
≤ B,
x
1
≥ 0, x
2
≥ 0,
unde w
i
este greutatea unitara (pe unitatea de pret) i. Aceasta este o problema tipica (si
elementara) de programare liniara.
Problemele de programare liniara apar adesea in economie si finante si mai rar in inginerie. De
aceea ne vom concentra in special asupra problemelor de programare neliniara.
Probleme fara Constrangeri:
• Au o importanta atat teoretica cat si practica;
• Din punct de vedere practic o problema constransa poate fi intotdeauna transformata printr-o
simpla reformulare intr-o problema neconstransa (In problema noastra cu bugetul constrangerea
CAPITOLUL 1: Introducere 5 Tipuri de Probleme
nu este foarte relevanta intrucat intotdeauna putem imprumuta bani la un anumit cost (rata a
dobanzii));
• Din punct de vedere teoretic problemele cu constrangeri pot fi in multe cazuri transformate in
probleme fara constrangeri (de exemplu o egalitate de forma x
1
+x
2
= B);
• In majoritatea cazurilor problemele fara constrangeri sunt piatra de temelie pentru a intelege
problemele mai sofisticate cu constrangeri;
Probleme cu Constrangeri:
• In practica este mai uzual si mai simplu sa formulam direct o problema cu constrangerile ei
naturale (de exemplu o problema complexa este reformulata sub forma catorva subprobleme cu
anumite constrangeri inerente);
• Formularea matematica generala:
minimizeaza f(x)
cu h
i
(x) = 0, i = 1, 2, . . . , m,
g
j
(x) ≤ 0, j = 1, 2, . . . , r,
x ∈ S
unde x este un vector n–dimensional de necunoscute, f, h
i
si g
j
sunt functii de x cu valori si S
este o submultime a lui R
n
; f este functia obiectiv si h
i
, g
j
si S sunt constrangerile.
CAPITOLUL 1: Introducere 6 Tipuri de Probleme
Nota: In mod uzual vom introduce anumite ipoteze suplimentare, in principal pentru a face
problemele netede intr-un anumit sens, conducand la asa numita programare in variabile continue:
• f (si h
i
, g
j
) sunt de obicei presupuse continue si uneori chiar cu derivate continue de un anumit
ordin (mici variatii in x conduc la mici variatii ale diverselor valori asociate cu problema);
• S este in mod uzual o submultime conexa pentru a asigura ca mici variatii ale lui x raman in
submultime;
CAPITOLUL 1: Introducere 7 Tipuri de Probleme
3. Dimensiunea Problemelor
O masura a complexitatii unei probleme de programare este dimensiunea masurata in termenii
numarului de variabile necunoscute si/sau numarul de constrangeri.
Avand in vedere performanta calculatoarelor moderne distingem urmatoarele clase de probleme:
• Dimensiune mica (avand pana la 5 variabile si/sau constrangeri);
• Dimensiune medie (avand intre 5 si 100 variabile);
• Dimensiune mare (avand mai mult de 100 poate 1000 sau mai multe variabile).
Aceasta clasificare nu este desigur rigida dar reflecta abordarile de calcul oarecum diferite pentru
aceste clase de probleme. Teoria matematica clasica – incluzand mutiplicatori Lagrange, teoreme
de tip Kuhn–Tucker si extensiile lor – se aplica problemelor indiferent de dimensiunea lor. Totusi
teoria nu este potrivita atunci cand abordam o problema dpdv algoritmic intrucat nu tine seama de
dificultatile asociate cu rezolvarea cu un calculator a ecuatiilor rezultand din conditiile necesare de
ordinul 1. De aceea trebuie sa dezvoltam instrumente numerice eficiente pentru cautarea punctelor
de optim in loc sa rezolvam direct respectivele ecuatii. In zilele noastre, tehnicile de cautare pot
fi aplicate pentru rezolvarea unor probleme de programare neliniara de 500 variabile si probleme
CAPITOLUL 1: Introducere 8 Dimensiunea Problemelor
de programare liniara de 400 variabile si 1000 constrangeri (definim astfel de probleme ca fiind de
dimensiune medie).
Probleme cu mai multe variabile si/sau constrangeri trebuie rezolvate cu proceduri speciale care
exploateaza structura speciala a acestora.
CAPITOLUL 1: Introducere 9 Dimensiunea Problemelor
4. Algoritmi Iterativi si Convergenta
Cei mai multi algoritmi dezvoltati pentru a rezolva probleme de optimizare sunt iterativi:
• Se selecteaza un vector intitial x
0
in multimea S;
• Algoritmul genereaza un vector mai bun x
1
∈ S;
• Algoritmul este repetat si pe baza lui x
0
si/sau x
1
este selectat un vector si mai bun x
2
∈ S;
• Se gaseste un sir de puncte din ce in ce mai bune x
0
, x
1
, x
2
, x
3
, . . . , x
k
, . . . care tinde catre
punctul solutie x

;
• Procesul este terminat imediat ce se ajunge la x

sau cand este gasit un punct suficient de
apropiat (din motive practice).
Teoria algoritmilor iterativi se impartite in trei aspecte ce se suprapun intr-o oarecare masura:
• Dezvoltarea algoritmului propriu–zis (bazata pe problema de programare particulara, structura
sa inerenta si eficienta (performanta) calculatoarelor numerice);
• Verificarea ca respectivul algoritm genereaza un sir care converge la punctul solutie (convergenta
globala);
• Viteza sau rata convergentei – se refera la cat de repede se apropie de solutie sirul de puncte
(convergenta locala)
CAPITOLUL 1: Introducere 10 Algoritmi Iterativi si Convergenta
”O teorie buna inlocuieste cu succes 1000 rulari pe computer”
Rezultate disponibile:
• Programare liniara: nu exista inca o teorie folositoare privind convergenta metodei simplex
(probabil cea mai veche si importanta metoda de programare liniara); acest lucru se datoreaza
convergentei intr–un numar finit de pasi; Sunt disponibile anumite estimari euristice si o vasta
experienta practica ;
• Programare neliniara : Proprietatile de convergenta ale unui numar mare de algoritmi au fost
deduse analitic prin metode relativ elementare si au fost verificate prin numeroase exemple
numerice;
Teoria ratei de convergenta are anumite proprietati atractive:
• Este simpla pentru multi algoritmi sofisticati;
• O clasa larga de algoritmi relativ diferiti au acceasi rata de convergenta. Mai precis, in
multe cazuri exista o rata canonica de convergenta asociata cu o problema de programare care
guverneaza diversii algoritmi aplicati acelei probleme;
• Per global, teoria convergentei este simpla si puternica.
CAPITOLUL 1: Introducere 11 Algoritmi Iterativi si Convergenta
Capitolul 2: PROPRIETATI DE BAZA ALE SOLUTIILOR SI
ALGORITMILOR
In principal consideram urmatoarea problema:
minimizeaza f(x)
cu x ∈ Ω
(1)
unde f este o functie cu valori reale si (multimea fezabila) Ω ⊂ R
n
.
Ipoteza de baza: Ω coincide cu R
n
sau este o submultime simpla a lui R
n
.
Cuprins
1. Conditii Necesare de Ordinul 1
2. Exemple de Probleme fara Constrangeri
3. Conditii de Ordinul 2
4. Functii Convexe si Concave
5. Minimizare si Maximizare de Functii Convexe
6. Convergenta Globala a Algoritmilor de Descrestere
7. Viteza de Convergenta
CAPITOLUL 2: Proprietati de Baza 12
1. Conditii Necesare de Ordinul Intai
Prima problema: Exista vreo solutie ?
Principalul instrument teoretic: Teorema lui Weierstrass.
Principalul scop: Caracterizarea punctelor solutie si obtinerea unor algoritmi care sa le gaseasca.
Deosebim doua tipuri de puncte solutie:
- puncte de minim local
- puncte de minim global
Definitia 1. Un punct x

∈ Ω este un punct de minim relativ (sau punct de minim local) a lui
f peste Ω daca exista > 0 a.i. f(x) ≥ f(x

) oricare x ∈ Ω aflat la o distanta de x

mai mica
ca . Daca f(x) > f(x

) oricare x ∈ Ω, x ,= x

, intr-o vecinatate a lui x

, atunci x

este
punct de minim relativ in sens strict al lui f peste Ω.
Definitia 2. Un punct x

∈ Ω este punct de minim global al lui f peste Ω daca f(x) ≥ f(x

)
oricare x ∈ Ω. Daca f(x) > f(x

) oricare x ∈ Ω, x ,= x

atunci x

este un punct de minim
global in sens strict al lui f peste Ω.
CAPITOLUL 2: Proprietati de Baza 13 Conditii Necesare de Ordinul Intai
Atentie !
• Cand abordam o problema presupunem implicit ca ne intereseaza minimele globale;
• Realitatea numerica cat si cea teoretica dicteaza ca trebuie sa ne multumim cu puncte de minim
relativ;
• De regula, conditiile si solutiile globale pot fi obtinute doar daca functia poseda anumite
proprietati de convexitate ce garanteaza ca orice minim relativ este global.
Pentru a obtine conditiile ce trebuie satisfacute intr-un punct de minim, incepem prin a studia
variatiile de-alungul unor directii fezabile in jurul lui x

, caz in care functia devine de o singura
variabila.
Definitia 3. Dandu-se x ∈ Ω vectorul d este o directie fezabila in x daca exista un α > 0 astfel
incat x +αd ∈ Ω oricare α, 0 ≤ α ≤ α.
Propozitia 4. [Conditii necesare de ordinul 1] Fie Ω o submultime in R
n
si fie f ∈ c
1
o
functie definita pe Ω. Daca x

este un punct de minim relativ al lui f peste Ω, atunci pentru orice
d ∈ R
n
care este o directie fezabila in x

, avem
∇f(x

)d ≥ 0.
CAPITOLUL 2: Proprietati de Baza 14 Conditii Necesare de Ordinul Intai
Un caz particular important este cand x

este in interiorul lui Ω (ca de exemplu cand Ω este
multime deschisa ) si fiecare directie din x

este fezabila !!!!
Corolarul 5. [Cazul neconstrans] Fie Ω o submultime a lui R
n
si fie f ∈ c
1
o functie definita
pe Ω. Daca x

este un punct de minim relativ a lui f pe Ω si daca x

este punct interior pentru
Ω, atunci
∇f(x

)d = 0.
Nota:
• In cazul neconstrans obtinem n ecuatii cu n necunoscute care pot fi rezolvate explicit in multe
situatii (ca de exemplu cand functia obiectiv este patratica );
• Ecuatiile care rezulta sunt in general neliniare si foarte complicat de rezolvat;
• Abordarea noastra este nu inspre rezolvarea ecuatiilor ci inspre gasirea unui sir iterativ care
converge catre x

.
Exemplul 6. Consideram problema
minimizeaza f(x
1
, x
2
) = x
2
1
−x
1
x
2
+x
2
2
−3x
2
peste R
2
. Punct de minim global la x
1
= 1, x
2
= 2.
CAPITOLUL 2: Proprietati de Baza 15 Conditii Necesare de Ordinul Intai
Exemplul 7.
minimizeaza f(x
1
, x
2
) = x
2
1
−x
1
+x
2
+x
1
x
2
,
cand x
1
≥ 0, x
2
≥ 0.
Punct de minim global
x
1
= 0.5, x
2
= 0
in care derivatele partiale nu se anuleaza. Cu toate acestea deoarece orice directie fezabila trebuie
sa satisfaca x
2
≥ 0, avem ∇f(x

)d ≥ 0 pentru orice directie fezabila in x

.
CAPITOLUL 2: Proprietati de Baza 16 Conditii Necesare de Ordinul Intai
2. Exemple de Probleme fara Constrangeri
Exemplul 8. [Productie] O problema uzuala in economie este determinarea celui mai bun mod de
a combina diverse intrari pentru a produce un oarecare produs. Se stie functia f(x
1
, x
2
, , x
n
)
care da cantitatea de produse realizate ca functie de intrarile x
1
, x
2
, , x
n
. Pretul unitar al
produsului este q si preturile unitare ale intrarilor sunt p
1
, p
2
, , p
n
. Producatorul dorind sa
maximizeze profitul trebuie sa rezolve problema
maximizeaza qf(x
1
, x
2
, , x
n
) −p
1
x
1
−p
2
x
2
− −p
n
x
n
.
Conditiile necesare de ordinul intai spun ca derivatele partiale in raport cu x
i
trebuie sa se anuleze,
obtinand cele n ecuatii
q
∂f
∂x
i
(x
1
, x
2
, , x
n
) = p
i
, i = 1, 2, , n.
Exemplul 9. [Aproximare] Optimizarea se foloseste curent in teoria aproximarii – de exemplu
vezi Identificarea Sistemelor. Sa presupunem ca valorile functiei g sunt determinate experimental
in m puncte, x
1
, x
2
, , x
m
ca avand valorile g
1
, g
2
, , g
m
. Dorim sa aproximam functia g
CAPITOLUL 2: Proprietati de Baza 17 2. Exemple de Probleme fara Constrangeri
printr-un polinom
h(x) = a
n
x
n
+a
n−1
x
n−1
+ +a
0
,
unde n < m. Definim cea mai buna aproximare ca fiind polinomul ce face ca suma patratelor
erorilor
k
:= g
k
−h(x
k
) sa fie cat mai mica, i.e. minimizeaza
m

k=1

2
k
=
m

k=1
[g
k

n

j=0
a
i
x
i
k
]
2
= f(a)
in raport cu coeficientii necunoscuti a
T
=

a
0
a
1
a
n

(functie obiectiv patratica).
Dupa prelucrarea algebrica a expresiei rezulta ca
f(a) = a
T
Qa −2b
T
a +c,
in care Q = [q
ij
]
i = 1, n, j = 1, n
, b =

b
1
, b
2
b
n+1

, iar
q
ij
=
m

k=1
x
i+j
k
, b
j
=
m

k=1
g
k
x
j
k
, c =
m

k=1
g
2
k
.
Conditiile necesare de ordinul intai cer ca gradientul lui f sa se anuleze ceea ce conduce la sistemul
de n + 1 ecuatii
Qa = b
ce se rezolva si rezulta a.
CAPITOLUL 2: Proprietati de Baza 18 2. Exemple de Probleme fara Constrangeri
3. Conditii de Ordinul Doi
Prin folosirea derivatelor de ordinul 2 se pot obtine conditii suplimentare ce trebuie indeplinite
de catre un punct de minim. Conditiile de ordinul 2 sunt definite in termenii matricii Hessiene ∇
2
f
a derivatelor partiale de ordinul 2 ale lui f si ele joaca un rol cheie.
Propozitia 10. [Conditii de ordinul 2] Fie Ω o submultime a lui R
n
si fie f ∈ c
2
o functie
definita pe Ω. Daca x

este un punct de minim relativ pentru f peste Ω, atunci pentru orice
d ∈ R
n
care este o directie fezabila in x

avem
i) ∇f(x

)d ≥ 0;
ii) Daca ∇f(x

)d ≥ 0, atunci d
T

2
f(x

)d ≥ 0.
Un caz particular important este atunci cand x

este in interiorul lui Ω (ca in cazul complet
neconstrans).
Propozitia 11. [Conditii necesare de ordinul 2 – cazul neconstrans ] Fie Ω submultime a lui
R
n
si fie f ∈ c
2
o functie pe Ω. Daca x

este un punct de minim relativ pentru f peste Ω si daca
x

este un punct interior a lui Ω, atunci
i) ∇f(x

) = 0;
ii) ∀d, d
T

2
f(x

)d ≥ 0.
CAPITOLUL 2: Proprietati de Baza 19 Conditii de Ordinul Doi
Notatie: Pentru simplitate notam matricea Hessiana n ·n a lui f alternativ cu
F(x) := ∇
2
f(x).
Exemplul 12.
minimizeaza f(x
1
, x
2
) = x
2
1
−x
1
+x
2
+x
1
x
2
,
cand x
1
≥ 0, x
2
≥ 0.
Minimul global este
x
1
= 0.5, x
2
= 0
in care derivatele partiale nu se anuleaza. Pentru d = (d
1
, d
2
) avem
∇f(x

)d =
3
2
d
2
.
Deci conditia (ii) din Propozitia 10 se aplica numai daca d
2
= 0. In acest caz avem
d
T

2
f(x

)d = 2d
2
1
≥ 0,
astfel incat (ii) este satisfacuta.
CAPITOLUL 2: Proprietati de Baza 20 Conditii de Ordinul Doi
Exemplul 13. Consideram problema
minimizeaza f(x
1
, x
2
) = x
3
1
−x
2
1
x
2
+ 2x
2
2
,
cand x
1
≥ 0, x
2
≥ 0.
Daca presupunem ca solutia este in interiorul multimii fezabile, adica daca x
1
> 0, x
2
> 0, atunci
conditiile necesare de ordinul 1 sunt
3x
2
1
−2x
1
x
2
= 0, −x
2
1
+ 4x
2
= 0.
Acestea au o solutie x
1
= x
2
= 0 care este un punct pe frontiera, dar exista deasemenea o solutie
x
1
= 6, x
2
= 9. Sa observam ca pentru x
1
fixat in x
1
= 6, functia obiectiv atinge un minim
relativ in raport cu x
2
in x
2
= 9. Reciproc, cu x
2
fixat la x
2
= 9, functia obiectiv atinge un
minim relativ in raport cu x
1
la x
1
= 6. In ciuda acestui fapt, punctul x
1
= 6, x
2
= 9 nu este
un minim relativ pentru ca Hessianul este
F =

6x
1
−2x
2
−2x
1
−2x
1
4

care evaluat in x
1
= 6, x
2
= 9 este F =

18 −12
−12 4

ce nu este pozitiv semidefinit. Prin
urmare solutia propusa nu este un punct de minim relativ.
CAPITOLUL 2: Proprietati de Baza 21 Conditii de Ordinul Doi
Conditii Suficiente pentru un Minim Relativ
Intarind conditiile de ordinul 2 din Propozitia 11 obtinem un set de conditii ce implica ca x

este
un minim relativ. Consideram in continuare numai probleme neconstranse (sau in care minimul este
in interiorul regiunii fezabile ) deoarece cazul mai general este extrem de tehnic si are o importanta
teoretica si practica marginala.
Propozitia 14. [Conditii necesare de ordinul 2 – cazul neconstrans] Fie f ∈ c
2
o functie
definita intr-o regiune in care x

este interior. Presupunem in plus ca
i) ∇f(x

) = 0;
ii) F(x) > 0.
Atunci x

este un punct de minim local strict al lui f.
CAPITOLUL 2: Proprietati de Baza 22 Conditii de Ordinul 2
4. Functii Convexe si Concave
Pentru a obtine o teorie care este capabila sa caracterizeze puncte de minim global si nu numai
local introducem anumite presupuneri de tip convexitate care fac rezultatele mai puternice dar in
acelasi timp restrang aria de aplicatii.
Definitia 15. O functie f definita intr–o multime convexa Ω este numita convexa daca pentru
orice x
1
, x
2
∈ Ω si orice α, 0 ≤ α ≤ 1, are loc
f(αx
1
+ (1 −α)x
2
)) ≤ αf(x
1
) + (1 −α)f(x
2
).
Daca pentru orice α, 0 < α < 1, si x
1
,= x
2
, are loc
f(αx
1
+ (1 −α)x
2
)) < αf(x
1
) + (1 −α)f(x
2
)
f se numeste strict convexa.
Definitia 16. O functie g definita pe o multime convexa Ω se numeste concava daca functia
f = −g este convexa. Functia g este strict concava daca −g este strict convexa.
CAPITOLUL 2: Proprietati de Baza 23 Functii Convexe si Concave
Combinatii de Functii Convexe
Propozitia 17. Fie f
1
si f
2
functii convexe definite pe multimea convexa Ω. Atunci functia
a
1
f
1
+a
2
f
2
este convexa pe Ω, oricare a
1
≥ 0, a
2
≥ 0.
Propozitia 18. Fie f o functie convexa definita pe o multime convexa Ω. Multimea
Γ
c
= ¦x : x ∈ Ω, f(x) ≤ c]
este convexa oricare c ∈ R.
Nota:
• O combinatie liniara de functii convexe este o functie convexa;
• Deoarece intersectia unor multimi convexe este iar convexa, multimea punctelor ce satisfac
simultan
f
1
(x) ≤ c
1
, f
2
(x) ≤ c
2
, ..., f
m
(x) ≤ c
m
,
unde f
i
sunt convexe, defineste o multime convexa.
CAPITOLUL 2: Proprietati de Baza 24 Functii Convexe si Concave
Proprietatile Functiilor Diferentiabile Convexe
Pentru functii diferentiabile f exista anumite rezultate mai sofisticate ce caracterizeaza convexitatea.
Propozitia 19. Fie f ∈ c
1
. Atunci f este convexa pe multimea convexa Ω daca si numai daca
f(y) ≥ f(x) +∇f(x)(y −x), ∀x, y ∈ Ω. (2)
Nota: Proprietatea (2) poate fi folosita ca o definitie alternativa a convexitatii. Definitia originala
afirma ca o interpolare liniara intre doua puncte supraevalueaza in timp ce propozitia de mai sus
afirma ca o combinatie liniara bazata pe derivata locala subevalueaza functia.
Propozitia 20. Fie f ∈ c
2
. Atunci f este convexa pe multimea convexa Ω ce contine un punct
interior daca si numai daca matricea Hessiana F a lui f este pozitiv semi–definita pe Ω.
Nota:
• Hessianul este o extensie la R
n
a notiunii de curbura a unei functii;
• Functiile convexe au curbura pozitiva in orice directie;
• Putem deasemenea introduce notiuni precum convexitate locala si convexitate locala stricta;
• Teoriile globala si locala sunt strans relationate;
CAPITOLUL 2: Proprietati de Baza 25 Functii Convexe si Concave
5. Minimizari si Maximizari de Functii Convexe
Teorema 21. Fie f o functie convexa definita pe o multime convexa Ω. Atunci multimea Γ pe
care f is atinge minimumul este convexa, si orice minim relativ a lui f este si minim global.
“Toate punctele de minim sunt plasate impreuna intr-o multime convexa si toate minimele relative
sunt si globale”
Teorema 22. Fie f ∈ c
1
o functie convexa definita pe o multime convexa Ω. Daca exista un
punct x

∈ Ω a.i.
∀y ∈ Ω, ∇f(x

)(y −x

) ≥ 0
atunci x

este minim global pentru f pe Ω.
“Pentru functii convexe continue si diferentiabile satisfacerea conditiilor de ordinul intai este si
necesara si suficienta pentru ca un punct sa fie minim global”
Teorema 23. Fie f o functie convexa definita pe multimea marginita, inchisa si convexa Ω. Daca
f are un maximum pe Ω atunci acesta este atins intr–un punct de extrem al lui Ω.
Nota: Exista o dualitate intre minimizarea functiilor convexe si maximizarea functiilor concave !
CAPITOLUL 2: Proprietati de Baza 26 Minimizari si Maximizari de Functii Convexe
6. Convergenta Globala a Algoritmilor de Descrestere
Exista o serie de proprietati de baza pe care orice algoritm propus trebuie sa le indeplineasca:
• Iterativ: Algoritmul genereaza o serie de puncte, fiecare punct fiind calculat pe baza punctelor
ce il preced;
• Descrestere: In fiecare nou punct generat de algoritm valoarea corespunzatoare a unei anumite
functii descreste in raport cu valoarea in punctul precedent;
• Convergenta globala: Pentru puncte de plecare (initializari) arbitrare algoritmul genereaza un sir
care converge (intr-un numar finit sau infinit de pasi) la un punct solutie.
Atentie ! Cei mai importanti algoritmi ce vor fi prezentati in continuare nu sunt (!!!!) global
convergenti in forma lor pura si cel mai adesea necesita anumite modificari speciale; anumiti
algoritmi cu initializari arbitrare pot sa nu convearga deloc iar altii pot converge la puncte care nu
sunt solutii !!!
Convergenta globala a unui algoritm poate fi tratata intr-o maniera unitara prin intermediul
teoriei generale a algoritmilor dezvoltate pentru prima data de catre Zangwill (cel mai important
rezultat : Teorema de Convergenta Globala).
CAPITOLUL 2: Proprietati de Baza 27 Convergenta Globala a Algoritmilor de Descrestere
Algoritmi
Un algoritm poate fi privit ca o aplicatie : dandu-se un punct x intr-un spatiu ·, algoritmul A
aplicat lui x genereaza un nou punct in acelasi spatiu; daca operam iterativ in aceeasi maniera se
va genera un sir de puncte in · prin regula
x
k+1
:= A(x
k
).
A poate fi dat explicit de o formula sau poate fi un program lung de computer. In orice caz, pentru
a putea avea o mai mare flexibilitate in analiza vom generaliza acest concept.
Definitia 24. Un algoritm A este o aplicatie definita pe un spatiu care atribuie fiecarui punct
x ∈ · o submultime a lui ·.
Nota:
• Termenul “spatiu” trebuie intepretat intr-un sens larg (o submultime in R
n
, sau un spatiu metric
general);
• Un algoritm este o aplicatie punct–multime a lui · si nu o aplicatie de tip punct–punct;
• Dandu–se x
k
∈ ·, algoritmul genereaza multimea A(x
k
) ⊂ · din care se selecteaza un
element arbitrar;
CAPITOLUL 2: Proprietati de Baza 28 Convergenta Globala a Algoritmilor de Descrestere
• Incepand cu x
0
algoritmul genereaza siruri conform cu
x
k+1
∈ A(x
k
);
• Incertitudinea (gradul de libertate) in aceasta descriere este gandit pentru a lua in calcul detaliile
specifice ale diversilor algoritmi si nu inseamna ca algoritmii au un caracter aleator, i.e., algoritmii
sunt in implementari aplicatii tip punct–punct (un anumit algoritm genereaza acelasi sir pornind
din acelasi punct initial x
0
);
Exemplul 25. Pentru x ∈ R, fie
A(x) =


]x]
2
,
]x]
2

.
Plecand din x
0
= 100 putem genera diverse siruri :
100, 50, 25, 12, −6, −2, 1,
1
2
;
100, −40, 20, −5, −2, 1,
1
4
,
1
8
;
100, 10, −1,
1
16
,
1
100
, −
1
1000
,
1
10000
.
Pentru a analiza anumite proprietati de convergenta nu este nevoie sa stim precis cum a fost selectat
x
k+1
din A(x
k
) (sirul tinde oricum la zero).
CAPITOLUL 2: Proprietati de Baza 29 Convergenta Globala a Algoritmilor de Descrestere
Descrestere
Definitia 26. Fie Γ ⊂ · o multime de solutii data si fie A un algoritm pe ·. O functie continua
cu valori reale Z definita pe · se numeste functie de descrestere pentru Γ si A daca satisface
i) Daca x ,∈ Γ si y ∈ A(x), atunci Z(y) < Z(x);
ii) Daca x ∈ Γ si y ∈ A(x), atunci Z(y) ≤ Z(x).
Pentru problema
minimizeaza f(x)
cand x ∈ Ω
notiunea de multime de solutii, functie de descrestere si algoritm pot fi definite in moduri diferite:
• Γ: multimea punctelor de minim, si definim un algoritm a.i. la fiecare pas f descreste, servind
astfel ca functie de descrestere;
• Γ: multimea punctelor x care satisfac ∇f(x) = 0, si definim un algoritm a.i. la fiecare pas
]∇f(x)] (sau f(x)) descreste.
CAPITOLUL 2: Proprietati de Baza 30 Convergenta Globala a Algoritmilor de Descrestere
Aplicatii Inchise
Un concept esential pentru a stabili proprietati de convergenta globala este acela de algoritm
inchis (o extensie a notiunii de continuitate de la aplicatii de tip punct–punct la aplicatii de tip
punct–submultime).
Definitia 27. O aplicatie de tip punct–multime A din · in ¸ este numita inchisa in x ∈ ·
daca ipotezele:
• x
k
→ x, x
k
∈ ·,
• y
k
→ y, y
k
∈ A(x
k
),
implica
y ∈ A(x).
In particular, A se numeste inchisa daca este inchisa in fiecare punct in ·.
Exemplul 28. Aratati ca aplicatia definita in Exemplul 25 este inchisa.
Observatia 29. Ca un caz special, daca A este de tip punct–punct si A este continua atunci A
este inchisa. Reciproca nu este in general adevarata (demonstrati aceste afirmatii !!!)
CAPITOLUL 2: Proprietati de Baza 31 Convergenta Globala a Algoritmilor de Descrestere
Teorema de Convergenta Globala
Teorema de Convergenta Globala stabileste conditii tehnice generale in care convergenta globala
poate fi garantata (globala = indiferent de punctul initial !!!).
Teorema 30. [Teorema de Convergenta Globala] Fie A un algoritm pe ·, si presupunem ca
dandu-se x
0
sirul ¦x
k
]

k=0
este generat prin
x
k+1
∈ A(x
k
).
Fie o multime de solutii Γ ⊂ · si presupunem:
i) Toate punctele x
k
sunt continute intr-o multime compacta S ⊂ ·;
ii) Exista o functie continua Z pe · a.i.
a) Daca x ,∈ Γ, atunci Z(y) < Z(x), ∀y ∈ A(x);
b) Daca x ∈ Γ, atunci Z(y) ≤ Z(x), ∀y ∈ A(x);
iii) Aplicatia A este inchisa in punctele din afara lui Γ.
Atunci limita oricarui subsir convergent al lui ¦x
k
] este o solutie.
CAPITOLUL 2: Proprietati de Baza 32 Convergenta Globala a Algoritmilor de Descrestere
Corolarul 31. Daca in conditiile Teoremei de Convergenta Globala Γ consta dintr-un singur punct
x, atunci sirul ¦x
k
] converge la x.
Observatia 32. In multe privinte conditia (iii) a teoremei este cea mai importanta ; esecul multor
algoritmi populari poate fi pusa pe seama nesatisfacerii acestei conditii.
Problema 33. Consideram algoritmul de tip punct–punct
A(x) =

1
2
(x −1) + 1, x > 1,
1
2
x, x ≤ 1
si multimea solutiilor Γ = ¦0]. Aratati ca Z(x) = ]x] este o functie de descrestere pentru acest
algoritm si aceasta multime de solutii. Cu toate acestea, plecand din x > 1 algoritmul genereaza
un sir care converge la x = 1 si care nu este o solutie. Aratati ca acest lucru se intampla deoarece
A nu este inchis la x = 1.
Problema 34. Fie pe axa reala · = R multimea solutiilor egala cu multimea vida, i.e., Γ = ∅,
functia de descrestere Z(x) = e
−x
, si algoritmul A(x) = x + 1. Aratati ca toate conditiile
teoremei sunt indeplinite cu exceptia lui i). Sirul generat plecand din orice punct initial diverge la
infinit. Aceasta nu este o violare in sens strict a teoremei (de ce ?).
CAPITOLUL 2: Proprietati de Baza 33 Convergenta Globala a Algoritmilor de Descrestere
Problema 35. Consideram algoritmul de tip punct–multime A definit de
A(x) =

[0, x), 1 ≥ x > 0
0, x = 0.
Fie Γ = ¦0]. Functia Z(x) = x serveste drept functie de descrestere pentru ca pentru orice
x ,= 0 toate punctele din A(x) sunt mai mici decat x. Aratati ca sirul definit de
x
0
= 1.
x
k+1
= x
k

1
2
k+2
,
satisface x
k+1
∈ A(x
k
) dar se poate vedea ca x
k

1
2
,∈ Γ. Aratati ca aceasta se intampla
pentru ca algoritmul A nu este inchis in afara multimii solutiilor.
CAPITOLUL 2: Proprietati de Baza 34 Convergenta Globala a Algoritmilor de Descrestere
7. Viteza de convergenta
Viteza de convergenta a unui algoritm este un subiect extrem de important dar si complex. In
mod esential da informatii despre cati pasi (iteratii) avem nevoie sa executam pentru a atinge un
anumit grad de precizie. Introducem doua notiuni de baza:
• Ordinul de convergenta;
• Rata de convergenta
pentru un sir de numere reale ¦r
k
]
k=∞
k=0
ce converge la r

.
Definitia 36. Ordinul de convergenta a lui ¦r
k
] este definit ca supremumul numerelor nenegative
p care satisfac
0 ≤ lim
k→∞
]r
k+1
−r

]
]r
k
−r

]
p
< ∞. (3)
Nota: Pentru a fi siguri ca definitia se aplica oricarui sir trebuie sa facem niste precizari:
• limita superioara lim se foloseste in locul limitei uzuale lim;
• 0/0 care apare atunci cand r
k
= r

este considerata prin conventie finita.
CAPITOLUL 2: Proprietati de Baza 35 Viteza de Convergenta
Nota:
• Ordinul de convergenta este determinat doar de proprietatile “cozii” sirului (cand k → ∞);
• Valori mai mari ale lui p implica convergenta mai rapida deoarece distanta pana la r

este
redusa (cel putin in coada) cu ordinul p intr-un singur pas !!!;
• Daca sirul are ordinul p si limita in (3) exista (in sens uzual), i.e.
β = lim
k→∞
]r
k+1
−r

]
]r
k
−r

]
p
atunci avem ca asimptotic
]r
k+1
−r

] = β]r
k
−r

]
p
.
Multi algoritmi ce vor discutati mai departe au ordinul 1 si de aceea consideram in continuare mai
in detaliu acest caz.
Definitia 37. Daca ¦r
k
] converge la r

astfel incat
lim
k→∞
]r
k+1
−r

]
]r
k
−r

]
= β < 1
atunci sirul se numeste ca are convergenta liniara la r

cu rata de convergenta β.
CAPITOLUL 2: Proprietati de Baza 36 Viteza de Convergenta
Nota:
• Un sir liniar convergent cu rata β are o coada care converge cel putin la fel de repede ca seria
geometrica cβ
k
pentru o constanta c (de aceea se mai numeste convergenta geometrica);
• Cand comparam doi algoritmi liniar convergenti, cu cat este mai mica rata cu atat este mai
rapid algoritmul !
• Cazul extrem in care β = 0 este numit convergenta superliniara;
• Convergenta cu orice ordin mai mare decat 1 este superliniara dar este posibil si sa avem
convergenta superliniara cu ordinul 1.
Exemplul 38. Sirul r
k
= a
k
unde 0 < a < 1 converge la 0 cu ordinul 1, deoarece
r
k+1
r
k
= a.
Exemplul 39. Sirul r
k
= a
(2
k
)
unde 0 < a < 1 converge la zero cu ordinul doi, deoarece
r
k+1
r
2
k
= 1.
Exemplul 40. Sirul r
k
=
1
k
converge la 0. Convergenta este de ordinul 1 dar nu este liniara,
deoarece
lim
k→∞
r
k+1
r
k
= 1
CAPITOLUL 2: Proprietati de Baza 37 Viteza de Convergenta
adica β nu este strict mai mic ca 1.
Exemplul 41. Pentru sirul r
k
= (
1
k
)
k
ordinul de convergenta este 1 pentru ca
lim
k→∞
r
k+1
r
p
k
= ∞
pentru p > 1. Dar
lim
k→∞
r
k+1
r
k
= 0
si prin urmare avem convergenta superliniara.
Observatia 42. Convergenta vectorilor este definita in mod uzual in raport cu o functie particulara
f care converteste sirul de vectori intr-un sir de numere. O astfel de functie se numeste functie de
eroare. Prin urmare analizam convergenta sirului de vectori prin intermediul convergentei lui f(x
k
)
la f(x

). In tehnicile de optimizare f coincide in mod uzual cu functia obiectiv. Alternativ putem
considera functia
f(x) := ]x −x

]
2
.
In orice caz, alegerea functiei de eroare nu are o importanta capitala.
CAPITOLUL 2: Proprietati de Baza 38 Viteza de Convergenta
Capitolul 3: METODE FUNDAMENTALE DE CAUTARE
1. Cautare de tip Fibonacci si Sectiunea de Aur
2. Cautare Unidimensionala prin Metode de Interpolare
3. Convergenta Globala a Metodelor de Interpolare
4. Proprietati ale Algoritmilor de Cautare Unidimensionala
5. Cautari Unidimensionale Aproximative
6. Metoda Celei mai Abrupte Pante
7. Aplicatii ale Teoriei
8. Metoda Newton
9. Metode de Cautare pe Coordonate
CAPITOLUL 3: Metode Fundamentale de Cautare 39 Metode fundamentale de cautare
1. Metoda Sirului lui Fibonacci si Metoda Sectiunii de Aur
• Metode foarte populare pentru cautari unidimensionale.
• Relativ elegante dar exista alte metode care sunt in majoritatea cazurilor superioare.
• Metoda determina minimumul unei functii f definita pe un interval inchis [c
1
, c
2
].
• f poate fi specificata pe un interval mai larg dar in acest caz trebuie specificat un subinterval
fixat pentru cautare.
• Ipoteze de baza: f este unimodala.
f
c1 c2
Functie unimodala
CAPITOLUL 3: Metode Fundamentale de Cautare 40 Metoda Sirului lui Fibonacci/ Sectiunea de Aur
• Nu se impun alte ipoteze !!!
• Minimul trebuie sa fie determinat evaluand functia f intr-un numar fixat de puncte (se presupune
ca fiecare evaluare este relativ costisitoare dpdv al numarului de operatii/timp de calcul !!!
Problema: Gasiti o strategie pentru a alege succesiv N puncte astfel incat sa putem determina cel
mai mic interval de incertitudine in care se gaseste minimul !
Nota:
• Numarul N este fixat apriori;
• Functia f nu este cunoscuta apriori (i.e., valorile pe care le ia functia nu sunt cunsocute ci se
calculeaza in fiecare punct).
CAPITOLUL 3: Metode Fundamentale de Cautare 41 Metoda Sirului lui Fibonacci/ Sectiunea de Aur
Sirul lui Fibonacci
Fie N puncte ordonate
c
1
≤ x
1
< x
2
< . . . < x
N−1
< x
N
≤ c
2
si fie x
0
:= c
1
si x
N+1
:= c
2
. Daca functia este evaluata in fiecare dintre aceste puncte stim
sigur ca minimumul se gaseste in intervalul [x
k−1
, x
k+1
], unde x
k
este punctul in care functia ia
valoarea minima dintre toate cele N puncte selectate.
Problema:
Cum sa alegem N puncte astfel incat intervalul [x
k−1
, x
k+1
] sa fie cat se poate de mic ?
Raspuns:
Sirul lui Fibonacci
Fie d
1
:= c
2
−c
1
, intervalul initial de incertitudine, d
k
: largimea intervalului de incertitudine dupa
k masuratori. Fie
d
k
:=
F
N−k+1
F
N
d
1
(4)
CAPITOLUL 3: Metode Fundamentale de Cautare 42 Metoda Sirului lui Fibonacci/ Sectiunea de Aur
unde F
k
sunt generate prin sirul lui Fibonacci definit de
F
0
= F
1
= 1, F
N
:= F
N−1
+F
N−2
.
Procedura de alegere a punctelor (se poate demonstra ca aceasta strategie este optimala !!!):
• Primele doua evaluari se fac simetric la o distanta de
F
N−1
F
N
d
1
de capetele intervalului initial;
• In functie de care valore este mai mica, se alege un interval de marime d
2
:=
F
N−1
F
N
d
1
;
• Al treilea punct este dispus simetric in acest nou interval in raport cu pctele deja selectate;
• Folosind aceeasi regula se selecteaza un interval de lungime
d
3
:= d
1

F
N−1
F
N
d
1
=
F
N−2
F
N
d
1
;
• In general fiecare noua evaluare se face in intervalul curent de incertitudine in mod simetric cu
punctul deja existent in acel interval;
1
2 3 4 5
N=5
1/8 2/8
3/8 5/8
Metoda de cautare Fibonacci
Observati ca ultimele doua puncte coincid intotdeauna !!!
CAPITOLUL 3: Metode Fundamentale de Cautare 43 Metoda Sirului lui Fibonacci/ Sectiunea de Aur
Sectiunea de Aur
Principalul dezavantaj al cautarii Fibonacci este ca numarul de puncte N trebuie precizat de la
inceput. Daca dorim cresterea ulterioara a preciziei cautarii atunci intregul proces trebuie reluat de
la capat.
O varianta alternativa este sa trecem N → ∞ si sa facem o cautare corespunzatoare sirului
rezultat definit de celebra Sectiune de Aur. Solutia recurentei F
N
= F
N−1
+F
N−2
este de forma
F
N
= Aτ
N
1
+Bτ
N
2
(5)
unde τ
1
si τ
2
sunt radacinile ecuatiei caracteristice
τ
2
= τ + 1
adica
τ
1
=
1 +

5
2
, τ
2
=
1 −

5
2
.
Numarul
τ
1
= 1.618...
este numit Sectiunea de Aur fiind considerat de grecii antici ca valoarea cea mai estetica a raportului
intre doua laturi adiacente ale unui dreptunghi.
CAPITOLUL 3: Metode Fundamentale de Cautare 44 Metoda Sirului lui Fibonacci/ Sectiunea de Aur
Observati din (5) ca
lim
N→∞
F
N−1
F
N
=
1
τ
1
= 0.618...
Din (4) rezulta ca intervalul de incertitudine are marimea
d
k
=
1
τ
k−1
1
d
1
si ca
d
k+1
d
k
=
1
τ
1
.
Aceasta arata ca in raport cu marimea intervalului metoda sectiunii de aur converge liniar (ordinul
=1) cu rata de convergenta
1
τ
1
.
Remarci:
• In practica functia se evalueaza tot intr-un numar finit de puncte chiar daca pentru gasirea
acestora se foloseste sectiunea de aur. Atunci in raport cu acest numar finit de evaluari procesul
generat de sectiunea de aur nu este optimal !
• Numarul dat de sectiunea de aur se poate obtine deasemenea punand conditia ca fiecare nou
punct ales sa imparta noul interval in acelasi raport in care punctul precedent impartea intervalul
x
1
=
1 −x
x
.
CAPITOLUL 3: Metode Fundamentale de Cautare 45 Metoda Sirului lui Fibonacci/ Sectiunea de Aur
1
2
x
x
1
Alegerea punctelor prin sectiunea de aur
x
1
=
1−x
x
CAPITOLUL 3: Metode Fundamentale de Cautare 46 Metoda Sirului lui Fibonacci/ Sectiunea de Aur
2. Cautare Unidimensionala prin Interpolare
Pentru functii cu un anumit grad de netezime se pot obtine algoritmi de cautare unidimensionala
mai eficienti decat metoda lui Fibonacci.
Ideea principala este interpolarea unui numar de cateva puncte (obtinute la ultimii pasi) printr–o
curba neteda pe baza careia se obtine o estimare a punctului de minim. Exista o mare varietate de
metode de interpolare depinzand de numarul de puncte de interpolare, ordinul derivatelor folosite,
criteriul utilizat pentru evaluarea calitatii interpolarii :
• Metoda lui Newton
• Metoda Falsei Pozitii
• Interpolare Cubica
• Interpolare Patratica
Toate aceste metode au ordin de convergenta mai mare decat 1.
CAPITOLUL 3: Metode Fundamentale de Cautare 47 Cautare Unidimensionala prin Interpolare
Metoda lui Newton
Ipoteze: Functia f : R → R, f ∈ c
2
, si primele doua derivate pot fi masurate (evaluate) in
fiecare punct curent din domeniul de definitie.
Ideea: Construim un interpolant de gradul 2
q(x) = f(x
k
) +f
t
(x
k
)(x −x
k
) +
1
2
f
tt
(x
k
)(x −x
k
)
2
in punctul curent x
k
si gasim un nou punct x
k+1
ca minim al lui q(x):
q
t
(x
k+1
) = 0 ⇒ x
k+1
= x
k

f
t
(x
k
)
f
tt
(x
k
)
;

x
k+1
= x
k

g(x
k
)
g
t
(x
k
)

.
Nota:
• Procesul de cautare nu depinde de valoarea f(x
k
)
• Metoda poate fi interpretata si ca o metoda de rezolvare iterativa a ecuatiilor g(x) = 0.
CAPITOLUL 3: Metode Fundamentale de Cautare 48 Cautare Unidimensionala prin Interpolare
CAPITOLUL 3: Metode Fundamentale de Cautare 49 Cautare Unidimensionala prin Interpolare
Teorema 43. Fie g ∈ c
2
, si fie x

a.i. g(x

) = 0, g
t
(x

) ,= 0. Daca x
0
este suficient de
aproape de x

, sirul ¦x
k
]

k=0
generat de metoda lui Newton converge la x

cu un ordin cel putin 2.
CAPITOLUL 3: Metode Fundamentale de Cautare 50 Cautare Unidimensionala prin Interpolare
Metoda Falsei Pozitii
Metoda lui Newton se bazeaza pe informatie intr-un singur punct. Folosind mai mult decat un
singur punct putem scadea ordinul derivatelor implicate in interpolare (folosim un numar mai mic
de derivate).
Functia de interpolare este :
q(x) = f(x
k
) +f
t
(x
k
)(x −x
k
) +
1
2
f
t
(x
k−1
) −f
t
(x
k
)
x
k−1
−x
k
(x −x
k
)
2
si noul punct x
k+1
este obtinut din
q
t
(x
k+1
) = 0 ⇒ x
k+1
= x
k
−f
t
(x
k
)
x
k−1
−x
k
f
t
(x
k−1
) −f
t
(x
k
)
;

x
k+1
= x
k
−g(x
k
)
x
k−1
−x
k
g(x
k−1
) −g(x
k
)

Nota:
• Procesul de cautare nu depinde de f(x
k
) si interpolantul poate fi considerat la fel de bine in
raport cu x
k−1
sau cu x
k
;
• Metoda poate fi privita ca o aproximare a metodei lui Newton in care insa derivata a doua se
inlocuieste cu o aproximare;
CAPITOLUL 3: Metode Fundamentale de Cautare 51 Cautare Unidimensionala prin Interpolare
CAPITOLUL 3: Metode Fundamentale de Cautare 52 Cautare Unidimensionala prin Interpolare
• Metoda poate din nou fi privita ca o metoda de rezolvare iterativa a ecuatiilor g(x) = 0, cu
g(x) = f
t
(x).
Teorema 44. Fie g ∈ c
2
, si fie x

a.i. g(x

) = 0, g
t
(x

) ,= 0. Daca x
0
este suficient
de aproape de x

, sirul ¦x
k
]

k=0
generat de metoda falsei pozitii converge la x

cu ordinul
τ
1
= 1.618... (sectiunea de aur).
CAPITOLUL 3: Metode Fundamentale de Cautare 53 Cautare Unidimensionala prin Interpolare
Interpolare Cubica
Ideea: Dandu-se punctele x
k−1
si x
k
impreuna cu valorile f(x
k−1
), f
t
(x
k−1
), f(x
k
), f
t
(x
k
),
se construieste un interpolant q(x) de gradul 3, conducand la procesul iterativ
x
k+1
= x
k
−(x
k
−x
k−1
)
f
t
(x
k
) +u
2
−u
1
f
t
(x
k
) −f
t
(x
k−1
) + 2u
2
unde
u
1
= f
t
(x
k−1
) +f
t
(x
k
) −3
f(x
k−1
)−f(x
k
)
x
k−1
−x
k
,
u
2
= [u
2
1
−f
t
(x
k−1
)f
t
(x
k
)]
1
2
.
Nota: Ordinul de convergenta al metodei de interpolare cubica este 2 in ciuda faptului ca
metoda este exacta pentru functii cubice ceea ce ar fi putut sugera ca ordinul de convergenta este
de 3 !!!
CAPITOLUL 3: Metode Fundamentale de Cautare 54 Cautare Unidimensionala prin Interpolare
Interpolare patratica
Aceasta metoda este cel mai adesea folosita in cautari unidimensionale avand avantajul esential
ca nu necesita nici o informatie privitoare la derivate.
Ideea: Dandu-se punctele x
1
, x
2
, x
3
, impreuna cu valorile f(x
1
) = f
1
, f(x
2
) = f
2
, f(x
3
) =
f
3
, se construieste o functie de interpolare de gradul 2 q(x) care trece prin aceste puncte:
q(x) =
3

i=1
f
i
Π
j,=i
(x −x
j
)
Π
j,=i
(x
i
−x
j
)
.
Noul punct x
4
se determina ca punctul in care derivata lui q(x) se anuleaza. Se obtine
x
4
=
1
2
b
23
f
1
+b
31
f
2
+b
12
f
3
a
23
f
1
+a
31
f
2
+a
12
f
3
,
unde a
ij
= x
i
−x
j
, b
ij
= x
2
i
−x
2
j
.
Ordinul de convergenta al metodei de interpolare cubica este λ = 1.3..., cea mai mare radacina
a ecuatiei λ
3
−λ −1 = 0.
CAPITOLUL 3: Metode Fundamentale de Cautare 55 Cautare Unidimensionala prin Interpolare
3. Convergenta Globala a Metodelor de Interpolare
Pana in prezent am studiat convergenta algoritmilor de cautare unidimensionala in jurul punctului
solutie. Mai departe trebuie insa sa ne asiguram ca acesti algoritmi converg cu adevarat indiferent
de intializare, i.e., trebuie sa fim convinsi ca ei au convergenta globala.
Problema: Din pacate, algoritmii de cautare unidimensionala in forma lor pura nu au convergenta
globala !!!. Din fericire, putem insa modifica acesti algoritmi intr-un mod simplu a.i. sa asiguram
convergenta globala !!! In continuare vom descrie mai pe larg cum putem face aceste modificari in
cazul interpolarii patratice.
Ipoteze: Functia f care trebuie minimizata este strict unimodala si este de clasa c
2
.
Procedura:
Pasul 1. Gasim trei puncte x
1
, x
2
, si x
3
, cu
x
1
< x
2
< x
3
a.i. f(x
1
) ≥ f(x
2
) ≤ f(x
3
).
Acest lucru se poate face in mai multe feluri (Exercitiu !). Explicatia consta in aceea ca un
interpolant patratic care trece prin aceste puncte va avea un minim (si nu un maxim) si acest minim
se gaseste in intervalul [x
1
, x
3
].
CAPITOLUL 3: Metode Fundamentale de Cautare 56 Convergenta Globala a Metodelor de Interpolare
Pasul 2: Se gaseste x
4
in mod standard prin minimizarea functiei patratice, si f(x
4
) este evaluata
(masurata). Presupunand
x
2
< x
4
< x
3
si datorita naturii unimodale a lui f exista doar doua posibilitati:
1. f(x
4
) ≤ f(x
2
);
2. f(x
2
) < f(x
4
) ≤ f(x
3
).
Pasul 3: Selectam un nou triplet in modul urmator:
• Cazul 1: (x
1
, x
2
, x
3
) = (x
2
, x
4
, x
3
).
• Cazul 2: (x
1
, x
2
, x
3
) = (x
1
, x
2
, x
4
).
Pasul 4: Continuam intr-un mod similar cu Pasul 2 gasind un nou interpolant patratic.
Cu aceasta modificare se poate demonstra ca procesul de interpolare patratica este convergent
global !!!
Nota: • Modificarile de mai sus pentru interpolarea patratica pot fi adaptate pentru alti algoritmi
de cautare unidimensionala (considerati ca exercitii cateva alte cazuri !!!)
• Ordinul de convergenta poate fi compromis (devine mai mic decat 1.3 cat este in forma pura
CAPITOLUL 3: Metode Fundamentale de Cautare 57 Convergenta Globala a Metodelor de Interpolare
a algoritmului) daca nici macar local nu se poate forma tripletul de interpolare din trei puncte
precedente (in loc de patru) – acest lucru desigur nu se poate asigura in general.
Remarci:
• In forma pura a algoritmului de interpolare patratica punctul urmator se construieste pe baza
punctului curent si a altor doua puncte precedente in timp ce in modificarea propusa mai sus punctul
urmator se construieste pe baza punctului curent si a doua din trei puncte precedente ce impreuna
formeaza un triplet de interpolare.
• Daca doua puncte sunt egale, de exemplu x
1
= x
2
, atunci (x
1
, x
2
, x
3
) formeaza un triplet
de interpolare daca f(x
2
) ≤ f(x
3
) si f
t
(x
2
) < 0, si un interpolant patratic se gaseste folosind
valorile functiei in cele doua puncte distincte si derivata in punctul care este duplicat
• Daca trei puncte sunt egale, x
1
= x
2
= x
3
, atunci (x
1
, x
2
, x
3
) formeaza un triplet daca
f
t
(x
2
) = 0 si f
tt
(x
2
) ≥ 0.
CAPITOLUL 3: Metode Fundamentale de Cautare 58 Convergenta Globala a Metodelor de Interpolare
4. Proprietati ale Algoritmilor de Cautare Unidimensionala
Cautarile unidimensionale pentru gasirea minimului sunt o parte componenta a celor mai multi
algoritmi de programarea neliniara. De aceea este esential sa studiem daca acesti algoritmi sunt
inchisi.
Mai precis, dandu–se o functie f, pentru fiecare iteratie trebuie sa specificam doi vectori
(punctul initial x si directia de cautare d) iar rezultatul este un nou punct. Obtinem urmatoarea
aplicatie de tip punct–multime
S(x, d) = ¦y : y = x +αd, α ≥ 0, f(y) = min
0≤α≤∞
f(x +αd)]. (6)
Teorema 45. Daca f este continua pe R
n
, atunci aplicatia (6) este inchisa in (x, d) daca d ,= 0.
CAPITOLUL 3: Metode Fundamentale de Cautare 59 Proprietati ale Algoritmilor de Cautare Unidimensionala
5. Cautare Unidimensionala Aproximativa
In practica nu este posibil sa obtinem exact punctul de minim asa cum presupune algoritmul
ideal de cautare unidimensionala S. Adesea se sacrifica precizia pentru a reduce timpul de executie.
Problema: Este teoria convergentei globale valabila daca folosim cautari aproximative in locul
celor ideale ?
Raspuns: NU ! dar pentru a nu complica analiza vor presupune in continuare ca la fiecare pas
s-a folosit un algoritm exact de cautare unidimensionala.
Criterii uzuale pentru terminarea cautarilor unidimensionale:
• Testul Procentual
• Regula Armijo
• Testul Goldstein
• Testul Wolfe.
CAPITOLUL 3: Metode Fundamentale de Cautare 60 Cautare Unidimensionala Aproximativa
Testul Procentual
• Gaseste parametrul α cu o anumita precizie data de un procent fixat din valoarea sa reala
0 < c < 1 (tipic c = 0.1, 0.05, 0.02 sau 0.01).
• α este gasit astfel incat ]α −α] ≤ cα, unde α este valoarea exacta a minimului.
• Desigur α nu este cunoscut dar pentru majoritatea algoritmilor de cautare unidimensionala se
poate obtine relativ facil o margine buna a erorii fractionare (relative).
• Se poata arata ca acest algoritm este inchis.
Regula Armijo
• Regula Armijo asigura ca α ales nu este prea mare si apoi ca nu este prea mic !!!
• Fie
φ(α) = f(x
k
+αd
k
).
Atunci regula este implementata considerand functia
φ(0) +φ
t
(0)α, pentru ∈ (0, 1) fixat.
• α nu este prea mare daca
φ(α) ≤ φ(0) +φ
t
(0)α (7)
CAPITOLUL 3: Metode Fundamentale de Cautare 61 Cautare Unidimensionala Aproximativa
si nu este prea mic daca
φ(α) > φ(0) +φ
t
(0)ηα
unde η > 1 este ales (fixat) – aceasta este echivalent cu a spune ca α este marit cu un factor de
η daca nu satisface testul (7).
• Uneori in practica regula Armijo este folosita pentru a defini un algoritm de cautare unidimensionala
fara a folosi metodele de interpolare: se incepe cu un α arbitrar; daca satisface (7) este marit in
mod repetat cu η ( η = 2 sau 10, si = 0.2 sunt cel mai adesea folosite) pana cand (7) nu mai
este satisfacut; penultimul α este atunci retinut. Daca α original nu satisface (7) este impartit la
η pana cand α rezultant satisface (7).
CAPITOLUL 3: Metode Fundamentale de Cautare 62 Cautare Unidimensionala Aproximativa
Testul Goldstein
• Similar cu regula lui Armijo, α nu este prea mare daca satisface (7) pentru 0 < < 0.5, si este
considerat a fi nu prea mic daca
φ(α) > φ(0) + (1 −)φ
t
(0)α.
• Testul Goldstein conduce la un algoritm de cautare undimensionala inchis.
CAPITOLUL 3: Metode Fundamentale de Cautare 63 Cautare Unidimensionala Aproximativa
Testul Wolfe
• Acesta este aplicat in locul testului Goldstein in cazul in care derivatele functiei obiectiv si
valorile acestora pot fi obtinute relativ usor.
• este ales cu 0 < < 0.5, si α este ales sa satisfaca (7) si
φ
t
(α) > (1 −)φ
t
(0).
• Criteriul de mai sus este invariant la scalari.
CAPITOLUL 3: Metode Fundamentale de Cautare 64 Cautare Unidimensionala Aproximativa
6. Metoda Celei Mai Abrupte Pante
• Una dintre cele mai vechi metode, cunoscuta si sub numele de metoda de gradient.
• Este extrem de importanta intrucat este cea mai simpla metoda pentru care exista o analiza
satisfacatoare.
• Este simultan prima metoda care se incearca pe o problema noua si totdata referinta standard cu
care se compara orice metoda noua.
Metoda propriu–zisa
Fie f : R
n
→ R, f ∈ c
1
. Pentru simplificarea notatiei fie
g(x) := ∇f(x)
T
(vector coloana)
g
k
:= g(x
k
).
Metoda este definita de algoritmul iterativ
x
k+1
= x
k
−α
k
g
k
,
α
k
este un scalar nenegativ care minimizeaza f(x
k
− α
k
g
k
). Mai exact, cautarea minimului se
face de–alungul directiei gradientului negativ −g
k
si punctul de minim este considerat x
k+1
.
CAPITOLUL 3: Metode Fundamentale de Cautare 65 Metoda Celei Mai Abrupte Pante
Convergenta Globala
Algoritmul poate fi descris ca A : R
n
→ R
n
si x
k+1
∈ A(x
k
). Acesta se poate descompune
in A = SG, unde G : R
n
→ R
2n
, G(x) = (x, −g(x)), care da punctul initial si directia de
cautare si S : R
2n
→ R
n
, dat in (6):
S(x, d) = ¦y : y = x +αd, α ≥ 0, f(y) = min
0≤α≤∞
f(x +αd)].
In Sectiunea 4 am vazut ca S este inchis daca ∇f(x) ,= 0, si este evident ca G este continua.
Prin urmare A este inchisa.
Definim multimea solutiilor ca fiind punctele in care ∇f(x) = 0. Atunci Z(x) = f(x) este
o functie de descrestere pentru A deoarece pentru ∇f(x) ,= 0 avem
min
0≤α<∞
f(x −αg(x)) < f(x).
Prin urmare concluzionam din Teorema de Convergenta Globala ca daca sirul x
k
este marginit va
avea puncte limita si fiecare astfel de punct este o solutie.
CAPITOLUL 3: Metode Fundamentale de Cautare 66 Metoda Celei Mai Abrupte Pante
Convergenta Locala
Precum vom face in majoritatea cazurilor, incepem analiza cu cazul patratic (f este o functie
patratica
f(x) =
1
2
x
T
Qx −x
T
b).
Presupunem ca Q ∈ R
n·n
este o matrice simetrica pozitiv definita Q = Q
T
> 0, i.e., toate
valorile ei proprii sunt pozitive, si ca toate aceste valori proprii sunt ordonate 0 < a = λ
1
≤ λ
2

. . . ≤ λ
n
= A. Atunci rezulta ca f este strict convexa.
Punctul unic de minim x

poate fi gasit prin anularea gradientului g(x) = Qx−b obtinandu-se
Qx

= b.
Fie functia eroare
E(x) :=
1
2
(x −x

)
T
Q(x −x

).
Atunci avem E(x) = f(x) +
1
2
(x

)
T
Qx

, i.e., E(x) si f(x) difera doar printr-o constanta.
In plus, ambele functii au acelasi punct de minim x

. In multe situatii va fi mai convenabil sa
consideram minimizarea lui E in locul lui f !
CAPITOLUL 3: Metode Fundamentale de Cautare 67 Metoda Celei Mai Abrupte Pante
Cu aceste notatii putem exprima metoda celei mai abrupte pante
x
k+1
= x
k
−α
k
g
k
, g
k
= Qx
k
−b
unde α
k
minimizeaza
f(x
k
−αg
k
) =
1
2
(x
k
−αg
k
)
T
Q(x
k
−αg
k
) −(x
k
−αg
k
)
T
b.
Derivand in aceasta expresie in raport cu α obtinem
α
k
=
g
T
k
g
k
g
T
k
Qg
k
.
In final, metoda celei mai abrupte pante ia forma explicita
x
k+1
= x
k

g
T
k
g
k
g
T
k
Qg
k
g
k
. (8)
Teorema 46. Oricare ar fi x
0
∈ R
n
, metoda celei mai abrupte pante (8) converge la punctul unic
CAPITOLUL 3: Metode Fundamentale de Cautare 68 Metoda Celei Mai Abrupte Pante
de minim x

al lui f. Mai mult, avem la fiecare pas
E(x
k+1
) ≤

A −a
A +a

2
E(x
k
).
Observatia 47. • Rata de convergenta este cu atat mai lenta cu cat contururile lui f devin mai
excentrice.
• Pentru “cercuri”, convergenta este obtinuta intr-un singur pas (A = a).
• Chiar daca n − 1 valori proprii sunt egale dar una singura este la mare distanta de ele,
convergenta este lenta.
• In raport cu functia eroare (sau echivalent in raport cu f) metoda celei mai abrupte pante
converge liniar cu o rata inferioara lui

A−a
A+a

2
.
• Rata efectiva (reala) depinde puternic de x
0
.
• Akaike a aratat ca aceasta margine se poate atinge pentru anumite puncte initiale x
0
si, mai
mult, daca rata este defavorabila atunci este probabil ca procesul iterativ sa convearga cu o rata
apropiata de marginea superioara.
• Prin urmare putem spune in mare ca rata de convergenta a metodei celei mai abrupte pante este

A −a
A +a

2
=

r −1
r + 1

2
unde r este numarul de conditionare al lui Q.
CAPITOLUL 3: Metode Fundamentale de Cautare 69 Metoda Celei Mai Abrupte Pante
• Toate aceste observatii se pot aplica doar functiilor patratice. Cu toate acestea vom extinde
aceste proprietati si la functii nepatratice folosind Hessianul functiei obiectiv evaluat intr-un
punct solutie (in locul matricii Q). Aceasta tehnica este valabila pentru majoritatea metodelor
avand ordinul 1 de convergenta.
Teorema 48. Fie f definita pe R
n
, f ∈ c
2
avand un minim local in x

. Presupunem ca Hessianul
F(x

) are cea mai mica valoare proprie a > 0 si cea mai mare valoare proprie A > 0. Daca ¦x
k
]
este un sir generat de metoda celei mai abrupte pante care converge la x

, atunci f(x
k
) converge
la f(x

) liniar cu o rata de convergenta mai mica sau egala cu

A −a
A +a

2
.
7. Aplicatii ale Teoriei
– de discutat la Seminar –
CAPITOLUL 3: Metode Fundamentale de Cautare 70 Metoda Celei Mai Abrupte Pante
8. Metoda lui Newton
Ideea: Functia obiectiv f este aproximata local de o functie patratica, si functia patratica este
minimizata exact:
f(x) ≈ f(x
k
) +∇f(x
k
)(x −x
k
) +
1
2
(x −x
k
)
T
F(x
k
)(x −x
k
).
Membrul drept este minimizat exact la
x
k+1
= x
k
−[F(x
k
)]
−1
∇f(x
k
)
T
.
Presupuneri: Matricea Hesiana F(x

) este pozitiv definita (in lumina conditiilor de ordinul 2), si
prin urmare metoda este bine definita in vecinatatea solutiei.
Teorema 49. Fie f definita pe R
n
, f ∈ c
3
avand un minim local la x

si F(x

) > 0. Atunci
pentru o initializare suficient de aproape de x

sirul generat de metoda lui Newton converge la x

cu un ordin de convergenta de cel putin 2.
CAPITOLUL 3: Metode Fundamentale de Cautare 71 Metoda lui Newton
Modificari ale Metodei lui Newton
Metoda lui Newton necesita anumite modificari cand este startata relativ departe de punctul
solutie.
Prima modificare: introducerea unui parametru de cautare α a.i.
x
k+1
= x
k
−α
k
[F(x
k
)]
−1
∇f(x
k
)
T
unde α
k
este ales sa minimizeze f. In apropierea solutiei ne asteptam desigur ca α
k
≈ 1.
Introducerea acest parametru pentru puncte generale elimina posibilitatea ca functia obiectiv sa
creasca cand α
k
= 1 ca urmare a termenilor nepatratici.
A doua modificare: Consideram clasa generala de algoritmi
x
k+1
= x
k
−αM
k
g
k
(9)
unde M
k
este o matrice n ·n, α este un parametru de cautare pozitiv, si g
k
:= ∇f(x
k
)
T
. Atat
metoda celei mai abrupte pante (M
k
= I) cat si metoda lui Newton (M
k
= F(x
k
)
−1
) apartin
acestei clase. Directia d
k
= −M
k
g
k
este o directie de descrestere daca pentru α mic valoarea lui
CAPITOLUL 3: Metode Fundamentale de Cautare 72 Metoda lui Newton
f descreste cand α creste de la zero in sus. Pentru α mic avem
f(x
k+1
) = f(x
k
) +∇f(x
k
)(x
k+1
−x
k
) +c(]x
k+1
−x
k
]
2
)
sau folosind (9)
f(x
k+1
) = f(x
k
) −αg
T
k
M
k
g
k
+c(α
2
).
Cand α → 0 al doilea termen il domina pe al treilea si trebuie sa avem g
T
k
M
k
g
k
> 0 pentru a
garanta descresterea. Modul cel mai simplu de a asigura acest lucru este sa cerem ca M
k
> 0.
Pentru a asigura descresterea:
• Setam M
k
= I iar aceasta conduce la metoda celei mai abrupte pante care converge doar liniar.
• Setam M
k
= F(x
k
)
−1
care conduce la o descrestere foarte rapida in apropierea solutiei dar
pentru un punct arbitrar poate sa nu genereze o directie de descrestere pentru ca este posibil ca
M
k
sa nu fie pozitiv sau chiar este posibil sa nu existe.
• Setam M
k
= [
k
I + F(x
k
)]
−1
pentru un
k
semipozitiv, ceea ce constituie un compromis
intre metoda celei mai abrupte pante (
k
mare) si metoda Newton (
k
= 0).
Problema: Exista intotdeauana o modificare a.i. M
k
> 0 ?
DA !!! Solutie:
Fie F
k
= F(x
k
). Fixam δ > 0. Calculam valorile proprii ale lui F
k
si fie
k
cea mai mica
CAPITOLUL 3: Metode Fundamentale de Cautare 73 Metoda lui Newton
constanta nenegativa pentru care matricea
k
I + F
k
are valoriile proprii mai mari sau egale cu δ.
Fie
x
k+1
= x
k

k
d
k
, d
k
:= −(
k
I +F
k
)
−1
g
k
,
unde α
k
minimizeaza f(x
k
+αd
k
), α ≥ 0.
Acest algoritm are proprietatile dorite de convergenta locala si globala: Presupunand ca x
k
este
marginit, avem convergenta globala si suficient de aproape de x

ordinul de convergenta este doi
(alegand un δ > 0 potrivit, adica mai mic decat cea mai mica valoare proprie a lui F(x

)).
Intrebare esentiala: Cum se alege δ ?
Raspuns: Aceasta alegere implica o adevarata arta si este nevoie de mult exercitiu si experienta
practica !!!! Valori mici pentru δ inseamna sa inversam matrici ”aproape” singulare pe cand valori
mari ale lui α inseamna ca ordinul doi de convergenta se poate pierde.
Dificultati suplimentare: La fiecare pas trebuie sa calculam valorile proprii ale lui F(x
k
)
ceea ce se poate dovedi costisitor din punct de vedere numeric ! Prin urmare, in metodele de tip
Levenberg–Marquardt pentru un
k
dat se face o factorizare Cholesky pentru a verifica pozitivitatea:

k
I +F(x
k
) = G
T
k
G
k
.
Daca algoritmul de factorizare Cholesky esueaza,
k
este marit. Aceasta factorizare da deasemenea
CAPITOLUL 3: Metode Fundamentale de Cautare 74 Metoda lui Newton
vectorul de deplasare rezolvand doua sisteme triangulare de ecuatii
G
T
k
G
k
d
k
= g
k
.
Se examineaza in continuare f(x
k
+ d
k
). Daca este destul de mai mic decat f(x
k
), atunci x
k+1
este acceptat si se determina un nou
k+1
. In principal
k
este un parametru de cautare in aceste
metode.
Atentie: Simplitatea aparenta a metodei lui Newton nu este in fapt transpusa in practica !
CAPITOLUL 3: Metode Fundamentale de Cautare 75 Metoda lui Newton
9. Metode de Cautare pe Coordonate
O clasa de algoritmi atractivi datorita simplitatii dar cu proprietati mai slabe de convergenta
decat metoda celei mai abrupte pante.
Fie f ∈ c
1
. Descresterea in raport cu coordonata x
i
(i fixat) este obtinuta prin rezolvarea
min
x
i
f(x
1
, x
2
, . . . , x
n
),
i.e., fiecare astfel de cautare poate fi privita ca o cautare pe directia e
i
(sau −e
i
). Per ansamblu,
se minimizeaza succesiv in raport cu toate coordonatele.
Moduri diverse de a implementa aceasta idee:
• Algoritmul de cautare ciclica: Se minimizeaza succesiv in raport cu x
1
, x
2
, . . . , x
n
, si apoi se
repeta de la x
1
din nou (nu este necesara nici o informatie despre gradient).
• Metoda dublu ciclica a lui Aitken: Se minimizeaza succesiv in raport cu x
1
, x
2
, . . . , x
n
, si
apoi inapoi x
n−1
, x
n−2
, . . . , x
1
si apoi se repeta (nu este necesara nici o informatie asupra
gradientului).
• Metoda Gauss–Southwell: La fiecare pas se minimizeaza coordonata corespunzatoare celei mai
mari componente (in valoare absoluta) a gradientului.
CAPITOLUL 3: Metode Fundamentale de Cautare 76 Metode de Cautare pe Coordonate
Convergenta Metodelor de Cautare pe Coordonate
Aceste metode au convergenta globala (sub anumite ipoteze rezonabile).
Convergenta locala este dificil de analizat. Pentru o problema patratica avem pentru metoda
Gauss–Southwell
E(x
k+1
) ≤ (1 −
a
A(n −1)
)E(x
k
)
(care este o margine grosiera). Deoarece

A −a
A +a

2

1 −
a
A

1 −
a
A(n −1)

n−1
concluzionam ca un pas din metoda celei mai abrupte pante este mai bun decat n − 1 pasi din
metoda Gauss–Southwell. Acest lucru este in acord cu multe experimente numerice. Oricum, daca
variabilele sunt necuplate (corespunzand unei matrici Hessiene aproximativ diagonale, metodele de
cautare pe coordonate sunt mult mai rapide decat se estimeaza.
CAPITOLUL 4: Metode de Directii Conjugate 77 Cuprinsul Capitolului
Capitolul 4: METODE DE DIRECTII CONJUGATE
Metodele de Directii Conjugate sunt intr-un anumit sens intermediare intre metoda celei mai
abrupte pante si metoda lui Newton. Motivatia dezvoltarii acestor metode provine din dorinta de a
accelera convergenta tipic lenta a metodei celei mai abrupte pante simultan cu evitarea evaluarii,
memorarii si inversarii Hessianului necesare in metoda Newton. Aceste metode sunt printre cele mai
eficiente metode de optimizare disponibile. Ca de obicei prezentarea metodelor de directii conjugate
incepe cu problema patratica
1
2
x
T
Qx −b
T
x, Q = Q
T
> 0,
urmand ca apoi sa extindem, prin aproximare, la cazul problemelor mai generale.
1. Directii Conjugate
2. Proprietati de Descrestere ale Metodei de Directii Conjugate
3. Metoda de Gradienti Conjugati
4. Metoda de Gradienti Conjugati ca Proces Optimal
5. Metoda Partiala de Gradienti Conjugati
6. Extensii la Probleme Nepatratice
CAPITOLUL 4: Metode de Directii Conjugate 78 Cuprinsul Capitolului
1. Directii Conjugate
Definitia 50. Dandu-se Q = Q
T
, doi vectori d
1
si d
2
se numesc Q–ortogonali sau conjugati
in raport cu Q daca d
T
1
Qd
2
= 0. O multime finita de vectori d
0
, d
1
, . . . , d
k
se numeste
Q-ortogonala daca
d
T
i
Qd
j
= 0, ∀i ,= j.
Cazuri particulare: Q = 0, Q = I (in cazul nostru Q > 0 dar acest lucru nu este inerent in
definitia de mai sus).
Propozitia 51. Daca Q = Q
T
> 0 si d
0
, d
1
, . . . , d
k
sunt Q–ortogonali atunci sunt liniar
independenti.
De ce este folositoare Q–ortogonalitatea ? Sa presupunem ca avem problema
min
1
2
x
T
Qx −b
T
x, Q > 0,
care are o solutie unica x

ce satisface Qx = b. Fie d
0
, d
1
, . . . , d
n−1
un numar de n vectori
nenuli si Q–ortogonali (care sunt automat liniar independenti). Prin urmare
x

= α
0
d
0
+. . . +α
n−1
d
n−1
(10)
CAPITOLUL 4: Metode de Directii Conjugate 79 Directii Conjugate
pentru anumiti α
i
bine alesi. Inmultind cu Q si luand produsele scalare cu d
i
obtinem
α
i
=
d
T
i
Qx

d
T
i
Qd
i
=
d
T
i
b
d
T
i
Qd
i
(11)
ceea ce arata ca α
i
si solutia x

pot fi evaluate prin intermediul unor produse scalare simple. In
final avem
x

=
n−1

i=0
d
T
i
b
d
T
i
Qd
i
d
i
.
Din relatia de mai sus se desprind cateva idei fundamentale:
• Multimea d
i
–urilor s-a ales astfel incat toti termenii cu exceptia termenului i in (10) sa se anuleze
(aceasta se putea insa realiza si prin simpla ortogonalitate si nu neaparat prin Q–ortogonalitate).
• α
i
s-au putut exprima in functie de vectorul cunoscut b spre deosebire de situatia initiala in care
erau exprimati in functie de vectorul necunoscut x

.
• x

poate fi considerat rezultatul unui proces iterativ in care la pasul i se adauga termenul α
i
d
i
.
Teorema 52. Fie ¦d
i
]
n−1
i=0
o multime de vectori Q–ortogonal nenuli. Pentru oricare x
0
∈ R
n
sirul x
k
generat dupa formula
x
k+1
= x
k

k
d
k
, k ≥ 0, α
k
= −
g
T
k
d
k
d
T
k
Qd
k
, g
k
= Qx
k
−b,
converge la unica solutie x

a lui Qx = b dupa n pasi, i.e., x
n
= x

.
CAPITOLUL 4: Metode de Directii Conjugate 80 Directii Conjugate
2. Proprietati de Descrestere ale Metodei de Directii Conjugate
Fie B
k
:=< d
0
, d
1
, . . . , d
k−1
> . Aratam ca pe masura ce metoda de directii conjugate avanseaza
fiecare x
k
minimizeaza functia obiectiv pe varietatea liniara k–dimensionala x
0
+B
k
.
Teorema 53. [Teorema de Expandare a Subspatiilor] Fie ¦d
i
]
n−1
i=0
un sir de vectori nenuli
Q–ortogonali in R
n
. Atunci pentru oricare x
0
∈ R
n
sirul ¦x
k
] generat de
x
k+1
= x
k

k
d
k
, α
k
= −
g
T
k
d
k
d
T
k
Qd
k
,
are proprietatea ca x
k
minimizeaza f(x) =
1
2
x
T
Qx − b
T
x pe dreapta x = x
k−1
+ αd
k−1
,
−∞ < α < ∞, cat si pe varietatea liniara x
0
+B
k
.
Corolarul 54. In metoda de directii conjugate gradientii g
k
, k = 0, 1, . . . , n satisfac
g
T
k
d
i
= 0, i < k.
Nota: • B
k
⊂ B
k+1
.
• Deoarece x
k
minimizeaza f pe x
0
+B
k
, este evident ca x
n
este minimumul global al lui f.
CAPITOLUL 4: Metode de Directii Conjugate 81 Proprietati de Descrestere ale Metodei de Directii Conjugate
3. Metoda de Gradienti Conjugati
Directiile obtinute succesiv sunt versiuni conjugate ale gradientilor obtinuti pe masura ce metoda
avanseaza (sunt generati succesiv la fiecare pas nefiind cunoscuti de la bun inceput).
La pasul k se evalueaza gradientul negativ si se adauga unei combinatii liniare de directii
precedente pentru a obtine o noua directie conjugata de-a lungul careia se face deplasarea.
Avantajele metodei:
• Cu exceptia situatiei in care solutia s-a obtinut in mai putin de n pasi gradientul este intotdeauna
nenul si liniar independent in raport cu directiile precedente (gradientul este ortogonal pe
subspatiul B
k
generat de d
0
, d
1
, . . . , d
k−1
).
• Formula deosebit de simpla pentru generarea noii directii, facand metoda doar putin mai
complicata decat metoda celei mai abrupte pante.
• Procesul de cautare progreseaza satisfactor si uniform inspre solutie la fiecare pas deoarece
directiile sunt bazate pe gradienti (spre deosebire de multe metode de directii conjugate cu
directii generate arbitrar si in care progresul poate fi lent pana la ultimii cativa pasi). Acest lucru
nu este important pentru functii patratice ci pentru generalizarile la functii nepatratice.
CAPITOLUL 4: Metode de Directii Conjugate 82 Metoda de Gradienti Conjugati
Algoritmul de Gradienti Conjugati
Incepand cu x
0
∈ R
n
definim d
0
:= −g
0
= b −Qx
0
si
x
k+1
= x
k

k
d
k
, α
k
= −
g
T
k
d
k
d
T
k
Qd
k
, (12)
d
k+1
= −g
k+1

k
d
k
, β
k
=
g
T
k+1
Qd
k
d
T
k
Qd
k
, (13)
unde g
k
= Qx
k
−b.
Nota:
• Primul pas este identic ca in metoda celei mai abrupte pante;
• La fiecare pas deplasarea se face intr-o directie ce este o combinatie liniara a gradientului curent
si a directiilor precedente;
• Remarcati formulele simple pentru actualizarea directiei de deplasare (13).
CAPITOLUL 4: Metode de Directii Conjugate 83 Metoda de Gradienti Conjugati
Verificarea Algoritmului
Trebuie sa aratam ca vectorii d
k
sunt Q–ortogonali (acest lucru nu este deloc trivial !).
Demonstram acest lucru impreuna cu alte proprietati in teorema ce urmeaza.
Teorema 55. [Teorema de Gradienti Conjugati] Algoritmul de gradienti conjugati (12)–(13)
este o metoda de directii conjugate. Daca solutia nu este obtinuta la pasul k, i.e. in x
k
, atunci:
a) < g
0
, g
1
, . . . , g
k
>=< g
0
, Qg
0
, . . . , Q
k
g
0
>;
b) < d
0
, d
1
, . . . , d
k
>=< g
0
, Qg
0
, . . . , Q
k
g
0
>;
c) d
T
k
Qd
i
= 0, pentru i ≤ k −1;
d) α
k
=
g
T
k
g
k
d
T
k
Qd
k
;
e) β
k
=
g
T
k+1
g
k+1
g
T
k
g
k
.
Demonstratie: Se demonstreaza simultan a), b) si c) prin inductie – (vezi notele de curs pentru
demonstratia detaliata).
CAPITOLUL 4: Metode de Directii Conjugate 84 Metoda de Gradienti Conjugati
4. Metoda de Gradienti Conjugati ca Proces Optimal
Vom da in continuare o descriere alternativa a metodei de G–C care va conduce la un rezultat
profund de convergenta. Rezultatul este bazat in mod esential pe punctul b) al teoremei de G–C, mai
precis pe faptul ca spatiile B
k
in care se face succesiv minimizarea sunt determinate de gradientul
intitial g
0
si multiplicari ale acestuia cu Q.
Consideram o metoda alternativa de rezolvare a problemei de minimizare patratica. Dandu-se
x
0
arbitrar, fie
x
k+1
= x
0
+P
k
(Q)g
0
, (14)
unde P
k
este un polinom de grad k. Alegerea unei multimi de coeficienti pentru fiecare polinom
P
k
determina un sir x
k
. Obtinem
x
k+1
−x

= x
0
−x

+P
k
(Q)Q(x
0
−x

) = [I +QP
k
(Q)](x
0
−x

)
de unde
E(x
k+1
) =
1
2
(x
k+1
−x

)
T
Q(x
k+1
−x

) =
1
2
(x
0
−x

)Q[I +QP
k
(Q)]
2
(x
0
−x

).
Ne punem problema alegerii polinomului P
k
astfel incat sa minimizam E(x
k+1
) in raport cu clasa
CAPITOLUL 4: Metode de Directii Conjugate 85 Metoda de Gradienti Conjugati ca Proces Optimal
tuturor polinoamelor de grad k. Dezvoltand (14), obtinem
x
k+1
= x
0

0
g
0

1
Qg
0
+ +γ
k
Q
k
g
0
, (15)
in care γ
i
sunt coeficientii lui P
k
. Avand in vedere ca
B
k+1
=< d
0
, d
1
, . . . , d
k
>=< g
0
, Qg
0
, . . . , Q
k
g
0
>,
vectorul x
k+1
= x
0

0
d
0

1
d
1
+. . . +α
k
d
k
generat prin metoda de gradienti conjugati are
exact aceasta forma. Mai mult, conform Teoremei de Expandare a Subspatiilor coeficientii γ
i
sunt
determinati de metoda de gradienti conjugati astfel incat sa minimizeze E(x
k+1
).
Nota: • Problema alegerii unui P
k
optimal este rezolvata de metoda de gradienti conjugati.
• Relatia explicita intre coeficientii optimali γ
i
ai lui P
k
si α
i
, β
i
este complicata precum este si
relatia intre coeficientii lui P
k
si ai lui P
k+1
.
• Forta metodei de gradienti conjugati consta in faptul ca pe masura ce progreseaza rezolva automat
problemele optimale pentru P
k
prin actualizarea unei cantitati mici de informatie la fiecare pas.
Teorema 56. Punctul x
k+1
generat de metoda de gradienti conjugati satisface
E(x
k+1
) = min
P
k
1
2
(x
0
−x

)
T
Q[I +QP
k
(Q)]
2
(x
0
−x

),
unde minimul este considerat in raport cu toate polinoamele P
k
de grad k.
CAPITOLUL 4: Metode de Directii Conjugate 86 Metoda de Gradienti Conjugati ca Proces Optimal
Margini de Convergenta
Teorema 57. In metoda gradientilor conjugati avem
E(x
k+1
) ≤ max
λ
i
[1 +λ
i
P
k

i
)]
2
E(x
0
) (16)
pentru orice polinom P
k
de grad k, unde maximul este peste toate valorile proprii λ
i
ale lui Q.
Fiecare pas al metodei de gradienti conjugati este cel putin la fel de bun ca un pas al metodei celei
mai abrupte pante considerat in acelasi punct. Intr–adevar, presupunem ca x
k
s-a calculat prin
metoda de gradienti conjugati. Din (15) avem x
k
= x
0
+ γ
0
g
0
+ γ
1
Qg
0
+ . . . γ
k−1
Q
k−1
g
0
.
Daca x
k+1
este calculat din x
k
prin metoda celei mai abrupte pante atunci x
k+1
= x
k
− α
k
g
k
pentru anumiti α
k
. Din a) al Teoremei de Gradienti Conjugati x
k+1
va avea forma (15) si deoarece
pentru metoda de gradienti conjugati E(x
k+1
) este mai mic decat pentru orice alt x
k+1
de forma
(15), concluzia rezulta imediat. Cand avem oarecare informatii privitoare la structura de valori
proprii a lui Q, atunci putem exploata aceasta informatie pentru a construi P
k
. De exemplu, daca
stim ca matricea Q are m < n valori proprii distincte, atunci printr-o alegere potrivita a lui P
m−1
este posibil sa impunem conditia ca polinomul de grad m 1 + λP
m−1
(λ) sa aibe cele m zerouri
egale cu cele m valori proprii. Folosind acest polinom particular in (16) obtinem ca E(x
m
) = 0 si
deci solutia optimala se va obtine in m pasi in loc de n pasi.
CAPITOLUL 4: Metode de Directii Conjugate 87 Metoda de Gradienti Conjugati ca Proces Optimal
5. Metoda Partiala de Gradienti Conjugati
Ideea: Executam m + 1 ≤ n pasi din metoda G–C dupa care, in loc sa continuam, restartam
procedura din punctul curent dupa care se executa alti m+ 1 pasi ai metodei G–C ! Aceasta clasa
de metode are o importanta teoretica si practica de exceptie.
Cazuri particulare:
• m = 0: Metoda celei mai abrupte pante standard;
• m = n −1: Metoda G–C standard.
Pentru problema min
1
2
x
T
Qx −b
T
x, schema iterativa este :
x
k+1
= x
k
+P
(k)
(Q)g
k
, g
k
= Qx
k
−b
T
x,
unde P
k
este un polinom de grad m. Coeficientii acestui polinom sunt alesi astfel incat sa se
minimizeze
E(x
k+1
) =
1
2
(x
k+1
−x

)Q(x
k+1
−x

),
unde x

este punctul de minim. Conform rezultatelor din sectiunea precedenta, x
k+1
poate fi gasit
prin executarea a m+1 pasi din metoda de gradienti conjugati in locul gasirii directe a coeficientilor
polinomului.
CAPITOLUL 4: Metode de Directii Conjugate 88 Metoda PArtiala de Gradienti Conjugati
Rezultatele de convergenta din sectiunea precedenta sunt valabile si in acest caz. Totusi, atunci
cand matricea Qare o structura particulara de valori proprii ce este relativ des intalnita in problemele
de optimizare, cu predilectie in optimizari cu constrangeri, obtinem un rezultat interesant.
Sa presupunem ca matricea Q are m valori proprii mari (nu neaparat grupate impreuna) si
n −m valori proprii mai mici care apartin intervalului [a, b].
Exemplu: Problema cu constrangeri
min x
T
Qx −b
T
x
cu constrangerea c
T
x = 0,
ce poate fi aproximata prin problema neconstransa
min x
T
Qx −b
T
x +
1
2
µ(c
T
x)
2
, µ >> 0,
a carei convergenta este dictata de valorile proprii ale termenului patratic
1
2
(Q+µcc
T
). Se poate
arata ca atunci cand µ → ∞, o valoare proprie a acestei matrici tinde la infinit in timp ce celelalte
n −1 raman marginite in intervalul [a, A].
Daca aplicam matoda celei mai abrupte pante rata de convergenta va fi defavorabila si se va
deteriora pe masura ce il crestem pe µ. In continuare vom arata ca executand m + 1 pasi de
CAPITOLUL 4: Metode de Directii Conjugate 89 Metoda PArtiala de Gradienti Conjugati
gradienti conjugati efectul celor mai mari m valori proprii este eliminat si rata de convergenta este
determinata ca si cum aceste valori proprii nu ar fi prezente.
Teorema 58. [Metoda partiala de gradienti conjugati] Presupunem ca Q = Q
T
> 0 are
n − m valori proprii in intervalul [a, b], a > 0, si cele ramase sunt mai mari decat b. Atunci
pentru metoda partiala de gradienti conjugati restartata dupa m+ 1 pasi avem
E(x
k+1
) ≤

b −a
b +a

E(x
k
),
unde punctul x
k+1
se determina din x
k
prin m+ 1 pasi de gradienti conjugati.
Nota: Metoda partiala de gradienti conjugati poate fi vazuta ca o generalizare a metodei celei mai
abrupte pante atat in filozofie cat si in implementare si comportare. Rata de convergenta este
marginita de aceeasi formula insa cu cea mai mare valoare proprie eliminata.
CAPITOLUL 4: Metode de Directii Conjugate 90 Metoda PArtiala de Gradienti Conjugati
6. Extensii la Probleme Nepatratice
Metoda G–C poarte fi extinsa la cazul general (nepatratic) intr-un numar de directii diferite
in functie de ce proprietati ale lui f sunt mai usor de calculat: Aproximare Patratica, Metoda
Fletcher–Reeves, Metoda Polak–Ribiere, si PARTAN.
Aproximare patratica
Facem urmatoarele asocieri
g
k
↔ ∇f(x
k
)
T
, Q ↔ F(x
k
).
Algoritmul ce rezulta este identic cu G–C pentru probleme patratice, si implica o aproximare
patratica ce trebuie sa fie satisfacatoare macar local.
Cand se aplica problemelor nepatratice, metodele G–C nu se vor termina dupa n pasi si atunci
avem urmatoarele posibilitati:
• Continuam sa gasim directii conform algoritmului G–C pana cand un anumit criteriu de oprire
este indeplinit;
CAPITOLUL 4: Metode de Directii Conjugate 91 Extensii la Probleme Nepatratice
• Algoritmul se opreste dupa n (sau n+1) pasi si se restarteaza cu un pas de metoda de gradient
(cea mai abrupta panta).
Dintr-o serie de motive metoda a doua este de preferat conducand la urmatorul algoritm:
• Pasul 1. Incepand cu x
0
se calculeaza g
0
= ∇f(x
0
)
T
si se atribuie d
0
= −g
0
;
• Pasul 2. Pentru k = 0, 1, . . . , n −1:
a) Setam x
k+1
= x
k

k
d
k
, unde α
k
=
−g
T
k
d
k
d
T
k
F(x
k
)d
k
;
b) Se calculeaza g
k+1
= ∇f(x
k+1
)
T
;
c) Cat timp k < n −1, setam d
k+1
= −g
k+1

k
d
k
unde
β
k
=
g
T
k+1
F(x
k
)d
k
d
T
k
F(x
k
)d
k
si se repeta a);
Pasul 3. Se inlocuieste x
0
cu x
n
si se reia cu Pasul 1.
Avantaje: • Nu sunt necesare cautari unidimensionale la nici un pas;
• Algoritmul converge intr-un numar finit de pasi pentru o problema patratica.
Dezavantaje: • F(x
k
) trebuie evaluata la fiecare pas;
• Algoritmul nu este global convergent.
CAPITOLUL 4: Metode de Directii Conjugate 92 Extensii la Probleme Nepatratice
Cautari Unidimensionale
Este de preferat sa evitam asocierea Q ↔ F(x
k
).
Intai se gaseste α
k
la Pasul 2 a) printr–o cautare unidimensionala care minimizeaza functia
obiectiv (aceasta este in acord cu formula din cazul patratic).
In al doilea rand, formula pentru β
k
este inlocuita cu alta formula (echivalenta in cazul patratic):
β
k
=
g
T
k+1
g
k+1
g
T
k
g
k
(Metoda Fletcher–Reeves ) sau
β
k
=
(g
k+1
−g
k
)
T
g
k+1
g
T
k
g
k
(Metoda Polak–Ribiere).
Capitolul 5: Metode de Tip Qvasi–Newton 93 Cuprinsul Capitolului
Capitolul 5: METODE DE TIP QVASI–NEWTON
In acest capitol abordam intr-un nou mod problema gasirii unor metode intermediare intre
metoda celei mai abrupte pante si metoda lui Newton. Acestea sunt din nou motivate de dorinta de
a accelera convergenta tipic lenta a metodei celei mai abrupte pante in paralel cu evitarea evaluarii,
memorarii si inversarii Hessianului cerute de metoda lui Newton. Ideea principala aici este sa folosim
o aproximatie a inversei Hessianului in locul inversei exacte.
Aceasta metode sunt cele mai sofisticate metode disponibile Analiza convergentei este relativ
complicata si ne vom rezuma doar la a prezenta principalele caracteristici.
1. Metoda Newton Modificata
2. Constructia Inversei
3. Metoda Davidon–Fletcher–Powell
4. Familii Broyden
5. Proprietati de Convergenta
6. Metode Qvasi–Newton fara Memorie
Capitolul 5: Metode de Tip Qvasi–Newton 94 Cuprinsul Capitolului
1. Metoda Newton Modificata
Consideram problema min f(x) si propunem o rezolvare bazata pe procesul iterativ general
x
k+1
= x
k
−α
k
S
k
∇f(x
k
)
T
, (17)
unde S
k
este o matrice n·n simetrica si α
k
este ales astfel incat sa minimizeze f(x
k+1
). (Pentru
S
k
= I obtinem metoda celei mai abrupte pante iar pentru S
k
= F(x
k
)
−1
obtinem metoda lui
Newton). Filosofia acestei modificari a metodei standard este sa alegem S
k
aproximativ egal cu
F(x
k
)
−1
, cu conditia suplimentarea ca aceasta aproximatie sa fie usor de construit.
Nota: • Pentru a garanta descresterea pentru α mici trebuie sa impunem S
k
> 0.
• Ca de obicei prezentam metodele intai pentru problema patratica
1
2
x
T
Qx −b
T
x, Q = Q
T
> 0
si apoi extindem, prin aproximare, la probleme mai generale. Pentru cazul patratic avem
x
k+1
= x
k
−α
k
S
k
g
k
, g
k
= Qx
k
−b, α
k
=
g
T
k
S
k
g
k
g
T
k
S
k
QS
k
g
k
. (18)
Capitolul 5: Metode de Tip Qvasi–Newton 95 Metoda Newton Modificata
Teorema 59. [Cazul patratic] Fie x

punctul unic de minim al lui f. Definim E(x) :=
1
2
(x −x

)Q(x −x

). Pentru algoritmul (18)–(18) avem la fiecare pas k
E(x
k+1
) ≤

B
k
−b
k
B
k
+b
k

2
E(x
k
),
unde b
k
si B
k
sunt cea mai mica si respectiv cea mai mare valoare proprie a matricii S
k
Q.
Nota: • Pentru cazul patratic trebuie sa asiguram ca S
k
este cat mai apropiat Q
−1
intrucat in
acest caz atat b
k
cat si B
k
sunt aproape de 1 si convergenta va fi rapida.
• Pentru cazul nepatratic trebuie sa asiguram ca S
k
este cat mai apropiat de F(x
k
)
−1
.
• Algoritmul (17) nu contine idei noi ci este o extensie simpla a rezultatelor anterioare.
• Teorema precedenta constituie un instrument puternic ce poate caracteriza proprietatile de
convergenta ale unor algoritmi relativ complecsi de tipul qvasi–Newton prezentati in acest capitol.
O Metoda Clasica
O metoda standard pentru a aproxima metoda lui Newton fara evaluarea lui F(x
k
)
−1
pentru fiecare
k este
x
k+1
= x
k
−α
k
[F(x
0
)]
−1
∇f(x
k
)
T
,
adica Hessianul in punctul initial x
0
este folosit in intregul proces de cautare. Eficacitatea procedurii
este guvernata de cat de rapid se schimba Hessianul, adica de marimea derivatei de ordinul 3.
Capitolul 5: Metode de Tip Qvasi–Newton 96 Metoda Newton Modificata
2. Constructia Inversei
Ideile principale ale metodelor qvasi–Newton sunt:
• Constructia unei aproximatii ale inversei Hessianului folosind informatie obtinuta pe masura ce
procesul de cautare evolueaza;
• Aproximarea curenta H
k
este folosita la fiecare pas pentru a defini noua directie de cautare
punand S
k
= H
k
in metoda Newton modificata;
• Aproximarea converge la inversa Hessianului in punctul solutie iar metoda per ansamblu se
comporta relativ similar metodei lui Newton.
Fie f : R
n
de clasa c
2
. Pentru doua puncte x
k+1
si x
k
definim g
k+1
:= ∇f(x
k+1
)
T
,
g
k
:= ∇f(x
k
)
T
si p
k
= x
k+1
−x
k
. Atunci
g
k+1
−g
k
≈ F(x
k
)p
k
.
Daca Hessianul F este constant atunci avem
q
k
:= g
k+1
−g
k
= Fp
k
(19)
si vedem ca evaluarea gradientului in doua puncte ne furnizeaza informatie despre F.
Capitolul 5: Metode de Tip Qvasi–Newton 97 Constructia Inversei
Presupunand ca n directii liniar independente p
0
, p
1
, . . . , p
n−1
si q
k
corespunzatori sunt
cunoscuti atunci F este determinat in mod unic. Intr–adevar, daca P si Q sunt matrici n ·n cu
coloane p
k
si q
k
respectiv, avem
F = QP
−1
.
Construim aproximatii succesive H
k
pentru F
−1
bazandu-ne pe datele obtinute la primii k pasi ai
procesului de cautare astfel incat daca F ar fi fost constant aproximarea sa fie consistenta cu (19)
pentru acesti pasi adica
H
k+1
q
i
= p
i
, 0 ≤ i ≤ k. (20)
Dupa n pasi liniar independenti vom avea H
n
= F
−1
.
Pentru orice k < n fixat, problema construirii unui H
k
potrivit admite o infinitate de solutii
deoarece exista mai multe grade de libertate decat constrangeri. In particular, se pot satisface
proprietati suplimentare prin exploatarea gradelor de libertate.
Corectii de Rang 1
Definim o recurenta de forma
H
k+1
:= H
k
+a
k
z
k
z
T
k
(= H
T
k+1
)
unde z
k
este un vector si a
k
un scalar ce definesc o matrice de rang (cel mult) unu. Alegem z
k
si
a
k
a.i. (20) este indeplinita obtinand urmatorul rezultat.
Capitolul 5: Metode de Tip Qvasi–Newton 98 Constructia Inversei
Teorema 60. Fie F = F
T
o matrice fixata si presupunem ca vectorii p
0
, p
1
, . . . p
k
sunt dati.
Definim q
i
= Fp
i
, i = 0, 1, . . . , k. Initializand cu orice matrice simetrica H
0
fie
H
i+1
= H
i
+
(p
i
−H
i
q
i
)(p
i
−H
i
q
i
)
T
q
T
i
(p
i
−H
i
q
i
)
. (21)
Atunci
p
i
= H
k+1
q
i
, i ≤ k.
Procedura globala:
1. Calculam directia de cautare d
k
cu formula d
k
:= −H
k
g
k
;
2. Minimizam f(x
k

k
d
k
) in raport α ≥ 0;
3. Determinam x
k+1
= x
k

k
d
k
, p
k
= α
k
d
k
si g
k+1
;
4. Calculam H
k+1
din (21) pentru i = k.
Dificultati: • Formula de actualizare (21) pastreaza pozitivitatea doar daca
q
T
i
(p
i
−H
i
q
i
) > 0.
• Chiar daca aceasta cantitate este pozitiva, poate fi relativ mica, conducand deci la probleme
numerice majore la inversare.
Capitolul 5: Metode de Tip Qvasi–Newton 99 Constructia Inversei
3. Metoda Davidon–Fletcher–Powell
• Prima metoda obtinuta original de Davidon si imbunatatita de Fletcher si Powell;
• Are proprietatea atractiva ca pentru o functie patratica genereaza directiile de gradienti conjugati
construind simultan inversa Hessianului !
• La fiecare pas inversa Hessianului este actualizata printr-o suma de doua matrici simetrice de
rang 1;
• Este o procedura de corectie de rang 2 numita si metoda de metrica variabila.
Procedura: Se incepe cu orice matrice simetrica si pozitiv definita H
0
, orice punct x
0
, si k = 0.
Pasul 1: d
k
:= −H
k
g
k
;
Pasul 2: Se minimizeaza f(x
k
+αd
k
) in raport cu α ≥ 0 pentru a obtine x
k+1
, p
k
= α
k
d
k
,
si g
k+1
;
Pasul 3: Se seteaza q
k
= g
k+1
−g
k
si
H
k+1
= H
k
+
p
k
p
T
k
p
T
k
q
k

H
k
q
k
q
T
k
H
k
q
T
k
H
k
q
k
.
Se actualizeaza k si se trece la Pasul 1.
Capitolul 5: Metode de Tip Qvasi–Newton 100 Metoda Davidon–Fletcher–Powell Method
Se pot demonstra urmatoarele proprietati atractive:
• H
k
> 0 → H
k+1
> 0.
• Daca f este functie patratica cu Hessianul constant F atunci metoda D–F–P produce directii p
k
care sunt F–conjugate. Daca metoda se ruleaza n pasi atunci H
n
= F
−1
.
Teorema 61. Daca f este patratica avand Hessianul F pozitiv definit, atunci pentru metoda
D–F–P avem
p
T
i
Fp
j
= 0, 0 ≤ i < j ≤ k, (22)
H
k+1
Fp
i
= p
i
, 0 ≤ i ≤ k. (23)
Nota:
• Deoarece p
k
sunt F–ortogonali si deoarece minimizam f succesiv de-alungul acestor directii
observam ca procedura este de fapt o metoda de gradienti conjugati.
• Daca aproximarea initiala H
0
este luata egala cu matricea identitate (H
0
= I) metoda coincide
cu metoda de gradienti conjugati.
• In orice caz, procesul iterativ converge exact in n pasi.
• p
0
, p
1
, . . . , p
k
sunt vectori proprii corespunzatori unor valori proprii unitare pentru matricea
H
k+1
F (asa cum rezulta din (23)). Acesti vectori proprii sunt liniar independenti deoarece sunt
F–ortogonali si prin urmare H
n
= F
−1
.
Capitolul 5: Metode de Tip Qvasi–Newton 101 Metoda Davidon–Fletcher–Powell Method
4. Familii Broyden
Formulele de actualizare pentru inversul Hessianului sunt bazate pe satisfacerea relatiilor
H
k+1
q
i
= p
i
, 0 ≤ i ≤ k, (24)
care s-a obtinut din
q
i
= Fp
i
, 0 ≤ i ≤ k,
ce are loc in cazul pur patratic.
Exista posibilitatea sa actualizam aproximatii ale Hessianului propriu–zis in loc sa actualizam
inversa acestuia caz in care trebuie sa satisfacem relatiile
q
i
= B
k+1
p
i
, 0 ≤ i ≤ k. (25)
Ecuatia (25) are aceeasi forma ca (24) cu exceptia faptului ca q
i
si p
i
sunt interschimbate si H
este inlocuit cu B. Prin urmare orice formula pentru H obtinuta pentru a satisface (24) poate fi
transformata intr-o formula de actualizare pentru B, adica obtinem o formula complementara prin
interschimbarea rolurilor lui B si H si respectiv ale lui q si p. Viceversa, orice formula de actualizare
Capitolul 5: Metode de Tip Qvasi–Newton 102 Familii Broyden
care satisface (25) poate fi transformata intr-o formula complementara pentru actualizarea lui H.
Este usor de verificat ca daca luam complementul unui complement obtinem formula originala.
De exemplu, actualizarea de rang unu este
H
k+1
= H
k
+
(p
k
−H
k
q
k
)(p
k
−H
k
q
k
)
T
q
T
k
(p
k
−H
k
q
k
)
si formula complementara corespunzatoare este
B
k+1
= B
k
+
(q
k
−B
k
p
k
)(q
k
−B
k
p
k
)
T
p
T
k
(q
k
−B
k
p
k
)
.
Similar, formula D–F–P
H
DFP
k+1
= H
k
+
p
k
p
T
k
p
T
k
q
k

H
k
q
k
q
T
k
H
k
q
T
k
H
k
q
k
devine prin luarea complementului
B
k+1
= B
k
+
q
k
q
T
k
q
T
k
p
k

B
k
p
k
p
T
k
B
k
p
T
k
B
k
p
k
(26)
care mai este cunoscuta sub numele de actualizarea Broyden–Fletcher–Goldfarb–Shanno.
Capitolul 5: Metode de Tip Qvasi–Newton 103 Familii Broyden
O modalitate alternativa de a transforma o formula de actualizare pentru H intr–una pentru
B si viceversa este prin calcularea inversei. Incepand cu
H
k+1
q
i
= p
i
, 0 ≤ i ≤ k,
avem
q
i
= H
−1
k+1
p
i
, 0 ≤ i ≤ k,
ceea ce inseamna ca H
−1
k+1
satisface (25) care este criteriul pentru actualizarea lui B.
Deosebit de important, inversa unei formule de actualizare de rang 2 este tot o formula de rang
2. Acest lucru se poate verifica folosind celebra formula Sherman–Morrison
[A +ab
T
]
−1
= A
−1

A
−1
ab
T
A
−1
1 +b
T
A
−1
a
(27)
unde A este o matrice n · n si a si b sunt vectori n–dimensionali (desigur ca formula este
adevarata cu conditia ca inversele respective sa existe).
Actualizarea Broyden–Fletcher–Goldfarb–Shanno pentru H produce, prin calcularea inversei, o
actualizare corespunzatoare pentru H de forma
H
BFGS
k+1
= H
k
+

1 +
q
T
k
H
k
q
k
q
T
k
p
k
_
p
k
p
T
k
p
T
k
q
k

p
k
q
T
k
H
k
+H
k
q
k
p
T
k
q
T
k
p
k
. (28)
Capitolul 5: Metode de Tip Qvasi–Newton 104 Familii Broyden
Remarci:
• Aceasta formula poate fi folosita in mod identic cu formula D–F–P;
• Experimente numerice au indicat ca performantele ei sunt superioare formulei D–F–P;
• Ambele formule D–F–P si B–F–G–S contin corectii de rang 2 simetrice ce se construiesc din
vectorii p
k
si H
k
q
k
. Prin urmare o combinatie liniara ponderata a acestor formule va fi de acelasi
tip (simetrica, rang 2, construita pe baza lui p
k
si H
k
q
k
).
Obtinem astfel o intreaga colectie de actualizari cunoscute sub numele de familii Broyden
definite de
H
φ
= (1 −φ)H
DFP
+φH
BFGS
(29)
unde φ este un parametru ce poate lua orice valoare reala.
O metoda Broyden este definita ca o metoda qvasi–Newton in care la fiecare iteratie un membru
al familiei Broyden este folosit ca formula de actualizare. In general, parametrul φ variaza de la
o iteratie la alta si prin urmare trebuie sa specificam sirul φ
1
, φ
2
, . . .. O metoda Broyden pura
foloseste un φ constant. Deoarece H
DFP
si H
BFGS
satisfac relatia fundamentala (24) aceasta
relatie este deasemenea satisfacuta de toti membrii familiei Broyden.
Teorema 62. Daca f este patratica cu Hessian pozitiv definit F, atunci pentru o metoda Broyden
avem
p
T
i
Fp
j
= 0, 0 ≤ i < j ≤ k, (30)
Capitolul 5: Metode de Tip Qvasi–Newton 105 Familii Broyden
H
k+1
Fp
i
= p
i
, 0 ≤ i ≤ k. (31)
Observatii:
• Familia Broyden nu pastreaza cu necesitate pozitivitatea lui H
φ
pentru toate valorile lui φ;
• Alegerea sirului φ
k
este irelevanta pentru functii patratice (vezi teorema de mai sus). Se poate
arata ca si pentru functii nepatratice si cautari unidimensionale exacte punctele generate de toate
metodele Broyden coincid (daca singularitatile sunt evitate si minimele multiple sunt rezolvate in
mod consistent). Deci anumite diferente apar numai in cazul cautarilor unidimensionale inexacte.
Proprietati ale metodelor Broyden:
• Necesita numai informatie despre gradient (derivate de ordinul 1);
• Directiile de deplasare sunt intotdeauna de descrestere daca asiguram H
k
> 0;
• In general H
k
converge la inversa Hessianului (in cel mult n pasi pentru functii patratice);
Metode Partiale de tip Qvasi–Newton
Metodele de tip Broyden pot fi restartate la fiecare m+1 < n pasi, obtinandu-se metode partiale
de tip qvasi–Newton. Pentru m mic, acestea necesita memorie modesta intrucat aproximatia
inversei Hessianului poate fi memorata implicit prin memorarea vectorilor p
i
si q
i
, i ≤ m + 1. In
cazul patratic aceasta corespunde exact cu metoda partiala de gradienti conjugati si are proprietati
similare de convergenta.
Capitolul 5: Metode de Tip Qvasi–Newton 106 Familii Broyden
5. Proprietati de Convergenta
Diversele metode qvasi–Newton sunt relativ dificil de analizat si prin urmare analiza lor este
adesea facuta prin analogie.
Convergenta Globala
Metodele qvasi–Newton sunt rulate intr-o maniera continua, incepand cu o aproximatie initiala care
este imbunatatita de-alungul intregului proces iterativ.
Sub anumite ipoteze relativ stringente se poate demonstra ca procedurile sunt global
convergente.
Alternativ, daca se restarteaza metoda qvasi–Newton la fiecare n sau n + 1 pasi atunci
convergenta globala este garantata de prezenta primului pas iterativ la fiecare ciclu.
Convergenta Locala
Metodele au in general convergenta superliniara. Trebuie remarcat ca metodele sunt relativ sensibile
la cautari unidimensionale inexacte.
Capitolul 5: Metode de Tip Qvasi–Newton 107 Proprietati de Convergenta
6. Metode Qvasi–Newton fara Memorie
Analiza precedenta a metodelor qvasi–Newton poate fi folosita ca baza pentru reconsiderarea
metodelor de gradienti conjugati si obtinerea unei noi clase de proceduri atractive.
Sa consideram o simplificare a metodei qvasi–Newton BFGS in care H
k+1
este definit de o
actualizare BFGS aplicata lui H = I in locul lui H
k
. Astfel H
k+1
este determinat fara referinta la
precedentul H
k
si prin urmare actualizarea se numeste fara memorie.
Procedura: Startam in orice punct x
0
cu k = 0.
Pasul 1: Setam H
k
= I;
Pasul 2: Setam
d
k
= −H
k
g
k
; (32)
Pasul 3: Minimizam f(x
k
+αd
k
) in raport cu α ≥ 0 pentru a obtine α
k
, x
k+1
, p
k
= α
k
d
k
,
g
k+1
, si q
k
= g
k+1
−g
k
(trebuie ales α
k
suficient de precis pentru a asigura p
T
k
q
k
> 0).
Capitolul 5: Metode de Tip Qvasi–Newton 108 Metode Qvasi–Newton fara Memorie
Pasul 4: Daca k nu este multiplu de n setam
H
k+1
= I +

1 +
q
T
k
q
k
q
T
k
p
k
_
p
k
p
T
k
p
T
k
q
k

p
k
q
T
k
+q
k
p
T
k
q
T
k
p
k
. (33)
Fie k := k + 1 si ne intoarcem la Pasul 2. Daca k este multiplu de n ne intoarcem la Pasul 1.
Combinand (32) si (33) este usor de vazut ca
d
k+1
= −g
k+1

1 +
q
T
k
q
k
q
T
k
p
k
_
p
k
p
T
k
g
k+1
p
T
k
q
k
+
p
k
q
T
k
g
k+1
+q
k
p
T
k
g
k+1
q
T
k
p
k
. (34)
Daca fiecare cautare unidimensionala este exacta, atunci p
T
k
g
k+1
= 0 si prin urmare p
T
k
q
k
=
−p
T
k
g
k
. In acest caz (34) este echivalenta cu
d
k+1
= −g
k+1
+
q
T
k
g
k+1
p
T
k
q
k
= −g
k+1

k
d
k
,
unde β
k
=
q
k
q
T
k+1
g
T
k
q
k
. Aceasta coincide cu forma Polak–Ribiere a gradientilor conjugati. Prin urmare
folosirea actualizarii BFGS in aceasta maniera conduce la un algoritm de tip Newton modificat cu
coeficient matriceal pozitiv definit si care este echivalent cu o implementare standard a metodei de
gradient conjugat atunci cand cautarea unidimensionala este exacta.
Capitolul 5: Metode de Tip Qvasi–Newton 109 Metode Qvasi–Newton fara Memorie
Cu toate acestea acest algoritm este folosit fara cautare unidimensionala exacta intr-o forma
similara cu metoda de gradienti conjugati folosind (34).
Mai general, se poate extinde aceasta idee si se poate obtine o actualizare Broyden fara memorie
de forma
d
k+1
= −g
k+1
+ (1 −φ)
q
T
k
g
k+1
q
T
k
q
k
q
k

q
T
k
g
k+1
q
T
k
p
k
p
k
.
Aceasta este echivalenta cu metoda de gradienti conjugati doar pentru φ = 1, corespunzand
actualizarii BFGS. Prin urmare, in multe situatii, se prefera φ = 1 pentru aceasta metoda.
Capitolul 6: Minimizare cu Constrangeri 110 Introducere
Capitolul 6: CONDITII DE MINIMIZARE CU CONSTRANGERI
Constrangeri
Plan Tangent
Conditii Necesare de Ordinul Intai (Constrangeri de Tip Egalitate)
Exemple
Conditii de Ordinul Doi
Valori Proprii in Subspatiul Tangent
Constrangeri de Tip Inegalitate
Principalele idei in studiul problemelor cu constrangeri de tip egalitate sunt:
• Caracterizarea suprafetei determinate de curba fezabila definita de aceste egalitati (in R);
• Considerarea valorii functiei obiectiv de–alungul unor curbe pe aceasta suprafata;
Incepem prin studiul conditiilor necesare si suficiente satisfacute in punctele solutie. Principalele
instrumente tehnice sunt multiplicatorii Lagrange si o matrice Hessiana speciala care, folosite
impreuna, formeaza fundatia pentru dezvoltarea si analiza algoritmilor folositi in cazul constrans.
Capitolul 6: Minimizare cu Constrangeri 111 Introducere
1. Constrangeri
Problema generala neliniara de care ne ocupam este
minimizeaza f(x)
cand h
i
(x) = 0, i = 1, 2, . . . , m,
g
j
(x) ≤ 0, j = 1, 2, . . . , p,
x ∈ Ω ⊂ R
n
,
unde m ≤ n iar functiile f, h
i
si g
j
(i = 1, 2, . . . , m, j = 1, 2, . . . , p) sunt continue
(de obicei chiar de clasa c
2
). Pentru simplificarea notatiei introducem functiile vectoriale h =
(h
1
, h
2
, . . . , h
m
) si g = (g
1
, g
2
, . . . , g
p
).
Constrangerile h(x) = 0 si g(x) ≤ 0 sunt numite constrangeri functionale in timp ce x ∈ Ω
este o constrangere de tip multime. Intocmai ca in cazul neconstrans, consideram ca Ω este R
n
sau
presupunem ca punctele solutie sunt in interiorul lui Ω.
Punct fezabil: Un punct satisfacand toate constrangerile functionale.
Constrangeri active: O constrangere de tip inegalitate g
i
(x) ≤ 0 se numeste activa intr-un
punct fezabil daca g
i
(x) = 0 si inactiva daca g
i
(x) < 0. Prin conventie toate constrangerile de
tip egalitate sunt active.
Capitolul 6: Minimizare cu Constrangeri 112 Constrangeri
Observatii:
• Constrangerile active intr–un punct fezabil restrang domeniul de fezabilitate intr-o vecinatate a
lui x in timp ce cele inactive nu au nici o influenta (in vecinatatea lui x);
• Presupunand ca stim a priori care constrangeri sunt active in punctele solutie, punctul solutie va
fi un minim local al problemei definita prin ignorarea constrangerilor inactive si tratarea tuturor
constrangerilor active drept constrangeri de tip egalitate. In acest caz se poate considera ca
problema are numai constrangeri de tip egalitate;
• Vom considera in continuare probleme avand numai constrangeri de tip egalitate pentru a
economisi notatie si a izola principalele idei ce guverneaza problemele constranse. Ulterior, vom
proceda la anumite adaugiri privitoare la modul de alegere al constrangerilor active;
• Principala noastra preocupare o constituie solutiile locale si vom da doar anumite scurte remarci
privind solutiile globale;
Capitolul 6: Minimizare cu Constrangeri 113 Constrangeri
2. Plan Tangent
Multimea de egalitati
h
i
(x) = 0, i = 1, 2, . . . , m, (35)
defineste o submultime a lui R
n
numita o (hiper)suprafata. Daca egalitatile sunt regulate, intr-un
sens ce va fi descris mai jos, atunci hipersuprafata este regulata si are dimensiune n −m.
Suprafata neteda: Daca functiile h
i
apartin lui c
1
, (i = 1, 2, . . . , m).
Curba pe suprafata S: O familie de puncte x(t) ∈ S parametrizate continuu de t, a ≤ t ≤ b.
Curba diferentiabila x(t): Daca x(t) este diferentiabila in raport cu t (acesta este o functie
vectoriala).
O curba x(t) trece printr–un punct x

daca x

= x(t

) pentru un t

a.i. a ≤ t

≤ b.
Plan tangent in punctul x

: Multimea tuturor derivatelor in x

ale tuturor curbelor diferentiabile
pe S care trec prin x

(acesta este un subspatiu a lui R
n
).
Pentru caracterizarea planului tangent la o curba (35) introducem urmatoarele definitii.
Capitolul 6: Minimizare cu Constrangeri 114 Plan Tangent
Definitia 63. Un punct x

care satisface constrangerea h(x

) = 0 este numit regulat pentru
respectiva constrangere daca vectorii gradient ∇h
1
(x

), . . . , ∇h
m
(x

) sunt liniar independenti.
Teorema 64. Intr-un punct regulat x

pe suprafata definita de h(x) = 0 planul tangent este
M = ¦y : ∇h(x

)y = 0].
Observatie: Conditia de regularitate a unui punct nu este intrinseca suprafetei definita de constrangeri
ci este specifica reprezentarii particulare in termenii lui h. Planul tangent este independent de
reprezentare in timp ce M nu este.
Exemplul 65. Fie h(x
1
, x
2
) = 0. Atunci h = 0 genereaza axa x
2
, si fiecare punct pe aceasta
axa este regulat. Alternativ, daca h(x
1
, x
2
) = x
2
1
din nou S este axa x
2
dar acum nici un punct
de pe axa nu este regulat. Intr-adevar, avem M = R
2
, in timp ce planul tangent este axa x
2
.
Capitolul 6: Minimizare cu Constrangeri 115 Plan Tangent
3. Conditii Necesare de Ordinul Intai
Lema 66. Fie x

punct regulat al constrangerilor h(x) = 0 si punct de extrem local al lui f cu
constrangerile h. Atunci oricare ar fi y ∈ R
n
care satisface
∇h(x

)y = 0
satisface deasemenea
∇f(x

)y = 0.
Aceasta lema arata ca ∇f(x

) este ortogonal la planul tangent ceea ce implica ca este o
combinatie liniara a gradientilor lui h evaluati in x

(coeficientii acestei combinatii liniare sunt exact
multiplicatorii Lagrange).
Teorema 67. [Conditii necesare de ordinul intai] Fie x

un punct de extrem local al lui f cu
constrangerile h(x) = 0. Presupunem ca x

este un punct regulat pentru aceste constrangeri.
Atunci exista λ ∈ R
m
astfel incat
∇f(x

) +λ
T
∇h(x

) = 0.
Capitolul 6: Minimizare cu Constrangeri 116 Conditii Necesare de Ordinul Intai
Observatie: Conditiile necesare de ordinul intai
∇f(x

) +λ
T
∇h(x

) = 0
impreuna cu constrangerile
h(x

) = 0
dau n+m ecuatii (in general neliniare) cu n+m variabile ce sunt componentele lui x

si λ. Deci
in cazuri “nepatologice” conditiile necesare pot furniza o solutie unica !
In termenii Lagrangianului asociat cu problema constransa
(x, λ) := f(x) +λ
T
h(x)
conditiile necesare pot fi exprimate in forma

x
(x, λ) = 0,

λ
(x, λ) = 0.
4. Exemple
– de discutat la Seminar –
Capitolul 6: Minimizare cu Constrangeri 117 Conditii Necesare de Ordinul Intai
5. Conditii de Ordinul Doi
In aceasta sectiune presupunem ca f, h ∈ c
2
.
Teorema 68. [Conditii Necesare de Ordinul Doi] Presupunem ca x

este un minim local al lui
f cu constrangerile h = 0 si este punct regulat al acestor constrangeri. Atunci exista λ ∈ R
m
astfel incat
∇f(x

) +λ
T
∇h(x

) = 0.
Daca M = ¦y : ∇h(x

)y = 0] este planul tangent atunci matricea
L(x

) = F(x

) +λ
T
H(x

)
este pozitiv semidefinita pe M adica
y
T
L(x

)y ≥ 0, ∀y ∈ M.
Observatii: Pentru o functie vectoriala h = (h
1
, h
2
, . . . , h
m
) prima derivata este o matrice m·n
∇h(x) :=

∂h
i
(x)
∂x
j

Capitolul 6: Minimizare cu Constrangeri 118 Conditii de Ordinul Doi
iar a doua derivata este un tensor tridimensional definit in termenii celor m Hessieni
H
1
(x), . . . , H
m
(x) corespunzatori celor m componente ale functiei. Avem deasemenea ca
gradientul lui λ
T
h(x) este λ
T
∇h(x) iar Hessianul este
λ
T
H(x) :=
m

i=1
λ
i
H
i
(x).
Teorema 69. [Conditii Suficiente de Ordinul Doi] Presupunem ca exista un punct x

care
satisface h(x

) = 0 si un λ ∈ R
n
astfel incat
∇f(x

) +λ
T
∇h(x

) = 0.
Sa presupunem deasemenea ca matricea
L(x

) = F(x

) +λ
T
H(x

)
este pozitiv definita pe M = ¦y : ∇h(x

)y = 0], adica pentru y ∈ M, y ,= 0, avem
y
T
L(x

)y > 0. Atunci x

este un minim local strict al lui f cu constrangerile h(x) = 0.
Capitolul 6: Minimizare cu Constrangeri 119 Conditii de Ordinul Doi
6. Valori Proprii in Subspatiul Tangent
Matricea L restrictionata la subspatiul M care este tangent la suprafata definita de constrangeri
joaca in cadrul conditiilor de ordin doi un rol similar cu cel jucat de Hessianul functiei obiectiv in
cazul fara constrangeri.
Mai mult, valorile proprii corespunzatoare ale lui L restrictionate la M (notam acest operator
cu L
M
) determina rata de convergenta a algoritmilor corespunzatori.
Definim L
M
: M → M prin L
M
(y) := proiectia lui Ly pe M. Aceasta este o aplicatie
liniara din M in M.
Un vector y ∈ M este un vector propriu al lui L
M
daca exista un numar real λ astfel incat
L
M
y = λy, si λ este atunci o valoare proprie. In particular, y este un vector propriu daca Ly
poate fi scris ca suma intre λy si un vector ortogonal pe M.
Reprezentare matriciala pentru L
M
: Fie e
1
, e
2
, . . . , e
n−m
o baza ortonormala pentru M si E
matricea baza corespunzatoare de dimensiune n ·(n −m),
∀y ∈ M, ∃z ∈ R
n−m
, a. i. y = Ez.
Capitolul 6: Minimizare cu Constrangeri 120 Valori Proprii in Subspatiul Tangent
Prin urmare E
T
LEz este vectorul ale carui componente dau reprezentarea in termenii bazei si,
in mod corespunzator, matricea de dimensiune (n − m) · (n − m) E
T
LE este reprezentarea
matriceala a lui L restrictionat la M.
Valorile proprii ale lui L restrictionat la M sunt exact valorile proprii ale lui E
T
LE si acestea
sunt independente de matricea baza ortogonala E.
Hessieni Bordati
Abordarea de mai sus pentru determinarea valorilor proprii ale lui L
M
este simpla si directa. Putem
insa considera si o alta abordare utila bazata pe constructia unor matrici si determinanti de ordin
n +m in loc de n −m. Vom da intai cateva caracterizari :
M = ¦x ∈ R
n
: ∇hx = 0];
z ⊥ M ⇔ z = ∇h
T
w, w ∈ R
m
(necesitatea este mai greu de aratat). In plus, x este un vector propriu al lui L
M
daca satisface
urmatoarele doua conditii:
1. x ∈ M;
2. Lx = λx +z, unde z ⊥ M.
Capitolul 6: Minimizare cu Constrangeri 121 Valori Proprii in Subspatiul Tangent
Acestea sunt echivalente in termenii lui z cu
∇hx = 0
Lx = λx +∇h
T
w
care este un sistem de n + m ecuatii liniare in necunoscutele w, x. Acesta are o solutie nenula
daca si numai daca determinantul este zero, i.e.,
det

O ∇h
−∇h
T
L −λI

≡ p(λ) = 0.
Observati ca p(λ) este un polinom in λ de grad n−m. Prin modul de obtinere el este si polinomul
caracteristic al lui L
M
. Obtinem urmatorul criteriu:
Teorema 70. [Hessian Bordat] Matricea L este pozitiv definita pe subspatiul M = ¦x :
∇hx = 0] daca si numai daca ultimii n −m minori principali ai lui
B =

O ∇h
∇h
T
L

au toti semnul (−1)
m
.
Capitolul 6: Minimizare cu Constrangeri 122 Valori Proprii in Subspatiul Tangent
7. Constrangeri de Tip Inegalitate
Consideram acum probleme de forma
minimizeaza f(x)
cu h(x) = 0,
g(x) ≤ 0,
(36)
unde f, h, g sunt de clasa c
1
iar g este o functie p–dimensionala.
Definitia 71. Fie x

un punct ce satisface constrangerile
h(x

) = 0, g(x

) ≤ 0
si fie J multimea indicilor j pentru care g
j
(x

) = 0. Atunci x

este numit un punct regulat
al constrangerilor daca vectorii gradient ∇h
i
(x

), ∇g
j
(x

), 1 ≤ i ≤ m, j ∈ J sunt liniar
independenti.
Teorema 72. [Kuhn–Tucker] Fie x

un punct de minim relativ pentru problema (36) si
presupunem ca x

este un punct regulat pentru constrangeri. Atunci exista un vector λ ∈ R
n
si un
Capitolul 6: Minimizare cu Constrangeri 123 Constrangeri de Tip Inegalitate
vector µ ∈ R
p
, cu µ ≥ 0, astfel incat
∇f(x

) +λ
T
∇h(x

) +µ
T
∇g(x

) = 0,
µ
T
g(x

) = 0.
(37)
Teorema 73. [Conditii Necesare de Ordinul Doi] Presupunem ca functiile f, h, g ∈ c
2
, x

este un minim local pentru (36) si este punct regulat al respectivelor constrangeri. Atunci exista
λ ∈ R
m
, µ ∈ R
p
, µ ≥ 0 a. i. (37) este adevarata si astfel incat
L(x

) = F(x

) +λ
T
H(x

) +µ
T
G(x

)
este pozitiv semidefinita pe subspatiul tangent al constrangerilor active in x

.
Teorema 74. [Conditii Suficiente de Ordinul Doi] Fie f, h, g ∈ c
2
. x

satisfacand
constrangerile (36) este un punct de minim relativ in sens strict daca au loc conditiile :
• Exista λ ∈ R
m
si µ ∈ R
p
a.i.
µ ≥ 0,
µ
T
g(x

) = 0,
∇f(x

) +λ
T
∇h(x

) +µ
T
∇g(x

) = 0.
Capitolul 6: Minimizare cu Constrangeri 124 Constrangeri de Tip Inegalitate
• Hessianul
L(x

) = F(x

) +λ
T
H(x

) +µ
T
G(x

)
este pozitiv definit pe subspatiul
M
t
= ¦y : ∇h(x

)y = 0, ∇g
j
(x

)y = 0, ∀j ∈ J]
unde
J = ¦j : g
j
(x

) = 0, µ
j
> 0].
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 125
Capitolul 7: MINIMIZARE CU CONSTRANGERI – PRINCIPII
GENERALE ALE ALGORITMILOR
Introducere
Metode Primale
Metoda de Penalizare si Bariera
Metode Duale si de Plan Secant
Metode de Tip Lagrange
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 126
1. Introducere
In acest capitol vom da o descriere foarte sumara a principiilor ce guverneaza algoritmii in cazul
optimizarilor cu constrangeri.
In general, problema de optimizare cu constrangeri este intotdeauna redusa la una fara
constrangeri, cea din urma rezolvandu-se printr-o modificare oarecare a unuia dintre algoritmii
cunoscuti. Cele patru clase de metode amintite mai sus corespund unei scheme de clasificare ce are
in vedere multimea pe care se face efectiv cautarea minimului.
Consideram o problema de minimizare a unei functii de n variabile si avand m constrangeri.
Exista diverse metode de rezolvare a acestei probleme ce lucreaza in spatii de dimensiune n − m,
n, m sau n + m. Aceste patru clase de metode isi au fundamentul in diverse parti ale teoriei
prezentate in capitolul anterior.
In orice caz, exista puternice interconexiuni intre diversele metode atat in forma finala in care
se implementeaza algoritmul cat si in performantele specifice. De exemplu, rata de convergenta a
algoritmilor cei mai mai buni dpdv practic este determinata de structura Hessianului Lagrangianului
intocmai precum structura Hessianului functiei obiectiv determina rata de convergenta in multe
metode pentru probleme fara constrangeri. Pe scurt, cu toate ca diversii algoritmi difera substantial
in motivatie, in final sunt guvernati de un set comun de principii.
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 127 Introducere
2. Metode Primale
Consideram problema
min f(x),
cu h(x) = 0,
g(x) ≤ 0,
unde x este de dimensiune n, in timp ce f, g si h au dimensiunile egale cu 1, p si m.
Metodele primale rezolva problema prin minimizarea lui f in regiunea din R
n
definita de
constrangeri. O metoda primala este o metoda de cautare care actioneaza direct pe functia originala
cautand solutia optimala intr–o regiune fezabila. Fiecare punct curent este fezabil iar valoarea
functiei obiectiv descreste continuu. Pentru o problema cu n variabile si avand m constrangeri de
tip egalitate, metodele primale actioneaza in spatiul fezabil care are dimensiune n −m.
Avantajele principale:
• Fiecare punct generat de metoda este fezabil. Prin urmare, punctul final (la care se termina
cautarea) este fezabil si probabil aproape optimal reprezentand prin urmare o solutie acceptabila
a problemei practice ce a motivat programarea neliniara;
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 128 Metode Primale
• Cel mai adesea, se poate garanta ca daca metoda genereaza un sir convergent atunci punctul
limita al sirului este cel putin un minim local cu constrangeri. Mai precis, convergenta globala
este cel mai adesea satisfacatoare pentru aceste metode;
• Cele mai multe dintre metodele din aceasta clasa nu se bazeaza pe structura particulara a
problemei, precum ar fi convexitatea, si prin urmare sunt aplicabile problemelor generale de
programare neliniara.
Dezavantaje majore:
• Aceste metode necesita o procedura preliminara pentru a obtine un punct fezabil initial;
• Apar dificultati majore de calcul intrucat trebuie sa ramanem permanent in regiunea fezabila;
• Anumite metode pot sa nu convearga daca nu sunt luate anumite precautii speciale.
Concluzii: Ratele de convergenta sunt relativ bune si pentru constrangeri liniare metodele
primale sunt dintre cele mai eficiente. Mai mult, sunt simple si general aplicabile.
Exista doua clase de metode primale:
• Metode de directii fezabile
• Metode de constrangeri active
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 129 Metode Primale
Metode de directii fezabile
Ideea este ca respectiva cautare sa fie facuta intr-o regiune fezabila de forma
x
k+1
= x
k

k
d
k
,
unde d
k
este o directie si α
k
un scalar nenegativ. Scalarul se alege a.i. sa minimizeze functia
obiectiv f cu restrictia ca punctul x
k+1
si segmentul de dreapta ce uneste x
k
si x
k+1
sa fie fezabile.
Prin urmare, un intreg segment x
k
+αd
k
, α > 0, trebuie sa fie continut in regiunea fezabila. Deci
fiecare pas este o compunere de doi subpasi:
• Se alege o directie fezabila
• Se executa o cautare unidimensionala cu constrangeri
Dezavantaje:
• Pentru probleme generale este posibil sa nu existe nici o directie fezabila. Prin urmare trebuie
sau sa relaxam cerinta de fezabilitate permitand ca punctele de cautare sa poata devia usor de
la suprafata determinata de constrangeri sau sa introducem deplasari de–alungul unor curbe pe
suprafata determinata de constrangeri;
• In forma lor pura majoritatea metodelor de directii fezabile nu sunt global convergente;
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 130 Metode Primale
Metode de Constrangeri Active
Ideea centrala a acestor metode este sa impartim constrangerile de tip inegalitate in doua grupe:
unele tratate drept constrangeri active iar altele care sunt tratate drept inactive. Cele inactive sunt
ignorate !
La fiecare pas al unui algoritm se defineste o multime de constrangeri numite multimea curenta
(sau de lucru) si care sunt tratate drept active. Multimea de lucru este intotdeauna o submultime
a constrangerilor active in punctul curent. Prin urmare punctul curent este fezabil pentru multimea
de lucru. Algoritmul se deplaseaza pe suprafata definita de multimea de lucru spre un punct mai
apropiat de solutie. In noul punct multimea de lucru se poate schimba. Deci metoda constrangerilor
active consta in urmatoarele etape:
• Determinarea unei multimi de lucru curente care este o submultime a constrangerilor active ;
• Deplasarea pe suprafata definita de multimea de lucru curenta spre un punct superior (calitativ);
Directia de deplasare este in general determinata de aproximarile de odinul intai si ordinul doi
ale functiilor in punctul curent intr-un mod asemanator ca pentru cazul neconstrans.
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 131 Metode Primale
3. Metode de Penalizare si Bariera
Acestea sunt proceduri care aproximeaza problemele de optimizare cu constrangeri prin probleme
fara constrangeri. Pentru metodele de penalizare aproximarea este realizata prin adaugarea la functia
obiectiv a unui termen ce are o valoare mare atunci cand constrangerile sunt violate. Pentru metodele
de bariera se adauga un termen ce favorizeaza punctele interioare regiunii fezabile in raport cu cele
de pe frontiera.
In aceste metode intervine un parametru c care determina severitatea penalizarii sau barierei
si indica gradul in care problema neconstransa aproximeaza problema originala constransa. Cand
c → ∞ aproximarea devine din ce in ce mai exacta si exista si anumite functii de penalizare care
dau solutii exacte pentru valori finite ale parametrului.
Pentru o problema cu n variabile si m constrangeri, metodele de penalizare si bariera actioneaza
direct in spatiul n–dimensional al variabilelor.
Exista doua chestiuni fundamentale care trebuie considerate:
• Cat de bine aproximeaza problema neconstransa problema originala. Mai precis, trebuie vazut
daca pe masura ce c este crescut spre infinit solutia problemei neconstranse converge la solutia
problemei originale constranse.
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 132 Metode de Penalizare si Bariera
• Cum poate fi rezolvata o problema neconstransa atunci cand functia obiectiv contine un termen
de penalizare sau bariera; analizand acest fenomen rezulta ca pe masura ce c este crescut
(pentru a obtine o buna aproximare), structura corespunzatoare a problemei neconstranse devine
progresiv mai nefavorabila incetinind prin urmare rata de convergenta. Prin urmare, trebuie sa
deducem proceduri de accelerare pentru a evita aceasta convergenta lenta.
Metode de Penalizare
Consideram problema
minimizeaza f(x)
unde x ∈ S
(38)
unde f este continua in R
n
si S este o multime in R
n
. In majoritatea aplicatiilor S este definita
implicit printr-un numar de constrangeri functionale dar aici putem considera direct cazul general.
Ideea metodei de penalizare este sa inlocuim problema (38) cu o problema neconstransa de
forma
minimizeaza f(x) +cP(x) (39)
unde c este o constanta pozitiva si P este o functie definita pe R
n
care satisface: (i) P este
continua; (ii) P(x) ≥ 0, ∀x ∈ R
n
; (iii) P(x) = 0 daca si numai daca x ∈ S.
Procedura pentru rezolvarea problemei (38) prin metoda de penalizare este urmatoarea: Fie
¦c
k
], k = 1, 2, . . . un sir care tinde la infinit astfel incat pentru fiecare k, c
k
≥ 0, c
k+1
> c
k
.
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 133 Metode de Penalizare si Bariera
Definim functia
q(c, x) := f(x) +cP(x).
Pentru fiecare k rezolvam problema
minimizeaza q(c
k
, x) (40)
obtinand o solutie x
k
. In general, presupunem ca pentru fiecare k problema (40) are o solutie.
Aceasta este adevarat in particular atunci cand q(c, x) creste nemarginit pentru ]x] → ∞.
Metode de Bariera
Metodele de bariera sunt aplicabile problemelor de forma
minimizeaza f(x)
unde x ∈ S
(41)
unde S are un interior nevid care este oricat de aproape de orice punct al lui S. Intuitiv, aceasta
inseamna ca multimea are un interior si este posibil sa ajungem la orice punct de frontiera cu puncte
din interior. O astfel de multime se numeste robusta.
Metodele de bariera stabilesc o bariera pe frontiera multimii fezabile care impiedica procedura
de cautare sa paraseasca multimea. O functie bariera este o functie B definita pe interiorul lui S
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 134 Metode de Penalizare si Bariera
astfel incat (i) B este continua; (ii) B(x) ≥ 0; (iii) B(x) → ∞ pe masura ce x se apropie de
frontiera lui S.
Corespunzator problemei (41) consideram problema aproximativa
minimizeaza f(x) +
1
c
B(x)
unde x ∈ interiorul lui S
(42)
unde c este o constanta pozitiva. Aceasta problema este oarecum mai complicata decat problema
originala dar poate fi rezolvata printr-o metoda de cautare fara constrangeri. Pentru a gasi solutia
pornim cu un punct initial interior si folosim ulterior metoda celei mai abrupte pante sau alta
procedura de cautare iterativa pentru probleme neconstranse. Deorece valoarea functiei tinde la
infinit in apropierea frontierei lui S, procedura de cautare va ramane automat in interiorul lui S si
nu mai trebuie sa tinem seama explicit de constrangere. Astfel, cu toate ca problema (42) este din
punct de vedere formal o problema constransa, din punct de vedere procedural este neconstransa.
Metoda lucreaza in modul urmator: Fie c
k
un sir care tinde la infinit astfel incat pentru orice
k, k = 1, 2, . . ., c
k
≥ 0, c
k+1
> c
k
. Definim functia
r(c, x) = f(x) +
1
c
B(x).
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 135 Metode de Penalizare si Bariera
Pentru fiecare k rezolvam problema
minimizeaza r(c
k
, x)
unde x ∈ interiorul lui S
si obtinem punctul x
k
. Pentru metodele de penalizare si bariera avem urmatorul rezultat:
Teorema 75. Orice punct limita al unui sir generat de metoda de penalizare sau bariera este o
solutie a problemei originale (38).
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 136 Metode de Penalizare si Bariera
4. Metode Duale si de Plan Secant
Metodele Duale sunt bazate pe faptul ca multiplicatorii Lagrange sunt necunoscutele
fundamentale asociate cu problema constransa; indata ce acesti multiplicatori sunt determinati,
gasirea punctelor solutie este simpla (cel putin in anumite cazuri particulare). Tehnicile duale nu
abordeaza problema originala constransa in mod direct ci abordeaza o asa numita problema duala
ale carei necunoscute sunt multiplicatorii Lagrange ai primei probleme. Pentru o functie obiectiv cu
n variabile si m constrangeri de tip egalitate metodele duale fac cautarea in spatiul m dimensional
al multiplicatorilor Lagrange.
Metodele de plan secant determina o serie de programe liniare din ce in ce mai bune a
caror solutie converge la solutia problemei originale. Aceste metode sunt adesea foarte usor de
implementat dar teoria asociata lor nu este foarte bine dezvoltata si proprietatile lor de convergenta
nu sunt foarte atractive.
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 137 Metode Duale si de Plan Secant
5. Metode Lagrange
Aceste metode sunt bazate pe rezolvarea directa a conditiilor necesare de ordinul intai de tip
Lagrange. Pentru probleme cu constrangeri de tip egalitate
minimizeaza f(x)
cu h(x) = 0
unde x este n–dimensional si h(x) este m–dimensional, aceasta abordare conduce la rezolvarea
unui sistem de ecuatii
∇f(x) +λ
T
∇h(x) = 0,
h(x) = 0,
in necunoscutele x si λ. Multimea conditiilor necesare este un sistem de n +m ecuatii in n +m
necunoscute (componentele lui x si λ). Aceste metode lucreaza intr-un spatiu (n+m)–dimensional.
CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 138 Metode Lagrange
Tehnici de Optimizare
(Partea a–II–a: Programare Liniara)
Cristian OARA
Facultatea de Automatica si Calculatoare
Universitatea Politehnica Bucuresti
Splaiul Independentei 313,
Bucuresti, Romania
Fax: + 40 21 3234 234
Email: oara@riccati.pub.ro
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 139
Capitolul 8: PROPRIETATI DE BAZA ALE PROGRAMARII LINIARE
Introducere
Exemple de Probleme de Programare Liniara
Teorema Fundamentala a Programarii Liniare
Relatii cu Convexitatea
Exercitii
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 140
1. Introducere
In acest capitol dam o descriere a principiilor ce guverneaza problemele de programare
(optimizare) liniara cu constrangeri.
Problema de programare liniara : problema matematica in care functia obiectiv este liniara
in necunoscute si constrangerile constau din egalitati liniare si inegalitati liniare (Totul este liniar !).
Forma concreta a inegalitatilor poate in general diferi dar, asa cum vom arata putin mai tarziu,
orice program liniar se poate aduce in urmatoarea forma standard:
minimizati c
1
x
1
+c
2
x
2
+ +c
n
x
n
atunci cand a
11
x
1
+a
12
x
2
+ +a
1n
x
n
= b
1
a
21
x
1
+a
22
x
2
+ +a
2n
x
n
= b
2
.
.
.
.
.
.
a
m1
x
1
+a
m2
x
2
+ +a
mn
x
n
= b
m
si x
1
≥ 0, x
2
≥ 0, . . . , x
n
≥ 0,
(43)
unde b
i
, c
i
si a
ij
sunt constante reale fixate si x
j
sunt numere reale ce trebuie determinate.
Fara a restrange generalitatea, presupunem intotdeauna ca b
i
≥ 0 (printr-o eventuala
multiplicare a fiecarei ecuatii cu -1 !).
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 141 Introducere
Relatiile (43) se pot rescrie compact in forma
minimizati c
T
x
atunci cand Ax = b si x ≥ 0
(44)
in care x este un vector n–dimensional (coloana), c
T
este un vector n–dimensional (linie), A este o
matrice de dimensiune m·n, b este un vector m–dimensional (coloana) iar inegalitatea vectoriala
x ≥ 0 inseamna ca fiecare componenta in parte a lui x este semipozitiva (mai mare sau egala cu
zero).
Multe alte forme aparent diverse de programe liniare pot fi convertite in forma standard:
Exemplul 76. Consideram problema
minimizati c
1
x
1
+c
2
x
2
+ +c
n
x
n
atunci cand a
11
x
1
+a
12
x
2
+ +a
1n
x
n
≤ b
1
a
21
x
1
+a
22
x
2
+ +a
2n
x
n
≤ b
2
.
.
.
.
.
.
a
m1
x
1
+a
m2
x
2
+ +a
mn
x
n
≤ b
m
si x
1
≥ 0, x
2
≥ 0, . . . , x
n
≥ 0
in care multimea constrangerilor este determinata in totalitate de inegalitati liniare. Problema se
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 142 Introducere
poate exprima alternativ sub forma
minimizati c
1
x
1
+c
2
x
2
+ +c
n
x
n
atunci cand a
11
x
1
+a
12
x
2
+ +a
1n
x
n
+y
1
= b
1
a
21
x
1
+a
22
x
2
+ +a
2n
x
n
+y
2
= b
2
.
.
.
.
.
.
a
m1
x
1
+a
m2
x
2
+ +a
mn
x
n
+y
m
= b
m
si x
1
≥ 0, x
2
≥ 0, . . . , x
n
≥ 0,
si y
1
≥ 0, y
2
≥ 0, . . . , y
m
≥ 0.
Aceasta noua problema considerata in n + m necunoscute x
1
, . . . x
n
, y
1
, . . . , y
m
este in forma
standard iar matricea de tip “A” ce descrie acum multimea de constrangeri de tip egalitate are
forma speciala

A I

.
Exemplul 77. Daca inegalitatile liniare de la Exemplul 1 sunt reversate (i.e. sunt de tipul
a
i1
x
1
+a
i2
x
2
+. . . +a
in
x
n
≥ b
i
),
atunci aceasta este echivalenta cu
a
i1
x
1
+a
i2
x
2
+. . . +a
in
x
n
−y
i
= b
i
, si y
i
≥ 0.
Din Exemplele 1 si 2 este clar ca prin multiplicare cu -1 si introducerea unor variabile suplimentare
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 143 Introducere
orice set de inegalitati liniare se poate converti la o forma standard constrangand corespunzator
variabilele necunoscute (de tip y
i
) sa fie semipozitive !
Exemplul 78. Fie un program liniar dat in forma standard cu exceptia faptului ca una sau mai
multe variabile necunoscute nu trebuie sa fie semipozitive (ci arbitrare).
Problema se transforma intr–una standard prin metoda urmatoare. Sa presupunem ca in (43)
x
1
≥ 0 nu apare si atunci x
1
este libera sa ia valori arbitrare (pozitive sau negative). Fie
x
1
= u
1
−v
1
(45)
in care cerem ca u
1
≥ 0 si v
1
≥ 0. Substituind u
1
−v
1
in locul lui x
1
peste tot in (43) obtinem
ca liniaritatea constrangerilor se pastreaza si acum toate cele n + 1 variabile u
1
, v
1
, x
2
, . . . , x
n
trebuie sa fie semipozitive (deci din nou un program standard).
Este usor de observat aparitia unei redundante introduse de aceasta tehnica (o constanta aditiva
!).
Exemplul 79. Aceeasi problema – o alta metoda ! O alta abordare in rezolvarea problemei 3
cand x
1
nu este constrans ca semn este sa–l eliminam pe x
1
impreuna cu una dintre ecuatiile de
constrangere, de exemplu
a
i1
x
1
+a
i2
x
2
+. . . +a
in
x
n
= b
i
(46)
(singura cerinta este ca aceasta ecuatie sa aibe a
i1
– coeficientul lui x
1
– nenul).
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 144 Introducere
Din aceasta ecuatie x
1
se poate exprima ca o combinatie liniara de celelalte variabile + o
constanta, expresie ce se inlocuieste peste tot in (43). Se obtine o noua problema de acelasi tip
cu cea originala in necunoscutele x
2
, x
3
, . . . , x
n
iar ecuatia i devine identic zero si deci se poate
elimina.
Schema de lucru prevede rezolvarea acestui din urma program si obtinerea in final a lui x
1
pe
baza ecuatiei eliminate (46).
Exemplul 80. Dam un exemplu de aplicare a tehnicii de mai sus. Fie programul
minimizati x
1
+ 3x
2
+ 4x
3
atunci cand x
1
+ 2x
2
+x
3
= 5
2x
1
+ 3x
2
+x
3
= 6
si x
2
≥ 0, x
3
≥ 0.
Deoarece x
1
este liber, rezolvam prima constrangere obtinand
x
1
= 5 −2x
2
−x
3
(47)
care inlocuit in functia obiectiv si intr–a doua constrangere genereaza problema echivalenta in forma
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 145 Introducere
standard
minimizati x
2
+ 3x
3
+ 5
atunci cand x
2
+x
3
= 4
si x
2
≥ 0, x
3
≥ 0.
Dupa ce se rezolva aceasta problema (avand solutia x
2
= 4, x
3
= 0), valoarea lui x
1
= −3 se
obtine din ecuatia (47).
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 146 Introducere
2. Exemple de Probleme de Programare Liniara
Exemplul 81. [Problema dietei economice] Se pune problema sa determinam o dieta cat mai
economica care sa acopere insa in totalitate substantele nutritive necesare organismului uman –
problema tipica de alocat resurse pentru dieteticianul unei mari armate ! Ipotezele sunt: exista pe
piata n alimente care se vand la pretul c
i
per bucata, si exista m ingrediente nutritionale de baza
pe care fiecare om trebuie sa le consume intr-o cantitate de minim b
j
unitati (din elementul j). In
plus, fiecare aliment contine a
ji
unitati din elementul nutritional j.
Fie x
i
numarul de unitati din alimentul i din dieta. Problema este atunci sa selectam x
i
care
minimizeaza costul total

n
i=1
c
i
x
i
atunci cand avem constrangerile nutritionale
a
11
x
1
+a
12
x
2
+ +a
1n
x
n
≥ b
1
a
21
x
1
+a
22
x
2
+ +a
2n
x
n
≥ b
2
.
.
.
.
.
.
a
m1
x
1
+a
m2
x
2
+ +a
mn
x
n
≥ b
m
si constrangerile x
1
≥ 0, x
2
≥ 0, . . . , x
n
≥ 0,
asupra cantitatilor de alimente.
Exemplul 82. [Problema transportului] Trebuie livrate cantitatile a
1
, a
2
, . . . , a
m
dintr-un
produs depozitat in m locatii astfel incat sa ajunga in final cantitatile b
1
, b
2
, . . . , b
n
la fiecare
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 147 Exemple
dintre cele n destinatii finale. Costul de a transporta o unitate de produs de la locatia initiala i la
cea finala j este de c
ij
. Se cere obtinerea cantitatilor x
ij
ce trebuie transportate de i la j astfel
incat sa se minimizeze costul transportului. Problema de minimizat se formuleaza precum urmeaza
minimizati

ij
c
ij
x
ij
atunci cand

j
x
ij
= a
i
, pentru i = 1, 2, . . . , m,

i
x
ij
= b
j
, pentru j = 1, 2, . . . , n,
x
ij
≥ 0, pentru i = 1, 2, . . . , m, j = 1, 2, . . . , n.
Pentru consistenta problemei trebuie ca

m
i=1
a
i
=

n
j=1
b
j
(cantitatea trimisa este egala cu
cantitatea receptionata). Problema de transport este deci o problema de programare liniara in mn
variabile. Ecuatille ce descriu constrangerile se pot pune in forma uzuala rezultand o matrice de
dimensiune (m+n) ·mn avand drept elemente 0 si 1 !
Exemplul 83. [Problema de productie] Presupunem ca avem o unitate industriala ce efectueaza
n activitati productive si fiecare activitate productiva consta in obtinerea a diverse cantitati din
m produse distincte. Fiecare activitate productiva se poate efectua la orice nivel x
i
≥ 0 dar
cand este operata la nivel unitar activitatea i costa c
i
si produce a
ji
unitati din produsul j.
Presupunem liniaritatea unitatii industriale. Nr. de produse finite ce trebuie obtinut este specificat
prin b
1
, b
2
, . . . , b
m
si le dorim produse la un cost minim. Programul liniar se sintetizeaza prin (43)
!
Exemplul 84. [Problema de depozitare] – De Discutat la Seminar –
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 148 Exemple
3. Teorema Fundamentala a Programarii Liniare
Ipoteza fundamentala (implicita): Constrangerile de tip egalitate
Ax = b, A ∈ R
m·n
, b ∈ R
m
(48)
au matricea A surjectiva ( m linii liniar independente (≤ n)).
Ratiunea introducerii acestei ipoteze sta in alte doua presupuneri naturale:
• Sunt mai multe variabile decat ecuatii (avem unde optimiza !!!)
• Ecuatiile sunt liniar independente (problema are solutie si nu are ecuatii redundante !!! )
Definitia 85. Fie B orice m · m matrice nesingulara (numita si matrice baza) formata din
coloane ale lui A, fie x
b
unica solutie a ecuatiei Bx
b
= b si x ∈ R
n
obtinuta extinzand x
b
cu
zerouri corespunzatoare componentelor ce nu sunt asociate coloanelor lui B. Atunci x se numeste
solutie fundamentala a ecuatiei (48) in raport cu baza B iar componentele sale asociate cu
coloanele lui B sunt numite variabile fundamentale.
Observatia 86. Sub ipoteza fundamentala facuta sistemul (48) are intotdeauna o solutie si
cel putin o solutie fundamentala ! Solutiile fundamentale nu sunt neaparat nenule !
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 149 Teorema Fundamentala a Programarii Liniare
Definitia 87. Daca o solutie fundamentala are macar una dintre variabilele fundamentale nule
atunci solutia se numeste degenerata.
Observatia 88. Intr-o solutie fundamentala nedegenerata se pot deosebi imediat variabilele
fundamentale de celelalte (pozitiv vs. zero) pe cand in cele degenerate variabilele fundamentale
nule se pot interschimba cu cele nefundamentale !
Consideram in continuare sistemul complet de constrangeri al unui program liniar
Ax = b,
x ≥ 0.
(49)
Definitia 89. Vectorul x satisfacand (49) se numeste fezabil.
Deci putem avea solutii fundamentale fezabile si nefezabile, si o solutie fundamentala fezabila
poate fi degenerata sau nu.
Teorema centrala a programarii liniare pune in evidenta caracterul primordial jucat de solutiile
fundamentale fezabile. Esentialmente, teorema afirma ca este necesar sa consideram doar solutii
fundamentale fezabile atunci cand cautam optimul unui program liniar pentru ca valoarea optima
este intotdeauna obtinuta intr-o astfel de solutie !
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 150 Teorema Fundamentala a Programarii Liniare
Corespunzator unui program in forma standard
minimizati c
T
x
atunci cand Ax = b si x ≥ 0
(50)
o solutie fezabila a constrangerilor ce atinge minimul functiei obiectiv cu aceste constrangeri se
numeste solutie fezabila optimala. Daca aceasta solutie este in plus fundamentala atunci atunci
se numeste solutie fundamentala fezabila optimala !
Teorema 90. [Teorema fundamentala a programarii liniare] Fie Ao m·n matrice surjectiva
si fie (50) programul liniar asociat.
• Daca exista o solutie fezabila atunci exista si o solutie fundamentala fezabila.
• Daca exista o solutie fezabila optimala atunci exista si o solutie fundamentala fezabila optimala.
Observatia 91. Teorema reduce sarcina complexa de a rezolva o problema de programare
linara la aceea de a cauta in submultimea solutiilor fundamentale fezabile care este considerabil
mai ieftina decat sarcina originala intrucat avem cel mult
C
m
n
=
n!
m!(n −m)!
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 151 Teorema Fundamentala a Programarii Liniare
solutii fundamentale (corespunzatoare modalitatilor diverse de a alege mcoloane din n coloane).
Prin urmare sarcina calculatorie se termina intr-un numar finit de pasi (chiar daca mare) prin
intermediul unui algoritm foarte simplu dar extrem de ineficient !
O metoda eficienta de calcul – numita simplex – este prezenta in capitolul urmator.
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 152 Teorema Fundamentala a Programarii Liniare
4. Relatii cu Convexitatea
Principalele rezultate prezentate anterior au interpretari deosebit de interesante in termenii
teoriei multimilor convexe si proprietatilor asociate. Principala legatura intre proprietatile algebrice
si cele geometrice consta in relatia formala dintre solutiile fundamentale fezabile ale inegalitatilor
liniare si punctele extreme ale varietatilor liniare (politop).
Definitia 92. Un punct x apartinand unei multimi convexe C se numeste punct extrem al lui C
daca nu exista doua puncte distincte x
1
si x
2
in C a.i.
x = αx
1
+ (1 −α)x
2
pentru un α, 0 < α < 1.
Teorema 93. [Echivalenta punctelor extreme si a solutiilor fundamentale] Fie A o m· n
matrice surjectiva si b ∈ R
m
. Fie K politopul convex constand din toti vectorii x ∈ R
n
satisfacand
Ax = b,
x ≥ 0.
(51)
Atunci x este un punct extrem al lui K daca si numai daca x este solutie fundamentala
fezabila a lui (51).
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 153 Relatii cu Convexitatea
Aceasta corespondenta ne permite sa demonstram cateva proprietati geometrice ale unui politop
convex definit de constrangerile unui program liniar.
Corolarul 94. Daca politopul corespunzator lui (51) este nevid atunci are cel putin un punct
extrem.
Corolarul 95. Daca o problema de programare liniara are o solutie finita optimala atunci are si o
solutie finita optimala care este un punct extrem al multimii constrangerilor.
Corolarul 96. Multimea constransa K definita de (51) are cel mult un numar finit de puncte
extreme.
In final, prezentam un caz special ce este caracteristic problemelor de programare liniara bine
formulate: K este nevid si marginit.
Corolarul 97. Daca politopul K definit de (51) este marginit, atunci K este un poliedru convex,
i.e., K consta din puncte ce sunt combinatii convexe ale unui numar finit de puncte.
Exemplul 98. Consideram multimea constransa in R
3
definita de
x
1
+x
2
+x
3
= 1,
x
1
≥ 0, x
2
≥ 0, x
3
≥ 0
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 154 Relatii cu Convexitatea
si ilustrata in Figura 1.
x1
x3
x2
Figura 1: Multimea Fezabila ptr. Exemplul 98
Aceasta multime are trei puncte extreme, corespunzand celor C
2
3
= 3 solutii fundamentale ale
lui x
1
+x
2
+x
3
= 1.
Exemplul 99. Consideram multimea constransa in R
3
definita de
x
1
+x
2
+x
3
= 1,
2x
1
+ 3x
2
= 1,
x
1
≥ 0, x
2
≥ 0, x
3
≥ 0
si ilustrata in Figura 2.
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 155 Relatii cu Convexitatea
x1
x3
x2
Figura 2: Multimea Fezabila ptr. Exemplul 99
Aceasta multime are doua puncte extreme corespunzand celor doua solutii fundamentale fezabile.
Observati deasemenea ca sistemul de ecuatii are trei solutii fundamentale
(2, −1, 0), (
1
2
, 0,
1
2
), (0,
1
3
,
2
3
),
din care insa prima nu este fezabila !
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 156 Relatii cu Convexitatea
Exemplul 100. Consideram multimea constransa in R
2
definita de
x
1
+
8
3
x
2
≤ 4,
x
1
+x
2
≤ 2,
2x
1
≤ 3,
x
1
≥ 0, x
2
≥ 0
si ilustrata in Figura 3.
1
2
1
2 x2=0 x1
x
3=
0
x5=0
x
4
=
0
x
1
=
0
x2
Figura 3: Multimea Fezabila ptr Exemplul 100
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 157 Relatii cu Convexitatea
Prin inspectie vizuala observam ca aceasta multime are 5 puncte extreme. Pentru a compara
acest exemplu cu rezultatele generale obtinute pana acum aplicam procedura de transformare
introdusa in Exemplul 1 din Sectiunea 1 obtinand in final multimea echivalenta in R
5
x
1
+
8
3
x
2
+x
3
= 4,
x
1
+x
2
+x
4
= 2,
2x
1
+x
5
= 3,
x
1
≥ 0, x
2
≥ 0, x
3
≥ 0, x
4
≥ 0, x
5
≥ 0.
Solutiile fundamentale pentru acest sistem se obtin punand oricare doua variabile egale cu zero si
rezolvand pentru obtinerea celorlalte trei, in total un numar de C
3
5
= 10 combinatii. Dintre acestea
doar 5 sunt fezabile corespunzand celor 5 colturi ale poligonului din Figura 3. Alternativ, laturile
poligonului corespund unei variabile egale cu zero iar colturile (punctele extreme) sunt punctele in
care doua variabile sunt egale cu zero.
Exemplul 101. Ultimul exemplu indica ca si atunci cand nu sunt exprimate in forma standard,
punctele extreme ale multimii definite de constrangerile unui program liniar corespunde posibilelor
puncte solutie. Ilustram acest fapt pe constrangerile din exemplul precedent avand functia de
minimizat
−2x
1
−x
2
.
Multimea punctelor satisfacand −2x
1
−x
2
= z pentru z fixat este o dreapta. Cand z variaza se
obtin diverse drepte paralele asa cum este prezentat in Figura 4.
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 158 Relatii cu Convexitatea
1
2
1
2 x1
x2
z=-1.5
z=-2
z=-1
Figura 4: Solutia extrema
Valoarea optimala a problemei de programare liniara este cea mai mica valoare a lui z pentru
care dreapta respectiva are un punct in comun cu multimea fezabila. Este clar, macar in doua
dimensiuni, ca punctele solutie vor include intotdeauna un punct extrem ! Observati din figura ca
aceasta se intampla in punctul (
3
2
,
1
2
) cu z = −3
1
2
!
CAPITOLUL 9: Metoda Simplex 159
Capitolul 9: METODA SIMPLEX
Ideea de baza a metodei simplex este ca pornind de la o solutie fundamentala fezabila sa gasim
o noua solutie fundamentala fezabila in care functia obiectiv sa descreasca. Procesul se continua
pana cand se obtine minimul.
Teorema programarii liniare din capitolul precedent ne asigura ca parcurgand numai aceste
puncte in R
n
(solutii fundamentale fezabile) putem obtine in final solutia optimala dorita. Metoda
simplex arata ca in plus aceasta cautare se poate face intr-o maniera eficienta dpdv numeric.
In primele cinci sectiuni ale capitolului dam o descriere detaliata a metodei simplex pornind de
la o examinare atenta a sistemului de ecuatii liniare ce defineste constrangerile. Aceasta abordare
desi necesita matematica extrem de simpla nu se poate exprima prea usor intr-o forma matriceala
compacta. In ultimele sectiuni ale capitolului, schimbam punctul de vedere si ne concentram asupra
unei viziuni matriceale ce conduce la o reprezentare compacta a metodei simplex cat si la metode
alternative de implementare.
Pivoti
Puncte Extreme Adiacente
Determinarea unei Solutii Minime Fezabile
CAPITOLUL 9: Metoda Simplex 160
Algoritmul
Variabile Artificiale
Forma Matriceala a Metodei Simplex
Metoda Simplex Revizuita
Metoda Simplex via Descompunerea LU
Concluzii Finale
CAPITOLUL 9: Metoda Simplex 161
1. Pivoti
Reamintim in contextul programarii liniare operatiile de pivotare asupra unui sistem de ecuatii
liniare. Avem doua tipuri de pivotari cu semnificatii duale:
• Pivotare pe linii;
• Pivotare pe coloane.
Fie sistemul Ax = b, cu A ∈ R
m·n
, b ∈ R
m
, m ≤ n, avand forma explicita
a
11
x
1
+a
12
x
2
+ +a
1n
x
n
= b
1
a
21
x
1
+a
22
x
2
+ +a
2n
x
n
= b
2
.
.
.
.
.
.
a
m1
x
1
+a
m2
x
2
+ +a
mn
x
n
= b
m
(52)
Sub ipotezele uzuale (i.e. A surjectiva) si cu m < n sistemul (52) nu are o solutie unica ci o
varietate liniara de solutii. Presupunand pentru comoditate ca primele m coloane ale lui A sunt
liniar independente, sistemul (52) poate fi redus prin scheme clasice de eliminare Gaussiana pe
linii (multiplicarea unei linii cu o constanta nenula si adunarea de combinatii liniare de linii) la
CAPITOLUL 9: Metoda Simplex 162 Pivoti
urmatoarea forma canonica:
x
1
+ ¯a
1,m+1
x
m+1
+¯a
1,m+2
x
m+2
+ +¯a
1,n
x
n
=
¯
b
1
,
x
2
+ ¯a
2,m+1
x
m+1
+¯a
2,m+2
x
m+2
+ + ¯a
2,n
x
n
=
¯
b
2
,
.
.
.
.
.
.
x
m
+ ¯a
m,m+1
x
m+1
+¯a
m,m+2
x
m+2
+ +¯a
m,n
x
n
=
¯
b
m
.
(53)
In aceasta reprezentare echivalenta variabilele x
1
, . . . , x
m
sunt numite fundamentale iar celelalte
nefundamentale. Solutia fundamentala corespunzatoare
x
1
=
¯
b
1
, x
2
=
¯
b
2
, . . . , x
m
=
¯
b
m
, x
m+1
= 0, . . . , x
n
= 0.
Extindem definitia formei canonice a unui sistem astfel: un sistem este in f.c. daca dintre cele
n variabile exact m sunt fundamentale si au proprietatile: • fiecare variabila fundamentala apare
intr-o singura ecuatie cu coeficientul 1; • nu apar doua variabile fundamentale in aceeasi ecuatie
(echivalent cu a spune ca sistemul dupa o anumita reordonare a variabilelor si ecuatiilor are forma
(53)).
Din economie de notatie, in programarea liniara se foloseste urmatoarea reprezentare a
CAPITOLUL 9: Metoda Simplex 163 Pivoti
coeficientilor sistemului (53) sub forma de tabel:
1 0 0 ¯a
1,m+1
¯a
1,m+2
¯a
1,n
¯
b
1
0 1 0 ¯a
2,m+1
¯a
2,m+2
¯a
2,n
¯
b
2
0 0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 1 ¯a
m,m+1
¯a
m,m+2
¯a
mn
¯
b
m
(54)
Prin pivotare se poate inlocui o variabila fundamentala cu una nefundamentala si reciproc. Procedura
se poate realiza pe linii sau coloane.
Pivotare pe linii: Foloseste reprezentarea sistemului Ax = b sub forma ecuatiilor
a
1
x = b
1
a
2
x = b
2
.
.
.
a
m
x = b
m
unde a
i
este linia i a matricii A.
Sa presupunem ca in sistemul canonic (53) vrem sa inlocuim variabila fundamentala x
p
,
1 ≤ p ≤ m cu variabila nefundamantala x
q
(este posibil numai daca ¯a
pq
,= 0). Acest lucru se
poate realiza prin impartirea liniei p la ¯a
pq
pentru a obtine un coeficient unitar pentru x
q
in aceasta
CAPITOLUL 9: Metoda Simplex 164 Pivoti
ecuatie, si prin scaderea liniei p multiplicate cu un coeficient potrivit din toate celelalte linii pentru
a obtine un coeficient zero pentru x
q
(in respectivele ecuatii). Fie ¯a
ij
coeficientii noului sistem
obtinut. Avem:
_
_
_
¯a
ij
= ¯a
ij

¯a
pi
¯a
pq
¯a
iq
, i ,= p,
¯a
pj
=
¯a
pj
¯a
pq
.
(55)
Ecuatiile de mai sus se numesc de pivotare iar elementul ¯a
pq
este pivotul.
Pivotare pe coloane: Foloseste reprezentarea sistemului Ax = b in ideea ca b este o
combinatie liniara de coloane ale lui A de tipul
a
1
x
1
+a
2
x
2
+ +a
n
x
n
= b,
in care a
i
este coloana i a matricii A.
Fie sistemul canonic (54) cu primele m coloane formand o baza. Coeficientii unei coloane
din tabel reprezinta coeficientii combinatiei liniare a acestor vectori baza care genereaza respectivul
vector coloana, i.e.,
a
j
=
m

k=1
¯ a
kj
a
k
(56)
Tabelul se mai poate reinterpreta ca dand expresia vectorului a
j
in termenii vectorilor baza
a
1
, a
2
, , a
m
(similar pentru
¯
b).
CAPITOLUL 9: Metoda Simplex 165 Pivoti
Sa presupunem ca vrem sa inlocuim unul dintre vectorii din baza a
p
, 1 ≤ p ≤ m cu alt vector
a
q
. Daca noii vectori a
1
, . . . , a
m
sunt liniar independenti, ei constituie o baza in functie de care
orice alt vector poate fi reprezentat (este posibil numai daca ¯a
pq
,= 0). Operatiile de actualizare a
tabloului pleaca de la reprezentarea
a
q
=
m

i=1,i,=p
¯a
iq
a
i
+¯a
pq
a
p
din care rezulta a
p
,
a
p
=
1
¯a
pq
a
q

i=1,i,=p
¯a
iq
¯a
pq
a
i
. (57)
Introducand (57) in (56) obtinem
a
j
=
m

i=1,i,=p

¯a
ij

¯a
iq
¯a
pq
¯a
pj

a
i
+
¯a
pj
¯a
pq
a
q
. (58)
Daca ¯a
ij
sunt coeficientii noului sistem atunci obtinem imediat expresii identice ca in cazul pivotarii
pe linii (55).
Observatia 102. Daca un sistem de ecuatii nu este de la inceput in forma canonica el se poate
aduce in forma canonica concatenand m vectori unitari tabloului si, plecand de la acesti vectori ca
baza, inlocuind fiecare dintre ei prin pivotare cu coloane de-ale lui A.
CAPITOLUL 9: Metoda Simplex 166 Pivoti
2. Puncte Extreme Adiacente
Solutia unui program liniar se gaseste in multimea solutiilor fundamentale fezabile ale sistemului
Ax = b, x ≥ 0 (Teorema programarii liniare) iar prin pivotare putem sa ne deplasam dintr-o solutie
fundamentala in alta. In aceasta sectiune specializam cautarea a.i. orice noua solutie fundamentala
gasita prin pivotare sa fie fezabila !
Concluzia de baza: Cu toate ca nu este in general posibil sa specificam perechile de variabile ce
sunt interschimbate (pastrand evident pozitivitatea lui x), este posibil sa specificam care variabila
nefundamentala va deveni fundamentala si apoi sa determinam cu care variabila fundamentala
o inlocuim !
Ipoteza de Nedegenerare: Orice solutie fundamentala fezabila a lui Ax = b, x ≥ 0, este o
solutie nedegenerata!
Ipoteza simplifica mult o suma de argumentatii ale metodei simplex. In cazul in care nu este
indeplinita poate conduce la esuarea metodei. Ipoteza este facuta pentru a simplifica expunerea si
intotdeauna se poate asigura extensia la cazul general prin anumite modificari simple ale metodei
simplex.
CAPITOLUL 9: Metoda Simplex 167 Puncte Extreme Adiacente
Determinarea vectorului care paraseste baza
Presupunem ca avem solutia fundamentala fezabila x
T
=

x
1
x
2
. . . x
m
0 . . . 0

sau, echivalent, reprezentarea
b =
m

k=1
x
k
a
k
. (59)
Din ipoteza de nedegenerare avem x
i
> 0, i = 1, . . . , m. Presupunem ca vrem sa introducem in
baza vectorul a
q
, q > m, care are reprezentarea in vechea baza
a
q
=
m

k=1
¯a
kq
a
k
. (60)
Multiplicand (60) cu ≥ 0 si extragand-o din (59) obtinem
m

k=1
(x
k
−¯a
kq
)a
k
+a
q
= b. (61)
Aceasta relatie arata ca pentru orice ≥ 0 b este o combinatie de cel mult m+ 1 vectori. Pentru
= 0 obtinem vechea solutie. Cand creste de la zero in sus rezulta ca respectivul coeficient al lui
a
q
creste, si este clar ca pentru nu prea mare (61) da o solutie fezabila dar nefundamentala.
Coeficientii celorlalti vectori vor creste sau vor scadea odata cu cresterea lui pana cand unul (sau
mai multi) se vor anula. Acest lucru se intampla ori de cate ori cel putin un coeficient ¯a
kq
> 0.
CAPITOLUL 9: Metoda Simplex 168 Puncte Extreme Adiacente
In acest caz punem
= min
k
¦
x
k
¯a
kq
: ¯a
kq
> 0] (62)
si am obtinut o noua solutie fezabila cu vectorul a
q
inlocuit de a
p
, unde p este indexul ce
minimizeaza (62). Daca minimul (62) este obtinut simultan pentru mai multi indici atunci noua
solutie este degenerata si oricare vector avand componenta corespunzatoare nula se poate considera
ca parasind baza !
Daca nici unul dintre ¯a
kq
nu este pozitiv, atunci toti coeficientii lui (61) cresc (sau raman
constanti) cand il crestem pe si nu se poate obtine nici o noua solutie fundamentala ! In aceasta
situatie observam ca sistemul Ax = b, x ≥ 0 are solutii fezabile cu coeficienti oricat de mari de
unde rezulta ca multimea K a solutiilor fezabile este nemarginita !
Pe scurt: Dandu-se o solutie fundamentala fezabila si un vector arbitrar a
q
sunt posibile doua
situatii:
• Exista o noua solutie fundamentala fezabila avandu-l pe a
q
in baza (in locul unuia dintre vectorii
originali);
• Multimea solutiilor fezabile este nemarginita !
CAPITOLUL 9: Metoda Simplex 169 Puncte Extreme Adiacente
Ilustrarea operatiilor in tablou:
a
1
a
2
a
3
a
m
a
m+1
a
m+2
a
n
b
1 0 0 0 ¯a
1,m+1
¯a
1,m+2
¯a
1,n
¯
b
1
0 1 0 0 ¯a
2,m+1
¯a
2,m+2
¯a
2,n
¯
b
2
0 0 1 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 1 ¯a
m,m+1
¯a
m,m+2
¯a
mn
¯
b
m
(63)
Acest tablou are o solutie cu baza a
1
, a
2
, , a
m
. Presupunem ca
¯
b
i
≥ 0 a.i. solutia
fundamentala corespunzatoare este fezabila. Dorim introducerea coloanei q > m si mentinerea
fezabilitatii. Pentru a determina care element din coloana q sa–l folosim ca pivot (si deci ce vector
al bazei va fi eliminat) folosim (62) ptr. calcularea rapoartelor
x
k
¯a
kq
=
¯
b
k
¯a
kq
, k = 1, 2, , m, din
care il alegem pe cel mai mic nenegativ, si pivotam pe respectivul ¯a
kq
.
Interpretare Geometrica
Exista doua interpretari geometrice ale conceptelor introduse:
• In spatiul in care este reprezentat x: Regiunea fezabila este o multime convexa iar solutiile
fundamentale fezabile sunt punctele extreme (vezi cursul precedent). Punctele extreme adiacente
sunt puncte care stau pe o latura comuna.
CAPITOLUL 9: Metoda Simplex 170 Puncte Extreme Adiacente
• In spatiul in care sunt reprezentate coloanele lui A si b; Relatia fundamentala este
b =
n

k=1
a
i
x
i
.
Un exemplu cu m = 2 si n = 4 este reprezentat in Figura 9.1. O solutie fezabila este o
reprezentare a lui b folosind combinatii semipozitive de a
i
. O solutie fundamentala fezabila este o
reprezentare a lui b folosind numai m combinatii pozitive.
a2
b
a1
a4
a3
Figura 9.1
Observati ca putem pleca cu o baza formata din a
1
si a
2
dar nu din a
1
si a
4
! Daca plecam cu
a
1
si a
2
si pentru a obtine o baza adiacenta il adaugam pe a
3
, atunci automat iese a
2
. Daca il
adaugam pe a
4
atunci iese automat a
1
!
CAPITOLUL 9: Metoda Simplex 171 Puncte Extreme Adiacente
3. Determinarea unei Solutii Minime Fezabile
Ce stim deja ? Cum sa pivotam si indata ce am selectat o noua coloana arbitrara care va intra
in baza stim sa determinam care coloana iese din baza a.i. solutia sa ramana fezabila (sau respectiv
sa determinam ca solutia este nemarginita).
Ce dorim in continuare ? Cum selectam coloana pe care o vom introduce in baza a.i. sa
reducem valoarea functiei !
Cuplam cele doua idei si obtinem metoda simplex !
Presupunem ca avem solutia fundamentala fezabila x
T
=

x
T
B
0

=

x
1
x
2
. . . x
m
0 . . . 0

impreuna cu tabloul
a
1
a
2
a
3
a
m
a
m+1
a
m+2
a
n
b
1 0 0 0 ¯a
1,m+1
¯a
1,m+2
¯a
1,n
¯
b
1
0 1 0 0 ¯a
2,m+1
¯a
2,m+2
¯a
2,n
¯
b
2
0 0 1 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 1 ¯a
m,m+1
¯a
m,m+2
¯a
mn
¯
b
m
.
(64)
CAPITOLUL 9: Metoda Simplex 172 Determinarea unei Solutii Minime Fezabile
Valoarea functiei corespunzatoare oricarei solutii este
z =
n

i=1
c
i
x
i
= c
T
B
x
B
=: z
0
, c
T
B
=

c
1
. . . c
m

. (65)
Daca atribuim valori arbitrare lui x
m+1
, . . . , x
n
variabilele fundamentale se obtin din (64) prin
formulele
x
1
=
¯
b
1

n
j=m+1
¯a
1j
x
j
x
2
=
¯
b
2

n
j=m+1
¯a
2j
x
j
.
.
.
.
.
.
x
m
=
¯
b
m

n
j=m+1
¯a
mj
x
j
.
(66)
Folosind (66) se pot elimina variabilele x
1
, . . . , x
m
din formula generala (65) si se obtine
z = c
T
x = z
0
+ (c
m+1
−z
m+1
)x
m+1
+ (c
m+2
−z
m+2
)x
m+2
+ + (c
n
−z
n
)x
n
(67)
unde
z
j
:=
m

i=1
¯a
ij
c
j
, m+ 1 ≤ j ≤ n. (68)
Relatia (67) este fundamentala pentru determinarea coloanei pivot ce va fi introdusa in baza
intrucat da valoarea functiei in orice punct al solutiei Ax = b in termenii variabilelor “libere”
x
m+1
, , x
n
.
CAPITOLUL 9: Metoda Simplex 173 Determinarea unei Solutii Minime Fezabile
Din aceste formule se poate deduce daca exista vreun avantaj in inlocurirea unei varibile
fundamentale cu una noua. De exemplu, daca unul dintre coeficientii c
j
− z
j
este negativ pentru
un j, m+1 ≤ j ≤ n, atunci cresterea lui x
j
de la zero la o valoare pozitiva va descreste valoarea
functiei si deci va genera o solutie mai buna !
Deducem acum relatiile dintr-o alta perspectiva. Fie a
i
coloana i a tabloului. Orice solutie
satisface
x
1
e
1
+x
2
e
2
+ +x
m
e
m
= b −
n

j=m+1
x
j
a
j
Luand produsul scalar al acestei ecuatii vectoriale cu c
T
B
obtinem
m

i=1
c
i
x
i
= c
T
B
b −
n

j=m+1
x
j
z
j
in care z
j
:= c
T
B
a
j
. Adunand

n
j=m+1
c
j
x
j
ambilor membri se obtine relatia anterioara
c
T
x = z
0
+
n

j=m+1
(c
j
−z
j
)x
j
. (69)
Teorema 103. [Imbunatatirea solutiei fundamentale fezabile] Fie o solutie fundamentala
fezabila nedegenerata avand valoarea corespunzatoare a functiei obiectiv z
0
si presupunem ca
CAPITOLUL 9: Metoda Simplex 174 Determinarea unei Solutii Minime Fezabile
exista j a.i. c
j
− z
j
< 0. Atunci exista o solutie fundamentala fezabila cu z < z
0
. Daca
coloana a
j
poate inlocui un vector in baza fundamentala originala pentru a obtine o noua solutie
fundamentala fezabila atunci aceasta noua solutie va avea z < z
0
. Daca a
j
nu poate inlocui un
vector din baza originala atunci K este nemarginit si functia obiectiv poate fi facuta oricat de mica
(spre −∞).
Este clar ca daca la orice pas avem c
j
− z
j
< 0 pentru un j oarecare, este posbil sa-l facem pe
x
j
> 0 si sa descrestem functia obiectiv. Ramane de determinat daca c
j
− z
j
≥ 0 pentru toti j
implica optimalitatea !
Teorema 104. [Conditia de optimalitate] Daca pentru o solutie fundamentala fezabila avem
r
j
:= c
j
−z
j
≥ 0, pentru toti j, atunci solutia este optimala.
Coeficienti de cost relativ sau redus: r
j
:= c
j
− z
j
(se introduc chiar si pentru variabilele
fundamentale fiind 0) joaca un rol primordial in metoda simplex !
CAPITOLUL 9: Metoda Simplex 175 Determinarea unei Solutii Minime Fezabile
4. Algoritmul Metodei Simplex
Presupuneri initiale: Avem o solutie fundamentala fezabila si tabloul corespunzator lui
Ax = b este in forma canonica (metode de obtinere a unei solutii fundamentale fezabile initiale
vor fi discutate in sectiunea urmatoare).
Folosim tabelul simplex (are o linie in plus):
a
1
a
2
a
3
a
m
a
m+1
a
m+2
a
n
b
1 0 0 0 ¯a
1,m+1
¯a
1,m+2
¯a
1,n
¯
b
1
0 1 0 0 ¯a
2,m+1
¯a
2,m+2
¯a
2,n
¯
b
2
0 0 1 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 1 ¯a
m,m+1
¯a
m,m+2
¯a
mn
¯
b
m
0 0 0 0 r
m+1
r
m+2
r
n
−z
0
.
(70)
Solutia fundamentala corespunzatoare acestui tabel este
x
i
=

¯
b
i
, 1 ≤ i ≤ m,
0, m+ 1 ≤ i ≤ n
CAPITOLUL 9: Metoda Simplex 176 Algoritmul Metodei Simplex
si fiind fezabila avem
¯
b
i
≥ 0, i = 1, 2, , m. Valoarea functiei obiectiv este z
0
.
Coeficientii de cost relativ r
j
indica daca valoarea functiei obiectiv va descreste sau va creste
daca x
j
este introdus in solutie. Daca toti coeficientii sunt semipozitivi atunci solutia este optimala.
Daca unii sunt negativi atunci se poate imbunatati solutia. Cand sunt mai multi negativi oricare
se poate selecta pentru a determina in ce coloana se va face pivotarea dar de obicei se ia cel mai
puternic negativ.
Ultima linie a tabelului poate fi tratata similar cu celelalte cum este explicat in continuare.
Intr–adevar, putem vedea z ca o variabila suplimentara si
n

i=1
c
i
x
i
−z = 0
ca o ecuatie suplimentara. Atunci tabelul simplex va avea m + 1 variabile fundamentale si cerand
ca permanent z sa fie una dintre ele nu mai este nevoie de adaugarea unei coloane in tabel !
Deci putem intotdeauna incepe un tabel avand ca ultima linie coeficientii c
i
, i = 1, 2, . . . , n
si un membru drept nul. Folosind operatii standard de pivotare anulam (prin pivotare pe linii)
elementele din aceasta linie ce corespund variabilelor fundamentale. Aceasta este echivalent cu a
CAPITOLUL 9: Metoda Simplex 177 Algoritmul Metodei Simplex
tranforma ecuatia suplimentara in
n

j=m+1
r
j
x
j
−z = −z
0
(71)
care este echivalenta cu (69) si deci r
j
obtinuti sunt exact coeficientii de cost relativ.
Dupa ce a fost selectata o coloana q in care se pivoteaza, selectia finala a pivotului se face
pe baza calcularii rapoartelor
b
i
¯a
iq
pentru elementele ¯a
iq
> 0, i = 1, 2, , m si selectand acel
indice p corespunzator celui mai mic raport. Pivotarea pe acest element pastreaza fezabilitatea si
descreste valoarea functiei obiectiv (in ipoteza de nedegenerare). Daca exista mai multi indici care
ating minimul se poate folosi oricare dintre acestia. Daca nu sunt elemente semipozitive in coloana
problema este nemarginita. Dupa ce actualizam in final tabelul cu pivotul ¯a
pq
(inclusiv ultima linie)
se obtine un nou tabel in forma canonica iar noua valoare a functiei obiectiv va apare in coltul
dreapta–jos.
Algoritmul simplex:
Pasul 0: Formeaza un tablou simplex corespunzantor unei solutii fundamentale fezabile.
Coeficientii de cost relativ se obtin prin reducere pe linii;
Pasul 1: Daca toti r
j
≥ 0, Stop. Solutia curenta este optimala;
CAPITOLUL 9: Metoda Simplex 178 Algoritmul Metodei Simplex
Pasul 2: Se alege q a.i. r
q
< 0 ptr. a afla care variabila nefundamentala va deveni
fundamentala;
Pasul 3: Se calculeaza
¯
b
i
¯a
iq
ptr. ¯a
iq
> 0, i = 1, 2, , m. Daca nu exista ¯a
iq
> 0, Stop.
Problema este nemarginita. Altfel se alege un i = p pentru care se atinge minimul rapoartelor.
Pasul 4: Pivoteaza elementul ¯a
pq
actualizand toate liniile incluzand-o pe ultima. Returnare la
Pasul 1.
In ipoteza de nedegenerare algoritmul se opreste cand este atinsa optimalitatea sau cand
se descopera nemarginirea.
Daca nici una dintre conditii nu este descoperita la o anumita solutie fundamentala atunci
functia obiectiv este strict descrescuta.
Deoarece exista numai un numar finit de solutii si nici o baza nu se repeta intrucat functia
obiectiv ia o valoare strict mai mica, algoritmul va gasi in final o baza fundamentala ce
satisface una dintre cele doua conditii de terminare !
CAPITOLUL 9: Metoda Simplex 179 Algoritmul Metodei Simplex
Degenerare
In timpul aplicarii simplex este posibil sa gasim baze degenerate ! Cum procedam ?
• In multe cazuri putem sa le tratam ca baze fundamentale fezabile nedegenerate;
• Exista posbilitatea teoretica ca minimul lui
¯
b
i
¯a
iq
sa fie zero implicand ca aceasta variabila
fundamentala egala cu zero trebuie sa paraseasca baza ⇒
• Noua variabila x
q
intra in baza la valoarea zero, functia obiectiv nu descreste, si noua baza
este deasemenea degenerata ! Mai mult, exista posbilitatea (mai mult teoretica) ca acest proces
sa continue pentru cativa pasi dupa care se reapara aceeasi baza degenerata originala rezultand un
ciclu care se repeta indefinit de mult !
• Exista metode care pot evita astfel de cicluri si care sunt bazate pe perturbarea usoara a
datelor problemei a.i. valorile nule sa fie inlocuite cu mici valori pozitive (vezi Exercitiile).
• In practica nu sunt necesare astfel de proceduri intrucat simplex nu intra in general niciodata
in astfel de cicluri.
• Deoarece procedurile anticiclare sunt simple ele sunt intotdeauna incluse in software-ul
comercial pentru a evita orice posibila evolutie neplacuta.
CAPITOLUL 9: Metoda Simplex 180 Algoritmul Metodei Simplex
5. Variabile Artificiale
Cum gasim o solutie initiala fundamentala si fezabila ?
Caz simplu: Consideram ca avem o problema de optimizare cu constrangeri de tipul Ax ≤ b
cu b ≥ 0. Aceasta problema se trateaza prin introducerea de variabile suplimentare care automat
furnizeaza un punct de plecare pentru metoda simplex.
Caz general: Rareori este posibil sa obtinem sau sa ghicim o solutie initiala fundamentala si
fezabila !! Trebuie dezvoltat un mecanism care sa functioneze pentru orice problema !! Interesant
(si din fericire adevarat), in orice problema solutia intitiala se poate obtine rezolvand TOT o
problema de programare liniara avand insa initializarea evidenta (pentru care putem deci utiliza
metoda simplex )!
Solutie: Prin operatii elementare constrangerile unui program liniar se pot aduce intotdeauna
la forma
Ax = b,
x ≥ 0,
(72)
cu b ≥ 0. Pentru a gasi o solutie intitiala pentru aceasta problema consideram problema (artificala)
CAPITOLUL 9: Metoda Simplex 181 Variabile Artificiale
de minimizare
minimizati

m
i=1
y
i
atunci cand Ax +y = b,
x ≥ 0,
y ≥ 0,
(73)
unde y
T
=

y
1
y
2
y
m

este un vector de variabile artificiale.
Daca (72) are o solutie fezabila, atunci este clar ca (73) va avea o solutie (considerata in
variabilele x si y) avand minimul egal cu zero si y = 0. Daca (72) nu are solutie fezabila atunci
valoarea minima a lui (73) este mai mare decat zero.
Problema (73) este o problema de programare liniara in variabilele x si y si sistemul este deja
in forma canonica cu solutia fundamentala fezabila y = b. Daca rezolvam sistemul (73) cu metoda
simplex obtinem o solutie fundamentala fezabila la fiecare pas! Daca valoarea minima a functiei
obiectiv este zero, atunci solutia finala va avea toti y
i
= 0 si atunci solutia finala nu va contine
niciunul dintre y
i
ca variabila fundamentala (desigur sub ipoteza de nedegenerare). Daca in solutia
finala unii y
i
sunt si zero si variabile fundamentale atunci intotdeauna se pot intershimba cu x
i
pastrand niveleul zero al functiei a.i. solutia finala sa aibe numai variabile fundamentale de tip x
i
(situatia este mai complicata in acest caz, vezi Exercitiile).
Concluzii generale : Metoda generala este in doua faze:
Faza I: Se introduc variabile artificiale, se obtine o problema de programare liniara care se
CAPITOLUL 9: Metoda Simplex 182 Variabile Artificiale
rezolva (prin simplex) obtinandu-se o solutie fundamentala fezabila pentru problema originala ! In
aceasta faza este posibil sa determinam ca problema originala nu are nici o solutie fundamentala
fezabila ! In aceasta faza se introduc variabile artificiale doar in acele ecuatii care nu contin variabile
suplimentare !
Faza II: Folosind solutia fundamentala fezabila determinata la Faza I se minimizeaza functia
obiectiv originala. In faza II se omit functia si variabilele artificiale de la Faza I !
CAPITOLUL 9: Metoda Simplex 183 Variabile Artificiale
6. Forma Matriceala a Metodei Simplex
Permite o scriere condensata a metodei simplex ce conduce in final la metoda simplex revizuita
care prezenta numeroase avantaje numerice.
noindent Fie B matricea coeficientilor variabilelor fundamentale (si care este submatrice a lui A)
– este formata din (primele) m coloane liniar independente si deci este matrice baza !
Partitionand
A =

B D

, x =

x
B
x
D

, c =

c
B
c
D

obtinem problema de programare liniara
minimizeaza c
T
B
x
B
+c
T
D
x
D
atunci cand Bx
B
+Dx
D
= b
x
B
≥ 0, x
D
≥ 0.
(74)
Solutia fundamentala ce este presupusa fezabila corespunzatoare bazei B este x
T
=

x
T
B
O

unde x
B
= B
−1
b (obtinuta punand automat x
D
= 0). Pentru un x
D
arbitrar valoarea lui x
B
este
x
B
= B
−1
x
B
−B
−1
Dx
D
(75)
CAPITOLUL 9: Metoda Simplex 184 Forma Matriceala a Metodei Simplex
care substituita in expresia functiei obiectiv conduce la
z = c
T
B
(B
−1
b −B
−1
Dx
D
) +c
T
D
x
D
= c
T
B
B
−1
b + (c
T
D
−c
T
B
B
−1
D)x
D
(76)
care exprima costul oricarei solutii in termenii lui x
D
. Prin urmare
r
T
D
= c
T
D
−c
T
B
B
−1
D (77)
este vectorul de cost relativ (pentru variabilele nefundamentale). Componentele acestui vector se
folosesc pentru a hotari care vector va fi adus in baza.
Tabloul initial este

A b
c
T
0

=

B D b
c
T
B
c
T
D
0

(78)
care nu este in general in forma canonica si nu corespunde unui punct in procedura simplex. Daca
folosim B drept matrice baza atunci tabloul corespunzator devine

I B
−1
D B
−1
b
0 c
T
D
−c
T
B
B
−1
D −c
T
B
B
−1
b

(79)
care este forma matriceala cautata !
CAPITOLUL 9: Metoda Simplex 185 Forma Matriceala a Metodei Simplex
7. Metoda Simplex Revizuita
Experienta practica extensiva (cu probleme din domenii extrem de diverse si avand diferite valori
pentru m si n) a aratat ca metoda converge la o solutie optimala in aproximativ m pivotari (posibil
si
3m
2
).
Concluzie interesanta: Daca m << n (matricea A are mult mai putine linii decat coloane)
pivotii vor aparea in timpul optimizarii doar intr-o mica parte dintre coloane ! Deci efortul facut
pentru actualizarea celorlalte coloane dupa pivotare este complet inutil !
Metoda simplex revizuita rezolva aceste probleme:
• Ordoneaza diferit calculele metodei simplex a.i. sa evite calculele inutile;
• Chiar in situatia in care pivotarea este necesara in toate coloanele dar m este mic in comparatie
cu n metoda economiseste uzual un numar important de operatii;
Algoritmul simplex revizuit:
Pasul 0: Se dau B
−1
(inversa unei baze curente), si solutia curenta x
B
=
¯
b = B
−1
b;
CAPITOLUL 9: Metoda Simplex 186 Metoda Simplex Revizuita
Pasul 1: Se calculeaza coeficientul de cost relativ r
T
D
:= c
T
D
− c
T
B
B
−1
D. Operatia se
efectueaza calculand intai λ
T
= c
T
B
B
−1
si apoi vectorul de cost r
T
D
:= c
T
D
−λ
T
D. Daca
r
D
≥ 0, STOP; valoarea curenta este optimala;
Pasul 2: Alegeti q a.i. r
q
< 0 ptr. a afla care variabila nefundamentala va deveni fundamentala
(se alege cel mai negativ coeficient de cost); se calculeaza ¯a
q
:= B
−1
a
q
care da vectorul a
q
in
baza curenta;
Pasul 3: Calculati
¯
b
i
¯a
iq
ptr. ¯a
iq
> 0, i = 1, 2, , m. Daca nu exista ¯a
iq
> 0, STOP.
Problema este nemarginita. Altfel alege un i = p pentru care se atinge minimul si deci vectorul
p va parasi baza;
Pasul 4: Actualizeaza B
−1
si solutia curenta B
−1
¯
b. Returnare la Pasul 1.
Observatia 105. Actualizarea lui B
−1
se obtine prin operatiile uzuale de pivotare aplicate unei
matrici formate din B
−1
si din ¯a
q
, unde pivotul este dat de elementul corespunzator din ¯a
q
.
Simultan se poate desigur actualiza si B
−1
¯
b adaugand o singura coloana.
Observatia 106. Pentru inceperea procedurii avem nevoie de o solutie initiala fezabila si de inversa
bazei initiale. In multe probleme baza initiala este matricea identitate I
m
(si evident si inversa) –
rezultand din variabile suplimentare sau artificiale !
CAPITOLUL 9: Metoda Simplex 187 Metoda Simplex Revizuita
Forma Produs a Inversei
Aceasta varianta de metoda simplex revizuita se bazeaza pe o reprezentare de tip produs a inversei
bazei. Avantajele variantei:
• Are nevoie de mai putine calcule decat alte metode;
• Avantajul principal consta in necesarul foarte mic de memorie “rapida”.
Sa presupunem ca tabloul T se modifica prin pivotarea cu un pivot ¯a
pq
din coloana a
q
=
_
_
_
_
¯a
1q
¯a
2q

¯a
mq
_
_
_
_
. Rezultatul pivotarii este matricea ET in care E este matricea elementara
E =
_
_
_
_
_
_
_
_
_
_
_
1 0 0 v
1
0 0
0 1 0 v
2
0 0
1
.
.
. 0
v
p
0
.
.
.
1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 0 v
m
0 1
_
_
_
_
_
_
_
_
_
_
_
, (80)
CAPITOLUL 9: Metoda Simplex 188 Metoda Simplex Revizuita
cu elementele v
i
din coloana p avand valorile
v
i
= −
¯a
iq
¯a
pq
, i ,= p,
v
p
=
1
¯a
pq
.
(81)
Matricea E se determina pe baza coloanei pivot. Multiplicarea oricarei coloane la stanga cu
matricea E adauga unei componente arbitrare i ,= p componenta p multiplicata cu v
i
si multiplica
componenta p cu v
p
– aceasta corespunde exact operatiilor de pivotare facute intr-o coloana a
tabelului!
Initializand algoritmul simplex cu o matrice baza identitate obtinem dupa k pivotari succesive
inversa
B
−1
:= E
k
E
k−1
. . . E
2
E
1
(82)
in care E
i
este matricea elementara corespunzatoare pivotarii i. Aplicand aceasta reprezentare a
inversei se obtine o noua varianta a metodei simplex revizuite.
Metoda Simplex Revizuita de Tip Produs
Pasul 0: Presupunem ca dupa pivotarea k am avem memorate E
1
, . . . E
k
.
Pasul 1: Se calculeaza solutia de baza prin formula recursiva
x
B
= (E
k
(E
k−1
. . . (E
1
b)))
CAPITOLUL 9: Metoda Simplex 189 Metoda Simplex Revizuita
Pasul 2: Se calculeaza coeficientii de cost relativ r
T
D
= c
T
D
− c
T
B
B
−1
D (se foloseste aceeasi
metoda de calcul cu λ ca anterior). Vectorul λ se obtine prin formula recursiva
λ
T
= (((c
T
B
E
k
)E
k−1
) . . . E
1
).
Daca r
D
≥ 0, STOP; solutia curenta este optimala.
Pasul 3: Se selecteaza cel mai negativ coeficient de cost relativ si se calculeaza vectorul
corespunzator
¯a
q
= (((E
k
)E
k−1
. . . (E
1
¯a
q
))).
Pasul 4: Daca nu exista ¯a
iq
> 0, STOP. Problema este nemarginita. Altfel alege un i = p
pentru care se atinge minimul
¯
b
i
¯a
iq
pentru care ¯a
iq
> 0 stabilind astfel care vector paraseste
baza. In felul aceasta s-a determinat care componenta este noul pivot si deci E
k+1
. Returnare
la Pasul 1.
Observatia 107. Pentru stocarea matricilor E este necesara memorarea a numai m+1 numere:
(p, v
1
, . . . , v
m
). Mai mult, nici nu este nevoie sa reconstituim matricile E in mod explicit ci doar
formulele de multiplicat E la dreapta cu un vector coloana (Pasii 1 si 3) si la stanga cu un vector
linie (Pasul 2) !
Observatia 108. In cazul rezolvarii unor probleme de dimensiuni mari prin aceasta metoda
majoritatea informatiilor se pot pastra in memoriile mai lente ale masinii de calcul (HDD, DVD,
CAPITOLUL 9: Metoda Simplex 190 Metoda Simplex Revizuita
etc). Coloanele lui A se pot aduce in memoria RAM in mod individual, si se pot inmulti cu B
−1
prin aducerea succesiva in memoria RAM a vectorilor de dimensiune m + 1 ce definesc matricile
E.
Observatia 109. Problemele de dimensiuni mari care apar uzual in programarea liniara au multa
structura, implicand adesea ca matricea A (si desemenea matricea B) sunt matrici rare (cu putine
elemente nenule). In orice caz, B
−1
nu este matrice rara in general si acest fapt evidentiaza avantajul
formei produs. Un avantaj suplimentar al formei produs este ca vectorii (p, v
1
, v
2
, . . . , v
m
) definind
matricile E sunt probabil ei insasi rari, generand o reducere masiva in memoria si timpul de executie
necesare.
Reinversare
Pentru probleme de dimensiuni mari sau prost conditionate numeric erorile de calcul se acumuleaza
pana la un nivel la care B
−1
este puternic imprecisa ! Evaluarea erorii la pasul curent se face
evaluand
Bx
B
−b
in care x
B
este valoarea curenta gasita prin formula x
B
= B
−1
b in care pentru calculul lui B
−1
se
foloseste valoarea curenta a lui B
−1
. Daca eroarea este semnificativa este recomandata reinversarea
cat mai exact posibil a lui B si restartatea procedurii. Aceasta operatie se numeste reinversare
si este o componenta esentiala a oricarei biblioteci de programe. Pentru inversarea lui B se poate
CAPITOLUL 9: Metoda Simplex 191 Metoda Simplex Revizuita
folosi orice procedura numeric stabila, cel mai adesea folosindu-se proceduri de pivotare in care
pivotii se aleg la fiecare pas a.i. sa minimizeze erorile de calcul.
In cazul formei produs reinversarea serveste si pentru controlul necesarului de memorie: sirul
lung de matrici elementare ce descriu inversa lui B este inlocuit cu un sir de m matrici ! Mai
mult, in acest caz alegerea pivotilor se face a.i. sa mentinem structura rara (in afara de acuratetea
calculelor).
CAPITOLUL 9: Metoda Simplex 192 Metoda Simplex Revizuita
8. Metoda Simplex via Descompunerea LU
In procedura propusa in sectiunea precedenta am vazut ca parcurgerea unui pas din metoda
simplex nu este dependenta de cunoasterea explicita a inversei B
−1
ci de rezolvarea unor sisteme
de ecuatii avand matricea coeficient B. Cu aceasta observatie procedura simplex din sectiunea
precedenta se poate da in forma:
Algoritmul simplex revizuit:
Pasul 0: Se da baza curenta B.
Pasul 1: Se calculeaza solutia curenta x
B
ce satisface Bx
B
=
¯
b;
Pasul 2: Se rezolva λ
T
B = c
T
B
si se calculeaza coeficientul de cost relativ r
T
D
:= c
T
D
−λ
T
D.
Daca r
D
≥ 0, STOP; valoarea curenta este optimala;
Pasul 3: Se alege q a.i. r
q
< 0 ptr. a afla care variabila nefundamentala va deveni fundamentala
(se alege cel mai negativ coeficient de cost); se rezolva B¯a
q
:= a
q
care da vectorul a
q
in baza
curenta;
Pasul 4: Se calculeaza
¯
b
i
¯a
iq
ptr. ¯a
iq
> 0, i = 1, 2, , m. Daca nu exista ¯a
iq
> 0, STOP.
Problema este nemarginita. Altfel se alege un i = p pentru care se atinge minimul si deci
vectorul p va parasi baza;
CAPITOLUL 9: Metoda Simplex 193 Metoda Simplex via Descompunerea LU
Pasul 5: Actualizeaza B. Returnare la Pasul 1.
Din procedura de mai sus se observa ca intr-adevar nu este nevoie de B
−1
ci doar de rezolvarea
a trei sisteme de ecuatii liniare, doua avandu-l pe B drept coeficient matriceal si unul pe B
T
. In
procedurile anterioare sistemele erau implicit rezolvate prin operatiile corespunzatoare de pivotare pe
masura ca metoda progresa. Dpdv al eficientei si preciziei numerice metoda de pivotare prezentata
nu este la fel de eficienta precum eliminarea Gaussiana pentru sisteme generale de ecuatii liniare.
In consecinta are rost sa adaptam eliminarea Gaussiana pentru metoda simplex, rezultatul fiind o
versiune a metodei simplex revizuite care are o stabilitate numerica mai buna si pentru probleme de
dimensiuni mari ofera economii importante de memorie.
Ne concentram asupra celor trei sisteme ce trebuie rezolvate la fiecare pas:
Bx
B
= b, λ
T
B = c
T
B
, B¯a
q
= a
q
. (83)
Presupunem ca B a fost descompus sub forma B = LU unde L si U sunt matrici inferior
respectiv superior triangulare (presupunem pentru simplitate ca nu avem nevoie de reordonare pe
linii – se poate relaxa dar complexitatea expunerii creste considerabil). Deci fiecare sistem (83) se
poate rezolva prin rezolvarea a doua sisteme triangulare.
Cheia cresterii eficientei metodei simplex consta in actualizarea eficienta a acestor doua matrici
CAPITOLUL 9: Metoda Simplex 194 Metoda Simplex via Descompunerea LU
triangulare cand se schimba un singur vector baza ! Presupunem ca la inceputul metodei simplex
avem
B =

a
1
a
2
. . . a
m

si la sfarsitul ciclului vom avea
B =

a
1
a
2
. . . a
p−1
a
p+1
. . . a
m
a
q

(vectorul a
p
s-a inlocuit cu a
q
). Sa observam ca B se obtine din B prin eliminarea lui a
p
, siftarea
vectorilor cu indici mai mari spre stanga si adaugarea lui a
q
in extremitatea dreapta. Avem
L
−1
B =

L
−1
a
1
L
−1
a
2
. . . L
−1
a
p−1
L
−1
a
p+1
. . . L
−1
a
m
L
−1
a
q

=

u
1
u
2
. . . u
p−1
u
p+1
. . . u
m
L
−1
a
q

= H
in care u
i
sunt exact coloanele lui U iar matricea H are forma
H =
CAPITOLUL 9: Metoda Simplex 195 Metoda Simplex via Descompunerea LU
cu zerouri sub diagonala principala in primele k −1 coloane si zerouri sub elementul imediat de sub
diagonala principala in restul de coloane. Matricea H se poate construi fara calcule suplimentare
deoarece u
i
sunt cunoscute si L
−1
a
q
este deja calculat atunci cand se rezolva al treilea sistem
(83). Tot ce avem de facut este sa anulam elementele nenule subdiagonale folosind de exemplu
eliminarea Gaussiana. In final se obtine matricea superior triangulara U ca urmare a aplicarii unor
transformari de tipul
M
i
=
_
_
_
_
_
_
_
_
_
_
_
1
1
.
.
.
1
m
i
1
.
.
.
1
_
_
_
_
_
_
_
_
_
_
_
, i = k, k + 1, . . . , m−1 (84)
sub forma
U = M
m−1
M
m−2
M
k
H. (85)
Obtinem in final
B = LH = LM
−1
k
M
−1
k+1
M
−1
m−1
U, (86)
L = LM
−1
k
. . . M
−1
m−1
(87)
CAPITOLUL 9: Metoda Simplex 196 Metoda Simplex via Descompunerea LU
si deci descompunerea
B = LU. (88)
Se observa ca L se calculeaza simplu si este inferior triunghiulara deoarece
M
−1
i
=
_
_
_
_
_
_
_
_
_
1
1
.
.
.
1
−m
i
1
.
.
.
1
_
_
_
_
_
_
_
_
_
Observatia 110. Exista multe variante concrete de implementare: transformarile M
i
se pot
memora in loc sa evaluam L; descompunerea LU se poate reevalua periodic (similar ca la
reinversare) si se pot folosi intreschimbari de linii si coloane pentru a mximiza stabilitatea sau pentru
a minimiza “densitatea” descompunerii (vezi Exercitiile)
CAPITOLUL 9: Metoda Simplex 197 Metoda Simplex via Descompunerea LU
9. Concluzii
Metoda simplex se bazeaza pe faptul ca daca valoarea optimala a unui program liniar este
finita atunci se atinge la o solutie fundamentala fezabila. Exista doua interpretari posibile ale
metodei simplex:
• (Prin variatii continue): Se pleaca cu o solutie fezabila fundamentala si una dintre variabilele
nefundamentale este crescuta incet de la zero. In timp ce aceasta variabila este crescuta, restul
de variabile fundamentale sunt ajustate a.i. sa se pastreze fezabiliatea. Schimbarea functiei
obiectiv la o schimbare unitara a variabilei nefundamentale este coeficientul de cost relativ
asociat cu variabila nefundamentala. Daca coeficientul este negativ, valoarea functiei obiectiv
este imbunatatita pe masura ce variabila nefundamentala este crescuta pana in punctul in care
o crestere mai mare violeaza fezabilitatea. In acest punct una dintre variabilele fundamentale
este zero si se face intreschimbarea cu varibila nefundamentala.
• (Prin variatii discrete): Deoarece este necesar sa consideram doar solutii fundamentale fezabile,
se selecteaza diverse baze si se calculeaza solutiile fundamentale corespunzatoare prin rezolvarea
unor sisteme de ecuatii liniare. Logica alegerii unor noi baze este generata de coeficientii de cost
relativ.
Concluzii
Tehnici de Optimizare
(Partea a–III–a: Control Optimal)
Cristian OARA
Facultatea de Automatica si Calculatoare
Universitatea Politehnica Bucuresti
Splaiul Independentei 313,
Bucuresti, Romania
Fax: + 40 1 3234 234
Email: oara@riccati.pub.ro
Concluzii
Capitolul 10 : INTRODUCERE
Recapitulati notiunile de la TS I + II:
Semnal
Sistem
Control
Control Automat
Comportare ”Dezirabila” a unui Sistem
CAPITOLUL 11: NOTIUNI DE BAZA 200 Notiuni de Baza
Capitolul 11 : NOTIUNI DE BAZA
Sistem Liniar
Proprietati de Baza ale Sistemelor Liniare
Spatii de Semnale si Functii de Transfer
Evolutii pe Spatiul Starilor Generate de Intrari L
2
Operatorul L
2
Intrare–Iesire
Descriere Dinamica:
˙ x(t) = Ax(t) +Bu(t),
y(t) = Cx(t) +Du(t),
(89)
in care t ∈ R, x(t) ∈ R
n
este starea, u(t) ∈ R
m
este intrarea, y(t) ∈ R
p
este iesirea sistemului,
si A, B, C, D sunt matrici constante de dimensiuni adecvate
A ∈ R
n·n
, B ∈ R
n·m
, C ∈ R
p·n
, D ∈ R
p·m
.
Comportarea intrare–iesire a sistemului (89) este descrisa convenabil de matricea de transfer
CAPITOLUL 11: NOTIUNI DE BAZA 201 Notiuni de Baza
care este matricea rationala proprie de dimensiuni p ·m
G(s) := C(sI −A)
−1
B +D =

A B
C D

(s). (90)
Facand o schimbare de variabile de forma ¯ x := Tx (T matrice inversabila), vectorul transformat
¯ x satisface
˙
¯ x(t) =
¯
A¯ x(t) +
¯
Bu(t),
y(t) =
¯
C¯ x(t) +
¯
Du(t),
(91)
in care
¯
A := TAT
−1
,
¯
B := TB,
¯
C := CT
−1
,
¯
D := D. (92)
NOTA:
• G(s) se obtine luand transformata Laplace in (89) si explicitand y(s) ca functie de u(s) in
forma
y(s) = G(s)u(s) (93)
• Incepand cu o reprezentare a lui G ca matrice rationala proprie putem intotdeauna obtine
reprezentare de stare (89) scriind realizarea standard (A, B, C, D) a lui G.
• Se poate intotdeauna asigura minimalitatea realizarii.
CAPITOLUL 11: NOTIUNI DE BAZA 202 Notiuni de Baza
• O schimbare de variabila (transformare de similaritate sau transformare de echivalenta) nu
afecteaza spectrul matricii A nici matricea de transfer intrare–iesire.
CAPITOLUL 11: NOTIUNI DE BAZA 203 Notiuni de Baza
Proprietati de Baza ale Sistemelor Liniare
Un sistem se numeste
• stabil: daca toate valorile proprii ale lui A sunt in C

• antistabil: daca toate valorile proprii ale lui A sunt in C
+
• dihotomic: daca A nu are valori proprii pe axa imaginara
NOTA:
• Stabilitatea, antistabilitatea, dihotomia si proprietatile I/O sunt invariante sub transformari de
coordonate
• Facand o transformare de coordonate T, un sistem dihotomic se poate descompune intr–o parte
stabila si una antistabila:
¯
A = TAT
−1
=

A

O
O A
+

]n

]n
+
,
¯
B = TB =

B

B
+

,
¯
C = CT
−1
=

C

C
+

·¸¸. ·¸¸.
n

n
+
(94)
CAPITOLUL 11: NOTIUNI DE BAZA 204 Proprietati de Baza ale Sistemelor Liniare
in care A

este stabila si A
+
este antistabila.
Un sistem se numeste:
• Controlabil: daca (A, B) satisface
rank

sI −A B

= n, ∀s
• Stabilizabil: daca (A, B) satisface
rank

sI −A B

= n, ∀s, Re s ≥ 0
⇔ Exista F a.i. A +BF este stabila
• Antistabilizabil: daca (A, B) satisface
rank

sI −A B

= n, ∀s, Re s ≤ 0.
Notiuni duale: Observabilitate, Detectabilitate, Antidetectabilitate
CAPITOLUL 11: NOTIUNI DE BAZA 205 Proprietati de Baza ale Sistemelor Liniare
Spatii de Semnale si Matrici de Transfer
DEFINIM:
• L

(C
0
): spatiul Banach al functiilot matriciale complexe G(s) care sunt marginite pe C
0
, cu
norma–L

(C
0
)
jGj

:= sup
s∈C
0
σ(G(s)) (95)
in care σ: valoarea singulara maxima.
• RH

: subspatiul rational constand din matrici proprii p · m cu elemente marginite pe axa
imaginara.
• RH

+,p·m
spatiul matricilor rationale proprii cu elemente analitice in C
+
∪ C
0
• RH

−,p·m
spatiul matricilor rationale proprii cu elemente analitice in C

∪ C
0
.
NOTA:
• Daca A este dicotomic ⇒ G ∈ RL

.
• Daca A este stabila ⇒ G ∈ RH

+
• Daca A este antistabila ⇒ G ∈ RH


.
CAPITOLUL 11: NOTIUNI DE BAZA 206 Spatii de Semnale si Matrici de Transfer
• Un sistem cu matricea de transfer ∈ RH

+
este stabil intrare–iesire (coincide cu RH

+
)
• Un sistem stabil (numit si intern stabil – cu A stabila) este intotdeauna stabil in sens intrare–
iesire.
• Reciproca nu este adevarata decat daca realizarea este stabilizabila si detectabila.
Problema centrala in Teoria sistemelor: stabilitatea interna pentru ca garanteaza ca orice
semnal de energie finita (norma L
2
finita) injectat oriunde in sistem genereaza semnale de energie
marginita (norma L
2
finita).
Pentru functii de transfer avem
jGj

= sup
ω∈R
σ(G(jω)) = sup
ω∈R
jG(jω)j
in care j j este norma operatoriala indusa a matricii (= norma indusa a operatorului intrare–iesire
a sistemului).
NOTA:
• Norma L

a unui sistem este finita daca si numai daca matricea de transfer este analitica pe
axa imaginara incluzand la infinit !
• Norma L

a unui sistem da energia maxima a semnalului de iesire cand intrarea este un semnal
de energie marginita de 1 ! — Cel mai prost caz!
CAPITOLUL 11: NOTIUNI DE BAZA 207 Spatii de Semnale si Matrici de Transfer
Rezultate asupra normei L

Teorema 111. [Teorema lui Rellich] Fie matricea n·n M(x) = M

(x) depinzand continuu
de parametrul real x apartinand intervalului I. Atunci exista functii reale continue µ
1
, . . . , µ
n
definite pe I, a.i. µ
n
(x) ≤ . . . ≤ µ
1
(x), pentru orice x in I, si Λ(M(x)) = ¦µ
i
(x)].
Corolarul 112. Pentru G ∈ RL

p·m
, σ(G(jω)) depinde continuu de ω ∈ R, este marginita si
isi atinge maximum pentru ω ∈ [−∞, ∞], unde prin definitie G(j∞) = G(−j∞) = D.
Teorema 113. Presupunem ca sirul de sisteme
G
k
=

A
k
B
k
C
k
D
k

, k ∈ N, (96)
este a.i. A
k
→ A, B
k
→ B, C
k
→ C si D
k
→ D cand k → ∞, A si A
k
sunt stabile, si
G(s) = C(sI −A)
−1
B +D ≡ 0. Atunci
lim
k→∞
jG
k
j

= 0.
Demonstratie: Rezultatul poate suna evident dar nu este deloc trivial !!!!
CAPITOLUL 11: NOTIUNI DE BAZA 208 Spatii de Semnale si Matrici de Transfer
Rezultate privind norma L
2
DEFINIM: Spatiul L
2
(M): Spatiul Hilbert al functiilor complexe matriciale (vectoriale sau
scalare ) G(t) pentru care
_
M
Trace [G

(t)G(t)]dt < ∞, (97)
unde M este sau Z, (−∞, ∞), C
0
, sau ∂D.
In particular, L
2
(C
0
) este spatiul Hilbert al functiilor matriciale (vectoriale sau scalare) G(s)
cu norma L
2
(C
0
) finita
jGj
2
:= ¦
1

_

−∞
Trace [G

(jω)G(jω)]dω]
1
2
. (98)
NOTA:
• Daca G ≡ G este o functie rationala atunci norma L
2
(C
0
) este finita daca si numai daca G
nu are poli pe axa imaginara si este strict proprie.
• Norma L
2
a unui sistem da energia semnalului de iesire cand la intrare se aplica un impuls
Dirac!!!
CAPITOLUL 11: NOTIUNI DE BAZA 209 Spatii de Semnale si Matrici de Transfer
Calculul alternativ al normelor
Presupunem D = 0 si A stabila. Norma L
2
(C
0
) a lui G se poate calcula folosind
jGj
2
= [Trace (B
T
QB)]
1
2
= [Trace (CPC
T
)]
1
2
(99)
in care P si Q sunt unicele solutii ale urmatoarelor ecuatii
AP +PA
T
+BB
T
= 0, A
T
Q+QA +C
T
C = 0. (100)
Pp D = 0 si A antistabila. Norma L
2
(C
0
) a lui G se poate calcula folosind
jGj
2
= [Trace (B
T
¯
QB)]
1
2
= [Trace (C
¯
PC
T
)]
1
2
(101)
unde
¯
P si
¯
Q sunt unicele solutii ale ecuatiilor
A
¯
P +
¯
PA
T
−BB
T
= 0, A
T
¯
Q+
¯
QA −C
T
C = 0. (102)
Calculul normei L

necesita intotdeauna o cautare iterativa !!!
CAPITOLUL 11: NOTIUNI DE BAZA 210 Spatii de Semnale si Matrici de Transfer
Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L
2
Investigam solutiile particulare ale sistemului diferential
˙ x = Ax +Bu, (103)
unde A ∈ R
n·n
, B ∈ R
n·m
, in cazul in care u este o functie L
2,m
(−∞, ∞): spatiul Hilbert al
functiilor de patrat integrabil in sens Lebesgue pe (−∞, ∞), luand valori in R
m
.
Daca u ∈ L
2,m
definim norma L
2
a lui u:
juj
2
:= (
_

−∞
ju(t)j
2
dt)
1
2
< ∞.
Fie deasemenea
• L
2,m
+
: subspatiile inchise a lui L
2,m
de functii cu suport [0, ∞)
• L
2,m

: subspatiile inchise a lui L
2,m
al functiilor cu suport (−∞, 0]
Nota:
L
2,m
= L
2,m
+
⊕L
2,m

.
CAPITOLUL 11: NOTIUNI DE BAZA 211 Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L
2
Solutii L
2
ale lui ˙ x = Ax +Bu
Cautam solutii L
2
in cazurile urmatoare:
1. Sub conditii initiale
2. Pe intreaga axa de timp:
• A stabila
• A antistabila
• A dihotomica
• A arbitrara
CAPITOLUL 11: NOTIUNI DE BAZA 212 Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L
2
1. Solutii sub conditii intitiale
Fie ξ ∈ R
n
arbitrar, si u ∈ L
2,m
+
. Fie x
ξ,u
solutia care satisface x(0) = ξ data de formula de
variatie a constantelor
x
ξ,u
(t) = e
At
ξ +
_
t
0
e
A(t−τ)
Bu(τ)dτ, t ≥ 0 (104)
sau in forma operatoriala
x
ξ,u
= Φξ +1u (105)
cu
Φ : R
n
→ L
2,n
+
, (Φξ)(t) := e
At
ξ, t ≥ 0, (106)
si
1 : L
2,m
+
→ L
2,n
+
, (1u)(t) :=
_
t
0
e
A(t−τ)
Bu(τ)dτ, t ≥ 0. (107)
NOTA:
• Acesti doi operatori nu sunt cu necesitate marginiti
• Daca A este stabila, atunci x
ξ,u
∈ L
2,n
+
si ambii operatori Φ si 1 sunt marginiti.
Ne intereseaza si alte solutii ale ˙ x = Ax+Bu (pe intreaga axa de timp). In orice caz, proprietatile
lor depind puternic de spectrul lui A si trebuie deci considerate separat cazurile in care A este
stabila, antistabila, dihotomica, si arbitrara.
CAPITOLUL 11: NOTIUNI DE BAZA 213 Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L
2
2. Solutii pe intreaga axa
Teorema 114. Fie A stabila. Atunci pentru fiecare u ∈ L
2,m
, ecuatia ˙ x = Ax + Bu are o
solutie unica x
u
e
(absolut continua) in L
2,n
, data de
x
u
e
(t) =
_
t
−∞
e
A(t−τ)
Bu(τ)dτ , t ∈ R. (108)
Putem defini operatorul marginit 1
e
: L
2,m
→ L
2,n
prin
(1
e
u)(t) :=
_
t
−∞
e
A(t−τ)
Bu(τ)dτ , t ∈ R (109)
si obtinem forma operatoriala a solutiei
x
u
e
= 1
e
u. (110)
Mai mult, avem urmatoarele conexiuni intre cei doi operatori 1 introdusi pana acum
1 = P
n
+
1
e
P
m
+
= 1
e
P
m
+
, (111)
unde P
r
±
sunt proiectiile ortogonale ale lui L
2,r
pe L
2,r
±
.
CAPITOLUL 11: NOTIUNI DE BAZA 214 Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L
2
Teorema 115. Fie A antistabila. Atunci pentru oricare u ∈ L
2,m
, ecuatia ˙ x = Ax +Bu are o
solutie unica x
u
e
in L
2,n
(absolut continua) data de
x
u
e
(t) = −
_

t
e
A(t−τ)
Bu(τ)dτ , t ∈ R. (112)
Analog, putem defini in acest caz operatorul liniar marginit 1
e
: L
2,m
→ L
2,n
dat de
(1
e
u)(t) := −
_

t
e
A(t−τ)
Bu(τ)dτ , t ∈ R, (113)
a.i. x
u
e
= 1
e
u continua sa fie valida.
Teorema 116. Fie A dihotomica. Atunci, oricare u in L
2,m
, ecuatia ˙ x = Ax +Bu are o unica
solutie in L
2,n
data de
x
u
e
(t) =
_
t
−∞
e
A(t−τ)
Π

Bu(τ)dτ −
_

t
e
A(t−τ)
Π
+
Bu(τ)dτ , t ∈ R (114)
unde Π

and Π
+
sunt proiectiile lui R
n
pe subspatiile stabile si antistabile ale lui A.
Similar, definim operatorul liniar marginit 1
e
: L
2,m
→ L
2,n
, x
u
e
:= 1
e
u si 1 : L
2,m
+
→ L
2,n
+
,
1 := P
n
+
1
e
P
m
+
, x
u
:= 1u.
CAPITOLUL 11: NOTIUNI DE BAZA 215 Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L
2
Cazul general: A arbitrar
Asa cum am vazut, in acest caz definim solutiile (cu conditii initiale) x
ξ,u
prin
x
ξ,u
(t) = e
At
ξ +
_
t
0
e
A(t−τ)
Bu(τ)dτ, t ≥ 0. (115)
In general, x
ξ,u
nu este in L
2,n
+
. Este interesant sa consideram multimea acelor functii de
intrare u care fac x
ξ,u
integrabila (in patratul normei). Aceste intrari pot fi vazute ca stabilizand
sistemul in bucla deschisa. Introducem
/
ξ
:= ¦u : u ∈ L
2,m
+
a.i. x
ξ,u
∈ L
2,n
+
]. (116)
Daca A este stabila atunci /
ξ
= L
2,m
+
. In general, avem:
Lema 117. Presupunem (A, B) stabilizabila si fie F o reactie stabilizatoare. Fie ξ ∈ R
n
si
u ∈ L
2,m
+
. Atunci u ∈ /
ξ
daca si numai daca u = Fx
ξ,v
F
+ v , in care v este arbitrara in L
2,m
+
si x
ξ,v
F
este unica solutie in L
2,n
+
a lui
˙ x
F
= (A +BF)x
F
+Bv , x
F
(0) = ξ.
CAPITOLUL 11: NOTIUNI DE BAZA 216 Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L
2
Operatorul L
2
Intrare–Iesire
Consideram un sistem liniar cu A dihotomica si un u ∈ L
2,m
arbitrar. Atunci
˙ x(t) = Ax(t) +Bu(t),
y(t) = Cx(t) +Du(t)
(117)
se poate rescrie ca
x = x
u
e
= 1
e
u
y = (C1
e
+D)u (∈ L
2,p
).
Sistemul (117) defineste astfel un operator liniar marginit din L
2,m
in L
2,p
:
(Çu)(t) =
_
t
−∞
Ce
A(t−τ)
Π

Bu(τ)dτ −
_

t
Ce
A(t−τ)
Π
+
Bu(τ)dτ +Du(t). (118)
Printr-o transformare T care descompune sistemul in partile sale stabile si antistabile obtinem
(Çu)(t) =
_
t
−∞
C

e
A

(t−τ)
B

u(τ)dτ −
_

t
C
+
e
A
+
(t−τ)
B
+
u(τ)dτ +Du(t). (119)
CAPITOLUL 11: NOTIUNI DE BAZA 217 Operatorul L
2
Intrare–Iesire
Deoarece A este dihotomica,
G(s) = C(sI −A)
−1
B +D ∈ RL

p·m
.
Daca y ∈ L
2,p
, u ∈ L
2,m
sunt a.i.
y = Çu,
atunci transformatele Fourier ¯ y, ¯ u ∈ L
2
(C
0
),
¯ y(jω) = G(jω)¯ u(jω), a.p.t.ω
Teorema 118. Daca sistemul este dihotomic, atunci norma operatorului intrare–iesire este egala
cu norma L

(C
0
) matricii sale de transfer, i.e.,
jÇj = jGj

. (120)
Avem urmatorul rezultat in cazul unui sistem inversabil (avand D inversabila).
Propozitia 119. Fie D inversabila si A − BD
−1
C este dihotomica. Atunci operatorul intrare–
iesire Ç este inversabil si inversa sa este operatorul intrare–iesire al sistemului
˙ x(t) = (A −BD
−1
C)x(t) + BD
−1
y(t),
u(t) = −D
−1
Cx(t) + D
−1
y(t).
(121)
CAPITOLUL 11: NOTIUNI DE BAZA 218 Operatorul L
2
Intrare–Iesire
Capitolul 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV
Definitii si Echivalenta
Transformari sub Echivalenta
Indici Patratici
Sistemul Riccati
Ecuatia Matriciala Algebrica Riccati
Sistemul Kalman–Yakubovich–Popov
Sistemul Hamiltonian
Functia Popov
Operatorul I/O al Sistemului Hamiltonian
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 219 Definitii si Echivalenta
Definitii si Echivalenta
Definitia 120. [Triplet Popov] Un triplet de matrici
Σ := (A, B; P), P :=

Q L
L
T
R

= P
T
,
unde A ∈ R
n·n
, B ∈ R
n·m
, Q = Q
T
∈ R
n·n
, L ∈ R
n·m
, R = R
T
∈ R
m·m
, si
P ∈ R
(n+m)·(n+m)
, se numeste triplet Popov.
• Semnificatie: Reprezentare pe scurt a unei perechi constand din:
– Un sistem dinamic controlat
˙ x = Ax +Bu (122)
– Un indice patratic de performanta
J =
_
t
1
t
0
w
T
(t)Pw(t)dt, w(t) :=

x(t)
u(t)

, (123)
unde x(t) si u(t) satisfac (122).
• Reprezentare alternativa explicita a unui triplet Popov ca Σ = (A, B; Q, L, R)
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 220 Definitii si Echivalenta
Definitia 121. [Echivalenta si triplete Popov] Doua triplete Popov
Σ = (A, B; Q, L, R),
¯
Σ = (
¯
A,
¯
B;
¯
Q,
¯
L,
¯
R),
se numesc (X, F)–echivalente daca exista F ∈ R
m·n
si X = X
T
∈ R
n·n
a.i.
¯
A = A +BF,
¯
B = B,
¯
Q = Q+LF +F
T
L
T
+F
T
RF +
¯
A
T
X +X
¯
A,
¯
L = L +F
T
R +XB,
¯
R = R.
(124)
• Echivalent Feedback (sau F–echivalent): X = 0
• Echivalent Redus F = 0 si X a.i.
¯
Q = 0 ( ecuatie Lyapunov: Q+A
T
X +XA = 0)
• Relatia de mai sus este intr-adevar o relatie de echivalenta ce satisface axiomele corespunzatoare.
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 221 Definitii si Echivalenta
Transformari sub Echivalenta
Vedem in continuare cum se transforma diversele obiecte asociate cu un indice patratic + sistem
dinamic controlat (sau cu un triplet Popov) sub relatia de echivalenta :
• Indice patratic
• Sistemul algebric Riccati (ARS)
• Ecuatia algebrica Riccati (ARE)
• Sistemul Kalman-Popov-Yakubovich (KPYS)
• Sistemul Hamiltonian
• Fascicolul (matricial) Hamiltonian extins (EHP)
• Functia Popov
• Operatorul I/O al sistemului Hamiltonian
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 222 Transformari sub Echivalenta
Indice Patratic
J
Σ
(ξ, u) :=
_

0

x
u

T

Q L
L
T
R

x
u

dt =

x
ξ,u
u

,

Q L
L
T
R

x
ξ,u
u

L
2,n
+
·L
2,m
+
,
(125)
unde
x
ξ,u
(t) = e
At
ξ +
_
t
0
e
A(t−τ)
Bu(τ)dτ, t ≥ 0 (126)
este solutia
˙ x = Ax +Bu, x(0) = ξ (127)
u ∈ /
ξ
:= ¦u : u ∈ L
2,m
+
a.i. x
ξ,u
∈ L
2,n
+
] (128)
• Reamintire: Multimea /
ξ
contine acele intrari care fac solutia x
ξ,u
de patrat integrabil. Aceste
intrari stabilizeaza sistemul in bucla deschisa !!!
• Daca A este stabila, J
Σ
(ξ, u) este definita pentru toti ξ ∈ R
n
si u ∈ L
2,m
+
i.e. /
ξ
= L
2,m
+
.
Propozitia 122. Fie Σ = (A, B; P) si fie
¯
Σ = (
¯
A,
¯
B;
¯
P) un (X, F) echivalent. Atunci:
J
Σ
(ξ, u) = J
¯
Σ
(ξ, ¯ u) +ξ
T
Xξ, (u ∈ /
ξ
) unde ¯ u = −Fx
ξ,u
+u.
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 223 Transformari sub Echivalenta
Sistemul Algebric Riccati
Sistemul de ecuatii in necunoscutele F ∈ R
m·n
, X = X
T
∈ R
n·n
,

A
T
X +X
.
A +Q L +XB
B
T
X +L
T
R

· ¸¸ .
Matricea de Disipativitate

I
F
.

= 0 (129)
se numeste sistemul algebric Riccati (ARS) asociat cu Σ : ARS(Σ).
Definitia 123. O pereche (X, F) satisfacand (129), cu X = X
T
si A+BF stabila, se numeste
solutie stabilizanta a ARS(Σ).
Propozitia 124. Fie (X, F), (
¯
X,
¯
F) solutii stabilizante ale ARS(Σ). Atunci X =
¯
X
.
.
Observatie: F este in general ne–unica daca R nu este inversabila!!!
Propozitia 125. Fie Σ = (A, B; P) si
¯
Σ = (
¯
A,
¯
B;
¯
P) un (X, F)–equivalent.
(X
s
, F
s
) este o solutie (stabilizanta) a ARS(Σ) ⇔
(X
s
−X, F
s
−F) este o solutie (stabilizanta) a ARS(
¯
Σ).
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 224 Transformari sub Echivalenta
Ecuatia Algebrica Riccati (ARE)
Ecuatia algebrica Riccati este un caz particular al sistemului Riccati atunci cand R este
nensingulara. Intr-adevar, avem pentru X = X
T
,
F = −R
−1
(B
T
X +L
T
),
A
T
X +XA −(XB +L)R
−1
(B
T
X +L
T
) +Q = 0
(130)
care este ecuatia algebrica Riccati asociata cu Σ.
Definitia 126. O solutie simetrica X se numeste stabilizanta daca A + BF este stabila. F se
numeste reactie stabilizanta.
Corolarul 127. Daca ARE(Σ) are o solutie stabilizanta atunci aceasta este unica.
Corolarul 128. Fie Σ = (A, B; P) si
¯
Σ = (
¯
A,
¯
B;
¯
P) doua triplete Popov (X, F) echivalente.
X
s
este solutia stabilizanta a ARE(Σ)

X
s
−X este solutia stabilizanta a ARE(
¯
Σ). Mai mult,
¯
F
Ricc
= F
Ricc
−F. (131)
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 225 Transformari sub Echivalenta
Sistemul Kalman–Yakubovich–Popov
O inlocuire comoda a ecuatiei Riccati folosita pentru a completa forma patrata.
Fie Σ = (A, B; Q, L, R), R inversabila, J o m·m matrice de semn. Sistemul neliniar
R = V
T
JV ,
L +XB = W
T
JV ,
Q+A
T
X +XA = W
T
JW,
(132)
se numeste sistemul Kalman–Popov–Yakubovich (KPYS) in forma J: KPYS(Σ, J).
NOTA: R inversabila ⇒ J inversabila
J =

−I
m
1
I
m
2

, sgn (R) = J. (133)
Definitia 129. Un triplet de matrici (X = X
T
, V, W) ce satisface (132) a.i. A + BF este
stabila, pentru
F := −V
−1
W, (134)
se numeste solutie stabilizanta a sistemului KPYS(Σ, J) si F se numeste reactia stabilizanta.
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 226 Transformari sub Echivalenta
NOTA:
• Daca (X = X
T
, V, W) este o solutie a KPYS(Σ, J) ⇒X este o solutie simetrica a ARE(Σ).
• Daca X este o solutie simetrica a ARE(Σ), atunci putem alege V a.i. R = V
T
JV (cu
conditia sgn (R) = J). Atunci luam W := (L + XB)V
−1
J
−1
care satisface deasemenea
ultima ecuatie. Prin urmare (X, V, W) este o solutie a KPYS(Σ, J).
• Reactia Riccati coincide cu reactia sistemului KPYS F := −V
−1
W.
CONCLUZII:
• Sistemul KPYS(Σ, J) are o solutie (stabilizanta) (X = X
T
, V, W) daca si numai daca
ARE(Σ) are o solutie (stabilizanta) X si sgn (R) = J.
• Daca (X, V, W), (
¯
X,
¯
V ,
¯
W) sunt solutii stabilizante ale KPYS(Σ, J), atunci X =
¯
X.
• Daca J = I
m
sau J = −I
m
, atunci KPYS devine KPYS in forma de pozitivitate
R = V
T
V,
L +XB = W
T
V,
Q+A
T
X +XA = W
T
W,
(135)
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 227 Transformari sub Echivalenta
sau in forma de negativitate
R = −V
T
V,
L +XB = −W
T
V,
Q+A
T
X +XA = −W
T
W.
(136)
Propozitia 130. Fie Σ un triplet Popov si (X, V, W) o solutie a KPYS(Σ, J). Pentru oricare
u ∈ /
ξ
avem
J
Σ
(ξ, u) =
_
V u +Wx
ξ,u
, J(V u +Wx
ξ,u
)
_
L
2,m
+

T
Xξ. (137)
Propozitia 131. Fie Σ = (A, B; P) si
¯
Σ = (
¯
A,
¯
B;
¯
P) doua triplete Popov (X, F)
echivalente.
(X
s
, V
s
, W
s
) este o solutie (stabilizanta) pentru KPYS(Σ, J)

(X
s
−X, V
s
, W
s
+V
s
F) este o solutie (stabilizanta) pentru KPYS(
¯
Σ, J).
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 228 Transformari sub Echivalenta
Sistemul Hamiltonian
Fie Σ = (A, B; Q, L, R). Sistemul diferential liniar
˙ x = Ax +Bu,
˙
λ = −Qx −A
T
λ −Lu,
v = L
T
x +B
T
λ +Ru,
(138)
se numeste sistemul Hamiltonian cu timp continuu: HS(Σ).
Ne intereseaza acele functii (u, x, λ) care fac v = 0 pentru sistemul Hamiltonian (determinam
in acest fel punctele critice).
Propozitia 132. Fie Σ = (A, B; P) si
¯
Σ = (
¯
A,
¯
B;
¯
P) (X, F) echivalente.
(u, x, λ) ⇒ v = 0 pentru HS(Σ) (pentru un anumit interval de timp)

(u −Fx, x, λ −Xx) ⇒ v = 0 pentru HS(
¯
Σ) (pe acelasi interval de timp).
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 229 Transformari sub Echivalenta
Fascicolul (matricial) Hamiltonian extins (EHP)
Fie Σ = (A, B; Q, L, R). Fascicolul matricial sM
Σ
−N
Σ
, cu
M
Σ
:=
_
_
I O O
O I O
O O O
_
_
, N
Σ
:=
_
_
A O B
−Q −A
T
−L
L
T
B
T
R
_
_
, (139)
se numeste fascicolul Hamiltonian extins: EHP(Σ).
Observatii:
• Matricile M
Σ
si N
Σ
sunt patrate (2n+m) ·(2n+m), dar sM
Σ
−N
Σ
nu este o problema
de valori proprii standard intrucat M
Σ
este singular !!!
• Cu toate acestea, daca R este inversabil, avem
Q(λM
Σ
−N
Σ
)Z = λ

I
2n
O
O O

H
Σ
O
O I
m

, (140)
Q =
_
_
I
n
O −BR
−1
O I
n
LR
−1
O O I
m
_
_
, Z =
_
_
I
n
O O
O I
n
O
−R
−1
L
T
−R
−1
B
T
R
−1
_
_
,
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 230 Transformari sub Echivalenta
H
Σ
:=

A −BR
−1
L
T
−BR
−1
B
T
−Q+LR
−1
L
T
−A
T
+LR
−1
B
T

. (141)
Deci avem o problema de valori proprii clasica sI
2n
−H
Σ
pentru matricea Hamiltoniana H
Σ
.
• EHP(Σ) este exact fascicolul de transmisie (sistem) al HS(Σ). Cum suntem interesati in solutii
ce anuleaza iesirea sistemului HS este natural ca fascicolul sistem sa joace un rol central in
caracterizarea acestora.
• Daca luam v = 0 in HS(Σ) obtinem un sistem descriptor diferential
z(t) :=
_
_
x(t)
λ(t)
u(t)
_
_
⇒ M
Σ
˙ z = N
Σ
z.
Propozitia 133. Fie Σ = (A, B; Q, L, R),
¯
Σ = (
¯
A,
¯
B;
¯
Q,
¯
L,
¯
R) doua triplete Popov (X, F)
echivalente. Atunci EHP(Σ) si EHP(
¯
Σ) sunt legate prin
sM
Σ
−N
Σ
= U(sM
¯
Σ
−N
¯
Σ
)V, (142)
unde
U :=
_
_
I O O
X I F
T
O O I
_
_
, V :=
_
_
I O O
−X I O
−F O I
_
_
. (143)
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 231 Transformari sub Echivalenta
Functia Popov (in timp continuu)
Fie Σ = (A, B; Q, L, R). Pentru s ∈ C \ ¦Λ(A) ∪ Λ(−A
T
)] definim functia matriciala
rationala
Π
Σ
(s) := [B
T
(−sI −A
T
)
−1
I]

Q L
L
T
R

(sI −A)
−1
B
I

, (144)
ce se numeste functia lui Popov.
Nota:
• Π
Σ
=
_
_
_
_
A O B
−Q −A
T
−L
L
T
B
T
R
_
_
_
_
, i.e., Π
Σ
este exact matricea de transfer de la u la v a HS(Σ).
• EHP(Σ) este exact fascicolul de transmisie asociat cu aceasta realizarea a functiei Popov.
• Π
Σ
este auto–adjuncta, i.e., are urmatoarea simetrie : Π
Σ
(s) = Π
T
Σ
(−s) (=: Π

Σ
(s)).
• Π
Σ
se numeste si densitate spectrala – introdusa de Popov in celebra monografie:
”Hiperstabilitatea Sistemelor Automate” (1960); joaca un rol major in identificari, prelucrarea
semnalelor, sisteme automate, teoria circuitelor, etc.
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 232 Transformari sub Echivalenta
Factorizare Spectrala
Propozitia 134. Fie Σ = (A, B; P),
¯
Σ = (
¯
A,
¯
B;
¯
P) doua triplete (X, F) echivalente.
1. Pentru s ∈ C \ ¦Λ(A) ∪ Λ(−A
T
) ∪ Λ(
¯
A) ∪ Λ(−
¯
A
T
)]
Π
Σ
(s) = S

F
(s)Π
¯
Σ
(s)S
F
(s), (145)
unde
S
F
:=

A B
−F I

. (146)
2. Mai mult, daca (X
s
= X
T
s
, F
s
) este o solutie a ARS(Σ) (sau ARE), atunci
Π
Σ
(s) = S

F
s
(s)RS
F
s
(s) (147)
unde S
F
s
este (146) scrisa pentru F = F
s
. (Identitatea de factorizare spectrala )
CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 233 Transformari sub Echivalenta
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA
Operatorul I/O al Sistemului Hamiltonian
Principalul Rezultat in Domeniul Timp
Cazul Clasic de Pozitiviate: LQP
Ridicarea Ipotezei de Stabilitate
Conditia de Signatura
Optimizare Maxmin/Jocuri Dinamice
Conditii Frecventiale
Conditia de Signatura Frecventiala
Inegalitati matriciale Riccati
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 234 Operatorul I/O al Sistemului Hamiltonian
Operatorul I/O al Sistemului Hamiltonian
Fixam un triplet Popov Σ = (A, B; Q, L, R), A ∈ R
n·n
, B ∈ R
n·m
, si investigam
expresiile indicilor patratici pentru diverse solutii ale ecuatiilor diferentiale. Fie A dihotomica.
Investigam intai criteriul patratic extins
J
e,Σ
(u) :=
_

−∞

x
u

T

Q L
L
T
R

x
u

dt
unde u ∈ L
2,m
si x este solutia pe intreaga axa a ecuatiei diferentiale liniare ˙ x = Ax + Bu.
Substituind solutia L
2,n
data de x
u
e
= 1
e
u, obtinem
J
e,Σ
(u) =

x
u
e
u

,

Q L
L
T
R

x
u
e
u

=

u,

1

e
I

Q L
L
T
R

1
e
I

u

= ¸u, 7
e,Σ
u) , (148)
unde 7
e,Σ
este un operator liniar marginit din L
2,m
in L
2,m
dat de
7
e,Σ
:= R +L
T
1
e
+1

e
L +1

e
Q1
e
= 7

e,Σ
. (149)
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 235 Operatorul I/O al Sistemului Hamiltonian
Teorema 135. Fie Σ = (A, B; Q, L, R) un triplet Popov. Daca A este dihotomica, atunci
operatorul 7
e,Σ
este operatorul L
2
intrare–iesire al sistemului Hamiltonian.
Fie A stabila. Pentru fiecare u ∈ L
2,m
+
indicele patratic J
Σ
(ξ, u) este bine definit. Inlocuim
solutia x
ξ,u
= Φξ +1u, pentru x(0) = ξ :
J
Σ
(ξ, u) =

x
ξ,u
u

,

Q L
L
T
R

x
ξ,u
u

=

Φ 1
O I

ξ
u

,

Q L
L
T
R

Φ 1
O I

ξ
u

=

ξ
u

,

Φ

O
1

I

Q L
L
T
R

Φ 1
O I

ξ
u

=

ξ
u

,

1
o,Σ
1
Σ
1

Σ
7
Σ

ξ
u

, (150)
in care toti operatorii ce intervin sunt liniar marginiti:
1
o,Σ
: R
n
→ R
n
, 1
o,Σ
:= Φ

QΦ, (151)
1
Σ
: L
2,m
+
→ R
n
, 1
Σ
:= Φ

(Q1 +L), (152)
7
Σ
: L
2,m
+
→ L
2,m
+
, 7
Σ
:= R +L
T
1 +1

L +1

Q1 = 7

Σ
. (153)
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 236 Operatorul I/O al Sistemului Hamiltonian
NOTA: Daca A este stabila atunci 7
Σ
este operatorul Toeplitz avand drept simbol functia
Popov Π
Σ
. Intr–adevar, functia Popov este matricea de transfer a sistemului Hamiltonian si 7
Σ
este operatorul Toeplitz asociat cu operatorul intrare–iesire al sistemului Hamiltonian 7
e,Σ
.
Definitia 136. Fie Ç un operator liniar marginit din L
2,m
in L
2,p
. Definim
1. Operatorul cauzal Hankel asociat cu Ç: H
Ç
:= P
p
+
Ç]
L
2,m

2. Operatorul Hankel anticauzal asociat cu Ç:
¯
H
Ç
:= P
p

Ç]
L
2,m
+
.
3. Operatorul Toeplitz cauzal asociat cu Ç, T
Ç
:= P
p
+
Ç]
L
2,m
+
.
4. Operatorul Toeplitz anticauzal asociat cu Ç:
¯
T
Ç
:= P
p

Ç]
L
2,m

unde P
r
±
sunt proiectiile ortogonale uzuale ale lui L
2,r
pe L
2,r
±
.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 237 Operatorul I/O al Sistemului Hamiltonian
Rezultatul Central
Dat Σ = (A, B; Q, L, R) cu A ∈ R
n·n
, B ∈ R
n·m
, scopul principal este obtinerea
conditiilor necesare si suficiente de existenta a solutiei stabilizatoare a ARE(Σ)
A
T
X +XA −(XB +L)R
−1
(B
T
X +L
T
) +Q = 0, (154)
in termenii operatorului Toeplitz 7
Σ
introdus mai sus.
7
Σ
: L
2,m
+
→ L
2,m
+
, 7
Σ
:= R +L
T
1 +1

L +1

Q1 = 7

Σ
. (155)
Teorema 137. Fie Σ = (A, B; Q, L, R) un triplet Popov cu A stabila. Urmatoarele afirmatii
sunt echivalente:
1. R este nesingulara si ARE(Σ) are o (unica) solutie stabilizanta
X := 1
o,Σ
−1
Σ
7
−1
Σ
1

Σ
2. Operatorul Toeplitz 7
Σ
(avand drept simbol functia Popov) are o inversa marginita
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 238 Rezultatul Central
Corolarul 138. Fie Σ = (A, B; Q, L, R) un triplet Popov cu A stabila. Presupunem ca
operatorul Toeplitz 7
Σ
are o inversa marginita si fie X solutia stabilizanta a ARE(Σ). Atunci avem
J
Σ
(ξ, u
ξ
) =
__
x
ξ,u
ξ
u
_
,

Q L
L
T
R

_
x
ξ,u
ξ
u
__
L
2,n
+
·L
2,m
+
= ξ
T
Xξ (156)
pentru orice ξ ∈ R
n
si u
ξ
= −7
−1
Σ
1

Σ
ξ.
Nota:
• Nu se face nici o presupunere privind pozitivitatea lui R, Q, sau a altor matrici. Putem deci
formula in acest cadru jocuri necooperative, teoriile de tip Nash, puncte sa, H

, etc.
• In plus avem formule operatoriale pentru solutia stabilizanta a ecuatiei Riccati si pentru valoarea
criteriului patratic in punctul critic.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 239 Rezultatul Central
Cazul Clasic de Pozitivitate: LQP
Presupunerea de baza aici este ca matricea R este pozitiv definita (coeficientul termenului
patratic).
Corolarul 139. Fie Σ = (A, B; Q, L, R) un triplet Popov cu A stabila.
1. • R > 0 si ARE(Σ) are o solutie stabilizanta X

• Operatorul 7
e,Σ
este coerciv
2. Daca operatorul 7
e,Σ
este coerciv atunci minimul indicelui patratic este
min
u∈L
2,m
+
J
Σ
(ξ, u) = ξ
T
Xξ, ∀ξ ∈ R
n
, (157)
si minimul se atinge pentru u = u
ξ
= −7
−1
Σ
1

Σ
ξ si satisface deasemenea u
ξ
= Fx
ξ
, unde
F := −R
−1
(B
T
X +L
T
) este reactia Riccati.
3. Daca in plus

Q L
L
T
R

≥ 0, (158)
si operatorul 7
e,Σ
este coerciv, atunci X ≥ 0.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 240 Cazul Clasic de Pozitivitate: LQP
Putem relaxa conditia de coercivitate precum urmeaza.
Corolarul 140. Fie Σ = (A, B; Q, L, R) un triplet Popov cu A stabila. Presupunem ca R > 0
si ca perechea (A, B) este controlabila. Daca
7
e,Σ
≥ 0, (159)
atunci exista o solutie simetrica X a ARE(Σ), a.i. pentru F := −R
−1
(B
T
X + L
T
) sa avem
Λ(A +BF) ⊂ C

∪ C
0
. (Numim X o solutie semi–stabilizanta a ARE).
Corolarul 141. [Ecuatia Riccati clasica de control] Fie Σ
s
= (A, B; C
T
C, 0, I) tripletul
Popov standard de control si presupunem ca (A, B) si (C, A) sunt stabilizabila si respectiv
detectabila. Atunci ARE(Σ
s
)
A
T
X +XA −XBB
T
X +C
T
C = 0 (160)
are o solutie stabilizanta pozitiv semidefinita.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 241 Cazul Clasic de Pozitivitate: LQP
Ridicarea Ipotezei de Stabilitate
Folosind o reactie este trivial sa relaxam ipoteza de stabilitate in cea de stabilizabilitate asupra
perechii (A, B).
NOTA: Daca ARE(Σ) are o solutie stabilizanta atunci automat perechea (A, B) trebuie sa fie
stabilizabila.
Teorema 142. Fie Σ = (A, B; Q, L, R) un triplet Popov cu (A, B) stabilizabila. Atunci
urmatoarele doua afirmatii sunt echivalente.
1. R este nensingulara si ARE(Σ) are o (unica) solutie stabilizanta.
2. Exista F ∈ R
m·n
a.i. A + BF este stabila si F–echivalentul lui Σ,
¯
Σ = (
¯
A,
¯
B;
¯
Q,
¯
L,
¯
R),
are un operator Toeplitz asociat 7
¯
Σ
ce este inversabil.
NOTA: Daca punctul 2 al Teoremei este adevarat pentru un F stabilizant, atunci are loc pentru
orice F stabilizant.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 242 Ridicarea Ipotezei de Stabilitate
Conditia de Signatura
Am vazut ca existenta unei solutii stabilizante a ecuatiei ARE este intim legata de existenta
unei inverse marginite a operatorului Toeplitz 7
Σ
. Un caz simplu in care inversabilitatea acestui
operator este garantata este cazul de pozitivitate.
In continuare elaboram o conditie mai sofisticata pentru inversabilitatea operatorului Toeplitz
7
Σ
. Aceasta conditie numita conditia de signatura, este relevanta pentru jocurile dinamice (Nash)
si va juca un rol central in rezolvarea celor mai importante probleme din teoria sistemelor optimale
si robuste.
Fie Σ = (A, B; Q, L, R), cu A ∈ R
n·n
stabila, B ∈ R
n·m
. Partitionam
B = [B
1
B
2
], B
i
∈ R
n·m
i
, i = 1, 2, m
1
+m
2
= m, (161)
si matricile L si R le partitionam corespunzator in acord cu B, i.e.,
L = [L
1
L
2
], R =

R
11
R
12
R
T
12
R
22

. (162)
Solutia problemei cu conditii initiale
˙ x = Ax +B
1
u
1
+B
2
u
2
, x(0) = ξ, (163)
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 243 Conditia de Signatura
se scrie ca
x
ξ,u
1
,u
2
= Φξ +1
1
u
1
+1
2
u
2
.
Avem deasemenea
7
Σ
=

7
11
7
12
7

12
7
22

. (164)
NOTA: 7
22
coincide cu operatorul Toeplitz 7
Σ
2
asociat cu tripletul Popov
Σ
2
= (A, B
2
; Q, L
2
, R
22
). (165)
Teorema 143. Fie Σ = (A, B; Q, L, R) un triplet Popov avand matricile partitonate ca mai
sus si A stabila. Daca 7
22
>> 0 si
7
·
11
= 7
11
−7
12
7
−1
22
7

12
<< 0, (166)
atunci
1. ARE(Σ
2
) are o solutie stabilizanta X
2
.
2. ARE(Σ) are o solutie stabilizanta X a.i.
X ≥ X
2
. (167)
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 244 Conditia de Signatura
Probleme Maxmin /Optimizarea Dinamica a Jocurilor
Teorema 144. Aceleasi presupuneri ca in teorema precedenta. Fie
J
Σ
(ξ, u
1
, u
2
) =
_
_
_
x
ξ,u
1
,u
2
u
1
u
2
_
_
,
_
_
Q L
1
L
2
L
T
1
R
11
R
12
L
T
2
R
T
12
R
22
_
_
_
_
x
ξ,u
1
,u
2
u
1
u
2
_
_
_
indicele patratic definit pentru toti (ξ, u
1
, u
2
) ∈ R
n
·L
2,m
1
+
·L
2,m
2
+
. Avem:
1. Pentru fiecare ξ ∈ R
n
si fiecare u
1
∈ L
2,m
1
+
, exista un unic u
2
in L
2,m
2
+
, notat u
ξ,u
1
2
, ce
minimizeaza J
Σ
(ξ, u
1
, u
2
), i.e.,
J
Σ
(ξ, u
1
, u
2
) ≥ J
Σ
(ξ, u
1
, u
ξ,u
1
2
) (168)
pentru toti u
2
∈ L
2,m
2
+
.
2. Pentru fiecare ξ in R
n
, exista un unic u
1
, notat u
ξ
1
, care maximizeaza J
Σ
(ξ, u
1
, u
ξ,u
1
2
).
3. Daca notam u
ξ
2
= u
ξ,u
ξ
1
2
, atunci
J
Σ
(ξ, u
ξ
1
, u
ξ
2
) = ξ
T
Xξ (169)
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 245 Probleme Maxmin
pentru fiecare ξ ∈ R
n
, unde X este solutia stabilizanta a ARE(Σ).
Mai mult, daca x
ξ
este solutia corespunzand lui u
1
= u
ξ
1
si u
2
= u
ξ
2
, atunci
u
ξ
=
_
u
ξ
1
u
ξ
2
_
= F
Ricc
x
ξ
, (170)
unde F
Ricc
este reactia stabilizanta Riccati.
NOTA: Concluzia Teoremei 144 se poate exprima sintetic in felul urmator:
max
u
1
min
u
2
J
Σ
(ξ, u
1
, u
2
) = ξ
T
Xξ. (171)
Si solutia maxmin este disponibila in forma “feedback” (170).
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 246 Probleme Maxmin
Conditii Frecventiale
Pana in prezent am dat un numar de conditii necesare si suficiente pentru existenta solutiei
stabilizante a ARE. Aceste conditii au fost exprimate in termenii diversilor operatori ce intervin in
descrierea dinamica (in domeniul timp) a sistemului Hamiltonian HS. In aceasta sectiune exprimam
aceste conditii in domeniul frecvential.
Traditional, acesta a constituit un subiect major de cercetare si a fost unul dintre punctele
centrale ce au facut atat de atractiva Teoria Pozitivitatii. Conditiile frecventiale erau“usor” de
verificat de catre ingineri.
Era extrem de dezirabil atunci sa avem o legatura intre aceste conditii si proprietati de spatiul
starilor (realizari). Odata cu dezvoltarea tehnicilor moderne de control automat accentul s-a mutat
oarecum spre tehnicile de spatiul starilor.
Existenta solutiei stabilizante a ARE(Σ) a fost legata de existenta inversei marginite a
operatorului Toeplitz 7
Σ
. Exista rezultate puternice de teoria operatorilor ce leaga inversabilitatea
acestui operator de proprietati de factorizare ale simbolului rational asociat. Vom folosi astfel de
rezultate pentru a da complementul frecvential al rezultatelor operatoriale.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 247 Conditii Frecventiale
Teorema 145. [Rezultatul central] Fie Σ = (A, B; P) un triplet Popov cu A stabila.
Urmatoarele afirmatii sunt echivalente.
1. R este nesingulara si ARE(Σ) are o solutie stabilizanta.
2. Functia Popov Π
Σ
este antianalitic factorizabila, i.e., exista Ξ si Ω, doua unitati in RH

+,m·m
a.i.
Π
Σ
(s) = [Ξ(s)]

Ω(s). (172)
In particular,
Ω(s) := R(I −F
Ricc
(sI −A)
−1
B), Ξ(s) := I −F
Ricc
(sI −A)
−1
B.
Teorema 146. [Indepartarea ipotezei de stabilitate] Fie Σ = (A, B; P) un triplet Popov cu
(A, B) stabilizabila. Atunci urmatoarele doua afirmatii sunt echivalente.
1. R este nensingulara si ARE(Σ) are o solutie stabilizanta.
2. Functia Popov Π
Σ
este antianalitic prefactorizabila, i.e., exista un F a.i. pentru tripletul Popov
F–echivalent
¯
Σ sa avem Π
¯
Σ
este analitic factorizabila.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 248 Conditii Frecventiale
Cazul de Pozitivitate: A Stabila
Corolarul 147. Fie Σ = (A, B; Q, L, R) un triplet Popov cu A stabila.
1. R > 0 si ARE(Σ) are o solutie stabilizanta X

Π
Σ
> 0 (pe axa imaginara)
2. Daca oricare afirmatie de la 1. este indeplinita, minimul indicelui patratic este
min
u∈L
2,m
+
J
Σ
(ξ, u) = ξ
T
Xξ ∀ξ ∈ R
n
si se atinge pentru u
ξ
= Fx
ξ
, unde F :=
−R
−1
(B
T
X +L
T
) este reactia Riccati stabilizanta.
3. Daca

Q L
L
T
R

≥ 0, (173)
si oricare afirmatie 1. este indeplinita atunci X ≥ 0.
Corolarul 148. [Relaxarea ipotezei de pozitivitate] Fie Σ = (A, B; Q, L, R) un triplet
Popov cu A stabila. Presupunem R > 0 si (A, B) este controlabila. Daca Π
Σ
≥ 0,
atunci exista o solutie simetrica X a ARE(Σ), a.i. pentru F := −R
−1
(B
T
X + L
T
) sa avem
Λ(A +BF) ⊂ C

∪ C
0
. (Numim X o solutie semistabilizanta a ARE).
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 249 Conditii Frecventiale
Cazul de Pozitivitate: A arbitrara
Corolarul 149. Fie Σ = (A, B; Q, L, R) un triplet Popov. Presupunem ca :
a. Perechea (A, B) este stabilizabila.
b. Realizarea lui Π
Σ
,
Π
Σ
=
_
_
_
_
A O B
−Q −A
T
−L
L
T
B
T
R
_
_
_
_
, (174)
este controlabila si observabila pe axa imaginara.
c. Π
Σ
(jω) > 0, ∀ω ∈ R.
Atunci ARE(Σ) are o solutie stabilizanta X si min
u∈/
ξ
J
Σ
(ξ, u) = ξ
T
Xξ.
Daca

Q L
L
T
R

≥ 0, atunci X ≥ 0.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 250 Conditii Frecventiale
Conditia de Signatura in Domeniul Frecvential
Prezentam in continuare o versiune in domeniul frecvential a conditii de signatura pentru
operatori. De fapt vom da un rezultat mai puternic pentru sistemul KYPS(Σ).
Consideram din nou tripletul Popov Σ = (A, B; Q, L, R) cu B, L si R partitionate ca
B =

B
1
B
2

, L =

L
1
L
2

, R =

R
11
R
12
R
T
12
R
22

, (175)
(B
i
∈ R
n·m
i
, i = 1, 2, m = m
1
+ m
2
). Fie functia Popov Π
Σ
partitionata in concordanta cu
R,
Π
Σ
=

Π
11
Π
12
Π

12
Π
22

. (176)
Introducem deasemenea matricea de semn
J :=

−I
m
1
I
m
2

. (177)
Notam tripletul Popov Σ
2
= (A, B
2
; Q, L
2
, R
22
). Este usor de verificat ca Π
22
= Π
Σ
2
.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 251 Conditia de Signatura in Domeniul Frecvential
O conditie suficienta
Teorema 150. Fie Σ = (A, B; Q, L, R) un triplet Popov cu A stabila si intrarile partitionate
ca mai sus. Presupunem Π
22
> 0 pe C
0
. Daca exista un S ∈ RH

+,m
2
·m
1
a.i.

I S


Π
Σ

I
S

< 0 pe C
0
, (178)
atunci KPYS(Σ, J) are o solutie stabilizanta
(X, V, W) = (X,

V
11
O
V
21
V
22

,

W
1
W
2

)
in care partitiile lui V si W sunt in concordanta cu J.
Conditia (178) este doar suficienta pentru satisfacerea (166) care, in schimb, este o conditie
suficienta pentru inversabilitatea lui 7
Σ
(ptr. ca 7
22
>> 0). Din moment ce stim ca existenta
unei solutii stabilizante este echivalenta cu inversabilitatea lui 7
Σ
, este extrem de interesant sa
gasim o situatie in care existenta solutiei stabilizante implica conditia (178). Acesta este scopul
urmatorului rezultat care este piatra de temelie a solutiilor problemelor de control optimal si robust:
problema Nehari, problema de control H

si robustetea stabilizarii.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 252 Conditia de Signatura in Domeniul Frecvential
O Conditie Necesara si Suficienta
Teorema 151. Fie Σ = (A, B; Q, L, R) un triplet Popov cu intrarile partitionate ca mai sus.
Presupunem ca :
a. A este stabila.
b. Π
22
> 0 pe C
0
.
c.

Q L
2
L
T
2
R
22

≥ 0.
I. Urmatoarele afirmatii sunt echivalente:
1. Exista S ∈ RH

+,m
2
·m
1
care satisface inegalitatea de signatura.

I S


Π
Σ

I
S

< 0 on C
0
. (179)
2. KPYS(Σ, J) are o solutie stabilizanta
(X, V, W) = (X,

V
11
O
V
21
V
22

,

W
1
W
2

)
cu X ≥ 0, unde partitiile lui V si W sunt in acord cu J.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 253 Conditia de Signatura in Domeniul Frecvential
II. Daca 1 sau 2 are loc, atunci exista o matrice rationala
G =

G
1
G
2
G
3
G
4

partitionata in acord cu Π
Σ
a.i. G si G
4
sunt unitati in RH

+
si
Π
Σ
= G

JG, (180)
(i.e., G este un factor J–spectral al lui Π
Σ
). Clasa tuturor S care rezolva inegalitatea de signatura
este data de
S = S
2
S
−1
1
,

S
1
S
2

= G
−1

I
θ

, (181)
unde θ este un parametru liber in RH

+,m
2
·m
1
, cu jθj

< 1.
Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 254 Conditia de Signatura in Domeniul Frecvential
Inegalitati Algebrice Riccati
Dam in continuare un rezultat remarcabil privind inegalitatile algebrice Riccati. In acest scop
introducem urmatoarele notatii: pentru un triplet Popov fixat Σ = (A, B; Q, L, R) si pentru
X = X
T
,
CRICOP(Σ, X) := A
T
X +XA −(XB +L)R
−1
(B
T
X +L
T
) +Q.
Teorema 152. Fie Σ = (A, B; Q, L, R) un triplet Popov cu Q ≥ 0. Urmatoarele afirmatii
sunt echivalente.
1. A este stabila si Π
Σ
< 0 pe C
0
.
2. R < 0 si exista X > 0 a.i. CRICOP(Σ, X) < 0.
NOTA: Afirmatia 2 este echivalenta cu
D
Σ
(X) =

A
T
X +XA +Q XB +L
L
T
+B
T
X R

< 0
pentru X > 0.
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 255 Inegalitati Algebrice Riccati
Capitolul 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat
In acest capitol prezentam o noua abordare a ecuatiei matriciale algebrice Riccati prin intermediul
fasciolelor matriciale. Ca si in capitolele precedente consideram ecuatii Riccati sub ipoteze foarte
generale asupra coeficientilor matriciali ce permit includerea situatiilor de joc (de tip H

) in care
coeficientul patratic are semn nedefinit. Singura restrictie majora a capitolului (pentru pastrarea
dezvoltarilor teoretice la un nivel acceptabil de complexitate) consta in ipoteza de regularitate
sub care functia Popov corespunzatoare ia valori de rang intreg, i.e. este inversabila ca matrice
rationala.
Valori proprii pentru fascicole matriciale: cazul regulat
Structura de valori proprii a unui fascicol Hamiltonian extins (EHP)
ARE si EHP
Ecuatia Bernoulli
Algoritmi numerici
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 256
Valori proprii pentru fascicole matriciale: cazul regulat
Fie M, N matrici m·n cu elemente in R.
• Fascicol Matricial: Matricea polinomiala de ordinul 1 λM −N in variabila λ
• Fascicol matricial regulat: Un fascicol matricial patrat (n ·n) cu un determinant neidentic nul
det(λM −N) ,≡ 0.
• Problema de valori proprii generalizate: Problema rezolvarii pentru λ ∈ C a ecuatiei polinomiale
χ(λ) := det (λM −N) = 0 (182)
Observatii:
• Daca M sau N sunt inversabile atunci fascicolul λM −N este regulat
• Un fascicol matricial regulat poate insa avea ambele matrici N si M singulare
• Deoarece M poate fi singulara, polinomul caracteristic χ(λ) are gradul n
f
≤ n
• Valori proprii (generalizate) finite: Cele n
f
radacini ale χ(λ)
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 257 Valori proprii pentru fascicole matriciale
• Valori proprii infinite: Spunem ca λ = ∞ este o valoare proprie (generalizata) a lui λM − N
daca λ = 0 este o valoare proprie generalizata a fasciolului reciproc λN −M; valabil si pentru
mutiplicitati algebrice si geometrice
Observatie:
• n

= n −n
f
• Un fascicol regulat n · n λM − N intotdeauna are n valori proprii (finite si infinite) care
impreuna formeaza spectrul Λ(M, N)
• Pentru o valoare proprie generalizata λ
0
exista un vector propriu (generalizat) x(,= 0) ∈ C
n
a. i.

Nx = λ
0
Mx daca λ
0
este finita,
Mx = 0 daca λ
0
este infinita
Definitia 153. Doua fascicole λM − N si λ
¯
M −
¯
N, cu M, N,
¯
M,
¯
N ∈ C
m·n
se numesc
(strict) echivalente daca exista doua matrici constante inversabile Q ∈ C
m·m
, Z ∈ C
n·n
, a.i.
Q(λM −N)Z = λ
¯
M −
¯
N. (183)
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 258 Valori proprii pentru fascicole matriciale
Forma canonica Weierstrass a unui fascicol matricial
Relatia de ecchivalenta stricta induce o forma canonica in multiumea fascicolelor regulate n·n
numita forma canonica Weierstrass (extinde forma canonica Jordan).
Pentru orice fascicol regulat λM − N, cu M, N ∈ C
n·n
, exista doua matrici inversabile
Q, Z ∈ C
n·n
a. i.
Q(λM −N)Z = λM
W
−N
W
unde
λM
W
−N
W
:=
_
λM

−I
n

O
O λI
n
f
−N
f
_
, (184)
iar N
f
este in forma canonica Jordan, M

este nilpotenta si in forma canonica Jordan
M

:= diag (J
s

1
(0), J
s

2
(0), . . . , J
s

h

(0)) (185)
si J
s
(0) este un bloc elementar Jordan s·s (nilpotent) (avand o singura valoare proprie in λ = 0).
Observatie:
• Valorile proprii generalizate (si multiplicitatile lor) ale fascicolului λM − N coincid cu valorile
proprii (si multiplicitatile lor) ale matricii N
f
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 259 Valori proprii pentru fascicole matriciale
• Multiplicitatile partiale, algebrice si geometrice ale valorii proprii infinite a lui λM −N coincid
cu multiplicitatile valorii proprii din zero a lui M

• Multimea valorilor proprii (+ multiplicitatile) determina complet forma canonica Weierstrass a
unui fascicol regulat (pana la o permutare a blocurilor diagonale pe diagonala principala).
• Daca M este inversabil nu exista valori proprii infinite si forma canonica Weierstrass se reduce
la forma canonica Jordan a lui M
−1
N
• Exista o varianta reala a acestor concepte (analog cu Jordan)!
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 260 Valori proprii pentru fascicole matriciale
Subspatii de deflatie ale unui fascicol
Extindem in continuare notiunea de spatiu invariant al unei matrici la notiunea de spatiu de
deflatie al unui fascicol (regulat).
Definitia 154. Fie λM − N un fascicol regulat, cu M, N ∈ C
n·n
. Subspatiul liniar \ ⊂ C
n
se numeste spatiu de deflatie a lui λM −N daca
dim(M\ +N\) = dim\. (186)
Observatii:
• Cele mai simple spatii de deflatie sunt vectorii proprii (generalizati) !
• Pentru M = I
n
, definitia spatiului de deflatie se reduce la ce de spatiu invariant a lui N:
dim(\ +N\) = dim\ ⇔ N\ ⊂ \
• Fie \ ⊂ C
n
un spatiu arbitrar (nu neaparat de deflatie) avand dimensiunea si
V := M\ +N\. Avem:
k := dimV ≥ dim\ = ,
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 261 Valori proprii pentru fascicole matriciale
(egalitatea avand loc doar daca \ este spatiu de deflatie).
Fie \ = ImZ
1
, V = ImQ
1
. Construim matricile inversabile Q si Z, partitionate
Z = [ Z
1
Z
2
]
·¸¸. ·¸¸.
n −
, Q = [ Q
1
Q
2
]
·¸¸. ·¸¸.
k n −k
. (187)
Din moment ce M\ ⊂ V si N\ ⊂ V:
Q
−1
(λM −N)Z =

λM
11
−N
11
λM
12
−N
12
O
.
λM
22
−N
22

] k
] n −k,
(188)
· ¸¸ . · ¸¸ .
n −
unde k ≥ . In acest nou sistem de coordonate \ si V sunt reprezentate de
\ = Im

I

O

, V = Im

I
k
O

. (189)
Daca \ este acum un spatiu de deflatie atunci dimV = k = = dim\, M
ii
si N
ii
sunt
patrati ptr. i = 1, 2, si definim fascicolul restrictionat si spectrul restrictionat al fascicolului la \
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 262 Valori proprii pentru fascicole matriciale
ca fiind
(λM −N)]
\
:= λM
11
−N
11
, Λ(M, N)]
\
:= Λ(M
11
, N
11
). (190)
Consideram o partitie a planului complex in doua multimi disjuncte
C = C
b
∪ C
r
(191)
(cel bun si cel rau ). Un spatiu de deflatie \ este de deflatie C
b
daca Λ(M, N)]
\
⊂ C
b
.
Propozitia 155. Fie λM −N un fascicol regulat cu M, N ∈ F
n·n
.
1. Daca \ ⊂ C
n
este un spatiu de deflatie de dimensiune a lui λM −N si V := M\ +N\
atunci exista matrici complexe inversabile Z =

Z
1
Z
2

, Q =

Q
1
Q
2

, cu \ =
ImZ
1
si V = ImQ
1
, a.i.
Q
−1
(λM −N)Z =
_
λM
11
−N
11
λM
12
−N
12
O λM
22
−N
22
_
]
] n −,
(192)
· ¸¸ . · ¸¸ .
n −
unde λM
ii
− N
ii
(i = 1, 2) sunt regulate, Λ(M
11
, N
11
) ∪ Λ(M
22
, N
22
) = Λ(M, N) si
Λ(M, N)]
\
= Λ(M
11
, N
11
).
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 263 Valori proprii pentru fascicole matriciale
2. Reciproc, daca are loc (192) pentru matricile inversabile Q si Z partitionate ca mai sus atunci
\ = ImZ
1
este un spatiu de deflatie a lui λM −N, V = ImQ
1
unde V := M\ +N\,
si Λ(M, N)]
\
= Λ(M
11
, N
11
).
Corolarul 156. Fie λM −N un fascicol regulat cu coeficienti in C si fie Λ
1
∪ Λ
2
= Λ(M, N)
o partitie a spectrului. Atunci exista un spatiu de deflatie \ ⊂ C
n
a.i.
Λ(M, N)]
\
= Λ
1
.
Daca M si N au elemente reale si Λ
1
este o multime simetrica, atunci putem alege \ ⊂ R
n
. Daca
Λ
1
∩ Λ
2
= ∅, atunci \ este unic.
Dam in continuare o caracterizare utila a unui spatiu de deflatie in termenii unei matrici baza
asociate.
Teorema 157. Fie λM −N un fascicol regulat, cu M, N ∈ C
n·n
.
1. Daca V ∈ C

este o baza pentru spatiul de deflatie \ cu spectru finit atunci exista o matrice
patrata S ∈ C
·
a.i.
MV S = NV (193)
si λI −S este echivalent cu (λM −N)]
\
.
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 264 Valori proprii pentru fascicole matriciale
2. Reciproc, daca are loc MV S = NV pentru o matrice baza V ∈ C

si o matrice S ∈ C
·
atunci \ = ImV este un spatiu de deflatie a lui λM − N si λI − S este echivalent cu
(λM −N)]
\
.
Relatia (193) generalizeaza caracterizarea unui spatiu invariant al unei matrici la acea de spatiu de
deflatie al unui fascicol regulat.
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 265 Valori proprii pentru fascicole matriciale
Structura de valori proprii a unui fascicol Hamiltonian extins (regulat)
Fie Σ = (A, B; Q, L, R) un triplet Popov, cu A ∈ R
n·n
, B ∈ R
n·m
. Asociem:
EHP(Σ) : λM
Σ
−N
Σ
:= λ
_
_
I O O
O I O
O O O
_
_

_
_
A O B
−Q −A
T
−L
L
T
B
T
R
_
_
(194)
si functia Popov
Π
Σ
(λ) =
_
_
_
_
A O B
−Q −A
T
−L
L
T
B
T
R
_
_
_
_
. (195)
Reamintire:
EHP(Σ) este fascicolul de transmisie (sistem) asociat cu realizarea de mai sus a Π
Σ
.
EHP (si in general un fascicol matricial oarecare) se numeste regulat daca
det(sM
Σ
−N
Σ
) ,≡ 0.
Notam pentru λM
Σ
−N
Σ
:
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 266 Structura de v.p. a unui EHP
n

f
: numarul de v.p. generalizate finite in C

n
0
f
: numarul de v.p. generalizate finite in C
0
n
+
f
: numarul de v.p. generalizate finite in C
+
n

: numarul de v.p. generalizate infinite
Fie π
0
numarul de zerouri ale Π
Σ

−1
) din zero (≡ numarul de zerouri ale lui Π
Σ
(λ) la ∞).
Teorema 158. Pentru un EHP regulat avem:
1. n

f
= n
+
f
.
2. rank
R(λ)
(λM
Σ
−N
Σ
) = 2n +m, rank
R(λ)
Π
Σ
(λ) = m.
3. n

= m+π
0
.
Demonstratie. 1. Se poate verifica direct
P(λM
Σ
−N
Σ
)
T
P = −λM
Σ
−N
Σ
,
unde
P :=
_
_
O −I
n
O
I
n
O O
O O I
m
_
_
.
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 267 Structura de v.p. a unui EHP
Deci
det(λM
Σ
−N
Σ
) = det(−λM
Σ
−N
Σ
).
EHP-ul fiind regulat rezulta ca λ este o v.p. generalizata a lui λM
Σ
−N
Σ
daca si numai daca −λ
este o v.p. generalizata a lui λM
Σ
−N
Σ
cu aceeasi multiplicitate.
2. Deoarece λM
Σ
−N
Σ
este fascicolul de transmisie al functiei Popov Π
Σ
(λ) avem
rank
R(λ)
(λM
Σ
−N
Σ
) = 2n + rank
R(λ)
Π
Σ
(λ). (196)
Din regularitatea fascicolului rezulta ca rank
R(λ)
(λM
Σ
−N
Σ
) = 2n+m care combinat cu (196)
conduce la rank
R(λ)
Π
Σ
(λ) = m.
3. Pentru orice λ pentru care I −λA si I +λA
T
sunt inversabile avem identitatea
M
Σ
−λN
Σ
=
_
_
I
n
O O
O I
n
O
X(λ) Y(λ) −I
m
_
_
_
_
I
n
−λA O λB
λQ I
n
+λA
T
−λL
O O λΠ
Σ
(λ)
_
_
,
unde
X(λ) := −λ[L
T
+λB
T
(I
n
+λA
T
)
−1
Q](I
n
−λA)
−1
,
Y(λ) := −λB
T
(I
n
+λA
T
)
−1
,
ambele nu au poli in λ = 0. Deoarece fascicolul λM
Σ
−N
Σ
este regulat,
det(M
Σ
−λN
Σ
) = (−1)
m
λ
m
det(I
n
−λA) det(I
n
+λA
T
) det(Π
Σ

−1
)).
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 268 Structura de v.p. a unui EHP
Folosind forma Smith–McMillan a lui Π
Σ
, obtinem ca λ = 0 este o valoare proprie generalizata
a lui M
Σ
− λN
Σ
cu multiplicitatea m + π
0
ceea ce inseamna ca λ = ∞ este o v.p. a lui
λM
Σ
−N
Σ
avand aceeasi multiplicitate n

= m+π
0
.
Definitia 159. Un EHP regulat se numeste dihotomic daca
n
0
f
= 0, n

= m
(sau, echivalent, daca n
0
f
= 0 si π
0
= 0).
Observatii
Zerourile Π
Σ
(λ) sunt printre valorile proprii generalizate ale λM
Σ
−N
Σ
.
Dihotomia implica ca Π
Σ
(λ) nu are zerouri pe axa imaginara inclusiv la infinit
Dihotomia implica R = Π
Σ
(∞) nesingulara.
Dihotomia implica ca toate multiplicitatile valorii proprii de la infinit sunt egale cu 1.
Propozitia 160. [Dihotomie si Spatii de Deflatie ] Un EHP regulat este dihotomic daca si
numai daca are un spatiu de deflatie C

de dimensiune n.
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 269 Structura de v.p. a unui EHP
In particular, rezultatul anterior implica ca EHP este dihotomic daca si numai daca
M
Σ
V S = N
Σ
V, V =
_
_
V
1
V
2
V
3
_
_
]n
]n
]m
(197)
unde V este o matrice baza pentru subspatiul de deflatie C

de dimensiune n si S este o matrice
n ·n stabila.
Definitia 161. Un subspatiu de deflatie \ se numeste disconjugat daca admite o matrice baza cu
V
1
avand rang intreg pe coloane (injectiva).
Observati ca disconjugarea este independenta de alegerea matricii baza.
Definitia 162. Un EHP regulat se numeste stabil (antistabil) disconjugat daca este dihotomic si
are un subspatiu de deflatie disconjugat C

(C
+
) de dimensiune n.
Observatie:
Un EHP dihotomic are un unic subspatiu de deflatie (maximal) n–dimensional C

(si C
+
).
Disconjugarea unui EHP este bine definita
Un EHP dihotomic are intotdeauna un subspatiu de deflatie n–dimensional C

si un subspatiu
de deflatie n–dimensional C
+
, fiecare in parte putand fi disconjugat sau nu.
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 270 Structura de v.p. a unui EHP
Propozitia 163. Daca V =
_
_
V
1
V
2
V
3
_
_
]n
]n
]m
este o matrice baza a unui spatiu de deflatie C

(sau C
+
) a unui EHP regulat atunci
V
T
1
V
2
= V
T
2
V
1
. (198)
Demonstratie. Scriind (197) explicit obtinem
V
1
S = AV
1
+ BV
3
,
V
2
S = −QV
1
− A
T
V
2
− LV
3
,
0 = L
T
V
1
+ B
T
V
2
+ RV
3
,
(199)
unde S este stabila (sau antistabila). Adunand prima ecuatie premultiplicata cu V
T
2
celei de-a doua
transpusa si postmultiplicata cu V
1
si folosind a treia ecuatie (199) obtinem
V
T
2
V
1
S +S
T
V
T
2
V
1
+V
T
1
QV
1
−V
T
2
BV
3
−V
T
3
B
T
V
2
−V
T
3
RV
3
= 0. (200)
Aceasta ecautie este de tip Lyapunov in V
T
2
V
1
, avand un termen liber simetric. Deoarece S este
stabila (sau antistabila) V
T
2
V
1
este unica solutie simetrica.
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 271 Structura de v.p. a unui EHP
ARE si EHP
Dam in continuare conditii necesare si suficiente de existenta a solutiei stabilizante (si
antistabilizante) a ARE, impreuna cu formule de calcul si un algoritm numeric stabil.
Teorema 164. Urmatoarele afirmatii sunt echivalente:
1. Matricea R este inversabila si
A
T
X +XA −(XB +L)R
−1
(L
T
+B
T
X) +Q = 0 (201)
are o solutie stabilizanta (antistabilizanta).
2. EHP
λM
Σ
−N
Σ
= λ
_
_
I O O
O I O
O O O
_
_

_
_
A O B
−Q −A
T
−L
L
T
B
T
R
_
_
(202)
este regulat si stabil (antistabil) disconjugat.
Mai mult, solutia si reactia se pot calcula cu formulele
X = V
2
V
−1
1
, F = V
3
V
−1
1
(203)
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 272 ARE si EHP
in care V =
_
_
V
1
V
2
V
3
_
_
]n
]n
]m
este o matrice baza a subspatiului de deflatie n–dimensional C

(C
+
) a EHP.
Pentru R inversabil, obtinem identitatea
Q(λM
Σ
−N
Σ
)Z = λ

I
2n
O
O O

H
Σ
O
O I
m

, (204)
in care
H
Σ
:=

A −BR
−1
L
T
−BR
−1
B
T
−Q+LR
−1
L
T
−A
T
+LR
−1
B
T

(205)
si
Q =
_
_
I
n
O −BR
−1
O I
n
LR
−1
O O I
m
_
_
, Z =
_
_
I
n
O O
O I
n
O
−R
−1
L
T
−R
−1
B
T
R
−1
_
_
.
Matricea H
Σ
este o matrice Hamiltoniana de dimensiune 2n ·2n ce satisface prin definitie
H
T
Σ
¯
J +
¯
JH
Σ
= 0, pentru
¯
J :=

O −I
n
I
n
O

.
Corolarul 165. Presupunem R inversabila. Atunci urmatoarele afirmatii sunt echivalente.
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 273 ARE si EHP
1. ARE are o solutie stabilizanta (antistabilizanta).
2. Matricea Hamiltoniana H
Σ
are un subspatiu invariant n–dimensional C

(C
+
) care admite o
baza cu V
1
inversabila:
V =

V
1
V
2

· ¸¸ .
n
]n
]n
. (206)
Solutia stabilizanta si reactia corespunzatoare se pot calcula din X = V
2
V
−1
1
, F =
−R
−1
(B
T
X +L
T
).
Observatii:
• Existenta solutiei stabilizante pentru ARE se poate verifica alternativ folosind matricea
Hamiltoniana sau EHP.
• Solutiile se pot calcula rezolvand problema de valori proprii pentru matricea Hamiltoniana de
dimensiune 2n in loc sa rezolvam problema mai complicata de valori proprii generalizate pentru
EHP avand dimensiune 2n +m.
• Folosirea matricii Hamiltoniene poate conduce la solutii extrem de inexacte daca R este prost
conditionata in raport cu inversarea numerica. In acest caz se foloseste intotdeauna EHP in loc
de matricea Hamiltoniana.
CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 274 ARE si EHP
Ecuatia Bernoulli
In cazul particular in care Q = 0, L = 0, si R este nensingulara, ecuatia algebrica Riccati se
numeste ecuatie Bernoulli:
A
T
X +XA −XBR
−1
B
T
X = 0. (207)
Din cauza formei sale particulare, ecuatia Bernoulli are cateva proprietati suplimentare.
Propozitia 166. Fie R inversabila. Daca ecuatia Bernoulli are o solutie stabilizanta
(antistabilizanta) atunci A este dihotomica.
Propozitia 167. Fie R < 0. Daca ecuatia Bernoulli are o solutie stabilizanta pozitiv semidefinita
X atunci A este stabila.
Teorema 168. Fie A dihotomica, perechea (A, B) stabilizabila, si R > 0. Atunci ecuatia
Bernoulli are o solutie stabilizanta pozitiv semidefinita.
Capitolul 15: Aplicatii in Teoria Sistemelor 275 ARE si EHP
Capitolul 15: Aplicatii in Teoria Sistemelor
In acest capitol prezentam cateva aplicatii generale ale rezultatelor Riccati in teoria generala a
sistemelor, rezultate ce vor fi ulterior folosite in teoria controlului optimal.
Lema de Real-Marginire
Factorizari Coprime Normalizate
Teorema Micii Amplificari
Factorizare Spectrala si Inner-outer (interioara-exterioara)
Capitolul 15: Aplicatii in Teoria Sistemelor 276
Lema urmatoare contine un rezultat celebru in Teoria Sistemelor dand conditii necesare si
suficiente pentru ca un sistem sa fie marginit in norma H

de un γ > 0.
Lema 169. Fie γ > 0 si
G =

A B
C D

.
Urmatoarele afirmatii sunt echivalente:
1. A este dihotomica, (A, B) este stabilizabila si jGj

< γ.
2. ARE
A
T
X +XA −(XB +C
T
D)(−γ
2
I +D
T
D)(D
T
C +B
T
X) +C
T
C = 0
are o solutie stabilizanta X care satisface urmatoarele proprietati:
δ
c
(X) +π
c
(X) = ν
c
(A), ν
c
(X) = π
c
(A)
in care ν
c
(X), π
c
X, δ
c
(X) reprezinta numarul de valori proprii cu parte reala strict negativa,
strict pozitiva si respectiv egala cu zero.
Capitolul 15: Aplicatii in Teoria Sistemelor 277 Lema de Real-Marginire
Lema 170. [Varianta stricta] Fie γ > 0 si
G =

A B
C D

.
Urmatoarele doua afirmatii sunt echivalente:
1. A este stabila si jGj

< γ
2. −γ
2
I +D
T
D < 0 si exista X > 0 a.i.

A
T
X +XA +C
T
C XB +C
T
D
D
T
C +B
T
X −γ
2
I +D
T
D

< 0
Capitolul 15: Aplicatii in Teoria Sistemelor 278 Lema de Real-Marginire
Factorizari Coprime Normalizate
Teorema 171. Fie G =

A B
C O

, cu (A, B) stabilizabila si (C, A) detectabila. Fie
Σ
X
= (A, B; C
T
C, 0, I), Σ
Y
= (A
T
, C
T
; BB
T
, 0, I)
si fie X si Y solutii stabilizante a ARE(Σ
X
) si ARE(Σ
Y
). Definim F := −B
T
X, K := −Y C
T
,
A
F
:= A +BF, A
K
:= A +KC
.
, si matricile de transfer RH

+
:
M =

A
F
B
F I

, N =

A
F
B
C O

,
U =

A
K
B
−F I

, W=

A
K
K
F O

,
¯
M =

A
K
K
C I

,
¯
N =

A
K
B
C O

,
¯
U =

A
F
−K
C I

,
¯
W=

A
F
K
F O

.
(208)
Atunci avem:
Capitolul 15: Aplicatii in Teoria Sistemelor 279 Factorizari Coprime Normalizate
1.

−W U
¯
M
¯
N

_
−N
¯
U
M
¯
W
_
=

I O
O I

(209)
( identitatea de factorizare coprima (dubla))
2.
G = NM
−1
, N

N+M

M = I, (210)
i.e., perechea (N, M) este o factorizare coprima normalizata la dreapta a lui G peste RH

+
.
3.
G =
¯
M
−1
¯
N,
¯
N
¯
N

+
¯
M
¯
M

= I, (211)
i.e. perechea (
¯
N,
¯
M) defineste o factorizare coprima normalizata la stanga a lui G peste RH

+
.
Capitolul 15: Aplicatii in Teoria Sistemelor 280 Factorizari Coprime Normalizate
Teorema Micii Amplificari
Aceasta teorema da un instrument puternic pentru evaluarea stabilitatii interne a unui sistem
in bucla inchisa.
Teorema 172. [Teorema Micii Amplificari] Fie
G
i
=

A
i
B
i
C
i
D
i

, y
i
= G
i
u
i
, i = 1, 2,
doua sisteme cu A
i
stabila, i = 1, 2, avand functiile de transfer G
1
si G
2
de dimensiune p ·m si
m·p. Presupunem ca S
c
:= I
m
−D
2
D
1
(sau, echivalent
¯
S
c
:= I
p
−D
1
D
2
) este nensingulara.
Daca
jG
1
j

<
1
γ
jG
2
j

≤ γ
pentru γ > 0, atunci sistemul in bucla inchisa a lui G
1
cu G
2
este (intern) stabil.
Capitolul 15: Aplicatii in Teoria Sistemelor 281 Teorema Micii Amplificari
Factorizari spectrale si interioare–exterioare
Definitia 173. Fie G(λ) ∈ RH

+,p·m
avand rang intreg pe coloane pe intreaga axa imaginara,
i.e.,
rank G(jω) = m (= rank
R(λ)
G(λ)), ∀ω ∈ R. (212)
1. Un G
o
(λ) ∈ RH

+,m·m
inversabil cu inversa in RH

+,m·m
a.i.
G

(λ)G(λ) = G

o
(λ)G
o
(λ) (213)
se numeste un factor spectral al lui G.
2. Fie G
i
:= GG
−1
o
∈ RH

+,p·m
. Atunci G
i
este interioara, i.e., este in RH

+
si verifica
G

i
(λ)G
i
(λ) = I (214)
Mai mult,
G(λ) = G
i
(λ)G
o
(λ) (215)
defineste o factorizare interioara–exterioara a lui G.
Capitolul 15: Aplicatii in Teoria Sistemelor 282 Factorizari spectrale si interioare–exterioare
Teorema 174. Fie
G =

A B
C D

. (216)
Presupunem ca G este injectiva (rang intreg pe coloane) pe axa imaginara extinsa si realizarea ei
este stabilizabila si C
0
–observabila. Definim tripletul Popov de pozitivitate
Σ = (A, B; C
T
C, C
T
D, D
T
D).
1. ARE(Σ) are o solutie stabilizatoare X, cu reactia Riccati corespunzatoare F.
2. Fie H o matrice inversabila a.i. H
T
H = D
T
D. Definim
G
o
:=

A B
−HF H

,
G
i
:=

A +BF BH
−1
C +DF DH
−1

.
(217)
Atunci G
o
este un factor spectral si G
i
este factorul interior a lui G, si impreuna ele definesc o
factorizare interioara-exterioara.
Capitolul 15: Aplicatii in Teoria Sistemelor 283 Factorizari spectrale si interioare–exterioare
Capitolul 16: Problema Nehari patru bloc
In acest capitol dam solutia problemei Nehari care consta in a aproxima optimal (!!!!) in
norma L

un sistem stabil cu unul antistabil. Consideram in acest capitol cazul general in care
aproximantul actioneaza doar pe un colt al sistemului aproximat, problema ce mai este cunoscuta si
sub numele de tip patru bloc.
Abordaarea pe care o dam consta in reducerea problemei Nehari la o conditie de signatura care
poate fi rezolvata pe baza rezultatelor ce le-am obtinut anterior.
Problema Nehari si conditia de signatura
Problema Parrott
Solutia problemei Nehari
Capitolul 16: Problema Nehari patru bloc 284
Problema Nehari si conditia de signatura
Consideram un sistem antistabil (avand matricea A antistabila)
T =

A B
C D

=
_
_
A B
1
B
2
C
1
D
11
D
12
C
2
D
21
D
22
_
_
=

T
11
T
12
T
21
T
22

∈ RH


. (218)
Definim un aproximant pentru sistemul T ca fiind un sistem stabil (cu A
S
stabil)
S =

A
S
B
S
C
S
D
S

∈ RH

+
. (219)
Dandu-se sistemul antistabil T si un γ > 0, problema Nehari suboptimala (4–NP) consta in
gasirea tuturor aproximantilor (stabili) S (atunci cand exista !), a.i.

T
11
+S T
12
T
21
T
22


< γ. (220)
Capitolul 16: Problema Nehari patru bloc 285 Problema Nehari si conditia de signatura
Problema Nehari optimala consta in gasirea aproximantilor (stabili) S a.i.
min
¯
S∈RH

+,p
1
·m
1

T
11
+
¯
S T
12
T
21
T
22


=

T
11
+S T
12
T
21
T
22


= γ
min
. (221)
Observatie:
• Cazul optimal este echivalent cu gasirea lui γ
min
si toti S stabili care satisfac (220) cu inegalitatea
stricta relaxata la una nestricta, si γ = γ
min
. Din motive de timp vom trata numai cazul
suboptimal care este esentialmente echivalent cu cel optimal dpdv numeric.
• Nu restrangem cu nimic generalitatea presupunand D
11
= 0 si γ = 1. Presupunem indeplinite
aceste ipoteze.
Inegalitatea (220) este echivalenta cu o problema doi bloc

T
1
+S
T
2


< 1 (222)
cu constrangerea structurala S =

S O

, unde T
1
:=

T
11
T
12

, T
2
:=
Capitolul 16: Problema Nehari patru bloc 286 Problema Nehari si conditia de signatura

T
21
T
22

. Mai departe, (222) este echivalenta cu
(T
1
+S)

(T
1
+S) +T

2
T
2
−I =

T
1
T
2

T
1
T
2

+S

T
1
+T

1
S −I
= T

T +S

T
1
+T

1
S −I < 0, pe C
0
. (223)
Rescriind (223) in mod compact rezulta conditia de signatura
_
I S

_

T

T −I
m
T

1
T
1
I
p
1

I
S

< 0, pe C
0
(224)
asupra functiei Popov Π
Σ
:=

T

T −I
m
T

1
T
1
I
p
1

. Aceasta este in schimb asociata tripletului
Popov
Σ = (A, B; Q, L, R)
:= (A,

B O
p
1

; C
T
C,

C
T
D C
T
1

,

D
T
D −I D
T
1
D
1
I
p
1

). (225)
Astfel problema Nehari 4–bloc are o solutie S daca si numai daca conditia de signatura (224)
are loc pentru S.
Capitolul 16: Problema Nehari patru bloc 287 Problema Nehari si conditia de signatura
Oricum, nu putem aplica direct rezultatele date in Capitolul 13 din doua motive:
• A este antistabila pe cand noi avem nevoie sa fie stabila
• Solutia S a inegalitatii (224) trebuie sa aibe a un patern de zerouri care nu este dat automat
de conditia generala de signatura.
Pentru a depasi prima dificultate vom transforma intai tripletul antistabil Σ intr-unul stabil
prin luarea unuor echivalenti potriviti. Pentru a defini echivalentii Popov potriviti
¯
Σ folosim solutia
ecuatiei Riccati care exprima proprietatea de contractivitate

T
12
T
22


< 1. (226)
Observati ca (226) este o conditie necesara de rezolvare a problemei Nehari 4 bloc.
Pentru a depasi a doua dificultate vom actualiza solutia conditiei de signatura printr-o structura
potrivita. Cheia consta intr-o factorizare J spectrala a unei functii Popov avand o structura prescrisa
de “zerouri”.
Teorema 175. Fie Π :=

Π
11
Π
12
Π

12
Π
22

= Π

, cu Π
22
> 0 pe C
0
. Presupunem ca Π admite
o factorizare J spectrala
Π = G

JG, (227)
Capitolul 16: Problema Nehari patru bloc 288 Problema Nehari si conditia de signatura
unde J := diag (−I
m
, I
p
1
) = diag (−I
m
1
, −I
m
2
, I
p
1
), factorul spectral are structura
particulara
G =

G
1
G
2
G
3
G
4

=
_
_
_
G
11
O G
13
G
21
G
22
G
23
G
31
O G
33
_
_
_
, (228)
G este o unitate in ∈ RH

+,(m+p
1
)·(m+p
1
)
si G
4
(= G
33
) este o unitate in RH

+,p
1
·p
1
.
Atunci clasa tuturor S ∈ RH

+
, ( S =

S O
p
1
·m
2

, S ∈ RH

+,p
1
·m
1
), care satisfac
conditia de signatura
_
I S

_
Π

I
S

< 0, pe C
0
, (229)
este data de
S := S
2
S
−1
1
,

S
1
S
2

= G
−1

I
m
θ

, θ =

θ O

, (230)
unde θ este un element arbitrar a lui RH

+,p
1
·m
1
cu jθj

< 1.
Capitolul 16: Problema Nehari patru bloc 289 Problema Nehari si conditia de signatura
Problema Parrott
Dam intai solutia problemei Nehari patru bloc in cazul matricial constant – in aceasta forma
este cunoscuta si sub numele de problema lui Parrott (elementara dar netriviala !!!).
Teorema 176. [Problema Parrott] Fie D =

O D
12
D
21
D
22

. Exista S a. i.
j

S
.
D
12
D
21
D
22

j < 1 (231)
daca si numai daca: jD
2
j < 1 si jD
2
j < 1, unde D
2
:=

D
21
D
22

si D
2
:=

D
12
D
22

.
Daca aceste conditii sunt indeplinite atunci
R :=
_
D
T
D −I D
T
1
D
1
I
_
=
_
_
_
D
T
21
D
21
−I D
T
21
D
22
O
D
T
22
D
21
D
T
2
D
2
−I D
T
12
O D
12
I
_
_
_
, (232)
Capitolul 16: Problema Nehari patru bloc 290 Problema Parrott
are o J factorizare
R = V
T
JV, V =
_
_
V
11
O O
V
21
V
22
V
23
V
31
O V
33
_
_
. (233)
Clasa tutoror matricilor S este data de
S = −V
−1
33
(V
31
+θV
11
), ∀θ ∈ R
p
1
·m
1
, cu jθj < 1. (234)
Capitolul 16: Problema Nehari patru bloc 291 Problema Parrott
Solutia problemei Nehari 4 bloc
Introducem intai niste notatii. Definim tripletele Popov
Σ
1
= (−A, −B
2
; C
T
C, C
T
D
2
, D
T
2
D
2
−I), D
2
:=

D
12
D
22

Σ
2
= (−A
T
, −C
T
2
; BB
T
, BD
T
2
, D
2
D
T
2
−I), D
2
:=

D
21
D
22

¯
Σ = (
¯
A,
¯
B;
¯
Q,
¯
L,
¯
R),
(235)
¯
A := −(A +B
2
F
1
)
T
,
¯
B := −

(C
T
2
+F
1
D
T
22
)D
21
−X
1
B
1
O C
T
1
+F
T
1
D
T
12

¯
Q := 0,
¯
L =

B
1
B
2
O

,
¯
R :=

D
T
D −I D
T
1
D
1
I

(236)
unde X
1
si F
1
sunt solutia stabilizanta si reactia stabilizanta a ARE(Σ
1
).
Capitolul 16: Problema Nehari patru bloc 292 Solutia problemei Nehari 4 bloc
Teorema 177. Problema Nehari suboptimala are o solutie S daca si numai daca:
1. KYPS(Σ
1
, −I) are o solutie stabilizanta (X
1
, V
1
, W
1
), cu X
1
≥ 0.
2. KYPS(Σ
2
, −I) are o solutie stabilizanta (X
2
, V
2
, W
2
), cu X
2
≥ 0.
3. ρ(X
1
X
2
) < 1.
Daca aceste conditii au loc atunci KYPS(
¯
Σ, J) are o solutie stabilizanta (
¯
X, V, W), cu
¯
X ≥ 0
satisfacand
¯
X = X
2
(I −X
1
X
2
)
−1
. Clasa solutiilor problemei Nehari patru bloc este
S = (G
31
+G
33
θ)(G
11
+G
13
θ)
−1
,
unde θ este stabil, jθj

< 1,

G
11
G
13
G
31
G
33

=
_
_
_
_
¯
A +
¯
B
¯
F
¯
B
1
V
11
+
¯
B
3
V
31
¯
B
3
V
33
¯
F
1
V
11
O
¯
F
3
V
31
V
33
_
_
_
_
,
si
¯
F := −V
−1
W =
_
¯
F
T
1
¯
F
T
2
¯
F
T
3
_
T
.
Capitolul 16: Problema Nehari patru bloc 293 Solutia problemei Nehari 4 bloc
Capitolul 17: Problema de Reglare H
2
Optimala
In acest capitol consideram problema de control (reglare) H
2
optimala care consta in gasirea
unui regulator care stabilizeaza intern si minimizeaza norma H
2
a sistemului rezulta in bucla
inchisa.
Fromularea problemei
Evaluarea normei H
2
Rezultatul central
Capitolul 17: Capitolul 16: Problema H
2
294
Formularea problemei
Consideram un sistem dinamic liniar
˙ x = Ax +B
1
u
1
+B
2
u
2
,
y
1
= C
1
x +D
12
u
2
,
y
2
= C
2
x +D
21
u
1
,
(237)
avand matricea de transfer data de : T =

A B
C D

=
_
_
A B
1
B
2
C
1
O D
12
C
2
D
21
O
_
_
=

T
11
T
12
T
21
T
22

unde u si y sunt intrarea si iesirea lui T partitionate in acord cu T a.i.
y =

y
1
y
2

= Tu =

T
11
T
12
T
21
T
22

u
1
u
2

. (238)
• u
1
: vectorul intrarilor exogene (perturbatii, zgomote si semnale referinta)
• y
1
: vectorul iesirilor reglate (semnale de tip eroare)
• u
2
: vectorul intrarilor reglate
Capitolul 17: Capitolul 16: Problema H
2
295
• y
2
: vectorul iesirilor masurate
Controlul (Reglarea) sistemului: folosind informatia masurata y
2
gasiti o marime de comanda
u
2
a.i. raspunsul rezultant y
1
la intrarea u
1
sa indeplineasca anumite cerinte fixate prin proiectare.
Problema: Gasiti un u
2
potrivit, ca iesire a unui sistem numit regulator si avand intrarea y
2
,
a.i. raspunsul sistemului rezultant sa aibe energie cat mai mica y
1
cand intrarea in sistem u
1
este un impuls Dirac.
Definim un regulator pentru sistemul dat ca fiind alt sistem dinamic liniar
˙ x
K
= A
K
x
K
+B
K
u
K
,
y
K
= C
K
x
K
,
(239)
avand matricea de transfer K =

A
K
B
K
C
K
O

, unde u
K
si y
K
sunt intrarea si iesirea lui K.
Sistemul in bucla inchisa se obtine conectand regulatorul la sistemul dat a.i. u
2
≡ y
K
si
u
K
≡ y
2
.
Capitolul 17: Capitolul 16: Problema H
2
296
K
T
-
-
-

u
1
u
2
y
K
y
1
y
2
u
K
u
2
≡ y
K
u
K
≡ y
2
Sistemul in bucla inchisa rezultat avand intrarea u
1
si iesirea y
1
este bine definit si dat de
y
1
= T
y
1
u
1
u
1
, T
y
1
u
1
= LFT(T, K) = T
11
+T
12
K(I −T
22
K)
−1
T
21
(240)
T
y
1
u
1
=

A
R
B
R
C
R
O

=
_
_
A B
2
C
K
B
1
B
K
C
2
A
K
B
K
D
21
C
1
D
12
C
K
O
_
_
.
Capitolul 17: Capitolul 16: Problema H
2
297
Problema de Control Optimal H
2
: Dandu-se T, gasiti un regulator strict propriu K pentru care
sistemul in bucla inchisa T
y
1
u
1
:
1. Este intern stabil (Λ(A
R
) ⊂ C

)
2. Are norma H
2
minima ( jT
y
1
u
1
j
2
isi atinge minimul peste clasa tuturor sistemelor
K= ¦ K : K strict proprii si care stabilizeaza intern T
y
1
u
1
]).
• Regulator Stabilizant : Un regulator care satisface conditia de stabilitate interna
• Regulator Optimal: Un regulator care atinge minimul normei L
2
• Am presupus implicit: (i) T
11
(∞) = D
11
= 0; (ii) T
22
(∞) = D
22
= 0; (iii) K(∞) =
D
K
= 0;
• Ipotezele (i) si (iii) asigura T
y
1
u
1
(∞) = D
R
= 0 care este o conditie necesara pentru
finitudinea normei H
2
a sistemului in bucla inchisa;
• Ipoteza (iii) asigura automat ca sistemul in bucla inchisa este bine definit;
• Presupunerea (ii) este facuta pentru simplificarea formulelor (nu se pierde din generalitate);
intr-adevar, daca K rezolva problema cu D
22
= 0
,
atunci K(I + D
22
K)
−1
rezolva problema
originala cu D
22
arbitrar;
• Nici (i) nici (iii) nu sunt necesare pentru rezolvarea problemei de reglare H
2
si pot fii relaxate
(s-au facut pentru simplificarea expunerii).
Capitolul 17: Capitolul 16: Problema H
2
298
O evaluare a normei L
2
Dam in continuare o evaluare utila a normei L
2
a unui sistem stabil in termenii iesirii sistemului
atunci cand semnalul de intrare este un impuls Dirac.
Consideram sistemul stabil (A stabila)
T =

A B
C O

, y = Tu. (241)
Norma L
2
a lui T este definita ca
jTj
2
:=

1

_

−∞
Trace [T

(jω)T(jω)]dω
1
2
. (242)
Fie u
i
:= δe
i
, (i = 1, . . . , m), unde δ este distributia Dirac si e
1
, . . . , e
m
este baza
Euclidiana standard in R
m
.
Fie y
i
iesirea pentru u = u
i
, (i = 1, . . . , m).
Capitolul 17: Capitolul 16: Problema H
2
299
Din stabilitatea lui A rezulta ca y
i
∈ L
2,p
+
si are forma explicita:
y
i
(t) = 0, ptr. t < 0,
y
i
(t) = Ce
At
Be
i
, ptr. t ≥ 0.
Fie deasemenea matricea de raspuns cauzal la impuls:
Ç(t) := 0, ptr. t < 0
Ç(t) = Ce
At
B, ptr. t ≥ 0.
Avem succesiv
m

i=1
jy
i
j
2
2
=
m

i=1
_

0
e
T
i
Ç
T
(t)Ç(t)e
i
dt =
_

0
[
m

i=1
e
T
i
Ç
T
(t)Ç(t)e
i
]dt
=
_

0
Trace [Ç
T
(t)Ç(t)]dt =
1

_

−∞
Trace [T

(jω)T(jω)]dω (243)
in care ultima ecuatie este o consecinta a formulei lui Parseval. Deci
jTj
2
2
=
m

i=1
jy
i
j
2
2
. (244)
Capitolul 17: Capitolul 16: Problema H
2
300
Principalul rezultat
Teorema 178. Fie sistemul T. Asociem doua triplete Popov
Σ
12
= (A, B
2
; C
T
1
C
1
, C
T
1
D
12
, D
T
12
D
12
), (245)
Σ
21
= (A
T
, C
T
2
; B
1
B
T
1
, B
1
D
T
21
, D
21
D
T
21
). (246)
Presupunem:
(H1) Perechea (A, B
2
) este stabilizabila, D
12
are rang intreg pe coloane, si
rank

A −jωI B
2
C
1
D
12

= n +m
2
, ∀ ω ∈ R.
(H2) Perechea (C
2
, A) este detectabila, D
21
are rang intreg pe linii, si
rank

A −jωI B
1
C
2
D
21

= n +p
2
, ∀ ω ∈ R.
Capitolul 17: Capitolul 16: Problema H
2
301
Atunci ARE(Σ
12
) data de
A
T
X +XA −(XB
2
+C
T
1
D
12
)(D
T
12
D
12
)
−1
(B
T
2
X +D
T
12
C
1
) +C
T
1
C
1
= 0 (247)
ate o solutie stabilizanta X
s
≥ 0, si ARE(Σ
21
) data de
AY +Y A
T
−(Y C
T
2
+B
1
D
T
21
)(D
21
D
T
21
)
−1
(C
2
Y +D
21
B
T
1
) +B
1
B
T
1
= 0 (248)
are o solutie stabilizanta Y
s
≥ 0.
Mai mult, exista un regulator strict propriu
K =

A +B
2
F
s
+K
T
s
C
2
K
T
s
−F
s
O

(249)
care rezolva problema de reglare H
2
optimala, unde
F
s
:= −(D
T
12
D
12
)
−1
(B
T
2
X
s
+D
T
12
C
1
),
K
s
:= −(D
21
D
T
21
)
−1
(C
2
Y
s
+D
21
B
T
1
),
sunt reactiile Riccati stabilizante. Valoarea optimala (minimala) a normei H
2
este
min
K∈K
jT
y
1
u
1
j
2
= [Trace (B
T
1
X
s
B
1
) + Trace (C
1
Y
s
C
T
1
)]
1
2
. (250)
Capitolul 17: Capitolul 16: Problema H
2
302
Observatii:
• (A, B
2
) stabilizabila si (C
2
, A) detectabila sunt necesare pentru indeplinirea cerintei de
stabilitate interna.
• Celelalte ipoteze sunt necesare pentru existenta solutiei stabilizante a celor doua ecuatii Riccati
dar NU sunt necesare pentru existenta unei solutii a problemei H
2
optimale. In caz ca una
dintre cele doua ipoteze nu este indeplinita obtinem o asa numita problema singulara.
Demonstratia se bazeaza pe solutia a trei probleme particulare H
2
optimale, fiecare in parte fiind
data sub forma unei propozitii separate: 1 bloc, 2 bloc si 2 bloc duala.
Schema de demonstratie este:
1. Rezolvam problema 1 bloc
2. Reducem problema 2 bloc la cea 1 bloc
3. Scriem solutia problemei 2 bloc duale prin argumente de dualitate
4. Reducem cazul general la o problema 2 bloc duala
Propozitia 179. [1 bloc] Presupunem ca T satisface ipotezele:
(1 bloc–H1) D
12
este patrata si inversabila si A −B
2
D
−1
12
C
1
este stabila.
Capitolul 17: Capitolul 16: Problema H
2
303
(1 bloc–H2) D
21
este patrata si inversabila si A −B
1
D
−1
21
C
2
este stabila.
Atunci o solutie si valoare optimala a normei H
2
sunt date de
K =

A −B
1
D
−1
21
C
2
−B
2
D
−1
12
C
1
B
1
D
−1
21
−D
−1
12
C
1
O

, (251)
min
K∈K
jT
y
1
u
1
j
2
= 0.
Demonstratie. Inlocuim expresia regulatorului si obtinem
T
y
1
u
1
=
_
_
A −B
2
D
−1
12
C
1
B
1
B
1
D
−1
21
C
2
A −B
1
D
−1
21
C
2
−B
2
D
−1
12
C
1
B
1
C
1
−C
1
O
_
_
=
_
_
A −B
2
D
−1
12
C
1
−B
2
D
−1
12
C
1
B
1
O A −B
1
D
−1
21
C
2
O
O −C
1
O
_
_
. (252)
Capitolul 17: Capitolul 16: Problema H
2
304
Propozitia 180. [2 bloc] Presupunem ca T satisface urmatoarele ipoteze:
(2 bloc–H1) Perechea (A, B
2
) este stabilizabila, D
12
are rang intreg pe coloane, si
rank

A −jωI B
2
C
1
D
12

= n +m
2
, ∀ ω ∈ R.
(2 bloc–H2) D
21
este patrata si inversabila si A −B
1
D
−1
21
C
2
este stabila.
Atunci ARE
A
T
X +XA −(XB
2
+C
T
1
D
12
)(D
T
12
D
12
)
−1
(B
T
2
X +D
T
12
C
1
) +C
T
1
C
1
= 0 (253)
are o solutie stabilizanta X
s
≥ 0. O solutie si valoarea optimala a normei H
2
sunt date de
K =

A −B
1
D
−1
21
C
2
+B
2
F
s
B
1
D
−1
21
F
s
O

, (254)
min
K∈K
jT
y
1
u
1
j
2
= [Trace (B
T
1
X
s
B
1
)]
1
2
. (255)
Demonstratie. Din (2 bloc–H1) rezulta ca ARE are o solutie stabilizanta X
s
≥ 0. Mai mult,
existenta solutiei stabilizante X
s
a ARE(Σ
12
) este echivalenta cu existenta solutiei stabilizante
Capitolul 17: Capitolul 16: Problema H
2
305
(X
s
, V
s
, W
s
), X
s
≥ 0, a KPYS
D
T
12
D
12
= V
T
V,
C
T
1
D
12
+XB
2
= W
T
V,
C
T
1
C
1
+A
T
X +XA = W
T
W,
(256)
unde F
s
= −V
−1
s
W
s
este reactia stabilizanta. Consideram sistemul
¯
T =

¯
T
11
¯
T
12
T
21
T
22

=
_
_
A B
1
B
2
W
s
O V
s
C
2
D
21
O
_
_
,

¯ y
1
y
2

=

¯
T
11
¯
T
12
T
21
T
22

u
1
u
2

(257)
care se obtine inlocuind iesirea y
1
= C
1
x +D
12
u
2
cu iesirea
¯ y
1
= W
s
x +V
s
u
2
.
Cum V
s
este inversabil, se verifica imediat ca
¯
T satisface ipotezele (1 bloc–H1) si (1 bloc–H2).
Daca scriem regulatorul pentru cazul 1–bloc cu date obtinute din
¯
T obtinem (254). Cu alte
cuvinte, regulatorul K din (254) rezolva problema 1–bloc formulata pentru sistemul (257). Prin
urmare sistemul in bucla inchisa din figura
Capitolul 17: Capitolul 16: Problema H
2
306
K

T
-
-
-

u
1
u
2
y
K
¯ y
1
y
2
u
K
u
2
≡ y
K
u
K
≡ y
2
dat de
¯
T
y
1
u
1
= LFT(
¯
T, K) =
¯
T
11
+
¯
T
12
K(I −T
22
K)
−1
T
21
, (258)
este intern stabil si
j
¯
T
y
1
u
1
j
2
2
=
m

i=1
j¯ y
i
1
j
2
2
= 0 (259)
unde ¯ y
i
1
este iesirea lui
¯
T
y
1
u
1
pentru intrarea u
1
= u
i
1
= δe
i
. Stabilitatea interna a (258) este
echivalenta cu faptul ca matricea de stare
¯
A
R
=

A B
2
F
s
B
1
D
−1
21
C
2
A −B
1
D
−1
21
C
2
+B
2
F
s

Capitolul 17: Capitolul 16: Problema H
2
307
este stabila. In orice caz, este usor de sa vedem ca
¯
A
R
este matricea de stare a lui
T
y
1
u
1
= LFT(T, K) = T
11
+T
12
K(I −T
22
K)
−1
T
21
, (260)
si prin urmare T
y
1
u
1
este deasemenea intern stabila. Rezulta ca K satisface cerinta de stabilitate a
problemei H
2
formulate pentru T si ramane sa aratam ca cerinta de optimalitate este deasemenea
indeplinita. Evaluam succesiv:
jy
1
(t)j
2
= jC
1
x(t) +D
12
u
2
(t)j
2
= x
T
(t)C
T
1
C
1
x(t) + 2x
T
(t)C
T
1
D
12
u
2
(t) +u
T
2
(t)D
T
12
D
12
u
2
(t)
(256)
= x
T
(t)W
T
s
W
s
x(t) −x
T
(t)(A
T
X
s
+X
s
A)x(t) + 2x
T
(t)W
T
s
V
s
u
2
(t)
−2x
T
(t)X
s
B
2
u
2
(t) +u
T
2
(t)V
T
s
V
s
u
2
(t)
= jW
s
x(t) +V
s
u
2
(t)j
2
−x
T
(t)X
s
(Ax(t) +B
2
u
2
(t))
−(Ax(t) +B
2
u
2
(t))
T
X
s
x(t)
= j¯ y
1
(t)j
2
−x
T
(t)X
s
˙ x(t) − ˙ x
T
(t)X
s
x(t)
+x
T
(t)X
s
B
1
u
1
(t) +u
T
1
(t)B
T
1
X
s
x(t)
= j¯ y
1
(t)j
2

d
dt
(x
T
(t)X
s
x(t)) +x
T
(t)X
s
B
1
u
1
(t) +u
T
1
(t)B
T
1
X
s
x(t).
Capitolul 17: Capitolul 16: Problema H
2
308
Fie K orice regulator a.i. T
y
1
u
1
= LFT(T, K) este intern stabila. Asa cum a rezultat mai sus,
¯
T
y
1
u
1
= LFT(
¯
T, K) este desemenea intern stabila.
Fie x
K
(t) si x
R
(t) vectorul de stare al lui K si respectiv al lui T
y
1
u
1
. Consideram intrarea
impulsiva u
1
= u
i
1
:= δe
i
.
si conditia initiala x(0

) = 0, x
K
(0

) = 0. Atunci obtinem cu
(240),
x
R
(0
+
) =

x(0
+
)
x
K
(0
+
)

= B
R
e
i
=

B
1
B
K
D
21

e
i
.
Prin urmare
x(0
+
) = B
1
e
i
, (261)
x
K
(0
+
) = B
K
D
21
e
i
, u
i
1
(t) = 0, ∀t > 0, si toate semnalele din bucla inchisa ale T
y
1
u
1
si
¯
T
y
1
u
1
sunt functii exponential descrescatoare in L
2
+
. Notam y
i
1
si ¯ y
i
1
iesirile lui T
y
1
u
1
si
¯
T
y
1
u
1
la intrarea u
i
1
.
Integram pe (0, ∞) ambii membrii pentru u
1
(t) = u
i
1
:= δe
i
si cu (261) obtinem succesiv
jy
i
1
j
2
2
= j¯ y
i
1
j
2
2
+e
T
i
B
T
1
XB
1
e
i
,
m
1

i=1
jy
i
1
j
2
2
=
m
1

i=1
j¯ y
i
1
j
2
2
+ Trace (B
T
1
X
s
B
1
)
de unde concluzionam
jT
y
1
u
1
j
2
2
= j
¯
T
y
1
u
1
j
2
2
+ Trace (B
T
1
X
s
B
1
).
Capitolul 17: Capitolul 16: Problema H
2
309
Aceasta egalitate are loc pentru toate regulatoarele K pentru care T
y
1
u
1
(si automat
¯
T
y
1
u
1
) este
intern stabila. Dar jT
y
1
u
1
j
2
2
≥ Trace (B
T
1
XB
1
) si egalitatea are loc pentru K dat de (254)
deoarece are loc (259). Din aceasta concluzionam ca (255) are loc si demonstratia este incheiata.
Propozitia 181. [2 bloc duala] Prespunem ca T satisface urmatoarele ipoteze:
(2 bloc dual–H1) D
12
este patrata si inversabila si A −B
2
D
−1
12
C
1
este stabila.
(2 bloc dual–H2) Perechea (C
2
, A) este detectabila, D
21
are rang intreg pe linii si
rank

A −jωI B
1
C
2
D
21

= n +p
2
, ∀ ω ∈ R.
Atunci ARE(Σ
21
)
AY +Y A
T
−(Y C
T
2
+B
1
D
T
21
)(D
21
D
T
21
)
−1
(C
2
Y +D
21
B
T
1
) +B
1
B
T
1
= 0 (262)
are o solutie stabilizanta Y
s
≥ 0. O solutie si valoarea optimala (minima) a normei H
2
sunt date
de
K =
_
_
A −B
2
D
−1
12
C
1
+K
T
s
C
2
K
T
s
D
−1
12
C
1
O
_
_
(263)
Capitolul 17: Capitolul 16: Problema H
2
310
min
K∈K
jT
y
1
u
1
j
2
= [Trace (C
1
Y
s
C
T
1
)]
1
2
. (264)
Demonstratie. Demonstratia este o consecinta a dualitatii cu problema 2 bloc. Mai precis, daca T
satisface ipotezele problemei 2 bloc duale, atunci T
T
satisface ipotezele problemei 2 bloc. Scriem
solutia K a problemei 2 bloc formulate pentru T
T
si obtinem ca K
T
este o solutie a problemei
2 bloc duale formulate pentru T. Restul demonstratiei este o simpla chestiune de substitutii in
formule.
Demonstratia Teoremei 178. Observam intai ca cele doua ARE sunt ecuatiile Riccati de pozitivitate
asociate cu T
12
si respectiv T
21
. Atunci cu (H1) si (H2) rezulta ca Riccati-urile corespunzatoare
au solutii stabilizante X
s
≥ 0 si Y
s
≥ 0.
Mai departe urmam acceasi linie de rationament ca la cazul 2 bloc. Existenta solutiei stabilizante
X
s
a ARE este echivalenta cu existenta unei solutii stabilizante (X
s
, V
s
, W
s
), X
s
≥ 0, a KPYS
dat in (256). Consideram din nou sistemul (257) care se obtine inlocuind iesirea y
1
cu iesirea ¯ y
1
.
Cum V
s
este inversabil, este usor de verificat ca sistemul
¯
T satisface acum ipotezele problemei 2
bloc duale. Daca scriem regulatorul corespunzator pentru
¯
T dat de (257) ajungem exact la (249).
Cu alte cuvinte, regulatorul K in (249) rezolva problema 2 bloc duala formulata pentru sistemul
(257).
Capitolul 17: Capitolul 16: Problema H
2
311
Deci
¯
T
y
1
u
1
este desemenea intern stabil. Din stabilitatea interna a
¯
T
y
1
u
1
rezulta in mod analog
ca in demonstratia Propozitiei 180 ca T
y
1
u
1
este deasemenea intern stabil.
A ramas de aratat ca K este intr–adevar optimal si sa obtinem evaluarea (250). In acest scop
fie K orice regulator a.i. T
y
1
u
1
este intern stabil. Din Propozitia 181 aplicata lui (257) obtinem
j
¯
T
y
1
u
1
j
2
2
≥ Trace (C
1
Y
s
C
T
1
) (265)
si mai departe
jT
y
1
u
1
j
2
2
≥ Trace (B
T
1
X
s
B
1
) + Trace (C
1
Y
s
C
T
1
). (266)
Egalitatea din (266) are loc daca si numai daca egalitatea din (265) are loc. Dar, asa cum am
explicat mai sus, pentru K dat de (249) egalitatea (265) are loc si prin urmare rezulta (250)
incheind astfel demonstratia Teoremei 178.
Capitolul 17: Capitolul 16: Problema H
2
312
Capitolul 18 Problema de reglare H

(sub)optimala
In acest capitol consideram problema de reglare H

(sub)optimala (numita si problema atenuarii
perturbatiei) ce consta in gasirea clasei tuturor regulatoarelor care stabilizeaza intern sistemul in
bucla inchisa si ii minimizeaza norma H

(o fac mai mica decat un γ > 0).
Solutia propusa se bazeaza din nou pe conditia de signatura pe care deja stim s-o rezolvam.
Formularea problemei
Presupuneri de baza
Problema H

si conditia de signatura
Solutia
Schita demonstratiei
Capitolul 18: Problema de reglare H

(sub)optimala 313
Formularea problemei
Cadrul este complet similar celui din capitolul anterior. Consideram un sistem dinamic liniar:
˙ x = Ax +B
1
u
1
+B
2
u
2
,
y
1
= C
1
x +D
11
u
1
+D
12
u
2
,
y
2
= C
2
x +D
21
u
1
+D
22
u
2
,
(267)
avand matricea de transfer data de : T =

A B
C D

=
_
_
A B
1
B
2
C
1
D
11
D
12
C
2
D
21
D
22
_
_
=

T
11
T
12
T
21
T
22

unde u si y semnifica intrarea si iesirea lui T partitionate conform a.i.
y =

y
1
y
2

= Tu =

T
11
T
12
T
21
T
22

u
1
u
2

. (268)
• u
1
: vectorul intrarilor exogene
• y
1
: vectorul iesirilor reglate
• u
2
: vectorul intrarilor reglate
Capitolul 18: Problema de reglare H

(sub)optimala 314 Formularea problemei
• y
2
: vectorul iesirilor masurate
Problema: Gasiti o intrare potrivita u
2
(ce este iesire a unui sistem numit regulator avand intrarea
y
2
) astfel incat raspunsul rezultat y
1
sa aibe energie cat mai mica atunci cand intrarea u
1
este
cel mai prost semnal posibil de energie unitara (i.e., o functie in L
2
, de norma 1, aleasa astfel incat
sa maximizeze y
1
). Cum u
1
este vazut ca un semnal perturbator conditia poate fi privita ca o
cerinta de atenuare a perturbatiei.
Definim regulatorul prin formulele generale
˙ x
K
= A
K
x
K
+B
K
u
K
,
y
K
= C
K
x
K
+D
K
u
K
,
(269)
avand matricea de transfer K =

A
K
B
K
C
K
D
K

, unde u
K
si y
K
sunt intrarea si iesirea lui K.
Sistemul in bucla inchisa se obtine conectand regulatorul la sistemul nominal a.i. u
2
≡ y
K
si
u
K
≡ y
2
.
Capitolul 18: Problema de reglare H

(sub)optimala 315 Formularea problemei
K
T
-
-
-

u
1
u
2
y
K
y
1
y
2
u
K
u
2
≡ y
K
u
K
≡ y
2
Sistemul in bucla inchisa este bine definit daca matricea

I
p
2
D
22
D
K
I
m
2

este nensingulara.
Buna definire poate fi exprimata echivalent prin conditia S = I
p
2
− D
22
D
K
nensingulara, sau ca
¯
S := I
m
2
−D
K
D
22
nensingulara. Daca sistemul in bucla inchisa este bine definit atunci sistemul
rezultat avand intrarea u
1
si iesirea y
1
este dat de
T
y
1
u
1
= LFT(T, K) = T
11
+T
12
K(I −T
22
K)
−1
T
21
,
T
y
1
u
1
=

A
R
B
R
C
R
D
R

=
_
_
_
_
A +B
2
¯
S
−1
D
K
C
2
B
2
¯
S
−1
C
K
B
1
+B
2
¯
S
−1
D
K
D
21
B
K
S
−1
C
2
A
K
+B
K
S
−1
D
22
C
K
B
K
S
−1
D
21
C
1
+D
12
D
K
S
−1
C
2
D
12
¯
S
−1
C
K
D
11
+D
12
D
K
S
−1
D
21
_
_
_
_
.
(270)
Capitolul 18: Problema de reglare H

(sub)optimala 316 Formularea problemei
Problema H

(sub)optimala: Dandu-se un sistem T si γ > 0, gasiti toate regulatoarele K
pentru care sistemul in bucla inchisa T
y
1
u
1
este bine definit (I −D
22
D
K
este inversabila), intern
stabil, i.e.,
Λ(A
R
) ⊂ C

, (271)
si marginit in norma H

de γ, i.e.,
jT
y
1
u
1
j

< γ. (272)
Deoarece jT
y
1
u
1
j

= sup
ju
1
j
2
=1
jy
1
j
2
, rezulta ca (272) impune de fapt o margine asupra
normei L
2
a raspunsului sistemului atunci cand intrarea este arbitrara de norma L
2
egala cu
unitatea.
Observatie: Calcule simple arata ca realizarea lui (I −T
22
K)
−1
, T
y
2
u
1
:= (I −T
22
K)
−1
T
21
,
si T
u
2
u
1
= K(I −T
22
K)
−1
T
21
impart aceeasi matrice de stare care este exact A
R
:
(I −T
22
K)
−1
=

A
R

, T
y
2
u
1
=

A
R

, T
u
2
u
1
=

A
R

.
Daca regulatorul K stabilizeaza T, atunci sistemul rezultant este automat stabil, i.e., T
y
1
u
1

RH

+,p
1
·m
1
, si deasemenea (I − T
22
K)
−1
∈ RH

+,p
2
·p
2
, T
y
2
u
1
∈ RH

+,p
2
·m
1
, si T
u
2
u
1

RH

+,m
2
·m
1
. O problema naturala in acest context este determinarea unui γ
min
peste clasa tuturor
regulatoarelor stabilizante, si scrierea unei formule pentru regulator ce asigura optimul (minimul).
Problema se numeste optimala si este considerabil mai dificila.
Capitolul 18: Problema de reglare H

(sub)optimala 317 Formularea problemei
Presupuneri de baza
Facem o multime de presupuneri aditionale asupra sistemului dat care sau simplifica considerabil
expunerea (fara restrangerea generalitatii) sau sunt de natura tehnica intrinseca.
(H1) γ = 1: Este o simpla scalare
(H2) D
22
= 0: Daca K este o solutie a problemei in cazul D
22
= 0 atunci K(I + D
22
K)
−1
este
o solutie a problemei originale. Aceasta presupunere simplifica considerabil restrictia impusa de
buna definire a buclei (implica automat buna definire) si conduce la formule mai simple pentru
solutie.
(H3) Perechea (A, B
2
) este stabilizabila si perechea (C
2
, A) este detectabila: Aceste presupuneri
sunt necesare pentru existenta clasei compensatoarelor stabilizante. Intr-adevar:
A
R
=

A +B
2
¯
S
−1
D
K
C
2
B
2
¯
S
−1
C
K
B
K
S
−1
C
2
A
K
+B
K
S
−1
D
22
C
K

(273)
=

A O
O A
K

+

B
2
O
O B
K

¯
S
−1
D
K
¯
S
−1
S
−1
S
−1
D
22

C
2
O
O C
K

.
Capitolul 18: Problema de reglare H

(sub)optimala 318 Presupuneri de baza
Daca A
R
este stabila deducem ca perechea matriciala
(

A O
O A
K

,

B
2
O
O B
K

)
este stabilizabila si perechea matriciala
(

C
2
O
O C
K

,

A O
O A
K

)
este detectabila de unde rezulta ca perechea (A, B
2
) este stabilizabila si perechea (C
2
, A) este
detectabila. Rezulta in particular si ca (A
K
, B
K
) si (C
K
, A
K
) trebuie sa fie stabilizabile si
respectiv detectabile.
(H4) Ipoteze de regularitate.
(R1) Fascicolul de transmisie T
12
dat de

sI −A −B
2
−C
1
−D
12

are rang intreg pe coloane ptr. s ∈ C
0
.
Capitolul 18: Problema de reglare H

(sub)optimala 319 Presupuneri de baza
(R2) Fascicolul de transmisie T
21
dat de

sI −A −B
1
−C
2
−D
21

are rang intreg pe linii ptr. s ∈ C
0
.
O problema ce satisface aceste doua presupuneri se numeste regulata, altfel se numeste singulara
(mult mai dificila !!!!). Desigur aceste doua presupuneri nu sunt necesare ci sunt datorate
complicatiilor tehnice ce apar in absenta lor.
Capitolul 18: Problema de reglare H

(sub)optimala 320 Presupuneri de baza
DAP si conditia de signatura
Este usor de verificat ca functia Popov asociata cu Σ
c
este data de
Π
Σ
c
=

T

11
T
11
−I T

11
T
12
T

12
T
11
T

12
T
12

,

T
11
T
12

:=
_
_
A B
1
B
2
C
1
D
11
D
12
_
_
.
Din presupunerile de regularitate (R1) avem
Π
Σ
c
,22
= T

12
T
12
> 0 (274)
pe C
0
si este clar ca

C
T
1
D
T
12

C
1
D
12

≥ 0.
Daca luam S := T
u
2
u
1
= K(I −T
22
K)
−1
T
21
(functia de transfer in bucla inchisa de la u
1
la u
2
), atunci este clar ca S ∈ RH

+
si

I S


Π
Σ
c

I
S

= −I + (T
11
+T
12
S)

(T
11
+T
12
S).
Dar T
11
+T
12
S = T
11
+T
12
T
u
2
u
1
= T
y
1
u
1
.
Capitolul 18: Problema de reglare H

(sub)optimala 321 DAP si conditia de signatura
Deoarece regulatorul este contractiv, avem −I +T

y
1
u
1
T
y
1
u
1
< 0 pe C
0
, si rezulta ca

I S


Π
Σ
c

I
S

< 0 (275)
pe C
0
. De aici automat avem ca ARE(Σ
c
) - sau KPYS(Σ
c
) - are o solutie stabilizanta.
Reciproca este deasemenea valabila si da clasa solutiilor problemei H

atunci cand stim clasa
solutiilor inegalitatii de signatura.
Capitolul 18: Problema de reglare H

(sub)optimala 322 DAP si conditia de signatura
Solutia
Rezultatul central contine doua aspecte. Pe de-o parte sunt conditiile de existenta ale solutiei,
care sunt in forma necesara si suficienta si care se pot verifica usor dpdv numeric. Pe de-alta
parte este formula explicita ce genereaza clasa tutoror regulatoarelor (atunci cand exista). Conditiile
de existenta si clasa regulatoarelor sunt exprimate in termenii solutiei stabilizante a sistemului
Kalman–Popov–Yakubovich (sau, echivalent, a ARE).
Teorema 182. Presupunem ca T satisface ipotezele (H2)-(H4). Asociem cu T tripletele Popov :
Σ
c
= (A,

B
1
B
2

; Q
c
, L
c
, R
c
); Σ
o
= (A
T
,

C
T
1
C
T
2

; Q
o
, L
o
, R
o
),
unde
Q
c
= C
T
1
C
1
; L
c
= C
T
1

D
11
D
12

; R
c
=

D
T
11
D
T
12

D
11
D
12

I
m
1
O
O O

Q
o
= B
1
B
T
1
; L
o
= B
1

D
T
11
D
T
21

; R
o
=

D
11
D
21

D
T
11
D
T
21

I
p
1
O
O O

.
Fie
J
c
=

−I
m
1
O
O I
m
2

, J
o
=

−I
p
1
O
O I
p
2

.
Capitolul 18: Problema de reglare H

(sub)optimala 323 Solutia
Atunci avem :
(I) Problema H

suboptimala are solutie daca si numai daca urmatoarele conditii sunt
indeplinite:
(C1) Sistemul Kalman–Popov–Yakubovich KPYS(Σ
c
, J
c
) are o solutie stabilizanta
(X, V
c
, W
c
) = (X,

V
c11
O
V
c21
V
c22

,

W
c1
W
c2

), cu X ≥ 0.
(C2) Sistemul Kalman–Popov–Yakubovich KPYS(Σ
o
, J
o
) are o solutie stabilizanta
(Y, V
o
, W
o
) = (Y,

V
o11
O
V
o21
V
o22

,

W
o1
W
o2

), cu Y ≥ 0.
(C3) ρ(XY ) < 1.
(II) Presupunem (C1). Fie J
·
=

−I
m
2
O
O I
p
2

, si fie:
Σ
·
= (A
T
+F
T
1
B
T
1
,

−F
T
2
V
T
c22
C
T
2
+F
T
1
D
T
21

; Q
·
, L
·
, R
·
),
Capitolul 18: Problema de reglare H

(sub)optimala 324 Solutia
unde

F
1
F
2

este reactia stabilizanta a KPYS(Σ
c
, J
c
) si Q
·
:= B
1
(V
T
c11
V
c11
)
−1
B
T
1
;
L
·
:= B
1
(V
T
c11
V
c11
)
−1

V
T
c21
D
T
21

; R
·
:=

V
c21
D
21

(V
T
c11
V
c11
)
−1

V
T
c21
D
T
21

I
m
2
O
O O

.
Problema H

are solutie daca si numai daca (C1) este adevarata si urmatoarea conditie (C4) este
adevarata :
(C4) Sistemul KPYS(Σ
·
, J
·
) are o solutie stabilizanta (Z, V
·
, W
·
) =
(Z,

V
·11
O
V
·21
V
·22

,

W
·1
W
·2

), cu Z ≥ 0.
Mai mult, avem relatia intre solutiile KPYS:
Z := Y (I −XY )
−1
. (276)
(III) Presupunem ca (C1) si (C4) sunt adevarate (sau, echivalent, (C1)-(C3)). Atunci clasa
tuturor solutiilor problemei H

suboptimale este K = LFT(K
g
, Q), unde Q ∈ RH

+,m
2
·p
2
Capitolul 18: Problema de reglare H

(sub)optimala 325 Solutia
este un parametru arbitrar cu jQj

< 1 si
K
g
=
_
_
A
g
B
g1
B
g2
C
g1
D
g11
D
g12
C
g2
D
g21
D
g22
_
_
=

K
g11
K
g12
K
g21
K
g22

, (277)
are coeficientii scrisi in termenii sistemului original si ale solutiilor ARE.
Capitolul 18: Problema de reglare H

(sub)optimala 326 Solutia
Schita demonstratiei
• Necesitatea lui (C1) – se foloseste direct conditia de signatura
• Necesitatea lui (C2) – prin dualitate
• Daca (C1) are loc atunci (C4) este necesara pentru existenta solutiei H

– din nou din conditia
de signatura.
• Daca (C1) are loc atunci (C4) este echivalenta cu (C2) impreuna cu (C3) – se foloseste o
transformare de echivalenta pe fascicole matriciale – acest fapt demonstreaza si necesitatea lui
(C3) si celelalte afirmatii cu exceptia clasei regulatoarelor
• Pentru clasa regulatoarelor consideram intai o problema mai simpla de tip 2 bloc – solutia ei se
poate scrie direct pe baza solutiilor inegalitatii de signatura
• In final, in cazul general se foloseste ARE(Σ
c
, J
c
) pentru a reduce problema la una mai simpla
care este la randul ei o problema de tip 2 bloc duala.
Capitolul 18: Problema de reglare H

(sub)optimala 327 Schita demonstratiei
Capitolul 19: Stabilizare Robusta
In acest capitol aratam ca problema stabilizarii robuste pentru diverse tipuri de incertitudini
(aditive, multiplicative, pe factori coprimi) este echivalenta cu o problema de tip H

optimala
formulata pentru un sistem generalizat particular a carei solutie se poate obtine pe baza rezultatelor
din capitolul precedent.
Fie sistemul p·m dat de G, y = Gu, si fie (
¯
N,
¯
M) o factorizare corpima peste RH

+
astfel
incat G =
¯
M
−1
¯
N. Definim un regulator stabilizant pentru G ca fiind un sistem K pentru care
sistemul in bucla inchisa format din G si K este intern stabil.
Pentru δ > 0 introducem clasele de sisteme
1
a
δ
:= ¦G
a

: G
a

= G+∆, ∆ ∈ RH

+,p·m
si j∆j

< δ], (278)
1
m
δ
:= ¦G
m

: G
m

= (I +∆)G, ∆ ∈ RH

+,p·p
si j∆j

< δ], (279)
1
cf
δ
:= ¦G
cf

: G
cf

= (
¯
M+∆
M
)
−1
(
¯
N+∆
N
),
∆ =


N
−∆
M

∈ RH

+,p·(p+m)
si j∆j

< δ]. (280)
Fiecare clasa 1
a
δ
, 1
m
δ
si 1
cf
δ
reprezinta o clasa de sisteme perturbate obtinute din G prin
Capitolul 19: Stabilizare Robusta 328
considerarea unor incertitudini aditive, multiplicative sau pe factori coprimi. Notam cu 1
δ
oricare
dintre aceste trei clase, si prin G

un element generic a lui 1
δ
.
Cel mai mare δ = δ
max
pentru care exista un singur regulator stabilizator pentru toate sistemele
1
δ
max
se numeste marginea maxima de stabilitate pentru clasa respectiva de incertitudini.
Problema de Stabilizare Robusta (suboptimala): Dandu-se un sistem nominal G, o margine δ
si clasa sistemelor 1
δ
, unde δ < δ
max
, gasiti un regulator (sau toata clasa) K, u = Ky, care
stabilizeaza toate sistemele G

∈ 1
δ
.
K
G

-

Regulatorul K se numeste robust. Problema de stabilizare robusta optimala consta in
constructia unui regulator K (sau toata clasa) pentru toate sistemele in 1
δ
max
.
Aratam in continuare cum o problema de stabilizare robusta se poate converti intr-o problema
echivalenta de tip H

de tipul celor studiate in capitolul precedent.
Capitolul 19: Stabilizare Robusta 329
Fiecare clasa de sisteme incerte 1
δ
se poate reprezenta ca o transformare liniar fractionara
superioara (ULFT) a unui sistem generalizat si a unui sistem perturbator ∆:
T
a
:=

T
a
11
T
a
12
T
a
21
T
a
22

=

O I
m
I
p
G

, (281)
T
m
:=

T
m
11
T
m
12
T
m
21
T
m
22

=

O G
I
p
G

, (282)
T
cf
=
_
T
cf
11
T
cf
12
T
cf
21
T
cf
22
_
=
_
_
_
_
O I
m
¯
M
−1
G
¯
M
−1
G
_
_
_
_
. (283)
Un calcul de rutina arata ca
ULFT(T
a
, ∆) = G+∆ = G
a

, (284)
ULFT(T
m
, ∆) = (I +∆)G = G
m

, (285)
ULFT(T
cf
, ∆) = (
¯
M+∆
M
)
−1
(N+∆
N
) = G
cf

, ∆ =


N
−∆
M

. (286)
Acesta ne arata ca in oricare caz clasa sistemelor incerte se poate reprezenta sub forma unei
ULFT(T, ∆) asa cum este descris in figurile :
Capitolul 19: Stabilizare Robusta 330
T

-

- -
T

K
-

-
T
y
1
u
1
:= LLFT(T, K)
Deci obtinem configuratiile echivalente de mai sus in care atat T
y
1
u
1
cat si ∆ sunt stabile si
T
y
1
u
1
= LLFT(T, K).
Capitolul 19: Stabilizare Robusta 331
Intorcandu-ne la problema originala de convertire a problemei de stabilizare robusta intr-una de
tip H

obtinem urmatorul rezultat.
Teorema 183. Un regulator K este o solutie a problemei de stabilizare robusta in raport cu orice
clasa de sisteme 1
δ
, δ ≤ δ
max
, daca si numai daca K este o solutie a problemei H

suboptimale
cu γ =
1
δ
pentru T.
Prin urmare putem obtine o expresie a marginii de stabilitate si o solutie pentru problema stabilizarii
robuste evaluand intai γ
min
=
1
δ
max
si construind ulterior regulatorul optimal pentru problema H

optimala corespunzatoare datelor respective.
Observatie: Problema optimala se poate rezolva in acest caz pornind de la una suboptimala si
facand o analiza de perturbatii singulare.
Capitolul 19: Stabilizare Robusta 332
Asta a fost TOT !!! Succes la Examen !!!
Capitolul 19: Stabilizare Robusta 333

Capitolul 1: INTRODUCERE

Optimizare Tipuri de Probleme Dimensiunea Problemelor Algoritmi Iterativi si Convergenta

CAPITOLUL 1: Introducere

1

Introducere

1. Optimizare

• Principiu fundamental al unei multitudini de probleme complexe de alocare si decizie; • Implica selectia de valori pentru o multime de variabile inter–relationate prin focalizarea atentiei asupra unei singur obiectiv proiectat (ales special) pentru a cuantifica performanta si a masura calitatea deciziei;
Obiectivul:

• Este de obicei o functie sau functionala; • Este maximizat sau minimizat cu posibile constrangeri care limiteaza alegerea valorilor pentru variabile; • Izoleaza si caracterizeaza un aspect relevant al unei probleme in timp ce teoria optimizarii furnizeaza un cadru adecvat pentru analiza; • Poate fi : – Profitul sau pierderea intr-un mediu de afaceri; – Viteza sau distanta intr–o problema de fizica; – Veniturile probabile intr-un mediu de investitii supuse riscului;
CAPITOLUL 1: Introducere 2 Optimizare

– Bunastare sociala in contextul planificarii guvernamentale; Atentie !

• Este foarte rar posibil sa reprezentam toate complexitatile interactiunilor dintre variabile, constrangeri si obiective; • Formularea unei probleme de optimizare trebuie sa fie privita doar ca o aproximatie; • Intocmai ca si in alte domenii ale ingineriei abilitatile in modelare si o judecata corecta in interpretarea rezultatelor sunt absolut necesare pentru a obtine concluzii relevante; • Experienta practica si intelegerea profunda a teoriei sunt cheia succesului; • Trebuie stapanit compromisul in construirea unui model matematic care descrie exact complexitatea problemei (suficient de complex) si care este fezabil din punct de vedere numeric (nu prea complex)
Accentul cursului: Stapanirea acestui compromis si obtinerea de abilitati pentru a putea construi modele in mod expert ceea ce inseamna:

• Identificarea si surprinderea aspectelor importante ale unei probleme; • Abilitatea de a distinge modelele fezabile de cele nefezabile prin studierea tehnicilor existente si a teoriei asociate; • Extinderea teoriei disponibile in cazul unor noi situatii;
CAPITOLUL 1: Introducere 3 Optimizare

2. Tipuri de Probleme

Vom considera in principal urmatoarele subiecte:

• Programare Liniara • Probleme Neconstranse • Probleme Constranse (cu constrangeri algebrice) • Subiecte avansate in domeniul Controlului Automat al Sistemelor: (Control Optimal; Optimizare H-2 si H-infinit, optimizare Nehari si Aproximanti, Inegalitati Matriceale, Jocuri Diferentiale)
Programare Liniara:

• Functiile obiectiv sunt combinatii liniare de necunoscute; • Constrangerile sunt egalitati sau inegalitati matriciale in necunoscute; • Aceste metode sunt relativ populare datorita fazei de modelare si nu atat datorita teoriei relativ simple; • Se poate testa chiar si pentru probleme neliniare facandu–se in prealabil o liniarizare;
CAPITOLUL 1: Introducere 4 Tipuri de Probleme

Exemplu: Problema cu o constrangere de buget. Avem o suma de bani fixa pe care trebuie sa o impartim intre doua cheltuieli de tipul

x1 + x2 ≤ B. xi: suma alocata activitatii i; B : bugetul total. Sa presupunem ca functia obiectiv este greutatea maxima. Atunci avem maximizeaza w1x1 + w2x2 unde x1 + x2 ≤ B, x1 ≥ 0, x2 ≥ 0,
unde wi este greutatea unitara (pe unitatea de pret) i. elementara) de programare liniara. Aceasta este o problema tipica (si

Problemele de programare liniara apar adesea in economie si finante si mai rar in inginerie. De aceea ne vom concentra in special asupra problemelor de programare neliniara. Probleme fara Constrangeri:

• Au o importanta atat teoretica cat si practica; • Din punct de vedere practic o problema constransa poate fi intotdeauna transformata printr-o simpla reformulare intr-o problema neconstransa (In problema noastra cu bugetul constrangerea
CAPITOLUL 1: Introducere 5 Tipuri de Probleme

CAPITOLUL 1: Introducere 6 Tipuri de Probleme . i = 1. . Probleme cu Constrangeri: • In practica este mai uzual si mai simplu sa formulam direct o problema cu constrangerile ei naturale (de exemplu o problema complexa este reformulata sub forma catorva subprobleme cu anumite constrangeri inerente). hi si gj sunt functii de x cu valori si S este o submultime a lui Rn. gj (x) ≤ 0. • In majoritatea cazurilor problemele fara constrangeri sunt piatra de temelie pentru a intelege problemele mai sofisticate cu constrangeri. m. • Din punct de vedere teoretic problemele cu constrangeri pot fi in multe cazuri transformate in probleme fara constrangeri (de exemplu o egalitate de forma x1 + x2 = B ). . 2. gj si S sunt constrangerile. 2. . • Formularea matematica generala: cu minimizeaza f (x) hi(x) = 0. . f . . f este functia obiectiv si hi.nu este foarte relevanta intrucat intotdeauna putem imprumuta bani la un anumit cost (rata a dobanzii)). x∈S unde x este un vector n–dimensional de necunoscute. . r. . j = 1. .

Nota: In mod uzual vom introduce anumite ipoteze suplimentare. • S este in mod uzual o submultime conexa pentru a asigura ca mici variatii ale lui x raman in submultime. CAPITOLUL 1: Introducere 7 Tipuri de Probleme . conducand la asa numita programare in variabile continue: • f (si hi. gj ) sunt de obicei presupuse continue si uneori chiar cu derivate continue de un anumit ordin (mici variatii in x conduc la mici variatii ale diverselor valori asociate cu problema). in principal pentru a face problemele netede intr-un anumit sens.

Aceasta clasificare nu este desigur rigida dar reflecta abordarile de calcul oarecum diferite pentru aceste clase de probleme. De aceea trebuie sa dezvoltam instrumente numerice eficiente pentru cautarea punctelor de optim in loc sa rezolvam direct respectivele ecuatii. In zilele noastre. Teoria matematica clasica – incluzand mutiplicatori Lagrange.3. tehnicile de cautare pot fi aplicate pentru rezolvarea unor probleme de programare neliniara de 500 variabile si probleme CAPITOLUL 1: Introducere 8 Dimensiunea Problemelor . • Dimensiune medie (avand intre 5 si 100 variabile). • Dimensiune mare (avand mai mult de 100 poate 1000 sau mai multe variabile). Dimensiunea Problemelor O masura a complexitatii unei probleme de programare este dimensiunea masurata in termenii numarului de variabile necunoscute si/sau numarul de constrangeri. Avand in vedere performanta calculatoarelor moderne distingem urmatoarele clase de probleme: • Dimensiune mica (avand pana la 5 variabile si/sau constrangeri). teoreme de tip Kuhn–Tucker si extensiile lor – se aplica problemelor indiferent de dimensiunea lor. Totusi teoria nu este potrivita atunci cand abordam o problema dpdv algoritmic intrucat nu tine seama de dificultatile asociate cu rezolvarea cu un calculator a ecuatiilor rezultand din conditiile necesare de ordinul 1.

Probleme cu mai multe variabile si/sau constrangeri trebuie rezolvate cu proceduri speciale care exploateaza structura speciala a acestora.de programare liniara de 400 variabile si 1000 constrangeri (definim astfel de probleme ca fiind de dimensiune medie). CAPITOLUL 1: Introducere 9 Dimensiunea Problemelor .

• Viteza sau rata convergentei – se refera la cat de repede se apropie de solutie sirul de puncte (convergenta locala) CAPITOLUL 1: Introducere 10 Algoritmi Iterativi si Convergenta . . Algoritmul genereaza un vector mai bun x1 ∈ S . x1. . • Procesul este terminat imediat ce se ajunge la x∗ sau cand este gasit un punct suficient de apropiat (din motive practice).4. . • Verificarea ca respectivul algoritm genereaza un sir care converge la punctul solutie (convergenta globala). . . . x3. . Algoritmi Iterativi si Convergenta Cei mai multi algoritmi dezvoltati pentru a rezolva probleme de optimizare sunt iterativi: • • • • Se selecteaza un vector intitial x0 in multimea S . Algoritmul este repetat si pe baza lui x0 si/sau x1 este selectat un vector si mai bun x2 ∈ S . x2. care tinde catre punctul solutie x∗. xk . Teoria algoritmilor iterativi se impartite in trei aspecte ce se suprapun intr-o oarecare masura: • Dezvoltarea algoritmului propriu–zis (bazata pe problema de programare particulara. structura sa inerenta si eficienta (performanta) calculatoarelor numerice). Se gaseste un sir de puncte din ce in ce mai bune x0.

teoria convergentei este simpla si puternica. in multe cazuri exista o rata canonica de convergenta asociata cu o problema de programare care guverneaza diversii algoritmi aplicati acelei probleme. Teoria ratei de convergenta are anumite proprietati atractive: • Este simpla pentru multi algoritmi sofisticati. acest lucru se datoreaza convergentei intr–un numar finit de pasi. • O clasa larga de algoritmi relativ diferiti au acceasi rata de convergenta. CAPITOLUL 1: Introducere 11 Algoritmi Iterativi si Convergenta . Sunt disponibile anumite estimari euristice si o vasta experienta practica . Mai precis. • Programare neliniara : Proprietatile de convergenta ale unui numar mare de algoritmi au fost deduse analitic prin metode relativ elementare si au fost verificate prin numeroase exemple numerice.”O teorie buna inlocuieste cu succes 1000 rulari pe computer” Rezultate disponibile: • Programare liniara: nu exista inca o teorie folositoare privind convergenta metodei simplex (probabil cea mai veche si importanta metoda de programare liniara). • Per global.

Capitolul 2: PROPRIETATI DE BAZA ALE SOLUTIILOR SI ALGORITMILOR In principal consideram urmatoarea problema: minimizeaza f (x) cu x ∈ Ω unde f este o functie cu valori reale si (multimea fezabila) Ω ⊂ Rn. 3. 6. Cuprins 1. 2. Conditii Necesare de Ordinul 1 Exemple de Probleme fara Constrangeri Conditii de Ordinul 2 Functii Convexe si Concave Minimizare si Maximizare de Functii Convexe Convergenta Globala a Algoritmilor de Descrestere Viteza de Convergenta 12 (1) CAPITOLUL 2: Proprietati de Baza . 4. Ipoteza de baza: Ω coincide cu Rn sau este o submultime simpla a lui Rn. 5. 7.

CAPITOLUL 2: Proprietati de Baza 13 Conditii Necesare de Ordinul Intai . Daca f (x) > f (x∗) oricare x ∈ Ω. atunci x∗ este punct de minim relativ in sens strict al lui f peste Ω.puncte de minim global Definitia 1.1. Principalul scop: Caracterizarea punctelor solutie si obtinerea unor algoritmi care sa le gaseasca. Conditii Necesare de Ordinul Intai Prima problema: Exista vreo solutie ? Principalul instrument teoretic: Teorema lui Weierstrass. f (x) ≥ f (x∗) oricare x ∈ Ω aflat la o distanta de x∗ mai mica ca .puncte de minim local . Deosebim doua tipuri de puncte solutie: . x = x∗. Daca f (x) > f (x∗) oricare x ∈ Ω. Un punct x∗ ∈ Ω este punct de minim global al lui f peste Ω daca f (x) ≥ f (x∗) oricare x ∈ Ω. x = x∗ atunci x∗ este un punct de minim global in sens strict al lui f peste Ω.i. Un punct x∗ ∈ Ω este un punct de minim relativ (sau punct de minim local) a lui f peste Ω daca exista > 0 a. intr-o vecinatate a lui x∗. Definitia 2.

0 ≤ α ≤ α. atunci pentru orice d ∈ Rn care este o directie fezabila in x∗. [Conditii necesare de ordinul 1] Fie Ω o submultime in Rn si fie f ∈ C 1 o functie definita pe Ω. Propozitia 4. incepem prin a studia variatiile de-alungul unor directii fezabile in jurul lui x∗. • De regula. Dandu-se x ∈ Ω vectorul d este o directie fezabila in x daca exista un α > 0 astfel incat x + αd ∈ Ω oricare α. CAPITOLUL 2: Proprietati de Baza 14 Conditii Necesare de Ordinul Intai ∗ . • Realitatea numerica cat si cea teoretica dicteaza ca trebuie sa ne multumim cu puncte de minim relativ.Atentie ! • Cand abordam o problema presupunem implicit ca ne intereseaza minimele globale. Daca x∗ este un punct de minim relativ al lui f peste Ω. caz in care functia devine de o singura variabila. Pentru a obtine conditiile ce trebuie satisfacute intr-un punct de minim. avem f (x )d ≥ 0. Definitia 3. conditiile si solutiile globale pot fi obtinute doar daca functia poseda anumite proprietati de convexitate ce garanteaza ca orice minim relativ este global.

Daca x∗ este un punct de minim relativ a lui f pe Ω si daca x∗ este punct interior pentru Ω. x2) = x1 − x1x2 + x2 − 3x2 peste R2. atunci ∗ f (x )d = 0. • Ecuatiile care rezulta sunt in general neliniare si foarte complicat de rezolvat. Exemplul 6. Nota: • In cazul neconstrans obtinem n ecuatii cu n necunoscute care pot fi rezolvate explicit in multe situatii (ca de exemplu cand functia obiectiv este patratica ). Punct de minim global la x1 = 1. Consideram problema minimizeaza f (x1.Un caz particular important este cand x∗ este in interiorul lui Ω (ca de exemplu cand Ω este multime deschisa ) si fiecare directie din x∗ este fezabila !!!! Corolarul 5. [Cazul neconstrans] Fie Ω o submultime a lui Rn si fie f ∈ C 1 o functie definita pe Ω. • Abordarea noastra este nu inspre rezolvarea ecuatiilor ci inspre gasirea unui sir iterativ care converge catre x∗. x2 = 2. CAPITOLUL 2: Proprietati de Baza 15 Conditii Necesare de Ordinul Intai 2 2 .

x2) = x2 − x1 + x2 + x1x2. CAPITOLUL 2: Proprietati de Baza 16 Conditii Necesare de Ordinul Intai .5. avem f (x∗)d ≥ 0 pentru orice directie fezabila in x∗. minimizeaza f (x1.Exemplul 7. x2 = 0 in care derivatele partiale nu se anuleaza. x2 ≥ 0. Punct de minim global x1 = 0. 1 cand x1 ≥ 0. Cu toate acestea deoarece orice directie fezabila trebuie sa satisfaca x2 ≥ 0.

xn. Pretul unitar al produsului este q si preturile unitare ale intrarilor sunt p1. x2. [Aproximare] Optimizarea se foloseste curent in teoria aproximarii – de exemplu vezi Identificarea Sistemelor. x2.2. x2. x1. Sa presupunem ca valorile functiei g sunt determinate experimental in m puncte. xn) care da cantitatea de produse realizate ca functie de intrarile x1. x2. n. xn) = pi. p2. · · · . pn. Exemplul 9. Producatorul dorind sa maximizeze profitul trebuie sa rezolve problema maximizeaza qf (x1. · · · . · · · . Dorim sa aproximam functia g CAPITOLUL 2: Proprietati de Baza 17 2. · · · . · · · . 2. obtinand cele n ecuatii q ∂f (x1. xn) − p1x1 − p2x2 − · · · − pnxn. ∂xi i = 1. x2. g2. gm. · · · . xm ca avand valorile g1. [Productie] O problema uzuala in economie este determinarea celui mai bun mod de a combina diverse intrari pentru a produce un oarecare produs. Exemple de Probleme fara Constrangeri . · · · . Exemple de Probleme fara Constrangeri Exemplul 8. Se stie functia f (x1. · · · . Conditiile necesare de ordinul intai spun ca derivatele partiale in raport cu xi trebuie sa se anuleze.

n m .printr-un polinom + · · · + a0 . n. i. Conditiile necesare de ordinul intai cer ca gradientul lui f sa se anuleze ceea ce conduce la sistemul de n + 1 ecuatii Qa = b ce se rezolva si rezulta a. m b2 j ··· bn+1 m . j = 1. minimizeaza m 2 k k=1 m n n n−1 = k=1 [gk − j=0 aixk ] = f (a) a1 T i 2 in raport cu coeficientii necunoscuti aT = a0 Dupa prelucrarea algebrica a expresiei rezulta ca T ··· an (functie obiectiv patratica). c= k=1 gk .e.b= b1 . h(x) = anx + an−1x unde n < m. f (a) = a Qa − 2b a + c. i+j bj = k=1 gk x k . Definim cea mai buna aproximare ca fiind polinomul ce face ca suma patratelor erorilor k := gk − h(xk ) sa fie cat mai mica. iar 2 qij = k=1 xk . Exemple de Probleme fara Constrangeri . in care Q = [qij ] i = 1. CAPITOLUL 2: Proprietati de Baza 18 2.

Propozitia 11. Daca x∗ este un punct de minim relativ pentru f peste Ω. Conditii de Ordinul Doi Prin folosirea derivatelor de ordinul 2 se pot obtine conditii suplimentare ce trebuie indeplinite de catre un punct de minim. dT 2f (x∗)d ≥ 0. CAPITOLUL 2: Proprietati de Baza 19 Conditii de Ordinul Doi . Conditiile de ordinul 2 sunt definite in termenii matricii Hessiene 2f a derivatelor partiale de ordinul 2 ale lui f si ele joaca un rol cheie.3. ii) ∀d. [Conditii de ordinul 2] Fie Ω o submultime a lui Rn si fie f ∈ C 2 o functie definita pe Ω. atunci dT 2 f (x∗)d ≥ 0. Daca x∗ este un punct de minim relativ pentru f peste Ω si daca x∗ este un punct interior a lui Ω. Un caz particular important este atunci cand x∗ este in interiorul lui Ω (ca in cazul complet neconstrans). ii) Daca f (x∗)d ≥ 0. atunci pentru orice d ∈ Rn care este o directie fezabila in x∗ avem i) f (x∗)d ≥ 0. atunci i) f (x∗) = 0. [Conditii necesare de ordinul 2 – cazul neconstrans ] Fie Ω submultime a lui Rn si fie f ∈ C 2 o functie pe Ω. Propozitia 10.

x2 = 0 in care derivatele partiale nu se anuleaza. x2) = x2 − x1 + x2 + x1x2. Pentru d = (d1. ∗ 2 20 Conditii de Ordinul Doi . 2 f (x). In acest caz avem d astfel incat (ii) este satisfacuta. 2 ∗ Deci conditia (ii) din Propozitia 10 se aplica numai daca d2 = 0. d2) avem 3 f (x )d = d2. 1 cand x1 ≥ 0.Notatie: Pentru simplitate notam matricea Hessiana n × n a lui f alternativ cu F (x) := Exemplul 12.5. x2 ≥ 0. Minimul global este x1 = 0. CAPITOLUL 2: Proprietati de Baza T 2 f (x )d = 2d1 ≥ 0. minimizeaza f (x1.

1 1 2 cand x1 ≥ 0. functia obiectiv atinge un minim relativ in raport cu x2 in x2 = 9. functia obiectiv atinge un minim relativ in raport cu x1 la x1 = 6. x2 > 0. Sa observam ca pentru x1 fixat in x1 = 6.Exemplul 13. Daca presupunem ca solutia este in interiorul multimii fezabile. Reciproc. atunci conditiile necesare de ordinul 1 sunt 3x1 − 2x1x2 = 0. In ciuda acestui fapt. dar exista deasemenea o solutie x1 = 6. x2 = 9 nu este un minim relativ pentru ca Hessianul este F = 6x1 − 2x2 −2x1 −2x1 4 ce nu este pozitiv semidefinit. 2 Acestea au o solutie x1 = x2 = 0 care este un punct pe frontiera. 2 −x1 + 4x2 = 0. x2 ≥ 0. x2 = 9 este F = CAPITOLUL 2: Proprietati de Baza 21 Conditii de Ordinul Doi . Prin 18 −12 −12 4 urmare solutia propusa nu este un punct de minim relativ. cu x2 fixat la x2 = 9. adica daca x1 > 0. x2 = 9. x2) = x3 − x2x2 + 2x2. care evaluat in x1 = 6. Consideram problema minimizeaza f (x1. punctul x1 = 6.

Conditii Suficiente pentru un Minim Relativ Intarind conditiile de ordinul 2 din Propozitia 11 obtinem un set de conditii ce implica ca x∗ este un minim relativ. ii) F (x) > 0. Propozitia 14. [Conditii necesare de ordinul 2 – cazul neconstrans] Fie f ∈ C 2 o functie definita intr-o regiune in care x∗ este interior. CAPITOLUL 2: Proprietati de Baza 22 Conditii de Ordinul 2 . Atunci x∗ este un punct de minim local strict al lui f . Presupunem in plus ca i) f (x∗) = 0. Consideram in continuare numai probleme neconstranse (sau in care minimul este in interiorul regiunii fezabile ) deoarece cazul mai general este extrem de tehnic si are o importanta teoretica si practica marginala.

O functie g definita pe o multime convexa Ω se numeste concava daca functia f = −g este convexa. si x1 = x2. x2 ∈ Ω si orice α. CAPITOLUL 2: Proprietati de Baza 23 Functii Convexe si Concave . Definitia 15. Functii Convexe si Concave Pentru a obtine o teorie care este capabila sa caracterizeze puncte de minim global si nu numai local introducem anumite presupuneri de tip convexitate care fac rezultatele mai puternice dar in acelasi timp restrang aria de aplicatii.4. 0 ≤ α ≤ 1. Daca pentru orice α. are loc f (αx1 + (1 − α)x2)) ≤ αf (x1) + (1 − α)f (x2). 0 < α < 1. are loc f (αx1 + (1 − α)x2)) < αf (x1) + (1 − α)f (x2) f se numeste strict convexa. Definitia 16. O functie f definita intr–o multime convexa Ω este numita convexa daca pentru orice x1. Functia g este strict concava daca −g este strict convexa.

Multimea Γc = {x : x ∈ Ω. a2 ≥ 0.. . Fie f1 si f2 functii convexe definite pe multimea convexa Ω. defineste o multime convexa. CAPITOLUL 2: Proprietati de Baza 24 Functii Convexe si Concave .. unde fi sunt convexe.Combinatii de Functii Convexe Propozitia 17. fm(x) ≤ cm. Nota: • O combinatie liniara de functii convexe este o functie convexa. f2(x) ≤ c2. oricare a1 ≥ 0. Fie f o functie convexa definita pe o multime convexa Ω. multimea punctelor ce satisfac simultan f1(x) ≤ c1.. • Deoarece intersectia unor multimi convexe este iar convexa. f (x) ≤ c} este convexa oricare c ∈ R. Atunci functia a1f1 + a2f2 este convexa pe Ω. Propozitia 18.

Propozitia 19. Fie f ∈ C 2. Fie f ∈ C 1. Putem deasemenea introduce notiuni precum convexitate locala si convexitate locala stricta. ∀x. Atunci f este convexa pe multimea convexa Ω ce contine un punct interior daca si numai daca matricea Hessiana F a lui f este pozitiv semi–definita pe Ω. Functiile convexe au curbura pozitiva in orice directie. Definitia originala afirma ca o interpolare liniara intre doua puncte supraevalueaza in timp ce propozitia de mai sus afirma ca o combinatie liniara bazata pe derivata locala subevalueaza functia. Nota: • • • • Hessianul este o extensie la Rn a notiunii de curbura a unei functii. (2) Nota: Proprietatea (2) poate fi folosita ca o definitie alternativa a convexitatii. Atunci f este convexa pe multimea convexa Ω daca si numai daca f (y) ≥ f (x) + f (x)(y − x). 25 Functii Convexe si Concave CAPITOLUL 2: Proprietati de Baza . Propozitia 20. Teoriile globala si locala sunt strans relationate. y ∈ Ω.Proprietatile Functiilor Diferentiabile Convexe Pentru functii diferentiabile f exista anumite rezultate mai sofisticate ce caracterizeaza convexitatea.

Fie f o functie convexa definita pe multimea marginita. Atunci multimea Γ pe care f is atinge minimumul este convexa. inchisa si convexa Ω. f (x )(y − x ) ≥ 0 atunci x∗ este minim global pentru f pe Ω. Nota: Exista o dualitate intre minimizarea functiilor convexe si maximizarea functiilor concave ! CAPITOLUL 2: Proprietati de Baza 26 Minimizari si Maximizari de Functii Convexe . “Toate punctele de minim sunt plasate impreuna intr-o multime convexa si toate minimele relative sunt si globale” Teorema 22.i. Daca f are un maximum pe Ω atunci acesta este atins intr–un punct de extrem al lui Ω.5. ∗ ∗ ∀y ∈ Ω. Daca exista un punct x∗ ∈ Ω a. Fie f o functie convexa definita pe o multime convexa Ω. Minimizari si Maximizari de Functii Convexe Teorema 21. si orice minim relativ a lui f este si minim global. Fie f ∈ C 1 o functie convexa definita pe o multime convexa Ω. “Pentru functii convexe continue si diferentiabile satisfacerea conditiilor de ordinul intai este si necesara si suficienta pentru ca un punct sa fie minim global” Teorema 23.

fiecare punct fiind calculat pe baza punctelor ce il preced. • Convergenta globala: Pentru puncte de plecare (initializari) arbitrare algoritmul genereaza un sir care converge (intr-un numar finit sau infinit de pasi) la un punct solutie. Convergenta Globala a Algoritmilor de Descrestere Exista o serie de proprietati de baza pe care orice algoritm propus trebuie sa le indeplineasca: • Iterativ: Algoritmul genereaza o serie de puncte. anumiti algoritmi cu initializari arbitrare pot sa nu convearga deloc iar altii pot converge la puncte care nu sunt solutii !!! Convergenta globala a unui algoritm poate fi tratata intr-o maniera unitara prin intermediul teoriei generale a algoritmilor dezvoltate pentru prima data de catre Zangwill (cel mai important rezultat : Teorema de Convergenta Globala). Atentie ! Cei mai importanti algoritmi ce vor fi prezentati in continuare nu sunt (!!!!) global convergenti in forma lor pura si cel mai adesea necesita anumite modificari speciale.6. • Descrestere: In fiecare nou punct generat de algoritm valoarea corespunzatoare a unei anumite functii descreste in raport cu valoarea in punctul precedent. CAPITOLUL 2: Proprietati de Baza 27 Convergenta Globala a Algoritmilor de Descrestere .

Nota: • Termenul “spatiu” trebuie intepretat intr-un sens larg (o submultime in Rn. sau un spatiu metric general). In orice caz. pentru a putea avea o mai mare flexibilitate in analiza vom generaliza acest concept. CAPITOLUL 2: Proprietati de Baza 28 Convergenta Globala a Algoritmilor de Descrestere . algoritmul A aplicat lui x genereaza un nou punct in acelasi spatiu. Definitia 24. Un algoritm A este o aplicatie definita pe un spatiu care atribuie fiecarui punct x ∈ X o submultime a lui X .Algoritmi Un algoritm poate fi privit ca o aplicatie : dandu-se un punct x intr-un spatiu X . • Dandu–se xk ∈ X . A poate fi dat explicit de o formula sau poate fi un program lung de computer. daca operam iterativ in aceeasi maniera se va genera un sir de puncte in X prin regula xk+1 := A(xk ). • Un algoritm este o aplicatie punct–multime a lui X si nu o aplicatie de tip punct–punct. algoritmul genereaza multimea A(xk ) ⊂ X din care se selecteaza un element arbitrar.

• Incepand cu x0 algoritmul genereaza siruri conform cu xk+1 ∈ A(xk ). −1. CAPITOLUL 2: Proprietati de Baza 29 Convergenta Globala a Algoritmilor de Descrestere . 8 . Exemplul 25. 100 . − 1000 . 1. −5. 1. 10000 . 2 1 1 100. Pentru a analiza anumite proprietati de convergenta nu este nevoie sa stim precis cum a fost selectat xk+1 din A(xk ) (sirul tinde oricum la zero). 2 2 Plecand din x0 = 100 putem genera diverse siruri : 100. 50. 16 . algoritmii sunt in implementari aplicatii tip punct–punct (un anumit algoritm genereaza acelasi sir pornind din acelasi punct initial x0). 25.. 12. i. . −2. Pentru x ∈ R. −2. • Incertitudinea (gradul de libertate) in aceasta descriere este gandit pentru a lua in calcul detaliile specifice ale diversilor algoritmi si nu inseamna ca algoritmii au un caracter aleator. −6. −40. 1 . 10. 1 1 1 1 100.e. 20. fie A(x) = − |x| |x| . 4 .

si definim un algoritm a. la fiecare pas | f (x)| (sau f (x)) descreste. atunci Z(y) ≤ Z(x).Descrestere Definitia 26. ii) Daca x ∈ Γ si y ∈ A(x). Fie Γ ⊂ X o multime de solutii data si fie A un algoritm pe X .i.i. la fiecare pas f descreste. si definim un algoritm a. CAPITOLUL 2: Proprietati de Baza 30 Convergenta Globala a Algoritmilor de Descrestere . servind astfel ca functie de descrestere. atunci Z(y) < Z(x). functie de descrestere si algoritm pot fi definite in moduri diferite: • Γ: multimea punctelor de minim. Pentru problema minimizeaza f (x) cand x ∈ Ω notiunea de multime de solutii. O functie continua cu valori reale Z definita pe X se numeste functie de descrestere pentru Γ si A daca satisface i) Daca x ∈ Γ si y ∈ A(x). • Γ: multimea punctelor x care satisfac f (x) = 0.

daca A este de tip punct–punct si A este continua atunci A este inchisa. • yk → y. Observatia 29. Definitia 27. Reciproca nu este in general adevarata (demonstrati aceste afirmatii !!!) CAPITOLUL 2: Proprietati de Baza 31 Convergenta Globala a Algoritmilor de Descrestere . implica xk ∈ X . Ca un caz special. Exemplul 28.Aplicatii Inchise Un concept esential pentru a stabili proprietati de convergenta globala este acela de algoritm inchis (o extensie a notiunii de continuitate de la aplicatii de tip punct–punct la aplicatii de tip punct–submultime). In particular. y ∈ A(x). A se numeste inchisa daca este inchisa in fiecare punct in X . yk ∈ A(xk ). Aratati ca aplicatia definita in Exemplul 25 este inchisa. O aplicatie de tip punct–multime A din X in Y este numita inchisa in x ∈ X daca ipotezele: • xk → x.

Teorema de Convergenta Globala Teorema de Convergenta Globala stabileste conditii tehnice generale in care convergenta globala poate fi garantata (globala = indiferent de punctul initial !!!).i. Teorema 30. b) Daca x ∈ Γ. iii) Aplicatia A este inchisa in punctele din afara lui Γ. ∀y ∈ A(x). CAPITOLUL 2: Proprietati de Baza 32 Convergenta Globala a Algoritmilor de Descrestere . si presupunem ca dandu-se x0 sirul {xk }∞ este generat prin k=0 xk+1 ∈ A(xk ). Fie o multime de solutii Γ ⊂ X si presupunem: i) Toate punctele xk sunt continute intr-o multime compacta S ⊂ X . [Teorema de Convergenta Globala] Fie A un algoritm pe X . atunci Z(y) < Z(x). a) Daca x ∈ Γ. Atunci limita oricarui subsir convergent al lui {xk } este o solutie. ii) Exista o functie continua Z pe X a. ∀y ∈ A(x). atunci Z(y) ≤ Z(x).

atunci sirul {xk } converge la x. Aratati ca Z(x) = |x| este o functie de descrestere pentru acest algoritm si aceasta multime de solutii. Γ = ∅. CAPITOLUL 2: Proprietati de Baza 33 Convergenta Globala a Algoritmilor de Descrestere . Aratati ca acest lucru se intampla deoarece A nu este inchis la x = 1. In multe privinte conditia (iii) a teoremei este cea mai importanta . si algoritmul A(x) = x + 1. − 1) + 1.e.. Consideram algoritmul de tip punct–punct A(x) = 1 2 (x 1 2 x. functia de descrestere Z(x) = e−x. Observatia 32. Aceasta nu este o violare in sens strict a teoremei (de ce ?).Corolarul 31. Sirul generat plecand din orice punct initial diverge la infinit. plecand din x > 1 algoritmul genereaza un sir care converge la x = 1 si care nu este o solutie. Daca in conditiile Teoremei de Convergenta Globala Γ consta dintr-un singur punct x. x≤1 x > 1. Problema 34. Fie pe axa reala X = R multimea solutiilor egala cu multimea vida. Aratati ca toate conditiile teoremei sunt indeplinite cu exceptia lui i). esecul multor algoritmi populari poate fi pusa pe seama nesatisfacerii acestei conditii. si multimea solutiilor Γ = {0}. i. Problema 33. Cu toate acestea.

Consideram algoritmul de tip punct–multime A definit de A(x) = [0. xk+1 = xk − 1 . Aratati ca aceasta se intampla pentru ca algoritmul A nu este inchis in afara multimii solutiilor. Fie Γ = {0}. 1 ≥ x > 0 0. CAPITOLUL 2: Proprietati de Baza 34 Convergenta Globala a Algoritmilor de Descrestere .Problema 35. Aratati ca sirul definit de x0 = 1. Functia Z(x) = x serveste drept functie de descrestere pentru ca pentru orice x = 0 toate punctele din A(x) sunt mai mici decat x. x). 2k+2 1 satisface xk+1 ∈ A(xk ) dar se poate vedea ca xk → 2 ∈ Γ. x = 0.

(3) 0 ≤ limk→∞ |rk − r ∗|p Nota: Pentru a fi siguri ca definitia se aplica oricarui sir trebuie sa facem niste precizari: • limita superioara lim se foloseste in locul limitei uzuale lim. • 0/0 care apare atunci cand rk = r ∗ este considerata prin conventie finita. Ordinul de convergenta a lui {rk } este definit ca supremumul numerelor nenegative p care satisfac |rk+1 − r ∗| < ∞. Viteza de convergenta Viteza de convergenta a unui algoritm este un subiect extrem de important dar si complex. In mod esential da informatii despre cati pasi (iteratii) avem nevoie sa executam pentru a atinge un anumit grad de precizie.7. • Rata de convergenta pentru un sir de numere reale {rk }k=∞ ce converge la r ∗. Introducem doua notiuni de baza: • Ordinul de convergenta. CAPITOLUL 2: Proprietati de Baza 35 Viteza de Convergenta . k=0 Definitia 36.

|rk+1 − r ∗| β = lim k→∞ |rk − r ∗ |p atunci avem ca asimptotic |rk+1 − r | = β|rk − r | . • Daca sirul are ordinul p si limita in (3) exista (in sens uzual).Nota: • Ordinul de convergenta este determinat doar de proprietatile “cozii” sirului (cand k → ∞). i.e. CAPITOLUL 2: Proprietati de Baza 36 Viteza de Convergenta . Multi algoritmi ce vor discutati mai departe au ordinul 1 si de aceea consideram in continuare mai in detaliu acest caz. Definitia 37. • Valori mai mari ale lui p implica convergenta mai rapida deoarece distanta pana la r ∗ este redusa (cel putin in coada) cu ordinul p intr-un singur pas !!!. Daca {rk } converge la r ∗ astfel incat ∗ ∗ p |rk+1 − r ∗| lim =β<1 k→∞ |rk − r ∗ | atunci sirul se numeste ca are convergenta liniara la r ∗ cu rata de convergenta β .

cu cat este mai mica rata cu atat este mai rapid algoritmul ! • Cazul extrem in care β = 0 este numit convergenta superliniara. deoarece Sirul rk = 1 k converge la 0. deoarece rk+1 = a. • Cand comparam doi algoritmi liniar convergenti. deoarece rk+1 = 1. Exemplul 38. 2 rk Exemplul 40. • Convergenta cu orice ordin mai mare decat 1 este superliniara dar este posibil si sa avem convergenta superliniara cu ordinul 1.Nota: • Un sir liniar convergent cu rata β are o coada care converge cel putin la fel de repede ca seria geometrica cβ k pentru o constanta c (de aceea se mai numeste convergenta geometrica). rk Exemplul 39. Sirul rk = a(2 k) unde 0 < a < 1 converge la zero cu ordinul doi. Sirul rk = ak unde 0 < a < 1 converge la 0 cu ordinul 1. rk+1 =1 k→∞ rk lim 37 Viteza de Convergenta CAPITOLUL 2: Proprietati de Baza . Convergenta este de ordinul 1 dar nu este liniara.

Prin urmare analizam convergenta sirului de vectori prin intermediul convergentei lui f (xk ) la f (x∗). O astfel de functie se numeste functie de eroare. In tehnicile de optimizare f coincide in mod uzual cu functia obiectiv. Convergenta vectorilor este definita in mod uzual in raport cu o functie particulara f care converteste sirul de vectori intr-un sir de numere. Exemplul 41. Alternativ putem considera functia ∗ 2 f (x) := |x − x | .adica β nu este strict mai mic ca 1. In orice caz. 1 Pentru sirul rk = ( k )k ordinul de convergenta este 1 pentru ca rk+1 p = ∞ k→∞ r k lim pentru p > 1. Dar rk+1 =0 k→∞ rk si prin urmare avem convergenta superliniara. CAPITOLUL 2: Proprietati de Baza 38 Viteza de Convergenta . lim Observatia 42. alegerea functiei de eroare nu are o importanta capitala.

Cautare de tip Fibonacci si Sectiunea de Aur 2.Capitolul 3: METODE FUNDAMENTALE DE CAUTARE 1. Convergenta Globala a Metodelor de Interpolare 4. Proprietati ale Algoritmilor de Cautare Unidimensionala 5. Cautare Unidimensionala prin Metode de Interpolare 3. Aplicatii ale Teoriei 8. Metoda Newton 9. Metoda Celei mai Abrupte Pante 7. Cautari Unidimensionale Aproximative 6. Metode de Cautare pe Coordonate CAPITOLUL 3: Metode Fundamentale de Cautare 39 Metode fundamentale de cautare .

f poate fi specificata pe un interval mai larg dar in acest caz trebuie specificat un subinterval fixat pentru cautare. f c1 c2 Functie unimodala CAPITOLUL 3: Metode Fundamentale de Cautare 40 Metoda Sirului lui Fibonacci/ Sectiunea de Aur .1. Metoda determina minimumul unei functii f definita pe un interval inchis [c1. c2]. Relativ elegante dar exista alte metode care sunt in majoritatea cazurilor superioare. Metoda Sirului lui Fibonacci si Metoda Sectiunii de Aur • • • • Metode foarte populare pentru cautari unidimensionale. • Ipoteze de baza: f este unimodala.

.• Nu se impun alte ipoteze !!! • Minimul trebuie sa fie determinat evaluand functia f intr-un numar fixat de puncte (se presupune ca fiecare evaluare este relativ costisitoare dpdv al numarului de operatii/timp de calcul !!! Problema: Gasiti o strategie pentru a alege succesiv N puncte astfel incat sa putem determina cel mai mic interval de incertitudine in care se gaseste minimul ! Nota: • Numarul N este fixat apriori. valorile pe care le ia functia nu sunt cunsocute ci se calculeaza in fiecare punct). • Functia f nu este cunoscuta apriori (i. CAPITOLUL 3: Metode Fundamentale de Cautare 41 Metoda Sirului lui Fibonacci/ Sectiunea de Aur .e.

Raspuns: Sirul lui Fibonacci Fie d1 := c2 − c1. unde xk este punctul in care functia ia valoarea minima dintre toate cele N puncte selectate. Daca functia este evaluata in fiecare dintre aceste puncte stim sigur ca minimumul se gaseste in intervalul [xk−1. . . Problema: Cum sa alegem N puncte astfel incat intervalul [xk−1. dk : largimea intervalului de incertitudine dupa k masuratori. xk+1].Sirul lui Fibonacci Fie N puncte ordonate c1 ≤ x1 < x2 < . < xN −1 < xN ≤ c2 si fie x0 := c1 si xN +1 := c2. Fie FN −k+1 dk := d1 (4) FN CAPITOLUL 3: Metode Fundamentale de Cautare 42 Metoda Sirului lui Fibonacci/ Sectiunea de Aur xk+1] sa fie cat se poate de mic ? . intervalul initial de incertitudine.

• Folosind aceeasi regula se selecteaza un interval de lungime FN −1 FN −2 d3 := d1 − d1 = d1 . Procedura de alegere a punctelor (se poate demonstra ca aceasta strategie este optimala !!!): • Primele doua evaluari se fac simetric la o distanta de FN −1 FN d1 de capetele intervalului initial. N=5 4 5 1/8 3 2/8 2 3/8 1 5/8 Metoda de cautare Fibonacci Observati ca ultimele doua puncte coincid intotdeauna !!! CAPITOLUL 3: Metode Fundamentale de Cautare 43 Metoda Sirului lui Fibonacci/ Sectiunea de Aur . FN FN • In general fiecare noua evaluare se face in intervalul curent de incertitudine in mod simetric cu punctul deja existent in acel interval. FN := FN −1 + FN −2. FN • Al treilea punct este dispus simetric in acest nou interval in raport cu pctele deja selectate.unde Fk sunt generate prin sirul lui Fibonacci definit de F0 = F1 = 1. F • In functie de care valore este mai mica. se alege un interval de marime d2 := N −1 d1.

618... Daca dorim cresterea ulterioara a preciziei cautarii atunci intregul proces trebuie reluat de la capat. 2 τ1 = 1.Sectiunea de Aur Principalul dezavantaj al cautarii Fibonacci este ca numarul de puncte N trebuie precizat de la inceput. 2 √ √ 1− 5 τ2 = . CAPITOLUL 3: Metode Fundamentale de Cautare 44 Metoda Sirului lui Fibonacci/ Sectiunea de Aur . Solutia recurentei FN = FN −1 + FN −2 este de forma FN = Aτ1 + Bτ2 unde τ1 si τ2 sunt radacinile ecuatiei caracteristice N N (5) τ =τ +1 adica 2 τ1 = Numarul 1+ 5 . este numit Sectiunea de Aur fiind considerat de grecii antici ca valoarea cea mai estetica a raportului intre doua laturi adiacente ale unui dreptunghi. O varianta alternativa este sa trecem N → ∞ si sa facem o cautare corespunzatoare sirului rezultat definit de celebra Sectiune de Aur.

N →∞ FN τ1 Din (4) rezulta ca intervalul de incertitudine are marimea lim dk = si ca Observati din (5) ca 1 k−1 τ1 d1 1 dk+1 = . dk τ1 Aceasta arata ca in raport cu marimea intervalului metoda sectiunii de aur converge liniar (ordinul =1) cu rata de convergenta τ1 . Atunci in raport cu acest numar finit de evaluari procesul generat de sectiunea de aur nu este optimal ! • Numarul dat de sectiunea de aur se poate obtine deasemenea punand conditia ca fiecare nou punct ales sa imparta noul interval in acelasi raport in care punctul precedent impartea intervalul x 1−x = .FN −1 1 = = 0.. 1 x CAPITOLUL 3: Metode Fundamentale de Cautare 45 Metoda Sirului lui Fibonacci/ Sectiunea de Aur ..618. 1 Remarci: • In practica functia se evalueaza tot intr-un numar finit de puncte chiar daca pentru gasirea acestora se foloseste sectiunea de aur.

2 1 x 1 Alegerea punctelor prin sectiunea de aur x 1 x = 1−x x CAPITOLUL 3: Metode Fundamentale de Cautare 46 Metoda Sirului lui Fibonacci/ Sectiunea de Aur .

2. Ideea principala este interpolarea unui numar de cateva puncte (obtinute la ultimii pasi) printr–o curba neteda pe baza careia se obtine o estimare a punctului de minim. ordinul derivatelor folosite. CAPITOLUL 3: Metode Fundamentale de Cautare 47 Cautare Unidimensionala prin Interpolare . criteriul utilizat pentru evaluarea calitatii interpolarii : • • • • Metoda lui Newton Metoda Falsei Pozitii Interpolare Cubica Interpolare Patratica Toate aceste metode au ordin de convergenta mai mare decat 1. Cautare Unidimensionala prin Interpolare Pentru functii cu un anumit grad de netezime se pot obtine algoritmi de cautare unidimensionala mai eficienti decat metoda lui Fibonacci. Exista o mare varietate de metode de interpolare depinzand de numarul de puncte de interpolare.

Ideea: Construim un interpolant de gradul 2 1 2 q(x) = f (xk ) + f (xk )(x − xk ) + f (xk )(x − xk ) 2 in punctul curent xk si gasim un nou punct xk+1 ca minim al lui q(x): q (xk+1) = 0 ⇒ xk+1 = xk − f (xk ) f (xk ) . si primele doua derivate pot fi masurate (evaluate) in fiecare punct curent din domeniul de definitie.Metoda lui Newton Ipoteze: Functia f : R → R. Nota: • Procesul de cautare nu depinde de valoarea f (xk ) • Metoda poate fi interpretata si ca o metoda de rezolvare iterativa a ecuatiilor g(x) = 0. CAPITOLUL 3: Metode Fundamentale de Cautare 48 Cautare Unidimensionala prin Interpolare . xk+1 = xk − g(xk ) g (xk ) . f ∈ C 2.

CAPITOLUL 3: Metode Fundamentale de Cautare 49 Cautare Unidimensionala prin Interpolare .

i. g(x∗) = 0. Fie g ∈ C 2. Daca x0 este suficient de aproape de x∗.Teorema 43. k=0 CAPITOLUL 3: Metode Fundamentale de Cautare 50 Cautare Unidimensionala prin Interpolare . g (x∗) = 0. sirul {xk }∞ generat de metoda lui Newton converge la x∗ cu un ordin cel putin 2. si fie x∗ a.

CAPITOLUL 3: Metode Fundamentale de Cautare 51 Cautare Unidimensionala prin Interpolare . • Metoda poate fi privita ca o aproximare a metodei lui Newton in care insa derivata a doua se inlocuieste cu o aproximare. Functia de interpolare este : q(x) = f (xk ) + f (xk )(x − xk ) + si noul punct xk+1 este obtinut din 1 f (xk−1) − f (xk ) 2 (x − xk ) 2 xk−1 − xk q (xk+1) = 0 ⇒ xk+1 = xk − f (xk ) xk−1 − xk f (xk−1) − f (xk ) . Folosind mai mult decat un singur punct putem scadea ordinul derivatelor implicate in interpolare (folosim un numar mai mic de derivate).Metoda Falsei Pozitii Metoda lui Newton se bazeaza pe informatie intr-un singur punct. xk+1 xk−1 − xk = xk − g(xk ) g(xk−1) − g(xk Nota: • Procesul de cautare nu depinde de f (xk ) si interpolantul poate fi considerat la fel de bine in raport cu xk−1 sau cu xk .

CAPITOLUL 3: Metode Fundamentale de Cautare 52 Cautare Unidimensionala prin Interpolare .

g(x∗) = 0. cu g(x) = f (x).• Metoda poate din nou fi privita ca o metoda de rezolvare iterativa a ecuatiilor g(x) = 0.618..i. Teorema 44. si fie x∗ a. CAPITOLUL 3: Metode Fundamentale de Cautare 53 Cautare Unidimensionala prin Interpolare . sirul {xk }∞ generat de metoda falsei pozitii converge la x∗ cu ordinul k=0 τ1 = 1.. (sectiunea de aur). g (x∗) = 0. Daca x0 este suficient de aproape de x∗. Fie g ∈ C 2.

u1 u2 = = f (xk−1) + f (xk ) − 3 [u2 − f (xk−1)f 1 Nota: Ordinul de convergenta al metodei de interpolare cubica este 2 in ciuda faptului ca metoda este exacta pentru functii cubice ceea ce ar fi putut sugera ca ordinul de convergenta este de 3 !!! CAPITOLUL 3: Metode Fundamentale de Cautare 54 Cautare Unidimensionala prin Interpolare . f (xk ). f (xk−1). conducand la procesul iterativ xk+1 = xk − (xk − xk−1) unde f (xk ) + u2 − u1 f (xk ) − f (xk−1) + 2u2 f (xk−1 )−f (xk ) .Interpolare Cubica Ideea: Dandu-se punctele xk−1 si xk impreuna cu valorile f (xk−1). se construieste un interpolant q(x) de gradul 3. xk−1 −xk 1 (xk )] 2 . f (xk ).

CAPITOLUL 3: Metode Fundamentale de Cautare 55 Cautare Unidimensionala prin Interpolare . Ideea: Dandu-se punctele x1. i j 1 b23f1 + b31f2 + b12f3 . cea mai mare radacina a ecuatiei λ3 − λ − 1 = 0. Se obtine x4 = unde aij = xi − xj .. impreuna cu valorile f (x1) = f1. f (x2) = f2.Interpolare patratica Aceasta metoda este cel mai adesea folosita in cautari unidimensionale avand avantajul esential ca nu necesita nici o informatie privitoare la derivate. bij = x2 − x2.. f (x3) = f3. x3.. Πj=i(xi − xj ) Noul punct x4 se determina ca punctul in care derivata lui q(x) se anuleaza. se construieste o functie de interpolare de gradul 2 q(x) care trece prin aceste puncte: 3 q(x) = i=1 fi Πj=i(x − xj ) . 2 a23f1 + a31f2 + a12f3 Ordinul de convergenta al metodei de interpolare cubica este λ = 1. x2.3.

Gasim trei puncte x1. Acest lucru se poate face in mai multe feluri (Exercitiu !). CAPITOLUL 3: Metode Fundamentale de Cautare 56 Convergenta Globala a Metodelor de Interpolare . i. sa asiguram convergenta globala !!! In continuare vom descrie mai pe larg cum putem face aceste modificari in cazul interpolarii patratice. cu x 1 < x 2 < x3 a. Ipoteze: Functia f care trebuie minimizata este strict unimodala si este de clasa C 2. Problema: Din pacate.3.i. Din fericire.i. si x3. x2. Procedura: Pasul 1.e. Mai departe trebuie insa sa ne asiguram ca acesti algoritmi converg cu adevarat indiferent de intializare.. f (x1) ≥ f (x2) ≤ f (x3). trebuie sa fim convinsi ca ei au convergenta globala. putem insa modifica acesti algoritmi intr-un mod simplu a. algoritmii de cautare unidimensionala in forma lor pura nu au convergenta globala !!!. x3]. Convergenta Globala a Metodelor de Interpolare Pana in prezent am studiat convergenta algoritmilor de cautare unidimensionala in jurul punctului solutie. Explicatia consta in aceea ca un interpolant patratic care trece prin aceste puncte va avea un minim (si nu un maxim) si acest minim se gaseste in intervalul [x1.

si f (x4) este evaluata (masurata). • Cazul 2: (x1. Presupunand x 2 < x4 < x 3 si datorita naturii unimodale a lui f exista doar doua posibilitati: 1. x3) = (x2. 2.Pasul 2: Se gaseste x4 in mod standard prin minimizarea functiei patratice. x3). x2. x3) = (x1. Pasul 4: Continuam intr-un mod similar cu Pasul 2 gasind un nou interpolant patratic. Cu aceasta modificare se poate demonstra ca procesul de interpolare patratica este convergent global !!! Nota: • Modificarile de mai sus pentru interpolarea patratica pot fi adaptate pentru alti algoritmi de cautare unidimensionala (considerati ca exercitii cateva alte cazuri !!!) • Ordinul de convergenta poate fi compromis (devine mai mic decat 1. f (x2) < f (x4) ≤ f (x3).3 cat este in forma pura CAPITOLUL 3: Metode Fundamentale de Cautare 57 Convergenta Globala a Metodelor de Interpolare . x2. Pasul 3: Selectam un nou triplet in modul urmator: • Cazul 1: (x1. x4). x2. x4. f (x4) ≤ f (x2).

atunci (x1. de exemplu x1 = x2. • Daca doua puncte sunt egale. x3) formeaza un triplet de interpolare daca f (x2) ≤ f (x3) si f (x2) < 0. si un interpolant patratic se gaseste folosind valorile functiei in cele doua puncte distincte si derivata in punctul care este duplicat • Daca trei puncte sunt egale. x2. x1 = x2 = x3. x3) formeaza un triplet daca f (x2) = 0 si f (x2) ≥ 0.a algoritmului) daca nici macar local nu se poate forma tripletul de interpolare din trei puncte precedente (in loc de patru) – acest lucru desigur nu se poate asigura in general. CAPITOLUL 3: Metode Fundamentale de Cautare 58 Convergenta Globala a Metodelor de Interpolare . Remarci: • In forma pura a algoritmului de interpolare patratica punctul urmator se construieste pe baza punctului curent si a altor doua puncte precedente in timp ce in modificarea propusa mai sus punctul urmator se construieste pe baza punctului curent si a doua din trei puncte precedente ce impreuna formeaza un triplet de interpolare. x2. atunci (x1.

d) = {y : y = x + αd. dandu–se o functie f . Proprietati ale Algoritmilor de Cautare Unidimensionala Cautarile unidimensionale pentru gasirea minimului sunt o parte componenta a celor mai multi algoritmi de programarea neliniara.4. De aceea este esential sa studiem daca acesti algoritmi sunt inchisi. d) daca d = 0. Teorema 45. Obtinem urmatoarea aplicatie de tip punct–multime S(x. f (y) = min f (x + αd)}. Mai precis. CAPITOLUL 3: Metode Fundamentale de Cautare 59 Proprietati ale Algoritmilor de Cautare Unidimensionala . pentru fiecare iteratie trebuie sa specificam doi vectori (punctul initial x si directia de cautare d) iar rezultatul este un nou punct. atunci aplicatia (6) este inchisa in (x. α ≥ 0. 0≤α≤∞ (6) Daca f este continua pe Rn.

CAPITOLUL 3: Metode Fundamentale de Cautare 60 Cautare Unidimensionala Aproximativa . Cautare Unidimensionala Aproximativa In practica nu este posibil sa obtinem exact punctul de minim asa cum presupune algoritmul ideal de cautare unidimensionala S . Adesea se sacrifica precizia pentru a reduce timpul de executie. Problema: Este teoria convergentei globale valabila daca folosim cautari aproximative in locul celor ideale ? Raspuns: NU ! dar pentru a nu complica analiza vor presupune in continuare ca la fiecare pas s-a folosit un algoritm exact de cautare unidimensionala. Criterii uzuale pentru terminarea cautarilor unidimensionale: • • • • Testul Procentual Regula Armijo Testul Goldstein Testul Wolfe.5.

• α este gasit astfel incat |α − α| ≤ cα. • Se poata arata ca acest algoritm este inchis. Regula Armijo • Regula Armijo asigura ca α ales nu este prea mare si apoi ca nu este prea mic !!! • Fie φ(α) = f (xk + αdk ).Testul Procentual • Gaseste parametrul α cu o anumita precizie data de un procent fixat din valoarea sa reala 0 < c < 1 (tipic c = 0.1. • α nu este prea mare daca φ(α) ≤ φ(0) + φ (0)α CAPITOLUL 3: Metode Fundamentale de Cautare 61 pentru ∈ (0.01). 0. • Desigur α nu este cunoscut dar pentru majoritatea algoritmilor de cautare unidimensionala se poate obtine relativ facil o margine buna a erorii fractionare (relative). (7) Cautare Unidimensionala Aproximativa .02 sau 0. 1) fixat.05. Atunci regula este implementata considerand functia φ(0) + φ (0)α. unde α este valoarea exacta a minimului. 0.

si = 0. Daca α original nu satisface (7) este impartit la η pana cand α rezultant satisface (7).si nu este prea mic daca φ(α) > φ(0) + φ (0)ηα unde η > 1 este ales (fixat) – aceasta este echivalent cu a spune ca α este marit cu un factor de η daca nu satisface testul (7). penultimul α este atunci retinut. CAPITOLUL 3: Metode Fundamentale de Cautare 62 Cautare Unidimensionala Aproximativa .2 sunt cel mai adesea folosite) pana cand (7) nu mai este satisfacut. • Uneori in practica regula Armijo este folosita pentru a defini un algoritm de cautare unidimensionala fara a folosi metodele de interpolare: se incepe cu un α arbitrar. daca satisface (7) este marit in mod repetat cu η ( η = 2 sau 10.

• Testul Goldstein conduce la un algoritm de cautare undimensionala inchis. si este CAPITOLUL 3: Metode Fundamentale de Cautare 63 Cautare Unidimensionala Aproximativa . < 0. α nu este prea mare daca satisface (7) pentru 0 < considerat a fi nu prea mic daca φ(α) > φ(0) + (1 − )φ (0)α.5.Testul Goldstein • Similar cu regula lui Armijo.

• Criteriul de mai sus este invariant la scalari. CAPITOLUL 3: Metode Fundamentale de Cautare 64 Cautare Unidimensionala Aproximativa .Testul Wolfe • Acesta este aplicat in locul testului Goldstein in cazul in care derivatele functiei obiectiv si valorile acestora pot fi obtinute relativ usor. si α este ales sa satisfaca (7) si φ (α) > (1 − )φ (0).5. • este ales cu 0 < < 0.

Pentru simplificarea notatiei fie g(x) gk := := f (x)T g(xk ). Metoda propriu–zisa Fie f : Rn → R. Mai exact. Metoda Celei Mai Abrupte Pante • Una dintre cele mai vechi metode.6. cautarea minimului se face de–alungul directiei gradientului negativ −gk si punctul de minim este considerat xk+1. cunoscuta si sub numele de metoda de gradient. (vector coloana) Metoda este definita de algoritmul iterativ xk+1 = xk − αk gk . • Este simultan prima metoda care se incearca pe o problema noua si totdata referinta standard cu care se compara orice metoda noua. • Este extrem de importanta intrucat este cea mai simpla metoda pentru care exista o analiza satisfacatoare. CAPITOLUL 3: Metode Fundamentale de Cautare 65 Metoda Celei Mai Abrupte Pante . αk este un scalar nenegativ care minimizeaza f (xk − αk gk ). f ∈ C 1.

α ≥ 0. care da punctul initial si directia de cautare si S : R2n → Rn. d) = {y : y = x + αd. −g(x)). Atunci Z(x) = f (x) este o functie de descrestere pentru A deoarece pentru f (x) = 0 avem 0≤α<∞ min f (x − αg(x)) < f (x). G(x) = (x. f (y) = min f (x + αd)}. CAPITOLUL 3: Metode Fundamentale de Cautare 66 Metoda Celei Mai Abrupte Pante . f (x) = 0. Definim multimea solutiilor ca fiind punctele in care f (x) = 0. dat in (6): S(x. 0≤α≤∞ In Sectiunea 4 am vazut ca S este inchis daca Prin urmare A este inchisa. si este evident ca G este continua. Acesta se poate descompune in A = SG. Prin urmare concluzionam din Teorema de Convergenta Globala ca daca sirul xk este marginit va avea puncte limita si fiecare astfel de punct este o solutie. unde G : Rn → R2n.Convergenta Globala Algoritmul poate fi descris ca A : Rn → Rn si xk+1 ∈ A(xk ).

incepem analiza cu cazul patratic (f este o functie patratica 1 T T f (x) = x Qx − x b). si ca toate aceste valori proprii sunt ordonate 0 < a = λ1 ≤ λ2 ≤ .e.. 2 ∗ T 1 Atunci avem E(x) = f (x) + 2 (x ) Qx∗. i. . In multe situatii va fi mai convenabil sa consideram minimizarea lui E in locul lui f ! E(x) := CAPITOLUL 3: Metode Fundamentale de Cautare 67 Metoda Celei Mai Abrupte Pante . ≤ λn = A. Fie functia eroare ∗ 1 ∗ T ∗ (x − x ) Q(x − x ). ambele functii au acelasi punct de minim x∗. i.Convergenta Locala Precum vom face in majoritatea cazurilor. toate valorile ei proprii sunt pozitive. E(x) si f (x) difera doar printr-o constanta. . Punctul unic de minim x∗ poate fi gasit prin anularea gradientului g(x) = Qx−b obtinandu-se Qx = b.e.. In plus. 2 Presupunem ca Q ∈ Rn×n este o matrice simetrica pozitiv definita Q = QT > 0. Atunci rezulta ca f este strict convexa.

Oricare ar fi x0 ∈ Rn. 2 Derivand in aceasta expresie in raport cu α obtinem T gk gk αk = T . gk Qgk (8) Teorema 46. gk Qgk In final. unde αk minimizeaza gk = Qxk − b f (xk − αgk ) = 1 T T (xk − αgk ) Q(xk − αgk ) − (xk − αgk ) b. metoda celei mai abrupte pante (8) converge la punctul unic 68 Metoda Celei Mai Abrupte Pante CAPITOLUL 3: Metode Fundamentale de Cautare .Cu aceste notatii putem exprima metoda celei mai abrupte pante xk+1 = xk − αk gk . metoda celei mai abrupte pante ia forma explicita xk+1 T gk gk = xk − T gk .

• Prin urmare putem spune in mare ca rata de convergenta a metodei celei mai abrupte pante este A−a A+a 2 = r−1 r+1 2 unde r este numarul de conditionare al lui Q. convergenta este lenta. convergenta este obtinuta intr-un singur pas (A = a). • Chiar daca n − 1 valori proprii sunt egale dar una singura este la mare distanta de ele. • Rata efectiva (reala) depinde puternic de x0. Observatia 47. mai mult. CAPITOLUL 3: Metode Fundamentale de Cautare 69 Metoda Celei Mai Abrupte Pante . • Pentru “cercuri”. daca rata este defavorabila atunci este probabil ca procesul iterativ sa convearga cu o rata apropiata de marginea superioara. • In raport cu functia eroare (sau echivalent in raport cu f ) metoda celei mai abrupte pante converge liniar cu o rata inferioara lui A−a A+a 2 . avem la fiecare pas E(xk+1) ≤ A−a A+a 2 E(xk ). Mai mult.de minim x∗ al lui f . • Rata de convergenta este cu atat mai lenta cu cat contururile lui f devin mai excentrice. • Akaike a aratat ca aceasta margine se poate atinge pentru anumite puncte initiale x0 si.

Aceasta tehnica este valabila pentru majoritatea metodelor avand ordinul 1 de convergenta. 7. Teorema 48. Aplicatii ale Teoriei – de discutat la Seminar – CAPITOLUL 3: Metode Fundamentale de Cautare 70 Metoda Celei Mai Abrupte Pante . Presupunem ca Hessianul F (x∗) are cea mai mica valoare proprie a > 0 si cea mai mare valoare proprie A > 0. atunci f (xk ) converge la f (x∗) liniar cu o rata de convergenta mai mica sau egala cu A−a A+a 2 . Daca {xk } este un sir generat de metoda celei mai abrupte pante care converge la x∗. Fie f definita pe Rn. Cu toate acestea vom extinde aceste proprietati si la functii nepatratice folosind Hessianul functiei obiectiv evaluat intr-un punct solutie (in locul matricii Q). f ∈ C 2 avand un minim local in x∗.• Toate aceste observatii se pot aplica doar functiilor patratice.

f ∈ C 3 avand un minim local la x∗ si F (x∗) > 0. Atunci pentru o initializare suficient de aproape de x∗ sirul generat de metoda lui Newton converge la x∗ cu un ordin de convergenta de cel putin 2. si prin urmare metoda este bine definita in vecinatatea solutiei. T Presupuneri: Matricea Hesiana F (x∗) este pozitiv definita (in lumina conditiilor de ordinul 2). si functia patratica este minimizata exact: f (x) ≈ f (xk ) + 1 T f (xk )(x − xk ) + (x − xk ) F (xk )(x − xk ). Fie f definita pe Rn. 2 Membrul drept este minimizat exact la xk+1 = xk − [F (xk )] −1 f (xk ) . Metoda lui Newton Ideea: Functia obiectiv f este aproximata local de o functie patratica. Teorema 49.8. CAPITOLUL 3: Metode Fundamentale de Cautare 71 Metoda lui Newton .

Modificari ale Metodei lui Newton Metoda lui Newton necesita anumite modificari cand este startata relativ departe de punctul solutie. In apropierea solutiei ne asteptam desigur ca αk ≈ 1. Atat metoda celei mai abrupte pante (Mk = I ) cat si metoda lui Newton (Mk = F (xk )−1) apartin acestei clase. A doua modificare: Consideram clasa generala de algoritmi xk+1 = xk − αMk gk (9) unde Mk este o matrice n × n. Prima modificare: introducerea unui parametru de cautare α a. Directia dk = −Mk gk este o directie de descrestere daca pentru α mic valoarea lui CAPITOLUL 3: Metode Fundamentale de Cautare 72 Metoda lui Newton . si gk := f (xk )T . α este un parametru de cautare pozitiv. xk+1 = xk − αk [F (xk )] −1 f (xk ) T unde αk este ales sa minimizeze f .i. Introducerea acest parametru pentru puncte generale elimina posibilitatea ca functia obiectiv sa creasca cand αk = 1 ca urmare a termenilor nepatratici.

i. Pentru α mic avem f (xk+1) = f (xk ) + sau folosind (9) f (xk )(xk+1 − xk ) + O(|xk+1 − xk | ) T 2 2 f (xk+1) = f (xk ) − αgk Mk gk + O(α ). Fixam δ > 0. ceea ce constituie un compromis intre metoda celei mai abrupte pante ( k mare) si metoda Newton ( k = 0). Problema: Exista intotdeauana o modificare a. Pentru a asigura descresterea: • Setam Mk = I iar aceasta conduce la metoda celei mai abrupte pante care converge doar liniar. • Setam Mk = [ k I + F (xk )]−1 pentru un k semipozitiv. Modul cel mai simplu de a asigura acest lucru este sa cerem ca Mk > 0.f descreste cand α creste de la zero in sus. T Cand α → 0 al doilea termen il domina pe al treilea si trebuie sa avem gk Mk gk > 0 pentru a garanta descresterea. Mk > 0 ? DA !!! Solutie: Fie Fk = F (xk ). Calculam valorile proprii ale lui Fk si fie CAPITOLUL 3: Metode Fundamentale de Cautare 73 k cea mai mica Metoda lui Newton . • Setam Mk = F (xk )−1 care conduce la o descrestere foarte rapida in apropierea solutiei dar pentru un punct arbitrar poate sa nu genereze o directie de descrestere pentru ca este posibil ca Mk sa nu fie pozitiv sau chiar este posibil sa nu existe.

α ≥ 0. Acest algoritm are proprietatile dorite de convergenta locala si globala: Presupunand ca xk este marginit.constanta nenegativa pentru care matricea k I + Fk are valoriile proprii mai mari sau egale cu δ . dk := −( k I + Fk ) gk . in metodele de tip Levenberg–Marquardt pentru un k dat se face o factorizare Cholesky pentru a verifica pozitivitatea: kI + F (xk ) = Gk Gk . k T Daca algoritmul de factorizare Cholesky esueaza. Dificultati suplimentare: La fiecare pas trebuie sa calculam valorile proprii ale lui F (xk ) ceea ce se poate dovedi costisitor din punct de vedere numeric ! Prin urmare. Fie −1 xk+1 = xk + αk dk . adica mai mic decat cea mai mica valoare proprie a lui F (x∗)). unde αk minimizeaza f (xk + αdk ). Intrebare esentiala: Cum se alege δ ? Raspuns: Aceasta alegere implica o adevarata arta si este nevoie de mult exercitiu si experienta practica !!!! Valori mici pentru δ inseamna sa inversam matrici ”aproape” singulare pe cand valori mari ale lui α inseamna ca ordinul doi de convergenta se poate pierde. avem convergenta globala si suficient de aproape de x∗ ordinul de convergenta este doi (alegand un δ > 0 potrivit. Aceasta factorizare da deasemenea 74 Metoda lui Newton . CAPITOLUL 3: Metode Fundamentale de Cautare este marit.

In principal k este un parametru de cautare in aceste metode. Atentie: Simplitatea aparenta a metodei lui Newton nu este in fapt transpusa in practica ! T CAPITOLUL 3: Metode Fundamentale de Cautare 75 Metoda lui Newton . Se examineaza in continuare f (xk + dk ).vectorul de deplasare rezolvand doua sisteme triangulare de ecuatii Gk Gk dk = gk . atunci xk+1 este acceptat si se determina un nou k+1. Daca este destul de mai mic decat f (xk ).

e. . fiecare astfel de cautare poate fi privita ca o cautare pe directia ei (sau −ei). . • Metoda Gauss–Southwell: La fiecare pas se minimizeaza coordonata corespunzatoare celei mai mari componente (in valoare absoluta) a gradientului.. . si apoi se repeta de la x1 din nou (nu este necesara nici o informatie despre gradient). xi i. . Metode de Cautare pe Coordonate O clasa de algoritmi atractivi datorita simplitatii dar cu proprietati mai slabe de convergenta decat metoda celei mai abrupte pante. . Descresterea in raport cu coordonata xi (i fixat) este obtinuta prin rezolvarea min f (x1. . Per ansamblu. x2. . xn. x1 si apoi se repeta (nu este necesara nici o informatie asupra gradientului). . se minimizeaza succesiv in raport cu toate coordonatele. xn). . . Fie f ∈ C 1. . . . . xn−2. . xn.9. CAPITOLUL 3: Metode Fundamentale de Cautare 76 Metode de Cautare pe Coordonate . x2. Moduri diverse de a implementa aceasta idee: • Algoritmul de cautare ciclica: Se minimizeaza succesiv in raport cu x1. . si apoi inapoi xn−1. • Metoda dublu ciclica a lui Aitken: Se minimizeaza succesiv in raport cu x1. x2.

metodele de cautare pe coordonate sunt mult mai rapide decat se estimeaza. Deoarece A−a A+a 2 ≤ a 1− A ≤ a 1− A(n − 1) n−1 concluzionam ca un pas din metoda celei mai abrupte pante este mai bun decat n − 1 pasi din metoda Gauss–Southwell. Convergenta locala este dificil de analizat. daca variabilele sunt necuplate (corespunzand unei matrici Hessiene aproximativ diagonale. Pentru o problema patratica avem pentru metoda Gauss–Southwell a E(xk+1) ≤ (1 − )E(xk ) A(n − 1) (care este o margine grosiera). CAPITOLUL 4: Metode de Directii Conjugate 77 Cuprinsul Capitolului . Oricum. Acest lucru este in acord cu multe experimente numerice.Convergenta Metodelor de Cautare pe Coordonate Aceste metode au convergenta globala (sub anumite ipoteze rezonabile).

Capitolul 4: METODE DE DIRECTII CONJUGATE

Metodele de Directii Conjugate sunt intr-un anumit sens intermediare intre metoda celei mai abrupte pante si metoda lui Newton. Motivatia dezvoltarii acestor metode provine din dorinta de a accelera convergenta tipic lenta a metodei celei mai abrupte pante simultan cu evitarea evaluarii, memorarii si inversarii Hessianului necesare in metoda Newton. Aceste metode sunt printre cele mai eficiente metode de optimizare disponibile. Ca de obicei prezentarea metodelor de directii conjugate incepe cu problema patratica

1 T T x Qx − b x, 2

Q = Q > 0,

T

urmand ca apoi sa extindem, prin aproximare, la cazul problemelor mai generale. 1. 2. 3. 4. 5. 6. Directii Conjugate Proprietati de Descrestere ale Metodei de Directii Conjugate Metoda de Gradienti Conjugati Metoda de Gradienti Conjugati ca Proces Optimal Metoda Partiala de Gradienti Conjugati Extensii la Probleme Nepatratice
78 Cuprinsul Capitolului

CAPITOLUL 4: Metode de Directii Conjugate

1. Directii Conjugate

Definitia 50. Dandu-se Q = QT , doi vectori d1 si d2 se numesc Q–ortogonali sau conjugati in raport cu Q daca dT Qd2 = 0. O multime finita de vectori d0, d1, . . . , dk se numeste 1 Q-ortogonala daca T di Qdj = 0, ∀i = j. Cazuri particulare: Q = 0, Q = I (in cazul nostru Q > 0 dar acest lucru nu este inerent in definitia de mai sus). Propozitia 51. independenti. Daca Q = QT > 0 si d0, d1, . . . , dk sunt Q–ortogonali atunci sunt liniar

De ce este folositoare Q–ortogonalitatea ? Sa presupunem ca avem problema

1 T T min x Qx − b x, 2

Q > 0,

care are o solutie unica x∗ ce satisface Qx = b. Fie d0, d1, . . . , dn−1 un numar de n vectori nenuli si Q–ortogonali (care sunt automat liniar independenti). Prin urmare

x = α0d0 + . . . + αn−1dn−1
CAPITOLUL 4: Metode de Directii Conjugate 79

(10)
Directii Conjugate

pentru anumiti αi bine alesi. Inmultind cu Q si luand produsele scalare cu di obtinem

dT Qx∗ dT b i αi = T = Ti di Qdi di Qdi

(11)

ceea ce arata ca αi si solutia x∗ pot fi evaluate prin intermediul unor produse scalare simple. In final avem n−1 dT b ∗ i di . x = dT Qdi i=0 i Din relatia de mai sus se desprind cateva idei fundamentale: • Multimea di–urilor s-a ales astfel incat toti termenii cu exceptia termenului i in (10) sa se anuleze (aceasta se putea insa realiza si prin simpla ortogonalitate si nu neaparat prin Q–ortogonalitate). • αi s-au putut exprima in functie de vectorul cunoscut b spre deosebire de situatia initiala in care erau exprimati in functie de vectorul necunoscut x∗. • x∗ poate fi considerat rezultatul unui proces iterativ in care la pasul i se adauga termenul αidi.
n−1 Teorema 52. Fie {di}i=0 o multime de vectori Q–ortogonal nenuli. Pentru oricare x0 ∈ Rn sirul xk generat dupa formula

xk+1 = xk + αk dk ,

k ≥ 0,

T gk dk αk = − T , dk Qdk

gk = Qxk − b,

converge la unica solutie x∗ a lui Qx = b dupa n pasi, i.e., xn = x∗.
CAPITOLUL 4: Metode de Directii Conjugate 80 Directii Conjugate

2. Proprietati de Descrestere ale Metodei de Directii Conjugate
Fie Bk :=< d0, d1, . . . , dk−1 > . Aratam ca pe masura ce metoda de directii conjugate avanseaza fiecare xk minimizeaza functia obiectiv pe varietatea liniara k–dimensionala x0 + Bk . Teorema 53. [Teorema de Expandare a Subspatiilor] Fie {di}n−1 un sir de vectori nenuli i=0 n n Q–ortogonali in R . Atunci pentru oricare x0 ∈ R sirul {xk } generat de

xk+1 = xk + αk dk ,

T gk dk , αk = − T dk Qdk

are proprietatea ca xk minimizeaza f (x) = 1 xT Qx − bT x pe dreapta x = xk−1 + αdk−1, 2 −∞ < α < ∞, cat si pe varietatea liniara x0 + Bk . Corolarul 54. In metoda de directii conjugate gradientii gk , k = 0, 1, . . . , n satisfac

gk di = 0,

T

i < k.

Nota: • Bk ⊂ Bk+1. • Deoarece xk minimizeaza f pe x0 + Bk , este evident ca xn este minimumul global al lui f .
CAPITOLUL 4: Metode de Directii Conjugate 81 Proprietati de Descrestere ale Metodei de Directii Conjugate

3. Metoda de Gradienti Conjugati

Directiile obtinute succesiv sunt versiuni conjugate ale gradientilor obtinuti pe masura ce metoda avanseaza (sunt generati succesiv la fiecare pas nefiind cunoscuti de la bun inceput). La pasul k se evalueaza gradientul negativ si se adauga unei combinatii liniare de directii precedente pentru a obtine o noua directie conjugata de-a lungul careia se face deplasarea. Avantajele metodei:

• Cu exceptia situatiei in care solutia s-a obtinut in mai putin de n pasi gradientul este intotdeauna nenul si liniar independent in raport cu directiile precedente (gradientul este ortogonal pe subspatiul Bk generat de d0, d1, . . . , dk−1). • Formula deosebit de simpla pentru generarea noii directii, facand metoda doar putin mai complicata decat metoda celei mai abrupte pante. • Procesul de cautare progreseaza satisfactor si uniform inspre solutie la fiecare pas deoarece directiile sunt bazate pe gradienti (spre deosebire de multe metode de directii conjugate cu directii generate arbitrar si in care progresul poate fi lent pana la ultimii cativa pasi). Acest lucru nu este important pentru functii patratice ci pentru generalizarile la functii nepatratice.

CAPITOLUL 4: Metode de Directii Conjugate

82

Metoda de Gradienti Conjugati

Algoritmul de Gradienti Conjugati

Incepand cu x0 ∈ Rn definim d0 := −g0 = b − Qx0 si

xk+1 = xk + αk dk ,

T gk d k , αk = − T dk Qdk T gk+1Qdk

(12)

dk+1 = −gk+1 + βk dk ,
unde gk = Qxk − b.

βk =

dT Qdk k

,

(13)

Nota: • Primul pas este identic ca in metoda celei mai abrupte pante; • La fiecare pas deplasarea se face intr-o directie ce este o combinatie liniara a gradientului curent si a directiilor precedente; • Remarcati formulele simple pentru actualizarea directiei de deplasare (13).

CAPITOLUL 4: Metode de Directii Conjugate

83

Metoda de Gradienti Conjugati

dk >=< g0. Demonstram acest lucru impreuna cu alte proprietati in teorema ce urmeaza. Daca solutia nu este obtinuta la pasul k. . < d0. Qk g0 >. . . dT Qdk k T gk+1 gk+1 . [Teorema de Gradienti Conjugati] Algoritmul de gradienti conjugati (12)–(13) este o metoda de directii conjugate. . . gk >=< g0. . . Qk g0 >. . g1.Verificarea Algoritmului Trebuie sa aratam ca vectorii dk sunt Q–ortogonali (acest lucru nu este deloc trivial !). dT Qdi = 0. in xk . . Qg0. g T gk k Demonstratie: Se demonstreaza simultan a). Qg0. b) si c) prin inductie – (vezi notele de curs pentru demonstratia detaliata). . . i. . . . Teorema 55. pentru i ≤ k − 1. CAPITOLUL 4: Metode de Directii Conjugate 84 Metoda de Gradienti Conjugati .e. . . k αk = βk = T gk gk . d1. atunci: a) b) c) d) e) < g0.

4. Alegerea unei multimi de coeficienti pentru fiecare polinom Pk determina un sir xk . 2 2 Ne punem problema alegerii polinomului Pk astfel incat sa minimizam E(xk+1) in raport cu clasa CAPITOLUL 4: Metode de Directii Conjugate 85 Metoda de Gradienti Conjugati ca Proces Optimal . Consideram o metoda alternativa de rezolvare a problemei de minimizare patratica. Dandu-se x0 arbitrar. Rezultatul este bazat in mod esential pe punctul b) al teoremei de G–C. (14) unde Pk este un polinom de grad k. mai precis pe faptul ca spatiile Bk in care se face succesiv minimizarea sunt determinate de gradientul intitial g0 si multiplicari ale acestuia cu Q. Metoda de Gradienti Conjugati ca Proces Optimal Vom da in continuare o descriere alternativa a metodei de G–C care va conduce la un rezultat profund de convergenta. Obtinem xk+1 − x = x0 − x + Pk (Q)Q(x0 − x ) = [I + QPk (Q)](x0 − x ) de unde ∗ ∗ ∗ ∗ E(xk+1) = 1 1 ∗ T ∗ ∗ 2 ∗ (xk+1 − x ) Q(xk+1 − x ) = (x0 − x )Q[I + QPk (Q)] (x0 − x ). fie xk+1 = x0 + Pk (Q)g0.

Pk 2 unde minimul este considerat in raport cu toate polinoamele Pk de grad k. vectorul xk+1 = x0 + α0d0 + α1d1 + . Q g0 >. . . βi este complicata precum este si relatia intre coeficientii lui Pk si ai lui Pk+1. Nota: • Problema alegerii unui Pk optimal este rezolvata de metoda de gradienti conjugati. . . conform Teoremei de Expandare a Subspatiilor coeficientii γi sunt determinati de metoda de gradienti conjugati astfel incat sa minimizeze E(xk+1). . d1. CAPITOLUL 4: Metode de Directii Conjugate 86 Metoda de Gradienti Conjugati ca Proces Optimal . Teorema 56. Avand in vedere ca k (15) Bk+1 =< d0. • Forta metodei de gradienti conjugati consta in faptul ca pe masura ce progreseaza rezolva automat problemele optimale pentru Pk prin actualizarea unei cantitati mici de informatie la fiecare pas. . dk >=< g0. . in care γi sunt coeficientii lui Pk . . Dezvoltand (14). obtinem xk+1 = x0 + γ0g0 + γ1Qg0 + · · · + γk Q g0. + αk dk generat prin metoda de gradienti conjugati are exact aceasta forma.tuturor polinoamelor de grad k. Mai mult. . • Relatia explicita intre coeficientii optimali γi ai lui Pk si αi. . Qg0. Punctul xk+1 generat de metoda de gradienti conjugati satisface k 1 ∗ T 2 ∗ E(xk+1) = min (x0 − x ) Q[I + QPk (Q)] (x0 − x ).

Cand avem oarecare informatii privitoare la structura de valori proprii a lui Q. concluzia rezulta imediat. presupunem ca xk s-a calculat prin metoda de gradienti conjugati. unde maximul este peste toate valorile proprii λi ale lui Q. Daca xk+1 este calculat din xk prin metoda celei mai abrupte pante atunci xk+1 = xk − αk gk pentru anumiti αk . In metoda gradientilor conjugati avem E(xk+1) ≤ max[1 + λiPk (λi)] E(x0) λi 2 (16) pentru orice polinom Pk de grad k. De exemplu. Fiecare pas al metodei de gradienti conjugati este cel putin la fel de bun ca un pas al metodei celei mai abrupte pante considerat in acelasi punct. Din (15) avem xk = x0 + γ 0g0 + γ 1Qg0 + . atunci printr-o alegere potrivita a lui Pm−1 este posibil sa impunem conditia ca polinomul de grad m 1 + λPm−1(λ) sa aibe cele m zerouri egale cu cele m valori proprii. .Margini de Convergenta Teorema 57. daca stim ca matricea Q are m < n valori proprii distincte. Intr–adevar. γ k−1Qk−1g0. atunci putem exploata aceasta informatie pentru a construi Pk . CAPITOLUL 4: Metode de Directii Conjugate 87 Metoda de Gradienti Conjugati ca Proces Optimal . Folosind acest polinom particular in (16) obtinem ca E(xm) = 0 si deci solutia optimala se va obtine in m pasi in loc de n pasi. . Din a) al Teoremei de Gradienti Conjugati xk+1 va avea forma (15) si deoarece pentru metoda de gradienti conjugati E(xk+1) este mai mic decat pentru orice alt xk+1 de forma (15).

Pentru problema min 1 xT Qx − bT x. 2 ∗ unde x este punctul de minim. xk+1 poate fi gasit prin executarea a m + 1 pasi din metoda de gradienti conjugati in locul gasirii directe a coeficientilor polinomului. in loc sa continuam.5. • m = n − 1: Metoda G–C standard. gk = Qxk − b x. Conform rezultatelor din sectiunea precedenta. schema iterativa este : 2 xk+1 = xk + P (k) (Q)gk . CAPITOLUL 4: Metode de Directii Conjugate 88 Metoda PArtiala de Gradienti Conjugati . T unde Pk este un polinom de grad m. Coeficientii acestui polinom sunt alesi astfel incat sa se minimizeze 1 ∗ ∗ E(xk+1) = (xk+1 − x )Q(xk+1 − x ). Metoda Partiala de Gradienti Conjugati Ideea: Executam m + 1 ≤ n pasi din metoda G–C dupa care. Cazuri particulare: • m = 0: Metoda celei mai abrupte pante standard. restartam procedura din punctul curent dupa care se executa alti m + 1 pasi ai metodei G–C ! Aceasta clasa de metode are o importanta teoretica si practica de exceptie.

A]. b]. ce poate fi aproximata prin problema neconstransa 1 T T T 2 min x Qx − b x + µ(c x) . Sa presupunem ca matricea Q are m valori proprii mari (nu neaparat grupate impreuna) si n − m valori proprii mai mici care apartin intervalului [a. a carei convergenta este dictata de valorile proprii ale termenului patratic 1 (Q + µccT ). Totusi. Exemplu: Problema cu constrangeri min xT Qx − bT x cu constrangerea cT x = 0. In continuare vom arata ca executand m + 1 pasi de CAPITOLUL 4: Metode de Directii Conjugate 89 Metoda PArtiala de Gradienti Conjugati . obtinem un rezultat interesant. 2 µ >> 0. atunci cand matricea Q are o structura particulara de valori proprii ce este relativ des intalnita in problemele de optimizare. o valoare proprie a acestei matrici tinde la infinit in timp ce celelalte n − 1 raman marginite in intervalul [a. Daca aplicam matoda celei mai abrupte pante rata de convergenta va fi defavorabila si se va deteriora pe masura ce il crestem pe µ. Se poate 2 arata ca atunci cand µ → ∞.Rezultatele de convergenta din sectiunea precedenta sunt valabile si in acest caz. cu predilectie in optimizari cu constrangeri.

[Metoda partiala de gradienti conjugati] Presupunem ca Q = QT > 0 are n − m valori proprii in intervalul [a. unde punctul xk+1 se determina din xk prin m + 1 pasi de gradienti conjugati. Teorema 58.gradienti conjugati efectul celor mai mari m valori proprii este eliminat si rata de convergenta este determinata ca si cum aceste valori proprii nu ar fi prezente. b]. si cele ramase sunt mai mari decat b. CAPITOLUL 4: Metode de Directii Conjugate 90 Metoda PArtiala de Gradienti Conjugati . a > 0. Nota: Metoda partiala de gradienti conjugati poate fi vazuta ca o generalizare a metodei celei mai abrupte pante atat in filozofie cat si in implementare si comportare. Atunci pentru metoda partiala de gradienti conjugati restartata dupa m + 1 pasi avem E(xk+1) ≤ b−a b+a E(xk ). Rata de convergenta este marginita de aceeasi formula insa cu cea mai mare valoare proprie eliminata.

metodele G–C nu se vor termina dupa n pasi si atunci avem urmatoarele posibilitati: • Continuam sa gasim directii conform algoritmului G–C pana cand un anumit criteriu de oprire este indeplinit.6. Aproximare patratica Facem urmatoarele asocieri gk ↔ f (xk ) . Metoda Polak–Ribiere. Metoda Fletcher–Reeves. Algoritmul ce rezulta este identic cu G–C pentru probleme patratice. Cand se aplica problemelor nepatratice. CAPITOLUL 4: Metode de Directii Conjugate 91 Extensii la Probleme Nepatratice . si PARTAN. si implica o aproximare patratica ce trebuie sa fie satisfacatoare macar local. Extensii la Probleme Nepatratice Metoda G–C poarte fi extinsa la cazul general (nepatratic) intr-un numar de directii diferite in functie de ce proprietati ale lui f sunt mai usor de calculat: Aproximare Patratica. T Q ↔ F (xk ).

Pasul 3. Incepand cu x0 se calculeaza g0 = • Pasul 2.• Algoritmul se opreste dupa n (sau n + 1) pasi si se restarteaza cu un pas de metoda de gradient (cea mai abrupta panta). n − 1: a) Setam xk+1 = xk + αk dk . . unde αk = f (x0)T si se atribuie d0 = −g0. c) Cat timp k < n − 1. Pentru k = 0. . 1. . setam dk+1 = −gk+1 + βk dk unde βk = T gk+1F (xk )dk dT F (xk )dk k si se repeta a). Dezavantaje: • F (xk ) trebuie evaluata la fiecare pas. Se inlocuieste x0 cu xn si se reia cu Pasul 1. • Algoritmul converge intr-un numar finit de pasi pentru o problema patratica. T −gk dk . CAPITOLUL 4: Metode de Directii Conjugate 92 Extensii la Probleme Nepatratice . . • Algoritmul nu este global convergent. Avantaje: • Nu sunt necesare cautari unidimensionale la nici un pas. dT F (xk )dk k b) Se calculeaza gk+1 = f (xk+1)T . Dintr-o serie de motive metoda a doua este de preferat conducand la urmatorul algoritm: • Pasul 1.

Capitolul 5: Metode de Tip Qvasi–Newton 93 Cuprinsul Capitolului . formula pentru βk este inlocuita cu alta formula (echivalenta in cazul patratic): βk = (Metoda Fletcher–Reeves ) sau T gk+1gk+1 T gk gk (gk+1 − gk )T gk+1 βk = T gk gk (Metoda Polak–Ribiere). Intai se gaseste αk la Pasul 2 a) printr–o cautare unidimensionala care minimizeaza functia obiectiv (aceasta este in acord cu formula din cazul patratic). In al doilea rand.Cautari Unidimensionale Este de preferat sa evitam asocierea Q ↔ F (xk ).

memorarii si inversarii Hessianului cerute de metoda lui Newton. 1. Constructia Inversei 3. Familii Broyden 5. Proprietati de Convergenta 6. Metoda Davidon–Fletcher–Powell 4.Capitolul 5: METODE DE TIP QVASI–NEWTON In acest capitol abordam intr-un nou mod problema gasirii unor metode intermediare intre metoda celei mai abrupte pante si metoda lui Newton. Aceasta metode sunt cele mai sofisticate metode disponibile Analiza convergentei este relativ complicata si ne vom rezuma doar la a prezenta principalele caracteristici. Ideea principala aici este sa folosim o aproximatie a inversei Hessianului in locul inversei exacte. Acestea sunt din nou motivate de dorinta de a accelera convergenta tipic lenta a metodei celei mai abrupte pante in paralel cu evitarea evaluarii. Metode Qvasi–Newton fara Memorie Capitolul 5: Metode de Tip Qvasi–Newton 94 Cuprinsul Capitolului . Metoda Newton Modificata 2.

gk = Qxk − b. Filosofia acestei modificari a metodei standard este sa alegem Sk aproximativ egal cu F (xk )−1. • Ca de obicei prezentam metodele intai pentru problema patratica 1 T T x Qx − b x. la probleme mai generale. cu conditia suplimentarea ca aceasta aproximatie sa fie usor de construit. (Pentru Sk = I obtinem metoda celei mai abrupte pante iar pentru Sk = F (xk )−1 obtinem metoda lui Newton). Metoda Newton Modificata Consideram problema min f (x) si propunem o rezolvare bazata pe procesul iterativ general xk+1 = xk − αk Sk f (xk ) .1. gk Sk QSk gk (18) Capitolul 5: Metode de Tip Qvasi–Newton 95 Metoda Newton Modificata . Nota: • Pentru a garanta descresterea pentru α mici trebuie sa impunem Sk > 0. Pentru cazul patratic avem xk+1 = xk − αk Sk gk . T (17) unde Sk este o matrice n × n simetrica si αk este ales astfel incat sa minimizeze f (xk+1). prin aproximare. T gk Sk gk αk = T . 2 Q=Q >0 T si apoi extindem.

∗ ∗ 1 2 (x − x )Q(x − x ). Capitolul 5: Metode de Tip Qvasi–Newton 96 Metoda Newton Modificata . adica de marimea derivatei de ordinul 3. Pentru algoritmul (18)–(18) avem la fiecare pas k Definim E(x) := E(xk+1) ≤ Bk − bk Bk + bk 2 E(xk ). • Algoritmul (17) nu contine idei noi ci este o extensie simpla a rezultatelor anterioare. • Teorema precedenta constituie un instrument puternic ce poate caracteriza proprietatile de convergenta ale unor algoritmi relativ complecsi de tipul qvasi–Newton prezentati in acest capitol. • Pentru cazul nepatratic trebuie sa asiguram ca Sk este cat mai apropiat de F (xk )−1. adica Hessianul in punctul initial x0 este folosit in intregul proces de cautare.Teorema 59. Nota: • Pentru cazul patratic trebuie sa asiguram ca Sk este cat mai apropiat Q−1 intrucat in acest caz atat bk cat si Bk sunt aproape de 1 si convergenta va fi rapida. unde bk si Bk sunt cea mai mica si respectiv cea mai mare valoare proprie a matricii Sk Q. Eficacitatea procedurii este guvernata de cat de rapid se schimba Hessianul. O Metoda Clasica O metoda standard pentru a aproxima metoda lui Newton fara evaluarea lui F (xk )−1 pentru fiecare k este −1 T xk+1 = xk − αk [F (x0)] f (xk ) . [Cazul patratic] Fie x∗ punctul unic de minim al lui f .

Fie f : Rn de clasa C 2. gk+1 − gk ≈ F (xk )pk .2. Capitolul 5: Metode de Tip Qvasi–Newton 97 (19) Constructia Inversei . Daca Hessianul F este constant atunci avem qk := gk+1 − gk = F pk si vedem ca evaluarea gradientului in doua puncte ne furnizeaza informatie despre F . Constructia Inversei Ideile principale ale metodelor qvasi–Newton sunt: • Constructia unei aproximatii ale inversei Hessianului folosind informatie obtinuta pe masura ce procesul de cautare evolueaza. Pentru doua puncte xk+1 si xk definim gk+1 := gk := f (xk )T si pk = xk+1 − xk . • Aproximarea curenta Hk este folosita la fiecare pas pentru a defini noua directie de cautare punand Sk = Hk in metoda Newton modificata. • Aproximarea converge la inversa Hessianului in punctul solutie iar metoda per ansamblu se comporta relativ similar metodei lui Newton. Atunci f (xk+1)T .

daca P si Q sunt matrici n × n cu coloane pk si qk respectiv. . p1. Pentru orice k < n fixat. Capitolul 5: Metode de Tip Qvasi–Newton 98 Constructia Inversei . Alegem zk si ak a. 0 ≤ i ≤ k. Intr–adevar.Presupunand ca n directii liniar independente p0. se pot satisface proprietati suplimentare prin exploatarea gradelor de libertate. pn−1 si qk corespunzatori sunt cunoscuti atunci F este determinat in mod unic. problema construirii unui Hk potrivit admite o infinitate de solutii deoarece exista mai multe grade de libertate decat constrangeri. . Construim aproximatii succesive Hk pentru F −1 bazandu-ne pe datele obtinute la primii k pasi ai procesului de cautare astfel incat daca F ar fi fost constant aproximarea sa fie consistenta cu (19) pentru acesti pasi adica Hk+1qi = pi. . In particular. avem −1 F = QP . . (20) este indeplinita obtinand urmatorul rezultat. (20) Dupa n pasi liniar independenti vom avea Hn = F −1.i. Corectii de Rang 1 Definim o recurenta de forma Hk+1 := Hk + ak zk zk T (= Hk+1) T unde zk este un vector si ak un scalar ce definesc o matrice de rang (cel mult) unu.

2. 3. poate fi relativ mica. Calculam directia de cautare dk cu formula dk := −Hk gk . i ≤ k. . Minimizam f (xk + αk dk ) in raport α ≥ 0. conducand deci la probleme numerice majore la inversare. 4. . T Capitolul 5: Metode de Tip Qvasi–Newton 99 Constructia Inversei . . k. (21) Procedura globala: 1. Calculam Hk+1 din (21) pentru i = k. Fie F = F T o matrice fixata si presupunem ca vectorii p0. pk = αk dk si gk+1. i = 0. . T qi (pi − Hiqi) pi = Hk+1qi. 1. . p1. Determinam xk+1 = xk + αk dk .Teorema 60. pk sunt dati. . Dificultati: • Formula de actualizare (21) pastreaza pozitivitatea doar daca qi (pi − Hiqi) > 0. Initializand cu orice matrice simetrica H0 fie Hi+1 Atunci (pi − Hiqi)(pi − Hiqi)T = Hi + . Definim qi = F pi. . • Chiar daca aceasta cantitate este pozitiva.

Metoda Davidon–Fletcher–Powell • Prima metoda obtinuta original de Davidon si imbunatatita de Fletcher si Powell. • Are proprietatea atractiva ca pentru o functie patratica genereaza directiile de gradienti conjugati construind simultan inversa Hessianului ! • La fiecare pas inversa Hessianului este actualizata printr-o suma de doua matrici simetrice de rang 1. Pasul 1: dk := −Hk gk . pk = αk dk . T pk qk qk Hk qk Se actualizeaza k si se trece la Pasul 1. si gk+1. Capitolul 5: Metode de Tip Qvasi–Newton 100 Metoda Davidon–Fletcher–Powell Method . • Este o procedura de corectie de rang 2 numita si metoda de metrica variabila. Pasul 3: Se seteaza qk = gk+1 − gk si Hk+1 T pk pT Hk qk qk Hk k = Hk + T − .3. si k = 0. orice punct x0. Procedura: Se incepe cu orice matrice simetrica si pozitiv definita H0. Pasul 2: Se minimizeaza f (xk + αdk ) in raport cu α ≥ 0 pentru a obtine xk+1.

• Daca f este functie patratica cu Hessianul constant F atunci metoda D–F–P produce directii pk care sunt F –conjugate. T 0 ≤ i < j ≤ k. . Daca metoda se ruleaza n pasi atunci Hn = F −1. D–F–P avem Daca f este patratica avand Hessianul F pozitiv definit. Teorema 61.Se pot demonstra urmatoarele proprietati atractive: • Hk > 0 → Hk+1 > 0. . Acesti vectori proprii sunt liniar independenti deoarece sunt F –ortogonali si prin urmare Hn = F −1. p1. atunci pentru metoda pi F pj = 0. Hk+1F pi = pi. . . Capitolul 5: Metode de Tip Qvasi–Newton 101 Metoda Davidon–Fletcher–Powell Method . 0 ≤ i ≤ k. procesul iterativ converge exact in n pasi. • Daca aproximarea initiala H0 este luata egala cu matricea identitate (H0 = I ) metoda coincide cu metoda de gradienti conjugati. • In orice caz. pk sunt vectori proprii corespunzatori unor valori proprii unitare pentru matricea Hk+1F (asa cum rezulta din (23)). • p0. (22) (23) Nota: • Deoarece pk sunt F –ortogonali si deoarece minimizam f succesiv de-alungul acestor directii observam ca procedura este de fapt o metoda de gradienti conjugati.

Exista posibilitatea sa actualizam aproximatii ale Hessianului propriu–zis in loc sa actualizam inversa acestuia caz in care trebuie sa satisfacem relatiile qi = Bk+1pi. 0 ≤ i ≤ k. adica obtinem o formula complementara prin interschimbarea rolurilor lui B si H si respectiv ale lui q si p. Prin urmare orice formula pentru H obtinuta pentru a satisface (24) poate fi transformata intr-o formula de actualizare pentru B . ce are loc in cazul pur patratic. orice formula de actualizare Capitolul 5: Metode de Tip Qvasi–Newton 102 Familii Broyden .4. (25) Ecuatia (25) are aceeasi forma ca (24) cu exceptia faptului ca qi si pi sunt interschimbate si H este inlocuit cu B . (24) qi = F pi. Familii Broyden Formulele de actualizare pentru inversul Hessianului sunt bazate pe satisfacerea relatiilor Hk+1qi = pi. care s-a obtinut din 0 ≤ i ≤ k. Viceversa. 0 ≤ i ≤ k.

Este usor de verificat ca daca luam complementul unui complement obtinem formula originala. actualizarea de rang unu este Hk+1 (pk − Hk qk )(pk − Hk qk )T = Hk + T qk (pk − Hk qk ) si formula complementara corespunzatoare este Bk+1 Similar. formula D–F–P (qk − Bk pk )(qk − Bk pk )T .care satisface (25) poate fi transformata intr-o formula complementara pentru actualizarea lui H . = Bk + pT (qk − Bk pk ) k T pk pT Hk qk qk Hk k = Hk + T − T pk qk q k Hk q k DF P Hk+1 devine prin luarea complementului Bk+1 T qk qk Bk pk pT Bk k = Bk + T − TB p qk pk pk k k (26) care mai este cunoscuta sub numele de actualizarea Broyden–Fletcher–Goldfarb–Shanno. Capitolul 5: Metode de Tip Qvasi–Newton 103 Familii Broyden . De exemplu.

O modalitate alternativa de a transforma o formula de actualizare pentru H intr–una pentru B si viceversa este prin calcularea inversei. Tq Tp pk k qk k (28) Capitolul 5: Metode de Tip Qvasi–Newton Familii Broyden . satisface (25) care este criteriul pentru actualizarea lui B . Incepand cu Hk+1qi = pi. Deosebit de important. Actualizarea Broyden–Fletcher–Goldfarb–Shanno pentru H produce. inversa unei formule de actualizare de rang 2 este tot o formula de rang 2. o actualizare corespunzatoare pentru H de forma BF GS Hk+1 = Hk + T qk Hk qk 1+ T qk pk 104 T pk pT pk qk Hk + Hk qk pT k k − . avem −1 ceea ce inseamna ca Hk+1 −1 0 ≤ i ≤ k. prin calcularea inversei. qi = Hk+1pi. 0 ≤ i ≤ k. Acest lucru se poate verifica folosind celebra formula Sherman–Morrison [A + ab ] T −1 =A −1 A−1abT A−1 − 1 + bT A−1a (27) unde A este o matrice n × n si a si b sunt vectori n–dimensionali (desigur ca formula este adevarata cu conditia ca inversele respective sa existe).

Prin urmare o combinatie liniara ponderata a acestor formule va fi de acelasi tip (simetrica. rang 2.. • Experimente numerice au indicat ca performantele ei sunt superioare formulei D–F–P. . O metoda Broyden este definita ca o metoda qvasi–Newton in care la fiecare iteratie un membru al familiei Broyden este folosit ca formula de actualizare. . In general. Teorema 62. φ2. parametrul φ variaza de la o iteratie la alta si prin urmare trebuie sa specificam sirul φ1.Remarci: • Aceasta formula poate fi folosita in mod identic cu formula D–F–P. atunci pentru o metoda Broyden pi F pj = 0. 105 (30) Familii Broyden . Deoarece H DF P si H BF GS satisfac relatia fundamentala (24) aceasta relatie este deasemenea satisfacuta de toti membrii familiei Broyden. construita pe baza lui pk si Hk qk ). • Ambele formule D–F–P si B–F–G–S contin corectii de rang 2 simetrice ce se construiesc din vectorii pk si Hk qk . Capitolul 5: Metode de Tip Qvasi–Newton T 0 ≤ i < j ≤ k. . avem Daca f este patratica cu Hessian pozitiv definit F . Obtinem astfel o intreaga colectie de actualizari cunoscute sub numele de familii Broyden definite de φ DF P BF GS H = (1 − φ)H + φH (29) unde φ este un parametru ce poate lua orice valoare reala. O metoda Broyden pura foloseste un φ constant.

Hk+1F pi = pi. In cazul patratic aceasta corespunde exact cu metoda partiala de gradienti conjugati si are proprietati similare de convergenta. Capitolul 5: Metode de Tip Qvasi–Newton 106 Familii Broyden . Proprietati ale metodelor Broyden: • Necesita numai informatie despre gradient (derivate de ordinul 1). Metode Partiale de tip Qvasi–Newton Metodele de tip Broyden pot fi restartate la fiecare m + 1 < n pasi. i ≤ m + 1. acestea necesita memorie modesta intrucat aproximatia inversei Hessianului poate fi memorata implicit prin memorarea vectorilor pi si qi. • In general Hk converge la inversa Hessianului (in cel mult n pasi pentru functii patratice). Pentru m mic. Se poate arata ca si pentru functii nepatratice si cautari unidimensionale exacte punctele generate de toate metodele Broyden coincid (daca singularitatile sunt evitate si minimele multiple sunt rezolvate in mod consistent). (31) Observatii: • Familia Broyden nu pastreaza cu necesitate pozitivitatea lui H φ pentru toate valorile lui φ. 0 ≤ i ≤ k. obtinandu-se metode partiale de tip qvasi–Newton. • Alegerea sirului φk este irelevanta pentru functii patratice (vezi teorema de mai sus). Deci anumite diferente apar numai in cazul cautarilor unidimensionale inexacte. • Directiile de deplasare sunt intotdeauna de descrestere daca asiguram Hk > 0.

daca se restarteaza metoda qvasi–Newton la fiecare n sau n + 1 pasi atunci convergenta globala este garantata de prezenta primului pas iterativ la fiecare ciclu. Proprietati de Convergenta Diversele metode qvasi–Newton sunt relativ dificil de analizat si prin urmare analiza lor este adesea facuta prin analogie. Convergenta Globala Metodele qvasi–Newton sunt rulate intr-o maniera continua. incepand cu o aproximatie initiala care este imbunatatita de-alungul intregului proces iterativ. Convergenta Locala Metodele au in general convergenta superliniara. Trebuie remarcat ca metodele sunt relativ sensibile la cautari unidimensionale inexacte. Capitolul 5: Metode de Tip Qvasi–Newton 107 Proprietati de Convergenta .5. Sub anumite ipoteze relativ stringente se poate demonstra ca procedurile sunt global convergente. Alternativ.

Sa consideram o simplificare a metodei qvasi–Newton BFGS in care Hk+1 este definit de o actualizare BFGS aplicata lui H = I in locul lui Hk . Pasul 2: Setam dk = −Hk gk . si qk = gk+1 − gk (trebuie ales αk suficient de precis pentru a asigura pT qk > 0). k Capitolul 5: Metode de Tip Qvasi–Newton 108 Metode Qvasi–Newton fara Memorie . pk = αk dk . (32) Pasul 3: Minimizam f (xk + αdk ) in raport cu α ≥ 0 pentru a obtine αk . xk+1. Metode Qvasi–Newton fara Memorie Analiza precedenta a metodelor qvasi–Newton poate fi folosita ca baza pentru reconsiderarea metodelor de gradienti conjugati si obtinerea unei noi clase de proceduri atractive. Astfel Hk+1 este determinat fara referinta la precedentul Hk si prin urmare actualizarea se numeste fara memorie. gk+1.6. Pasul 1: Setam Hk = I . Procedura: Startam in orice punct x0 cu k = 0.

pk qk unde βk = Aceasta coincide cu forma Polak–Ribiere a gradientilor conjugati. Combinand (32) si (33) este usor de vazut ca dk+1 = −gk+1 − T qk qk 1+ T qk pk T pk pT gk+1 pk qk gk+1 + qk pT gk+1 k k + . g T qk k T qk gk+1 = −gk+1 + T = −gk+1 + βk dk . In acest caz (34) este echivalenta cu dk+1 T qk qk+1 . Daca k este multiplu de n ne intoarcem la Pasul 1. Capitolul 5: Metode de Tip Qvasi–Newton 109 Metode Qvasi–Newton fara Memorie . Tq Tp pk k qk k (33) Fie k := k + 1 si ne intoarcem la Pasul 2. atunci pT gk+1 = 0 si prin urmare pT qk = k k T −pk gk . Prin urmare folosirea actualizarii BFGS in aceasta maniera conduce la un algoritm de tip Newton modificat cu coeficient matriceal pozitiv definit si care este echivalent cu o implementare standard a metodei de gradient conjugat atunci cand cautarea unidimensionala este exacta.Pasul 4: Daca k nu este multiplu de n setam Hk+1 = I + T qk qk 1+ T qk pk T pk qk + qk pT pk pT k k − . T pT qk qk pk k (34) Daca fiecare cautare unidimensionala este exacta.

se prefera φ = 1 pentru aceasta metoda.Cu toate acestea acest algoritm este folosit fara cautare unidimensionala exacta intr-o forma similara cu metoda de gradienti conjugati folosind (34). Mai general. Prin urmare. se poate extinde aceasta idee si se poate obtine o actualizare Broyden fara memorie de forma T T qk gk+1 qk gk+1 dk+1 = −gk+1 + (1 − φ) T qk + φ T pk . in multe situatii. Capitolul 6: Minimizare cu Constrangeri 110 Introducere . corespunzand actualizarii BFGS. qk qk qk pk Aceasta este echivalenta cu metoda de gradienti conjugati doar pentru φ = 1.

folosite impreuna.Capitolul 6: CONDITII DE MINIMIZARE CU CONSTRANGERI Constrangeri Plan Tangent Conditii Necesare de Ordinul Intai (Constrangeri de Tip Egalitate) Exemple Conditii de Ordinul Doi Valori Proprii in Subspatiul Tangent Constrangeri de Tip Inegalitate Principalele idei in studiul problemelor cu constrangeri de tip egalitate sunt: • Caracterizarea suprafetei determinate de curba fezabila definita de aceste egalitati (in R). • Considerarea valorii functiei obiectiv de–alungul unor curbe pe aceasta suprafata. Capitolul 6: Minimizare cu Constrangeri 111 Introducere . Incepem prin studiul conditiilor necesare si suficiente satisfacute in punctele solutie. Principalele instrumente tehnice sunt multiplicatorii Lagrange si o matrice Hessiana speciala care. formeaza fundatia pentru dezvoltarea si analiza algoritmilor folositi in cazul constrans.

. unde m ≤ n iar functiile f . . . Pentru simplificarea notatiei introducem functiile vectoriale h = (h1. Constrangeri active: O constrangere de tip inegalitate gi(x) ≤ 0 se numeste activa intr-un punct fezabil daca gi(x) = 0 si inactiva daca gi(x) < 0. gj (x) ≤ 0. i = 1. . m. . . . . x ∈ Ω ⊂ Rn . hi si gj (i = 1. Punct fezabil: Un punct satisfacand toate constrangerile functionale. . . . . Constrangerile h(x) = 0 si g(x) ≤ 0 sunt numite constrangeri functionale in timp ce x ∈ Ω este o constrangere de tip multime. .1. . . . . Capitolul 6: Minimizare cu Constrangeri 112 Constrangeri . hm) si g = (g1. m. . Constrangeri Problema generala neliniara de care ne ocupam este cand minimizeaza f (x) hi(x) = 0. Prin conventie toate constrangerile de tip egalitate sunt active. g2. 2. gp). 2. p) sunt continue (de obicei chiar de clasa C 2). consideram ca Ω este Rn sau presupunem ca punctele solutie sunt in interiorul lui Ω. . p. . j = 1. h2. . . . 2. Intocmai ca in cazul neconstrans. . j = 1. 2.

vom proceda la anumite adaugiri privitoare la modul de alegere al constrangerilor active. Ulterior. • Presupunand ca stim a priori care constrangeri sunt active in punctele solutie. Capitolul 6: Minimizare cu Constrangeri 113 Constrangeri . • Vom considera in continuare probleme avand numai constrangeri de tip egalitate pentru a economisi notatie si a izola principalele idei ce guverneaza problemele constranse.Observatii: • Constrangerile active intr–un punct fezabil restrang domeniul de fezabilitate intr-o vecinatate a lui x in timp ce cele inactive nu au nici o influenta (in vecinatatea lui x). punctul solutie va fi un minim local al problemei definita prin ignorarea constrangerilor inactive si tratarea tuturor constrangerilor active drept constrangeri de tip egalitate. In acest caz se poate considera ca problema are numai constrangeri de tip egalitate. • Principala noastra preocupare o constituie solutiile locale si vom da doar anumite scurte remarci privind solutiile globale.

2. i = 1. . intr-un sens ce va fi descris mai jos. (35) defineste o submultime a lui Rn numita o (hiper)suprafata. a ≤ t ≤ b. Plan Tangent Multimea de egalitati hi(x) = 0. atunci hipersuprafata este regulata si are dimensiune n − m. O curba x(t) trece printr–un punct x∗ daca x∗ = x(t∗) pentru un t∗ a. Daca egalitatile sunt regulate. . Curba diferentiabila x(t): Daca x(t) este diferentiabila in raport cu t (acesta este o functie vectoriala). Suprafata neteda: Daca functiile hi apartin lui C 1. . Pentru caracterizarea planului tangent la o curba (35) introducem urmatoarele definitii. . m). .i. m. a ≤ t∗ ≤ b. . (i = 1.2. . Capitolul 6: Minimizare cu Constrangeri 114 Plan Tangent . Curba pe suprafata S : O familie de puncte x(t) ∈ S parametrizate continuu de t. 2. . Plan tangent in punctul x∗: Multimea tuturor derivatelor in x∗ ale tuturor curbelor diferentiabile pe S care trec prin x∗ (acesta este un subspatiu a lui Rn).

hm(x∗) sunt liniar independenti. Intr-adevar. Alternativ. Fie h(x1. Planul tangent este independent de reprezentare in timp ce M nu este. Un punct x∗ care satisface constrangerea h(x∗) = 0 este numit regulat pentru respectiva constrangere daca vectorii gradient h1(x∗). x2) = 0. . Capitolul 6: Minimizare cu Constrangeri 115 Plan Tangent . Atunci h = 0 genereaza axa x2. Intr-un punct regulat x∗ pe suprafata definita de h(x) = 0 planul tangent este M = {y : h(x )y = 0}. si fiecare punct pe aceasta axa este regulat. . . x2) = x2 din nou S este axa x2 dar acum nici un punct 1 de pe axa nu este regulat. ∗ Observatie: Conditia de regularitate a unui punct nu este intrinseca suprafetei definita de constrangeri ci este specifica reprezentarii particulare in termenii lui h. in timp ce planul tangent este axa x2. Teorema 64. avem M = R2. .Definitia 63. daca h(x1. Exemplul 65.

Atunci exista λ ∈ Rm astfel incat f (x ) + λ ∗ T h(x ) = 0. Conditii Necesare de Ordinul Intai Lema 66.3. [Conditii necesare de ordinul intai] Fie x∗ un punct de extrem local al lui f cu constrangerile h(x) = 0. Aceasta lema arata ca f (x∗) este ortogonal la planul tangent ceea ce implica ca este o combinatie liniara a gradientilor lui h evaluati in x∗ (coeficientii acestei combinatii liniare sunt exact multiplicatorii Lagrange). Fie x∗ punct regulat al constrangerilor h(x) = 0 si punct de extrem local al lui f cu constrangerile h. Teorema 67. ∗ Capitolul 6: Minimizare cu Constrangeri 116 Conditii Necesare de Ordinul Intai . Atunci oricare ar fi y ∈ Rn care satisface h(x )y = 0 satisface deasemenea ∗ ∗ f (x )y = 0. Presupunem ca x∗ este un punct regulat pentru aceste constrangeri.

Deci in cazuri “nepatologice” conditiile necesare pot furniza o solutie unica ! In termenii Lagrangianului asociat cu problema constransa ∗ (x. λ) := f (x) + λ h(x) conditiile necesare pot fi exprimate in forma x λ T (x. Exemple – de discutat la Seminar – Capitolul 6: Minimizare cu Constrangeri 117 Conditii Necesare de Ordinul Intai .Observatie: Conditiile necesare de ordinul intai f (x ) + λ impreuna cu constrangerile ∗ T h(x ) = 0 ∗ h(x ) = 0 dau n + m ecuatii (in general neliniare) cu n + m variabile ce sunt componentele lui x∗ si λ. 4. λ) = = 0. 0. λ) (x.

Observatii: Pentru o functie vectoriala h = (h1. h ∈ C 2. Daca M = {y : h(x∗)y = 0} este planul tangent atunci matricea L(x ) = F (x ) + λ H(x ) este pozitiv semidefinita pe M adica ∗ ∗ T ∗ y L(x )y ≥ 0.5. Conditii de Ordinul Doi In aceasta sectiune presupunem ca f. [Conditii Necesare de Ordinul Doi] Presupunem ca x∗ este un minim local al lui f cu constrangerile h = 0 si este punct regulat al acestor constrangeri. . h2. . T ∗ ∀y ∈ M. hm) prima derivata este o matrice m × n h(x) := ∂hi(x) ∂xj 118 Conditii de Ordinul Doi Capitolul 6: Minimizare cu Constrangeri . Teorema 68. . . Atunci exista λ ∈ Rm astfel incat ∗ T ∗ f (x ) + λ h(x ) = 0.

Teorema 69.iar a doua derivata este un tensor tridimensional definit in termenii celor m Hessieni H1(x). avem y T L(x∗)y > 0. ∗ L(x ) = F (x ) + λ H(x ) este pozitiv definita pe M = {y : h(x∗)y = 0}. . adica pentru y ∈ M . ∗ ∗ T ∗ Capitolul 6: Minimizare cu Constrangeri 119 Conditii de Ordinul Doi . . y = 0. . Atunci x∗ este un minim local strict al lui f cu constrangerile h(x) = 0. . Hm(x) corespunzatori celor m componente ale functiei. [Conditii Suficiente de Ordinul Doi] Presupunem ca exista un punct x∗ care satisface h(x∗) = 0 si un λ ∈ Rn astfel incat f (x ) + λ Sa presupunem deasemenea ca matricea ∗ T h(x ) = 0. Avem deasemenea ca gradientul lui λT h(x) este λT h(x) iar Hessianul este m λ H(x) := i=1 T λiHi(x).

valorile proprii corespunzatoare ale lui L restrictionate la M (notam acest operator cu LM ) determina rata de convergenta a algoritmilor corespunzatori. Valori Proprii in Subspatiul Tangent Matricea L restrictionata la subspatiul M care este tangent la suprafata definita de constrangeri joaca in cadrul conditiilor de ordin doi un rol similar cu cel jucat de Hessianul functiei obiectiv in cazul fara constrangeri. en−m o baza ortonormala pentru M si E matricea baza corespunzatoare de dimensiune n × (n − m). ∀y ∈ M. Mai mult. . 120 Valori Proprii in Subspatiul Tangent . y este un vector propriu daca Ly poate fi scris ca suma intre λy si un vector ortogonal pe M . si λ este atunci o valoare proprie. i. Definim LM : M → M prin LM (y) := proiectia lui Ly pe M . Un vector y ∈ M este un vector propriu al lui LM daca exista un numar real λ astfel incat LM y = λy . In particular.6. a. . . Reprezentare matriciala pentru LM : Fie e1. Aceasta este o aplicatie liniara din M in M . e2. ∃z ∈ R Capitolul 6: Minimizare cu Constrangeri n−m . y = Ez. .

Valorile proprii ale lui L restrictionat la M sunt exact valorile proprii ale lui E T LE si acestea sunt independente de matricea baza ortogonala E . matricea de dimensiune (n − m) × (n − m) E T LE este reprezentarea matriceala a lui L restrictionat la M . x este un vector propriu al lui LM daca satisface urmatoarele doua conditii: 1. h w. 2. x ∈ M . w∈R m (necesitatea este mai greu de aratat). in mod corespunzator. Hessieni Bordati Abordarea de mai sus pentru determinarea valorilor proprii ale lui LM este simpla si directa.Prin urmare E T LEz este vectorul ale carui componente dau reprezentarea in termenii bazei si. Vom da intai cateva caracterizari : M = {x ∈ R : z⊥M ⇔z= T n hx = 0}. Capitolul 6: Minimizare cu Constrangeri 121 Valori Proprii in Subspatiul Tangent . unde z ⊥ M . Putem insa considera si o alta abordare utila bazata pe constructia unor matrici si determinanti de ordin n + m in loc de n − m. Lx = λx + z . In plus.

i. det O − hT h L − λI ≡ p(λ) = 0. Observati ca p(λ) este un polinom in λ de grad n − m. Prin modul de obtinere el este si polinomul caracteristic al lui LM . O hT h L Capitolul 6: Minimizare cu Constrangeri 122 Valori Proprii in Subspatiul Tangent . [Hessian Bordat] Matricea L este pozitiv definita pe subspatiul M = {x : hx = 0} daca si numai daca ultimii n − m minori principali ai lui B= au toti semnul (−1)m. x. Obtinem urmatorul criteriu: Teorema 70..e.Acestea sunt echivalente in termenii lui z cu hx Lx = = 0 λx + hT w care este un sistem de n + m ecuatii liniare in necunoscutele w. Acesta are o solutie nenula daca si numai daca determinantul este zero.

Definitia 71.7. Constrangeri de Tip Inegalitate Consideram acum probleme de forma cu minimizeaza f (x) h(x) = 0. h. (36) unde f . Atunci x∗ este numit un punct regulat al constrangerilor daca vectorii gradient hi(x∗). 1 ≤ i ≤ m. Atunci exista un vector λ ∈ Rn si un Capitolul 6: Minimizare cu Constrangeri 123 Constrangeri de Tip Inegalitate . g(x) ≤ 0. [Kuhn–Tucker] Fie x∗ un punct de minim relativ pentru problema (36) si presupunem ca x∗ este un punct regulat pentru constrangeri. g sunt de clasa C 1 iar g este o functie p–dimensionala. ∗ g(x ) ≤ 0 ∗ si fie J multimea indicilor j pentru care gj (x∗) = 0. Fie x∗ un punct ce satisface constrangerile h(x ) = 0. gj (x∗). Teorema 72. j ∈ J sunt liniar independenti.

g ∈ C 2. 0. [Conditii Suficiente de Ordinul Doi] Fie f. 0. h. (37) este adevarata si astfel incat L(x ) = F (x ) + λ H(x ) + µ G(x ) este pozitiv semidefinita pe subspatiul tangent al constrangerilor active in x∗. g ∈ C 2. astfel incat f (x∗) + λT h(x∗) + µT g(x∗) µT g(x∗) = = 0. [Conditii Necesare de Ordinul Doi] Presupunem ca functiile f. 0. cu µ ≥ 0. x∗ este un minim local pentru (36) si este punct regulat al respectivelor constrangeri.vector µ ∈ Rp. h. µ ∈ Rp. Constrangeri de Tip Inegalitate . Atunci exista λ ∈ Rm. (37) Teorema 73.i. i. µ µT g(x∗) h(x∗) + µT g(x∗) 124 f (x∗) + λT Capitolul 6: Minimizare cu Constrangeri ≥ = = 0. µ ≥ 0 a. x∗ satisfacand constrangerile (36) este un punct de minim relativ in sens strict daca au loc conditiile : ∗ ∗ T ∗ T ∗ • Exista λ ∈ Rm si µ ∈ Rp a. Teorema 74.

∀j ∈ J} ∗ J = {j : gj (x ) = 0.• Hessianul L(x ) = F (x ) + λ H(x ) + µ G(x ) este pozitiv definit pe subspatiul M = {y : unde h(x )y = 0. CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 125 . ∗ ∗ ∗ ∗ T ∗ T ∗ gj (x )y = 0. µj > 0}.

Capitolul 7: MINIMIZARE CU CONSTRANGERI – PRINCIPII GENERALE ALE ALGORITMILOR Introducere Metode Primale Metoda de Penalizare si Bariera Metode Duale si de Plan Secant Metode de Tip Lagrange CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 126 .

cu toate ca diversii algoritmi difera substantial in motivatie. In general. m sau n + m. n. exista puternice interconexiuni intre diversele metode atat in forma finala in care se implementeaza algoritmul cat si in performantele specifice. problema de optimizare cu constrangeri este intotdeauna redusa la una fara constrangeri. Aceste patru clase de metode isi au fundamentul in diverse parti ale teoriei prezentate in capitolul anterior. In orice caz. Pe scurt. CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 127 Introducere . in final sunt guvernati de un set comun de principii. Exista diverse metode de rezolvare a acestei probleme ce lucreaza in spatii de dimensiune n − m. cea din urma rezolvandu-se printr-o modificare oarecare a unuia dintre algoritmii cunoscuti.1. Cele patru clase de metode amintite mai sus corespund unei scheme de clasificare ce are in vedere multimea pe care se face efectiv cautarea minimului. rata de convergenta a algoritmilor cei mai mai buni dpdv practic este determinata de structura Hessianului Lagrangianului intocmai precum structura Hessianului functiei obiectiv determina rata de convergenta in multe metode pentru probleme fara constrangeri. De exemplu. Consideram o problema de minimizare a unei functii de n variabile si avand m constrangeri. Introducere In acest capitol vom da o descriere foarte sumara a principiilor ce guverneaza algoritmii in cazul optimizarilor cu constrangeri.

2. g(x) ≤ 0. O metoda primala este o metoda de cautare care actioneaza direct pe functia originala cautand solutia optimala intr–o regiune fezabila. Pentru o problema cu n variabile si avand m constrangeri de tip egalitate. g si h au dimensiunile egale cu 1. unde x este de dimensiune n. Prin urmare. h(x) = 0. p si m. Avantajele principale: • Fiecare punct generat de metoda este fezabil. Metodele primale rezolva problema prin minimizarea lui f in regiunea din Rn definita de constrangeri. Metode Primale Consideram problema cu min f (x). in timp ce f . metodele primale actioneaza in spatiul fezabil care are dimensiune n − m. Fiecare punct curent este fezabil iar valoarea functiei obiectiv descreste continuu. punctul final (la care se termina cautarea) este fezabil si probabil aproape optimal reprezentand prin urmare o solutie acceptabila a problemei practice ce a motivat programarea neliniara. CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 128 Metode Primale .

convergenta globala este cel mai adesea satisfacatoare pentru aceste metode. sunt simple si general aplicabile. • Cele mai multe dintre metodele din aceasta clasa nu se bazeaza pe structura particulara a problemei.• Cel mai adesea. precum ar fi convexitatea. Mai precis. Dezavantaje majore: • Aceste metode necesita o procedura preliminara pentru a obtine un punct fezabil initial. Exista doua clase de metode primale: • Metode de directii fezabile • Metode de constrangeri active CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 129 Metode Primale . Mai mult. si prin urmare sunt aplicabile problemelor generale de programare neliniara. se poate garanta ca daca metoda genereaza un sir convergent atunci punctul limita al sirului este cel putin un minim local cu constrangeri. Concluzii: Ratele de convergenta sunt relativ bune si pentru constrangeri liniare metodele primale sunt dintre cele mai eficiente. • Anumite metode pot sa nu convearga daca nu sunt luate anumite precautii speciale. • Apar dificultati majore de calcul intrucat trebuie sa ramanem permanent in regiunea fezabila.

Metode de directii fezabile Ideea este ca respectiva cautare sa fie facuta intr-o regiune fezabila de forma xk+1 = xk + αk dk . Prin urmare. unde dk este o directie si αk un scalar nenegativ. Prin urmare trebuie sau sa relaxam cerinta de fezabilitate permitand ca punctele de cautare sa poata devia usor de la suprafata determinata de constrangeri sau sa introducem deplasari de–alungul unor curbe pe suprafata determinata de constrangeri. CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 130 Metode Primale . un intreg segment xk + αdk . α > 0. • In forma lor pura majoritatea metodelor de directii fezabile nu sunt global convergente. trebuie sa fie continut in regiunea fezabila. Deci fiecare pas este o compunere de doi subpasi: • Se alege o directie fezabila • Se executa o cautare unidimensionala cu constrangeri Dezavantaje: • Pentru probleme generale este posibil sa nu existe nici o directie fezabila. sa minimizeze functia obiectiv f cu restrictia ca punctul xk+1 si segmentul de dreapta ce uneste xk si xk+1 sa fie fezabile.i. Scalarul se alege a.

Algoritmul se deplaseaza pe suprafata definita de multimea de lucru spre un punct mai apropiat de solutie. Deci metoda constrangerilor active consta in urmatoarele etape: • Determinarea unei multimi de lucru curente care este o submultime a constrangerilor active . • Deplasarea pe suprafata definita de multimea de lucru curenta spre un punct superior (calitativ).Metode de Constrangeri Active Ideea centrala a acestor metode este sa impartim constrangerile de tip inegalitate in doua grupe: unele tratate drept constrangeri active iar altele care sunt tratate drept inactive. Prin urmare punctul curent este fezabil pentru multimea de lucru. Multimea de lucru este intotdeauna o submultime a constrangerilor active in punctul curent. Cele inactive sunt ignorate ! La fiecare pas al unui algoritm se defineste o multime de constrangeri numite multimea curenta (sau de lucru) si care sunt tratate drept active. In noul punct multimea de lucru se poate schimba. CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 131 Metode Primale . Directia de deplasare este in general determinata de aproximarile de odinul intai si ordinul doi ale functiilor in punctul curent intr-un mod asemanator ca pentru cazul neconstrans.

CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 132 Metode de Penalizare si Bariera . Pentru metodele de penalizare aproximarea este realizata prin adaugarea la functia obiectiv a unui termen ce are o valoare mare atunci cand constrangerile sunt violate. Cand c → ∞ aproximarea devine din ce in ce mai exacta si exista si anumite functii de penalizare care dau solutii exacte pentru valori finite ale parametrului. metodele de penalizare si bariera actioneaza direct in spatiul n–dimensional al variabilelor. Metode de Penalizare si Bariera Acestea sunt proceduri care aproximeaza problemele de optimizare cu constrangeri prin probleme fara constrangeri. Pentru metodele de bariera se adauga un termen ce favorizeaza punctele interioare regiunii fezabile in raport cu cele de pe frontiera. Mai precis. Pentru o problema cu n variabile si m constrangeri.3. Exista doua chestiuni fundamentale care trebuie considerate: • Cat de bine aproximeaza problema neconstransa problema originala. In aceste metode intervine un parametru c care determina severitatea penalizarii sau barierei si indica gradul in care problema neconstransa aproximeaza problema originala constransa. trebuie vazut daca pe masura ce c este crescut spre infinit solutia problemei neconstranse converge la solutia problemei originale constranse.

CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 133 Metode de Penalizare si Bariera . 2. trebuie sa deducem proceduri de accelerare pentru a evita aceasta convergenta lenta.• Cum poate fi rezolvata o problema neconstransa atunci cand functia obiectiv contine un termen de penalizare sau bariera. Prin urmare. analizand acest fenomen rezulta ca pe masura ce c este crescut (pentru a obtine o buna aproximare). ∀x ∈ Rn. (ii) P (x) ≥ 0. ck+1 > ck . . ck ≥ 0. Metode de Penalizare Consideram problema minimizeaza f (x) (38) unde x∈S unde f este continua in Rn si S este o multime in Rn. In majoritatea aplicatiilor S este definita implicit printr-un numar de constrangeri functionale dar aici putem considera direct cazul general. . k = 1. Ideea metodei de penalizare este sa inlocuim problema (38) cu o problema neconstransa de forma minimizeaza f (x) + cP (x) (39) unde c este o constanta pozitiva si P este o functie definita pe Rn care satisface: (i) P este continua. Procedura pentru rezolvarea problemei (38) prin metoda de penalizare este urmatoarea: Fie {ck }. un sir care tinde la infinit astfel incat pentru fiecare k. (iii) P (x) = 0 daca si numai daca x ∈ S . . structura corespunzatoare a problemei neconstranse devine progresiv mai nefavorabila incetinind prin urmare rata de convergenta.

Aceasta este adevarat in particular atunci cand q(c. In general. Metode de Bariera Metodele de bariera sunt aplicabile problemelor de forma unde minimizeaza f (x) x∈S (41) unde S are un interior nevid care este oricat de aproape de orice punct al lui S . O astfel de multime se numeste robusta. aceasta inseamna ca multimea are un interior si este posibil sa ajungem la orice punct de frontiera cu puncte din interior. x) := f (x) + cP (x). O functie bariera este o functie B definita pe interiorul lui S CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 134 Metode de Penalizare si Bariera .Definim functia q(c. Pentru fiecare k rezolvam problema minimizeaza q(ck . x) (40) obtinand o solutie xk . presupunem ca pentru fiecare k problema (40) are o solutie. Metodele de bariera stabilesc o bariera pe frontiera multimii fezabile care impiedica procedura de cautare sa paraseasca multimea. Intuitiv. x) creste nemarginit pentru |x| → ∞.

k = 1. (ii) B(x) ≥ 0. din punct de vedere procedural este neconstransa. Metoda lucreaza in modul urmator: Fie ck un sir care tinde la infinit astfel incat pentru orice k. Pentru a gasi solutia pornim cu un punct initial interior si folosim ulterior metoda celei mai abrupte pante sau alta procedura de cautare iterativa pentru probleme neconstranse. Corespunzator problemei (41) consideram problema aproximativa unde minimizeaza f (x) + 1 B(x) c x ∈ interiorul lui S (42) unde c este o constanta pozitiva. . . Definim functia 1 r(c.. Aceasta problema este oarecum mai complicata decat problema originala dar poate fi rezolvata printr-o metoda de cautare fara constrangeri.astfel incat (i) B este continua. (iii) B(x) → ∞ pe masura ce x se apropie de frontiera lui S . ck ≥ 0. . Deorece valoarea functiei tinde la infinit in apropierea frontierei lui S . 2. ck+1 > ck . cu toate ca problema (42) este din punct de vedere formal o problema constransa. c CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri 135 Metode de Penalizare si Bariera . x) = f (x) + B(x). procedura de cautare va ramane automat in interiorul lui S si nu mai trebuie sa tinem seama explicit de constrangere. Astfel.

Pentru fiecare k rezolvam problema

unde

minimizeaza r(ck , x) x ∈ interiorul lui S

si obtinem punctul xk . Pentru metodele de penalizare si bariera avem urmatorul rezultat: Teorema 75. Orice punct limita al unui sir generat de metoda de penalizare sau bariera este o solutie a problemei originale (38).

CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri

136

Metode de Penalizare si Bariera

4. Metode Duale si de Plan Secant

Metodele Duale sunt bazate pe faptul ca multiplicatorii Lagrange sunt necunoscutele fundamentale asociate cu problema constransa; indata ce acesti multiplicatori sunt determinati, gasirea punctelor solutie este simpla (cel putin in anumite cazuri particulare). Tehnicile duale nu abordeaza problema originala constransa in mod direct ci abordeaza o asa numita problema duala ale carei necunoscute sunt multiplicatorii Lagrange ai primei probleme. Pentru o functie obiectiv cu n variabile si m constrangeri de tip egalitate metodele duale fac cautarea in spatiul m dimensional al multiplicatorilor Lagrange. Metodele de plan secant determina o serie de programe liniare din ce in ce mai bune a caror solutie converge la solutia problemei originale. Aceste metode sunt adesea foarte usor de implementat dar teoria asociata lor nu este foarte bine dezvoltata si proprietatile lor de convergenta nu sunt foarte atractive.

CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri

137

Metode Duale si de Plan Secant

5. Metode Lagrange

Aceste metode sunt bazate pe rezolvarea directa a conditiilor necesare de ordinul intai de tip Lagrange. Pentru probleme cu constrangeri de tip egalitate

cu

minimizeaza f (x) h(x) = 0

unde x este n–dimensional si h(x) este m–dimensional, aceasta abordare conduce la rezolvarea unui sistem de ecuatii f (x) + λT h(x) = 0, h(x) = 0, in necunoscutele x si λ. Multimea conditiilor necesare este un sistem de n + m ecuatii in n + m necunoscute (componentele lui x si λ). Aceste metode lucreaza intr-un spatiu (n+m)–dimensional.

CAPITOLUL 7: Principii Generale ale Algoritmilor cu Constrangeri

138

Metode Lagrange

Tehnici de Optimizare (Partea a–II–a: Programare Liniara)

Cristian OARA Facultatea de Automatica si Calculatoare Universitatea Politehnica Bucuresti Splaiul Independentei 313, Bucuresti, Romania Fax: + 40 21 3234 234 Email: oara@riccati.pub.ro

CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare

139

Capitolul 8: PROPRIETATI DE BAZA ALE PROGRAMARII LINIARE

Introducere Exemple de Probleme de Programare Liniara Teorema Fundamentala a Programarii Liniare Relatii cu Convexitatea Exercitii

CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare

140

1. Introducere
In acest capitol dam o descriere a principiilor ce guverneaza problemele de programare (optimizare) liniara cu constrangeri. Problema de programare liniara : problema matematica in care functia obiectiv este liniara in necunoscute si constrangerile constau din egalitati liniare si inegalitati liniare (Totul este liniar !). Forma concreta a inegalitatilor poate in general diferi dar, asa cum vom arata putin mai tarziu, orice program liniar se poate aduce in urmatoarea forma standard:

minimizati atunci cand

si

c1x1 + c2x2 + · · · + cnxn a11x1 + a12x2 + · · · + a1nxn = b1 a21x1 + a22x2 + · · · + a2nxn = b2 . . . . . . am1x1 + am2x2 + · · · + amnxn = bm x1 ≥ 0, x2 ≥ 0, . . . , xn ≥ 0,

(43)

unde bi, ci si aij sunt constante reale fixate si xj sunt numere reale ce trebuie determinate. Fara a restrange generalitatea, presupunem intotdeauna ca bi ≥ 0 (printr-o eventuala multiplicare a fiecarei ecuatii cu -1 !).
CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 141 Introducere

. . . . . Problema se CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 142 Introducere . cT este un vector n–dimensional (linie). xn ≥ 0 in care multimea constrangerilor este determinata in totalitate de inegalitati liniare. A este o matrice de dimensiune m × n. Consideram problema minimizati atunci cand si c1x1 + c2x2 + · · · + cnxn a11x1 + a12x2 + · · · + a1nxn ≤ b1 a21x1 + a22x2 + · · · + a2nxn ≤ b2 . . am1x1 + am2x2 + · · · + amnxn ≤ bm x1 ≥ 0. Multe alte forme aparent diverse de programe liniare pot fi convertite in forma standard: Exemplul 76. b este un vector m–dimensional (coloana) iar inegalitatea vectoriala x ≥ 0 inseamna ca fiecare componenta in parte a lui x este semipozitiva (mai mare sau egala cu zero). . x2 ≥ 0. . .Relatiile (43) se pot rescrie compact in forma minimizati atunci cand cT x Ax = b si x ≥ 0 (44) in care x este un vector n–dimensional (coloana).

. . . . .e. sunt de tipul ai1x1 + ai2x2 + . x2 ≥ 0. atunci aceasta este echivalenta cu ai1x1 + ai2x2 + . xn. ym este in forma standard iar matricea de tip “A” ce descrie acum multimea de constrangeri de tip egalitate are forma speciala A I . . . . xn ≥ 0. y1 ≥ 0. . si yi ≥ 0. . . . . Aceasta noua problema considerata in n + m necunoscute x1. . y2 ≥ 0. . .poate exprima alternativ sub forma minimizati atunci cand si si c1x1 + c2x2 + · · · + cnxn a11x1 + a12x2 + · · · + a1nxn + y1 = b1 a21x1 + a22x2 + · · · + a2nxn + y2 = b2 . . . Exemplul 77. . . . y1. + ainxn − yi = bi. + ainxn ≥ bi). . Din Exemplele 1 si 2 este clar ca prin multiplicare cu -1 si introducerea unor variabile suplimentare CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 143 Introducere . ym ≥ 0. . . Daca inegalitatile liniare de la Exemplul 1 sunt reversate (i. am1x1 + am2x2 + · · · + amnxn + ym = bm x1 ≥ 0.

. . de exemplu ai1x1 + ai2x2 + . . CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 144 Introducere . . Sa presupunem ca in (43) x1 ≥ 0 nu apare si atunci x1 este libera sa ia valori arbitrare (pozitive sau negative). Aceeasi problema – o alta metoda ! O alta abordare in rezolvarea problemei 3 cand x1 nu este constrans ca semn este sa–l eliminam pe x1 impreuna cu una dintre ecuatiile de constrangere. v1. . Fie un program liniar dat in forma standard cu exceptia faptului ca una sau mai multe variabile necunoscute nu trebuie sa fie semipozitive (ci arbitrare).orice set de inegalitati liniare se poate converti la o forma standard constrangand corespunzator variabilele necunoscute (de tip yi) sa fie semipozitive ! Exemplul 78. Fie x1 = u1 − v1 (45) in care cerem ca u1 ≥ 0 si v1 ≥ 0. xn trebuie sa fie semipozitive (deci din nou un program standard). Substituind u1 − v1 in locul lui x1 peste tot in (43) obtinem ca liniaritatea constrangerilor se pastreaza si acum toate cele n + 1 variabile u1. Problema se transforma intr–una standard prin metoda urmatoare. x2. . Este usor de observat aparitia unei redundante introduse de aceasta tehnica (o constanta aditiva !). + ainxn = bi (46) (singura cerinta este ca aceasta ecuatie sa aibe ai1 – coeficientul lui x1 – nenul). Exemplul 79.

Schema de lucru prevede rezolvarea acestui din urma program si obtinerea in final a lui x1 pe baza ecuatiei eliminate (46). . Se obtine o noua problema de acelasi tip cu cea originala in necunoscutele x2. . Fie programul minimizati atunci cand si x1 + 3x2 + 4x3 x1 + 2x2 + x3 = 5 2x1 + 3x2 + x3 = 6 x2 ≥ 0. . expresie ce se inlocuieste peste tot in (43). Exemplul 80. . rezolvam prima constrangere obtinand x1 = 5 − 2x2 − x3 (47) care inlocuit in functia obiectiv si intr–a doua constrangere genereaza problema echivalenta in forma CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 145 Introducere . Deoarece x1 este liber. x3 ≥ 0. Dam un exemplu de aplicare a tehnicii de mai sus. x3. xn iar ecuatia i devine identic zero si deci se poate elimina.Din aceasta ecuatie x1 se poate exprima ca o combinatie liniara de celelalte variabile + o constanta.

standard minimizati x2 + 3x3 + 5 atunci cand x2 + x3 = 4 si x2 ≥ 0. CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 146 Introducere . x3 ≥ 0. Dupa ce se rezolva aceasta problema (avand solutia x2 = 4. x3 = 0). valoarea lui x1 = −3 se obtine din ecuatia (47).

. . a2. Problema este atunci sa selectam xi care n minimizeaza costul total i=1 ci xi atunci cand avem constrangerile nutritionale a11x1 + a12x2 + · · · + a1nxn ≥ b1 a21x1 + a22x2 + · · · + a2nxn ≥ b2 . . . am dintr-un produs depozitat in m locatii astfel incat sa ajunga in final cantitatile b1. . Exemplul 82. . xn ≥ 0. . . b2. . fiecare aliment contine aji unitati din elementul nutritional j . si exista m ingrediente nutritionale de baza pe care fiecare om trebuie sa le consume intr-o cantitate de minim bj unitati (din elementul j ). . . . x2 ≥ 0. asupra cantitatilor de alimente. Exemple de Probleme de Programare Liniara Exemplul 81. am1x1 + am2x2 + · · · + amnxn ≥ bm si constrangerile x1 ≥ 0. bn la fiecare CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 147 Exemple . Fie xi numarul de unitati din alimentul i din dieta.2. . [Problema transportului] Trebuie livrate cantitatile a1. . . . [Problema dietei economice] Se pune problema sa determinam o dieta cat mai economica care sa acopere insa in totalitate substantele nutritive necesare organismului uman – problema tipica de alocat resurse pentru dieteticianul unei mari armate ! Ipotezele sunt: exista pe piata n alimente care se vand la pretul ci per bucata. . In plus.

. . Problema de transport este deci o problema de programare liniara in mn variabile. . Ecuatille ce descriu constrangerile se pot pune in forma uzuala rezultand o matrice de dimensiune (m + n) × mn avand drept elemente 0 si 1 ! Exemplul 83. 2. pentru j = 1. [Problema de productie] Presupunem ca avem o unitate industriala ce efectueaza n activitati productive si fiecare activitate productiva consta in obtinerea a diverse cantitati din m produse distincte. Fiecare activitate productiva se poate efectua la orice nivel xi ≥ 0 dar cand este operata la nivel unitar activitatea i costa ci si produce aji unitati din produsul j . . [Problema de depozitare] – De Discutat la Seminar – CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 148 Exemple . de produse finite ce trebuie obtinut este specificat prin b1. j = 1. 2. . n. . m.dintre cele n destinatii finale. m. xij ≥ 0. . Presupunem liniaritatea unitatii industriale. Problema de minimizat se formuleaza precum urmeaza minimizati atunci cand cij xij pentru i = 1. . n. . . 2. . Programul liniar se sintetizeaza prin (43) ! Exemplul 84. j xij = ai . Se cere obtinerea cantitatilor xij ce trebuie transportate de i la j astfel incat sa se minimizeze costul transportului. Nr. . . . . Costul de a transporta o unitate de produs de la locatia initiala i la cea finala j este de cij . b2. . i xij = bj . . . pentru i = 1. . bm si le dorim produse la un cost minim. 2. . ij m n Pentru consistenta problemei trebuie ca i=1 ai = j=1 bj (cantitatea trimisa este egala cu cantitatea receptionata).

Observatia 86. Fie B orice m × m matrice nesingulara (numita si matrice baza) formata din coloane ale lui A. Atunci x se numeste solutie fundamentala a ecuatiei (48) in raport cu baza B iar componentele sale asociate cu coloanele lui B sunt numite variabile fundamentale.3. fie xb unica solutie a ecuatiei Bxb = b si x ∈ Rn obtinuta extinzand xb cu zerouri corespunzatoare componentelor ce nu sunt asociate coloanelor lui B . Ratiunea introducerii acestei ipoteze sta in alte doua presupuneri naturale: • Sunt mai multe variabile decat ecuatii (avem unde optimiza !!!) • Ecuatiile sunt liniar independente (problema are solutie si nu are ecuatii redundante !!! ) Definitia 85. b∈R m (48) au matricea A surjectiva ( m linii liniar independente (≤ n)). Sub ipoteza fundamentala facuta sistemul (48) are intotdeauna o solutie si cel putin o solutie fundamentala ! Solutiile fundamentale nu sunt neaparat nenule ! CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 149 Teorema Fundamentala a Programarii Liniare . A∈R m×n . Teorema Fundamentala a Programarii Liniare Ipoteza fundamentala (implicita): Constrangerile de tip egalitate Ax = b.

Teorema centrala a programarii liniare pune in evidenta caracterul primordial jucat de solutiile fundamentale fezabile. Vectorul x satisfacand (49) se numeste fezabil. Observatia 88. (49) Definitia 89. Intr-o solutie fundamentala nedegenerata se pot deosebi imediat variabilele fundamentale de celelalte (pozitiv vs.Definitia 87. zero) pe cand in cele degenerate variabilele fundamentale nule se pot interschimba cu cele nefundamentale ! Consideram in continuare sistemul complet de constrangeri al unui program liniar Ax = b. x ≥ 0. Esentialmente. teorema afirma ca este necesar sa consideram doar solutii fundamentale fezabile atunci cand cautam optimul unui program liniar pentru ca valoarea optima este intotdeauna obtinuta intr-o astfel de solutie ! CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 150 Teorema Fundamentala a Programarii Liniare . Deci putem avea solutii fundamentale fezabile si nefezabile. Daca o solutie fundamentala are macar una dintre variabilele fundamentale nule atunci solutia se numeste degenerata. si o solutie fundamentala fezabila poate fi degenerata sau nu.

Corespunzator unui program in forma standard minimizati atunci cand cT x Ax = b si x ≥ 0 (50) o solutie fezabila a constrangerilor ce atinge minimul functiei obiectiv cu aceste constrangeri se numeste solutie fezabila optimala. Daca aceasta solutie este in plus fundamentala atunci atunci se numeste solutie fundamentala fezabila optimala ! Teorema 90. • Daca exista o solutie fezabila optimala atunci exista si o solutie fundamentala fezabila optimala. • Daca exista o solutie fezabila atunci exista si o solutie fundamentala fezabila. Teorema reduce sarcina complexa de a rezolva o problema de programare linara la aceea de a cauta in submultimea solutiilor fundamentale fezabile care este considerabil mai ieftina decat sarcina originala intrucat avem cel mult Cn = CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare m n! m!(n − m)! 151 Teorema Fundamentala a Programarii Liniare . [Teorema fundamentala a programarii liniare] Fie A o m×n matrice surjectiva si fie (50) programul liniar asociat. Observatia 91.

solutii fundamentale (corespunzatoare modalitatilor diverse de a alege m coloane din n coloane). CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 152 Teorema Fundamentala a Programarii Liniare . Prin urmare sarcina calculatorie se termina intr-un numar finit de pasi (chiar daca mare) prin intermediul unui algoritm foarte simplu dar extrem de ineficient ! O metoda eficienta de calcul – numita simplex – este prezenta in capitolul urmator.

Un punct x apartinand unei multimi convexe C se numeste punct extrem al lui C daca nu exista doua puncte distincte x1 si x2 in C a. Teorema 93. x = αx1 + (1 − α)x2 pentru un α. 0 < α < 1.i. [Echivalenta punctelor extreme si a solutiilor fundamentale] Fie A o m × n matrice surjectiva si b ∈ Rm. Principala legatura intre proprietatile algebrice si cele geometrice consta in relatia formala dintre solutiile fundamentale fezabile ale inegalitatilor liniare si punctele extreme ale varietatilor liniare (politop).4. Definitia 92. (51) Atunci x este un punct extrem al lui K daca si numai daca x este solutie fundamentala fezabila a lui (51). CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 153 Relatii cu Convexitatea . Fie K politopul convex constand din toti vectorii x ∈ Rn satisfacand Ax = b. x ≥ 0. Relatii cu Convexitatea Principalele rezultate prezentate anterior au interpretari deosebit de interesante in termenii teoriei multimilor convexe si proprietatilor asociate.

Multimea constransa K definita de (51) are cel mult un numar finit de puncte In final. Daca o problema de programare liniara are o solutie finita optimala atunci are si o solutie finita optimala care este un punct extrem al multimii constrangerilor. x1 ≥ 0. K consta din puncte ce sunt combinatii convexe ale unui numar finit de puncte. atunci K este un poliedru convex.. x3 ≥ 0 CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 154 Relatii cu Convexitatea . prezentam un caz special ce este caracteristic problemelor de programare liniara bine formulate: K este nevid si marginit. Daca politopul K definit de (51) este marginit. Exemplul 98. Corolarul 96. i. Corolarul 94. Corolarul 97.e. x2 ≥ 0. extrem.Aceasta corespondenta ne permite sa demonstram cateva proprietati geometrice ale unui politop convex definit de constrangerile unui program liniar. Daca politopul corespunzator lui (51) este nevid atunci are cel putin un punct Corolarul 95. Consideram multimea constransa in R3 definita de x1 + x2 + x3 = 1. extreme.

si ilustrata in Figura 1. x3 x1 x2 Figura 1: Multimea Fezabila ptr. x2 ≥ 0. corespunzand celor C3 = 3 solutii fundamentale ale lui x1 + x2 + x3 = 1. x3 ≥ 0 si ilustrata in Figura 2. x1 ≥ 0. Exemplul 98 2 Aceasta multime are trei puncte extreme. Consideram multimea constransa in R3 definita de x1 + x2 + x3 = 1. CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 155 Relatii cu Convexitatea . 2x1 + 3x2 = 1. Exemplul 99.

1 1 ( . −1. ). 0. Exemplul 99 Aceasta multime are doua puncte extreme corespunzand celor doua solutii fundamentale fezabile.x3 x1 x2 Figura 2: Multimea Fezabila ptr. Observati deasemenea ca sistemul de ecuatii are trei solutii fundamentale (2. ). 3 3 din care insa prima nu este fezabila ! CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 156 Relatii cu Convexitatea . 2 2 1 2 (0. . 0).

x2 ≥ 0 si ilustrata in Figura 3. x1 ≥ 0. x2 2 x5=0 1 x4 x3=0 0 = x1=0 x2=0 1 2 x1 Figura 3: Multimea Fezabila ptr Exemplul 100 CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 157 Relatii cu Convexitatea . 2x1 ≤ 3. 3 x1 + x2 ≤ 2. Consideram multimea constransa in R2 definita de x1 + 8 x2 ≤ 4.Exemplul 100.

CAPITOLUL 8: Proprietati de Baza ale Programarii Liniare 158 Relatii cu Convexitatea . Solutiile fundamentale pentru acest sistem se obtin punand oricare doua variabile egale cu zero si 3 rezolvand pentru obtinerea celorlalte trei. x4 ≥ 0. 3 x1 + x2 + x4 = 2. Pentru a compara acest exemplu cu rezultatele generale obtinute pana acum aplicam procedura de transformare introdusa in Exemplul 1 din Sectiunea 1 obtinand in final multimea echivalenta in R5 x1 + 8 x2 + x3 = 4. x2 ≥ 0. Ilustram acest fapt pe constrangerile din exemplul precedent avand functia de minimizat −2x1 − x2. x1 ≥ 0. laturile poligonului corespund unei variabile egale cu zero iar colturile (punctele extreme) sunt punctele in care doua variabile sunt egale cu zero.Prin inspectie vizuala observam ca aceasta multime are 5 puncte extreme. 2x1 + x5 = 3. Exemplul 101. Dintre acestea doar 5 sunt fezabile corespunzand celor 5 colturi ale poligonului din Figura 3. Alternativ. Multimea punctelor satisfacand −2x1 − x2 = z pentru z fixat este o dreapta. in total un numar de C5 = 10 combinatii. x5 ≥ 0. Ultimul exemplu indica ca si atunci cand nu sunt exprimate in forma standard. x3 ≥ 0. punctele extreme ale multimii definite de constrangerile unui program liniar corespunde posibilelor puncte solutie. Cand z variaza se obtin diverse drepte paralele asa cum este prezentat in Figura 4.

5 z=-1 2 z=-2 1 1 2 x1 Figura 4: Solutia extrema Valoarea optimala a problemei de programare liniara este cea mai mica valoare a lui z pentru care dreapta respectiva are un punct in comun cu multimea fezabila. macar in doua dimensiuni. Este clar. 1 ) cu z = −3 1 ! 2 2 2 CAPITOLUL 9: Metoda Simplex 159 . ca punctele solutie vor include intotdeauna un punct extrem ! Observati din figura ca aceasta se intampla in punctul ( 3 .x2 z=-1.

schimbam punctul de vedere si ne concentram asupra unei viziuni matriceale ce conduce la o reprezentare compacta a metodei simplex cat si la metode alternative de implementare. In ultimele sectiuni ale capitolului. In primele cinci sectiuni ale capitolului dam o descriere detaliata a metodei simplex pornind de la o examinare atenta a sistemului de ecuatii liniare ce defineste constrangerile. Teorema programarii liniare din capitolul precedent ne asigura ca parcurgand numai aceste puncte in Rn (solutii fundamentale fezabile) putem obtine in final solutia optimala dorita. Metoda simplex arata ca in plus aceasta cautare se poate face intr-o maniera eficienta dpdv numeric. Procesul se continua pana cand se obtine minimul. Pivoti Puncte Extreme Adiacente Determinarea unei Solutii Minime Fezabile CAPITOLUL 9: Metoda Simplex 160 . Aceasta abordare desi necesita matematica extrem de simpla nu se poate exprima prea usor intr-o forma matriceala compacta.Capitolul 9: METODA SIMPLEX Ideea de baza a metodei simplex este ca pornind de la o solutie fundamentala fezabila sa gasim o noua solutie fundamentala fezabila in care functia obiectiv sa descreasca.

Algoritmul Variabile Artificiale Forma Matriceala a Metodei Simplex Metoda Simplex Revizuita Metoda Simplex via Descompunerea LU Concluzii Finale CAPITOLUL 9: Metoda Simplex 161 .

e. . . Avem doua tipuri de pivotari cu semnificatii duale: • Pivotare pe linii. avand forma explicita a11 x1 + a12 x2 + · · · + a1n xn = b1 a21 x1 + a22 x2 + · · · + a2n xn = b2 . . . • Pivotare pe coloane. . b ∈ Rm. sistemul (52) poate fi redus prin scheme clasice de eliminare Gaussiana pe linii (multiplicarea unei linii cu o constanta nenula si adunarea de combinatii liniare de linii) la CAPITOLUL 9: Metoda Simplex 162 Pivoti . A surjectiva) si cu m < n sistemul (52) nu are o solutie unica ci o varietate liniara de solutii. Fie sistemul Ax = b.1. am1 x1 + am2 x2 + · · · + amn xn = bm (52) Sub ipotezele uzuale (i. Presupunand pentru comoditate ca primele m coloane ale lui A sunt liniar independente. cu A ∈ Rm×n. m ≤ n. Pivoti Reamintim in contextul programarii liniare operatiile de pivotare asupra unui sistem de ecuatii liniare.

xm sunt numite fundamentale iar celelalte nefundamentale. . in programarea liniara se foloseste urmatoarea reprezentare a CAPITOLUL 9: Metoda Simplex 163 Pivoti .m+2xm+2 + · · · + a2. x m = bm . . + a2.c. . daca dintre cele n variabile exact m sunt fundamentale si au proprietatile: • fiecare variabila fundamentala apare intr-o singura ecuatie cu coeficientul 1. .. Extindem definitia formei canonice a unui sistem astfel: un sistem este in f. . xn = 0.m+1xm+1 + a1. Solutia fundamentala corespunzatoare x1 = b1. .m+1xm+1 + a2.m+1xm+1 + am.nxn = b2. (53) In aceasta reprezentare echivalenta variabilele x1. + am.. . Din economie de notatie. .nxn = bm.m+2xm+2 + · · · + a1. . .urmatoarea forma canonica: x1 x2 xm + a1.. . • nu apar doua variabile fundamentale in aceeasi ecuatie (echivalent cu a spune ca sistemul dupa o anumita reordonare a variabilelor si ecuatiilor are forma (53)).nxn = b1. . .m+2xm+2 + · · · + am. . x2 = b 2 . xm+1 = 0. .

n a2. . Pivotare pe linii: Foloseste reprezentarea sistemului Ax = b sub forma ecuatiilor a1x = b1 a2x = b2 . Sa presupunem ca in sistemul canonic (53) vrem sa inlocuim variabila fundamentala xp. . Procedura se poate realiza pe linii sau coloane.n · . . 0 ··· ··· ··· .m+1 · . . . 1 ≤ p ≤ m cu variabila nefundamantala xq (este posibil numai daca apq = 0). am. amx = bm unde ai este linia i a matricii A. amn b1 b2 · . . . .m+2 a2. . . . . 1 a1.m+1 a2. . 0 0 1 0 . .m+2 ··· ··· · . Acest lucru se poate realiza prin impartirea liniei p la apq pentru a obtine un coeficient unitar pentru xq in aceasta CAPITOLUL 9: Metoda Simplex 164 Pivoti . . . . ··· a1. . . ··· 0 0 0 .m+1 a1.coeficientilor sistemului (53) sub forma de tabel: 1 0 0 . .m+2 · . am. bm (54) Prin pivotare se poate inlocui o variabila fundamentala cu una nefundamentala si reciproc.

. CAPITOLUL 9: Metoda Simplex 165 Pivoti . in care ai este coloana i a matricii A. Fie aij coeficientii noului sistem obtinut. Pivotare pe coloane: Foloseste reprezentarea sistemului Ax = b in ideea ca b este o combinatie liniara de coloane ale lui A de tipul a1x1 + a2x2 + · · · + anxn = b. si prin scaderea liniei p multiplicate cu un coeficient potrivit din toate celelalte linii pentru a obtine un coeficient zero pentru xq (in respectivele ecuatii). Avem:   aij = aij − api aiq .ecuatie. a2. am (similar pentru b). i = p. apq (55)  apj = apj . Coeficientii unei coloane din tabel reprezinta coeficientii combinatiei liniare a acestor vectori baza care genereaza respectivul vector coloana.e. i. apq Ecuatiile de mai sus se numesc de pivotare iar elementul apq este pivotul. · · · . m aj = k=1 akj ak (56) Tabelul se mai poate reinterpreta ca dand expresia vectorului aj in termenii vectorilor baza a1. Fie sistemul canonic (54) cu primele m coloane formand o baza.

Sa presupunem ca vrem sa inlocuim unul dintre vectorii din baza ap.i=p aiq ai + apq ap din care rezulta ap. Observatia 102. Daca un sistem de ecuatii nu este de la inceput in forma canonica el se poate aduce in forma canonica concatenand m vectori unitari tabloului si. . CAPITOLUL 9: Metoda Simplex 166 Pivoti . ei constituie o baza in functie de care orice alt vector poate fi reprezentat (este posibil numai daca apq = 0). apq a i=1. Daca noii vectori a1. plecand de la acesti vectori ca baza. . . ap = Introducand (57) in (56) obtinem m 1 aiq aq − ai. Operatiile de actualizare a tabloului pleaca de la reprezentarea m aq = i=1. apq (57) aj = i=1.i=p pq aiq aij − apj apq apj ai + aq .i=p (58) Daca aij sunt coeficientii noului sistem atunci obtinem imediat expresii identice ca in cazul pivotarii pe linii (55). am sunt liniar independenti. . 1 ≤ p ≤ m cu alt vector aq . inlocuind fiecare dintre ei prin pivotare cu coloane de-ale lui A.

este posibil sa specificam care variabila nefundamentala va deveni fundamentala si apoi sa determinam cu care variabila fundamentala o inlocuim ! Ipoteza de Nedegenerare: Orice solutie fundamentala fezabila a lui Ax = b. este o solutie nedegenerata! Ipoteza simplifica mult o suma de argumentatii ale metodei simplex. Puncte Extreme Adiacente Solutia unui program liniar se gaseste in multimea solutiilor fundamentale fezabile ale sistemului Ax = b.i. orice noua solutie fundamentala gasita prin pivotare sa fie fezabila ! Concluzia de baza: Cu toate ca nu este in general posibil sa specificam perechile de variabile ce sunt interschimbate (pastrand evident pozitivitatea lui x). x ≥ 0. CAPITOLUL 9: Metoda Simplex 167 Puncte Extreme Adiacente . In aceasta sectiune specializam cautarea a. Ipoteza este facuta pentru a simplifica expunerea si intotdeauna se poate asigura extensia la cazul general prin anumite modificari simple ale metodei simplex. In cazul in care nu este indeplinita poate conduce la esuarea metodei. x ≥ 0 (Teorema programarii liniare) iar prin pivotare putem sa ne deplasam dintr-o solutie fundamentala in alta.2.

Determinarea vectorului care paraseste baza Presupunem ca avem solutia fundamentala fezabila xT = sau, echivalent, reprezentarea
m

x1

x2

...

xm

0

...

0
(59)

b=
k=1

xk ak .

Din ipoteza de nedegenerare avem xi > 0, i = 1, . . . , m. Presupunem ca vrem sa introducem in baza vectorul aq , q > m, care are reprezentarea in vechea baza
m

aq =
k=1

akq ak .

(60)

Multiplicand (60) cu

≥ 0 si extragand-o din (59) obtinem
m

(xk − akq )ak + aq = b.
k=1

(61)

Aceasta relatie arata ca pentru orice ≥ 0 b este o combinatie de cel mult m + 1 vectori. Pentru = 0 obtinem vechea solutie. Cand creste de la zero in sus rezulta ca respectivul coeficient al lui aq creste, si este clar ca pentru nu prea mare (61) da o solutie fezabila dar nefundamentala. Coeficientii celorlalti vectori vor creste sau vor scadea odata cu cresterea lui pana cand unul (sau mai multi) se vor anula. Acest lucru se intampla ori de cate ori cel putin un coeficient akq > 0.
CAPITOLUL 9: Metoda Simplex 168 Puncte Extreme Adiacente

In acest caz punem

= min{
k

xk : akq > 0} akq

(62)

si am obtinut o noua solutie fezabila cu vectorul aq inlocuit de ap, unde p este indexul ce minimizeaza (62). Daca minimul (62) este obtinut simultan pentru mai multi indici atunci noua solutie este degenerata si oricare vector avand componenta corespunzatoare nula se poate considera ca parasind baza !

Daca nici unul dintre akq nu este pozitiv, atunci toti coeficientii lui (61) cresc (sau raman constanti) cand il crestem pe si nu se poate obtine nici o noua solutie fundamentala ! In aceasta situatie observam ca sistemul Ax = b, x ≥ 0 are solutii fezabile cu coeficienti oricat de mari de unde rezulta ca multimea K a solutiilor fezabile este nemarginita !

Pe scurt: Dandu-se o solutie fundamentala fezabila si un vector arbitrar aq sunt posibile doua situatii: • Exista o noua solutie fundamentala fezabila avandu-l pe aq in baza (in locul unuia dintre vectorii originali); • Multimea solutiilor fezabile este nemarginita !
CAPITOLUL 9: Metoda Simplex 169 Puncte Extreme Adiacente

Ilustrarea operatiilor in tablou:

a1 1 0 0 . . . 0

a2 0 1 0 . . . 0

a3 0 0 1 . . . ···

··· ··· ··· ··· . . .

am 0 0 0 . . . 1

am+1 a1,m+1 a2,m+1 · . . . am,m+1

am+2 a1,m+2 a2,m+2 · . . . am,m+2

··· ··· ··· · . . . ···

an a1,n a2,n · . . . amn

b b1 b2 · bm

(63)

Acest tablou are o solutie cu baza a1, a2, · · · , am. Presupunem ca bi ≥ 0 a.i. solutia fundamentala corespunzatoare este fezabila. Dorim introducerea coloanei q > m si mentinerea fezabilitatii. Pentru a determina care element din coloana q sa–l folosim ca pivot (si deci ce vector al bazei va fi eliminat) folosim (62) ptr. calcularea rapoartelor care il alegem pe cel mai mic nenegativ, si pivotam pe respectivul akq . Interpretare Geometrica Exista doua interpretari geometrice ale conceptelor introduse: • In spatiul in care este reprezentat x: Regiunea fezabila este o multime convexa iar solutiile fundamentale fezabile sunt punctele extreme (vezi cursul precedent). Punctele extreme adiacente sunt puncte care stau pe o latura comuna.
CAPITOLUL 9: Metoda Simplex 170 Puncte Extreme Adiacente

xk akq

=

bk akq ,

k = 1, 2, · · · , m, din

• In spatiul in care sunt reprezentate coloanele lui A si b; Relatia fundamentala este
n

b=
k=1

aixi.

Un exemplu cu m = 2 si n = 4 este reprezentat in Figura 9.1. O solutie fezabila este o reprezentare a lui b folosind combinatii semipozitive de ai. O solutie fundamentala fezabila este o reprezentare a lui b folosind numai m combinatii pozitive.
a2 b

a1

a3 a4

Figura 9.1 Observati ca putem pleca cu o baza formata din a1 si a2 dar nu din a1 si a4! Daca plecam cu a1 si a2 si pentru a obtine o baza adiacenta il adaugam pe a3, atunci automat iese a2. Daca il adaugam pe a4 atunci iese automat a1 !
CAPITOLUL 9: Metoda Simplex 171 Puncte Extreme Adiacente

3. Determinarea unei Solutii Minime Fezabile

Ce stim deja ? Cum sa pivotam si indata ce am selectat o noua coloana arbitrara care va intra in baza stim sa determinam care coloana iese din baza a.i. solutia sa ramana fezabila (sau respectiv sa determinam ca solutia este nemarginita). Ce dorim in continuare ? reducem valoarea functiei ! Cum selectam coloana pe care o vom introduce in baza a.i. sa

Cuplam cele doua idei si obtinem metoda simplex ! Presupunem x1 x2 . . . ca avem solutia fundamentala fezabila xm 0 . . . 0 impreuna cu tabloul

xT

=

xT B

0

=

a1 1 0 0 . . . 0

a2 0 1 0 . . . 0

a3 0 0 1 . . . ···

··· ··· ··· ··· . . .

am 0 0 0 . . . 1

am+1 a1,m+1 a2,m+1 · . . . am,m+1

am+2 a1,m+2 a2,m+2 · . . . am,m+2
172

··· ··· ··· · . . . ···

an a1,n a2,n · . . . amn

b b1 b2 · bm .

(64)

CAPITOLUL 9: Metoda Simplex

Determinarea unei Solutii Minime Fezabile

Valoarea functiei corespunzatoare oricarei solutii este
n

z=
i=1

cixi = cB xB =: z0,

T

cB =

T

c1

...

cm

.

(65)

Daca atribuim valori arbitrare lui xm+1, . . . , xn variabilele fundamentale se obtin din (64) prin formulele n x1 = b1 − j=m+1 a1j xj n x2 = b2 − j=m+1 a2j xj (66) . . . . . . n xm = bm − j=m+1 amj xj . Folosind (66) se pot elimina variabilele x1, . . . , xm din formula generala (65) si se obtine

z = c x = z0 + (cm+1 − zm+1)xm+1 + (cm+2 − zm+2)xm+2 + · · · + (cn − zn)xn
unde
m

T

(67)

zj :=
i=1

aij cj ,

m + 1 ≤ j ≤ n.

(68)

Relatia (67) este fundamentala pentru determinarea coloanei pivot ce va fi introdusa in baza intrucat da valoarea functiei in orice punct al solutiei Ax = b in termenii variabilelor “libere” xm+1, · · · , xn.
CAPITOLUL 9: Metoda Simplex 173 Determinarea unei Solutii Minime Fezabile

Orice solutie satisface n x1e1 + x2e2 + · · · + xmem = b − j=m+1 xj aj Luand produsul scalar al acestei ecuatii vectoriale cu cT obtinem B m n cixi = i=1 T cB b − j=m+1 x j zj in care zj := cT aj . daca unul dintre coeficientii cj − zj este negativ pentru un j . atunci cresterea lui xj de la zero la o valoare pozitiva va descreste valoarea functiei si deci va genera o solutie mai buna ! Deducem acum relatiile dintr-o alta perspectiva.Din aceste formule se poate deduce daca exista vreun avantaj in inlocurirea unei varibile fundamentale cu una noua. De exemplu. Adunand B n j=m+1 cj xj ambilor membri se obtine relatia anterioara n c x = z0 + j=m+1 T (cj − zj )xj . Fie ai coloana i a tabloului. m + 1 ≤ j ≤ n. [Imbunatatirea solutiei fundamentale fezabile] Fie o solutie fundamentala fezabila nedegenerata avand valoarea corespunzatoare a functiei obiectiv z0 si presupunem ca CAPITOLUL 9: Metoda Simplex 174 Determinarea unei Solutii Minime Fezabile . (69) Teorema 103.

este posbil sa-l facem pe xj > 0 si sa descrestem functia obiectiv. Coeficienti de cost relativ sau redus: rj := cj − zj (se introduc chiar si pentru variabilele fundamentale fiind 0) joaca un rol primordial in metoda simplex ! CAPITOLUL 9: Metoda Simplex 175 Determinarea unei Solutii Minime Fezabile . Este clar ca daca la orice pas avem cj − zj < 0 pentru un j oarecare. Daca coloana aj poate inlocui un vector in baza fundamentala originala pentru a obtine o noua solutie fundamentala fezabila atunci aceasta noua solutie va avea z < z0.i. cj − zj < 0.exista j a. Atunci exista o solutie fundamentala fezabila cu z < z0. Daca aj nu poate inlocui un vector din baza originala atunci K este nemarginit si functia obiectiv poate fi facuta oricat de mica (spre −∞). [Conditia de optimalitate] Daca pentru o solutie fundamentala fezabila avem rj := cj − zj ≥ 0. pentru toti j . Ramane de determinat daca cj − zj ≥ 0 pentru toti j implica optimalitatea ! Teorema 104. atunci solutia este optimala.

1 ≤ i ≤ m. Algoritmul Metodei Simplex Presupuneri initiale: Avem o solutie fundamentala fezabila si tabloul corespunzator lui Ax = b este in forma canonica (metode de obtinere a unei solutii fundamentale fezabile initiale vor fi discutate in sectiunea urmatoare). ··· am 0 0 0 . . . . .4. am. 1 0 am+1 a1.m+1 a2. ··· ··· an a1. ··· 0 ··· ··· ··· ··· . . m+1≤i≤n 176 Algoritmul Metodei Simplex . . 0. . (70) Solutia fundamentala corespunzatoare acestui tabel este xi = CAPITOLUL 9: Metoda Simplex bi. 0 0 a3 0 0 1 . .m+2 a2. . . . amn rn b b1 b2 · bm −z0. .n a2. am. . . .m+1 rm+1 am+2 a1.m+2 rm+2 ··· ··· ··· · . 0 0 a2 0 1 0 . .m+1 · . .n · .m+2 · . Folosim tabelul simplex (are o linie in plus): a1 1 0 0 . .

Daca unii sunt negativi atunci se poate imbunatati solutia. . i = 1. Cand sunt mai multi negativi oricare se poate selecta pentru a determina in ce coloana se va face pivotarea dar de obicei se ia cel mai puternic negativ. i = 1. . Aceasta este echivalent cu a CAPITOLUL 9: Metoda Simplex 177 Algoritmul Metodei Simplex . Coeficientii de cost relativ rj indica daca valoarea functiei obiectiv va descreste sau va creste daca xj este introdus in solutie. Valoarea functiei obiectiv este z0. 2. · · · . Ultima linie a tabelului poate fi tratata similar cu celelalte cum este explicat in continuare. . . m. Intr–adevar. Daca toti coeficientii sunt semipozitivi atunci solutia este optimala. putem vedea z ca o variabila suplimentara si n cixi − z = 0 i=1 ca o ecuatie suplimentara. n si un membru drept nul. 2.si fiind fezabila avem bi ≥ 0. Folosind operatii standard de pivotare anulam (prin pivotare pe linii) elementele din aceasta linie ce corespund variabilelor fundamentale. Atunci tabelul simplex va avea m + 1 variabile fundamentale si cerand ca permanent z sa fie una dintre ele nu mai este nevoie de adaugarea unei coloane in tabel ! Deci putem intotdeauna incepe un tabel avand ca ultima linie coeficientii ci.

Dupa ce a fost selectata o coloana q in care se pivoteaza. Daca nu sunt elemente semipozitive in coloana problema este nemarginita. CAPITOLUL 9: Metoda Simplex 178 Algoritmul Metodei Simplex . m si selectand acel iq indice p corespunzator celui mai mic raport. Stop. i = 1. selectia finala a pivotului se face b pe baza calcularii rapoartelor a i pentru elementele aiq > 0. 2. Coeficientii de cost relativ se obtin prin reducere pe linii. Dupa ce actualizam in final tabelul cu pivotul apq (inclusiv ultima linie) se obtine un nou tabel in forma canonica iar noua valoare a functiei obiectiv va apare in coltul dreapta–jos. Solutia curenta este optimala. · · · . Pasul 1: Daca toti rj ≥ 0. Daca exista mai multi indici care ating minimul se poate folosi oricare dintre acestia. Algoritmul simplex: Pasul 0: Formeaza un tablou simplex corespunzantor unei solutii fundamentale fezabile. Pivotarea pe acest element pastreaza fezabilitatea si descreste valoarea functiei obiectiv (in ipoteza de nedegenerare).tranforma ecuatia suplimentara in n rj xj − z = −z0 j=m+1 (71) care este echivalenta cu (69) si deci rj obtinuti sunt exact coeficientii de cost relativ.

a afla care variabila nefundamentala va deveni Pasul 3: Se calculeaza a i ptr. aiq > 0. 2. b rq < 0 ptr. algoritmul va gasi in final o baza fundamentala ce satisface una dintre cele doua conditii de terminare ! CAPITOLUL 9: Metoda Simplex 179 Algoritmul Metodei Simplex . Pasul 4: Pivoteaza elementul apq actualizand toate liniile incluzand-o pe ultima. m. Daca nici una dintre conditii nu este descoperita la o anumita solutie fundamentala atunci functia obiectiv este strict descrescuta. · · · . iq Problema este nemarginita. In ipoteza de nedegenerare algoritmul se opreste cand este atinsa optimalitatea sau cand se descopera nemarginirea.Pasul 2: Se alege q a. Stop. Deoarece exista numai un numar finit de solutii si nici o baza nu se repeta intrucat functia obiectiv ia o valoare strict mai mica. i = 1. fundamentala.i. Daca nu exista aiq > 0. Returnare la Pasul 1. Altfel se alege un i = p pentru care se atinge minimul rapoartelor.

b CAPITOLUL 9: Metoda Simplex 180 Algoritmul Metodei Simplex . si noua baza este deasemenea degenerata ! Mai mult. functia obiectiv nu descreste. • Exista posbilitatea teoretica ca minimul lui a i sa fie zero implicand ca aceasta variabila iq fundamentala egala cu zero trebuie sa paraseasca baza ⇒ • Noua variabila xq intra in baza la valoarea zero. • Deoarece procedurile anticiclare sunt simple ele sunt intotdeauna incluse in software-ul comercial pentru a evita orice posibila evolutie neplacuta.Degenerare In timpul aplicarii simplex este posibil sa gasim baze degenerate ! Cum procedam ? • In multe cazuri putem sa le tratam ca baze fundamentale fezabile nedegenerate.i. exista posbilitatea (mai mult teoretica) ca acest proces sa continue pentru cativa pasi dupa care se reapara aceeasi baza degenerata originala rezultand un ciclu care se repeta indefinit de mult ! • Exista metode care pot evita astfel de cicluri si care sunt bazate pe perturbarea usoara a datelor problemei a. • In practica nu sunt necesare astfel de proceduri intrucat simplex nu intra in general niciodata in astfel de cicluri. valorile nule sa fie inlocuite cu mici valori pozitive (vezi Exercitiile).

cu b ≥ 0. Caz general: Rareori este posibil sa obtinem sau sa ghicim o solutie initiala fundamentala si fezabila !! Trebuie dezvoltat un mecanism care sa functioneze pentru orice problema !! Interesant (si din fericire adevarat). (72) x ≥ 0. in orice problema solutia intitiala se poate obtine rezolvand TOT o problema de programare liniara avand insa initializarea evidenta (pentru care putem deci utiliza metoda simplex )! Solutie: Prin operatii elementare constrangerile unui program liniar se pot aduce intotdeauna la forma Ax = b.5. Variabile Artificiale Cum gasim o solutie initiala fundamentala si fezabila ? Caz simplu: Consideram ca avem o problema de optimizare cu constrangeri de tipul Ax ≤ b cu b ≥ 0. Pentru a gasi o solutie intitiala pentru aceasta problema consideram problema (artificala) CAPITOLUL 9: Metoda Simplex 181 Variabile Artificiale . Aceasta problema se trateaza prin introducerea de variabile suplimentare care automat furnizeaza un punct de plecare pentru metoda simplex.

y1 y2 ··· ym este un vector de variabile artificiale. Daca rezolvam sistemul (73) cu metoda simplex obtinem o solutie fundamentala fezabila la fiecare pas! Daca valoarea minima a functiei obiectiv este zero. se obtine o problema de programare liniara care se CAPITOLUL 9: Metoda Simplex 182 Variabile Artificiale . Daca in solutia finala unii yi sunt si zero si variabile fundamentale atunci intotdeauna se pot intershimba cu xi pastrand niveleul zero al functiei a. vezi Exercitiile).i.de minimizare minimizati i=1 yi atunci cand Ax + y = b. atunci este clar ca (73) va avea o solutie (considerata in variabilele x si y ) avand minimul egal cu zero si y = 0. y ≥ 0. solutia finala sa aibe numai variabile fundamentale de tip xi (situatia este mai complicata in acest caz. m (73) unde y T = Daca (72) are o solutie fezabila. Daca (72) nu are solutie fezabila atunci valoarea minima a lui (73) este mai mare decat zero. x ≥ 0. Concluzii generale : Metoda generala este in doua faze: Faza I: Se introduc variabile artificiale. Problema (73) este o problema de programare liniara in variabilele x si y si sistemul este deja in forma canonica cu solutia fundamentala fezabila y = b. atunci solutia finala va avea toti yi = 0 si atunci solutia finala nu va contine niciunul dintre yi ca variabila fundamentala (desigur sub ipoteza de nedegenerare).

In faza II se omit functia si variabilele artificiale de la Faza I ! CAPITOLUL 9: Metoda Simplex 183 Variabile Artificiale .rezolva (prin simplex) obtinandu-se o solutie fundamentala fezabila pentru problema originala ! In aceasta faza este posibil sa determinam ca problema originala nu are nici o solutie fundamentala fezabila ! In aceasta faza se introduc variabile artificiale doar in acele ecuatii care nu contin variabile suplimentare ! Faza II: Folosind solutia fundamentala fezabila determinata la Faza I se minimizeaza functia obiectiv originala.

x= xB xD . Pentru un xD arbitrar valoarea lui xB este xB = B CAPITOLUL 9: Metoda Simplex −1 xB − B −1 DxD (75) Forma Matriceala a Metodei Simplex 184 . noindent Fie B matricea coeficientilor variabilelor fundamentale (si care este submatrice a lui A) – este formata din (primele) m coloane liniar independente si deci este matrice baza ! Partitionand A= B D . xD ≥ 0. (74) Solutia fundamentala ce este presupusa fezabila corespunzatoare bazei B este xT = xT O B −1 unde xB = B b (obtinuta punand automat xD = 0). Forma Matriceala a Metodei Simplex Permite o scriere condensata a metodei simplex ce conduce in final la metoda simplex revizuita care prezenta numeroase avantaje numerice.6. c= cB cD obtinem problema de programare liniara minimizeaza cT xB + cT xD B D atunci cand BxB + DxD = b xB ≥ 0.

care substituita in expresia functiei obiectiv conduce la z = cB (B T −1 b−B −1 DxD ) + cD xD = cB B T T −1 b + (cD − cB B T T −1 D)xD (76) care exprima costul oricarei solutii in termenii lui xD . Componentele acestui vector se folosesc pentru a hotari care vector va fi adus in baza. Prin urmare rD = cD − cB B T T T −1 D (77) este vectorul de cost relativ (pentru variabilele nefundamentale). Daca folosim B drept matrice baza atunci tabloul corespunzator devine I 0 care este forma matriceala cautata ! Tabloul initial este B −1D cT − cT B −1D D B B −1b −cT B −1b B (79) CAPITOLUL 9: Metoda Simplex 185 Forma Matriceala a Metodei Simplex . A b B D b = (78) cT 0 cT cT 0 B D care nu este in general in forma canonica si nu corespunde unui punct in procedura simplex.

• Chiar in situatia in care pivotarea este necesara in toate coloanele dar m este mic in comparatie cu n metoda economiseste uzual un numar important de operatii. 2 Concluzie interesanta: Daca m << n (matricea A are mult mai putine linii decat coloane) pivotii vor aparea in timpul optimizarii doar intr-o mica parte dintre coloane ! Deci efortul facut pentru actualizarea celorlalte coloane dupa pivotare este complet inutil ! Metoda simplex revizuita rezolva aceste probleme: • Ordoneaza diferit calculele metodei simplex a. si solutia curenta xB = b = B −1b. sa evite calculele inutile. Algoritmul simplex revizuit: Pasul 0: Se dau B −1 (inversa unei baze curente). CAPITOLUL 9: Metoda Simplex 186 Metoda Simplex Revizuita . Metoda Simplex Revizuita Experienta practica extensiva (cu probleme din domenii extrem de diverse si avand diferite valori pentru m si n) a aratat ca metoda converge la o solutie optimala in aproximativ m pivotari (posibil si 3m ).i.7.

aiq > 0. Simultan se poate desigur actualiza si B −1b adaugand o singura coloana. Daca nu exista aiq > 0. i = 1. a afla care variabila nefundamentala va deveni fundamentala (se alege cel mai negativ coeficient de cost). STOP. unde pivotul este dat de elementul corespunzator din aq . Pasul 4: Actualizeaza B −1 si solutia curenta B −1b. Actualizarea lui B −1 se obtine prin operatiile uzuale de pivotare aplicate unei matrici formate din B −1 si din aq . m. Observatia 106. STOP. valoarea curenta este optimala. Observatia 105. In multe probleme baza initiala este matricea identitate Im (si evident si inversa) – rezultand din variabile suplimentare sau artificiale ! b CAPITOLUL 9: Metoda Simplex 187 Metoda Simplex Revizuita . Pasul 3: Calculati a i ptr. rq < 0 ptr. Pentru inceperea procedurii avem nevoie de o solutie initiala fezabila si de inversa bazei initiale. Returnare la Pasul 1. Operatia se D B T T −1 T efectueaza calculand intai λ = cB B si apoi vectorul de cost rD := cT − λT D . se calculeaza aq := B −1aq care da vectorul aq in baza curenta. iq Problema este nemarginita.T Pasul 1: Se calculeaza coeficientul de cost relativ rD := cT − cT B −1D . Altfel alege un i = p pentru care se atinge minimul si deci vectorul p va parasi baza. 2.i. Daca D rD ≥ 0. Pasul 2: Alegeti q a. · · · .

··· 0 0     . . 0 ··· . . • Avantajul principal consta in necesarul foarte mic de memorie “rapida”. ··· 0 0 0 0 1 .  . Sa presupunem ca tabloul T se modifica prin pivotarea cu un pivot apq din coloana aq =  a1q  a2q     · · · .  . . 0 CAPITOLUL 9: Metoda Simplex  0 1 ··· 0 0 1 . vm 188 . . vp . . . . 0 . Rezultatul pivotarii este matricea ET in care E este matricea elementara amq  1  0     E=    . .  . . . . .  . .  . .  . . 0 v1 v2 . .Forma Produs a Inversei Aceasta varianta de metoda simplex revizuita se bazeaza pe o reprezentare de tip produs a inversei bazei. Avantajele variantei: • Are nevoie de mai putine calcule decat alte metode. . 1  (80) Metoda Simplex Revizuita . . .

. Aplicand aceasta reprezentare a inversei se obtine o noua varianta a metodei simplex revizuite. (E1b))) CAPITOLUL 9: Metoda Simplex 189 Metoda Simplex Revizuita . . Metoda Simplex Revizuita de Tip Produs Pasul 0: Presupunem ca dupa pivotarea k am avem memorate E1. . Ek . a i = p. . . 1 apq . E2E1 (82) in care Ei este matricea elementara corespunzatoare pivotarii i. .cu elementele vi din coloana p avand valorile vi vp = = iq − apq . . Multiplicarea oricarei coloane la stanga cu matricea E adauga unei componente arbitrare i = p componenta p multiplicata cu vi si multiplica componenta p cu vp – aceasta corespunde exact operatiilor de pivotare facute intr-o coloana a tabelului! Initializand algoritmul simplex cu o matrice baza identitate obtinem dupa k pivotari succesive inversa −1 B := Ek Ek−1 . Pasul 1: Se calculeaza solutia de baza prin formula recursiva xB = (Ek (Ek−1 . (81) Matricea E se determina pe baza coloanei pivot.

Altfel alege un i = p pentru care se atinge minimul a i pentru care aiq > 0 stabilind astfel care vector paraseste iq baza. Pentru stocarea matricilor E este necesara memorarea a numai m + 1 numere: (p. STOP. DVD. . .T Pasul 2: Se calculeaza coeficientii de cost relativ rD = cT − cT B −1D (se foloseste aceeasi D B metoda de calcul cu λ ca anterior). . Pasul 4: Daca nu exista aiq > 0. nici nu este nevoie sa reconstituim matricile E in mod explicit ci doar formulele de multiplicat E la dreapta cu un vector coloana (Pasii 1 si 3) si la stanga cu un vector linie (Pasul 2) ! Observatia 108. In cazul rezolvarii unor probleme de dimensiuni mari prin aceasta metoda majoritatea informatiilor se pot pastra in memoriile mai lente ale masinii de calcul (HDD. v1. . E1). Daca rD ≥ 0. Returnare la Pasul 1. . In felul aceasta s-a determinat care componenta este noul pivot si deci Ek+1. solutia curenta este optimala. Mai mult. . Pasul 3: Se selecteaza cel mai negativ coeficient de cost relativ si se calculeaza vectorul corespunzator aq = (((Ek )Ek−1 . vm). . STOP. Observatia 107. (E1aq ))). Problema este nemarginita. . CAPITOLUL 9: Metoda Simplex 190 Metoda Simplex Revizuita T T b . Vectorul λ se obtine prin formula recursiva λ = (((cB Ek )Ek−1) .

Observatia 109. v2. . B −1 nu este matrice rara in general si acest fapt evidentiaza avantajul formei produs. si se pot inmulti cu B −1 prin aducerea succesiva in memoria RAM a vectorilor de dimensiune m + 1 ce definesc matricile E. v1. Daca eroarea este semnificativa este recomandata reinversarea cat mai exact posibil a lui B si restartatea procedurii. vm) definind matricile E sunt probabil ei insasi rari. Coloanele lui A se pot aduce in memoria RAM in mod individual. Problemele de dimensiuni mari care apar uzual in programarea liniara au multa structura.etc). Aceasta operatie se numeste reinversare si este o componenta esentiala a oricarei biblioteci de programe. In orice caz. . generand o reducere masiva in memoria si timpul de executie necesare. Reinversare Pentru probleme de dimensiuni mari sau prost conditionate numeric erorile de calcul se acumuleaza pana la un nivel la care B −1 este puternic imprecisa ! Evaluarea erorii la pasul curent se face evaluand BxB − b in care xB este valoarea curenta gasita prin formula xB = B −1b in care pentru calculul lui B −1 se foloseste valoarea curenta a lui B −1. implicand adesea ca matricea A (si desemenea matricea B ) sunt matrici rare (cu putine elemente nenule). Un avantaj suplimentar al formei produs este ca vectorii (p. . Pentru inversarea lui B se poate CAPITOLUL 9: Metoda Simplex 191 Metoda Simplex Revizuita . .

cel mai adesea folosindu-se proceduri de pivotare in care pivotii se aleg la fiecare pas a. CAPITOLUL 9: Metoda Simplex 192 Metoda Simplex Revizuita . sa minimizeze erorile de calcul. sa mentinem structura rara (in afara de acuratetea calculelor). in acest caz alegerea pivotilor se face a. In cazul formei produs reinversarea serveste si pentru controlul necesarului de memorie: sirul lung de matrici elementare ce descriu inversa lui B este inlocuit cu un sir de m matrici ! Mai mult.folosi orice procedura numeric stabila.i.i.

Pasul 4: Se calculeaza a i ptr. se rezolva Baq := aq care da vectorul aq in baza curenta. Pasul 3: Se alege q a. STOP. rq < 0 ptr. aiq > 0. 2. T Pasul 2: Se rezolva λT B = cT si se calculeaza coeficientul de cost relativ rD := cT − λT D . Metoda Simplex via Descompunerea LU In procedura propusa in sectiunea precedenta am vazut ca parcurgerea unui pas din metoda simplex nu este dependenta de cunoasterea explicita a inversei B −1 ci de rezolvarea unor sisteme de ecuatii avand matricea coeficient B . valoarea curenta este optimala. a afla care variabila nefundamentala va deveni fundamentala (se alege cel mai negativ coeficient de cost). Cu aceasta observatie procedura simplex din sectiunea precedenta se poate da in forma: Algoritmul simplex revizuit: Pasul 0: Se da baza curenta B . Daca nu exista aiq > 0. m. STOP. i = 1. iq Problema este nemarginita. B D Daca rD ≥ 0.8. Pasul 1: Se calculeaza solutia curenta xB ce satisface BxB = b.i. CAPITOLUL 9: Metoda Simplex 193 Metoda Simplex via Descompunerea LU b . · · · . Altfel se alege un i = p pentru care se atinge minimul si deci vectorul p va parasi baza.

Ne concentram asupra celor trei sisteme ce trebuie rezolvate la fiecare pas: BxB = b. Din procedura de mai sus se observa ca intr-adevar nu este nevoie de B −1 ci doar de rezolvarea a trei sisteme de ecuatii liniare. In consecinta are rost sa adaptam eliminarea Gaussiana pentru metoda simplex. rezultatul fiind o versiune a metodei simplex revizuite care are o stabilitate numerica mai buna si pentru probleme de dimensiuni mari ofera economii importante de memorie. In procedurile anterioare sistemele erau implicit rezolvate prin operatiile corespunzatoare de pivotare pe masura ca metoda progresa. λ B = cB . (83) Presupunem ca B a fost descompus sub forma B = LU unde L si U sunt matrici inferior respectiv superior triangulare (presupunem pentru simplitate ca nu avem nevoie de reordonare pe linii – se poate relaxa dar complexitatea expunerii creste considerabil). doua avandu-l pe B drept coeficient matriceal si unul pe B T . Dpdv al eficientei si preciziei numerice metoda de pivotare prezentata nu este la fel de eficienta precum eliminarea Gaussiana pentru sisteme generale de ecuatii liniare. Cheia cresterii eficientei metodei simplex consta in actualizarea eficienta a acestor doua matrici CAPITOLUL 9: Metoda Simplex 194 Metoda Simplex via Descompunerea LU . Deci fiecare sistem (83) se poate rezolva prin rezolvarea a doua sisteme triangulare. Returnare la Pasul 1.Pasul 5: Actualizeaza B . T T Baq = aq .

.. L−1aq L−1am =H L−1aq up−1 in care ui sunt exact coloanele lui U iar matricea H are forma H= CAPITOLUL 9: Metoda Simplex 195 Metoda Simplex via Descompunerea LU . am aq (vectorul ap s-a inlocuit cu aq ).. .. am si la sfarsitul ciclului vom avea B= a1 a2 . siftarea vectorilor cu indici mai mari spre stanga si adaugarea lui aq in extremitatea dreapta. .triangulare cand se schimba un singur vector baza ! Presupunem ca la inceputul metodei simplex avem B = a1 a2 .. Sa observam ca B se obtine din B prin eliminarea lui ap. L−1ap−1 up+1 L−1ap+1 . ... um .. ap−1 ap+1 ..... Avem L −1 B= L−1a1 = u1 L−1a2 u2 .

. . L = LMk . . .. Matricea H se poate construi fara calcule suplimentare deoarece ui sunt cunoscute si L−1aq este deja calculat atunci cand se rezolva al treilea sistem (83). Obtinem in final (85) (86) (87) Metoda Simplex via Descompunerea LU B = LH = LMk Mk+1 · · · Mm−1U . Tot ce avem de facut este sa anulam elementele nenule subdiagonale folosind de exemplu eliminarea Gaussiana. . k + 1. ..cu zerouri sub diagonala principala in primele k − 1 coloane si zerouri sub elementul imediat de sub diagonala principala in restul de coloane. In final se obtine matricea superior triangulara U ca urmare a aplicarii unor transformari de tipul       Mi =      1 1 .     1 1 mi i = k. m − 1 (84) 1 . sub forma U = Mm−1Mm−2 · · · Mk H..       . . Mm−1 CAPITOLUL 9: Metoda Simplex 196 −1 −1 −1 −1 −1 .

si deci descompunerea B = LU . Exista multe variante concrete de implementare: transformarile Mi se pot memora in loc sa evaluam L.         1 Observatia 110.. descompunerea LU se poate reevalua periodic (similar ca la reinversare) si se pot folosi intreschimbari de linii si coloane pentru a mximiza stabilitatea sau pentru a minimiza “densitatea” descompunerii (vezi Exercitiile) CAPITOLUL 9: Metoda Simplex 197 Metoda Simplex via Descompunerea LU ... (88) Se observa ca L se calculeaza simplu si este inferior triunghiulara deoarece   Mi −1     =    1 1 . 1 −mi 1 ..

valoarea functiei obiectiv este imbunatatita pe masura ce variabila nefundamentala este crescuta pana in punctul in care o crestere mai mare violeaza fezabilitatea. sa se pastreze fezabiliatea.i. Concluzii Metoda simplex se bazeaza pe faptul ca daca valoarea optimala a unui program liniar este finita atunci se atinge la o solutie fundamentala fezabila. Schimbarea functiei obiectiv la o schimbare unitara a variabilei nefundamentale este coeficientul de cost relativ asociat cu variabila nefundamentala. Exista doua interpretari posibile ale metodei simplex: • (Prin variatii continue): Se pleaca cu o solutie fezabila fundamentala si una dintre variabilele nefundamentale este crescuta incet de la zero. se selecteaza diverse baze si se calculeaza solutiile fundamentale corespunzatoare prin rezolvarea unor sisteme de ecuatii liniare. In acest punct una dintre variabilele fundamentale este zero si se face intreschimbarea cu varibila nefundamentala. Daca coeficientul este negativ.9. Concluzii . In timp ce aceasta variabila este crescuta. Logica alegerii unor noi baze este generata de coeficientii de cost relativ. • (Prin variatii discrete): Deoarece este necesar sa consideram doar solutii fundamentale fezabile. restul de variabile fundamentale sunt ajustate a.

ro Concluzii . Romania Fax: + 40 1 3234 234 Email: oara@riccati.Tehnici de Optimizare (Partea a–III–a: Control Optimal) Cristian OARA Facultatea de Automatica si Calculatoare Universitatea Politehnica Bucuresti Splaiul Independentei 313.pub. Bucuresti.

Capitolul 10 : INTRODUCERE Recapitulati notiunile de la TS I + II: Semnal Sistem Control Control Automat Comportare ”Dezirabila” a unui Sistem CAPITOLUL 11: NOTIUNI DE BAZA 200 Notiuni de Baza .

u(t) ∈ Rm este intrarea. D sunt matrici constante de dimensiuni adecvate A∈R n×n . in care t ∈ R. si A. Comportarea intrare–iesire a sistemului (89) este descrisa convenabil de matricea de transfer CAPITOLUL 11: NOTIUNI DE BAZA 201 Notiuni de Baza . x(t) ∈ Rn este starea. ˙ (89) y(t) = Cx(t) + Du(t).D ∈ R p×m . y(t) ∈ Rp este iesirea sistemului. B .B ∈ R n×m .Capitolul 11 : NOTIUNI DE BAZA Sistem Liniar Proprietati de Baza ale Sistemelor Liniare Spatii de Semnale si Functii de Transfer Evolutii pe Spatiul Starilor Generate de Intrari L2 Operatorul L2 Intrare–Iesire Descriere Dinamica: x(t) = Ax(t) + Bu(t). C .C ∈ R p×n .

(90) Facand o schimbare de variabile de forma x := T x (T matrice inversabila). vectorul transformat x satisface ˙ x(t) = Ax(t) + Bu(t). in care −1 −1 A := T AT . D := D.care este matricea rationala proprie de dimensiuni p × m G(s) := C(sI − A) −1 B+D = A C B D (s). C. • Se poate intotdeauna asigura minimalitatea realizarii. D) a lui G. (91) y(t) = C x(t) + Du(t). B := T B. B. (92) NOTA: • G(s) se obtine luand transformata Laplace in (89) si explicitand y(s) ca functie de u(s) in forma y(s) = G(s)u(s) (93) • Incepand cu o reprezentare a lui G ca matrice rationala proprie putem intotdeauna obtine reprezentare de stare (89) scriind realizarea standard (A. CAPITOLUL 11: NOTIUNI DE BAZA 202 Notiuni de Baza . C := CT .

CAPITOLUL 11: NOTIUNI DE BAZA 203 Notiuni de Baza .• O schimbare de variabila (transformare de similaritate sau transformare de echivalenta) nu afecteaza spectrul matricii A nici matricea de transfer intrare–iesire.

dihotomia si proprietatile I/O sunt invariante sub transformari de coordonate • Facand o transformare de coordonate T . un sistem dihotomic se poate descompune intr–o parte stabila si una antistabila: A− O O A+ }n− .Proprietati de Baza ale Sistemelor Liniare Un sistem se numeste • stabil: daca toate valorile proprii ale lui A sunt in C− • antistabil: daca toate valorile proprii ale lui A sunt in C+ • dihotomic: daca A nu are valori proprii pe axa imaginara NOTA: • Stabilitatea.B = TB = }n+ B− B+ A = T AT −1 = . C = CT −1 = C− C+ n− n+ (94) CAPITOLUL 11: NOTIUNI DE BAZA 204 Proprietati de Baza ale Sistemelor Liniare . antistabilitatea.

i. B) satisface rank • Stabilizabil: daca (A. A + BF este stabila • Antistabilizabil: daca (A. ∀s. ∀s. B) satisface rank sI − A B = n. Un sistem se numeste: • Controlabil: daca (A. ∀s ⇔ Exista F a.in care A− este stabila si A+ este antistabila. Antidetectabilitate CAPITOLUL 11: NOTIUNI DE BAZA 205 Proprietati de Baza ale Sistemelor Liniare . Re s ≥ 0 sI − A B = n. B) satisface rank sI − A B = n. Notiuni duale: Observabilitate. Detectabilitate. Re s ≤ 0.

• RH ∞: subspatiul rational constand din matrici proprii p × m cu elemente marginite pe axa imaginara. CAPITOLUL 11: NOTIUNI DE BAZA 206 Spatii de Semnale si Matrici de Transfer . NOTA: • Daca A este dicotomic ⇒ G ∈ RL∞.p×m spatiul matricilor rationale proprii cu elemente analitice in C+ ∪ C0 ∞ • RH−. ∞ • Daca A este stabila ⇒ G ∈ RH+ ∞ • Daca A este antistabila ⇒ G ∈ RH− . cu norma–L∞(C0) G ∞ := sup σ(G(s)) (95) s∈C0 in care σ : valoarea singulara maxima.p×m spatiul matricilor rationale proprii cu elemente analitice in C− ∪ C0. ∞ • RH+.Spatii de Semnale si Matrici de Transfer DEFINIM: • L∞(C0): spatiul Banach al functiilot matriciale complexe G(s) care sunt marginite pe C0.

Pentru functii de transfer avem G ∞ = sup σ(G(jω)) = sup G(jω) ω∈R ω∈R in care · este norma operatoriala indusa a matricii (= norma indusa a operatorului intrare–iesire a sistemului). Problema centrala in Teoria sistemelor: stabilitatea interna pentru ca garanteaza ca orice semnal de energie finita (norma L2 finita) injectat oriunde in sistem genereaza semnale de energie marginita (norma L2 finita). • Reciproca nu este adevarata decat daca realizarea este stabilizabila si detectabila. NOTA: • Norma L∞ a unui sistem este finita daca si numai daca matricea de transfer este analitica pe axa imaginara incluzand la infinit ! • Norma L∞ a unui sistem da energia maxima a semnalului de iesire cand intrarea este un semnal de energie marginita de 1 ! — Cel mai prost caz! CAPITOLUL 11: NOTIUNI DE BAZA 207 Spatii de Semnale si Matrici de Transfer .∞ ∞ • Un sistem cu matricea de transfer ∈ RH+ este stabil intrare–iesire (coincide cu RH+ ) • Un sistem stabil (numit si intern stabil – cu A stabila) este intotdeauna stabil in sens intrare– iesire.

Ak → A. . si G(s) = C(sI − A)−1B + D ≡ 0. Bk → B.Rezultate asupra normei L∞ Teorema 111.i. σ(G(jω)) depinde continuu de ω ∈ R. µn(x) ≤ . . a. Corolarul 112. [Teorema lui Rellich] Fie matricea n × n M (x) = M ∗(x) depinzand continuu de parametrul real x apartinand intervalului I . Demonstratie: Rezultatul poate suna evident dar nu este deloc trivial !!!! CAPITOLUL 11: NOTIUNI DE BAZA 208 Spatii de Semnale si Matrici de Transfer . Atunci exista functii reale continue µ1. pentru orice x in I . . . A si Ak sunt stabile. si Λ(M (x)) = {µi(x)}. Ck → C si Dk → D cand k → ∞. ≤ µ1(x). unde prin definitie G(j∞) = G(−j∞) = D . . Teorema 113. µn definite pe I . este marginita si p×m isi atinge maximum pentru ω ∈ [−∞. k ∈ N. . ∞]. Presupunem ca sirul de sisteme Gk = Ak Ck Bk Dk . Pentru G ∈ RL∞ . Atunci k→∞ lim Gk ∞ = 0.i. (96) este a.

(−∞. C0. M ∗ (97) unde M este sau Z.Rezultate privind norma L2 DEFINIM: Spatiul L2(M): Spatiul Hilbert al functiilor complexe matriciale (vectoriale sau scalare ) G(t) pentru care Trace [G (t)G(t)]dt < ∞. • Norma L2 a unui sistem da energia semnalului de iesire cand la intrare se aplica un impuls Dirac!!! CAPITOLUL 11: NOTIUNI DE BAZA 209 Spatii de Semnale si Matrici de Transfer . sau ∂ D. L2(C0) este spatiul Hilbert al functiilor matriciale (vectoriale sau scalare) G(s) cu norma L2(C0) finita G 2 1 := { 2π ∞ −∞ Trace [G (jω)G(jω)]dω} 2 . ∞). ∗ 1 (98) NOTA: • Daca G ≡ G este o functie rationala atunci norma L2(C0) este finita daca si numai daca G nu are poli pe axa imaginara si este strict proprie. In particular.

Norma L2(C0) a lui G se poate calcula folosind G 2 = [Trace (B T 1 2 QB)] = [Trace (C P C T 1 )] 2 (101) unde P si Q sunt unicele solutii ale ecuatiilor AP + P A − BB = 0. Norma L2(C0) a lui G se poate calcula folosind G 2 = [Trace (B T 1 2 QB)] = [Trace (CP C T 1 )] 2 (99) in care P si Q sunt unicele solutii ale urmatoarelor ecuatii AP + P A + BB = 0. T T A Q + QA − C C = 0.Calculul alternativ al normelor Presupunem D = 0 si A stabila. T T (102) Calculul normei L∞ necesita intotdeauna o cautare iterativa !!! CAPITOLUL 11: NOTIUNI DE BAZA 210 Spatii de Semnale si Matrici de Transfer . T T A Q + QA + C C = 0. T T (100) Pp D = 0 si A antistabila.

m al functiilor cu suport (−∞. luand valori in Rm. B ∈ Rn×m.m 2. 1 • L2. ∞) + • L2.m definim norma L2 a lui u: ∞ u Fie deasemenea 2 := ( −∞ u(t) 2 dt) 2 < ∞.m de functii cu suport [0.m L CAPITOLUL 11: NOTIUNI DE BAZA = L+ ⊕ L− . 211 Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L2 . in cazul in care u este o functie L2.m(−∞.m: subspatiile inchise a lui L2. ∞). ˙ (103) unde A ∈ Rn×n. ∞): spatiul Hilbert al functiilor de patrat integrabil in sens Lebesgue pe (−∞.m 2. Daca u ∈ L2.Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L2 Investigam solutiile particulare ale sistemului diferential x = Ax + Bu. 0] − Nota: 2.m: subspatiile inchise a lui L2.

Solutii L2 ale lui x = Ax + Bu ˙ Cautam solutii L2 in cazurile urmatoare: 1. Sub conditii initiale 2. Pe intreaga axa de timp: • A stabila • A antistabila • A dihotomica • A arbitrara CAPITOLUL 11: NOTIUNI DE BAZA 212 Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L2 .

antistabila.u = Φξ + Lu At (105) Φ : R → L+ . t ≥ 0. CAPITOLUL 11: NOTIUNI DE BAZA 213 Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L2 . L: NOTA: 2.u ∈ L2. (Φξ)(t) := e ξ.n L+ t . Solutii sub conditii intitiale Fie ξ ∈ Rn arbitrar.u (t) = e ξ + 0 At t e A(t−τ ) Bu(τ )dτ. proprietatile ˙ lor depind puternic de spectrul lui A si trebuie deci considerate separat cazurile in care A este stabila.n ξ. si u ∈ L2. (Lu)(t) := 0 e A(t−τ ) Bu(τ )dτ . + Ne intereseaza si alte solutii ale x = Ax + Bu (pe intreaga axa de timp). atunci xξ. t≥0 (104) x n 2.1.u solutia care satisface x(0) = ξ data de formula de + variatie a constantelor x sau in forma operatoriala cu si ξ. • Acesti doi operatori nu sunt cu necesitate marginiti • Daca A este stabila. In orice caz.m.m L+ t ≥ 0. (106) (107) → 2. si arbitrara.n si ambii operatori Φ si L sunt marginiti. Fie xξ. dihotomica.

Fie A stabila. avem urmatoarele conexiuni intre cei doi operatori L introdusi pana acum u (110) L = P+ LeP+ = LeP+ .n prin t (Leu)(t) := −∞ e A(t−τ ) Bu(τ )dτ .m. data de u xe (t) t = −∞ e A(t−τ ) Bu(τ )dτ . Mai mult.m → L2.2. ecuatia x = Ax + Bu are o ˙ u 2. Atunci pentru fiecare u ∈ L2. ± CAPITOLUL 11: NOTIUNI DE BAZA 214 n m m (111) Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L2 . r unde P± sunt proiectiile ortogonale ale lui L2.r . (108) Putem defini operatorul marginit Le : L2. t∈R (109) si obtinem forma operatoriala a solutiei xe = Leu.n solutie unica xe (absolut continua) in L . Solutii pe intreaga axa Teorema 114.r pe L2. t ∈ R.

m.n (absolut continua) data de e u xe (t) ∞ =− t e A(t−τ ) Bu(τ )dτ . Atunci. putem defini in acest caz operatorul liniar marginit Le : L2. ecuatia x = Ax + Bu are o ˙ solutie unica xu in L2. oricare u in L2. CAPITOLUL 11: NOTIUNI DE BAZA 215 Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L2 .Teorema 115. x := Lu. e Teorema 116.n. + + e n u m L := P+ LeP+ . (113) a. Similar. Fie A antistabila. ecuatia x = Ax + Bu are o unica ˙ solutie in L2.m → L2. Atunci pentru oricare u ∈ L2. (112) Analog.m.i. t ∈ R.m → L2.n data de u xe (t) t = −∞ e A(t−τ ) ∞ Π−Bu(τ )dτ − t e A(t−τ ) Π+Bu(τ )dτ . t∈R (114) unde Π− and Π+ sunt proiectiile lui Rn pe subspatiile stabile si antistabile ale lui A.n. xu = Leu continua sa fie valida.m → L2. t ∈ R. xu := Leu si L : L2. definim operatorul liniar marginit Le : L2.n dat de ∞ (Leu)(t) := − t e A(t−τ ) Bu(τ )dτ . Fie A dihotomica.

2.n.m.m a. x ξ. ˙ CAPITOLUL 11: NOTIUNI DE BAZA 216 Evolutii in Spatiul Starilor Corespunzatoare Intrarilor L2 . B) stabilizabila si fie F o reactie stabilizatoare.u prin x ξ.u ∈ L+ }. Atunci u ∈ Uξ daca si numai daca u = F xξ.i. Presupunem (A. in care v este arbitrara in L2.v + v . Aceste intrari pot fi vazute ca stabilizand sistemul in bucla deschisa. Introducem Uξ := {u : u ∈ L+ 2. In general.v 2.n (116) Daca A este stabila atunci Uξ = L2.u nu este in L2. t ≥ 0. Fie ξ ∈ Rn si u ∈ L2. avem: + Lema 117.u (t) = e ξ + 0 At t e A(t−τ ) Bu(τ )dτ. in acest caz definim solutiile (cu conditii initiale) xξ. xF (0) = ξ. xξ. Este interesant sa consideram multimea acelor functii de + ξ. (115) In general.u intrare u care fac x integrabila (in patratul normei).Cazul general: A arbitrar Asa cum am vazut.m + + F ξ.m.n si xF este unica solutie in L+ a lui xF = (A + BF )xF + Bv .

Cx(t) + Du(t) (117) x y = = xu = Le u e (CLe + D)u (∈ L2.m in L2.p).Operatorul L2 Intrare–Iesire Consideram un sistem liniar cu A dihotomica si un u ∈ L2. Atunci x(t) ˙ y(t) se poate rescrie ca = = Ax(t) + Bu(t). (119) Operatorul L2 Intrare–Iesire CAPITOLUL 11: NOTIUNI DE BAZA .m arbitrar.p: t (Gu)(t) = −∞ Ce A(t−τ ) ∞ Π−Bu(τ )dτ − t Ce A(t−τ ) Π+Bu(τ )dτ + Du(t). Sistemul (117) defineste astfel un operator liniar marginit din L2. (118) Printr-o transformare T care descompune sistemul in partile sale stabile si antistabile obtinem t (Gu)(t) = −∞ C− A (t−τ ) e − B ∞ − u(τ )dτ − t C+e 217 A+ (t−τ ) B+u(τ )dτ + Du(t).

(121) CAPITOLUL 11: NOTIUNI DE BAZA 218 Operatorul L2 Intrare–Iesire .e. −1 B + D ∈ RLp×m.p. Fie D inversabila si A − BD −1C este dihotomica.t. (120) Avem urmatorul rezultat in cazul unui sistem inversabil (avand D inversabila).i.. G(s) = C(sI − A) Daca y ∈ L2.m sunt a. atunci norma operatorului intrare–iesire este egala cu norma L∞(C0) matricii sale de transfer. G = G ∞. u ∈ L2. i. Atunci operatorul intrare– iesire G este inversabil si inversa sa este operatorul intrare–iesire al sistemului x(t) ˙ u(t) = = (A − BD −1C)x(t) −D −1Cx(t) + + BD −1y(t). a. ∞ y = Gu. D −1y(t). atunci transformatele Fourier y. Propozitia 119. u ∈ L2(C0). y(jω) = G(jω)u(jω). Daca sistemul este dihotomic.Deoarece A este dihotomica.p.ω Teorema 118.

Capitolul 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV Definitii si Echivalenta Transformari sub Echivalenta Indici Patratici Sistemul Riccati Ecuatia Matriciala Algebrica Riccati Sistemul Kalman–Yakubovich–Popov Sistemul Hamiltonian Functia Popov Operatorul I/O al Sistemului Hamiltonian CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 219 Definitii si Echivalenta .

T unde A ∈ Rn×n. • Reprezentare alternativa explicita a unui triplet Popov ca Σ = (A. B. (123) unde x(t) si u(t) satisfac (122). se numeste triplet Popov. si P ∈ R(n+m)×(n+m). P ). Q = QT ∈ Rn×n. • Semnificatie: Reprezentare pe scurt a unei perechi constand din: – Un sistem dinamic controlat x = Ax + Bu ˙ – Un indice patratic de performanta J = t1 t0 (122) w (t)P w(t)dt. T w(t) := x(t) u(t) . Q. R = RT ∈ Rm×m. P := Q LT L R =P . B. [Triplet Popov] Un triplet de matrici Σ := (A.Definitii si Echivalenta Definitia 120. L. B ∈ Rn×m. L ∈ Rn×m. R) CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 220 Definitii si Echivalenta .

B. Q. R). B. se numesc (X.i.i. L + F T R + XB. L. F )–echivalente daca exista F ∈ Rm×n si X = X T ∈ Rn×n a. L. (124) • Echivalent Feedback (sau F –echivalent): X = 0 • Echivalent Redus F = 0 si X a. [Echivalenta si triplete Popov] Doua triplete Popov Σ Σ = = (A. Q.Definitia 121. B. (A. A B Q L R = = = = = A + BF . Q = 0 ( ecuatie Lyapunov: Q + AT X + XA = 0) • Relatia de mai sus este intr-adevar o relatie de echivalenta ce satisface axiomele corespunzatoare. R. R). CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 221 Definitii si Echivalenta . Q + LF + F T LT + F T RF + AT X + X A.

Transformari sub Echivalenta Vedem in continuare cum se transforma diversele obiecte asociate cu un indice patratic + sistem dinamic controlat (sau cu un triplet Popov) sub relatia de echivalenta : • • • • • • • • Indice patratic Sistemul algebric Riccati (ARS) Ecuatia algebrica Riccati (ARE) Sistemul Kalman-Popov-Yakubovich (KPYS) Sistemul Hamiltonian Fascicolul (matricial) Hamiltonian extins (EHP) Functia Popov Operatorul I/O al sistemului Hamiltonian CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 222 Transformari sub Echivalenta .

B. Aceste intrari stabilizeaza sistemul in bucla deschisa !!! • Daca A este stabila. F ) echivalent.u (t) = e ξ + 0 At t e A(t−τ ) Bu(τ )dτ.m ξ.u 2. x ∈ L+ } • Reamintire: Multimea Uξ contine acele intrari care fac solutia xξ. B. Atunci: JΣ(ξ. u) este definita pentru toti ξ ∈ Rn si u ∈ L2.m i. Fie Σ = (A. Uξ = L2. t≥0 (126) (127) (128) x = Ax + Bu.u u (125) unde 2. JΣ(ξ.e. u) + ξ T Xξ.n 2 L+ ×L+ x este solutia ξ.u de patrat integrabil. u) = JΣ(ξ. + + Propozitia 122.n u ∈ Uξ := {u : u ∈ L+ a. x(0) = ξ ˙ 2. Q LT L R xξ.Indice Patratic ∞ JΣ(ξ. P ) si fie Σ = (A.u + u. u) := 0 x u T Q LT L R x u dt = xξ. P ) un (X. (u ∈ Uξ ) unde 223 u = −F xξ.u u . Transformari sub Echivalenta CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV .m.i.

F ). (X. =0 (129) Matricea de Disipativitate se numeste sistemul algebric Riccati (ARS) asociat cu Σ : ARS(Σ). A + Q B T X + LT L + XB R I F. O pereche (X. Fs) este o solutie (stabilizanta) a ARS(Σ) ⇔ (Xs − X. X = X T ∈ Rn×n. Atunci X = X.. (Xs. F ) solutii stabilizante ale ARS(Σ). F )–equivalent. Fie (X. Fs − F ) este o solutie (stabilizanta) a ARS(Σ). CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 224 Transformari sub Echivalenta . B. P ) si Σ = (A. Definitia 123. Fie Σ = (A. Propozitia 124. se numeste solutie stabilizanta a ARS(Σ). A T X + X. Observatie: F este in general ne–unica daca R nu este inversabila!!! Propozitia 125. cu X = X T si A + BF stabila.Sistemul Algebric Riccati Sistemul de ecuatii in necunoscutele F ∈ Rm×n. F ) satisfacand (129). B. P ) un (X.

P ) si Σ = (A. O solutie simetrica X se numeste stabilizanta daca A + BF este stabila. F ) echivalente. CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 225 (131) Transformari sub Echivalenta . Corolarul 128. FRicc = FRicc − F. F se numeste reactie stabilizanta. Daca ARE(Σ) are o solutie stabilizanta atunci aceasta este unica. B. Intr-adevar. P ) doua triplete Popov (X. (130) Definitia 126. Mai mult. AT X + XA − (XB + L)R−1(B T X + LT ) + Q = 0 care este ecuatia algebrica Riccati asociata cu Σ. avem pentru X = X T . Xs este solutia stabilizanta a ARE(Σ) ⇔ Xs − X este solutia stabilizanta a ARE(Σ). F = −R−1(B T X + LT ). Corolarul 127. Fie Σ = (A.Ecuatia Algebrica Riccati (ARE) Ecuatia algebrica Riccati este un caz particular al sistemului Riccati atunci cand R este nensingulara. B.

i. W ) ce satisface (132) a. NOTA: R inversabila ⇒ J inversabila J = Definitia 129. Fie Σ = (A. V. B. R). Sistemul neliniar R L + XB Q + AT X + XA = = = V T JV . W T JW . J ). sgn (R) = J. (134) se numeste solutie stabilizanta a sistemului KPYS(Σ. stabila. J o m × m matrice de semn. L. J ) si F se numeste reactia stabilizanta. CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 226 Transformari sub Echivalenta . pentru −Im1 Im2 . W T JV . (132) se numeste sistemul Kalman–Popov–Yakubovich (KPYS) in forma J : KPYS(Σ.Sistemul Kalman–Yakubovich–Popov O inlocuire comoda a ecuatiei Riccati folosita pentru a completa forma patrata. R inversabila. Q. (133) Un triplet de matrici (X = X T . A + BF este −1 F := −V W.

V. • Daca J = Im sau J = −Im. W ).i. • Daca (X. • Daca X este o solutie simetrica a ARE(Σ). Prin urmare (X. CONCLUZII: • Sistemul KPYS(Σ. W T V. V. R = V T JV (cu conditia sgn (R) = J ). V.NOTA: • Daca (X = X T . 227 (135) Transformari sub Echivalenta . W ) este o solutie a KPYS(Σ. atunci KPYS devine KPYS in forma de pozitivitate R L + XB Q + AT X + XA CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV = = = V T V. J ). atunci X = X . atunci putem alege V a. Atunci luam W := (L + XB)V −1J −1 care satisface deasemenea ultima ecuatie. J ). • Reactia Riccati coincide cu reactia sistemului KPYS F := −V −1W . V . W T W. V. (X. J ) ⇒ X este o solutie simetrica a ARE(Σ). W ) sunt solutii stabilizante ale KPYS(Σ. W ) daca si numai daca ARE(Σ) are o solutie (stabilizanta) X si sgn (R) = J . J ) are o solutie (stabilizanta) (X = X T . W ) este o solutie a KPYS(Σ.

(136) Fie Σ un triplet Popov si (X. −W T V.sau in forma de negativitate R L + XB Q + AT X + XA Propozitia 130. B. J ). −W T W. CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 228 Transformari sub Echivalenta . J ). echivalente. Vs. V. Pentru oricare JΣ(ξ. J ) ⇔ (Xs − X. P ) si Σ = (A. Ws) este o solutie (stabilizanta) pentru KPYS(Σ.m L+ + ξ Xξ. F ) (Xs. B.u ) 2. V u + Wx ξ. T (137) Fie Σ = (A. J(V u + W x ξ. P ) doua triplete Popov (X. u ∈ Uξ avem = = = −V T V. Vs. u) = Propozitia 131. W ) o solutie a KPYS(Σ.u . Ws + VsF ) este o solutie (stabilizanta) pentru KPYS(Σ.

L. Ne intereseaza acele functii (u. (138) se numeste sistemul Hamiltonian cu timp continuu: HS(Σ). R). B. λ − Xx) ⇒ v = 0 pentru HS(Σ) (pe acelasi interval de timp). − Lu. Fie Σ = (A. λ) ⇒ v = 0 pentru HS(Σ) (pentru un anumit interval de timp) ⇔ (u − F x. Propozitia 132. Sistemul diferential liniar x ˙ ˙ λ v = = = Ax −Qx LT x − AT λ + BT λ + Bu. F ) echivalente.Sistemul Hamiltonian Fie Σ = (A. B. Q. x. P ) si Σ = (A. CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 229 Transformari sub Echivalenta . P ) (X. (u. B. + Ru. x. λ) care fac v = 0 pentru sistemul Hamiltonian (determinam in acest fel punctele critice). x.

Observatii: • Matricile MΣ si NΣ sunt patrate (2n + m) × (2n + m). avem Q(λMΣ − NΣ)Z = λ In Q= O O  O In O  −BR−1 LR−1  . R). B. cu   A O O O I O  .  O O . Q. dar sMΣ − NΣ nu este o problema de valori proprii standard intrucat MΣ este singular !!! • Cu toate acestea. R−1 (140) In O Z= −R−1LT 230 O In −R−1B T CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV Transformari sub Echivalenta .  I MΣ :=  O O Fascicolul matricial sMΣ − NΣ. L. R (139) se numeste fascicolul Hamiltonian extins: EHP(Σ).Fascicolul (matricial) Hamiltonian extins (EHP) Fie Σ = (A. Im I2n O O O  − HΣ O O Im . daca R este inversabil. NΣ :=  −Q −AT O O LT BT  B −L  .

I  (143) CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 231 Transformari sub Echivalenta .A − BR−1LT −BR−1B T HΣ := . unde (142) I U :=  X O  O I O O FT . Σ = (A. Cum suntem interesati in solutii ce anuleaza iesirea sistemului HS este natural ca fascicolul sistem sa joace un rol central in caracterizarea acestora. Atunci EHP(Σ) si EHP(Σ) sunt legate prin  sMΣ − NΣ = U (sMΣ − NΣ)V. • EHP(Σ) este exact fascicolul de transmisie (sistem) al HS(Σ). ˙ u(t) Propozitia 133. B. R) doua triplete Popov (X. F ) echivalente. I  I V :=  −X −F  O I O O O . • Daca luam v = 0 in HS(Σ) obtinem un sistem descriptor diferential  x(t) z(t) :=  λ(t)  ⇒ MΣz = NΣz. Fie Σ = (A. L. B. Q. R). L. (141) −Q + LR−1LT −AT + LR−1B T Deci avem o problema de valori proprii clasica sI2n − HΣ pentru matricea Hamiltoniana HΣ. Q.

ΠΣ este auto–adjuncta. Pentru s ∈ C \ {Λ(A) ∪ Λ(−AT )} definim functia matriciala rationala ΠΣ(s) := [B (−sI − A ) ce se numeste functia lui Popov. 232 Transformari sub Echivalenta   CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV . teoria circuitelor. prelucrarea semnalelor. B. ΠΣ este exact matricea de transfer de la u la v a HS(Σ). ΠΣ =    LT BT R EHP(Σ) este exact fascicolul de transmisie asociat cu aceasta realizarea a functiei Popov.e.. (144) • • • • A O B  −Q −AT −L  . R). sisteme automate. i.e. Σ Σ ΠΣ se numeste si densitate spectrala – introdusa de Popov in celebra monografie: ”Hiperstabilitatea Sistemelor Automate” (1960).. i. Nota: T T −1 I] Q LT L R (sI − A)−1B I . Q.Functia Popov (in timp continuu) Fie Σ = (A. joaca un rol major in identificari. are urmatoarea simetrie : ΠΣ(s) = ΠT (−s) (=: Π∗ (s)). L. etc.

F ) echivalente. B. daca (Xs = Xs . B. (146) T 2. Σ = (A. atunci ΠΣ(s) = SFs (s)RSFs (s) unde SFs este (146) scrisa pentru F = Fs. Pentru s ∈ C \ {Λ(A) ∪ Λ(−AT ) ∪ Λ(A) ∪ Λ(−AT )} ΠΣ(s) = SF (s)ΠΣ(s)SF (s).Factorizare Spectrala Propozitia 134. (Identitatea de factorizare spectrala ) ∗ (147) CAPITOLUL 12: OPTIMIZARE PATRATICA & TRIPLETE POPOV 233 Transformari sub Echivalenta . Fs) este o solutie a ARS(Σ) (sau ARE). P ). unde SF := ∗ (145) A −F B I . P ) doua triplete (X. Fie Σ = (A. 1. Mai mult.

Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA Operatorul I/O al Sistemului Hamiltonian Principalul Rezultat in Domeniul Timp Cazul Clasic de Pozitiviate: LQP Ridicarea Ipotezei de Stabilitate Conditia de Signatura Optimizare Maxmin/Jocuri Dinamice Conditii Frecventiale Conditia de Signatura Frecventiala Inegalitati matriciale Riccati Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 234 Operatorul I/O al Sistemului Hamiltonian .

A ∈ Rn×n. B ∈ Rn×m. B. xu e u L∗ e .Σu .m si x este solutia pe intreaga axa a ecuatiei diferentiale liniare x = Ax + Bu.Σ este un operator liniar marginit din L2. Fie A dihotomica. Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 235 T ∗ ∗ ∗ (149) Operatorul I/O al Sistemului Hamiltonian . (148) unde Re. ˙ Substituind solutia L2. Q.Operatorul I/O al Sistemului Hamiltonian Fixam un triplet Popov Σ = (A. Re. Investigam intai criteriul patratic extins ∞ Je.n data de xu = Leu. L. obtinem e Je.Σ(u) := −∞ x u T Q LT L R x u dt unde u ∈ L2.Σ(u) = = u. si investigam expresiile indicilor patratici pentru diverse solutii ale ecuatiilor diferentiale. I Q LT L R Q LT L R xu e u Le I u = u.Σ := R + L Le + Le L + Le QLe = Re.m in L2.Σ. R).m dat de Re.

Q LT ξ u Φ∗ L∗ Po. Φ O Φ O L I L I ξ u ξ u (150) Q LT PΣ RΣ in care toti operatorii ce intervin sunt liniar marginiti: Po. Q LT xξ. Q. Inlocuim + ξ.Σ := Φ QΦ. Pentru fiecare u ∈ L2. Daca A este dihotomica.m indicele patratic JΣ(ξ.m 2.Σ ∗ PΣ O I L R .u u Φ O ξ u ξ u L I . B. u) = = = = xξ.Teorema 135. PΣ : L + R Σ : L+ 2. atunci operatorul Re. L. 236 (153) Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA Operatorul I/O al Sistemului Hamiltonian . PΣ := Φ (QL + L). . RΣ := R + L L + L L + L QL = RΣ.u u L R L R ξ u . . Po. Fie A stabila.Σ este operatorul L2 intrare–iesire al sistemului Hamiltonian. T ∗ ∗ n ∗ → L+ .m 2.u solutia x = Φξ + Lu. u) este bine definit. R) un triplet Popov.m n n ∗ (151) (152) ∗ → R .Σ : R → R . pentru x(0) = ξ : JΣ(ξ. Fie Σ = (A.

m .m − r unde P± sunt proiectiile ortogonale uzuale ale lui L2.Σ. Intr–adevar.r . Operatorul Toeplitz 4. ± Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 237 Operatorul I/O al Sistemului Hamiltonian . TG := P+G|L2.m .m in L2. 3. Operatorul Toeplitz + p cauzal asociat cu G . Definim p 1.r pe L2.p.NOTA: Daca A este stabila atunci RΣ este operatorul Toeplitz avand drept simbol functia Popov ΠΣ. Definitia 136. functia Popov este matricea de transfer a sistemului Hamiltonian si RΣ este operatorul Toeplitz asociat cu operatorul intrare–iesire al sistemului Hamiltonian Re. Operatorul cauzal Hankel asociat cu G : HG := P+G|L2.m − p 2. + p anticauzal asociat cu G : TG := P−G|L2. Operatorul Hankel anticauzal asociat cu G : HG := P−G|L2. Fie G un operator liniar marginit din L2.

T T (154) in termenii operatorului Toeplitz RΣ introdus mai sus. B ∈ Rn×m. R este nesingulara si ARE(Σ) are o (unica) solutie stabilizanta X := Po. RΣ := R + L L + L L + L QL = RΣ. Operatorul Toeplitz RΣ (avand drept simbol functia Popov) are o inversa marginita Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 238 Rezultatul Central −1 ∗ . scopul principal este obtinerea conditiilor necesare si suficiente de existenta a solutiei stabilizatoare a ARE(Σ) A X + XA − (XB + L)R T −1 (B X + L ) + Q = 0. 2.m T ∗ ∗ ∗ (155) Teorema 137. B. R) cu A ∈ Rn×n. R) un triplet Popov cu A stabila. L. Urmatoarele afirmatii sunt echivalente: 1. L.Σ − PΣRΣ PΣ 2. Fie Σ = (A. R Σ : L+ 2. Q. Q.m → L+ .Rezultatul Central Dat Σ = (A. B.

L.u u ξ 2. Presupunem ca operatorul Toeplitz RΣ are o inversa marginita si fie X solutia stabilizanta a ARE(Σ). Atunci avem JΣ(ξ. Q LT L R xξ. Q.m L+ ×L+ = ξ Xξ T (156) ∗ pentru orice ξ ∈ Rn si uξ = −R−1PΣξ . teoriile de tip Nash. u ) = ξ xξ. Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 239 Rezultatul Central . puncte sa. H ∞. • In plus avem formule operatoriale pentru solutia stabilizanta a ecuatiei Riccati si pentru valoarea criteriului patratic in punctul critic. Q.Corolarul 138.n 2. Σ Nota: • Nu se face nici o presupunere privind pozitivitatea lui R.u u ξ . B. R) un triplet Popov cu A stabila. sau a altor matrici. etc. Fie Σ = (A. Putem deci formula in acest cadru jocuri necooperative.

(158) LT R si operatorul Re. Corolarul 139.Σ este coerciv atunci minimul indicelui patratic este 2. Daca operatorul Re. 3.m u∈L+ min JΣ(ξ. u) = ξ Xξ.Σ este coerciv 2. B. L. R) un triplet Popov cu A stabila. • R > 0 si ARE(Σ) are o solutie stabilizanta X ⇔ • Operatorul Re. 1. Daca in plus Q L ≥ 0. Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 240 Cazul Clasic de Pozitivitate: LQP .Σ este coerciv. unde Σ −1 T T F := −R (B X + L ) este reactia Riccati.Cazul Clasic de Pozitivitate: LQP Presupunerea de baza aici este ca matricea R este pozitiv definita (coeficientul termenului patratic). atunci X ≥ 0. Fie Σ = (A. n (157) ∗ si minimul se atinge pentru u = uξ = −R−1PΣξ si satisface deasemenea uξ = F xξ . T ∀ξ ∈ R . Q.

Presupunem ca R > 0 si ca perechea (A. pentru F := −R−1(B T X + LT ) sa avem Λ(A + BF ) ⊂ C− ∪ C0. Corolarul 141. (Numim X o solutie semi–stabilizanta a ARE). L.Putem relaxa conditia de coercivitate precum urmeaza. B.Σ ≥ 0. B) este controlabila.i. a. Q. T T T (160) Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 241 Cazul Clasic de Pozitivitate: LQP . R) un triplet Popov cu A stabila. B. A) sunt stabilizabila si respectiv detectabila. I) tripletul Popov standard de control si presupunem ca (A. Corolarul 140. (159) atunci exista o solutie simetrica X a ARE(Σ). Fie Σ = (A. Daca Re. 0. [Ecuatia Riccati clasica de control] Fie Σs = (A. B) si (C. Atunci ARE(Σs) A X + XA − XBB X + C C = 0 are o solutie stabilizanta pozitiv semidefinita. C T C.

B. Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 242 Ridicarea Ipotezei de Stabilitate . Q. atunci are loc pentru orice F stabilizant.Ridicarea Ipotezei de Stabilitate Folosind o reactie este trivial sa relaxam ipoteza de stabilitate in cea de stabilizabilitate asupra perechii (A. B). B) trebuie sa fie stabilizabila.i. R este nensingulara si ARE(Σ) are o (unica) solutie stabilizanta. NOTA: Daca punctul 2 al Teoremei este adevarat pentru un F stabilizant. 1. Σ = (A. R). Atunci urmatoarele doua afirmatii sunt echivalente. 2. Q. A + BF este stabila si F –echivalentul lui Σ. Exista F ∈ Rm×n a. NOTA: Daca ARE(Σ) are o solutie stabilizanta atunci automat perechea (A. Fie Σ = (A. L. Teorema 142. B. R) un triplet Popov cu (A. B) stabilizabila. are un operator Toeplitz asociat RΣ ce este inversabil. L.

(161) si matricile L si R le partitionam corespunzator in acord cu B .. Aceasta conditie numita conditia de signatura. B ∈ Rn×m. B. (162) x = Ax + B1u1 + B2u2 . R = Solutia problemei cu conditii initiale R11 T R12 R12 R22 . ˙ Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 243 (163) Conditia de Signatura . Un caz simplu in care inversabilitatea acestui operator este garantata este cazul de pozitivitate. Fie Σ = (A. Partitionam B = [B1 B2]. cu A ∈ Rn×n stabila. R). L. m1 + m2 = m. In continuare elaboram o conditie mai sofisticata pentru inversabilitatea operatorului Toeplitz RΣ. Bi ∈ R n×mi .Conditia de Signatura Am vazut ca existenta unei solutii stabilizante a ecuatiei ARE este intim legata de existenta unei inverse marginite a operatorului Toeplitz RΣ. L = [L1 L2]. Q. i = 1. i. este relevanta pentru jocurile dinamice (Nash) si va juca un rol central in rezolvarea celor mai importante probleme din teoria sistemelor optimale si robuste. x(0) = ξ. 2.e.

i.se scrie ca x Avem deasemenea ξ. Daca R22 >> 0 si R11 = R11 − R12R22 R12 << 0. ARE(Σ2) are o solutie stabilizanta X2. Fie Σ = (A. (164) NOTA: R22 R11 R12 . B2. Q. 2.u2 = Φξ + L1u1 + L2u2. ARE(Σ) are o solutie stabilizanta X a. R22). × −1 ∗ (166) X ≥ X2 . B. R) un triplet Popov avand matricile partitonate ca mai sus si A stabila. (165) Teorema 143. L. R∗ R22 12 coincide cu operatorul Toeplitz RΣ2 asociat cu tripletul Popov RΣ = Σ2 = (A. (167) Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 244 Conditia de Signatura . Q.u1 . atunci 1. L2.

u1. atunci JΣ(ξ. u2) ∈ Rn × L+ 1. Pentru fiecare ξ ∈ Rn si fiecare u1 ∈ L+ minimizeaza JΣ(ξ.e. ce JΣ(ξ. u1. u1.u     ξ. u2 pentru toti u2 ∈ L+ 3.u1 . Pentru fiecare ξ in Rn. u2) =  u1 u1 1 T u2 u2 LT R12 R22 2 2.u .u  Q L1 L2 x 1 2 x 1 2  . i.  LT R11 R12    JΣ(ξ. ) (168) 2.u1 )..u1 u2 .m2 . uξ 2 = ξ ξ.u . 2. u1.m1 . u2) = ξ Xξ Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 245 ξ ξ T (169) Probleme Maxmin . notat u2 ξ.m1 indicele patratic definit pentru toti (ξ. Fie  ξ. u1. u1. Daca notam 2.m2 . exista un unic u1.m2 exista un unic u2 in L+ ξ. u1. Aceleasi presupuneri ca in teorema precedenta. care maximizeaza JΣ(ξ. u2). Avem: 2.u1 . notat uξ . u2 1 ξ.Probleme Maxmin /Optimizarea Dinamica a Jocurilor Teorema 144. u2) ≥ JΣ(ξ. × L+ 2.

atunci 1 2 u = ξ uξ 1 uξ 2 = FRicc x . daca xξ este solutia corespunzand lui u1 = uξ si u2 = uξ . ξ (170) unde FRicc este reactia stabilizanta Riccati. unde X este solutia stabilizanta a ARE(Σ). Mai mult. u1.pentru fiecare ξ ∈ Rn. NOTA: Concluzia Teoremei 144 se poate exprima sintetic in felul urmator: max min JΣ(ξ. u1 u2 T (171) Si solutia maxmin este disponibila in forma “feedback” (170). Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 246 Probleme Maxmin . u2) = ξ Xξ.

Aceste conditii au fost exprimate in termenii diversilor operatori ce intervin in descrierea dinamica (in domeniul timp) a sistemului Hamiltonian HS. Conditiile frecventiale erau“usor” de verificat de catre ingineri. Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 247 Conditii Frecventiale . Era extrem de dezirabil atunci sa avem o legatura intre aceste conditii si proprietati de spatiul starilor (realizari).Conditii Frecventiale Pana in prezent am dat un numar de conditii necesare si suficiente pentru existenta solutiei stabilizante a ARE. acesta a constituit un subiect major de cercetare si a fost unul dintre punctele centrale ce au facut atat de atractiva Teoria Pozitivitatii. Exista rezultate puternice de teoria operatorilor ce leaga inversabilitatea acestui operator de proprietati de factorizare ale simbolului rational asociat. In aceasta sectiune exprimam aceste conditii in domeniul frecvential. Existenta solutiei stabilizante a ARE(Σ) a fost legata de existenta inversei marginite a operatorului Toeplitz RΣ. Vom folosi astfel de rezultate pentru a da complementul frecvential al rezultatelor operatoriale. Odata cu dezvoltarea tehnicilor moderne de control automat accentul s-a mutat oarecum spre tehnicile de spatiul starilor. Traditional.

exista un F a. doua unitati in RH+. B) stabilizabila. (172) In particular..i. B. P ) un triplet Popov cu A stabila. Ξ(s) := I − FRicc(sI − A) −1 B. Urmatoarele afirmatii sunt echivalente. i. Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 248 Conditii Frecventiale ..Teorema 145. i. Atunci urmatoarele doua afirmatii sunt echivalente.e.m×m a. ∞ 2. exista Ξ si Ω. 1. 2. Teorema 146. Functia Popov ΠΣ este antianalitic prefactorizabila. Functia Popov ΠΣ este antianalitic factorizabila. P ) un triplet Popov cu (A. Ω(s) := R(I − FRicc(sI − A) −1 B). 1. B. R este nensingulara si ARE(Σ) are o solutie stabilizanta. [Indepartarea ipotezei de stabilitate] Fie Σ = (A. pentru tripletul Popov F –echivalent Σ sa avem ΠΣ este analitic factorizabila.e. [Rezultatul central] Fie Σ = (A. R este nesingulara si ARE(Σ) are o solutie stabilizanta. ∗ ΠΣ(s) = [Ξ(s)] Ω(s).i.

m JΣ(ξ. (Numim X o solutie semistabilizanta a ARE). R > 0 si ARE(Σ) are o solutie stabilizanta X ⇔ ΠΣ > 0 (pe axa imaginara) 2. atunci exista o solutie simetrica X a ARE(Σ). 3. Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 249 Conditii Frecventiale . L. minimul indicelui patratic este minu∈L2. [Relaxarea ipotezei de pozitivitate] Fie Σ = (A. u) = ξ T Xξ ∀ξ ∈ Rn si se atinge pentru uξ = F xξ . Q. Daca Q L ≥ 0. Fie Σ = (A. unde F := −R (B T X + LT ) este reactia Riccati stabilizanta.Cazul de Pozitivitate: A Stabila Corolarul 147. R) un triplet Popov cu A stabila.i. B. −1 + (173) Corolarul 148. a. Q. B. este indeplinita. Presupunem R > 0 si (A. este indeplinita atunci X ≥ 0. R) un triplet Popov cu A stabila. pentru F := −R−1(B T X + LT ) sa avem Λ(A + BF ) ⊂ C− ∪ C0. Daca oricare afirmatie de la 1. LT R si oricare afirmatie 1. B) este controlabila. 1. L. Daca ΠΣ ≥ 0.

B) este stabilizabila. B. A O  −Q −AT ΠΣ =   LT BT este controlabila si observabila pe axa imaginara. c. R) un triplet Popov. L. Atunci ARE(Σ) are o solutie stabilizanta X si minu∈U ξ JΣ(ξ.Cazul de Pozitivitate: A arbitrara Corolarul 149. b.   R  (174) ∀ω ∈ R. Q. atunci X ≥ 0.  B −L  . Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 250 Conditii Frecventiale . ΠΣ(jω) > 0. Fie Σ = (A. Presupunem ca : a. Realizarea lui ΠΣ. Daca Q LT L R ≥ 0. Perechea (A. u) = ξ T Xξ .

L. Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 251 Conditia de Signatura in Domeniul Frecvential . (176) Π∗ Π22 12 Introducem deasemenea matricea de semn J := −Im1 Im2 . m = m1 + m2). Π11 Π12 ΠΣ = . L si R partitionate ca B= B1 B2 . R22).R = R11 T R12 R12 R22 . B2. (175) (Bi ∈ Rn×mi . Este usor de verificat ca Π22 = ΠΣ2 . De fapt vom da un rezultat mai puternic pentru sistemul KYPS(Σ). B.Conditia de Signatura in Domeniul Frecvential Prezentam in continuare o versiune in domeniul frecvential a conditii de signatura pentru operatori. Q. Fie functia Popov ΠΣ partitionata in concordanta cu R. L2. 2. R) cu B . Consideram din nou tripletul Popov Σ = (A.L = L1 L2 . (177) Notam tripletul Popov Σ2 = (A. Q. i = 1.

J ) are o solutie stabilizanta (X. W ) = (X. problema de control H ∞ si robustetea stabilizarii. Presupunem Π22 > 0 pe C0. V. Din moment ce stim ca existenta unei solutii stabilizante este echivalenta cu inversabilitatea lui RΣ. este o conditie suficienta pentru inversabilitatea lui RΣ (ptr.O conditie suficienta Teorema 150. Acesta este scopul urmatorului rezultat care este piatra de temelie a solutiilor problemelor de control optimal si robust: problema Nehari. Daca exista un S ∈ RH+. I S∗ ΠΣ I S < 0 pe C0. in schimb. ca R22 >> 0). (178) atunci KPYS(Σ. Fie Σ = (A. W1 W2 ) in care partitiile lui V si W sunt in concordanta cu J . B. R) un triplet Popov cu A stabila si intrarile partitionate ∞ ca mai sus. este extrem de interesant sa gasim o situatie in care existenta solutiei stabilizante implica conditia (178). Conditia (178) este doar suficienta pentru satisfacerea (166) care. Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 252 Conditia de Signatura in Domeniul Frecvential .m2×m1 a. V11 V21 O V22 . Q.i. L.

L. V11 V21 O V22 .O Conditie Necesara si Suficienta Teorema 151. Fie Σ = (A. b. Π22 > 0 pe C0. W ) = (X.m2×m1 care satisface inegalitatea de signatura. LT R22 2 I. Q. B. Exista S ∈ RH+. Presupunem ca : a. R) un triplet Popov cu intrarile partitionate ca mai sus. W1 W2 ) cu X ≥ 0. A este stabila. KPYS(Σ. Q L2 c. Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 253 Conditia de Signatura in Domeniul Frecvential . I S∗ ΠΣ I S < 0 on C0. unde partitiile lui V si W sunt in acord cu J . (179) 2. J ) are o solutie stabilizanta (X. V. ≥ 0. Urmatoarele afirmatii sunt echivalente: ∞ 1.

m2×m1 . G este un factor J –spectral al lui ΠΣ). ∗ (180) (i. =G .e.II. Clasa tuturor S care rezolva inegalitatea de signatura este data de S1 I −1 −1 S = S2S1 . cu θ ∞ < 1. atunci exista o matrice rationala G= G1 G3 G2 G4 ∞ partitionata in acord cu ΠΣ a.. G si G4 sunt unitati in RH+ si ΠΣ = G J G. Capitolul 13: TEORIE RICCATI: ABORDARE DINAMICA SI FRECVENTIALA 254 Conditia de Signatura in Domeniul Frecvential .i. Daca 1 sau 2 are loc. (181) S2 θ ∞ unde θ este un parametru liber in RH+.

Q. L. A este stabila si ΠΣ < 0 pe C0. T T Teorema 152. L. R) si pentru X = XT . Q.i. R < 0 si exista X > 0 a. R) un triplet Popov cu Q ≥ 0. CRICOP(Σ. X) := A X + XA − (XB + L)R T −1 (B X + L ) + Q. Fie Σ = (A. B. NOTA: Afirmatia 2 este echivalenta cu DΣ(X) = pentru X > 0. X) < 0. 1. AT X + XA + Q LT + B T X XB + L R <0 CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 255 Inegalitati Algebrice Riccati . Urmatoarele afirmatii sunt echivalente. CRICOP(Σ. 2. B. In acest scop introducem urmatoarele notatii: pentru un triplet Popov fixat Σ = (A.Inegalitati Algebrice Riccati Dam in continuare un rezultat remarcabil privind inegalitatile algebrice Riccati.

Singura restrictie majora a capitolului (pentru pastrarea dezvoltarilor teoretice la un nivel acceptabil de complexitate) consta in ipoteza de regularitate sub care functia Popov corespunzatoare ia valori de rang intreg. i. Ca si in capitolele precedente consideram ecuatii Riccati sub ipoteze foarte generale asupra coeficientilor matriciali ce permit includerea situatiilor de joc (de tip H ∞) in care coeficientul patratic are semn nedefinit.e. Valori proprii pentru fascicole matriciale: cazul regulat Structura de valori proprii a unui fascicol Hamiltonian extins (EHP) ARE si EHP Ecuatia Bernoulli Algoritmi numerici CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 256 . este inversabila ca matrice rationala.Capitolul 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat In acest capitol prezentam o noua abordare a ecuatiei matriciale algebrice Riccati prin intermediul fasciolelor matriciale.

polinomul caracteristic χ(λ) are gradul nf ≤ n • Valori proprii (generalizate) finite: Cele nf radacini ale χ(λ) CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 257 Valori proprii pentru fascicole matriciale . • Problema de valori proprii generalizate: Problema rezolvarii pentru λ ∈ C a ecuatiei polinomiale χ(λ) := det (λM − N ) = 0 Observatii: (182) • Daca M sau N sunt inversabile atunci fascicolul λM − N este regulat • Un fascicol matricial regulat poate insa avea ambele matrici N si M singulare • Deoarece M poate fi singulara. N matrici m × n cu elemente in R.Valori proprii pentru fascicole matriciale: cazul regulat Fie M. • Fascicol Matricial: Matricea polinomiala de ordinul 1 λM − N in variabila λ • Fascicol matricial regulat: Un fascicol matricial patrat (n × n) cu un determinant neidentic nul det(λM − N ) ≡ 0.

Mx = 0 daca λ0 este infinita Definitia 153. (183) CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 258 Valori proprii pentru fascicole matriciale . a. N. Z ∈ Cn×n.• Valori proprii infinite: Spunem ca λ = ∞ este o valoare proprie (generalizata) a lui λM − N daca λ = 0 este o valoare proprie generalizata a fasciolului reciproc λN − M . Doua fascicole λM − N si λM − N . cu M.i. N ) • Pentru o valoare proprie generalizata λ0 exista un vector propriu (generalizat) x(= 0) ∈ Cn a. valabil si pentru mutiplicitati algebrice si geometrice Observatie: • n∞ = n − nf • Un fascicol regulat n × n λM − N intotdeauna are n valori proprii (finite si infinite) care impreuna formeaza spectrul Λ(M. N ∈ Cm×n se numesc (strict) echivalente daca exista doua matrici constante inversabile Q ∈ Cm×m. N x = λ0M x daca λ0 este finita. i. Q(λM − N )Z = λM − N . M .

. Z ∈ Cn×n a. exista doua matrici inversabile Q. Pentru orice fascicol regulat λM − N . (184) O λInf − Nf iar Nf este in forma canonica Jordan. N ∈ Cn×n. cu M. Js∞ (0)) 1 2 h∞ (185) si Js(0) este un bloc elementar Jordan s × s (nilpotent) (avand o singura valoare proprie in λ = 0). Q(λM − N )Z = λMW − NW unde λM∞ − In∞ O λMW − NW := . i. . M∞ este nilpotenta si in forma canonica Jordan M∞ := diag (Js∞ (0). .Forma canonica Weierstrass a unui fascicol matricial Relatia de ecchivalenta stricta induce o forma canonica in multiumea fascicolelor regulate n × n numita forma canonica Weierstrass (extinde forma canonica Jordan). Js∞ (0). Observatie: • Valorile proprii generalizate (si multiplicitatile lor) ale fascicolului λM − N coincid cu valorile proprii (si multiplicitatile lor) ale matricii Nf CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 259 Valori proprii pentru fascicole matriciale . .

• Multiplicitatile partiale. • Daca M este inversabil nu exista valori proprii infinite si forma canonica Weierstrass se reduce la forma canonica Jordan a lui M −1N • Exista o varianta reala a acestor concepte (analog cu Jordan)! CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 260 Valori proprii pentru fascicole matriciale . algebrice si geometrice ale valorii proprii infinite a lui λM − N coincid cu multiplicitatile valorii proprii din zero a lui M∞ • Multimea valorilor proprii (+ multiplicitatile) determina complet forma canonica Weierstrass a unui fascicol regulat (pana la o permutare a blocurilor diagonale pe diagonala principala).

CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 261 si Valori proprii pentru fascicole matriciale .Subspatii de deflatie ale unui fascicol Extindem in continuare notiunea de spatiu invariant al unei matrici la notiunea de spatiu de deflatie al unui fascicol (regulat). Avem: k := dimW ≥ dimV = . Fie λM − N un fascicol regulat. (186) Observatii: • Cele mai simple spatii de deflatie sunt vectorii proprii (generalizati) ! • Pentru M = In. cu M. N ∈ Cn×n. Subspatiul liniar V ⊂ Cn se numeste spatiu de deflatie a lui λM − N daca dim(M V + N V) = dimV. Definitia 154. definitia spatiului de deflatie se reduce la ce de spatiu invariant a lui N : dim(V + N V) = dimV ⇔ N V ⊂ V • Fie V ⊂ Cn un spatiu arbitrar (nu neaparat de deflatie) avand dimensiunea W := M V + N V.

si definim fascicolul restrictionat si spectrul restrictionat al fascicolului la V CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 262 Valori proprii pentru fascicole matriciale . (187) Din moment ce M V ⊂ W si N V ⊂ W : Q −1 (λM − N )Z = λM11 − N11 O. Fie V = Im Z1. partitionate Z= [ Z1 Z2 n− ] . (188) unde k ≥ . Mii si Nii sunt patrati ptr. λM12 − N12 λM22 − N22 n− }k } n − k.(egalitatea avand loc doar daca V este spatiu de deflatie). i = 1. W = Im Q1. 2. Q= [ Q1 k Q2 n−k ] . W = Im Ik O . (189) Daca V este acum un spatiu de deflatie atunci dim W = k = = dim V . In acest nou sistem de coordonate V si W sunt reprezentate de V = Im I O . Construim matricile inversabile Q si Z .

N )|V = Λ(M11. (192) unde λMii − Nii (i = 1. N )|V ⊂ Cb. N ) si Λ(M. cu V = (191) 1. Un spatiu de deflatie V este de deflatie Cb daca Λ(M. Λ(M11. N11) ∪ Λ(M22. Λ(M. Fie λM − N un fascicol regulat cu M. 2) sunt regulate. N22) = Λ(M. N )|V := Λ(M11. a lui λM − N si W := M V + N V Z2 . Q = Q1 Q2 . Propozitia 155. N ∈ Fn×n. (190) Consideram o partitie a planului complex in doua multimi disjuncte C = Cb ∪ Cr (cel bun si cel rau ). N11). Q −1 (λM − N )Z = λM11 − N11 O λM12 − N12 λM22 − N22 n− } }n− .i. Daca V ⊂ Cn este un spatiu de deflatie de dimensiune atunci exista matrici complexe inversabile Z = Z1 Im Z1 si W = Im Q1.ca fiind (λM − N )|V := λM11 − N11. a. CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 263 Valori proprii pentru fascicole matriciale . N11).

1. atunci V este unic. Corolarul 156. N )|V = Λ(M11. Fie λM − N un fascicol regulat cu coeficienti in C si fie Λ1 ∪ Λ2 = Λ(M. Λ(M. cu M. Reciproc. Fie λM − N un fascicol regulat. N )|V = Λ1. Atunci exista un spatiu de deflatie V ⊂ Cn a. Teorema 157. W = Im Q1 unde W := M V + N V . MV S = NV (193) si λI − S este echivalent cu (λM − N )|V . N11). Daca V ∈ Cn× este o baza pentru spatiul de deflatie V cu spectru finit atunci exista o matrice patrata S ∈ C × a. CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 264 Valori proprii pentru fascicole matriciale . si Λ(M. N ∈ Cn×n. Daca M si N au elemente reale si Λ1 este o multime simetrica. atunci putem alege V ⊂ Rn.i.i. Dam in continuare o caracterizare utila a unui spatiu de deflatie in termenii unei matrici baza asociate. Daca Λ1 ∩ Λ2 = ∅. N ) o partitie a spectrului.2. daca are loc (192) pentru matricile inversabile Q si Z partitionate ca mai sus atunci V = Im Z1 este un spatiu de deflatie a lui λM − N .

2. Relatia (193) generalizeaza caracterizarea unui spatiu invariant al unei matrici la acea de spatiu de deflatie al unui fascicol regulat. daca are loc M V S = N V pentru o matrice baza V ∈ Cn× si o matrice S ∈ C × atunci V = Im V este un spatiu de deflatie a lui λM − N si λI − S este echivalent cu (λM − N )|V . Reciproc. CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 265 Valori proprii pentru fascicole matriciale .

a unui EHP . R) un triplet Popov. Q.   R    O −AT BT B −L  R  (194) A  −Q ΠΣ(λ) =   LT Reamintire: (195) EHP(Σ) este fascicolul de transmisie (sistem) asociat cu realizarea de mai sus a ΠΣ. Asociem: EHP(Σ) : si functia Popov I λMΣ − NΣ := λ  O O   O I O A O O  −  −Q O LT O −AT BT B −L  . Notam pentru λMΣ − NΣ: CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 266 Structura de v. EHP (si in general un fascicol matricial oarecare) se numeste regulat daca det(sMΣ − NΣ) ≡ 0.p.Structura de valori proprii a unui fascicol Hamiltonian extins (regulat) Fie Σ = (A. B ∈ Rn×m. L. B. cu A ∈ Rn×n.

Pentru un EHP regulat avem: 1. Teorema 158. 1. generalizate finite in C− f n0 : numarul de v.p. rank R(λ)(λMΣ − NΣ) = 2n + m. generalizate finite in C0 f n+: numarul de v.p. n− = n+. Se poate verifica direct P (λMΣ − NΣ) P = −λMΣ − NΣ. 3. Demonstratie. Im 267 Structura de v. f f 2. unde T O P :=  In O  −In O O  O O .p. generalizate infinite Fie π0 numarul de zerouri ale ΠΣ(λ−1) din zero (≡ numarul de zerouri ale lui ΠΣ(λ) la ∞). rank R(λ)ΠΣ(λ) = m. generalizate finite in C+ f n∞: numarul de v. n∞ = m + π0.p. a unui EHP CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat .p.n−: numarul de v.

Structura de v. generalizata a lui λMΣ − NΣ cu aceeasi multiplicitate. Deoarece λMΣ − NΣ este fascicolul de transmisie al functiei Popov ΠΣ(λ) avem rank R(λ)(λMΣ − NΣ) = 2n + rank R(λ)ΠΣ(λ). det(MΣ − λNΣ) = (−1) λ det(In − λA) det(In + λA ) det(ΠΣ(λ CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 268 m m T −1 )). generalizata a lui λMΣ − NΣ daca si numai daca −λ este o v. Pentru orice λ pentru care I − λA si I + λAT sunt inversabile avem identitatea    In − λA O λB In O O MΣ − λNΣ =  O In O  λQ In + λAT −λL  . (196) Din regularitatea fascicolului rezulta ca rank R(λ)(λMΣ − NΣ) = 2n + m care combinat cu (196) conduce la rank R(λ)ΠΣ(λ) = m.p. Deoarece fascicolul λMΣ − NΣ este regulat.p.Deci det(λMΣ − NΣ) = det(−λMΣ − NΣ). EHP-ul fiind regulat rezulta ca λ este o v. 2. X(λ) Y(λ) −Im O O λΠΣ(λ) unde X(λ) := −λ[LT + λB T (In + λAT )−1Q](In − λA)−1.p. 3. a unui EHP . ambele nu au poli in λ = 0. Y(λ) := −λB T (In + λAT )−1.

[Dihotomie si Spatii de Deflatie ] Un EHP regulat este dihotomic daca si numai daca are un spatiu de deflatie C− de dimensiune n. daca n0 = 0 si π0 = 0). (sau. echivalent. obtinem ca λ = 0 este o valoare proprie generalizata a lui MΣ − λNΣ cu multiplicitatea m + π0 ceea ce inseamna ca λ = ∞ este o v. Dihotomia implica ca toate multiplicitatile valorii proprii de la infinit sunt egale cu 1. Propozitia 160.p.p.Folosind forma Smith–McMillan a lui ΠΣ. a unui EHP . f Observatii 0 n∞ = m Zerourile ΠΣ(λ) sunt printre valorile proprii generalizate ale λMΣ − NΣ. Un EHP regulat se numeste dihotomic daca nf = 0. Definitia 159. a lui λMΣ − NΣ avand aceeasi multiplicitate n∞ = m + π0. Dihotomia implica ca ΠΣ(λ) nu are zerouri pe axa imaginara inclusiv la infinit Dihotomia implica R = ΠΣ(∞) nesingulara. CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 269 Structura de v.

fiecare in parte putand fi disconjugat sau nu. Un subspatiu de deflatie V se numeste disconjugat daca admite o matrice baza cu V1 avand rang intreg pe coloane (injectiva). Definitia 162.In particular. Observati ca disconjugarea este independenta de alegerea matricii baza. rezultatul anterior implica ca EHP este dihotomic daca si numai daca   }n V1 MΣV S = NΣV. Disconjugarea unui EHP este bine definita Un EHP dihotomic are intotdeauna un subspatiu de deflatie n–dimensional C− si un subspatiu de deflatie n–dimensional C+. Observatie: Un EHP dihotomic are un unic subspatiu de deflatie (maximal) n–dimensional C− (si C+). V =  V2  }n }m V3 (197) unde V este o matrice baza pentru subspatiul de deflatie C− de dimensiune n si S este o matrice n × n stabila. Un EHP regulat se numeste stabil (antistabil) disconjugat daca este dihotomic si are un subspatiu de deflatie disconjugat C− (C+) de dimensiune n. Definitia 161. a unui EHP . CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 270 Structura de v.p.

(199) unde S este stabila (sau antistabila). Scriind (197) explicit obtinem V1S V2S 0 = = = AV1 −QV1 L T V1 − + A V2 B T V2 T + − + BV3. CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 271 Structura de v. Deoarece S este stabila (sau antistabila) V2T V1 este unica solutie simetrica. a unui EHP . RV3. Daca V =  V2  }n este o matrice baza a unui spatiu de deflatie C− }m V3 (sau C+) a unui EHP regulat atunci  V1 V2 = V2 V1. }n V1 Propozitia 163. avand un termen liber simetric.p. Adunand prima ecuatie premultiplicata cu V2T celei de-a doua transpusa si postmultiplicata cu V1 si folosind a treia ecuatie (199) obtinem V2 V1S + S V2 V1 + V1 QV1 − V2 BV3 − V3 B V2 − V3 RV3 = 0. T T T T T T T T (200) Aceasta ecautie este de tip Lyapunov in V2T V1. LV3. T T (198) Demonstratie.

CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat −1 F = V3V1 −1 (203) ARE si EHP 272 . solutia si reactia se pot calcula cu formulele O −AT BT  B −L  R (202) X = V2V1 . EHP    A I O O λMΣ − NΣ = λ  O I O  −  −Q O O O LT este regulat si stabil (antistabil) disconjugat. impreuna cu formule de calcul si un algoritm numeric stabil. Matricea R este inversabila si A X + XA − (XB + L)R T −1 (L + B X) + Q = 0 T T (201) are o solutie stabilizanta (antistabilizanta).ARE si EHP Dam in continuare conditii necesare si suficiente de existenta a solutiei stabilizante (si antistabilizante) a ARE. 2. Teorema 164. Urmatoarele afirmatii sunt echivalente: 1. Mai mult.

Atunci urmatoarele afirmatii sunt echivalente. O In O .  este o matrice baza a subspatiului de deflatie n–dimensional C− Pentru R inversabil. Presupunem R inversabila. Corolarul 165. }n V1 in care V =  V2  }n }m V3 (C+) a EHP. obtinem identitatea Q(λMΣ − NΣ)Z = λ in care I2n O O O − HΣ O O Im . (204) HΣ := si A − BR−1LT −Q + LR−1LT −1 −BR−1B T −AT + LR−1B T   (205) In O O In O −BR −1 . 273 ARE si EHP CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat . Q =  O In Z= LR O O Im −R−1LT −R−1B T R−1 Matricea HΣ este o matrice Hamiltoniana de dimensiune 2n × 2n ce satisface prin definitie HΣ J + JHΣ = 0. T   pentru J := O In −In O .

• Folosirea matricii Hamiltoniene poate conduce la solutii extrem de inexacte daca R este prost conditionata in raport cu inversarea numerica. In acest caz se foloseste intotdeauna EHP in loc de matricea Hamiltoniana. 2. ARE are o solutie stabilizanta (antistabilizanta). −R−1(B T X + LT ). (206) V2 }n n Solutia stabilizanta si reactia corespunzatoare se pot calcula din X = V2V1−1.1. Observatii: F = • Existenta solutiei stabilizante pentru ARE se poate verifica alternativ folosind matricea Hamiltoniana sau EHP. • Solutiile se pot calcula rezolvand problema de valori proprii pentru matricea Hamiltoniana de dimensiune 2n in loc sa rezolvam problema mai complicata de valori proprii generalizate pentru EHP avand dimensiune 2n + m. Matricea Hamiltoniana HΣ are un subspatiu invariant n–dimensional C− (C+) care admite o baza cu V1 inversabila: V1 }n V = . CAPITOLUL 14: Ecuatii Riccati si Fascicole Matriciale: Cazul Regulat 274 ARE si EHP .

perechea (A. ecuatia Bernoulli are cateva proprietati suplimentare.Ecuatia Bernoulli In cazul particular in care Q = 0. B) stabilizabila. Teorema 168. Fie R < 0. Propozitia 166. Atunci ecuatia Bernoulli are o solutie stabilizanta pozitiv semidefinita. ecuatia algebrica Riccati se numeste ecuatie Bernoulli: A X + XA − XBR T −1 B X = 0. si R este nensingulara. L = 0. Propozitia 167. si R > 0. Fie R inversabila. Capitolul 15: Aplicatii in Teoria Sistemelor 275 ARE si EHP . T (207) Din cauza formei sale particulare. Daca ecuatia Bernoulli are o solutie stabilizanta (antistabilizanta) atunci A este dihotomica. Daca ecuatia Bernoulli are o solutie stabilizanta pozitiv semidefinita X atunci A este stabila. Fie A dihotomica.

Lema de Real-Marginire Factorizari Coprime Normalizate Teorema Micii Amplificari Factorizare Spectrala si Inner-outer (interioara-exterioara) Capitolul 15: Aplicatii in Teoria Sistemelor 276 .Capitolul 15: Aplicatii in Teoria Sistemelor In acest capitol prezentam cateva aplicatii generale ale rezultatelor Riccati in teoria generala a sistemelor. rezultate ce vor fi ulterior folosite in teoria controlului optimal.

< γ. B) este stabilizabila si G 2. A este dihotomica. Capitolul 15: Aplicatii in Teoria Sistemelor 277 Lema de Real-Marginire . Fie γ > 0 si G= Urmatoarele afirmatii sunt echivalente: 1. ARE ∞ A C B D .Lema urmatoare contine un rezultat celebru in Teoria Sistemelor dand conditii necesare si suficiente pentru ca un sistem sa fie marginit in norma H ∞ de un γ > 0. δc(X) reprezinta numarul de valori proprii cu parte reala strict negativa. Lema 169. strict pozitiva si respectiv egala cu zero. (A. A X + XA − (XB + C D)(−γ I + D D)(D C + B X) + C C = 0 are o solutie stabilizanta X care satisface urmatoarele proprietati: T T 2 T T T T δc(X) + πc(X) = νc(A). πcX. νc(X) = πc(A) in care νc(X).

<γ 2. A este stabila si G A C B D . −γ 2I + D T D < 0 si exista X > 0 a.Lema 170. ∞ AT X + XA + C T C DT C + B T X XB + C T D −γ 2I + D T D <0 Capitolul 15: Aplicatii in Teoria Sistemelor 278 Lema de Real-Marginire .i. [Varianta stricta] Fie γ > 0 si G= Urmatoarele doua afirmatii sunt echivalente: 1.

0.Factorizari Coprime Normalizate Teorema 171. Fie ΣY = (A . (208) . si matricile de transfer RH+ : M= U= M= U= Atunci avem: Capitolul 15: Aplicatii in Teoria Sistemelor 279 Factorizari Coprime Normalizate AF B F I AK B −F I AK K C I AF −K C I . 0. N= W= N= W= AF C AK F AK C AF F B O K O B O K O . C . AK := A + KC. . . B. K := −Y C T . . . si fie X si Y solutii stabilizante a ARE(ΣX ) si ARE(ΣY ). Fie G = A C B O T . I). ∞ AF := A + BF . C C.. B) stabilizabila si (C. Definim F := −B T X . . I) T T T ΣX = (A. . cu (A. BB . A) detectabila.

1.

−W M
2.

U N

−N M

U W

=

I O

O I

(209)

( identitatea de factorizare coprima (dubla))

, N N + M M = I, (210) ∞ i.e., perechea (N, M) este o factorizare coprima normalizata la dreapta a lui G peste RH+ .
3. G=M
−1

G = NM

−1

N,

NN + MM = I,

(211)

∞ i.e. perechea (N, M) defineste o factorizare coprima normalizata la stanga a lui G peste RH+ .

Capitolul 15: Aplicatii in Teoria Sistemelor

280

Factorizari Coprime Normalizate

Teorema Micii Amplificari

Aceasta teorema da un instrument puternic pentru evaluarea stabilitatii interne a unui sistem in bucla inchisa. Teorema 172. [Teorema Micii Amplificari] Fie Gi =

Ai Ci

Bi Di

,

yi = Giui,

i = 1, 2,

doua sisteme cu Ai stabila, i = 1, 2, avand functiile de transfer G1 si G2 de dimensiune p × m si m × p. Presupunem ca Sc := Im − D2D1 (sau, echivalent Sc := Ip − D1D2) este nensingulara.

1 G2 ∞ ≤ γ ∞ γ pentru γ > 0, atunci sistemul in bucla inchisa a lui G1 cu G2 este (intern) stabil.
G1

Daca

<

Capitolul 15: Aplicatii in Teoria Sistemelor

281

Teorema Micii Amplificari

Factorizari spectrale si interioare–exterioare

Definitia 173. i.e.,

∞ Fie G(λ) ∈ RH+,p×m avand rang intreg pe coloane pe intreaga axa imaginara,

rank G(jω) = m (= rank R(λ)G(λ)), ∀ω ∈ R.
∞ ∞ 1. Un Go(λ) ∈ RH+,m×m inversabil cu inversa in RH+,m×m a.i.

(212)

G (λ)G(λ) = Go (λ)Go(λ) se numeste un factor spectral al lui G.
∞ ∞ 2. Fie Gi := GG−1 ∈ RH+,p×m. Atunci Gi este interioara, i.e., este in RH+ si verifica o

(213)

Gi (λ)Gi(λ) = I Mai mult, G(λ) = Gi(λ)Go(λ) defineste o factorizare interioara–exterioara a lui G.

(214)

(215)

Capitolul 15: Aplicatii in Teoria Sistemelor

282

Factorizari spectrale si interioare–exterioare

Teorema 174.

A B . (216) C D Presupunem ca G este injectiva (rang intreg pe coloane) pe axa imaginara extinsa si realizarea ei este stabilizabila si C0–observabila. Definim tripletul Popov de pozitivitate
G=

Fie

Σ = (A, B; C C, C D, D D).

T

T

T

1. ARE(Σ) are o solutie stabilizatoare X , cu reactia Riccati corespunzatoare F . 2. Fie H o matrice inversabila a.i. H T H = D T D . Definim Go Gi

:= :=

B A , −HF H A + BF BH −1 C + DF DH −1

(217)

.

Atunci Go este un factor spectral si Gi este factorul interior a lui G, si impreuna ele definesc o factorizare interioara-exterioara.

Capitolul 15: Aplicatii in Teoria Sistemelor

283

Factorizari spectrale si interioare–exterioare

Capitolul 16: Problema Nehari patru bloc

In acest capitol dam solutia problemei Nehari care consta in a aproxima optimal (!!!!) in norma L∞ un sistem stabil cu unul antistabil. Consideram in acest capitol cazul general in care aproximantul actioneaza doar pe un colt al sistemului aproximat, problema ce mai este cunoscuta si sub numele de tip patru bloc. Abordaarea pe care o dam consta in reducerea problemei Nehari la o conditie de signatura care poate fi rezolvata pe baza rezultatelor ce le-am obtinut anterior. Problema Nehari si conditia de signatura Problema Parrott Solutia problemei Nehari

Capitolul 16: Problema Nehari patru bloc

284

Problema Nehari si conditia de signatura

Consideram un sistem antistabil (avand matricea A antistabila)

T=

A C

B D

A =  C1 C2

B1 D11 D21

 B2 D12  = D22

T11 T21

T12 T22

∈ RH− .

(218)

Definim un aproximant pentru sistemul T ca fiind un sistem stabil (cu AS stabil) S=

AS CS

BS DS

∈ RH+ .

(219)

Dandu-se sistemul antistabil T si un γ > 0, problema Nehari suboptimala (4–NP) consta in gasirea tuturor aproximantilor (stabili) S (atunci cand exista !), a.i. T11 + S T21 T12 T22

< γ.

(220)

Capitolul 16: Problema Nehari patru bloc

285

Problema Nehari si conditia de signatura

Problema Nehari optimala consta in gasirea aproximantilor (stabili) S a. Inegalitatea (220) este echivalenta cu o problema doi bloc T1 + S T2 cu constrangerea structurala S = Capitolul 16: Problema Nehari patru bloc <1 ∞ (222) T11 T12 .p ×m 1 1 min T11 + S T21 T12 T22 = ∞ T11 + S T21 T12 T22 = γmin. Din motive de timp vom trata numai cazul suboptimal care este esentialmente echivalent cu cel optimal dpdv numeric. T2 := S O 286 . ∞ S∈RH+. unde T1 := Problema Nehari si conditia de signatura . ∞ (221) Observatie: • Cazul optimal este echivalent cu gasirea lui γmin si toti S stabili care satisfac (220) cu inegalitatea stricta relaxata la una nestricta. • Nu restrangem cu nimic generalitatea presupunand D11 = 0 si γ = 1.i. si γ = γmin. Presupunem indeplinite aceste ipoteze.

pe C0 (224) asupra functiei Popov ΠΣ := Popov . (225) Astfel problema Nehari 4–bloc are o solutie S daca si numai daca conditia de signatura (224) are loc pentru S. Mai departe. L. pe C0. C C. R) (A. Rescriind (223) in mod compact rezulta conditia de signatura I S ∗ T∗T − Im T1 T∗T − Im T1 T∗ 1 I p1 T∗ 1 Ip1 I S < 0. Aceasta este in schimb asociata tripletului Σ = := (A. Capitolul 16: Problema Nehari patru bloc 287 Problema Nehari si conditia de signatura . T C D T T C1 .T21 T22 . Q. B. B Op1 . DT D − I D1 T D1 Ip1 ). (222) este echivalenta cu ∗ ∗ T2 T2 (T1 + S) (T1 + S) + ∗ −I = ∗ ∗ T1 T2 ∗ T1 T2 + S T1 + T1 S − I (223) ∗ ∗ = T T + S T1 + T1 S − I < 0.

Pentru a depasi a doua dificultate vom actualiza solutia conditiei de signatura printr-o structura potrivita. Pentru a depasi prima dificultate vom transforma intai tripletul antistabil Σ intr-unul stabil prin luarea unuor echivalenti potriviti. nu putem aplica direct rezultatele date in Capitolul 13 din doua motive: • A este antistabila pe cand noi avem nevoie sa fie stabila • Solutia S a inegalitatii (224) trebuie sa aibe a un patern de zerouri care nu este dat automat de conditia generala de signatura. ∞ (226) Observati ca (226) este o conditie necesara de rezolvare a problemei Nehari 4 bloc. Pentru a defini echivalentii Popov potriviti Σ folosim solutia ecuatiei Riccati care exprima proprietatea de contractivitate T12 T22 < 1. Presupunem ca Π admite Π = G J G. ∗ o factorizare J spectrala (227) Problema Nehari si conditia de signatura Capitolul 16: Problema Nehari patru bloc 288 . cu Π22 > 0 pe C0. Teorema 175.Oricum. Fie Π := Π11 Π∗ 12 Π12 Π22 = Π∗. Cheia consta intr-o factorizare J spectrala a unei functii Popov avand o structura prescrisa de “zerouri”.

care satisfac I este data de −1 S ∗ Π I S < 0. Ip1 ) = diag (−Im1 . −Im2 . θ= ∞ (229) Im S1 −1 =G θ S2 ∞ unde θ este un element arbitrar a lui RH+. ( S = conditia de signatura S Op1×m2 ∞ . pe C0.(m+p1)×(m+p1) si G4(= G33) este o unitate in RH+.p1×p1 . . (230) < 1.p1×m1 ). S ∈ RH+. Capitolul 16: Problema Nehari patru bloc 289 Problema Nehari si conditia de signatura .  G33  (228) ∞ ∞ G este o unitate in ∈ RH+.unde J := diag (−Im. θ O . ∞ Atunci clasa tuturor S ∈ RH+ . particulara  G11 O G1 G2  G G= =  21 G22 G3 G4 G31 O factorul spectral are structura G13 G23  . Ip1 ).p1×m1 cu θ S := S2S1 .

i. Teorema 176. I O  (232) Capitolul 16: Problema Nehari patru bloc Problema Parrott . [Problema Parrott] Fie D = O D21 D12 D22 D12 D22 <1 . unde D2 := D21 D22 si D 2 := D12 D22 .Problema Parrott Dam intai solutia problemei Nehari patru bloc in cazul matricial constant – in aceasta forma este cunoscuta si sub numele de problema lui Parrott (elementara dar netriviala !!!). Daca aceste conditii sunt indeplinite atunci  R := DT D − I D1 T D1 I  = T D21D21 − T D22D21 I T D21D22 T D2 D2 − I O 290 D12 T  D12  . D21 daca si numai daca: (231) D2 < 1 si D 2 < 1. Exista S a. S.

∀θ ∈ R −1 . Clasa tutoror matricilor S este data de T V11 V =  V21 V31  O V22 O p1 ×m1  O V23  . V33 (233) S = −V33 (V31 + θV11).are o J factorizare R = V JV. (234) Capitolul 16: Problema Nehari patru bloc 291 Problema Parrott . cu θ < 1.

BD2 . T D 2 := D2 := D12 D22 D21 D22 (235) A B Q L := := := = −(A + B2F1)T .Solutia problemei Nehari 4 bloc Introducem intai niste notatii. D2D2 − I). L. T T T (−AT . C T D 2. Q. BB T . −B2. B1 B2 O . −C2 . (A. O T T T C1 + F1 D12 (236) T D T D − I D1 R := D1 I unde X1 si F1 sunt solutia stabilizanta si reactia stabilizanta a ARE(Σ1). C T C. D 2 D 2 − I). Capitolul 16: Problema Nehari patru bloc 292 Solutia problemei Nehari 4 bloc . R). Definim tripletele Popov Σ1 Σ2 Σ = = = (−A. B. T T − (C2 + F1D22)D21 − X1B1 0.

Problema Nehari suboptimala are o solutie S daca si numai daca: 1. Clasa solutiilor problemei Nehari patru bloc este S = (G31 + G33θ)(G11 + G13θ) unde θ este stabil. cu X ≥ 0 satisfacand X = X2(I − X1X2)−1. V1. 3. KYPS(Σ2. W2). W1). cu X2 ≥ 0.   =  A + B F B1V 11 + B3V 31 B3V 33 F1 F3 T   .  G11 G13 G31 G33 V 11 V 31 . V. O V 33 si F := −V −1 W = T F1 T F2 T F3 Capitolul 16: Problema Nehari patru bloc 293 Solutia problemei Nehari 4 bloc . J ) are o solutie stabilizanta (X. W ). −I ) are o solutie stabilizanta (X1. ρ(X1X2) < 1. cu X1 ≥ 0. θ ∞ −1 . < 1. V2. Daca aceste conditii au loc atunci KYPS(Σ. 2.Teorema 177. KYPS(Σ1. −I ) are o solutie stabilizanta (X2.

Capitolul 17: Problema de Reglare H 2 Optimala In acest capitol consideram problema de control (reglare) H 2 optimala care consta in gasirea unui regulator care stabilizeaza intern si minimizeaza norma H 2 a sistemului rezulta in bucla inchisa. Fromularea problemei Evaluarea normei H 2 Rezultatul central Capitolul 17: Capitolul 16: Problema H 2 294 .

Formularea problemei Consideram un sistem dinamic liniar x ˙ y1 y2 = = = Ax + B1u1 + B2u2. zgomote si semnale referinta) • y1: vectorul iesirilor reglate (semnale de tip eroare) • u2: vectorul intrarilor reglate Capitolul 17: Capitolul 16: Problema H 2 295 . y= y1 y2 = Tu = T11 T21 T12 T22 u1 u2 . (238) • u1: vectorul intrarilor exogene (perturbatii. C1x + D12u2.i. A C B D A =  C1 C2  B1 O D21 (237) avand matricea de transfer data de : T11 T21 T12 T22 T =  B2 D12  = O unde u si y sunt intrarea si iesirea lui T partitionate in acord cu T a. C2x + D21u1.

i.i. unde uK si yK sunt intrarea si iesirea lui K. a. BK O (239) avand matricea de transfer K = .i. CK xK . raspunsul sistemului rezultant sa aibe energie cat mai mica y1 cand intrarea in sistem u1 este un impuls Dirac. uK Sistemul in bucla inchisa se obtine conectand regulatorul la sistemul dat a. 296 Capitolul 17: Capitolul 16: Problema H 2 . ca iesire a unui sistem numit regulator si avand intrarea y2. u2 ≡ yK si ≡ y2. Problema: Gasiti un u2 potrivit. raspunsul rezultant y1 la intrarea u1 sa indeplineasca anumite cerinte fixate prin proiectare. Definim un regulator pentru sistemul dat ca fiind alt sistem dinamic liniar xK ˙ yK AK CK = = AK xK + BK uK .• y2: vectorul iesirilor masurate Controlul (Reglarea) sistemului: folosind informatia masurata y2 gasiti o marime de comanda u2 a.

u1 u2 u 2 ≡ yK yK - T K - y1 y2 uK ≡ y2  uK Sistemul in bucla inchisa rezultat avand intrarea u1 si iesirea y1 este bine definit si dat de y1 = Ty1u1 u1. O (240) = Capitolul 17: Capitolul 16: Problema H 2 297 . Ty1u1 Ty1u1 = AR CR LFT(T. K) = T11 + T12K(I − T22K)−1T21 BR O A =  BK C2 C1  B2CK AK D12CK  B1 BK D21  .

• Ipoteza (iii) asigura automat ca sistemul in bucla inchisa este bine definit. Are norma H 2 minima ( Ty1u1 2 isi atinge minimul peste clasa tuturor sistemelor K= { K : K strict proprii si care stabilizeaza intern Ty1u1 }). intr-adevar. • Nici (i) nici (iii) nu sunt necesare pentru rezolvarea problemei de reglare H 2 si pot fii relaxate (s-au facut pentru simplificarea expunerii). • Presupunerea (ii) este facuta pentru simplificarea formulelor (nu se pierde din generalitate). Capitolul 17: Capitolul 16: Problema H 2 298 . • Ipotezele (i) si (iii) asigura Ty1u1 (∞) = DR = 0 care este o conditie necesara pentru finitudinea normei H 2 a sistemului in bucla inchisa. daca K rezolva problema cu D22 = 0. gasiti un regulator strict propriu K pentru care sistemul in bucla inchisa Ty1u1 : 1. (iii) K(∞) = DK = 0. Este intern stabil (Λ(AR ) ⊂ C−) 2.Problema de Control Optimal H 2: Dandu-se T. (ii) T22(∞) = D22 = 0. atunci K(I + D22K)−1 rezolva problema originala cu D22 arbitrar. • Regulator Stabilizant : Un regulator care satisface conditia de stabilitate interna • Regulator Optimal: Un regulator care atinge minimul normei L2 • Am presupus implicit: (i) T11(∞) = D11 = 0.

. (i = 1. .O evaluare a normei L2 Dam in continuare o evaluare utila a normei L2 a unui sistem stabil in termenii iesirii sistemului atunci cand semnalul de intrare este un impuls Dirac. . Fie y i iesirea pentru u = ui. m). . Capitolul 17: Capitolul 16: Problema H 2 si e1. . (i = 1. y = Tu. . Consideram sistemul stabil (A stabila) T= Norma L2 a lui T este definita ca T 2 A C B O . . . unde δ este distributia Dirac Euclidiana standard in Rm. . (241) := 1 2π ∞ −∞ Trace [T (jω)T(jω)]dω ∗ 1 2 . m). (242) Fie ui := δei. . . em este baza 299 . .

ptr. t ≥ 0. Fie deasemenea matricea de raspuns cauzal la impuls: G(t) := 0.Din stabilitatea lui A rezulta ca y i ∈ L2. ptr. t < 0 G(t) = CeAtB . y i(t) = CeAtBei. ptr. Avem succesiv m i 2 y 2 i=1 m ∞ 0 = i=1 ∞ T T ei G (t)G(t)eidt ∞ m = 0 [ i=1 ∞ −∞ ei G (t)G(t)ei]dt Trace [T (jω)T(jω)]dω ∗ T T = 0 1 Trace [G (t)G(t)]dt = 2π T (243) in care ultima ecuatie este o consecinta a formulei lui Parseval. ptr. Deci m T 2 2 = i=1 y i 2 2. t < 0. t ≥ 0. (244) Capitolul 17: Capitolul 16: Problema H 2 300 .p si are forma explicita: + y i(t) = 0.

B2. B1B1 . si rank Capitolul 17: Capitolul 16: Problema H 2 A − jωI C2 B1 D21 301 = n + p2. A) este detectabila. . ∀ ω ∈ R. Asociem doua triplete Popov Σ12 Σ21 Presupunem: = = (A. C1 C1. D12D12). D21 are rang intreg pe linii. (H2) Perechea (C2. D12 are rang intreg pe coloane. Fie sistemul T. T T T T T T T T (245) (246) (H1) Perechea (A. B2) este stabilizabila. C2 . B1D21. D21D21).Principalul rezultat Teorema 178. ∀ ω ∈ R. (A . si rank A − jωI C1 B2 D12 = n + m2 . C1 D12.

unde Fs := −(D12D12) T T −1 (B2 Xs + D12C1). 302 T T 1 (250) . Mai mult.Atunci ARE(Σ12) data de A X + XA − (XB2 + C1 D12)(D12D12) T T T −1 (B2 X + D12C1) + C1 C1 = 0 T T T (247) ate o solutie stabilizanta Xs ≥ 0. sunt reactiile Riccati stabilizante. si ARE(Σ21) data de AY + Y A − (Y C2 + B1D21)(D21D21) are o solutie stabilizanta Ys ≥ 0. Valoarea optimala (minimala) a normei H 2 este min Ty1u1 K∈K Capitolul 17: Capitolul 16: Problema H 2 −1 2 = [Trace (B1 XsB1) + Trace (C1YsC1 )] 2 . T T T Ks := −(D21D21) (C2Ys + D21B1 ). exista un regulator strict propriu K= T T T T −1 (C2Y + D21B1 ) + B1B1 = 0 T T (248) T A + B2Fs + Ks C2 −Fs T Ks O (249) care rezolva problema de reglare H 2 optimala.

B2) stabilizabila si (C2. Capitolul 17: Capitolul 16: Problema H 2 303 . 2.Observatii: • (A. Schema de demonstratie este: 1. 2 bloc si 2 bloc duala. Demonstratia se bazeaza pe solutia a trei probleme particulare H 2 optimale. Rezolvam problema 1 bloc Reducem problema 2 bloc la cea 1 bloc Scriem solutia problemei 2 bloc duale prin argumente de dualitate Reducem cazul general la o problema 2 bloc duala Propozitia 179. • Celelalte ipoteze sunt necesare pentru existenta solutiei stabilizante a celor doua ecuatii Riccati dar NU sunt necesare pentru existenta unei solutii a problemei H 2 optimale. A) detectabila sunt necesare pentru indeplinirea cerintei de stabilitate interna. 4. 3. [1 bloc] Presupunem ca T satisface ipotezele: −1 (1 bloc–H1) D12 este patrata si inversabila si A − B2D12 C1 este stabila. fiecare in parte fiind data sub forma unei propozitii separate: 1 bloc. In caz ca una dintre cele doua ipoteze nu este indeplinita obtinem o asa numita problema singulara.

−1 (1 bloc–H2) D21 este patrata si inversabila si A − B1D21 C2 este stabila. O Capitolul 17: Capitolul 16: Problema H 2 304 . Inlocuim expresia regulatorului si obtinem Ty1u1 = = A −1  B1D21 C2 A − C1 −C1  −1 −1 A − B2D12 C1 −B2D12 C1 −1  O A − B1D21 C2 O −C1  −1 −B2D12 C1 −1 −1 B1D21 C2 − B2D12 C1 B1 B1  O (252)   B1 O . Atunci o solutie si valoare optimala a normei H 2 sunt date de K= −1 −1 A − B1D21 C2 − B2D12 C1 −1 −D12 C1 −1 B1D21 O . Demonstratie. (251) min Ty1u1 K∈K 2 = 0.

B2) este stabilizabila. Atunci ARE A X + XA − (XB2 + C1 D12)(D12D12) T T T −1 (B2 X + D12C1) + C1 C1 = 0 T T T (253) are o solutie stabilizanta Xs ≥ 0. existenta solutiei stabilizante Xs a ARE(Σ12) este echivalenta cu existenta solutiei stabilizante Capitolul 17: Capitolul 16: Problema H 2 305 . Din (2 bloc–H1) rezulta ca ARE are o solutie stabilizanta Xs ≥ 0.Propozitia 180. D12 are rang intreg pe coloane. Mai mult. ∀ ω ∈ R. −1 (2 bloc–H2) D21 este patrata si inversabila si A − B1D21 C2 este stabila. O solutie si valoarea optimala a normei H 2 sunt date de K= −1 A − B1D21 C2 + B2Fs Fs T −1 B1D21 O 1 . [2 bloc] Presupunem ca T satisface urmatoarele ipoteze: (2 bloc–H1) Perechea (A. Demonstratie. (254) (255) min Ty1u1 K∈K 2 = [Trace (B1 XsB1)] 2 . si rank A − jωI C1 B2 D12 = n + m2 .

Consideram sistemul T = = T11 T12 T21 T22 T11 T12 T21 T22 y1 y2  A B1 B2 =  Ws O V s  . Prin urmare sistemul in bucla inchisa din figura Capitolul 17: Capitolul 16: Problema H 2 306 . W T V. Cum Vs este inversabil. Vs. C2 D21 O u1 u2  (257) care se obtine inlocuind iesirea y1 = C1x + D12u2 cu iesirea y1 = Wsx + Vsu2. se verifica imediat ca T satisface ipotezele (1 bloc–H1) si (1 bloc–H2). W T W. regulatorul K din (254) rezolva problema 1–bloc formulata pentru sistemul (257). Daca scriem regulatorul pentru cazul 1–bloc cu date obtinute din T obtinem (254). (256) unde Fs = −Vs−1Ws este reactia stabilizanta.(Xs. Cu alte cuvinte. Xs ≥ 0. a KPYS T D12D12 T C1 D12 + XB2 T C1 C1 + AT X + XA = = = V T V. Ws).

u1 u2 u 2 ≡ yK yK - - y1 T K  y2 uK ≡ y2 uK dat de Ty1u1 = LFT(T. Stabilitatea interna a (258) este 1 echivalenta cu faptul ca matricea de stare AR = Capitolul 17: Capitolul 16: Problema H 2 A −1 B1D21 C2 B2Fs −1 A − B1D21 C2 + B2Fs 307 . K) = T11 + T12K(I − T22K) este intern stabil si m 2 Ty1u1 2 i 2 2 −1 T21. (258) = i=1 y1 =0 (259) i unde y1 este iesirea lui Ty1u1 pentru intrarea u1 = ui = δei.

este stabila. dt 308 Capitolul 17: Capitolul 16: Problema H 2 . (260) si prin urmare Ty1u1 este deasemenea intern stabila. K) = T11 + T12K(I − T22K) −1 T21. este usor de sa vedem ca AR este matricea de stare a lui Ty1u1 = LFT(T. In orice caz. Evaluam succesiv: y1(t) 2 = = C1x(t) + D12u2(t) T T 2 T T T T x (t)C1 C1x(t) + 2x (t)C1 D12u2(t) + u2 (t)D12D12u2(t) T T T T T (256) = x (t)Ws Wsx(t) − x (t)(A Xs + XsA)x(t) + 2x (t)Ws Vsu2(t) − 2x (t)XsB2u2(t) + u2 (t)Vs Vsu2(t) T T T T = Wsx(t) + Vsu2(t) 2 T 2 − x (t)Xs(Ax(t) + B2u2(t)) T T T − (Ax(t) + B2u2(t)) Xsx(t) = y1(t) T − x (t)Xsx(t) − x (t)Xsx(t) ˙ ˙ T T + x (t)XsB1u1(t) + u1 (t)B1 Xsx(t) = y1(t) 2 − d T T T T (x (t)Xsx(t)) + x (t)XsB1u1(t) + u1 (t)B1 Xsx(t). Rezulta ca K satisface cerinta de stabilitate a problemei H 2 formulate pentru T si ramane sa aratam ca cerinta de optimalitate este deasemenea indeplinita.

Fie K orice regulator a. K) este intern stabila. (261) xK (0+) = BK D21ei. T . Atunci obtinem cu 1 (240). Ty1u1 = LFT(T. si toate semnalele din bucla inchisa ale Ty1u1 si 1 i i Ty1u1 sunt functii exponential descrescatoare in L2 . ∀t > 0. si conditia initiala x(0−) = 0. ∞) ambii membrii pentru u1(t) = ui := δei si cu (261) obtinem succesiv 1 y1 i 2 2 = y1 i 2 2 + ei B1 XB1ei. Consideram intrarea impulsiva u1 = ui := δei. Notam y1 si y1 iesirile lui Ty1u1 si Ty1u1 + la intrarea ui . 1 Integram pe (0. i=1 T T m1 y1 i 2 2 m1 = i=1 y1 i 2 2 + Trace (B1 XsB1) T de unde concluzionam Ty1u1 Capitolul 17: Capitolul 16: Problema H 2 2 2 = Ty1u1 309 2 2 + Trace (B1 XsB1). xK (0−) = 0. xK (0+) BK D21 Prin urmare x(0+) = B1ei. x(0+) B1 xR (0+) = = BR ei = ei.i. Asa cum a rezultat mai sus. Fie xK (t) si xR (t) vectorul de stare al lui K si respectiv al lui Ty1u1 . K) este desemenea intern stabila. ui (t) = 0. Ty1u1 = LFT(T.

(2 bloc dual–H2) Perechea (C2. [2 bloc duala] Prespunem ca T satisface urmatoarele ipoteze: −1 (2 bloc dual–H1) D12 este patrata si inversabila si A − B2D12 C1 este stabila. ∀ ω ∈ R. A) este detectabila. Dar Ty1u1 2 ≥ Trace (B1 XB1) si egalitatea are loc pentru K dat de (254) 2 deoarece are loc (259). AY + Y A − (Y C2 + B1D21)(D21D21) T T T T −1 (C2Y + D21B1 ) + B1B1 = 0 T T (262) are o solutie stabilizanta Ys ≥ 0. Din aceasta concluzionam ca (255) are loc si demonstratia este incheiata. O solutie si valoarea optimala (minima) a normei H 2 sunt date de   T −1 T A − B2D12 C1 + Ks C2 Ks   K= (263) −1 D12 C1 O Capitolul 17: Capitolul 16: Problema H 2 310 .Aceasta egalitate are loc pentru toate regulatoarele K pentru care Ty1u1 (si automat Ty1u1 ) este T intern stabila. D21 are rang intreg pe linii si rank Atunci ARE(Σ21) A − jωI C2 B1 D21 = n + p2. Propozitia 181.

Cum Vs este inversabil. Existenta solutiei stabilizante Xs a ARE este echivalenta cu existenta unei solutii stabilizante (Xs. Scriem solutia K a problemei 2 bloc formulate pentru TT si obtinem ca KT este o solutie a problemei 2 bloc duale formulate pentru T. Capitolul 17: Capitolul 16: Problema H 2 311 . Atunci cu (H1) si (H2) rezulta ca Riccati-urile corespunzatoare au solutii stabilizante Xs ≥ 0 si Ys ≥ 0. Vs. Daca scriem regulatorul corespunzator pentru T dat de (257) ajungem exact la (249). daca T satisface ipotezele problemei 2 bloc duale. Consideram din nou sistemul (257) care se obtine inlocuind iesirea y1 cu iesirea y1.min Ty1u1 K∈K 2 = T 1 [Trace (C1YsC1 )] 2 . Observam intai ca cele doua ARE sunt ecuatiile Riccati de pozitivitate asociate cu T12 si respectiv T21. Mai precis. Mai departe urmam acceasi linie de rationament ca la cazul 2 bloc. regulatorul K in (249) rezolva problema 2 bloc duala formulata pentru sistemul (257). Xs ≥ 0. este usor de verificat ca sistemul T satisface acum ipotezele problemei 2 bloc duale. atunci TT satisface ipotezele problemei 2 bloc. (264) Demonstratie. a KPYS dat in (256). Demonstratia Teoremei 178. Ws). Demonstratia este o consecinta a dualitatii cu problema 2 bloc. Restul demonstratiei este o simpla chestiune de substitutii in formule. Cu alte cuvinte.

Deci Ty1u1 este desemenea intern stabil. Capitolul 17: Capitolul 16: Problema H 2 312 .i. In acest scop fie K orice regulator a. Din stabilitatea interna a Ty1u1 rezulta in mod analog ca in demonstratia Propozitiei 180 ca Ty1u1 este deasemenea intern stabil. Ty1u1 este intern stabil. pentru K dat de (249) egalitatea (265) are loc si prin urmare rezulta (250) incheind astfel demonstratia Teoremei 178. Dar. Din Propozitia 181 aplicata lui (257) obtinem T y 1 u1 si mai departe Ty1u1 2 2 2 2 ≥ Trace (C1YsC1 ) T T T (265) ≥ Trace (B1 XsB1) + Trace (C1YsC1 ). A ramas de aratat ca K este intr–adevar optimal si sa obtinem evaluarea (250). (266) Egalitatea din (266) are loc daca si numai daca egalitatea din (265) are loc. asa cum am explicat mai sus.

Capitolul 18 Problema de reglare H ∞ (sub)optimala In acest capitol consideram problema de reglare H ∞ (sub)optimala (numita si problema atenuarii perturbatiei) ce consta in gasirea clasei tuturor regulatoarelor care stabilizeaza intern sistemul in bucla inchisa si ii minimizeaza norma H ∞ (o fac mai mica decat un γ > 0). Formularea problemei Presupuneri de baza Problema H ∞ si conditia de signatura Solutia Schita demonstratiei Capitolul 18: Problema de reglare H ∞ (sub)optimala 313 . Solutia propusa se bazeaza din nou pe conditia de signatura pe care deja stim s-o rezolvam.

y= y1 y2 = Tu = T11 T21 T12 T22 u1 u2 . (268) • u1: vectorul intrarilor exogene • y1: vectorul iesirilor reglate • u2: vectorul intrarilor reglate Capitolul 18: Problema de reglare H ∞ (sub)optimala 314 Formularea problemei . C2x + D21u1 + D22u2. A C B D A =  C1 C2  B1 D11 D21 (267) avand matricea de transfer data de : T11 T21 T12 T22 T = B2 D12  = D22  unde u si y semnifica intrarea si iesirea lui T partitionate conform a.i. C1x + D11u1 + D12u2.Formularea problemei Cadrul este complet similar celui din capitolul anterior. Consideram un sistem dinamic liniar: x ˙ y1 y2 = = = Ax + B1u1 + B2u2.

i. aleasa astfel incat sa maximizeze y1).• y2: vectorul iesirilor masurate Problema: Gasiti o intrare potrivita u2 (ce este iesire a unui sistem numit regulator avand intrarea y2) astfel incat raspunsul rezultat y1 sa aibe energie cat mai mica atunci cand intrarea u1 este cel mai prost semnal posibil de energie unitara (i. o functie in L2. unde uK si yK sunt intrarea si iesirea lui K. Definim regulatorul prin formulele generale xK ˙ yK = = AK xK + BK uK . (269) avand matricea de transfer K = AK BK . 315 Formularea problemei Capitolul 18: Problema de reglare H ∞ (sub)optimala .e. u2 ≡ yK si uK ≡ y2.. C K DK Sistemul in bucla inchisa se obtine conectand regulatorul la sistemul nominal a. CK xK + DK uK . Cum u1 este vazut ca un semnal perturbator conditia poate fi privita ca o cerinta de atenuare a perturbatiei. de norma 1.

sau ca S := Im2 − DK D22 nensingulara. DK Im2 Buna definire poate fi exprimata echivalent prin conditia S = Ip2 − D22DK nensingulara. K) = T11 + T12K(I − T22K)−1T21. Daca sistemul in bucla inchisa este bine definit atunci sistemul rezultat avand intrarea u1 si iesirea y1 este dat de Sistemul in bucla inchisa este bine definit daca matricea Ty1u1 = LFT(T.u1 u2 u 2 ≡ yK yK - T K - y1 y2 uK ≡ y2  uK Ip2 D22 este nensingulara.  =  C1 + D12DK S −1C2 D12S −1CK D11 + D12DK S −1D21 (270) Capitolul 18: Problema de reglare H ∞ (sub)optimala 316 Formularea problemei . Ty1u1 = AR BR   CR DR −1 −1 −1 B1 + B2S DK D21 A + B2S DK C2 B2S CK   BK S −1D21 BK S −1C2 AK + BK S −1D22CK .

m2×m1 .e. i. i. O problema naturala in acest context este determinarea unui γmin peste clasa tuturor regulatoarelor stabilizante.e. Ty2u1 ∈ RH+.p1×m1 .p2×m1 . (272) Deoarece Ty1u1 ∞ = sup u1 2=1 y1 2. si Tu2u1 = K(I − T22K)−1T21 impart aceeasi matrice de stare care este exact AR : (I − T22K) −1 = AR .. intern stabil. rezulta ca (272) impune de fapt o margine asupra normei L2 a raspunsului sistemului atunci cand intrarea este arbitrara de norma L2 egala cu unitatea.e. Daca regulatorul K stabilizeaza T. Ty2u1 := (I − T22K)−1T21.. si Tu2u1 ∈ ∞ RH+.Problema H ∞ (sub)optimala: Dandu-se un sistem T si γ > 0. si scrierea unei formule pentru regulator ce asigura optimul (minimul).. gasiti toate regulatoarele K pentru care sistemul in bucla inchisa Ty1u1 este bine definit (I − D22DK este inversabila). si deasemenea (I − T22K)−1 ∈ RH+. < γ. Ty2u1 = AR . Problema se numeste optimala si este considerabil mai dificila. T u2 u1 = AR . Λ(AR ) ⊂ C−. i. (271) si marginit in norma H ∞ de γ . Ty1u1 ∞ Observatie: Calcule simple arata ca realizarea lui (I − T22K)−1.p2×p2 . Capitolul 18: Problema de reglare H ∞ (sub)optimala 317 Formularea problemei . atunci sistemul rezultant este automat stabil. Ty1u1 ∈ ∞ ∞ ∞ RH+.

Aceasta presupunere simplifica considerabil restrictia impusa de buna definire a buclei (implica automat buna definire) si conduce la formule mai simple pentru solutie. A) este detectabila: Aceste presupuneri sunt necesare pentru existenta clasei compensatoarelor stabilizante. Capitolul 18: Problema de reglare H ∞ (sub)optimala Presupuneri de baza . (H3) Perechea (A. B2) este stabilizabila si perechea (C2. Intr-adevar: AR = = A + B2S −1DK C2 BK S −1C2 A O O AK + B2 O AK B2S −1CK + BK S −1D22CK S −1DK S −1 318 (273) O BK S −1 S −1D22 C2 O O CK .Presupuneri de baza Facem o multime de presupuneri aditionale asupra sistemului dat care sau simplifica considerabil expunerea (fara restrangerea generalitatii) sau sunt de natura tehnica intrinseca. (H1) γ = 1: Este o simpla scalare (H2) D22 = 0: Daca K este o solutie a problemei in cazul D22 = 0 atunci K(I + D22K)−1 este o solutie a problemei originale.

(H4) Ipoteze de regularitate. B2) este stabilizabila si perechea (C2. Capitolul 18: Problema de reglare H ∞ (sub)optimala −B2 −D12 319 Presupuneri de baza . AK ) trebuie sa fie stabilizabile si respectiv detectabile. A O O AK ) este detectabila de unde rezulta ca perechea (A. (R1) Fascicolul de transmisie T12 dat de sI − A −C1 are rang intreg pe coloane ptr.Daca AR este stabila deducem ca perechea matriciala ( A O O AK . Rezulta in particular si ca (AK . s ∈ C0. A) este detectabila. BK ) si (CK . B2 O O BK ) este stabilizabila si perechea matriciala ( C2 O O CK .

altfel se numeste singulara (mult mai dificila !!!!). Desigur aceste doua presupuneri nu sunt necesare ci sunt datorate complicatiilor tehnice ce apar in absenta lor. Capitolul 18: Problema de reglare H ∞ (sub)optimala 320 Presupuneri de baza .(R2) Fascicolul de transmisie T21 dat de sI − A −C2 are rang intreg pe linii ptr. s ∈ C0. −B1 −D21 O problema ce satisface aceste doua presupuneri se numeste regulata.

DAP si conditia de signatura Este usor de verificat ca functia Popov asociata cu Σc este data de  A T∗ T11 − I T∗ T12 11 11 ΠΣ c = . ∗ Dar T11 + T12S = T11 + T12Tu2u1 = Ty1u1 . atunci este clar ca S ∈ RH+ si I S∗ ΠΣ c I S = −I + (T11 + T12S) (T11 + T12S). Capitolul 18: Problema de reglare H ∞ (sub)optimala 321 DAP si conditia de signatura . Daca luam S := Tu2u1 = K(I − T22K)−1T21 (functia de transfer in bucla inchisa de la u1 ∞ la u2). T11 T12 :=  ∗ ∗ T12T11 T12T12 C Din presupunerile de regularitate (R1) avem ΠΣc.22 = T12T12 > 0 pe C0 si este clar ca T C1 T D12 ∗ B1 D11 B2 D12  . 1 (274) C1 D12 ≥ 0.

avem −I + T∗1u1 Ty1u1 < 0 pe C0. Reciproca este deasemenea valabila si da clasa solutiilor problemei H ∞ atunci cand stim clasa solutiilor inegalitatii de signatura. De aici automat avem ca ARE(Σc) .are o solutie stabilizanta. si rezulta ca y I S∗ ΠΣ c I S <0 (275) pe C0.Deoarece regulatorul este contractiv. Capitolul 18: Problema de reglare H ∞ (sub)optimala 322 DAP si conditia de signatura .sau KPYS(Σc) .

a ARE). Asociem cu T tripletele Popov : Σc = (A. unde B1 B2 . Qc. Lo. Teorema 182. echivalent. Conditiile de existenta si clasa regulatoarelor sunt exprimate in termenii solutiei stabilizante a sistemului Kalman–Popov–Yakubovich (sau. Qo. Qo = B1B1 . Σo = (A . T T C1 T C2 . Presupunem ca T satisface ipotezele (H2)-(H4). Lc = T C1 D11 T D11 D12 T D21 . T D11 T D12 D11 T D11 D12 T D21 − Im1 O Ip1 O O O O O . Lc. Ro). care sunt in forma necesara si suficienta si care se pot verifica usor dpdv numeric. Pe de-alta parte este formula explicita ce genereaza clasa tutoror regulatoarelor (atunci cand exista). Solutia Capitolul 18: Problema de reglare H ∞ (sub)optimala . Rc). Lo = B1 Fie T D11 D21 Jo = 323 − Jc = −Im1 O O I m2 −Ip1 O O I p2 . Ro = . Qc = T C1 C1.Solutia Rezultatul central contine doua aspecte. Rc = . Pe de-o parte sunt conditiile de existenta ale solutiei.

. (II) Presupunem (C1). ). cu Y ≥ 0. .Atunci avem : (I) Problema H ∞ suboptimala are solutie daca si numai daca urmatoarele conditii sunt indeplinite: (C1) Sistemul Kalman–Popov–Yakubovich KPYS(Σc. Capitolul 18: Problema de reglare H ∞ (sub)optimala T T T C2 + F1 D21 324 . ). Jo) are o solutie stabilizanta Vo11 O Wo1 (Y. Solutia . R×). cu X ≥ 0. Vc21 Vc22 Wc2 (C2) Sistemul Kalman–Popov–Yakubovich KPYS(Σo. Vo. Wc) = (X. Fie J× = T T T −Im2 O T T −F2 Vc22 O I p2 . Q×. Jc) are o solutie stabilizanta Vc11 O Wc1 (X. L×. si fie: Σ× = (A + F1 B1 . Vc. Wo) = (Y. Vo21 Vo22 Wo2 (C3) ρ(XY ) < 1.

echivalent. L× := B1(Vc11Vc11) T −1 T Vc21 T D21 . Q). Atunci clasa ∞ tuturor solutiilor problemei H ∞ suboptimale este K = LFT(Kg . R× := Vc21 D21 (Vc11Vc11) T −1 T Vc21 T D21 − Im2 O O O Problema H ∞ are solutie daca si numai daca (C1) este adevarata si urmatoarea conditie (C4) este adevarata : (C4) Sistemul KPYS(Σ×.unde F1 F2 T T este reactia stabilizanta a KPYS(Σc. (276) (III) Presupunem ca (C1) si (C4) sunt adevarate (sau.m2×p2 Capitolul 18: Problema de reglare H ∞ (sub)optimala 325 Solutia . V×21 V×22 W×2 Mai mult. avem relatia intre solutiile KPYS: o solutie stabilizanta (Z. (C1)-(C3)). Jc) si Q× := B1(Vc11Vc11)−1B1 . cu Z ≥ 0. J×) are V×11 O W×1 (Z. W×) = Z := Y (I − XY ) −1 . V×. unde Q ∈ RH+. . ).

este un parametru arbitrar cu Q ∞ < 1 si Bg1 Dg11 Dg21  Bg2 Dg12  = Dg22 Kg11 Kg21 Kg12 Kg22 Ag Kg =  Cg1 Cg2  . (277) are coeficientii scrisi in termenii sistemului original si ale solutiilor ARE. Capitolul 18: Problema de reglare H ∞ (sub)optimala 326 Solutia .

in cazul general se foloseste ARE(Σc. • Daca (C1) are loc atunci (C4) este echivalenta cu (C2) impreuna cu (C3) – se foloseste o transformare de echivalenta pe fascicole matriciale – acest fapt demonstreaza si necesitatea lui (C3) si celelalte afirmatii cu exceptia clasei regulatoarelor • Pentru clasa regulatoarelor consideram intai o problema mai simpla de tip 2 bloc – solutia ei se poate scrie direct pe baza solutiilor inegalitatii de signatura • In final.Schita demonstratiei • Necesitatea lui (C1) – se foloseste direct conditia de signatura • Necesitatea lui (C2) – prin dualitate • Daca (C1) are loc atunci (C4) este necesara pentru existenta solutiei H ∞ – din nou din conditia de signatura. Jc) pentru a reduce problema la una mai simpla care este la randul ei o problema de tip 2 bloc duala. Capitolul 18: Problema de reglare H ∞ (sub)optimala 327 Schita demonstratiei .

p×p si ∆ {G∆ : G∆ = (M + ∆M ) ∆= ∆N < δ}.p×(p+m) si ∆ < δ}.p×m si ∆ m m ∞ cf cf −1 a a ∞ ∞ < δ}. multiplicative. pe factori coprimi) este echivalenta cu o problema de tip H ∞ optimala formulata pentru un sistem generalizat particular a carei solutie se poate obtine pe baza rezultatelor din capitolul precedent. y = Gu. ∞ ∞ −∆M ∈ RH+. cf (N + ∆N ). ∞ Fie sistemul p × m dat de G. si fie (N. Dδ si Dδ reprezinta o clasa de sisteme perturbate obtinute din G prin Capitolul 19: Stabilizare Robusta 328 . ∆ ∈ RH+. (280) cf a m Fiecare clasa Dδ . ∆ ∈ RH+. Definim un regulator stabilizant pentru G ca fiind un sistem K pentru care sistemul in bucla inchisa format din G si K este intern stabil. M) o factorizare corpima peste RH+ astfel incat G = M−1N.Capitolul 19: Stabilizare Robusta In acest capitol aratam ca problema stabilizarii robuste pentru diverse tipuri de incertitudini (aditive. Pentru δ > 0 introducem clasele de sisteme Dδ Dδ Dδ a := := := {G∆ : G∆ = G + ∆. ∞ (278) (279) m {G∆ : G∆ = (I + ∆)G.

si prin G∆ un element generic a lui Dδ . u = Ky . o margine δ si clasa sistemelor Dδ . Cel mai mare δ = δmax pentru care exista un singur regulator stabilizator pentru toate sistemele Dδmax se numeste marginea maxima de stabilitate pentru clasa respectiva de incertitudini. Notam cu Dδ oricare dintre aceste trei clase. Problema de Stabilizare Robusta (suboptimala): Dandu-se un sistem nominal G. Capitolul 19: Stabilizare Robusta 329 . gasiti un regulator (sau toata clasa) K.considerarea unor incertitudini aditive. multiplicative sau pe factori coprimi. - G∆ K  Regulatorul K se numeste robust. unde δ < δmax. consta in Aratam in continuare cum o problema de stabilizare robusta se poate converti intr-o problema echivalenta de tip H ∞ de tipul celor studiate in capitolul precedent. Problema de stabilizare robusta optimala constructia unui regulator K (sau toata clasa) pentru toate sistemele in Dδmax . care stabilizeaza toate sistemele G∆ ∈ Dδ .

∆) cf m a = = = G + ∆ = G∆. ∆) asa cum este descris in figurile : Capitolul 19: Stabilizare Robusta 330 . (286) Acesta ne arata ca in oricare caz clasa sistemelor incerte se poate reprezenta sub forma unei ULFT(T. ∆) ULFT(T . (M + ∆M ) −1 (285) cf (N + ∆N ) = G∆ .  (282) T cf = O  M−1 =  M−1 Im G .Fiecare clasa de sisteme incerte Dδ se poate reprezenta ca o transformare liniar fractionara superioara (ULFT) a unui sistem generalizat si a unui sistem perturbator ∆: T := a Ta 11 Ta 21 Tm 11 Tm 21 Tcf 11 Tcf 21 Ta 12 Ta 22 Tm 12 Tm 22 Tcf 12 Tcf 22 = O Ip O Ip Im G G G .   G (283) Un calcul de rutina arata ca ULFT(T . ∆) ULFT(T . a (284) m (I + ∆)G = G∆ . (281) T m := =  . ∆= ∆N −∆M .

Capitolul 19: Stabilizare Robusta 331 . K).∆ -  T - ∆ -  T K  Ty1u1 := LLFT(T. K) Deci obtinem configuratiile echivalente de mai sus in care atat Ty1u1 cat si ∆ sunt stabile si Ty1u1 = LLFT(T.

Intorcandu-ne la problema originala de convertire a problemei de stabilizare robusta intr-una de tip H ∞ obtinem urmatorul rezultat. Un regulator K este o solutie a problemei de stabilizare robusta in raport cu orice clasa de sisteme Dδ . Capitolul 19: Stabilizare Robusta 332 . daca si numai daca K este o solutie a problemei H ∞ suboptimale cu γ = 1 pentru T. Observatie: Problema optimala se poate rezolva in acest caz pornind de la una suboptimala si facand o analiza de perturbatii singulare. δ ≤ δmax. Teorema 183. δ Prin urmare putem obtine o expresie a marginii de stabilitate si o solutie pentru problema stabilizarii 1 robuste evaluand intai γmin = δmax si construind ulterior regulatorul optimal pentru problema H ∞ optimala corespunzatoare datelor respective.

Asta a fost TOT !!! Succes la Examen !!! Capitolul 19: Stabilizare Robusta 333 .