CO Sumar

Chapter 1
Introducere
Denit ie 1.0.1 1. Fie F R
n
si f : F R o funct ie. Se numesste
problema de optimizare problema determinarii unui element x =
_
_
x
1
.
.
.
x
n
_
_
F cu proprietatea
f( x) f(x), x F.
2. f se numeste funct ie obiectiv.
3. F se numeste mult imea solut iilor admisibile.
Tipuri de probleme de optimizare
1. Programare liniara
_
minimizeaz a c
T
x
cu restrict iileAx b,
unde c R
n
, A M
m,n
(R) si b R
m
.

In aceasta situat ie
F = {x R
n
: Ax b}, f : F R, f(x) = c
T
x.
2. Optimizare patratica
_
minimizeaz a
1
2
x
T
Hx + c
T
x
cu restrict iileAx b,
1
2 CHAPTER 1. INTRODUCERE
unde c R
n
, A M
m,n
(R), H M
n
(R) simetric a si b R
m
.

In
aceast a situat ie
F = {x R
n
: Ax b}, f : F R, f(x) =
1
2
x
T
Hx + c
T
x.
3. Optimizare neliniara
_
minimizeaz a f(x)
cu restrict iile g
i
(x) 0, i I,
unde f, g
1
, , g
m
R
n
R, sunt funct ii de clas a C
1
, cel put in una dintre
ele ind neliniar a.

In aceasta situat ie
F = {x R
n
: g
i
(x) 0, i I}.
Denit ie 1.0.2 Fie S R.
1. R se numeste majorant pentru S dac a
s , s S.
Not am cu S
mult imea majorant ilor mult imii S. Dac a S
= spunem
c a S este marginita superior.
2. R se numeste minorant pentru S dac a
s, s S.
Not am cu S
mult imea minorant ilor mult imii S. Dac a S
= spunem
c a S este marginita inferior.
Exemplu 1.0.3 1. S = {(1)
n
: n N} este marginit a superior de 1 si
m arginita inferior de -1 n R.
2. R si Z nu sunt marginite nici inferior, nici superior n R, deoarece
z < z + 1, z.
3. R este m arginita superior si m arginit a inferior n R (deoarece
= R si
= R).
3
1. u
R se numeste margine superioara pentru S dac a

u
este majorant pentru S

si
u
u, u majorant pentru S.
2. u
R se numeste margine inferioara pentru S dac a

u
este minorant pentru S

si
u
u, u minorant pentru S.
Teorema 1.0.5 Daca mult imea S R are margine superioara, atunci ea
este unica.
Solut ie. Presupunem ca exista u
si
margini superioare pentru S.

In
particular ambele sunt majorant i pentru S, deci, din denit ia marginii supe-
rioare, rezulta
u
si
.
Prin urmare
= u
.
1. Daca u
R este marginea superioar a a lui S, vom folosi notat ia

u
= sup S.
2. Daca u
R este marginea inferioara a lui S, vom folosi notat ia

u
= inf S.
Exemplu 1.0.7 Consider am mult imea S = {x R : 0 x < 1}. Atunci
1 este majorant pentru S. Fie u un alt majorant al lui S cu proprietatea
u < 1. Atunci
0 u
u + 1
2
< 1.
Rezult a c a
u + 1
2
S si u
u + 1
2
,
contradict ie cu ipoteza u majorant al lui S. Prin urmare marginea superioar a
a lui S este 1.
1. Daca sup S S, atunci sup S se numeste maximul lui S si se noteaz a
max S.
2. Daca inf S S, atunci inf S se numeste minimul lui S si se noteaz a
min S.
Teorema 1.0.9 (Axioma marginii superioare) Orice sumult ime nevida
si marginita superior a lui R are margine superioara.
Not am cu R = R {, +}.
1. Daca S nu este marginit a inferior, atunci inf S = .
2. Daca S nu este marginit a superior, atunci sup S = +.
3. Daca S = , atunci inf S = + si sup S = .
Consider am problema
(P) :
_
minimizeaz a f(x)
cu restrict iilex F.
Fie S = {x F} R.
5
1. Valoarea optima pentru (P) este inf S.
2. x R
n
se numeste solut ie admisibila pentru (P) daca x F.
3. x R
n
se numeste solut ie optima pentru (P) daca x este valoarea
optim a a lui (P) si x F. Altfel spus, dac a x este solut ie optima pentru
(P), atunci
f( x) = min{f(x) : x F}.
Denit ie 1.0.12 1. Se numeste distant a pe R
n
funct ia
d : R
n
R
n
R, d(x, y) = ||x y||,
unde, pentru x R
n
,
||x|| :=
_
x
2
1
+ x
2
n
.
2. Spunem c a f : F R este continu a n a F dac a pentru orice > 0,
exist a
> 0 astfel nc at dac a ||x a|| <
, |f(x) f(a)| < .

3. Spunem ca S R
n
este mult ime deschis a dac a pentru orice s S,
exist a
s
> 0 astfel nc at
B(s,
s
) := {x R
n
: ||x s|| <
s
} S.
4. Spunem c a S R
n
este mult ime nchis a dac a complementara ei n R
n
este mult ime deschis a.
5. Spunem c a S R
n
este mult ime m arginita dac a exists R > 0 astfel
ncat
S B(0, R).
6. Daca S R
n
este mult ime nchis a si m arginit a spunem ca S este
compact a.
Teorema 1.0.13 Presupunem ca K = este o submult ime compacta a lui
R
n
si ca f : K R este o funct ie continua. Atunci
S = {f(x) : x K}
este o submult ime nevida si marginita a lui R. Prin urmare exista inf S si
sup S. Mai mult exista x
1
, x
2
K astfel ncat
f(x
1
) = max
xK
f(x) = sup S si f(x
1
) = min
xK
f(x) = inf S.
Chapter 2
Programare liniara
2.1 Cadrul general
Consider am problema (forma generala)
(LP) :
_
_
minimizeaz a c
1
x
1
+ c
n
x
n
cu restrict iile a
11
x
1
+ a
1n
x
n
b
1
.
.
.
a
m1
x
1
+ a
mn
x
n
b
m
x
1
0, , x
n
0.
Problema poate rescris a sub forma (forma standard)
(LP)
:
_
_
minimizeaz a c
1
x
1
+ c
n
x
n
cu restrict iile a
11
x
1
+ a
1n
x
n
+ y
1
= b
1
.
.
.
a
m1
x
1
+ a
mn
x
n
+ y
m
= b
m
x
1
0, , x
n
0
y
1
0, , y
m
0.
Variabilele y
i
(i = 1, , m) se numesc variabile de ecart.
In forma condensat a problema (LP) poate scris a sub forma

(P) :
_
_
_
minimizeaz a c
T
x
cu restrict iile Ax = b
x 0,
unde A M
m,n
(R), b M
m,1
(R) si c M
n,1
(R) (sunt dat i).
7
8 CHAPTER 2. PROGRAMARE LINIAR
A
Denit ie 2.1.1
(i). Mult imea F = {x R
n
: Ax = b, x 0} se numeste mult imea
solut iilor admisibile pentru problema (P).
(ii). x F se numeste solut ie admisibila pentru problema (P).
(iii). Un element x R
n
se numeste solut ie optima pentru problema (P)
dac a
1. x F.
2. x F, c
T
x c
T
x.
Se va face urm atoarea presupunere:
rangA = m < n,
pentru a evita situat iile
- b / rangA (adic a sistemul Ax = b nu are solut ii).
- dac a rangA = r < m, elimin am liniile ce sunt combinat ii liniare de cele
r linii liniar independente si astfel suntem n situat ia n care liniile lui
A sunt liniar indepenedente.
- Dac a m = n, problema de optimizare (P) este triviala deoarece F are
sau un element (si anume x = A
1
b dac a x 0) sau este mult imea
vid a.
Notat ii
Fie a
1
, , a
n
coloanele lui A. Atunci
A = [a
1
, , a
n
] M
m,n
(R).
Presupunem ca a
1
, , a
m
sunt liniar independente. Folosim terminologia
m-tuplul = (
1
, ,
m
) se numeste indice de baza.
A
:= [a
1
, , a
m
] se numeste matrice de baz a (corespunzatoare m-
tuplului de baza ).
2.1. CADRUL GENERAL 9
x
:=
_
_
x
1
.
.
.
x
m
_
_
se numeste vector de baza. Componenetele sale se
numesc variabile de baza.
Similar denim
:= (
1
, ,
l
), A
:= [a
1
, , a
l
], x
:=
_
_
x
1
.
.
.
x
l
_
_
unde l = n m si {
1
, ,
m
} {(
1
, ,
l
} = {1, 2, , n}.
Denit ie 2.1.2 Presupunem ca este indice bazic.
(i). Se numeste solut ie admisibila de baza corespunz atoare lui o
solut ie admisibil a x = (x
, x
) cu propriet at ile A
= b si x
= 0.
(ii). Spunem ca solut ia admisibil a de baz a x este nedegenerata dac a x
i
>
0, pentru orice 1 i m.
Teorema 2.1.3 (teorema fundamentala a programarii liniare)
1. Daca (P) are solut ie admisibila, atunci (P) are solut ie admisibila de
baza.
2. Daca (P) are solut ie optima, atunci (P) are solut ie optima de baza.
Remarca 2.1.4 Teorema fundamental a a programarii liniare reduce prob-
lema c autarii solut iilor optime ale problemei (P) printre solut iile posibile de
baz a. Acestea sunt n numar nit deoarece, odat a alese m coloane liniar
independente ale matricii A din cele n, se genereaz a cel mult o solut ie ad-
misibil a de baza. Num arul posibilit at ilor de alegere al celor m coloane liniar
independente ale lui A dintre cele n este C
m
n
.
Prin metoda simplex nu sunt determinate toate solut iile posibile de baz a
pentru a le verica apoi optimalitatea ci, odat a ce se determina o solut ie
admisibil a de baz a, se avanseaz a n direct ia n care funct ia x c
T
c descreste
cel mai repede.
A
2.2 Interpretare geometrica
Denit ie 2.2.1
Mult imea C R
n
se numeste convexa dac a
x, y C, t [0, 1] : (1 t)x + ty C.
Fie C o mult ime convexa. Un punct x C se numeste extremal
pentru C dac a nu exista z, y C, distincte si t (0, 1) astfel ncat
x = (1 t)x + ty.
Teorema 2.2.2 Fie F = {x R
n
: Ax = b, x 0} si x F. Atunci
x este punct extremal pt. F x este solut ie admisibila de baza pentru (P).
Corolar 2.2.3 F are un numar nit de puncte extremale.
Corolar 2.2.4 Daca mult imea convexa F este nevida, atunci ea are cel put in
un punct extremal.
2.3 Metoda simplex
notat ie element din denit ie
b R
m
A
b = b
a
j
(j = 1, , n) R
m
A
a
j
= a
j
y R
m
A
T
y = c
r R
n
r = c A
T
y
z R z = c
T
b = y
T
A
b = y
T
b
In particular
r
T
= c
T
y
T
A
, r
T
= c
T
y
T
A
.
Dac a z = c
T
x, cu Ax = b, rezult a
z = c
T
x = c
T
+ c
T
= y
T
A
+ c
T
= y
T
(b a
x
n
u) + c
T
= y
T
b + (c
T
y
T
A
)x
n
u
= z + r
T
Componentele vectorului r
se numesc costurile reduse ale variabilelor

nebazice.
2.3. METODA SIMPLEX 11
Teorema 2.3.1 Presupunem ca b 0 si r
0. Atunci solut ia admisibila

x cu x
= b si x
= 0 este solut ie optima pentru problema (P).

Metoda simplex
(1). Daca si corespund solut iei de baz a x, se calculeaz a b, y, r
din
relat iile
A
b = b, A
T
y = c
, r
= c
A
T
y.
(2). Dac a r
0 algoritmul se ncheie si solut ia admisibil a de baz a x

denit a prin x
= b si x
= 0 este solut ie optim a pentru problema

(P).
Dac a non[r
0], se alege q asfel nc at r

q
este cea mai mic a
component a negativa a lui r
si se calculeaz a a
q
: A
a
q
= a
q
.
(3). Dac a a
q
0 algoritmul se ncheie, problema (P) nu are solut ie
optim a.
Dac a non[ a
q
0], se calculeaz a t
max
si se determin a indicele p:
t
max
= min{
b
i
a
i,q
: a
i,q
> 0},
si p {1, , m} este un indice pentru care
a
p,q
> 0 si t
max
=
b
p
a
p,q
.
Cu noii indici
= (
1
, ,
p1
,
q
,
p+1
, ,
m
)
si
= (
1
, ,
q1
,
p
,
q+1
, ,
l
)
se revine la Pasul (1).
A
2.4 Determinarea unei solut ii init iale de baza
Se considera problema de programare liniar a (program liniar articial
asociat problemei (P))
(P)
:
_
_
minimizeaz a y
1
+ + y
m
cu restrict iile [A I
m
]
_
x
y
_
= b
x 0, y 0
Problema (P)
are o solut ie admisibil a de baz a evident a

_
0
b
_
.
Teorema 2.4.1 (P) are solut ie admisibila de baza daca si numai daca (P)
are solut ie admisibila de baza optima cu funct ia obiectiv egala cu 0.
Algoritm
(1). Se asociaz a problema articial a (P)
(2). Pentru (P), folosind metoda simplex, se determina o solut ie optim a de
baz a pornind de la solut ia de baza init iala
_
0
b
_
. Pot ap area situat iile
(P) are solut ie optim a si funct ia obiectiv are valoare strict pozi-
tiv a. Atunci (P) nu are solut ie optima.
Presupunem c a (P) are solut ie admisibila de baz a optim a cu
funct ia obiectiv egal a cu 0. Aceast a solut ie este de forma
_
x
0
_
.
Dac a tot i y
i
sunt variabile nebazice, atunci variabilele bazice sunt
printre componentele lui x, iar restul componentelor lui x sunt 0.
Rezult a c a x este solut ie dmisibila de baza pentru problema (P).
Dac a unele componente ale lui y sunt variabile de baza (cazul
degenerat), le schimbam cu variabile nebazice x
i
(care au tot val-
oarea 0) pentru a obt ine o solut ie admisibil a de baz a optim a pen-
tru (P) care s a aib a variabile de baza numai componente ale lui
x.

In acest fel x devine solut ie dmisibil a de baz a pentru problema
(P).
2.5. DUALITATE 13
Degenerare si ciclare
Teorema 2.4.2 Daca toate solut iile admisibile de baza ale problemei (P)
sunt nedenerate, atunci algoritmul simplex se ncheie dupa un numar nit de
pasi.
Complexitatea algoritmului - exponent ial a (exista exemple de programe
liniare ce rezolva problema n 2
n
1 iterat ii). Au aparut algoritmi de com-
plexitate polinomiala (Karmarkar- metoda punctului interior) care au propri-
etatea ca solut iile optime nu sunt c autate pe frontiera poliedrului solut iilor
admisibile, ci pornind din interiorul sau.
2.5 Dualitate
Consider am probleme de tipul (vom numi aceast a forma canonica)
(P) :
_
_
_
minimizeaz a c
T
x
cu restrict iile Ax b
x 0,
unde A M
m,n
(R), b M
m,1
(R) si c M
n,1
(R) (sunt dat i), iar x R
n
este vectorul variabil a. Spre deosebire de paragrafele precedente, matricea
A poate oricum (oricare din situat iile m > n, m = n, m < n poate
considerat).

In contnuare problema (P) va numit a problema primala.
Mult imea solut iilor posibile pentru problema primal a este
F
P
= {x R
n
: Ax b, x 0}.
Se numeste problema duala asociata problemei (P) problema
(D) :
_
_
_
maximizeaz a b
T
y
cu restrict iile A
T
y c
y 0,
unde A, b, c sunt cei din problema primala, iar y R
m
este vectorul variabil a.
Mult imea solut iilor posibile pentru problema dual a este
F
D
= {x R
n
: A
T
y c, y 0}.
Denit ie 2.5.1 1. x R
n
se numeste solut ie admisibila pentru (P)
dac a x F
P
.
A
2. x R
n
se numeste solut ie optima pentru (P) dac a x F
P
si,
pentru orice x F
P
, c
T
x c
T
x.
3. y R
m
se numeste solut ie admisibila pentru (D) dac a y F
D
.
4. y R
m
se numeste solut ie optima pentru (D) dac a y F
D
si,
pentru orice y F
D
, b
T
y b
T
y.
Propozit ie 2.5.2 Pentru orice x F
P
si pentru orice y F
D
, c
T
x b
T
y.
Corolar 2.5.3 Daca x F
P
, y F
D
si c
T
x = b
T
y, atunci x si y sunt
solut ii optime pentru problemele (P), respectiv (D).
Teorema 2.5.4 (teorema de dualitate)
1. Daca F
P
= si F
D
= , atunci exista cel put in o solut ie optima x
pentru (P) si exista cel put in o solut ie optima y pentru (D).

In plus
c
T
x = b
T
y (valorile optime ale funct iilor obiectiv ale problemelor (P)
si (D) coincid).
2. Daca F
P
= , dar F
D
= , atunci, pentru orice R, exista x F
P
astfel ncat c
T
x < . Rezulta ca valoarea optima a lui (P) este .
Prin urmare nici problema primala, nici poblema duala nu au solut ie
optima.
3. Daca F
P
= , dar F
D
= , atunci, pentru orice R, exista y F
D
astfel ncat b
T
y > . Rezulta ca valoarea optima a lui (D) este .
Prin urmare nici problema primala, nici poblema duala nu au solut ie
optima.
4. Se poate ntampla ca F
P
= si F
D
= (evident, nici una dintre
problemele (P) si (D) nu are solut ie n acesta situat ie).
Corolar 2.5.5 Daca x F
P
si y F
D
sunt solut ii optime pentru problemele
(P), respectiv (D), atunci c
T
x = b
T
y.
Remarca 2.5.6 Din Corolariile 2.5.3 si 2.5.5 rezult a ca x F
P
si y F
D
sunt solut ii optime pentru problemele (P), respectiv (D) dac a si numai dac a
x F
P
, y F
D
, c
T
x = b
T
y.
2.5. DUALITATE 15
Notat ii
Dac a x R
n
, e s = Ax b. Atunci
x F
P
x 0 si s 0.
Dac a y R
m
, e r = c A
T
y. Atunci
y F
D
y 0 si r 0.
Teorema 2.5.7 (teorema de complementaritate) x R
n
este solut ie
optima pentru (P) si y R
m
este solut ie optima pentru (D) daca si numai
daca
x
j
0, r
j
0, x
j
r
j
= 0 (j = 1, , n),
y
i
0, s
i
0, y
i
s
i
= 0 (i = 1, , m).
Remarca 2.5.8 Relat iile din teorema precedent a se pot rescrie astfel x
R
n
este solut ie optima pentru (P) si y R
m
este solut ie optima pentru (D)
dac a si numai dac a
Ax b, A
T
y c, x 0, y 0, y
T
(Ax b) = 0, x
T
(c A
T
y) = 0.
Una dintre urmatoarele situat ii este adevarat a
1. Pentru orice j {1, , n}, sau x
j
= 0, sau r
j
= 0.
2. Pentru orice i {1, , m}, sau y
i
= 0, sau s
i
= 0.
Problema duala - forma generala
Consider am probleme de tipul
(P) :
_
_
minimizeaz a c
T
1
x
1
+ c
T
2
x
2
cu restrict iile A
11
x
1
+ A
12
x
2
b
1
,
A
21
x
1
+ A
22
x
2
= b
2
,
x
1
0, x
2
oarecare,
unde A
ij
M
m
i
,n
j
(R) (i, j {1, 2}), b
1
M
m
1
,1
(R), b
2
M
m
2
,1
(R), c
1

M
n
1
,1
(R) si c
2
M
n
2
,1
(R) (sunt dat i), iar x
1
R
n
1
si x
2
R
n
2
sunt vectorii
variabila.
Scriind
x
2
= v
2
v
3
, v
2
, v
3
0
A
si observam c a ecuat ia A
21
x
1
+ A
22
x
2
= b
2
este echivalenta cu
A
21
x
1
+ A
22
x
2
b
2
A
21
x
1
A
22
x
2
b
2
,
problema (P) se poate scrie sub forma
(P
) :
_
_
minimizeaz a c
T
1
x
1
+ c
T
2
v
2
c
T
2
v
3
cu restrict iile A
11
x
1
+ A
12
v
2
A
12
v
3
b
1
,
A
21
x
1
+ A
22
v
2
A
22
v
3
b
2
,
A
21
x
1
A
22
v
2
+ A
22
v
3
b
2
,
x
1
, v
2
, v
3
0.
Pentru
A =
_
_
A
11
A
12
A
12
A
21
A
22
A
22
A
21
A
22
A
22
_
_
, b =
_
_
b
1
b
2
b
2
_
_
, c =
_
_
c
1
c
2
c
2
_
_
si
x =
_
_
x
1
v
2
v
3
_
_
,
problema (P) este echivalent a cu problema canonic a
_
_
_
minimizeaz a c
T
x
cu restrict iile Ax b
x 0.
Dac a
y =
_
_
y
1
u
2
u
3
_
_
,
duala problemei (P) va
(D
) :
_
_
maximizeaz a b
T
1
y
1
+ b
T
2
u
2
b
T
2
u
3
cu restrict iile A
T
11
y
1
+ A
T
21
u
2
A
T
21
u
3
c
1
,
A
T
12
y
1
+ A
T
22
u
2
A
T
22
u
3
c
2
,
A
T
12
y
1
A
T
22
u
2
+ A
T
22
u
3
c
2
,
x
1
, v
2
, v
3
0.
2.5. DUALITATE 17
Inlocuind y
2
= u
2
u
3
se obt ine duala problemei (P)
(D) :
_
_
maximizeaz a b
T
1
y
1
+ b
T
2
y
2
cu restrict iile A
T
11
y
1
+ A
T
21
y
2
c
1
,
A
T
12
y
1
+ A
T
22
y
2
= c
2
,
y
1
0, y
2
oarecare.
Problema duala - forma standard
Consider am problema n forma standard
(P) :
_
_
_
minimizeaz a c
T
x
x 0,
Aceast a problem a este un caz particular al situat iei precedente (A
21
= A,
c
1
= c, b
2
= b, x
1
= x, celelalte elemente A
11
, A
12
, A
22
, c
2
, b
1
, x
2
lipsind).Prin
urmare duala problemei (P) este
(D) :
_
maximizeaz a b
T
y
cu restrict iile A
T
y c
Presupunem ca am rezolvat problema (P) si c a s-a obt inut
A
b = b, b 0, A
T
y = c
, A
T
y c
.
Consider am x R
n
denit astfel
x
= b, x
= 0.
Atunci x 0, Ax = b, deci x F
P
. Pe de alt a parte, deoarece A
T
y = c
si
A
T
y c
, rezult a c a A
T
y c, deci y F
D
. Cum
c
T
x = c
T
+ c
T
= c
T
= (A
T
y)b = y
T
A
b = y
T
b = b
T
y.
Folosind teorema de dualitate rezulta ca y este solut ia problemei duale.
A
Chapter 3
Flux n ret ele
Problema : sa se determine uxul ntr-o ret ea astfel ncat costul
total de transport sa e minim.
Denit ie 3.0.9 Se numeste ret ea o pereche (V, E), unde V este o mult ime
nit a de elemente numite noduri, iar E este o mult ime de leg aturi ntre
elementele mult imii V numite muchii orientate. Daca i, j V , not am
muchia orientata cu extremitatea init ial a n i si cea nal a n j cu (i, j).
Presupunem ca |V | = m si |E| = n.
Presupunem, n continuare, c a ret eaua este conexa (adica oricare dou a noduri
din ret ea sunt legate printr-o succesiune de muchii - consideram graful ne-
orientat).
Presupunem ca pe ret ea este dat un cost al uxului
c : E R, c(i, j) = c
ij
.
Not am c = [c
ij
].
Not am cu x
ij
cantitatea de ux care trece prin muchia (i, j). Not am x = [x
ij
].
Denit ie 3.0.10 Un nod se numeste
1. sursa dac a prin acest nod intr a ux n ret ea.
2. destinat ie dac a prin acest nod iese ux din ret ea.
3. intermediar dac a nu este nici nod surs a nici nod destinat ie.
19
20 CHAPTER 3. FLUX

IN RET ELE
Intr-o ret ea funct ioneaza legea conserv arii uxului: uxul care intr a ntr-
un nod (=suma dintre uxurile de pe muchiile pentru care nodul respectiv
este extremitate nal a plus uxul care intr a din exterior n nodul respectiv,
dac a nodul este nod sursa) este egal cu uxul care iese din nodul respectiv
(=suma dintre uxurile de pe muchiile pentru care nodul respectiv este ex-
tremitate init al aplus uxul care iese din nod spre exterior, dac a nodul este
nod destinat ie). Not am cu b
i
cantitatea de ux care intra n nodul i din afara
ret elei (b
i
> 0 pentru noduri surs a, b
i
< 0 pentru noduri destinat ie si b
i
= 0
n noduri intermediare). Fie

b = (b
i
)
i
. Se presupune c a
m
i=1
b
i
= 0. (3.0.1)
Fie

A = (a
ik
)
i,k
M
m,n
(R) matricea de incident a asociata ret elei, adica
a
ik
=
_
_
_
1, dac a muchia k are extremitatea init ial a nodul i
1, dac a muchia k are extremitatea nala nodul i
0, altfel ,
Problema minimiz arii costului de transport a uxului n ret ea poate scris a
sub forma
(PFR) :
_
_
_
minimizeaz a c
T
x
cu restrict iile

Ax =

b
x 0.
Deoarece

A are linii liniar dependente (suma lor este 0). Prin urmare ultima
linie a matricei

A este combinat ie liniara de celelalte linii. De asemenea,
folosind relat ia 3.0.1, rezulta c a ultima componenta a lui

b este combinat ie
liniar a de celelelte componente. Prin urmare putem elimina ultima linie a
sistemului de ecuat ii

Ax =

b.

In continuare vom considera problema
(PFR
) :
_
_
_
minimizeaz a c
T
x
x 0,
unde A M
m1,n
(R) este matricea obt inut a din

A prin ndep aratarea ul-
timei linii, iar b R
m1
este elementul obt inut din

b prin ndep aratarea
ultimei componente. Matricea A are rangul m 1. Orice solut ie de baza a
problemei (PFR) va avea deci m1 variabile de baza.
21
Denit ie 3.0.11 O submult ime T E se numeste arbore de acoperire
dac a are propriet at ile
1. Orice nod din V se aa pe cel put in o muchie din T.
2. Graful determinat de muchiile din T este conex.
3. Nu exist a circuit n graful determinat de muchiile din T.
Teorema 3.0.12 Consideram matricea A M
m1,n
(R) din problema (PFR).
O familie de m1 coloane ale matricei A sunt liniar independente daca si nu-
mai daca cele m1 muchii corespunzatoare formeaza un arbore de acoperire
pentru ret ea.
Remarca 3.0.13
Metoda simplex dezvoltat a pt probleme de tipul (PFR) implica doar
adun ari si scaderi. Prin urmare, dac a tot i b
i
si c
ij
sunt numere ntregi, atunci
solut ia optim a va tot n numere ntregi.
determinarea unei solut ii init iale de baza
1. Se introduce un extra nod m + 1.
2. - Pentru ecare nod surs a se introduce o muchie cu orientarea de la nodul
surs a c atre noul nod.
- Pentru ecare nod destinat ie se introduce o muchie cu orientarea de la noul
nod c atre nodul destinat ie.
- Pentru ecare nod intermediar se introduce o muchie cu orientare arbitrar
aleas a.
3. Se alege costul pe noile muchii ale ret elei egal cu o cantitate foarte mare
M. Celelalte muchii din ret ea si p astreaza costul nit ial. 4. O solut ie init ial a
de baz a pentru ret eaua extins a se obt ine aleg and ca variabile de baz a pe cele
corespunz atoare noilor muchii. Rezult a x
m+1i
= b
i
(nod sursa), x
m+1i
= b
i
(nod destinat ie), x
m+1i
= 0 (nod intermediar).
5. Se aplic a metoda simplex pe ret eaua extins a. Deoarece muchiile noi
sunt foarte costisitoare n raport cu cele originale, uxul pe acestea va 0
(conform metodei simplex). Prin urmare uxul este trasferat c atre ret eaua
original a. Solut ia optima a problemei extinse este prin urmare si solut ia
problemei init iale.
22 CHAPTER 3. FLUX

IN RET ELE
Chapter 4
Optimizare convexa
4.1 Proprietat i de baza
Denit ie 4.1.1 1. O mult ime C R
n
se numeste convexa dac a
x, y C, t (0, 1) : (1 t)x + ty C.
2. Fie C o mult ime convexa. O funct ie f : C R se numeste convexa
dac a
x, y C, t (0, 1) : f((1 t)x + ty) (1 t)f(x) + tf(y).
3. Daca inegalitat ile sunt stricte n denit iile precedente, atunci mult imea
C, respectiv funct ia f, se numesc strict convexe.
Denit ie 4.1.2 1. Fie F R
n
o mult ime convex a si f : F R o funct ie
convex a. Se numeste problema de optimizare convexa o problem a
de tipul
(CO) :
_
minimizeaz a f(x)
cu restrict ia x F,
Funct ia f se numeste funct ie obiectiv pentru problema (CO). Mult imea
F se numeste mult imea solut iilor admisibile ale problemei (CO).
2. x R
n
se numeste solut ie adimisibila pentru problema (CO) dac a
x F.
23
24 CHAPTER 4. OPTIMIZARE CONVEX
A
3. x R
n
se numeste solut ie admisibila optima pentru problema (CO)
dac a x F si pentru orice x F, f( x) f(x).
Remarca 4.1.3 Pentru problema de optimizare convexa (CO) urmatoarele
situat ii sunt posibile
Mult imea solut iilor admisible este mult imea vida.
Exemplu Consider am funct ia f : R R, f(x) = x. Rezult a c a F = .
Mult imea solut iilor admisible este format a dintr-un singur element.
Exemplu Consider am funct ia f : R R, f(x) = x
2
. Rezult a c a F = {0}.
Mult imea solut iilor admisible cont ine mai multe elemente.
Exemplu Consider am funct ia f : R R, f(x) = 0. Rezult a c a F = R.
Lema 4.1.4 Daca problema de optimizare convexa (CO) are cel put in doua
solut ii optime, atunci (CO) are o innitate de solut ii optime.

In plus, mult imea
solut iilor optime este convexa.
Lema 4.1.5 Daca n problema de optimizare convexa (CO) funct ia f este
strict convexa, atunci problema (CO) are cel mult o solut ie optima.
Denit ie 4.1.6 Fie x F.
1. Un vector d R
n
se numeste direct ie admisibila n x dac a exist a
> 0 astfel nc at
x + td F, t (0, ).
2. Un vector d R
n
se numeste direct ie descrescatoare pentru f n
x dac a exist a > 0 astfel nc at
f(x + td) < f(x), t (0, ).
3. Un vector d R
n
se numeste direct ie admisibila descrescatoare
pentru f n x dac a exist a > 0 astfel nc at
x + td F si f(x + td) < f(x) t (0, ).
Teorema 4.1.7 Un element x F este solut ie optima pentru problema
(CO) daca si numai daca nu exista nicio direct ie admisibila descrescatoare
pentru f n x.
4.2. OPTIMIZARE P
ATRATIC
A F
AR
A RESTRICT II 25
4.2 Optimizare patratica fara restrict ii
Denit ie 4.2.1 O funct ie f : R
n
R se numeste funct ie patratica dac a
f(x) =
1
2
x
T
Hx + c
T
x + c
0
,
unde H M
n
(R) este o matrice simetrica, c R
n
, c
0
R.
Denit ie 4.2.2 Fie f : R
n
R o funct ie patratic a.
1. Un element x R
n
se numeste minimizant pentru f dac a
x R
n
, f( x) f(x).
2. Funct ia f se numeste marginita inferior dac a
M R : f(x) M, x R
n
.
Remarca 4.2.3 Dac a f nu este m arginita inferior, atunci f nu are minimizant i.
Lema 4.2.4 (dezvoltare n serie Taylor pentru funct ii patratice)
Fie f : R
n
R o funct ie patratica denita prin
f(x) =
1
2
x
T
Hx + c
T
x + c
0
,
unde H M
n
n
, c
0
R. Atunci, pentru
orice x R
n
, pentru orice d R
n
si pentru orice t R,
f(x + td) = f(x) + t(Hx + c)
T
d +
1
2
t
2
d
T
Hd.
Remarca 4.2.5 Se observa c a
f(x) =
_
f
x
1
(x), ,
f
x
n
(x)
_
= (Hx + c)
T
si c a
H
f
(x) =
_

2
f
x
i
x
j
(x)
_
= H.
A
Lema 4.2.6 (funct ii patratice convexe si strict convexe)
Fie f : R
n
f(x) =
1
2
x
T
Hx + c
T
x + c
0
,
unde H M
n
n
, c
0
R. Atunci
1. f este convexa daca si numai daca H este pozitiv semidenita.
2. f este strict convexa daca si numai daca H este pozitiv denita.
Lema 4.2.7 (direct ii descresc atoare pentru funct ii patratice)
Fie f : R
n
f(x) =
1
2
x
T
Hx + c
T
x + c
0
,
unde H M
n
n
, c
0
R. Daca x R
n
si
d R
n
sunt astfel ncat (Hx+c)
T
d < 0, atunci d este direct ie descrescatoare
pentru f n x.
Lema 4.2.8 (direct ii descrescatoare pentru funct ii patratice con-
vexe)
Fie f : R
n
R o funct ie patratica convexa denita prin
f(x) =
1
2
x
T
Hx + c
T
x + c
0
.
Vectorul d R
n
este direct ie descrescatoare pentru f n x R
n
daca si
numai daca (Hx + c)
T
d < 0.
Minimizare funct ii patratice neconvexe
Fie f : R
n
R o funct ie patratic a denita prin
f(x) =
1
2
x
T
Hx + c
T
x + c
0
.
Presupunem c a f nu este convex a, adica H nu este pozitiv semidenit a.
Atunci
d R
n
: d
t
Hd < 0.
4.2. OPTIMIZARE P
ATRATIC
A F
AR
A RESTRICT II 27
Denim x(t) = td (t R). Rezult a
f(x(t)) = f(td) =
1
2
t
2
d
T
Hd + tc
T
d + c
0
.
Deoarece d
t
Hd < 0 rezulta
lim
t
f(x(t)) = .
Prin urmare f nu este marginit a inferior, deci f nu are minimizant i.
Minimizare funct ii patratice convexe Presupunem c a H este pozitiv
semidenit a. Consideram problema
_
minimizeaz a
1
2
x
T
Hx + c
T
x + c
0
cu restrict ia x R
n
,
(4.2.1)
Teorema 4.2.9 (solut ie optim a pentru matrice pozitiv semidenita)
Presupunem ca H este pozitiv semidenita. Atunci
x R
n
solut ie optima pentru 4.2.1 H x = c.
Teorema 4.2.10 Presupunem ca H este pozitiv semidenita si ca c /
ranH. Atunci exista d R
n
astfel ncat lim
t
f(td) = .
Remarca 4.2.11 (solut ie optima pentru matrice pozitiv denita)
Dac a H este pozitiv denit a, atunci sistemul Hx = c are solut ie unic a
(orice matrice pozitiv denita este inversabila). Prin urmare problema 4.2.1
are solut ia optima unic a
x = H
1
c.
Sumar
Fie f : R
n
R o funct ie patratic a denita prin
f(x) =
1
2
x
T
Hx + c
T
x + c
0
,
unde H este o matrice simetric a.
1. x este minimizant pentru f dac a si numai dac a H este pozitiv semidenit a.
In particular, dac a H este pozitiv denit a, atunci exist a un unic mini-

mizant pentru f si anume x = H
1
c.
A
2. Dac a H este pozitiv semidenita si c a c / ranH, atunci f nu este
m arginita inferior si, prin urmare, f nu are mimizant i.
3. Dac a Hnu este pozitiv semidenita, atunci f nu este m arginit a inferior
si, prin urmare, f nu are mimizant i.
4. O funct ie patratic a are minimizant i dac a si numai dac a f este marginit a
inferior.
4.3 Optimizare patratica cu restrict ii sub forma
de egalitat i
_
minimizeaz a
1
2
x
T
Hx + c
T
x + c
0
cu restrict ia Ax = b,
(4.3.1)
unde A M
m,n
(R), H M
n
(R) este o matrice simetric a, b R
m
, c R
n
,
c
0
R.
Presupunem ca (pentru ca sistemul Ax = b s a aib a mai multe solut ii)
b ran A, ker A = {0}.
Not am
F = {x R
n
: Ax = b}
mult imea solut iilor admisibile pentru problema 4.3.3.
Remarca 4.3.1 (reprezentare solut ii admisibile)
Presupunem ca dim kerA = k. Fie {z
1
, , z
k
} baz a n ker A si e
Z = span
R
{z
1
, , z
k
}.
Dac a x F este xata atunci orice alt a solut ie x F are proprietatea
x x ker A.
Prin urmare
x F v R
n
: x = x + Zv.
4.3. OPTIMIZARE P
ATRATIC
ACURESTRICT II SUB FORM
ADE EGALIT
AT I29
Remarca 4.3.2 F este mult ime convex a.
Lema 4.3.3 (convexitatea problemei 4.3.3)
Presupunem ca F = {x R
n
: Ax = b} si ca f : F R este denita prin
f(x) =
1
2
x
T
Hx + c
T
x + c
0
.
Atunci f este convexa daca si numai daca Z
T
HZ este pozitiv semidenita.
Remarca 4.3.4 (metoda nucleului de determinare a solut iilor op-
time pentru problema 4.3.3)
Folosind lema precedent a se obt ine
f(x + Zv) = f(x) + (Z
T
(Hx + c))
T
+
1
2
v
T
(Z
T
HZ)v,
deci problema 4.3.3 este echivalenta cu problema
_
minimizeaz a f(x) + (Z
T
(Hx + c))
T
+
1
2
v
T
(Z
T
HZ)v
cu restrict ia x R
n
.
(4.3.2)
Folosind Teorema 4.2.10 rezulta c a v solut ie optim a pentru 4.3.2 dac a si
numai dac a
(Z
T
HZ) v = Z
T
(Hx + c).
Prin urmare x F este solut ie optima pentru 4.3.3 dac a si numai daca
(Z
T
HZ) v = Z
T
(Hx + c) si x = x + Z v.
Dac a Z
T
HZ este pozitiv denit a, atunci v este unica solut ie a sistemului
(Z
T
HZ) v = Z
T
(Hx + c), deci x = x + Z v este unica solut ie optima a
problemei 4.3.3.
Lema 4.3.5 Consideram problema 4.3.3n care f este funct ie convexa. Atunci
d R
n
este direct ie admisibila descrescatoare pentru f n x F daca si nu-
mai daca d ker A si (Hx + c)
T
d < 0.
Lema 4.3.6 Consideram problema 4.3.3n care f este funct ie convexa. Atunci
x F este solut ie optima pentru problema 4.3.3 daca si numai daca (Hx +
c)
T
d = 0 pentru orice d kerA.
A
Teorema 4.3.7 (metoda Lagrange de determinare a solut iilor op-
time pentru problema 4.3.3)
Consideram problema 4.3.3 n care f este funct ie convexa. Atunci x F
este solut ie optima pentru problema 4.3.3 daca si numai daca A x = b si
exista u R
n
astfel ncat H x + c = A
T
u.
Remarca 4.3.8 Condit iile din Teorema 4.3.7 se pot rescrie sub forma (de
aici vine si denumirea de metoda Lagrange)
_
H A
T
A 0
_ _
x
u
_
=
_
c
b
_
.
Sumar
_
minimizeaz a
1
2
x
T
Hx + c
T
x + c
0
cu restrict ia Ax = b,
(4.3.3)
Fie x o solut ie a sistemului Ax = b si Z matricea ale c arei coloane formeaz a o
baz a n kerA. Presupunem ca Z
T
HZ este pozitiv semidenita. Urm atoarele
armat ii sunt echivalente
1. x este solut ie optima pentru problema 4.3.3.
2. x = x + Z v, unde v satisface (Z
T
HZ) v = Z
T
(Hx + c).
3. Exist a u R
n
astfel nc at
_
H A
T
A 0
_ _
x
u
_
=
_
c
b
_
.
Chapter 5
Problema celor mai mici
patrate
In multe situat ii sistemul de ecuat ii Ax = b, unde A M

m,n
(R) si b R
m
,
nu are solut ii.

Ins a, uneori suntem interesat i sa determinam x R
n
cel mai
aproape de o solut ie a acestui sistem, adica dorim sa rezolv am problema
_
minimizeaz a
1
2
(Ax b)
T
(Ax b)
cu restrict ia x R
n
.
(5.0.1)
Remarca 5.0.9 Consider am problema 5.0.6. Rezult a
f(x) =
1
2
(Ax b)
T
(Ax b) =
1
2
x
T
A
T
Ax b
T
Ax +
1
2
b
T
b,
deci f este forma p atratica
f(x) =
1
2
x
T
HAx + c
T
x + c
0
, H = A
T
A, c = A
T
b, c
0
=
1
2
b
T
b.
Pe de alta parte
A
T
A este semipozitiv denit a,
c = A
T
(b) ran A = ran (A
T
A) = ran H.
Prin urmare problema 5.0.6 are ntotdeauna solut ie optim a.
Remarca 5.0.10 Conform Teoremei 4.2.1 rezulta c a x este solut ie optim a
pentru problema 5.0.6 dac a si numai dac a
A
T
Ax = A
T
b (ecuat iile normale). (5.0.2)
31
32 CHAPTER 5. PROBLEMA CELOR MAI MICI P
ATRATE
Sistemul de mai sus are ntotdeauna cel put in o solut ie dupa cum se
.
monstrat
n remarca precedenta. Fie x
1
si x
2
solut ii pentru 5.0.2. Not am y = A(x
1
x
2
). rezult a
A
T
Ax
1
= A
T
b = A
T
Ax
2
=A
T
A(x
1
x
2
) = 0,
de unde
y
T
y = (x
1
x
2
)
T
A
T
A(x
1
x
2
) = (x
1
x
2
)
T
0 = 0 =y = 0 =Ax
1
= Ax
2
.
Ecuat iile normale se rescriu sub forma
A
T
Ax = A
T
b =A
T
(Ax b) = 0 =b Ax ker A
T
= (ranA)
(5.0.3)
Interpretare geomatrica
Problema 5.0.6 poate rescris a sub forma: s a se determine un punct n ranA
care este cel mai apropiat de un punct dat b, adica
_
minimizeaz a ||y b||
cu restrict ia y ranA.
(5.0.4)
Folosind relat ia 5.0.3 rezult a c a y este solut ie optim a pentru problema 5.0.4
dac a y ranA si b y (ranA)
. Cum y ranA, exist a x R

n
astfel nc at
y = A x. Folosind Remarca 5.0.10 se obt ine ca y este unic determinat chiar
dac a x nu este.
Determinarea solut iei optime pentru problema 5.0.6
I. Dac a A are coloane liniar independente , atunci A
T
A este inversabila. Prin
urmare ecuat iile normale au o solut ie unica x.
II. Dac a coloanele matricei A sunt liniar dependente, atunci ecuat iile normale
au o innitate de solut ii. Se va alege dintre ele cea de norm a minima.
Fie x solut ie 5.0.2. Atunci
x solut ie 5.0.2 Ax = Ax.
Prin urmare, problema determinarii solut iei optime de norma minima revine
la a determina solut ia problemei
_
minimizeaz a
1
2
||x||
cu restrict ia Ax = Ax.
(5.0.5)
33
Aceasta este o problem a de tipul 4.3.3, unde H = I, c = 0, c
0
= 0, A = A
si b = Ax. Rezult a c a x este solut ie optima pentru 5.0.5 daca si numai dac a
exist a u R
n
astfel nc at
I x A
T
u = 0, Ax = Ax.
Rezult a
x = A
T
u =AA
T
u = Ax =Ax ran A = ran (AA
T
)
= u : AA
T
u = Ax.
Fie x = A
T
u. Atunci x este solut ie optim a pentru 5.0.5. Se poate ar ata c a,
de fapt, x denit ca mai sus este unica solut ie a problemei 5.0.5.
Teorema 5.0.11 (descompunerea singulara a unei matrice)
Fie A M
m,n
(R). Atunci exista r N, exista U M
m,r
(R), S M
r,r
(R)
si V M
n,r
(R) astfel ncat
1. A = USV
T
.
2. U
T
U = I si V
T
V = I.
3. S este matrice diagonala cu elemente pozitive.
Remarca 5.0.12 Consider am problema 5.0.6. Conform Teoremei 5.0.11,
matricea A are descompunerea singulara
A = USV
T
.
Fie A
+
:= V S
1
U
T
(pseudoinversa matricei A). Atunci
x = A
+
b
este solut ie optima pentru problema 5.0.6.
Sumar
_
minimizeaz a
1
2
(Ax b)
T
(Ax b)
cu restrict ia x R
n
.
(5.0.6)
x este solut ie optima a acestei probleme dac a si numai daca x este solut ie a
sistemului ecuat iilor normale
A
T
Ax = A
T
b,
care are ntotdeauna cel put in o solut ie.
34 CHAPTER 5. PROBLEMA CELOR MAI MICI P
ATRATE
1. Dac a A are coloane liniar ndependente, atunci
x = (A
T
A)
1
A
T
b
este unica solut ie optim a a problemei 5.0.6.
2. Dac a A are coloane liniar ndependente, atunci sistemul ecuat iilor nor-
male are o innitate de solut ii. printre acestea exist a una singura de
norm a minim a, x. Aceasta este dat a de
x = A
T
u, AA
T
u = Ax,
unde x este solut ie arbitrara a sistemului ecuat iilor normale.
Chapter 6
Optimizare neliniara
6.1 Funct ii de o variabila
Fie f : R R cu proprietatea ca f
si f
sunt funct ii continue.

Denit ie 6.1.1 (i). x R se numeste minim local pentru f dac a exista
> 0 astfel nc at pentru orice x R care satisface |x x| < , avem
f( x) f(x).
(ii). x R se numeste minim global pentru f dac a pentru orice x R
avem f( x) f(x).
Teorema 6.1.2 (teorema lui Fermat)
Daca x este minim local pentru f, atunci f
( x) = 0.
Teorema 6.1.3 (i). O condit ie necesara (nu si sucienta) pentru ca x sa
e minim local pentru f este ca f
( x) = 0 si f
( x) 0.
(ii). O condit ie sucienta (nu si necesara) pentru ca x sa e minim local
pentru f este ca f
( x) = 0 si f
( x) > 0.
6.2 Funct ii de mai multe variabile
Consider am f : R
n
R, f C
2
(R
n
; R) (adic a funct ia f are derivate part iale
de oridinul 1 si 2 si acestea sunt continue pe R
n
).
35
36 CHAPTER 6. OPTIMIZARE NELINIAR
A
Notat ii
f(x) =
_
f
x
1
, ,
f
xn
_
gradientul lui f n x .
H(x) =
_
2
f
x
2
1

2
f
x
1
xn
.
.
.
.
.
.
.
.
.
2
f
xnx
1

2
f
x
2
n
_
_
Hessiana lui f n x .
Deoarece f C
2
(R
n
; R), rezulta c a pentru oricare x R
n
, F(x) este
matrice simetrica.
Denit ie 6.2.1 (i). x R
n
se numeste minim local pentru f dac a exist a
> 0 astfel ncat pentru orice x R
n
care satisface ||x x|| < , avem
f( x) f(x).
(ii). x R
n
se numeste minim global pentru f dac a pentru orice x R
n
avem f( x) f(x).
Teorema 6.2.2 (i). O condit ie necesara (nu si sucienta) pentru ca x
sa e minim local pentru f este ca f( x) = 0 si H( x) este pozitiv
semidenita.
(ii). O condit ie sucienta (nu si necesara) pentru ca x sa e minim local
pentru f este ca f( x) = 0 si H( x) este pozitiv denita.
6.3 Convexitate
Teorema 6.3.1 Presupunem ca C R
n
este o mult ime convexa si ca f
C
1
(C). Atunci f este convexa pe C daca si numai daca
x, y C, f(y) f(x) +f(x)(y x).
n
C
1
x, y C, (f(y) f(x))(y x) 0.
n
C
1
x, y C, (y x)
T
H(x)(y x) 0.
6.4. METODA NEWTON 37
Denit ie 6.3.4 Fie S R
n
. Un punct y S se numeste punct interior
al lui S dac a exist a > 0 astfel nc at
B
(y) := {x R
n
: ||x y|| < } S.
Not am cu
C
mult imea punctelor interioare lui C.
n
este o mult ime convexa cu
C
=
si ca f C
2
x C, H(x) este pozitiv semidenita.
Corolar 6.3.6 Fie f : R
n
R, f C
2
(R
n
). Atunci f este convexa daca si
numai daca
x R
n
, H(x) este pozitiv semidenita.
Teorema 6.3.7 Presupunem ca f : R
n
R este o funct ie convexa cu pro-
prietatea f C
1
(R
n
). Atunci
x este minim global pentru f f( x) = 0.
6.4 Metoda Newton
Presupunem c a f : R
n
R, f C
2
(R
n
) si H(x) este pozitiv denita.
Conform paragrafului anterior rezult a c a f este (strict) convex a si are un
minim global x care satisface relat ia f( x) = 0.
Metoda Newton ofer a un mod de determinare a lui x. Pornind de la un
punct de start, se determin a o aproximare patratica a lui f si apoi se min-
imizeaz a aceast a aproximare. Dac a funct ia obiectiv este form a patratic a,
minimul obt inut este exact, daca nu, rezultatul obt inut este doar o aproxi-
mare a adev aratei solut ii.
ALGORITM
Pas 1 x
(1)
= x
0
(punctul de start-dat).
Pas k+1 Presupunem ca am determinat x
(k)
. Calcul am f(x
(k)
) si H(x
(k)
).
Dac a f(x
(k)
) = 0, atunci x = x
(k)
si algoritmul se ncheie.
A
Dac a f(x
(k)
) = 0, notam d = x x
(k)
, si, folosind aproximarea de
ordin 2 a lui Taylor se obt ine
f(x
(k)
+ d) f(x
(k)
) +f(x
(k)
)d +
1
2
d
T
H(x
(k)
)d.
Funct ia g
k
: R
n
R,
g
k
(d) = f(x
(k)
) +f(x
(k)
)d +
1
2
d
T
H(x
(k)
)d
este o funct ie patratica strict convex a, al c arei unic punctde minim este
unica solut ie a sistemului
H(x
(k)
)d = (f(x
(k)
))
T
.
Not am aceast a solut ie cu d
(k)
. Atunci
f(x
(k)
) = 0 =d
(k)
= 0,
f(x
(k)
)d
(k)
= (d
(k)
)
T
H(x
(k)
)d
(k)
< 0 =f(x
(k)
+ d) < f(x
(k)
).
Asadar d
(k)
este direct ie descrescatoare pentru f n x
(k)
.
Se considera
x
(k+1)
:= x
(k)
+ d
(k)
.
6.5 Metoda Gauss-Newton (problema neliniara
a celor mai mici patrate)
_
minimizeaz a
1
2
i=1
m
(h
i
(x))
2
cu restrict ia x R
n
,
unde h
i
: R
n
R sunt funct ii date.
ALGORITM
Pas 1 x
(1)
= x
0
(punctul de start-dat).
6.5. METODAGAUSS-NEWTON(PROBLEMANELINIAR
AACELOR MAI MICI P
ATRATE)39
Pas k+1 Presupunem c a am determinat x
(k)
. Notam d = xx
(k)
. Liniarizam
funct iile h
i
n x
(k)
, adica, conform formulei Taylor de ordinul 1 aproximam
h
i
cu polinomul Taylor de ordin 1
h
i
(x
(k)
+ d) h
i
(x
(k)
) +h
i
(x
(k)
)d, i = 1, , m.
Not am
h(x) =
_
_
h
1
(x)
.
.
.
h
m
(x)
_
_
, h(x) =
_
_
h
1
x
1
(x)
h
1
xn
(x)
.
.
.
.
.
.
.
.
.
hm
x
1
(x)
hm
xn
(x)
_
_
.
Cu aceste notat ii
f(x) =
1
2
||h(x)||
2
, h(x
(k)
+ d) h(x
(k)
) +h(x
(k)
)d.
Rezult a
f(x
(k)
+ d) =
1
2
||h(x
(k)
+ d)||
2
1
2
||h(x
(k)
) +h(x
(k)
)d||
2
=
1
2
||A
(k)
d b
(k)
||
2
,
unde A
(k)
= h(x
(k)
) si b
(k)
= h(x
(k)
). Asadar trebuie rezolvat a prob-
lema
_
minimizeaz a
1
2
||A
(k)
d b
(k)
||
2
cu restrict ia d R
n
,
Aceasta este o problem a de tipul celor mai mici patrate al carei optim
este solut ie a ecuat iilor normale
(A
(k)
)
T
A
(k)
d = (A
(k)
)
T
b
(k)
(h(x
(k)
))
T
h(x
(k)
)d = (h(x
(k)
))
T
h(x
(k)
).
Fie d
(k)
unica solut ie a acestui sistem. Consider am
x
(k+1)
:= x
(k)
+ d
(k)
.
A
Chapter 7
Extreme cu legaturi
_
minimizeaz a f(x)
cu restrict ia x F,
(7.0.1)
unde F R
n
este o mult ime de forma
F = {x R
n
: h
i
(x) = 0, i = 1, , m},
sau de forma
F = {x R
n
: h
i
(x) 0, i = 1, , m}.
Denit ie 7.0.1 (i). x R
n
se numeste solut ie admisibila dac a x F.
(ii). x F se numeste minim local pentru f dac a exist a > 0 astfel
ncat pentru orice x F care satisface ||x x|| < , avem f( x) f(x).
(iii). x R
n
se numeste minim global pentru f dac a pentru orice x F
avem f( x) f(x).
Denit ie 7.0.2 (i). d R
n
se numeste direct ie admisibila n x F
dac a exist a > 0 astfel nc at x + td F pentru orice t (0, ).
(ii). d R
n
se numeste direct ie admisibila descrescatoare pentru prob-
lema 7.0.1 n x F dac a exist a > 0 astfel ncat x + td F si
f(x + td) < f(x) pentru orice t (0, ).
Teorema 7.0.3 Presupunem ca x F este minim local al problemei 7.0.1.
Atunci nu exista direct ie admisibila descrescatoare pentru problema 7.0.1 n
x.
41
42 CHAPTER 7. EXTREME CU LEG
ATURI
Legaturi sub forma de egalitat i
_
minimizeaz a f(x)
cu restrict iile h
i
(x) = 0, i = 1, , m}.
(7.0.2)
unde f, h
i
C
1
(R
n
; R) (i = 1, , m). Presupunem m < n. Not am
h(x) =
_
_
h
1
(x)
.
.
.
h
m
(x)
_
_
, h(x) =
_
_
h
1
x
1
(x)
h
1
xn
(x)
.
.
.
.
.
.
.
.
.
hm
x
1
(x)
hm
xn
(x)
_
_
.
Denit ie 7.0.4 x F se numeste punct regulat pentru 7.0.2 daca liniile
matricei h(x) sunt liniar independente.
Lema 7.0.5 Presupunem ca x F este punct regulat si minim local pentru
7.0.2. Atunci nu exista d R
n
care sa satisfaca
f( x)d < 0, h( x)d = 0.
Teorema 7.0.6 Presupunem ca x F este punct regulat si minim local
pentru 7.0.2. Atunci exista u R
m
astfel ncat
f( x)d + u
T
h( x) = 0.
Legaturi sub forma de inegalitat i
_
minimizeaz a f(x)
cu restrict iile g
i
(x) 0, i = 1, , m.
(7.0.3)
unde f, g
i
C
1
(R
n
; R) (i = 1, , m).
Denit ie 7.0.7 Fie x F. Mult imea
I
a
(x) = {i : g
i
(x) = 0}
se numeste mult imea indicilor activi.
Teorema 7.0.8 Presupunem ca x F cu I
a
( x) = este minim local pentru
problema 7.0.3. Atunci f( x) = 0.
43
Denit ie 7.0.9 Un element x F cu I
a
( x) = se numeste punct regulat
pentru 7.0.3 dac a nu exista v
i
0, i I
a
(x) astfel nc at
iIa(x)
v
i
> 0,
iIa(x)
v
i
g
i
(x) = 0.
Un element x F cu I
a
( x) = este ntotdeauna punct regulat pentru
problema 7.0.3.
Teorema 7.0.10 (Karush-Kuhn-Tucker)
Presupunem ca x F este punct regulat si minim local pentru problema
7.0.3. Exista y R
m
astfel ncat
f( x) +
m
i=1
y
i
g
i
( x) = 0,
g
i
( x) 0, i = 1, , m,
y
i
0, i = 1, , m,
y
i
g
i
( x) = 0, i = 1, , m (condit iileKKT).
Not am
g(x) =
_
_
g
1
(x)
.
.
.
g
m
(x)
_
_
, g(x) =
_
_
g
1
x
1
(x)
g
1
xn
(x)
.
.
.
.
.
.
.
.
.
gm
x
1
(x)
gm
xn
(x)
_
_
.
Cu aceste notat ii Teorema 7.1.3 poate rescrisa sub forma
Teorema 7.0.11 Presupunem ca x F este punct regulat si minim local
pentru problema 7.0.3. Exista y R
m
astfel ncat
f( x) + y
T
g( x) = 0,
g( x) 0,
y 0,
y
T
g( x) = 0.
ATURI
7.1 Probleme neliniare convexe
_
minimizeaz a f(x)
cu restrict ia x F.
(7.1.1)
Denit ie 7.1.1 Problema 7.1.1 este convexa daca F este mult ime convexa
si f : F R este funct ie convexa.
Teorema 7.1.2 Presupunem ca problema 7.1.1 este convexa si e x F.
Urmatoarele armat ii sunt echivalente
1. x minim global pentru 7.1.1.
2. x minim local pentru 7.1.1.
3. Nu exista nici o direct ie admisibila descrescatoare pentru 7.1.1.
_
minimizeaz a f(x)
cu restrict ia g
i
(x) 0, i = 1, , m,
(7.1.2)
unde f si g
i
sunt de clasa C
1
pe R
n
. Fie
F = {x R
n
: g
i
(x) 0, i = 1, , m}.
Teorema 7.1.3 (condit ii suciente de minim global)
Consideram problema 7.1.2, unde f si g
i
sunt funct ii convexe, de clasa C
1
pe
R
n
. Presupunem ca x F si y R
m
satisfac condit iile KKT
f( x) +
m
i=1
y
i
g
i
( x) = 0,
g
i
( x) 0, i = 1, , m,
y
i
0, i = 1, , m,
y
i
g
i
( x) = 0, i = 1, , m.
Atunci x este minim global pentru 7.1.2.
7.2. RELAXARE LAGRANGE 45
Denit ie 7.1.4 Problema convex a 7.1.2 se numeste rugulata dac a exist a
x
0
R
n
astfel nc at g
i
(x
0
) < 0 pentru orice i = 1, , m.
Lema 7.1.5 Daca problema 7.1.2 este regulata si convexa, atunci orice solut ie
admisibila x F este punct regulat pentru problema 7.1.2.
Teorema 7.1.6 Presupunem ca problema 7.1.2 este regulata si convexa.
Atunci x F este minim global pentru 7.1.2 daca si numai daca exista
y R
m
astfel ncat condit iile KKT sunt satisfacute.
f( x) + y
T
g( x) = 0,
g( x) 0,
y 0,
y
T
g( x) = 0.
7.2 Relaxare Lagrange
(P)
_
_
_
minimizeaz a f(x)
cu restrict iile g
i
(x) 0, i = 1, , m (restrict ii explicite),
x X (restrict ii implicite).
Asociem problema relaxata a lui Lagrange
(PR
y
)
_
minimizeaz a f(x) + y
T
g(x)
cu restrict ia x X.
Elementele y
i
(i = 1, , m) se numesc multiplicatorii lui Lagrange.
Denit ie 7.2.1 Funct ia
F : X R
m
R, F(x, y) = f(x) + y
T
g(x)
se numeste Lagrangian asociat problemei (P).
Denit ie 7.2.2 Spunem c a perechea ( x, y) X R
m
satisface condit iile
de optimalitate globala asociate problemei (P) dac a
(1). L( x, y) = min
xX
L(x, y).
ATURI
(2). g( x) 0.
(3). y 0.
(4). y
T
g( x) = 0.
Teorema 7.2.3 Daca perechea ( x, y) X R
m
satisface condit iile de op-
timalitate globala asociate problemei (P), atunci x este minim global pentru
problema (P).
Problema duala
Denit ie 7.2.4 Fie R
m
+
:= {y R
m
: y 0}. Funct ia
: R
m
+
R, (y) = min
xX
(f(x) + y
T
g(x)) = min
xX
L(x, y)
se numeste funct ia obiectiv duala.
Lema 7.2.5 (i). Daca x este solt ie admisibila pentru problema (P) si y
0, atunci (y) f(x).
(ii). este o funct ie concava (adica este o funct ie convexa).
Denit ie 7.2.6 Problema duala asociata lui (P) este problema
(D)
_
maximizeaz a (y)
cu restrict ia y 0.
Teorema 7.2.7 Perechea ( x, y) XR
m
satisface condit iile de optimalitate
globala asociate problemei (P) daca si mumai daca
(1). x este solut ie optima pentru (P).
(2). y este solut ie optima pentru (D).
(3). ( y) = f( x).

CO Sumar

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

CO Sumar

Uploaded by

Copyright:

Available Formats

Chapter 1

mult imea majorant ilor mult imii S. Dac a S

mult imea minorant ilor mult imii S. Dac a S

R se numeste margine superioara pentru S dac a

este majorant pentru S

R se numeste margine inferioara pentru S dac a

este minorant pentru S

margini superioare pentru S.

R este marginea superioar a a lui S, vom folosi notat ia

R este marginea inferioara a lui S, vom folosi notat ia

> 0 astfel nc at dac a ||x a|| <

, |f(x) f(a)| < .

In forma condensat a problema (LP) poate scris a sub forma

se numesc costurile reduse ale variabilelor

0. Atunci solut ia admisibila

= 0 este solut ie optima pentru problema (P).

0 algoritmul se ncheie si solut ia admisibil a de baz a x

= 0 este solut ie optim a pentru problema

0], se alege q asfel nc at r

are o solut ie admisibil a de baz a evident a

In particular, dac a H este pozitiv denit a, atunci exist a un unic mini-

ACURESTRICT II SUB FORM

In multe situat ii sistemul de ecuat ii Ax = b, unde A M

. Cum y ranA, exist a x R

sunt funct ii continue.

AACELOR MAI MICI P

You might also like