Nediferencabilna optimizaca 1

Odjel za matematiku
Sveuilite J. J. Strossmayera u Oseku
Nediferencabilna optimizaca
Poslijediplomski doktorski studij matematike
1 Konveksni skupovi i konveksne funkce
Denica 1. Kaemo da je skup D R
n
konveksan ako za bilo koje dve toke
x
1
, x
2
D sadri i segment odreen tim tokama, tj.
x
1
, x
2
D x
1
+ (1 )x
2
D [0, 1].
Denica 2. Kaemo da je skup D R
n
strogo konveksan ako
x
1
, x
2
D, x
1
,= x
2
x
1
+ (1 )x
2
Int D (0, 1).
Neka svojstva konveksnih skupova:
Konveksan skup D R sadri svaku konveksnu kombinacu od konano svojih
toaka, tj.
(x
1
, . . . , x
n
D)
_

1
, . . . ,
n
0,
n

i=1

i
= 1
_
=
n

i=1

i
x
i
D;
Skup svih konveksnih kombinaca nekog skupa D R
n
je najmanji konveksni skup
koji sadri skup D i naziva se konveksna ljuska (convex hul l).
Presjek konveksnih skupova je konveksan skup;
Ako su A, B konveksni skupovi, onda su i A, A +B, A B konveksni skupovi.
1.1 Konveksne funkce
Denica 3. Kaemo da je funkca f : R
n
R konveksna ako vredi
f(x + (1 )y) f(x) + (1 )f(y) (1)
x, y R
n
i [0, 1].
Denica 4. Kaemo da je funkca f : R
n
R strogo (strictly) konveksna ako
x, y R
n
, x ,= y vredi
f(x + (1 )y) < f(x) + (1 )f(y), (0, 1). (2)
Nediferencabilna optimizaca 2
Denica 5. Kaemo da je funkca f : R
n
R jako (strongly) konveksna ako
postoji takav realni broj > 0 da vredi
f(x+(1)y) f(x) +(1)f(y) (1)|xy|
2
, x, y R
n
, [0, 1].
(3)
Primjedba 1. ako u (3) stavimo =
1
2
i =
1
4
, onda moemo rei da je funkca f :
R
n
R jako konveksna ako postoji > 0,
f
_
x +y
2
_

1
2
(f(x) +f(y)) |x y|
2
, x, y R
n
, > 0. (4)
Iz Denice 5 vidi se da je svaka jako konveksna funkca ujedno i konveksna, ali obrat ne
vredi (takoer vidi Primjer1 i Primjer2).
Primjer 1. Neka je / : R
n
R
n
simetrini linearni operator. Tada je kvadratna forma
f(x) :=
1
2
(/x, x) konveksna funkca onda i samo onda ako je / 0, tj. ako su sve
svstvene vrednosti nenegativne oznaimo ih s
1

n
0. Kako je (Hiriart-
Urruty and Lemarchal, 2001; Jare and Stoer, 2004)

n
|x|
2
(/x, x)
1
|x|
2
za sve x R
n
,
moe se pokazati da vredi
f(x + (1 )y) f(x) + (1 )f(y)
1
2

n
(1 )|x y|
2
Dakle, ako je / pozitivno denitan (
n
> 0), f je jako konveksna funkca.
Primjer 2. Funkca f : R
2
R, f(x
1
, x
2
) = x
2
1
+ x
2
2
je jako konveksna funkca, a
funkca g : R
2
R, g(x
1
, x
2
) = x
2
1
je konveksna, ali ne jako konveksna (
1
= 1,
2
=
0). Kako izgledaju plohe ovih funkca?
Denica 6. f : D R
n
R,
P(f) = (x, ) R
n+1
: x D R
n
, R, f(x) epigraf (5)
Q(g) = (x, ) R
n+1
: x D R
n
, R, g(x) hypograf (6)
Funkca f je konveksna P(f) konveksan skup;
Funkca g je konkavna Q(g) konveksan skup;
Funkca g je konkavna (g) konveksna;
Nediferencabilna optimizaca 3
Primjedba 2. Ako je f : D R
n
R konveksna funkca na D R
n
, onda se uvek
moe denirati konveksno proirenje

f : R
n
R, R = R +,

f(x) =
_
f(x), x D
+, x , D
.
Tada je P(

f) = P(f). Skup ED(f) = x R
n
: f(x) < + zvat emo efektivna
domena funkce f. Nadalje, ako ne posebno navedeno, promatrat emo konveksne
funkce f : R
n
R.
Svojstava:
f
1
, . . . , f
n
konveksne funkce,
1
, . . . ,
n
0
n

i=1

i
f
i
konveksna funkca;
f konveksna na R
n
, neopadajua i konveksna na R f konveksna na R
n
;
f
1
, . . . , f
n
konveksne funkce sup
i
f
i
(x) konveksna funkca;
f : R
n
R konveksna na R
n
x, y R
n
, funkca () = f(x + (1 )y)
konveksna na [0, 1] (Avriel, 2003);
Ako je f : D R R konveksna funkca na konveksnom skupu D, onda je ona
neprekidna na int D (Avriel, 2003; Bazaraa et al., 2006).
Primjer 3. Funkca : R R je konveksna, ali ne neprekidna.
(x) =
_

_
x
2
1, x < 1
2, x = 1
+, x > 1
Denica 7. f : R
n
R, konveksna funkca
L(f) = (a, b) R
n+1
: a R
n
, b R, a
T
x b f(x), x R
n
nosasupport
(7)
cl f(x) = sup
(a,b)L(f)
a
T
x b zatvara konveksne funkce (8)
S

(f) = x R
n
: f(x) nivo skup level set (9)
Primjedba 3. Iz denice funkce cl f sledi: cl f(x) f(x), x R
n
. Specalno,
zatvara funkce iz Primjera 3 je
cl (x) =
_
x
2
1, x 1
+, x > 1
Primetite da je specalno cl (1) = 0.
Vredi takoer P(cl f) = P(f).
Nediferencabilna optimizaca 4
Zadatak 1. Pokaite da ako je f : R
n
R, konveksna funkca, onda je L(f) konveksan
skup.
Denica 8. Subgradent konveksne funkce f : R
n
R u toki x
0
R
n
je svaki
vektor R
n
koji zadovoljava
1
f(x) f(x
0
) +
T
(x x
0
), x R
n
.
Skup svih subgradenata konveksne funkce f : R
n
R u toki x
0
R
n
zovemo Sub-
diferencal i oznaavamo ga s f(x
0
). Skup f(x
0
) je neprazan ogranien, konveksan i
zatvoren (Demjanov and Vasilev, 1981; Oben, 1988; Shor, 1998).
Primjedba 4. Za subgradent R
n
uvek se moe pronai

b R, takav da bude
(,

b) L(f). Naime, ako stavimo

b
T
x
0
f(x
0
), tada je
h(x) =
T
x

b
T
x
T
x
0
+f(x
0
) =
T
(x x
0
) +f(x
0
) f(x).
Denica 9. Funkca f : D R
n
R je diferencablina u toki x
0
int D u smjeru
D ako postoji
2
f(x
0
)

= lim
0+
1

(f(x
0
+) f(x
0
))
Teorem 1. Konveksna funkca f : D R
n
R za proizvoljni x
0
int D ima derivacu
f(x
0
)

u bilo kojem smjeru D i vredi ((Demjanov and Vasilev, 1981; Oben, 1988;
Shor, 1998))
f(x
0
)

= max
f(x
0
)

T
(10)
Ako je f : D R
n
R konveksna funkca na konveksnom skupu D, onda je svaki
lokalni minimum ujedno i globalni minimum na D (Avriel, 2003);
Ako je f : R
n
R konveksna funkca, onda je i S

(f) konveksan skup, ali obrat

ne vredi;
Ako je f : R
n
R konveksna funkca, onda je 0 f(x

) ako je x

globalni
minimum funkce f; Ako je f : R
n
R konveksna i diferencabilna funkca, onda
je f(x

) = 0 ako je x

globalni minimum funkce f;

Ako u nekom smjeru konveksna funkca f opada, onda u suprotnom smjeru ()
raste.
1
Moze se dogoditi da takav vektor R
n
ne postoji, da postoji jedan jedini i da postoji vie njih.
2
Derivacu funkce f u toki x
0
u smjeru u literaturi se jo oznaava s: Df(x
0
, ) ili s f

(x
0
).
Nediferencabilna optimizaca 5
Neka je
f(x
0
)

= a < 0 i neka je

0
f(x
0
), takav da je prema Teoremu1
f(x
0
)

= max
f(x
0
)

T
=:
T
0
.
Tada u smjeru u = prema Teoremu1 imamo
f(x
0
)
u
= max
f(x
0
)

T
u
T
0
u =
T
0
=
f(x
0
)

= a > 0.
2 Konjugirane (dualne) funkce
Neka je f : R
n
R konveksna funkca. Za dani vektor R
n
treba odrediti parametar
b R ane funkce h(x) =
T
x b, tako da bude h(x) f(x), x R
n
.
b
T
x f(x) x R
n
.
Dakle, b sup
xR
n

T
x f(x).
Denica 10. Neka je f : R
n
R konveksna funkca. Funkcu f

: R
n
R,
f

() = sup
xR
n

T
x f(x), (11)
zovemo konjugirana (dualna) funkca funkce f u toki R
n
.
Primjedba 5. Primetite da je za dani vektor R
n
i promatranu anu funkcu h(x) =

T
x b, vredi b f

().
Geometrsko znaenje:
Najvia mogua pozica grafa ane funkce h(x) =
T
x b ispod grafa funkce
f : R R dobe se za b = f

().
Tada je h(0) = f

(), a h nikad ne prima vrednost .

Ekonomsko znaenje:
Neka je f(x) = f(x
1
, . . . , x
n
) troak proizvodnje x
i
komada proizvoda P
i
, i =
1, . . . , n, pri emu su
i
odgovarajue cene proizvoda P
i
.
Treba odrediti koliine x

1
, . . . , x

n
komada proizvoda P
1
, . . . , P
n
, za koje e prot biti
maksimalan, tj.
n

i=1

i
x
i
f(x) max R :
n

i=1

i
x

i
f(x

) = sup
xR
n

i=1

i
x
i
f(x) = f

()
Teorem 2. (Fenchel, Moreau) Ako je f : R
n
R konveksna funkca, onda je njena
konjugirana (dualna) funkca f

takoer konveksna i vredi

(i) P(f

) = L(f), (ii) f

= cl f.
Nediferencabilna optimizaca 6
Dokaz. Vredi
P(f

) =(, ) : R
n
, R, f

()
=(, ) : R
n
, R, sup
xR
n

T
x f(x)
=(, ) : R
n
, R,
T
x f(x) , x R
n

=(, ) : R
n
, R,
T
x f(x), x R
n
= L(f)
Kako je P(f

) konveksan skup (Zadatak 1), onda je i f

konveksna funkca.
Kako je f

= (f

, vredi
f

(x) = (f

(x) = sup
R
n

T
x f

()
= sup
{(,

):f

()

T
x

(prema Primjedbi 5)
= sup
{(,

): sup
yR
n
{
T
yf(y)}

T
x

= sup
{(,

):
T
y

f(y), yR
n
}

T
x

= sup
(,

)L(f)

T
x

= cl f(x)
Primjedba 6. Ako je f konveksna funkce, tada prema je Fenchel-Moreau teoremu i f

koveksna funkca. Nadalje, to znai da je i f

konveksna funkca, a kako je f

= cl f,
onda je i cl f konveksna funkca. Takoer lako se vidi da vredi
L(f

) = P(f

) = P(cl f).
Teorem 3. Ako je f : R
n
R konveksna funkca, onda je f

zatvorena konveksna
funkca, tj. vredi cl f

= f

.
Dokaz. Kako je (Primjedba 3) cl f(x) f(x), x R
n
, sledi

T
x cl f(x)
T
x f(x), x R
n
,
sup
xR
n

T
x cl f(x) sup
xR
n

T
x f(x)
cl f

() f

().
S druge strane prema istoj primjedbi je cl f

() f

(), pa dakle, cl f

= f

.
Nediferencabilna optimizaca 7
Svojstva konjugirane (dualne) funkce:)
Neka je f : R
n
R konveksna funkca. Tada
(i) ako je (x) = f(x) +, R, onda

() = f

() ;
(ii) ako je (x) = f(x +), R
n
, onda

() = f

()
T
;
(iii) ako je (x) = f(x), ,= 0, onda

() = f

_
;
(iv) ako je (x) = kf(x), k > 0, onda

() = kf

k
_
;
Dokaz. Neka je f

() = sup
xR
n

T
x f(x)
(i)

() = sup
xR
n

T
x (f(x) +) = sup
xR
n

T
x f(x) = f

()
. . .
Zadatak 2. Dokaite ostala svojstava.
Primjer 4. Treba odrediti konjugiranu funkcu za funkcu : R
n
R, (x) = a
T
x b,
gdje su a, b R.
Potraimo najpre konjugiranu funkcu za jednostavnu funkcu f(x) = a
T
x. Imamo
f

() = sup
xR
n

T
x a
T
x =
_
0, = a
+, ,= a.
Dalje prema svojstvu (i) za funkcu (x) = a
T
x b vredi

() = f

() +b =
_
b, = a
+, ,= a.
Primjer 5. Treba odrediti konjugiranu funkcu za funkcu : R
n
R, (x) =
1
2
x
T
x.
Potraimo najpre konjugiranu funkcu za jednostavnu funkcu f(x) = x
T
x. Imamo
f

() = sup
xR
n

T
x x
T
x =
1
4

T
.
Naime, maksimum funkce g(x) =
T
xx
T
x postie se za x
E
=
1
2
, pri emu je g
_
1
2

_
=
1
4

T
. Zato je

() =
1
2
f

(2) =
1
2
_
1
4
(2)
T
(2)
_
=
1
2

T
.
Dakle, ovo je primjer funkce koja se podudara sa svojom dualnom funkcom.
Primjer 6. Neka je D R
n
. Treba odrediti konjugirane funkce za sljedee funkce

D
(x) =
_
0, x D
+, x R
n
D
(indicator function)

D
(x) = sup
D

T
x (support function)
Nediferencabilna optimizaca 8
Vredi

D
() = sup
xR
n

T
x
D
(x) = sup
D

T
x =
D
(),

D
() =

D
() =
D
().
Zadatak 3. Odredite konjugirane funkce za funkce
(a) : R R, (x) =
_
ln x, x > 0
+, x 0.
, (b) : R R, (x) = e
x
(c) : R R, (x) =
1
p
[x[
p
, 1 < p < +, (d) : (

2
,

2
) R, (x) = ln(cos x)
Teorem 4. Neka je f : R
n
R konveksna funkca. Tada je f(x
0
) onda i samo
onda ako je f

() =
T
x
0
f(x
0
).
Dokaz. Prema Denici 8,
f(x
0
) f(x) f(x
0
) +
T
(x x
0
), x R
n

T
x
0
f(x
0
)
T
x f(x), x R
n

T
x
0
f(x
0
) = sup
xR

T
x f(x)
= f

().
Primjedba 7. Prema Teoremu4 za konveksnu funkcu f : R
n
R vredi jednakost koju
u literaturi (Demjanov and Vasilev, 1981) moemo nai pod nazivom Youngov identitet
f(x
0
) + f

() =
T
x
0
. (12)
Teorem 5. Neka je f : R
n
R konveksna funkca. Tada
(i) ako je f(x
0
), onda je x
0
f

();
(ii) ako je cl f = f i x
0
f

(), onda je f(x

0
).
Dokaz. Primetimo najpre da prema prethodnom Teoremu4 vredi
f(x
0
) f

() =
T
x
0
f(x
0
), (13)
x
0
f

() f

(x
0
) =
T
x
0
f

.() (14)
Nediferencabilna optimizaca 9
(i) Neka je f(x
0
). Prema (13) vredi
f

() =
T
x
0
f(x
0
).
Ako je f(x
0
) neprazan, onda je (Avriel, 2003) cl f(x
0
) = f(x
0
), a kako je prema
Teoremu2, f

= cl f koristei (14) dobivamo

f

() =
T
x
0
f

(x
0
) x
0
f

().
(ii) Neka je cl f = f i x
0
f

(). Prema (14) i Teoremu2 vredi

T
x
0
f

() = f

(x
0
) = cl f(x
0
) = f(x
0
)
f

() =
T
x
0
f(x
0
) f(x
0
).
Primjedba 8. Ako pretpostavimo da je f : R
n
R zatvorena konveksna funkca, onda
Teorem4 i Teorem5 saeto moemo izraziti na sljedei nain (Demjanov and Vasilev,
1981):
Sljedei uvjeti meusobno su ekvivalentni
(i) x
0
f

()
(ii) f(x
0
)
(iii) f(x
0
) +f

() =
T
x
0
2.1 Nuni i dovoljni uvjeti minimuma
Koritenjem pojma konjugirane (dualne) funkce jednostavno se mogu formulirati nuni
i dovoljni uvjeti ekstrema konveksne zatvorene funkce.
Najpre primetimo da je po denici
f

(0) = sup
xR
n
f(x) = inf
xR
n
f(x),
odosno
inf
xR
n
f(x) = f

(0). (15)
Dakle, funkca f je ograniena odozdo onda i samo onda ako je 0 u domeni funkce f

.
Skup svih minimuma funkce f oznaimo s
T = x R
n
: f(x) = f

(0) = x R
n
: f(x) = inf
yR
n
f(y)
Dakle, x
0
T onda i samo onda ako je
f(x
0
) + f

(0) = 0,
Nediferencabilna optimizaca 10
a to je prema Primjedbi 8 ispunjeno onda i samo onda ako 0 f(x
0
). Dakle zatvorena
konveksna funkca postie globalni minimum u toki x
0
onda i samo onda ako 0 f(x
0
).
Nadalje, prema Primjedbi 8 moemo pisati
T = f

(0).
Moemo takoer rei da konveksna zatvorena funkca f postie globalni minimum onda
i samo onda ako je subdiferencal njene konjugirane funkce f

u nuli neprazan skup.

(primjerice ako je 0 int ED(f

) (Demjanov and Vasilev, 1981)).

Primjer 7. Neka je f : R
n
R i R
n
konveksan zatvoren skup. Treba odrediti
uvjetni subdiferencal funkce f na skupu .
Najpre deniramo indicator function

skupa

(x) =
_
0, x
+, x R
n

i deniramo novu funkcu f
1
= f +

,
f
1
(x) =
_
f(x), x
+, x R
n

,
a je efektivna domena skup . Odreivanje uvjetnog subdiferencala funkce f na
skupu na taj nain svodi se na odreivanje obinog subdiferencala sume f
1
= f +

,
kod ega moemo iskoristiti tehniku konjugiranih funkca.
2.2 Konjugirana (dualna) funkca konkavne funkce
Neka je g : R
n
R konkavna funkca. Tada deniramo
g

() = inf
xR
n

T
x g(x). (16)
Potraimo vezu s pripadnom konveksnom funkcom f = g. Vredi
f

() = sup
xR
n

T
x f(x)
= (f = g) sup
xR
n

T
x +g(x)
= inf
xR
n
()
T
x g(x)
= g

().
Nediferencabilna optimizaca 11
2.3 Konjugirana (dualna) funkca funkce f : R
n
R
I u ovom sluaju f

deniramo kao zatvorenu konveksnu funkcu

f

() = sup
xR
n

T
x f(x).
Primetimo da je to konjugirana funkca najvee konveksne funkce f
c
, takve da je
f
c
(x) f(x), x R
n
. Tada je f

= f
c
.
Slino bi denirali i konjugiranu konkavnu funkcu prema (16).
Literatura
M. Ali, G. Nogo, Optimizaca: Uvod u teoru nunih i dovoljnih uvjeta ekstrema, Odjel
za matematiku, Sveuilite u Oseku, Osek, 2004.
M. Avriel, Nonlinear Programming: Analysis and Methods 2ed., Dover Publications, Inc.
Mineola, New York, 2003.
M. S. Bazaraa, H. D. Sherali, C. M. Shetty, Nonlinear Programming. Theory and Algo-
rithms. 3
rd
Edition, Wiley, New Jersey, 2006.
J. F. Bonnans, J.C. Gilbert, C. Lemarchal, C.A. Sagastizbal, Numerical Optimization.
Theoretical and Practical Aspects, Springer-Verlag, Berlin, 2006.
S. Boyd, L. Vandenberghe, Convex Optimization, Cambridge University Press, New York,
2004.
V. F. Demjanov, F. P. Vasilev, Nedifferenciruemaja optimizacija, Nauka,
Moskva, 1981.
J. E. Dennis, Jr, R. B. Schnabel, Numerical Methods for Unconstrained Optimization and
Nonlinear Equations, SIAM, Philadelphia, 1996.
J. E. Dennis Jr., J. J. More, Quasi-Newton methods, motivation and theory, SIAM Review,
19(1977), 46-89.
W. Fenchel, On conjugate convex function, Canadian Journal of Mathematics 1(1949) 73
77
P. E. Gill, W. Murray and M. H. Wright, Practical Optimization, Academic Press, 1981.
J. B. Hiriart-Urruty, C. Lemarchal, Fundamentals of Convex Analysis, Springer-Verlag,
Berlin - Heidelberg, 2001.
F. Jare, J. Stoer, Optimierung, Springer-Verlag, Berlin, 2004
Nediferencabilna optimizaca 12
. P. Oben, Nelineny analiz i ego ekonomiqeskie priloeni, Mir, Mosk-
va, 1988.
J. M. Ortega, W. C. Rheinboldt, Iterative Solution of Nonlinear Equations in Several
Variables, SIAM, Philadelphia, 2000. (postoji i ruski prevod)
A. Ruszczynski, Nonlinear Optimization, Princeton University Press, Princeton and Ox-
ford, 2006
N.Z.Shor, Nondierentiable Optimization and Polynomial Problems, Kluwer, London,
1998.
R. G. Strongin, Qyslennye metody b mnogoekstremalnyh zadaqah, Nauka,
Moskva, 1978.
F. P. Vasilev, Lekcii po metodam rexeni ekstremalnyh zadaq, Izdavatel-
stvo Moskovskogo univerziteta, Moskva, 1974.
S. Zlobec, J. Petri, Nelinearno programiranje, Nauna knjiga, Beograd, 1989.