UNIVERZITET CRNE GORE

MASINSKI FAKULTET PODGORICA

OPTIMIZACIONE METODE U
KONSTRUKCIJAMA

u Podgorici, 2006 godine Prof. Dr Olivera Jovanovic

 lzrada skripte je finansirana od strane WUS - Austrija, Podgorica
Course Development Program +
Projekat broj 213/2006

__j
 1. PARAMETARSKAIDENTIFIKACIJA SISTEMA

1.1.POSTUPAK IDENTIFIKACIJE SISTEMA

Pod parametarskom identifikacrjom sistema podrazumijeva se proces

definisanja oblika matematidkog modela razmatranog fizidkog sistema kada su za
isti poznate funkcije ulaza i odgovora. Veoma jasnu interpretaciju parametarske
identifikacije dao je Bekey (1970). Ona se sastoji iz tri dijela i to:

1. Definisanje oblika modela koji obuhvata izbor diferencijalnih jednadina

i selekciju nepoznatih parametara.

2. Izbor kriterijuma odstupanja (formiranje funkcije greske) kojim se

obezbedjuje "tadnost podeSavanja" odgovora modela i odgovora fizidkog
sistema, ako su oba pobudena istom funkcijom tlaza.

3. Definisanje aigoritma za sistematsko podeSavanje nepoznatih parametara, tako

da razlika u odgovorima izmedu modela i fizidkog sistema, bude
minimalna.

Prvi i najvaZniji korak kod procesa identifikacije sistema predstavlja

definisanje oblika matematidkog modela razmatranog fizidkog sistema. Za
neadekvatno odabrani matematidki model nemoguie je zadovoljiti uslov o
kriterijumu odstupanja,bez obzira koliko se dobar algoritam ruzvije za sistematsko
pode5avanj. puru*"tara. Dobrim izborom matematidkog modela pove6ava se
mogu6nostzakva1itativnijeuporedenjepoznatihfizidkihvelidina.

I.2. KRITERIJUM ODSTUPANJA

Ocjena valjanosti modela izraLava se kroz kriterijum ekvivalencije, Sto se
podrazumijeva neki kriterijum gre5ke. U ovom sludaju gre5ka predstavlja razliku
izmedu matematidkog modela i fizidkog sistema ako su oba pobudeni istom
funkcijom ulaza.
Funkcija gre5ke se moZe formirati na vi5e nadina i to kao:
r-

r$.r)=.|lrtB.r)-y(r) l'| ,(p,\ - v@ldt , (1 l)

0

a) Suma kvadrata pojedinih gre5aka, gdje je B vektor nepoznatih parametara

za identifikaciju.
2
 b) Tezinska suma kvadrata pojedinih funkcija:

J(/3,T) = l_)k Jk (/3,T)

Izborom tezinskih faktora moze se uzeti u obzir relativna vaznost pojedinih
komponenti.
c) Kriterijum maksimalne apsolutne vrijednosti koji se manJe koristi
prethodna dva J ( �) = max h (�) .
Izbor kriterijuma odstupanja zauzima znacaJno mjesto u postupku identifika­
cije, posebno kada je rijec o ocjenjivanju parametara. lmajuci u vidu da na
objekat i model djeluje jedan te isti ulazni signal (sl. 1.1) i da se uporeduju
vrijednosti izlaza objekta i izlaza modela, potrebno je tako izabrati krite­
rijum koji ce omoguciti da se izvrsi neophodna korekcija modela. Cinjenica
da nepoznati parametri nijesu dostupni mjerenju zahtijeva da kriterijum od­
stupanja bude funkcional izlaznih sign ala ili greska ocjene parametara, ima­
juci u vidu da je izlazni signal funkcionalno povezan sa numerickim vrijed­
nostima parametara.

----< F Jz ki s.istern

Kriterijurn

parametara

Sl.1.1. Blok dijagram identifikacije sistema (po Bekey)

Rjesavanje postavljenih zadataka identifikacije svodi se na iznalazenje

rmmmuma funkcije greske. Medutim, treba postaviti jos neka dopunska
pitanja koja mogu unijeti vise svijetla u ovu slozenu problematiku. Tako, na
pnmJer, kako izabrati funkciju greske, da Ii ta funkcija- posjeduje
rmmmum, postoji Ii jedinstveno rjesenje, da Ii je jedinstvenost rjesenja
povezana sa klasom, ulaznih signala itd.

3
 u opstem slucaj u gresku mozemo definisati analiticki kao J = J ( e).
Kr i terijum odstupanja razmatracemo sa vise gledista uslovljenih nacinom na
koji je ona definisana:
Ako razmatramo slucaj na slici 1.1 tada govorimo o izlaznoj gresci:
e y-yM =y-M(u), gdje
= je M(u) izlazni signal modela
pobudenog ulaznim signalom u.
Ako je e=u-uM = u-M-1(y), onda je to greska ulaza. M" 1 (y) je inverzni model tj.
model koji za dati izlazni signal moze reprodukovati jedinstveni '(jedan i samo
jedan) ulazni signal.
Gresku je moguce definisati 1 na sljedeci nacin:

e= M}(y)-M 1 (u), gdje M2-1 (y) predstavlja inverzni model.

Na ovaj nae in definisana greska naz1va se uopstena ill genensana
greska.
Na slici 1.2, data Je interpretacija prethodno definisanih gresaka u vidu
blok dijagrama.

--- Objelm

Model�
mode,
� e[ €
lii,nna g,e;k., f J t.J!atna 9reSkc

y
Objekzt

Uopsteni mode!

" 1
"'
2

eg f Uopf.tena gresk;,

SI.1.2. Blok dijagram i z l a z n e greske, greske u l a z a

i uopstene greske p o Eykhoff-u

Ukoliko razmatramo postupak ocjenjivanja nepoznatih parametara modela

u cilju sto boljeg podesavanja nepoznatog modela stvarnim karakteristikama
objekta, tada posmatramo blok J (�) prikazan na slici 1 .1. Blok J(f3) koji
prima i obraduje informaciju o dinamickom ponasanju izlaznih velicina �objekta
modela moze se predstaviti na sljedeci nacin:

L 4

L
L
 T

J:J(y,yr,,r) : J(e) : J
eq1t, B;dt, q: 1,2,3...
0

Postavlja se pitanje izbora parne ili neparne podintegralne funkcije

greske. Izbor parnog funkcionala dovodi do zavisnosti kriterijuma
ekvivalencije i pode5ljivih parametara modela Sto sa radunskog stanoviSta
olak5ava posao.
Kriterijum odstupanja treba da bude definisan kao razlika izmedu analitidkih i
eksperimentalnih velidina koje su medusobno nezavisne.

1.3 . ALGORITAM ZA OPTIMIZACIJU SISTEMA

Tre6i korak u procesu parametarske identifikacij e po Bekey
predstavlj a izbor algoritma za sistematsko pode5avanje parametara
matematidkog modela sve dok se ne dobije minimum funkcije gre5ke. Ukoliko
se radi o funkciji jedne promjenljive J(B,T), minimum funkcije i vrijednost
nepoznatog parametra traLi se iz uslova:

VJ(p,T)B=Fo=0 (r.2)
i to su problemi koji su predmet istrazivanja u jednodimenzionalnoj optimizacljr.

Ako je rijed o funkciji gre5ke kao funkciji vi5e promjenijivih tada

primjena rzraza (1.2) vodi ka dobijanju sistema simultanih nelirrearnih
algebarskih jednadina po vektoru nepoznatih parametara B , dije analitidko
rjesenje je po prirodi veoma sloZeno. Zato je potrebno razviti i primijeniti
takav algoritam za optimizaciju sistema koji ce sigurno voditi ka rje5enju
problema.
Su$tina razvoja algortima za optimizaciju sistema jeste minimiziranje funkcije
kriterijuma odstupanja koja predstavlja neku povrS, odnosno nalaZenje
vektora nepoznatih parametara koji leZi u minimalnoj tadki te povr5ine.
Danas su u upotrebi mnoge metode za rje5avanje problema
minimizacije funkcije u zavisnosti od broja parametara. One su uglavnom
iterativne metode i proces nalaLenja minimuma podinje odabiranjem podetnog
vektora Fo na osnovu koga se defini5e novi vektor P,. Proces se ponavlja i
definiSe se novi vektor B2,zatrm Be i tako dalje do traZenoq vektora B*. Ukoliko
l- je vektor B* u oblasti trai.enog minimuma onda je to i rje5enje problema.
L* Medutim, moZe se desiti da se i ne dostigne numeridki minimum 5to zavisi od
izbora podetnog vektora Fr., kao i od razvijenog algoritma minimizacije
koji treba da garantuje postizanje totalnog, a ne nekog lokalnog minimuma
L- funkcije gre5ke.

L-
L-
 Ukoliko je funkcija kriterijuma odstupanja, odnosno funkcija gre5ke,
funkcija viSe promjenijivih tada se, za definisanje minimuma vi5edimenzione
povr5ine koriste metode bezuslovne optimizacije bez tzractnavanja derivacija funkcije
i gradijentne metode.

2. OPTIMIZACIJA

2.1. UVOD U OPTIMIZACTJIJ

OptimizacUa je primijenjena matematicka disciplina u kojoj se nalaze ekstremne

vrijednosti funkcije cilja. U konstruktivnom masinstvu optimizacijom se projektuju masine i
djelovi masina sa najboljim osobinama kao sto su najveca pouzdanost sistema, najveca
efikasnost masina, najveca prilagodjenost svrsi, najmanja proizvodna cijena itd. Realni uslovi
za praktrcnu primjenu optimizacionih metoda stvoreni su spojem klasicne i numericke
matematike i informacionih tehnologija.
Za optimalno projektovanje konstrukcija u tehnici metode nelinearnog programiranja
su osnovne metode jer su funkcije cilja i funkcrje ogranicenja uglavnom nelinearne prirode.
Problemi oprimizacije ukljuduju odredjivanje jedne ili vi5e vrijednosti nezavisno
promjenljive koja se odnosi na,,najbolju" ili optimalnu vrijednost funkcije. Zato je potrebno
identifikovati tacke maksimuma i minimuma funkcije Sl 2.1. Takvi problemi se javljuju kao
rutinski u inzenjerskoj literaturi bilo da se radi o funkcijama jedne ili vise promjenljivih.

Ml*irrlu1"!i

S12.1 - Minimum funkcije

Optimizacija i problemi rjesavanja jednadina su povezani u smislu da oba ukljuduju

pretpostavljanje i trai,enje tadke na funkciji. Rjesavanje jednadine je traLenje nula funkcije
oblika f(x) : 0, a problemi optimizacije su traZenje maksimuma i minimuma funkcije i
rjeSavaju se sajednacinom f (*) :0 (512.2).

I
 /'(;r) = 0
-f'(xi < o

.f'[r) = o
Minimum f'("*) >o

512.2 - Funkcija jedne promjenljive na kojoj se vidi razlika izmedju

korij ena j ednacine i tacaka optimuma

Optimum je tadka gdje je kriva ravna i u matematidkom smislu f'(r):0. Drugi izvod
funkcije odreduje maksimum sa /"(x)<0 i minimum /"(x)>0. Sada je razumljivo za5to se
za odredivanje optimuma razvila posebna strate-eija i to difrenciranje funkcije i nalaZenje
nula nove funkcije. iinjenica je da neke optimizacione metode nalaze rje5enje putem
jednadine -f'(r):0. Medutim trebare6i da je ovakvo rie5avanje komplikovano kada se /'(;r)
ne moze naci analitidki, kao kod funkcija koje su predstavljene tackastim vrijednostima. Tada
se koriste konacne razllke umjesto izvoda funkcije. Posmatranje optimizacije kao rjesavanje
korijena odgovarajuce jednacine pogodno je u jednostavnijim slucajevima kod
jednodimenzionih problema gdje je razumijevanje problema potpuno.

2.2. Primjer optimizacije - optimizacija cijene padobrana

Postavka problema

Bazidni problem optimizacije i kori5ienja numeridkih metoda ilustrovaiemo na

primjeru padobrana. Na ovom tipicno inzenjerskom primjeru, ispitacemo brzinu udara
padobrana o zemlju. Neka je zadatak spustiti putem padobrana pakete hrane u odredenoj
blizini izbjeglidkog kampa u ratnim uslovima na najniZoj visini aviona od 500m . Padobran
je prikazan na Sl 2.3 i otvara se odmah po napu5tanju aviona . Da bi se smanjila Steta na
t
paketima prilikom njihovog bacanja brzina udara treba da je manja od kritidne brzine
t
I
v"=2011 . Povr5ina padobrana je pola sfere ,4:2r2ft. DuLina svakog od 16 uZadi koji
.s

je l=,.Ji
t

l-- spajaju padobran sa teretom Vudna sila za padobran je linearna iunkcija

povr5ine padobrana, odnosno

!_
I
 c:kr A

gdje je:

c - vucni koeficijent (kg/s) i

k. - koeficijent proporcionalnosti efekta povriine na vudu (kg/sm2).

512.3 - Otvoren padobran

M,
Takode, teLina svakog tereta je pojedinadno : m= , gdjeje M - ukupni teret
n
ispu5ten padobranom (kg) i n - broj paketa.
Konadno, cijena svakog padobrana moLe se predstar,'iti sljedeiim izrazom

cijena padobrana = co * c, + cr' A2

gdje su co, ct, c2 - koeficijenti cijene. Konstanta co je osnovna cijena padobrana. Nelinearan
(lan crA2, koji se odnosi na povr5inu, dat je zbog toga Sto je skuplje konstruisati veliki nego
mali padobran. Cilj je odredivanje poluprednika padobrana (r) i broja padobrana (n) uz
minimalnu cijenu ko5tanja jednog padobrana pri cemu treba da je zadovoljen i kriterijum
kriticne brzine udara o zemlju v..

Rje5enje :

Cilj je odrediti broj i velidinu padobrana uz minimalnu cijenu koStanja aviotransporta.

Problem je sa odredivanjem minimuma sa ogranidenj em zato 5to brzina udara po5iljke o
zemlju treba da je manja od kritidne vrijednosti. Cijena ko5tanja ukupnog aviotransporta
dobija se kada se individualna cijena padobrana pomnoZi sa brojem padobrana (n) i tako se

t_ C : n(co +s,+ c2 A2).

Sljedece je postaviti ogranicenja kojih u ovom zadatku ima dva i to:
I 8

t_
I

L
 . V(Vc,
. n>l(brojposiljki morabiti >l).
Ovim definis aL zadatak optimizacije i mora se zakljuditi da je to nelinearni
je
ograniden problem. Iako je ovaj problem Siroko formulisan, on se moZe postaviti i na sljede6i
nadin :

. Kako odrediti brzinu udara v ?

Brzinatijela koje pada moZe se izradunati po formuli :

,=9-!!lt-,
' :,,), ,,,,
(2.1)
c( )

gdje je v -brzina (mis)

g - ubrzanje zemljine teZe (m/s2)

m - masa tereta (kg) koji se spusta jednim padobranom

t - vrijeme (s)

Mada izraz (l) daje veza izmedu brzine v i vremena /, neophodno je znati vrijeme
padanja tijela. Zbog toga nam je potrebnayeza izmedu distance (z), udaljenosti tijela koje se
spusta padobranom od zemlje, i vremena padanja r. F unkcija z: f(t) je data na S1. 2.4.

0
051015
t {s)

Sl. 2.4 - Kriva promjene rastojanja z od vremena t

L- 9

t
 C: n(co*cr* cz A.2) sa prvim ogranidenjem v ( v" i drugim ogranidenjem n > 1, gdje je :

A=2tw2

c:
- k"A
'-c'^
t,r
lvl
tn =-----:-'
'n

lzpoznate relacije:

o.w zl . \
6o.vm- [lr -2--.,
"'
.

Z=Zo-:;.t+
5 n
I
-, I

'vL\. c,
-\/ lt-e I
L

I
( c\
I

cl
I
L ^tt
\./ I

I
I

I
L
10

I
I

L
Ovaj problem 6emo optirnizacionim metodama rje5iti kasnije.

Kod optimizacionih problema u Sirokoj tehnidkoj praksi postoje neki fundamentalni

elementi koji su prepoznatljivi kod svih i to :

- funkcija cilja tj. funkcija dija se ekstremna vrijednost traZi (maksimum i minimum) i
onaie obidno na5 cilj
- promjenljive koje figuri5u u funkciji cilja i odreduju njenu sloZenost. Mogu biti realne
i cjelobrojne i u naSem sludaju kod razmatranog primjera su r , t i n.
- ogranidenja koja se javljaju za odredene promjenljive i odreduju oblast u kojima su
rjeSenja vaZeca.

Mada funkcija cilja i ogranidenja mogu biti predstavljeni preko prostih jednad.ina one
mogu biti osnova za kompleksne zavisnosti i modele Sto je prikazano u navedenom primjeru.
Tako su odredivanje vremena padanja tereta i brzina udara zahtijevali komplikovana
radunanja, dok primjena optimizacionih metoda je mnogo efikasnija i korisnija.

2.3. Matematidka osnova problema

Postoje mnogi matematidki koncepti i operacije koje dine osnovu optimizacije. To su

kvadratne matrice, Jacobijan i Hesse-ova matrica, koveksne i konkavne matrice itd.

Optimizacija ili problemi matematidkog programiranja generalno se mogu postaviti na

sljedeii nadin :

- naci x tako da f(x) bude minimum ili maksimum pri ogranidenju

d,(x)< a, i =1.......nt
(2,2)
e,(x)= b, i =1......P

gdje je r n-dimenzioni vektor, f(.) - funkcija cilja, d{r) - ogranidenja u vidu nejednadina
i ei(x) - ogranidenja oblika jednadina, ai i bi su konstante.

Problemi optimizacije u zavisnosti od oblika funkcije cilja mogu biti :

- ako su f(x) i ogranidenja linearni i imamo linearno programiranje

- ako je Jk) kvadratna funkcija i ogranidenja linearna. onda je kvadratno programiranje

- ako je "f(x) nije linearno ili kvadratno i (ili) ogranidenja su nelinearna imamo nelinearno
programiranje.

11
 Dalje, ako su ukljudena ogranidenj a (2.2) onda je optimizacija sa ogranidenjem, a ako
ogranicenja nijesu ukljucena onda je optimizacijabez ogranidenja. Za ogranidene probleme
broj stepeni slobode dat je sa n-p. Generalno, za dobtjanje rje5enja mora biti p < n . Za p >
n problem je preograniden.

Drugi nadin klasifikovanja problema optimizacije j" po dimenzionalnosti. Postoje

jednodimenzionalni i vi5edimenzionalni problemi. Kako im ime kaZe jednodimenzionalne
metode za funkciju cilja imaju funkciju samo jedne promjenljive pa se maksimum i
minimum nalaze samo u pravcu jedne promjenljive. Kod vi5edimenzionih problema funkcija
cilja je funkcija dvije ili viSe promjenljivih i tu vizueliziramo "bregove" i "doline" i
tr aLimo optimalno rj e5enj e.

Medutim, kao i kod obidnog pje5adenja, ne ogranidavamo se na kretanje strogo u

jednom pravcu vei ispitujemo topografije i efikasno stiZemo do cilja. Na kraju, proces
tralenja maksimuma i minimuma je identidan, jer se ispituju funkcije f(x) ili -f(x). Ova
ekvivalentnost je ilustrovana graficki za jednodimenzionalan problem funkcijom kao na S1.
2.5.

0piinttiir: /ir'. y^,t

.ilr..r) i

l,linim u lr .i
(-r)

irr) ti'I

Sl. 2.s. -Funkcljef(x) i -f(x)

Sljede6e poglavlje, poslije uvodnog dijela je jednodimenziona neogranidena

optimizacija. Prezentovane su metode za nalaLenje maksimuma i minimuma funkcije sa
jednom promjenljivom. Pokazane su tri metode :

- metod zlatnogpresjeka
- Njutnova metoda
- metod kvadratne interpolacije

Ove metode su potrebne i za vi5edimenzionu optimizaciju. Dalje, obradeno je

poglavlje u kome se rjesavaju dva tipa problema i neogranidene multidimenzione
optimizacije. Prvi tip problema rje5ava se bez traZerya izvoda funkcije. Poznate metode u
L ovoj grupi su Powel-ova i Hook-Jeeves-ova metoda. Drugoj grupi pripadaju gradijentne
metode. Detaljno je obradena metoda nqbrLeg porasta odnosno spu5tanja . Metode koje
pripadaju ovoj grupi su Njutnova metoda, Gauss-Njutnova, Njutn-Rapsonova itd.

t2

t_
I

I
 ..

U ovom dijelu su opisane tehnike za nalailerye maksimuma i minlmuma funkcije

jedne promjenljive. Postoje tri nadina da se ovaj problem ublazi. Na Sl 3.1. je pikazana
funkcija jedne promjenljive, kao i lokalni iglobalni maksimum i minimum. Kao sto se sa
slike vidi dvije tacke lijevo odnose se na globalni, a dvrje tacke desno na lokalni maksimum'i
minimum. Razlikovati globalni od lokalnih minimuma moZe biti teZak zadatak u nekim
situacijama. Promjena polazne tadke i praienje da li usvojena metoda dovodi do boljeg
rje5enja ili vodi u istu tadku. Mada sva tri nadina mogu biti korisni, ne postoji siguran put
kako odrediti globalni optimum. Medutim, iako treba biti oprezan u odnosu na ovo pitanje,
-
na srecu posto.le rod brojnih inZenjerskih problema globalni
)balni optimum sese moZe odrediti na
nedvosmislen nadin.

f"t r'\
fil*b*l L*cai
msxrrnum rnftxl lT) u {}

Glsbal
rnrntmum Lsc*l
iYllnrmum

Sl 3.1. - Funkcija jedne promjenljive sa optimalnim tackama

Jednodimenzionalne metode mogu se podijeliti na metode koje uporeduju vrijednosti

funkcije i na taj nadin ocijenjuju interval u kome se nalazi optimalno rje5ery'e i na druge
metode koje koriste izvode funkcije i kod kojih se optimalno rje5enje traLi rje5evanjem
jednadine ,f (r)= 0.

Da bi odredili efikasnost numeridkih metoda kod nelineaffIog programiranja poZeljno

je za svaku metodu znati stepen konvergencije. Sto.le stepen konvergencije ve6i to je metoda
efikasnija (brLa). Pretpostavimo za funkciju koja zavisi od n promjenljivih neka metoda
dajenizvektora ,r koli teLekaoptimalnom rje5enju x.,

t3
 t,
ll'll=1/I'i

Ovo je Euklidova norma (duZina) vektora r. Ako postoji broj p i neko u I 0 tako da je

llilxr+t * llil
-x ll=a
limll
k+x ll t
ll' -'ll*llP

tada 6emo p zvati stepenom konvergencije niza **, dok.lellrt -r.ll greska k-te aproksimacije.
Ako je p :1 tada je stepen konvergencije linearan, a ako je p > 1 stepen konvergenctje je
superlinearan. Specij alno za p : 2 stepen konvergencije je kvadratni. Za neke metode i klase
funkcija stepen konvergencije bi6e uvijek linearan, za druge superlinearan.

3.1. Metode uporedivanja vrijednosti funkcije

Kod ovih metoda uporedenjem vrijednosti funkcije ocjenjuje se interval u kome se

nalazi optimalno rjesenje. Sto se vi5e vrijednosti uporedi informacija o optimalnom rjesenju
bi6e bolja i interval 6e biti manji. Kod ovih metoda duZina intervala zavisi samo od broja
uporedivanj a) a ne od same funkcije. Ove metode su tipidno jednodimenzione i ne mogu se
proSiriti sa vi5e promjenljivih. Kod ovih metodavaLnoje samo da funkcija bude unimodalna.
Najbolja metoda ovog tipa je Fiboccijeva. Kao pojednostavljenje Fibonccijeve metode
dobijamo Metodu zlatnog presjeka. Ovo su spore, ali pouzdane metode za lociranje tadke
optimalnog rjeSenja.

Za derivabilne funkcije optimalno rje5enje se traZi veoma efikasno rjeSavanjem

jednadine ,f (r)=0. Metoda se odlikuje brzom konvergencijom. Za povoljno "gIatke"
funkcije (funkcije sa nekoliko neprekidnih izvoda) koristi se Njutnova ruetoda.
Pojedostavljena Njutnova metoda je metoda sjedice. Veoma popularne metode su metode
aproksimacije polinomom kao Sto su metoda parabole r kubna ruetoda.

3.2. Metod zlatnogreza

Kada traLimo rje5enje nellinearne jednadine, tada tralimo vrijednost promjenljive x
tako da jef(x):0. Rje5avanjem optimizacionih problema ima za cilj nalaLenje promjenljive x
u kojoj funkcija f(x) ima maksimum ili minimum.

Metod zlatnog presjeka je jednodimenziona metoda kojom se optimalno rje5enje

funkcije dobija uporeduju6i vrijednosti funkcije u pojedinim tadkama. Interesnatno Svojstvo
ove metode je da drfiina konadnog intervala u kome se nalazi xopt. ne zavisi od izobra

L4
funkcije .f. Za bilo koju unimodalnu funkciju /, poslije n uporedivanja vrijednosti funkcije,
dobijamo istu ocjenu za duZinu intervala koji sadrZi optimalnu tadku (roo,). Dobijanje tadke
x,r,. metodom zlatnog presjeka u biti je slidno sa metodama odredivanja nule funkciie f(x)
koje se baziralu na polovljenju intervala u kome se nalazi r.ieSenje jednadine .

Naime, nade se donja (x) i gornja k") tadka nekog intervala promjenljive ir u
kome se nalazi rjesenje xp i nade polovljenjem intervala srednja tadka

*"
.r-
"2- "
Tada se izraduna vrijednost funkcije u tim tadkama nade promj ena znaka funkcije. Na
osnovu toga se zakljuduje u kojem se intervalu od dva nova (x7, x,) ili (x", xg) nalazi traZeno
rjesenje. Zatim se odbaci jedna od tadaka (x7 ili x, ) i traZerye nastavlja u jednom od ovih
intervala ponavljaju6i postupak polovljenja intervala i uporedivanja vrijednosti funkcije sve
dok se ne dobije zadovoljavajuie rjeienje.

Sada iemo razviti proceduru zanalaLenje optimuma za funkciju jedne promjenljive.

Zbog jednostavnosti fokusiraiemo na5u paZnju na nalaLerye maksimuma. Kao kod
polovljenja intervala pri odredivanju nule funkcije, stafiova6emo sa definisanjem intervala
koji sadrZi rje5enje, odnosno maksimum funkcije. Zadrlacemo oznake intervala xa i x, kao
i kod polovlienja intervala u prethodnom primjeru. Medutim, razlika sa navedenim
primjerom polovljenja intervala je u tome Sto sada razvijamo novu strategiju nalalenja
maksimuma u okviru intervala, kao na Sl 3.2. Koristiiemo vrijednosti funkcije u tri tadke i
uvodenjem detvte tad.ke provjeravamo gdje se nalazi maksimum da li u okviru prve tri ili
zadnje tri tadke.

.fi .I! f
First J
iteiation
{ t-++ l'a+
Second ! r r

iteration -
=r:l---

Sl 3.2. -Pocetne iteracije metode zlatnogreza

Posebno vaLno je izabrati srednju ta6ku. Ona treba da zadovolji dva uslova :

l5
 lr:lr+1,
l, :1,
lo ll
Iz ovih jednadina dobija se

It t2

tllrll t t2 tl

-=-
I
Ako uvedemo oznaku R =z kao odnos ovih duZina dobiiemo :

ll

1+R=1
R
t lt
R2 +R-1:0
Rjesenje ovejednacine

,r:
R: -r+Jr-+(-r)
2
--l+v5
2
-0.6r803...

Ova vrijednost je bila poznata prije antidke grdke i naziva se zlatni presjek ili zlatni
rez. Ovo je kljudni element kod metode zlatnog presjeka na kome se metod konceptualno
zasniva i omoguiava da se optimalna vrijednost nalazi efikasno. Kao sto jeprrkazano na Sl
3.3, u metodi se starluje sa dvije podetne vrijednosti x,1 | xr koje okruZuju lokalnu ekstemnu
vrij ednost funkcrje f(x) .

r6
 .!r x) -tl lu I -::

il
Oid rr Old,rj
(I)

Sl 3.3 Metod zlatnogreza

Zatrm, biraju se dvije unutrasnje tacke x, i x, u skladu sa zlatnim presjekom:

d:R(xs-.ra,)
-r, : 'trid
--
,\. ---
-1" -l Ll

PoSto se nadu vrijednosti funkcije u ovim tadkama mogu nastupiti sljede6i sludajevi :

- ako je "f(r) > "f(x) , tada intervai lijevo od x2 n4e biran jer ne sadrZi maksimum
funkcije i treba ga eliminisati
- ako jef(*) > f(x) , tada desno od tadke.;r7 ne6e biti maksimum funkcije i taj interval
treba eliminisati.

Na ovaj nadin se veoma efikasno dolazido rje5enja i interval koji sadrZi maksimum se
rapidno smanjuje. Metoda zlatnog presjeka je pouzdana. Njen nedostatak je Sto je prilidno
spora i njen stepen konvergencije je u najboljem sludaju linearan.

U mnogim kulturama, odredenim brojevima su pripisivana neka svojstva. Tako na

primjer naZapadu su bili bliski sa "sre6nim7" ili "petak 13". Antidki Grci su, navedeni
broj R, zvali zlatni presjek

n: 6-l:0.6r803...
2

Ovaj broj je bio kori5den za nntoSa svrhe ukljuduju6i i projektovanje gradevina, kao sto je
prikazano na Sl 3.4.

17
 Sl 3.4. - Partenon u Atini projektovan u skiadu sa,,zlatnim" pravougaonikom

Ovaj broj je val.an i kod mza tzv. "Fibonacijevi brojevi". Kod ovog niza je svaki
clan zbir prethodna dva, a kolidnik susjednih brojeva teLi zlatnom odnosu 0,618. Clanovi
ntzaredlaju se na sljedeci nacin:

0, 1, 1 ,2,3,5, 8, 13, 21,34,55, 89,....

U grupu metoda uporedivanja vrijednosti funkcije valnu ulogu ima i Fibonacijeva

metoda koja u poredenju sa metodorn zlatnog presjeka je bolja, jer daje manji interval kao
rjeienje optimizacije. Medutim, nedostatak ove metode sastoji se u tome Sto treba prvo
odrediti broj iteracija n koji garantuje da optimalna tadka xleLi unutar Zeljenog intervala, pa
tek onda traL,e tadke unutar intervala. Zna(,i, da za primjenu ove metode treba unaprijed znati
broj koraka.

Za razliku od metoda uporedivanja vrijednosti funkcije, postoje metode koje

zahtijevaju da funkcrja / bude derivabilna. Vrijednost funkcije/ i njenih derivacija u nekoj
aproksimaciji x* optimalnog rjeSenja koriste se za odredivanje bolje aproksimacije x1*7
Metode ovog tipa su Njutnova metoda, metoda sjedice. To su klasidne metode poznate u
nauci za odredivanje korijena jednadinef(x):0. U sludaju traLenja optimalnih rjeienja one
se koriste za izradunavanje korijena jednadine f'(r)=O tj. na izradunavanju stacionarnih
taiaka.

Metode aproksimacije polinomom dine posebnu grupu metoda za odredivanje

optimalnog rjesenja funkcije f . Polazi se od ideje da se funkcija / aproksimira s nekim
polinomom na nekom intervalu koji sadrZi optimalno rje5enje. Metode toga tipa zavise od
stepena polinoma kojim se aproksimira funkcija.

18
Primjer 3.1:

Kori ste 6 i m eto du zlatno g r eza nadi m aximum funkc ij e

.x --2

f(x)=2sinx--
10

u intervalu x1:0 i X, :4.

ReBenje:

Prvo, u metodi zlatnog reza se kreiraju dvije unutraSnje vrijednosti x, i xr.

-

17
-r
d=n"(4-O):2.472
2\/
xr:0*2.472:2.472
X2: 4 - 2.472:1.528

Vrijednosti funkcije u unutra5njim tadkame x1 i x2 su:

J 6,) : J (1.528)=' 1!'

'10 -2sin(l,5zB7 : 1.765

f (r) = f (2.472) = 0.63

Sobzirom da je f(x2)> f(^,) maximum je u intervalu definisanom so Xy, X2 i x1.Tako, za novi
interval brojeva granica je xy:O a x1 postaje gornja granica, dakle x,:2.472. Tada ranije x2
postaje flovo x1 i x1:1.528. Sada ne6emo ponovo radunati f(x1) jer je ta vrijednost ve6 nadena
u prethodnoj iteraciji f(1.528):1.765.

Ono Sto ostaje da se izraduna je novoj iteraciji jeste vrijednost d i x2.

d
.=-;.(2.472_
..6 -t,^ .-^ ^\
0)= 1.529

xz: 4 - t.SZg:0.944

Vrijednost funkcije u x2 je f(0.944):1.531. Ova vrijednost je manja od vrijednosti

funkcije u tadki x1 i maximum se nalazi negdje izmedu tadaka X2, X1 i xu.
Ponavljaju6i proceduru, dobije se tabela sa vrijednostima:

t9
I f(xr) X2 f(xr) X1 f(xr) f(x")

1 0 0 1.5279' 1.7674'2.4721 0.6300 4.000 -3.1136 2.472t

2 0 0 0.9443 1.53 10 1,.5279 1.7674 2.4721 0.6300 1.5279
J 0.9443 1.5310 1.52:19 t.7,67 4 1.8885 1.5423 2.4721 0.6300 0.9443
4 0.9443 1.5310 1.30s0 t.7595 1.5279 1.7674 1.8885 r.5432 0.s836
5 1.3050 t.7s95 ,1.5279 ,t.7674 1.6656 1.7 t36 1.8885 t.5432 0.3607
6 1.3050 r.7 s9s ',ri.4i,qil, 1.7755'1.5279 1.7647 t.6656 1.7t36 0.2229
7 1.3050 t.7595 1.3910 t.7742 L4427 1.775s 1.5279 1.7647 0.1378
8 1.30s0 t.77 42 tq+il 1.77 55 1.47 52 1,.7732 1.5279 1.7 647 0.0851

Osjendene vrijednosti predstavljaju maximume za svaku iteraciju. Poslije osme

iteracije maximum se javlja u tadki x: 1.4427 sa vrijedno5iu funkcije u njoj 1.1155. Tako
rezultat konvergira vrijednosti 1.1757 u tadki x:1.4276.

3.3. Njutnova metoda

Ideja Njutnove metode je jednostavna i sastoji se u tome da se vrijednost funkcije/ u

obliku x6 moi,e aproksimirati sa prva tri dlana Tajlorovog reda kao :

,f (r) = q (r) : -f G o) +.f '(r, X, - ro ) + t A rI, - ro )'

"
\
gdje je .16 podetna aproksimacija stacionarne tadke r-l
a.rrO. ljaq(x)je parabola, a njena
ekstremna tadka x 1 , uzimd se za novu aproksimaciju tadke ,*, kao sto je prikayano na S1 3.5.

Sl 3.5. IdejaNjutnove metode

Vrijednost .r-1 , s obzirom da je tadka minimuma parabole q(x) nalazi se iz uslova

q'(r)= o, pa je

20
 q' (r) = J' (*) * .f " (4o\*,- ro ) : 0

f'(ro\
.["Go)

Ponavljaju6i postupak dobija se rekurzivna formula :

,(*,,)
r/'-r =
'--?Gi .f (*)

zaradunanje stacionarne tadke funkcije f koja se zove " Njutnova metoda ". Njutnova
metoda je, za dovoljno " glatke " funkcije, veoma efikasna i stepen konvergencije je
kvadratni za dobro pogodene podetne aproksimacije :16 .-_f-- - J

Primjer 3.2:

Koriste6i Njutnovu metodu na6i maximum funkcije

x'
/(x\= 2stn,r--
t0
sa pocetnom vrijedno5iu x6 :2.5.

Resenje: Prvi i drugi rzvodfunkcije mogu se prikazati kao:

'lx) =2 cos x -{
'f )
2

'f"(x): -2sin'-;
moZe biti zamijenjen u Eq i daje:

I = xiI -':q?.
xi*r
-./,2
-2sinx,-ll5
Zamjena podetnih vrijednosti priraStaja je:

2cos2.5-2.515 ^- ^

a vrijednost funkcije u njoj je 1.57859. Druga iteracija daje:

xr = 0.995 -2coso'995
-0'995 I 5
=1.46901
2sin0.995-ll5

a vrijednost funkcije
t- u-' njoj
-J-JJ-
je 1.77385

Proces se ponavlja , a rezultati su prikazani u tabeli:

2t
ix f(*) f'(x) f"(x)
0 2.s 0.57194 -2.t0229 -t.39694
1 0.99508 1.s7859 0.88985 -r.877 61
2 1.46901 t -11385 -0.090s8 -2.1896s
3 1.42764 t.77s73 -0.00020 -2.11954
4 1.427 55 l.7l573 0.00000 -2.17952

Tako poslije detiri iteracije rczultat konvergira brzo na tadnu vrijednost.

3. 4. Metoda sjedice

Kao Sto se vidi u relaciji (*) Njutnova metoda se zasniva na nalai,eryu prvog i
drugog izvoda u svakoj aproksimaciji xp . Ukoliko se drugi izvod funkcije f zamijeni sa
konadnim razllkama

f"(*o)- f'Go)- f'6r-')

4r- At- j

tada Njutnova metoda dobija oblik

f'(rrYt*r-ro ,)
rr_r - ^o -
f (r)_ f,(n )
i radunanje stacionarne tadke funkcije/ na ovaj nadin naziva se metoda sjedice. Tacke x6 i x1
su proizvoljne. Prednost metode sjedice u odnosu na Njutnovu metodo je u tome Sto se ne
izra(unava drugi izvod funkcije. Medutim, metoda sjedice je sporija od Njutnove metode, a
brLa od metode uporedivanja vrijednosti funkcija. Koeficijent konvergencije metode sjedice
je superlinearat.

3.5 Metode aproksimacije polinomom

Ideja ove metode bazirase na dinjenici da se funkcija f , cijase optimalna tadka x* traLi,
dobro aproksimira polinomom na intervalu koji sadrZi tadku ,*. Kao Sto se kroz dvije tadke
moZe provu6i samo jedna prav1 tako se ikroz tri tadke moZe provudi samo jedna parabola.
Zaneke uodene tri tadke X6, X1, X2 kao na S1.3.6., u intervalu koji sadrZi minimum funkcije
treba na6i vrijednosti funkcija unjimaf(xil, "f(r,) i"f(r)

22
 ln tacka nalazi iz
b · a se vrijednost

( *)

qyol n� tu tri. Dalj: se,

j e1 d . J e J edna od tacaka
z\do oljavajuca tacnost
na S .3.7.

Sl.3.7. Kvadratna interpolacija za funkciju koja ima maksimum

Ako se aproksimacija vrsi sa polinomom treceg reda tada imamo Kubnu metodu. U metodi
parabole, za razliku od Njutnove metode ne koristimo izvode funkcije f, pa se ona moze
koristiti za iznalazenje optimalnih tacaka nederivabilnih funkcija. Stepen konvergencije obje
metode (Metode parabole i Kubne metode)je superlinearan.
23
Primjer 3.3:

Koristeci kvadratnu interpolaciju naci maximum funkcije:

= x2
f(x) 2sinx--
10
sa pocetnim vrijednostima x0 = 0, x 1 = 1 i x2 = 4.

Resenje: Vrijednost funkcije u tri proizvoljne tacke je:

Xo = 0 f(xo) = 0
X1 = 1 f(x 1) = 1.5829
X2 = 4 f(x2) = -3.1136

i koristeci jednacinu (**) dobija se:

= O(I 2 -42 )+1.5829(42 -0 2 )+(-3.. 1136)(0 2 -I 2 ) =

X3 1.5055
2(0 )(1-4)+2(1.5829)(4-0 )+2(-3.1136)(0 -1)

a vrijednost funkcije u tacki x3 je f (1.5055) = 1.7691.

Strategija metode je slicna metodi zlatnog reza u dijelu da treba naci novu tacku u
procesu priblizavanja optimalnoj vrijednosti, a odbaciti jednu od nacrtanih tacaka u svakoj
iteraciji.

Kako je vrijednost funkcije u novoj tacki veca od vrijednosti funkcije u tacki x 1 to se

za donju granicu bira tacka x 1 , a x0 se odbacuje. Zato u sljedecoj iteraciji uzimamo
vrijednosti:

Xo = 1 f(x0) = 1.5829
X1 = 1.5055 f(x 1) = 1.7691
X2 = 4 f(x2) = -3.1136

i koristeci jednacinu (**) dobija se x 3 .

= 1.5829(1.5055 2 -42 ) +1.7691(4 -1 ) + (-3.. 1136)(1 -1.5055 ) = 1.4903

2 2 2 2
X3
· 2(1.5829)(1.5055 -4)+2(1.7691)(4-1)+2(-3.1136)(1-1.5055)
.
a vrijednost funkcije u njoj f (1.4903) = 1.7714.

Proces se ponavlja, a rezultati su prikazani u tabeli:

24
 Xn Xi
f(xn) f(xr) x2 f(xz) X3 f(x:)
1 0.0000 0.0000 1.0000 t.s829 4.000 ,.rrru 1.sOss r.769t

2 1.0000 t.s829 1.s055 1.7691 4.000 ;:.1 1 36

1.4903 1.7714

3 1.0000 t.5829 t.4903 t.7tt4 1.505s l.l69t r.4256 r.1751

4 1.0000 1.5829 r.4256 t.7757 t.4903 1.77t4 r.4266 1.7757
5 t.4256 1.7751 1.4266 1.17s7 1.4903 r.7t14 t.4275 1.7757

Tako poslije pet iteracrja rezultati konvergiraju vrijednosti funkcij e 1.7757 u tadki
x: 1.4276.

4. VISEDIMENZIO NALNA NE O GRANICENA OPTIMI ZACTJ A BEZ

IZRACUNAVANJA DERIVAC IJA

U ovom dijelu se analiziraju metode za nalai.enje optimalnih rje5enja funkcija vi5e

promjenjivih. Kod jednodimenzionalnih problema imaginacija je kretanje u jednom pravcu,
kod dvodimenzionalnih sludajeva to su npr. planine i uvale (S1 4.1), a kod
vi5edimenzionalnih nije mogu6a odgovaraju6a imaginacija.

Liies of co,lstani,/

51 4.1. Funkcija vise prornjenljivih i njihove linije konstantnih vrijednosti

25
 Ogranicicemo razmatranje na slucajeve sa dvije promjenljive zato sto se cesto
pokazuje da se ovo razmatranje najbolje prati vizuelno.

Metode kod visedimenzionalne neogranicene optimizacije mogu se klasifikovati na

vise nacina. U ovom slucaju podjelu cemo izvrsiti u zavisnosti od toga da li se u metodama
traze izvodi funkcije ili ne.

Prvu klasu cine negradijentne ili direktne metode kod kojih ne treba fraziti parcijalne
izvode funkcije cilja po parametrima i gradijentne metode za ciju promjenu je potrebno da je
funkcija derivabilna. Strategija trazenja mirtimuma treba da je takva da se sa sto manjim
brojem izracunavanja ciljne funkcije odredi polozaj tacke u n-dimenzionalnom prostoru za
koji ciljna funkcija poprima najmanju vrijednost.

Druga klasa metoda primjenjiva je samo na diferencijabilne funkcije (dok je prva

klasa primjenjiva i u nediferencijabilnom slucaju). Metode bezuslovne optimizacije bez
izracunavanja izvoda primjenjuju se i u slucajevima kada je funkcija �iferencijabilna, ali je
izracunavanje izvoda komplikovano, ili nemoguce (ukoliko se radi o rezultatiina mjerenja, tj.
analiticki izraz nije poznat). Metode bezuslovne optimizacije su po pravilu iterativnog tipa.
Njima se nalazi niz tacaka {xk} E Rn koriscenjem relacije:

k = 0,1,2,...

Sljedeca vrijednost x k+J u nizu {xk}dobija se sabiranjem prethodne vrijednosti sa

proizvodom akl, gdje je lE Rn vektor koji odreduje pravac kretanja iz tacke x\ a ak > 0 broj
koji odreduje duzinu koraka u pravcu l.

Sl 4.2 Genfrisanje niza {xk }

Potrebno je da niz pravaca kretanja { s k } i niz koraka {ak } obezbijedi da niz

vrijednosti funkcije {f(xn)} monotono opada i konvergira vrijednosti u nekom od lokalnih
minimuma problema.
Od direktnih metoda ili metoda bezuslovne optimizacije bez izracunavanja derijacija
opisacemo tri metode: trazenje minimuma po koordinatnim osama, postupak po ijook-u i
Jeeves-u i Powell-ovu metodu.

26
4.1. MetodatraL.enja po koordinatnim osama

Minimum po ovoj metodi, traZi uzastopno po koordinatnim osama jednim od

postupaka za traLenje po pravcu. Za dvodimenzionalan problem geometrijska ilustracrja je
prrkazana na S14.3.

Sl 4.3. Trazenje minimuma po koordinatnim osama

Jedna iteracija u dijagramu toka kod ove metode sastoji se od traLenja po svim
koordinatnim smjerovima. Postupak se zaustavlja ako je zadovoljen kriterijum kojim se
zahttjeva da apsolutna vrijednost promjene parametara u dvije uzastopne iteracije bude manja
od unaprijed zadatog malog broja e, tako da bude:

]r*-' -rnl. r. gdje je k broj iteracije

Ovaj postupak je veoma jednostavan ali neefikasan jer ne uzima u obzir nikakvo
saznanje, o funkciji ciljaiz prethodne iteracije. Osnovni nedostatak metode je da je kretanje
prema minimumu vrlo sporo, tj. u malim koracima, ako postoji "uska dolina" u smjeru koji se
ne poklapa sa jednim od koordinatnih smjerova Sto se moZe vidjeti i na slici 4.3.

4.2. Hooke - Jeeves-ov metod

Ova metoda je znatno poboljSanje prethodnog postupka, narodito u traleryu

minimuma uzdui. uske doline. Osnovna ideja metode jeste na6i pravac uzduL takve doline.
Polazi se od tadke xe i prave se probni koraci duZine &1 u pravcima koordinatnih osa i kreie
se tamo gdje ima pobolj5anja, a ako to nije mogu6e korak se polovi.

Svaka iteracija se sastoji od dva dijela: istraZivanja i kretanja u odabranom-smjeru.

PoboljSanjem se smatra tadka u kojoj je vrijednost funkcije manja od vrijednosti funkcije u

27
 , ..
prethodnoj bazicnoj tacki. Kada se dobije nova bazicna tacka x 1 , tada se kroz te dvije bazicne
tacke dobija pravac po kojem treba ici za duzinu koja je jednaka udaljenosti tih dviju tacaka,
kao na slici 4.4.

Sl 4.4. Postupak po Hook-u i Jeeves-u

Tako dolazimo do nove bazicne tacke x2. Znaci, radi se o iterativnom postupku u
kome niz bazicnih tacaka x0, x 1, x2 . . . tezi prema nekom lokalnom minimutnu x* funkcije f.
U svakoj bazicnoj tacki pretrazuju se koordinatne ose poslije cega nalazimo novu bazicnu
tacku xk+l· Tada se pravi skok u pravcu odredenom posljednjim dvijema bazicnim tackama i
dobija se nova bazicna tacka iz koje se vrsi ispitivanje.

Ako nove vrijednosti funkcija ne zadovoljavaju kriterijum o minimumu tada se korak

smanjuje. Ako ni tada ne dobijemo funkciju manju od vrijednosti funkcije u bazicnoj tacki
onda se radi o aproksimaciji lokalnog minimuma.

t .,

x,

Sl 4.5. Ilustracija Hooke-Jeevesove metode

28
 Na slici Sl 4.5. je data ilustracija Hook-Jeeres-ove metode primijenjena na funkciju
dvije promjenjive. Punom linijom je prikazan uspjesan korak, a isprekidanom neuspje5an
korak. Tadkastom linijom predstavljeni su uspje5ni skokovi u pravcu odredenom bazidnim
tadkama.

Metoda Hooke-Jeeves-a je jednostavna i pouzdana i lako se programira na radunaru.

Medutim njen nedostatak je Sto sporo konvergira optimalnom rjeienju.

MoZe se re6i da su navedene metode direktnog traLeryaminimuma su spore. Zadatak

je na6i efikasnije prllaze optimalnom rje5enju bez tralerya parcijalnih izvoda funkcije'
Osnovna ideja ovakvih metoda bila bi varirati jednu promjenjivu, dok su druge konstantne.
Time bi se problem sveo na traZenje minimuma koriste6i Metode jednodimenzionalne
optimizacije.

Grafidki prikazza funkciju dvije promjenjive dat je na Sl 4.6. Kao Sto se sa slike vidi
polazi se od tadke l,traLi minimum u pravcu promjenjive x, dok je ordinatay konstantna i
tako se dolazi do tadke 2. Zatim se uzima x konstantno, a nekom od jednodimenzionalnih
metoda nalazi se minimum u pravcu y i dobija se tadka 3. Postupak se nastavlja i redaju se
tadke 4, 5, 6 i td cime se tako se ide ka optimalnom rje5enju.

Sl 4.6. Pravci koji vode ka oplimumu

Medutim, mnogo je efikasnije uoditi pravce odredene tadkama l-3 i 2'4. U njihovom
presjeku se nalazi ta(ka minimuma veoma efikasno. Najbolji algoritam sa ovakvom
osnovnom idejom nalaLenjaminimuma dao je Powell.

Primjer 4.1. Metodom Hookea i Jeevesa odrediiemo lokalni minimum funkcije

f(x)= f (x,x,xr)=r,o +ri-xr * ri-*l+x2+4 -*+x{2x3

Neka je polazna bazi(na tacka. recimo

29
i duzina koraka o = 0, 1. Korak duz pozitivnog dijela prve koordinatne ose vodi do tacke

Buduci da je f(x1 +d1°) = 0,1 4 +0,1 3 0,1 =-0,0989-< f(x1) = 0 , prvi korak je uspjesan i
-
stavljamo

Sada iz tacke t; pretrazujemo drugu koordinatnu osu: Korak duz pozitivnog dijela
druge koordinatne ose vodi do

u;
Buduci da je f +di) =-0,0089 >- f(t;)=-0,0989 , ovaj korak vodi na brdo i zato je
neuspjesan. Za korak duz negativnog dijela druge koordinatne ose:

I 0,1 I I o I I o, 1 I
t 1
d2 = I O I I O 1 II I O 1 I
o
1 - I 1-1 ' = I - ' I
L JLOJ L OJ
O

nalazimo da je f(t;-di)= �0,2088-< f(t;), ovaj korak vodi u dolinu i zato je uspjesan;
stavljamo
o
t2 = tI -d2
1 1

i iz ove tacke pretrazujemo trecu koordinatnu osu. Korak u pozitivnom smjeru te ose daje
tacku

30
 | 0 I I 0 I I 0,1
/,*ai=l -o,r l*l o l=l -o,r
Rezultati ovih proraduna dati su u tabeli.

Tabela

DuZina
Komponente bazidne tadke x!
koraka

0 0 0 0 0,1
1 0,1 -0,1 0,1 0,1
2 0,3 -0,2 0,2 0,1
J 0,4 -0,3 o1
vrr 0,1
4 0,5 -0,5 0,4 0,1
5 0,5 -0,6 o5
v)J 0,1
6 05
" )" -0,8 0,6 0,1
- 0,5 -0,9 0,J 0,1
8 0,6 -0,9 0,8 0,1
9 055 -0,95 0,75 0,05
10 0,515 -0,950 0,775 0,025
11 0,5750 -0,937 6 0,1150 0,0125
t2 0,56875 -0,93760 0,76875 0,00625
13 0,51l8l5 -0,940625 0,768750 0,003 125
l4 0,570312 -0,939062 0,167181 0,001 5 625
15 0,510703 -0,939062 0,161r81 0,00039063
16 0,510703 -0,939257 0,767187 0,00019531
t7 -0.9392s7 0.767181

Bazidnatadka x'l daje aproksimaciju lokalnog minimuma

x, =0,570703 i=-0,939257 rl =0,767187

Eventualno poboijSanje moZe se postidi sa manjom duZinom koraka 6 < 10-8

4.3. Powell-ov metod

Powell-ova metoda sastoji se u efikasnom trahenjv tadke minimuma preko

konjugovanih pravaca. Metoda je bazirana na dinjenici da se spajanjem tadaka 7 i 2, (Sl
4.7.), koje su dobijene kao minimumi na pravcima iz razlilitih startnih poiicqa, dobija
pravac koji vodi ka minimumu.

32
 S1.4.7. Konjugovani pravci

Taj pravac se naziva konjugovani pravac. Ovu metodu je najbolje objasniti preko
kvadratne funkcije f(x,y). Svako sljede6e traZenje minimuma na pravcu se dobrja u
konadnom broju koraka bez obzira na stafinu tadku. Primjena upro56ene verzije Powell-ove
metode za nalai.enje minimuma funkcije:

f(x,y)=c-(x_ a)'-(y-b)', gdje su a, b , c - konstante

prlkazanaje na S14.8.

Izaberimo podetnu tadku O i pravce hl i h2 koji nemoraju biti konjugovani.Iz tadke O

idemo pravcem h1 do minimuma na tom pravcu 1, kao na Sl 4.8. Iz tadke I traZenjem
minimuma na pravcu h2dolazimo do tadke 2.

S1.4.8. Powell-ov metod

Spajanjem tadaka O i 2 dolazimo do pravca h3 i minimuma na njemu tadke 3. Pravac

h3 je po Powell-u konjugovani pravac, jer se dobija spajanjem tadaka minimuma na dva
paralelna pravca. Iz ta(ke 3 traZenjem minimuma na pravcu h2 dolazi se do tadke 4. Iz ta(ke
4 se traLi minimum na konjugovanom pravcu h3 i dolazi se do taike 5. Spajanjem taddka 3 i 5
dobija se konjugovani pravac ha koji nas vodi direktno ka minimumu.
aa
JJ
 Powell-ova metoda je veoma efikasna i ima kvadratnu konvergenciju. Koris ti se za
nalaZenj e optimalnih rj e5enj a kod nederivabilnih funkcij a.

Na Sl 4.9. prikazani su konjugovani smjerovi v, i v, za kvadratnu funkciju dviju

promjenljivih. Smjer v, je dobijen spajanjem minimuma na dva paralelna pravca smjera v, .

Sl 4.9. Konjugovani smjerovi kvadratne funkcije

Kao primjer zanalai,enje minimuma u konjugovanim smjerovima, po metodi Powell-a

neka posluZi funkcija:

.f (*r, *r) = (x, - 4)2 + (x, -2)z

Krive jednakih vrijednosti funkcije prrkazane su na Sl 4.10. Minimum funkcije se

nalazi u tacki r-i, : @,2).

sl 4.10. Primjer odredjivanja minimuma funkcije f (x,, xr) = (x, - 4)' + (*, - 2)'

34
 Uzmimo dvije tadke kao startne xf i xi i to na paralelnim pravcima v, koji zaklapaju
ugao 450 sa x-osom. TraZenjem minimuma na paralelnim pravcima dobijaju se tadke x] i xj.
Njihovim spajanjem dobrja se po Powell-u konjugovani pravac v, koji prolazi kroz tadku
minimuma (4,2).

Powell-ovom metodom mogu se odredjivati i minimumi funkcija koje nisu kvadratne,

uz pretpostavku da se u posmatranom podrucju funkcija ponasa priblizno kvadratnoj. Kao
primjer moze posluziti ilustracija na Sl 4.11. Za pocetak je najlakse izabratr smjerove
koordinatnih osa e, i e, koji nijesu konjugovani. Kao sto se vidi sa slike, iz pocetne tacke xo
trazisenajprijeminimumupravcu eridolazisedotacke x,azatimusmjeru e, dotacke
x, i ponovosmjerom e, do tacke rr. Sadaseodbacujepravac e,.Kroztacke x, i x, prolazi
konjugovani pravac v, itrazi se minimum na njemu a to je tackax,,.

Sl 4.1 1 Postupak po Powellu

Dalje, minimum na pravcu e, je tacka x,r. Iz tacke x,, konjugovanim pravcem vl

dolazi se do minimuma na tom pravcu, tacke x,r. Spajanjem tacaka x,, i x,, dobija se drugi
konjugovani pravac vr. Sada se odbacuje pravac e, i konjugovanim pravcima v, i v, dolazi
do minimuma. Ukoliko se desi da ovi smjerovi postanu medjusobno zavisni, treba opet uvesti
koordinatne pravce.

Primjer 4.2 Powell-ovom metodom naci minimum funkcije

f (r,, x,xr): xl + r,'-x, + *l - x', +x, + *tr - xr:* xrx, x,

ir.l
Neka je tacka ,'=l-,1 pocetna aproksimacija. Ako se zapolazne smjerove koriste
L'l
35
 Irl l-ol Iol
jedinicni vektori u' =lol )e 2
:l,l )e" =lol, tada
1
se posiije trece iteracije dobijaju
Lol L,l L,l

sljedeci rezultati:

I o.szq I
,,=l-o.rrrl.
Iozor.]

S obzirom da funkcija f nije kvadratna strogo konveksna funkcija, ne mozemo

ocekivati da vrijednosti iz trece iteracije predstavljaju minimum funkcije. U poredjenju sa
gradijentnim metodama moze se zakljuciti da su rezultati tacni samo do prvog decimalnog
mjesta. Zato se vrijednosti x, uzimaju za novu pocetnu aproksimaciju i postupak se ponavlja
sa jedinicnim vektorima kao polaznim smjerovima.

Problem koji moZe da se javi kod Powell-ove metode, gledano disto sa numeridkog
stanovi5ta, sastoji se u tome da skup vektora postaje linearno zavisan. Tada se ovim
postupkom ne dobijaju optimalna rjesenja. Ovaj nedostatak je uodio i sam Powell i sugerisao
da se posle doredenog broja iteracija nastavi sa koordinatnim osama kao pravcima
konvergencije. Medutim, korekcijom ovog nedostatka gubi se svojstvo kvadratnog
zavr5avanjapa metoda gubi na efikasnosti. Ovim problemom bavio se i Zangwill i dosao do
metode koja je superornija od Powell-ove. Medjutim, Powell-ova metoda je i dalje davala
bolje rezultate od Zangwrll-ove metode. Ono cime se najbolje moglo doskociti pojavi
linearno zavisnih smjerova jeste ponovno uvodjenje koordinatnih smjerova umjesto
izracunatih konjugovanih pravaca.
I pored svojih nedostataka Powell-ova metoda uz inteligentno koriscenje ostaje kao
najbolja u grupi metoda bez rzracunavanja derivacija. No, uprkos svojim nedostacima, nema
dvrste evidencije da postoji metoda bez izradunavanja derivacija, koja je bolja od
konj ugovane Poweli-ove metode.
IstraZivanja sa Hook-Jeeves-ovom i Powell-ovom metodom pokazala su da ove
metode treba koristiti uglavnom, u sludaju nederivabilnih funkcija ili kada se derivacija ne
moLe lako izradunati. U sludaju derivabilnih funkcija postoje efikasnije i brLe metode, koje
ce biti obradjene u daljem drjelu teksta .

36
 5. VISEDIMEI{ZIONALNA NEOGRANICENA OPTIMIZACIJA
ZA DERIVABILNE FUNKCIJE

5.1. Gradijentne metode

Gradijentne metode se mogu primijeniti samo za derivabilne funkcije. Ovdje 6emo

posmatrati metode bezuslovne optimizacrje za derivabilne funkcije sa viSe promjenljivih.

Da bi uop5te govorili o gradijentnim metodama potrebno je prethodno opisati neke

matematidke pojmove kao Sto su derivacija funkcije, gradijent, Jakobijeva i Hesse-ova
matrica.

Derivacija funkcije u nelinearnom programiranju je vaznaiz viSe razloga. Derivacije

opisuju pona5anje funkcija i na taj nadin klasifikuju funkcije na linearne, konveksne,
konkavne itd. One slule za formulisanje uslova optimalnostr, tj. za provjeravanje da li je
neko dopustivo rjeienje optimalno ili ne. Ako dopustivo rje5enje nije optimalno, derivacije se
koriste za formulisanje numeridkih metoda koje sluZe zanalaLenje boljih dopustivih rje5enja.

Oznadimo sa f: R' -- R' vektorsku funkciju definisanu na Rn (Euklidov prostor n-

koordinatni) sa vrijednostima u R'", tj

I f'(r)
l,
f'Gl
J tx) =
i

t^-..1
t/
'(xt_1

Derivacija funkcije f u proizvoljnoj tadki X je matrica sa m vrsta i n kolona:

I Af161
^
dJ
-l
'lx)
.
af'@)
la
l, af, (r) ^-),
a\
aJ'\x)
,
0*,
af'@)
vf(x)=i u. a\ A*,
I

0f'(x)
I

I Af" (x) af" (x)

t^ 0x,
I

L 0x, o*, -]

5t
 Ovako dobijena matrica naziva se Jakobijeva matrica. Ona predstavlja prvu derivaciju
funkcije.

Ako imamo skalarnu funkciju f zavisnu od n promjenjivih, njena derivacija u tadki X

je prva vrsta Jakobijeve matrice:

(x)
'r\"''-t I )f(x) af (")
-' a.f I

V/(r) ) 'Axl n-)

L dr, OX,

Ova matrica vrsta naziva se gradijent.

Neka je data funkcija dvrje promjenljive f(*,y) i tacka A(a,b) na njoj 51 5.1. Ako
zelimo da znamo nagib povrsi u toj tacki definisemo prayac h koji sa x-osom gradi ugao 0.
Vrijednosti duz nove ose h formiraju novu funkciju g(h). Ako poziciju tacke A uzmemo za h
: 0, tada se nagib u toj tacki dobija kao prui izvod funkcije g u toj tacki:g (0). Ovaj nagib,
koji se naziva pravac rzvoda, moze se izracunati preko parcijalnih izvoda duz x i y ose kao

Sl 5. 1. Gradijent u tacki (a,b) je u pravcu ose h i gradi ugao @ sa x-osom

s'(0) :{ +4 sin 0
"o'0

gdje su parcijalni tzvodi izracunati zatackuX : 3, y : b.

S obzirom na postavljeni cilj, namece se pitanje koji je pravac najveceg porasta
-
vrijednosti funkcije. Odgovor je gradijent, koji se definise kao:

38
I

vJ =
af= af -
a*'* ur'
On predstavlja pravac izvoda funkcije f(",y) u tacki (a,b). Funkcija najbrze raste
pravcu gradijenta r najbrze opada u pravcu antigradijenta.

Primjer 5.1: Naci vrijednost gradijenta i nacrtati gaza funkciju

-f (',Y):'Y' u tacki (2,2)'

Resenje: Vrijednost funkcije u tacki (2,2) je f (r,y) - xy':2 Q)' :8

/ su: {: :4, {=zry=g je gradrjent

ox ,':22
Parcijalni izvodi funkcije pa
oy
vf =4-i +8t- .

Ugao koji pravac gradijenta zaklapa sa x-osom je /gS :;.

4
9 : /g-' 2 =1.707 lradl:63.40
Intenzitet vektora gradijenta vf :8.944 graficki je prrkazan na 5.2.

,l
4

0
01234r

Sl 5.2. Gradijent utackt (2,2)

Druga derivacija funkcije f u tadki x ima oblik:

l a') f
r-------------
6) a'f 6) a'f G)
i ar,' 0xr0x, 0x,,0xn

l, a'f7l a'f@) a'f@)

Y'"f (x) ='1 0xr0x, A*r.' Ax.rlx,

-
I a'f(x) a'f(r)
^, -_ -
d-.1lx)
,

-:--^
t

I Ax,Ax,
^- Ax,Ox2
lll
oxl
I n_J

39
 Druga derivacija skalarne funkcije f u tacki x je simetridna matrica n-tog reda poznata
kao Hesse-ova matrica.
Za funkclju jedne promjenljive prvi izvod je nagib tangente u nekoj tadki i ukoliko je
jednak nuli dobijamo stacionarnu tadku Sl 5.3.

Sl 5.3. Minimum funkcije jedne promjenljive

Za konveksnu funkciju dvije prornjenljive pravac gradrjenta j e prtkazanna Sl 5.4.

***s
o)

Sl 5.4. Funkcija dvije promjenljive

Da li je ta tadka max ili min funkcije zavisi od znaka drugog izvoda funkcije u toj
tadki. Zay"(x)>0 imamo minimum izay"(x)<0 imamo maksimum funkcije.

40
 r,,r a'f a'f
lHl:--r-r
( a' f \'
I..l ) 1 I ^ ^
dx'
^ Oy' \oxoy )
^ I

Mogu nastupiti sljede6i sludajevi:

Ako je lrrlrO i *>0 tada f(",y) ima lokalni minimum.

dr"

Ako je lalrO , 0 tada f(^,y) ima lokalni maksimum.

#<
Ako je lgl. O tada f(x,y) ima sedlastu tadku, zna(i nema ni maksimuma ni minimuma
kao Sto se vidi na 51.5.5 zata(ku (a,b).

Sl 5.5. Sedlasta tacka

Ako traLimo optimalno rje5enje (maksimum ili minimum) za funkciju viSe

promjenljivih potrebno je da Hesse-ova matrica bude pozitivno definitna. Za konveksne
funkcije svaki lokalni minimum je globalni minimum. Za konkavne funkcije svaki lokalni
maksimum je globalni maksimum.

Bekey ( 1 9 7 0) u grupu gradijentnih metoda uvrstio je metod najbrLeg

opadanja, Newton-Raphson, Newton i Gauss-Newton-ov metod. Pomenute
metode koriste informaciju o intenzitetu nagiba lokalne konfiguracije povr5ine,
a njihova razlika sastoji se u broju dlanova Tajlorovog reda koji se uzima
u analizu,Sto direktno utide na brzinu konvergencije.
Osnovna iterativna jednadina gradijentnih metoda data je izrazom:

F:Pi-r+a di-r

41
pri demu je d1-1 pravac vektora, a cr skalarna velidina. Kako gradijentne metode
baziraju na razvoju Taylorovog reda i ukljudivanju razliditog broja njegovih
dlanova to je jasno da osnovna razhka ovih metoda leLi u postupku za definisanje
vektora di 1 koji se moZe napisati kao

di-r :KVJ(B,T)

odnosno, razlika metoda je u definisanju matrice K Sto je prikazano u sljede6oj

tabeli.

Metod K
Najstrmijeg spusta K kl

Newton-Raphson

Newton

Gauss-Newton

Gradijentne iterativne metode grubo se mogu podijeliti na dvrje k1ase.

5.1. 1. Gradijentne metode prvog reda

U prvu klasu spadaju metode koje koriste samo prvu derivaciju funkcije
f i zovu se Metode prvog reda.
5.1.1.1 Cauchy-eva metoda najstrmijeg opadanja

42
 Najstarija Metoda prvog reda je Cauchyeva metoda 'najstrmijeg spusta koja
potide joS od 1847. godine. Ideja metode prikazana je na s1.5.6. Kao sve numericke
metode nelinearne optimizacije i Cauchy-eva metoda je iterativna.

5I.5.6 Ideja Cauchy-eve metode

Prvo se specificira neka proizvoljna aproksimacrja Fo. Zatim se u tadki Bs

odreduje gradijent Vf(00). Gradient pokazuje smjer najbrZeg porasta funkcije f u
okolini B6. Kako se traLi minimum (a ne maksimum) funkcije f, vaZniji je smjer
najbrLeg opadanja funkcije t a on je odreden negativnim gradijentom -Vf(00).
Funkcija f sada se pretraZuje' u tom smjeru, odnosno rje5ava se problem
j ednodimenzionalne optimizacij e

ry
Min f(Bs-o I vrlBo; l

gdje se potro5i dosta vremena za odredivanje duZine koraka. Sada je f(Fo-cr lVflBol lr;
funkcija samo jedne promjenljive a koju mozemo napisati kao

F(a ) : f(Fo-cr I vrf Bo) l't

Geometrijska interpretacija funkcije F(a ) je ocigledna, i u slucaju dvrje promjenljive
prikazanajena SI. 5.7.

Yazno svojstvo Metode najstrmijeg opadary'a je da su gradijentr, rzracanati u dvije

proizvoljne uzastopne aproksimacije, medjusobno ortogonalni, d.

v.[l**t )lvf (xr)]' = 0, k = 0.1,2

43
 Sl. 5.7 Konvergencija Cauchy-e

Cauchy-eva metoda ima linearni stepen konvergencije i odlikuje se dobrim

napredovanjem prema tadki minimuma F* ,, "dalekih" podetnih aproksimacija, ali
:- zato sporom konvergencijom u blizini optimalne tadke. Tipidna konvergencija
Caushy-eve metode za funkciju f sa dvije promjenljive i elipsastim presjecima
prikazana je na slici 5.7.

Primjer 5.2. Primijenimo Cauchyeur metodu na funkciju

f (x) =xi + xf -xr * *l - *i+ -x2 + *tr - x, + xtx2x.

Iteraciju iemo zapodeti iz ishodiSta i sa raiunom iemo prestati kad bude ispunjeno pravilo
zaustavljanja sa K : 0,1, tj.
oo < 0.1'oo.

U normiranju vektora uk koristiiemo CebiSevljevu duZinu. (Podsjetimo se da je iebiSevljeva

duLina, ili norma, vektora z: (zi),broj llzll : max {lzr, . . . ,lr,l}). Budu6i da je x0: (0, 0, 0)r
i v/(x0):[-1,1.-l].natazimo ori. :t
izato je
ll[of,r',]'ll

44
I

I -1
Llo =
t YfI.xo l ]' =l r
vf (x )j1
0

L-U
ilr

Funkciju f sada 6emo pretraliti u smjeru

I"-l
xo - or.ro :l-o L o>0.
L"l
Bududi daje
n n ^4 -3o
F(o): f (x"- ou";: f (o, - o. o ):2o-
Minimum ove funkcije (izradunat Metodom parabole ) je oo: 0,71308.
Zato je prv a izra(tnata aproksimacij a

| 0,71308
.r, = Jro -oouo : -0,71308
|
L 0,71308 _]

Dok je vrijednost funkcije u ishodiStu f (ro) : 0, u prvoj izradunatoj aproksimaciji

vrijednost je znatno manja f (xr) : -1,622i 3; odigledno je da se radi o velikom skoku.

Radunanje se sada nastavlja iz xI. Da bi se zadovoljilo pravilo zaustavljanja bilo je

potrebno izradunati trinaest iteracija. Rezultati tih proradunaprikazani su u tabeli.

tabela
x! x! f(*o)
1 0,713 08 -0,71308 0,71308 -7,62213
2 0,52536 -0,90297 0,72361 -1,90097
J 0,56270 -0,93966 0,12774 -1,91020
4 0,56916 -0,93058 0,1499 -1,91122

5 0,567 59 -0,93946 0,75407 - 1 ,91 158

6 0,51072 -0,93658 0,76153 -1,97770
7 0,56969 -0,93925 0,76310 -r,91175
8 0,57080 -0,93848 0,16518 -1,91176
9 0,57044 -0,93954 0,76634 -1,91t77
10 0,57083 -0,93917 0,76731 -1,91177
11 4,57070 -0,93955 0,75751 -1,91177
 l2 0,57085 -0,93942 0,76786 -l,9lll7
13 0.s7080 -0,93955 0.16194 -t.91171

iebiSevl jeva duZina gradijenta u tadki x13 manja je od 0.001. Ovo zna(i da je x13 blizu
stacionarne tadke (u kojoj gradijent mora biti jednak nula-vektoru i zato je njegova duLina
jednaka nuli). Budu6i da je funkcija strogo konveksna u okolini tadke xr3 zakljudujemo da x13
aproksimira (izolovani) lokalni minimum.

5.1.1.2 Fletcher-Reeves-ov metod konjugovanih gradijenata

l
U glavi 4.3 1e prrkazano kako je Powell-ov metod konjugovanih pravaca povecao
efikasnost trazerya ekstremnih vrijednosti funkcije u odnosu na metod ttazenja po
koordinatnim osama. Tako se, koristeci konjugovane gradijente moze poboljsati linearni
stepen konvergencije Cauchy-eve metode najbrzeg opadanja. Optimizacione metode
koristeci konjugovane gradijente za definisanje pravaca istrazivanja dobijaju kvadratni stepen
konvergencije. One nalaze optimalnu vrijednost za kvadratnu funkciju za odredjen broj
koraka bez obzirana pocetnu vrijednost promjenljive.
Powell-ov metod ima kvadratni stepen konvergencije i ne zahtijeva informaciju o
vrijednosti gradijenta.

Primjer 5.3 Koristeci Fletcher-Reeves-ov metod odrediti minimum funkcije

F(') : 10x'2 + 3"' -l}x'x' +2x'

polazeci od pocetne vrijednosti xo = [0,0]7.

Gradijent funkcrje F je

Prva iteracija:

Pravac negativnog gradijenta u tacki xo je

t-- rl
8o =-VF(rrr=L;]

46
 vo :.90=L
| -z) xo+'sYo=L,
[- z'l
o -], l
Treba naci minimum funkcije jedne promjenljive

f (t) =F(:ro +svo) = 10(2s)'? +3(0)'z -10(-2s)(0)+2(-2s) = 40s2 - 4s

.f'(r)=80s-4:0, s:0.05

Tacka minimuma na pravcu x0 +.rv, je

xr
lol l-21 I--o.rl
:ro*.svo=Lrl.oorl
LJ
,-]=L o l
Druga iteracija:

g, =-vtr(x,) :I[-zor-0.1)+loro)-21 [ oI
:L_,
rot_o.rl_oiol ol -]

oo ln
7_pl6r :^."=0.25
' oo 4
60s0

I o
-] l-- z-l [- o.sl
rt=8t*TVo=L_,
ol+ozsf o -]=[_,.0_]

[- o. r-l [- o.sl [- o. r - o.5sl

x,*su,=l
I I L 0.1l+sl l=l
L-I0.1 L -s l
I

,f(s)=F(x,+sv,)=10(-0.1-0.5s)2+3(-s)'z-10(-0.1-0.5s)(s)+2(-0.1-0.5s)=0.5s2-s-0.1

-f'(s):s-l=0 S: l'0

xz=xr +svr =[[- r-l

o. [- o.sl I- o.o-]
]., 1_o r.]=L_,ol

47
 5.1.2.Gradijentne metode drugog reda

U ovu klasu spadaju metode koje koriste pored prve i drugu derivaciju ili
neku njenu aproksimaciju i zoytt se Metode drugog reda. Jedna od tih metoda je i
Newton-ova metoda.

5.1.2.1. Nj utnova metoda

Njutnova metoda za izracunavanje ekstremnih vrijednosti funkcije vise

promjenljivih je uopstenje jednodimenzionalne Njutnove metode koja je izlozena u poglavlju
3.3. Odlikuje se superlinearnom konvergencijom, dakle, kad konvergira, dini to
brLe od Cauchyeve metode. Njutnova metoda je brza ali "hirovita" Brzina
Njutnove metode zavisi od funkcije f, nadina na koji se vektori normalizuju i
strategije koja se koristi u primjeni metode.

Kod metoda drugog reda osnovne pote5ko6e koje se javljaju vezane su za

Hesseovu matricu. Minimum funkcije t::aLi se samo za konveksne povr5i kao na
S1.5.8., Sto se matematidki defini5e Hesse-ovom matricom.

48
Sl .5.8. Strogo konveksna funkcija

49
 Za dvaput neprekidno derivabilnu funkciju f kaZemo da je konveksna ako je Hesseova
matrica V'f(B) pozitivno definitna za svako B.

Njutnove rnetode pripadaju gradijentnirn metodama drugog reda. Po istraZivanjirna

koja je vrSio naudnik McNiven, one bezuslovno konvergiraju pod pretpostavkom da
je velidina koraka reducirana u svakoj sljedeioj iteraciji.
Njutnove metode bazira na razvojt funkcije kriterijuma odstupanja u
Taylorov red u okolini tacke B1-1 uzirnajuci prva tri dlana tog reda Sto u
matridkom obliku rzgleda

J l3., T) =J i3i, T]='. r'Tl t3 i_r, T) {: -,,_, ) * i'r,-,,_., i' ; 1".,

{:
i- 3 i- ., 1

gdje je VJ(Bi,T) vektor gradijenta, a v2 J(F,,T) Hesse-ova matrica. Minimum

funkcije J ( B, T ) postiZe se ako su drugi i treii dlan jednacine
- istovremeno jednaki nuli, odnosno:
*;'-,iS,-.,7)(S,-I,*-}
l-' {:,*,Ti : fi
i- I I r* t

sto sredivanjem oo ,r"oior" Bi daje:

-:, = *r-"t
i ;l-]*t
- "-.r*r;,-r). ;j{". i,*-,Ti
r*,_ { (4.1)

Jednadina (4.1)je kao jednadina Njutnovog metoda i u njoj

poznata
inverzna Hesse-ova matrica predstavlja i pravac i intenzitet vektora
spuStanja.

Primjer 5.4. Treba odrediti tadku lokalnog minimuma za funkciju

L7A))
f(x) =xi +xi - x, + x) - x; + x, + x! -x: * xtx2x3
:

pomodu Newtonove metode. l

' Ovdje je gradijent:

V/(r) =14x3, +3xf + xzxt-1,4i',-2x2+x'r3+7,2xrtx,x, -1)

i Hesseova matrica:

12fi +6x, x3 xz

Y' f 1x1: x3 12xl -2 xl

| *, xl ',1

50
 Budu6i da je Hesseova matrica singularna u ishodiStu, ne moZemo uzeti ishodi5te za
podetnu aproksimaciju! (Zbog uporedivanja, primijetimo da Cauchy-eva metoda ne koristi
drugu derivaciju i zato smo je mogli zapodeti iz ishodi5ta u priqjeru 4.2). Sada 6emo iteraciju
podeti npr.Iz tadke *o : (1, -1, D' i frekinuti je kada bude najveda komponenta gradijenta
,T
Lv/(r-)l' po apsolutnoj vrijednosti manja od r: 10{. U sljedecoj tabeli izlozena jevrlobrza
konvergencija. Rezultati su zaokruLeni na pet decimalnih rnjesta.

tabela
k
x2 x! f(*o)
0 -1 -1
I 4,71037 -0,95427 0,83232 -1,83669
2 0,59255 -0,94165 0,77825 '-1,91014
J 0,57150 -0,93962 0,76847 -1,9rr77
4 0,57086 -0,93956 0,;/6818 -1,97177
5 0.57086 '3956 0.76818 -1.9tt77

L,eljeno optimalno rjeienje je:

0,57086
l( :x': -0,93956
L 0,76818 _]

Ovaj rezultat podudara se sa rezultatom, koji smo dobili pomodu Cauchy-eve metode,
na tri decimalna mjesta.

Napomena: Jedan od nadina da se smanji hirovitost Njutnove metode je da se u svakoj

iteraciji funkcija f pretraLi iztadke xk u smjeru

g(.,r0) =lV'f (*r) )- lvf (*r) )'

Ovako modifikovana Newtonova metoda naziva se Gauss-Njutnov metod i raduna
aproksimacij e po formuli

xr*' = *o -oog(*o), k =0,7,2,.... (s.1 1)

gdje je ol optimalna duZina koraka, tj.{e5enje jednodimenzionalnog problema

Minf(*u-og(xk)).

51
5.1,.2.z.Gauss-Nj utnova meto da

Da bi se smanjila "hirovitost" metode i obezbijedio uslov u

kojem 6e se greska smanjivati u svakoj iteraciji, u jednacini (a.1) uvodi
se pozitivni skalar cr, tako da se vr5i pode5avanje veli5ine koraka u svakoj
iteraciji, pa takva jednadina ima oblik:

'i*J-* :. ;;:-i
"i = :r.
": ." T j. i,r l:,r-,-,;
il.-r*.1 j
(4.2)

Tako se dobija jednacina modifikovane Njutnove metode, u literaturi

poznata kao Gauss-Nj utnova metoda.

Kod metode najbrZeg spusta, ili Cauchy-ove metode koristi se pravac

negativnog gradijenta dok kod Njutnovih metoda Hesse-ovom matricom vr5i se
zaokretanje pravca bliLe minimumu za ugao y prtkazat na slici 5.9.

2
TJ(i :-t -,T). l'.t -1't5 l-l .,Tl ''J{i,l*l .,T}
? -1'(i,-.,,TJ.lJ(s.-,,Tlll
ll TJ{ 5.)-, .,T)ii.ll ':'J l-l l*t
It

a!
fttr*'1.-fl
v 1^,: i '
r;J i * *t tal Tl
1r
.l 1, . 1-- 1
\ -' li'; 1.

"/

SI. 5 .9. Pravac istrazivarja minimuma po Gauss-Njutnovoi metodi

Resavajuii zadatak optimizacije problem sveden na istraZivanje je

minimuma na pravcu zarotiranom od gradijenta za vgao y. Koristeci neku od ranije
navedenih metoda jednodimenzionalne optimizacije odredjuje se duzina koraka a .

52
 Koju metodu cemo primij erriti za odredjivanje duzine koraka ct zavisi od
konkretnog slucaja. Postoje metode uporedivanja vrijednosti funkcije za koje je
karakteristidno to da su tipicno jednodimenzionalne metode Sto zna(i da se ne
mogu lako uprostiti na probleme sa n promjenljivlh. Za dovoljno "g1atke"
funkcije primjenjuje se Njutnova metoda. Ova metoda itna brzu
konvergenciju (kad konvergira!) . Pojednostavljena Njutnova metoda daje Metodu
sj edice.

popularne metode za nalaZenje tninitnuma su takozvane

Za primjenu veofira
Metode aproksimacije polinoma. Takve metode su Metoda parabole ili Metoda
kvadratne interpolacije, zatim Metoda kvadratne ekstrapolacije i smatraju se
brzim i pouzdanim metodama kada funkcija nrje suvi5e komplikovana.
Kada se vr5i izbor za primjenu optimizacionih metoda bitan faktor je i
efikasnost numeridke metode za izradunavanje optimalnog rjeSenja pa u vezi s
tim poZeljno je za svaku metodu znati tzv. stepen konvergencije. Naravno, Sto
je stepen konvergencije ve6i, metoda je efikasnija.
Neka je vektor Bi-1 dobijen kao jedan od iterativnih vektora u toku procesa
optimizacije funkcije vise promjenijivih. Promjena vektora nepoznatih parametara
B mijenja se po jednadini (4.2), gdje je ocigledno da je novi vektor F,
funkcija nepoznate vrijednosti o koja se odreduje nalaZenjem minimuma
funkcije:

po'pravcu koji je odreden negativnim gradijentom 'funkcije kriterijuma

odstupanja zaokrenutim za vrijednost inverzne Hesse-ove matrice. Tako
se stiZe do novog vektora Bi koji se nalazi na istoj povr5ini. Nagib
funkcije kriterijuma odstupanja nalazi se iz jednadine:
a
,*_i",rryr11,.ilrr
'f,^- Y1*
lj=-' E: JuTr.t "rt \r tt I t l J r rt
t'1, r t
Jl'i, tr. lJ ' J L !, - r I J
*, , , I
t* .,
J
r*
1i t
r

na traZenje tadke na pravcu d tako da skalarni

Zadatak se svodi
proizvod gradijenta u toj ta6ki i pravca d daje nulu. Grafidka
interpretacija ovakvog zahtjeva bila bi na6i tadku na pravcu d u kojoj
je gradijent normalan na pravac d.
NalaZenje tadke minimum a na pravcu tede na sljedeci nadin.
Prvo se za odabranu podetnu vrijednost vektora nepoznatih parametara
odredi gre5ka i gradij ent u toj tadki, a zatim izra(,una inverzna Hesse-
ova matrica drugog reda, Sto pomnoZeno sa gradijentom daje pravac d u
toj tadki. Tada se izraduna skalarni proizvod vektora gradijenta i
pravca d i memori5e ta vrijednost za dalje uporedivanje.

53
 Na istom pravcu d odredi se jos jedna tacka biranjem skalara a i nade
gradijent u njoj. Tada se pomnoze vektor gradijenta u novoj tacki sa
pravcem d. Ukoliko je taj proizvod u . pocetnoj tacki istrazivanja bio
negativan a u drugoj pozitivan tada sigurno postoji tacka izmedu te dvije u
kojoj je navedeni skalarni proizvod jednak nuli i ona predstavlja minimum. U
suprotnom, ukoliko je proizvod gradijenta u pocetnoj tacki ispitivanja i
odabranog pravca negativan, a u drugoj pozitivan radi se o maksimumu.
Program je koncipiran tako da se druga tacka na pravcu d maze birati dok se
ne dobije prava vrijednost pogodna za dalja istrazi vanja, a zatim vrsi trazenje
tacke minimuma uporedivanjem vrijednosti proizvoda vektora gradijenta i
pravca d, tako sto se proces ponavlja sve dotle dok se ne dobije vrijednost
nagiba u novoJ tacki , manja od unaprijed izabrane tolerancije zaustavljanja
racunskog programa.

Najzad, treba voditi racuna o tome da nalazenj e vrijednosti vektora

nepoznatih parametara u toku procesa integracije ne 'isklj ucuj e fizicke osobine
sto znaci da tacka treba da bude u granicama moguceg prostora.

5.2. Metode varijabilne metrike

Najbolje osobine Cauchy-eve i Njutnove metode ujedinjene su u Metode

varijabilne metrike. One imaju linearan stepen konvergencije i odlikuju se
kvadratnim zavrsavanjem. Od mnogih metoda ovog tipa mogu se napomenuti Metoda
Davidona, Fletchera i Powella.

Primjer 5.5 Z5bog uporedivanja sa Njutnovom metodom na nekvadratnoj funkciji,

primijenimo DFP metodu na funkciju

Polazeci opet od pocetne aproksimacije

i sa izborom H0 = I, dobijamo sljedece rezultate:

tabela
k k k k
xI X2 X3 f(xk )
0 1 -1 1 -1
1 0,64701 -1 1 -1,85478
2 0,59389 -0,91655 0,91655 -1,88632
3 0,58529 -0,93804 0,76954 -1,91099
4 0,57132 -0,94059 0,76944 -1,91177

54
 Poslije uporedivanja sa rezultatima iz primjera 5.3, zakljucujemo da su za gomJu
funkciju Njutnova i DFP metoda podjednako efikasne.

55
6. LITERATURA

1.AVRIEL, M.
[1996] Nonlinear Programming:Analysis and Methods,Prentice-Hall, Inc., Englewood Cliffs,
N. J.
2.JENSEN, P.A. I BARD, J.F
[2003] Operations Research, Models and Methods, John Wiley&Sons, Inc.
3.JANG, J.S., SUN, C.T.
[ 1997] Neuro-Fuzzy and Soft Computing, Prentice Hall
4. BEER, F., JOHNSTON, R.
[1998] Vector mechanics for Engineers, McGraw-Hill
5. FOGEL, D., ROBINSON, C.,
[2003] Computational Intelligence, John Wiley&Sons
6.MERIAM, J.L., KRAIGE, L.G.
[2003] Dynamics, John Wiley&Sons
7.MERIAM, J.L., KRAIGE, L.G.
[2003] Statics, John Wiley&Sons
8.MEDSKER,L., LIEBOWITZ, J.
[1994] Design and Development of Expert Systems and Neural Networks, Macmilan College
9.FOWLER, B.,
[1996] Dynamics, Addison-Wesley
10. KARTALOPOULOS, S.V.
[1996] Understanding Neural Networks and Fuzzy Logic, IEEE Press

56