Rešavanje Problema Minimizacije Sa Ograničenjima

UNIVERZITET U NOVOM SADU
PRIRODNO - MATEMATIKI FAKULTET

DEPARTMAN ZA MATEMATIKU I
INFORMATIKU
Reavanje problema minimizacije sa

ogranienjima primenom kaznenih funkcija
- master rad -
Mentor:
Student:
Prof. dr Sanja Rapaji
Angela tajer
Novi Sad, 2014
Reavanje problema minimizacije sa ogranienjima
Master rad
Sadraj
1
Uvod......................................................................................................................................... 2
Nelinearna optimizacija ........................................................................................................... 4
2.1
Osnovni pojmovi .............................................................................................................. 4
2.2
Pojam lokalnog i globalnog ekstrema .............................................................................. 6
2.3
Optimizacija bez ogranienja - Potrebni i dovoljni uslovi optimalnosti .......................... 7
2.4
Optimizacija sa ogranienjima - Potrebni i dovoljni uslovi optimalnosti......................... 9
2.4.1
Metoda eliminacije promenljivih ........................................................................... 10
2.4.2
Metoda Lagranovih mnoitelja ............................................................................ 11
Metode za reavanje problema optimizacije bez ogranienja .............................................. 13

3.1
Metoda najbreg pada................................................................................................... 14
3.2
Njutnova metoda ........................................................................................................... 21
3.3
Kvazi-Njutnovi postupci ................................................................................................. 27
3.4
Metoda konjugovanih gradijenata ................................................................................ 35
Optimizacija sa ogranienjima - Metode kaznenih funkcija .................................................. 43

4.1
Metoda spoljanjih kaznenih funkcija ........................................................................... 45
4.2
Metoda unutranjih kaznenih funkcija (barijernih funkcija) ......................................... 57
Kombinacija metoda kaznenih funkcija i metoda optimizacije bez ogranienja ................... 63

5.1
Kombinacija metode Lagranovih mnoitelja i kaznenih funkcija ................................. 63
5.2
Struktura Hesijana ......................................................................................................... 65
5.3
Kombinacija Njutnove metode i kaznenih funkcija ....................................................... 66
5.4
Kombinacija metode konjugovanih gradijenata i kaznenih funkcija ............................. 67
Zakljuak ................................................................................................................................ 76
Literatura ....................................................................................................................................... 77
Master rad
1 Uvod
Operaciona istraivanja su oblast koju ine raznovrsni nauni pristupi donoenju
odluka, koji pomou kvantitativnih metoda i algoritama nastoje da omogue najbolje
reenje velikih i sloenih problema koji se javljaju u svim oblastima ivota. Neke metode
operacionih istraivanja pojavile su se u prvoj polovini 20. veka, ali najvie su se razvile
tokom i nakon Drugog svetskog rata. Glavni cilj pri upotrebi ovih metoda bio je
optimiziranje organizacije velikih ratnih operacija i nain upotrebe ratnih sredstava, pa
otuda i potie naziv ove oblasti.
Operaciona istraivanja imaju za zadatak prouavanje velikih i sloenih sistema
(tehnikih, ekonomskih, poslovnih, itd.). Istraivanje na ovim sistemima uglavnom
predstavlja izuzetno teak zadatak, koji je po pravilu veoma skup, a ponekad i nemogu,
naroito u fazi njihovog planiranja, projektovanja i uvoenja u rad. Zbog toga je veoma
bitna celokupna analiza sistema, gde veoma vanu ulogu igraju mnogobrojne
matematike discipline kao to su: matematika analiza, statistika teorija, teorija igara,
matematika logika, teorija verovatnoe, linearno, nelinearno i dinamiko programiranje,
heuristiko-matematiko programiranje, teorija masovnog opsluivanja i dr.
Nauni pristup donoenju odluka obino ukljuuje upotrebu jednog ili vie
matematikih modela, na osnovu kojeg e biti mogue predvianje i uporeivanje
posledica razliitih varijanti u procesu odluivanja. Matematiki model je matematiko
predstavljanje stvarne situacije, koji slui za izvoenje potrebnih analiza na osnovu kojih
se moe doi do traenih odgovora u vezi sa postavljenim problemom. Na osnovu
eksperimentisanja na matematikom modelu treba zakljuiti koje je reenje najbolje i
njega treba predloiti donosiocima odluke da ga implementiraju u praksi. Da bi se za
neko reenje moglo rei da je optimalno, tj. najbolje, treba imati meru kojom se odreuje
njegov kvalitet i koja omoguava njegovo poreenje sa drugim moguim reenjima.
Mera kvaliteta u matematikom modelu se dobija pomou funkcije, kojom se
svakom reenju pridruuje odgovarajua vrednost. Ta funkcija pokazuje efikasnost
izvrenja zadatka radi postizanja cilja i naziva se kriterijumska funkcija ili funkcija cilja.
Da bi optimizacija bila to uspenija, potrebno je nai reenje koje daje ekstremnu
vrednost funkcije cilja. Promenljive koje treba odrediti obino su uslovljene meusobnim
relacijama i ogranienjima, koji ine skup ogranienja. Svako reenje koje zadovoljava
postojea ogranienja naziva se dopustivim. Jedan optimizacioni zadatak moe imati vie
dopustivih reenja, koja formiraju skup dopustivih reenja ili dopustivi skup. Koeficijenti
u matematikom modelu nazivaju se i parametrima modela ili parametrima sistema.
Kako je glavni zadatak optimizacije nalaenje reenja koje daje ekstremnu
vrednost funkcije cilja, optimalno reenje optimizacionog zadatka je ono dopustivo
reenje u kome funkcija cilja dostie svoju optimalnu vrednost (minimalnu, ako je u
pitanju problem minimizacije ili maksimalnu, ako je u pitanju problem maksimizacije).
Vrednost funkcije cilja koja odgovara optimalnom reenju naziva se optimalna vrednost
ili optimum.
Master rad
Koliko se uspeno moe odrediti optimalno reenje nekog optimizacionog zadatka

zavisi, pre svega, od osobina funkcije cilja, tipa ogranienja i primenjene metode. Zbog
toga je osnovni zadatak u teoriji optimizacije razvoj metoda za reavanje zadataka
globalne optimizacije.
Ovaj rad se bavi reavanjem nelinearnih problema optimizacije, to znai da je re
o nelinearnom programiranju. Najpre e biti uvedene neke teorijske osnove nelinearnog
programiranja i potrebni i dovoljni uslovi za odreivanje lokalnog ekstrema za probleme
optimizacije sa i bez ogranienja.
Problemi sa ogranienjima se mogu reavati na dva sutinski razliita naina. Prvi
je odreivanje optimuma uz zadovoljavanje ogranienja, a drugi je transformacija
problema na nain da se zadovoljavanje ogranienja ugradi u funkciju cilja, i tada se
transformirani problem reava kao zadatak bez ogranienja. Metode koje pripadaju
drugoj grupi pristupa problema, i koje e biti predstavljene u ovom radu su, metode
unutranjih i spoljanjih kaznenih funkcija.
Kada se dati problem sa ogranienjima pretvori u problem bez ogranienja,
potrebno je reiti takav optimizacioni zadatak. Za reavanje takvih problema najee se
koriste gradijentna metoda, Njutnova metoda i njene modifikacije, metoda konjugovanih
gradijenata, koje su objanjene u radu teorijski i prikazane kroz primere. Za reavanje
nelinearnih problema vrlo esto se koriste kombinovane metode, pa je zato u ovom radu
posebna panja posveena metodama koje predstavljaju kombinaciju kaznenih funkcija
sa metodom konjugovanih gradijenata i Njutnovom metodom, ili nekim modifikacijama
Njutnove metode. Prikazani su algoritmi i teorijski rezultati konvergencije datih
postupaka. Predstavljena teorija objanjena je kroz primere. Neki od primera u radu
reeni su pomou raunara, primenom programskih paketa Matlab i Mathematica.
Master rad
2 Nelinearna optimizacija
Nelinearna optimizacija (nelinearno programiranje - NP)
podrazumeva
odreivanje ekstremne (minimalne ili maksimalne) vrednosti funkcije cilja nad skupom
ogranienja, pri emu je funkcija cilja nelinearna i/ili skup ogranienja definisan
nelinearnim algebarskim jednainama ili nejednainama. Za reavanje problema NP ne
postoji univerzalna metoda, ve je za svaki konkretan sluaj potrebno nai novu metodu,
ili prilagoditi neku od postojeih. U velikom broju sluajeva nije lako pronai prikladnu
metodu za odreivanje optimalnog reenja formulisanog zadatka, to znai da jo uvek
postoji veliki broj teko reivih zadataka NP.
Tokom godina razvijene su mnogobrojne metode optimizacije pomou kojih se
mogu reavati razni zadaci nelinearnog programiranja. Sve te metode su specijalizovane
za razliite tipove zadataka koji se razlikuju po obliku matematikog modela, tj. po
obliku i dimenzijama funkcije cilja i skupa ogranienja.
Kako bi se procenila primenljivost pojedinih algoritama za reavanje problema
NP, potrebno je odrediti broj raunskih operacija koje treba obaviti u procesu reavanja.
Neki algoritmi u odreenim zadacima nisu uvek primenljivi, ak i kada se ima u vidu
primena savremenih raunara. Ta primena zavisi od vie faktora, naroito od karaktera i
dimenzije matematikog modela.
2.1 Osnovni pojmovi

Dat je opti oblik problema nelinearne optimizacije
(1)
gde je
funkcija cilja, a
su funkcije ogranienja.
oznaava euklidski prostor dimenzije
, tj.
Problem (1) se moe zapisati u ekvivalentnom obliku
ili
gde je
dopustiv skup.
Ovakav oblik nelinearnog programiranja se naziva problem optimizacije sa

ogranienjima.
4
Master rad
Ukoliko je skup ogranienja u problemu

, tj. ako ne postoje ogranienja
onda je re o problemu optimizacije bez ogranienja tj.
Problem minimizacije se uvek moe svesti na problem maksimizacije i obrnuto.

Dakle,
Dopustivi skup se bez umanjenja optosti uvek moe definisati preko ogranienja
tipa nejednakosti jer se ogranienje oblika jednakosti
moe zameniti sa dve
nejednakosti
tj. sa
.
Specijalan sluaj optimizacije sa ogranienjima je problem oblika
gde je skup ogranienja dat jednakostima.

Ovakav problem se naziva klasini problem optimizacije sa ogranienjima i
reava se direktno, bez svoenja na ogranienja tipa nejednakosti.
Definicija 1. Svako gde je
dopustiv skup se naziva dopustivo reenje.
Ogranienje
je aktivno u dopustivom reenju ako je
, a neaktivno
ako je
.
Definicija 2. Dopustivo reenje u kome funkcija cilja dostie svoju optimalnu vrednost
naziva se optimalno reenje optimizacionog zadatka i oznaava se sa .
Definicija 3. Vrednost funkcije cilja koja odgovara optimalnom reenju naziva se
optimalna vrednost ili optimum i oznaava se sa
.
Master rad
2.2 Pojam lokalnog i globalnog ekstrema

Neka je dat problem
(2)
gde je
dopustiv skup.
Definicija 4. Taka
je globalni minimum funkcije
minimum problema (2), ako je
za sve
tj. ako u njoj funkcija
na skupu
, ili globalni
dostie svoju minimalnu vrednost na .
Definicija 5. Taka
je strogi globalni minimum funkcije
globalni minimum problema (2), ako je
za sve
na skupu , ili strogi
U sluaju kada je funkcija neprekidna a skup zatvoren i ogranien,

svoju minimalnu vrednost, tj. postoji (bar jedan) globalni minimum
.
Definicija 6. Taka
je lokalni minimum funkcije
minimum problema (2), ako postoji
tako da je
za sve
za koje je
na skupu
, ili lokalni
Definicija 7. Taka
je strogi lokalni minimum funkcije na skupu
lokalni minimum problema (2), ako postoji
tako da vai uslov
za sve
dostie
, ili strogi
za koje je
Analogno se mogu uvesti pojmovi globalnog i lokalnog maksimuma. Globalni,

odnosno lokalni minimumi i maksimumi nazivaju se globalni, odnosno lokalni ekstremi.
Strogi lokalni minimumi se obino mogu odrediti uz pomo prvih i drugih izvoda
u taki . Na ovoj injenici se baziraju mnogi numeriki postupci, koji spadaju u metode
nelinearnog programiranja. U jednostavnim sluajevima, kada je skup
zatvoren i
ogranien, globalni minimum se nalazi pretraivanjem skupa svih lokalnih minimuma,
posle ega se izabere onaj sa najmanjom vrednou funkcije cilja ali je ovo mogue samo
u jednostavnim problemima.
Master rad
2.3 Optimizacija bez ogranienja - Potrebni i dovoljni uslovi

optimalnosti
Optimalno reenje zadatka optimizacije se moe odrediti posmatranjem vrednosti
funkcije cilja u svim dopustivim reenjima razmatranog problema. Optimalno reenje je
ono reenje u kome funkcija cilja dostie maksimalnu ili minimalnu vrednost. Ispitivanje
svih dopustivih reenja i uporeivanje vrednosti funkcije cilja u svim dopustivim
reenjima je mogue uraditi samo u najtrivijalnijim problemima. Zbog toga se razvijaju
postupci, pomou kojih se najpre generiu kandidati za optimalno reenje, a onda se
proverava da li je neki od njih optimalno reenje. Posebna panja se posveuje
proveravanju uslova koje treba da zadovolji optimalno reenje.
Pri nalaenju optimalnog reenja datog zadatka moe se desiti da se minimalna
(maksimalna) vrednost funkcije cilja dostie u razliitim takama, to znai da reenje
problema nije jedinstveno. U optem sluaju korisno je nai uslove koje neko reenje
mora da zadovolji da bi bilo optimalno, dok druga dopustiva reenja mogu ali ne moraju
da ih zadovolje. Takvi uslovi se nazivaju potrebni uslovi za optimalnost, odnosno
potrebni uslovi optimalnosti.
Neka je dat problem
definisana i diferencijabilna na itavom prostoru
gde je funkcija cilja

Definicija 8. Neka je
i neka je
. Tada je
(3)
gradijent funkcije
Potrebni uslovi da taka

teoremom.
Teorema 1. [7] Neka je funkcija
minimum funkcije tada je
bude lokalni minimum funkcije

diferencijabilna u taki
.
Definicija 9. Take koje zadovoljavaju uslov
. Ako je
lokalni
nazivaju se stacionarne take.
Stacionarne take se odreuju iz jednaine

jednaina sa nepoznatih, oblika
tj. reavanjem sistema od
dati su sledeom
Master rad
Uslov koji garantuje da je posmatrano reenje optimalno naziva se dovoljan uslov

optimalnosti. Da je neko reenje optimalno, moe se tvrditi samo ukoliko ono
zadovoljava uslov optimalnosti koji je istovremeno i potreban i dovoljan, i obrnuto, samo
optimalna reenja zadovoljavaju potrebne i dovoljne uslove za optimalnost.
Definicija 10. Simetrina matrica
je pozitivno definitna ako je

za sve
a pozitivno semidefinitna ako je

za sve
Definicija 11. Funkcija
naziva se kvadratna forma. Kvadratna forma je pozitivno definitna (pozitivno

semidefinitna) ukoliko je matrica pozitivno definitna (pozitivno semidefinitna).
Na osnovu narednih lema jednostavno se proverava da li je matrica pozitivno

definitna ili pozitivno semidefinitna.
Lema 1. [7] Silvesterov kriterijum. Simetrina matrica
definitna ako i samo ako su svi glavni minori matrice pozitivni, tj.
je pozitivno
Lema 2. [7] Simetrina matrica

je pozitivno semidefinitna ako i samo ako
su svi minori simetrini u odnosu na glavnu dijagonalu nenegativni.
i neka je
. Tada je
(4)
Hesijan funkcije
Master rad
Teoreme koje slede daju dovoljne uslove optimalnosti drugog reda za stroge
lokalne ekstreme.
Teorema 2. [7] Neka je funkcija dva puta neprekidno diferencijabilna u nekoj okolini
take . Ako je
i ako je matrica
pozitivno definitna, tada je
strogi lokalni minimum funkcije .
Teorema 3. [7] Neka je
i neka su
ako je
ako je
tada je
glavni minori matrice
strogi lokalni minimum funkcije

tada je strogi lokalni maksimum funkcije .
Ukoliko ne postoji pravilnost znaka glavnih minora treba uzeti u obzir potrebne
uslove optimalnosti drugog reda koji su dati u narednoj teoremi.
Teorema 4. [7] Neka je funkcija dva puta neprekidno diferencijabilna u nekoj okolini
take . Ako je
lokalni minimum funkcije tada je
i matrica
je
pozitivno semidefinitna.
2.4 Optimizacija sa ogranienjima - Potrebni i dovoljni uslovi

optimalnosti
Ogranienja optimizacionog problema definiu dopustiv skup problema, pa zato,
ukoliko ona postoje, moraju biti uzeta u obzir pri izboru strategije za reavanje takvog
problema. Pre nego to se izabere postupak kojim e se reavati dati problem, potrebno je
proveriti model problema, jer loe postavljena ogranienja mogu dopustiv skup preterano
smanjiti ili ak problem uiniti nereivim.
Kada su u pitanju problemi sa ogranienjima, postoje dva sutinski razliita
pristupa njihovom reavanju. Prvi je odreivanje optimuma uz zadovoljavanje
ogranienja, a drugi je transformacija problema na nain da se zadovoljavanje
ogranienja ugradi u funkciju cilja, i tada se transformirani problem reava kao zadatak
bez ogranienja.
Posmatra se klasian problem minimizacije sa ogranienjima, kod koga su sva
ogranienja zadata jednainama
(5)
gde su funkcije
itavom prostoru
definisane i diferencijabilne na
Ovaj problem se moe reiti metodom eliminacije promenljivih ili metodom Lagranovih
mnoitelja.

Neka je sa
2.4.1
oznaen Jakobijan preslikavanja
Master rad
tj.
Metoda eliminacije promenljivih
Osnova ove metode se sastoji u svoenju problema (5) na problem optimizacije

bez ogranienja. Ideja je da se promenljive
izraze iz sistema jednaina
(6)
kao
i uvrste u funkciju cilja. Na taj nain se eliminie

na problem minimizacije bez ogranienja:
promenljivih i problem (5) se svodi
.
(7)
Ako taka
predstavlja reenje problema (7) sledi da je taka

reenje problema (5).
Sistem (6) je mogue reiti analitikim putem samo u jednostavnim sluajevima,

na primer kada su funkcije
linearne. Kada su funkcije nelinearne, da bi se
mogla efektivno izvriti eliminacija, Jakobijan preslikavanja
mora biti punog ranga,
tj.
na . Dakle, eliminacija promenljivih nije opravdana i jednostavna u
nelinearnom sluaju.
10

2.4.2
Master rad
Metoda Lagranovih mnoitelja
Kod ove metode se koriste potrebni i dovoljni uslovi optimalnosti izraeni preko
Lagranove funkcije.
Definicija 13. Lagranova funkcija pridruena problemu (5) je definisana na sledei
nain:
gde su
mnoitelja.
Lagranovi mnoitelji, a
Slede potrebni uslovi da taka
vektor Lagranovih
bude lokalni minimum problema (5).
Teorema 5. [7] Neka su funkcije

neprekidno diferencijabilne u nekoj
okolini take
i neka je
Jakobijan funkcije
. Ako je
lokalni minimum
problema (5) i ako je rang
, tada postoji tako da je
.
Ako je rang
u svakom dopustivom reenju , na osnovu prethodne
teoreme sledi da su stacionarne take Lagranove funkcije, potencijalni lokalni minimumi
problema (5).
Reavanje jednaine
je ekvivalentno sa
, tj. sa
Dovoljni uslovi za strogi lokalni minimum problema (5) formulisani su u sledeoj

teoremi.
Teorema 6. [7] Neka su funkcije
dvaput neprekidno diferencijabilne u
nekoj okolini take . Ako je
i ako je matrica
pozitivno
definitna na
tada je strogi lokalni minimum problema (5), gde je
11
Master rad
Hesijan Lagranove funkcije, a

- tangentni prostor, tj.
predstavlja skup reenja homogenog sistema od m linearnih jednaina sa n
nepoznatih, pri emu je
Jakobijan funkcije u .
Uslov pozitivne definitnosti se moe proveriti pomou uoptenog Silvesterovog
kriterijuma.
Neka je sa
oznaena matrica dimenzije
koja se sastoji od
etiri bloka
,
iji su svi elementi jednaki nuli, a
gde je matrica dimenzije

preslikavanja u .
Teorema 7. [7] Uopteni Silvesterov kriterijum. Neka je rang

glavni minori matrice
. Ako je
tada je matrica
pozitivno definitna na
je Jakobijan
i neka su
Slede dovoljni uslovi za strogi lokalni minimum i maksimum.

minori matrice
ako je
minimum problema (5).
ako je
maksimum problema (5).
, rang
12
i neka su
glavni
tada je
strogi lokalni
tada je
strogi lokalni
Master rad
3 Metode za reavanje problema optimizacije bez ogranienja

Kao to je pomenuto, problem optimizacije bez ogranienja je problem oblika
gde je funkcija cilja
definisana na prostoru
Postupci za reavanje problema optimizacije bez ogranienja dele se na

negradijentne i gradijentne metode. Negradijentne metode koriste samo vrednost
funkcije, a ne i njene izvode. One su jednostavne, ali sporije konvergiraju i mogu se
primeniti za reavanje problema optimizacije funkcija koje nisu diferencijabilne.
Gradijentne metode koriste izvode funkcije i dele se na metode prvog i drugog reda.
Metode prvog reda koriste samo prvi izvod funkcije cilja. Najpoznatija i najstarija
metoda prvog reda je Koijeva metoda najbreg pada, koja potie iz 1847. godine. Ova
metoda je pouzdana, jer se dolazi do optimuma iz bilo koje poetne aproksimacije, ime
se postie globalna konvergencija ali je relativno spora, tj. linearno konvergentna.
Metode drugog reda koriste prvi i drugi izvod funkcije cilja. Ove metode bre
konvergiraju od metoda prvog reda, obino su superlinearno ili kvadratno konvergentne,
ali su skuplje i nekad manje pouzdane.
Definicija 14. Neka niz
konvergira ka
kad
, tj.
, tada
. Ako vai
konvergira linearno ka
sa
koeficijentom brzine .
, tada
konvergira superlinearno ka
.
tada
13
konvergira ka
sa redom .
Master rad
3.1 Metoda najbreg pada

Metoda najbreg pada, poznata kao Koijeva (Cauchy) metoda bazirana je na
injenici da funkcija najbre opada u pravcu negativnog gradijenta. Zbog toga je
neophodna pretpostavka za primenu ove metode da je funkcija bar jednom neprekidno
diferencijabilna. Koijeva metoda je iterativna metoda. Najpre se zada poetna iteracija
.
Poto funkcija najbre opada u pravcu negativnog gradijenta, naredna iteracija
se trai upravo u pravcu
. Duina koraka
se nalazi reavanjem problema
jednodimenzionalne optimizacije
(8)
Funkcija
sa
zapisati u sledeem obliku
je funkcija jedne promenljive , pa se moe oznaiti

. Odavde sledi, da se problem optimizacije (8) moe
Za reavanje ovog problema se koristi neka od metoda optimizacije funkcija sa

jednom promenljivom.
Kada se rei problem (8) dobije se neko lokalno optimalno reenje
, koje
predstavlja duinu poetnog koraka u smeru
. Tada se naredna iteracija
dobija na sledei nain
nakon ega se postupak ponavlja, tj. iterativno pravilo glasi
reenje jednodimenzionalnog problema
gde je
(9)
pri emu je
Potrebno je napomenuti nekoliko injenica.

1. Smer gradijenta se ne menja ako se gradijent normalizuje, tj.ako se umesto vektora
koristi vektor
Vektor
metode.
ima jedininu duinu, tj.
, to doprinosi stabilnosti
14
Master rad
2. Kada se reava jednodimenzionalni problem (9), moe se desiti da u nekoj

toj
iteraciji funkcija
ima nekoliko lokalnih minimuma. U tom sluaju poeljno je
unapred odrediti koji od njih e se sauvati.
3. Metoda najbreg pada u poetku vrlo dobro napreduje prema optimalnom reenju, ali
se brzo uspori. Ovo usporavanje se moe otkriti pomou nekog kriterijuma, kao npr.
(10)
gde su vektori
normalizovani,
i broj je konstanta
koja se
zadaje unapred. Zbog ovih osobina, kriterijum (10) je analogan sledeem kriterijumu
(11)
koji se moe koristiti upravo kao izlazni kriterijum. Najee korieni kriterijum
zaustavljanja je
gde je
unapred zadat broj.
4. Vana osobina metoda najbreg pada jeste da su vektori gradijenata, koji su izraunati
u dve proizvoljne uzastopne aproksimacije, meusobno ortogonalni, tj.
Algoritam 1. Metoda najbreg pada (Koijeva metoda)

Korak 1. Izabrati poetnu taku
kriterijum.
Korak 2. Ako je
zameniti
. Formira se jednodimenzionalni problem
dobija kao reenje problema
Korak 4. Sledeu iteraciju
sa
. Zadati
za izlazni
reenje. Inae, prei na korak 3.
tada je
Korak 3. Izraunati korak
pa se
, staviti
odrediti kao
i prei na Korak 2.
15
Master rad
Naredne teoreme odnose se na konvergenciju metode najbreg pada.

Ova metoda globalno konvergira ka stacionarnoj taki funkcije
uslovima.
pod blagim

, neka je skup
ogranien i neka je niz
generisan metodom najbreg pada. Tada vai:
1. niz
je monotono opadajui niz, ako je
2. ili je
u svakoj iteraciji ili je svaka taka nagomilavanja
niza
stacionarna taka funkcije , tj. niz generisan metodom najbreg pada konvergira ka
stacionarnoj taki i
Konvergencija metode najbreg pada za funkciju sa dve promenljive i elipsastim

presecima (posle prve aproksimacije) data je na slici 1.
Slika 1. Konvergencija metode najbreg pada

i neka je
lokalni minimum od . Osim toga neka
je
najmanji, a
najvei karakteristini koren matrice Hesijana
. Ako
niz
generisan metodom najbreg pada konvergira ka
tada niz
konvergira
linearno ka
sa koeficijentom brzine ne veim od
Prethodna teorema ukazuje da odnos

direktno utie na brzinu metode
najbreg pada. Ako je
veliko matrica je loe uslovljena i konvergencija se jako
usporava.
Metoda najbreg pada je pouzdana i laka za implementaciju, ali relativno sporo
konvergira. Mana ove metode je to se u njoj najvie vremena obino potroi na
jednodimenzionalnu optimizaciju kojom se rauna optimalna duina koraka .
16
Master rad
Primer 1. Reiti problem optimizacije
metodom najbreg pada iz poetne take
Reenje:
Neka je kriterijum za zaustavljanje
Gradijent funkcije
je
a vrednost gradijenta u poetnoj taki
je
nije reenje problema. Da bi se izraunala

. Formira se jednodimenzionalni problem
Kako je
, sledi da
sledea iteracija, potrebno je odrediti korak
gde je
Korak
se dobija kao reenje ovog jednodimenzionalnog problema i sledi
Sada se rauna sledea iteracija
pa je
Dalje je
17
Master rad
a poto je
,
nije reenje i postupak se nastavlja. Na analogan nain
dobijaju se ostali lanovi iterativnog niza
Primer 2. Nai minimum funkcije
metodom najbreg pada iz poetne take
Reenje:
Zadatak je reenjen u programskom paketu Matlab. Naredni M-file-ovi koriste se za
odreivanje minimuma ove funkcije.
Prvi M-file se odnosi na raunanje gradijenta funkcije :
function g= grad(f,x,h)
%racuna gradijent funkcije f(x)
if nargin<3, h=.00001; end
h2= 2*h; N= length(x);
I= eye(N);
for n=1:N
g(n)= (feval(f,x+I(n,:)*h)-feval(f,x-I(n,:)*h))/h2;
end
Drugi M-file se odnosi na revanje datog problema pomou metode najbreg pada.
function [xo,fo] = opt_steep(f,x0,TolX,TolFun,alpha0,MaxIter)
%za minimizaciju funkcije koristi se metoda najbrzeg pada
if nargin < 6, MaxIter = 100; end %maksimalan broj iteracija
18
Master rad
if nargin < 5, alpha0 = 10; end %pocetna duzina koraka

if nargin < 4, TolFun = 1e-8; end %|f(x)| < TolFun
if nargin < 3, TolX = 1e-6; end %|x(k)- x(k - 1)|<TolX
x = x0; fx0 = feval(f,x0); fx = fx0;
alpha = alpha0; kmax1 = 25;
warning = 0;
for k = 1: MaxIter
g = grad(f,x); g = g/norm(g);
alpha = alpha*2; %probni korak u smeru negativnog gradijenta
fx1 = feval(f,x - alpha*2*g);
for k1 = 1:kmax1 %nalazi se optimalna duzina koraka
fx2 = fx1; fx1 = feval(f,x-alpha*g);
if fx0 > fx1+TolFun && fx1 < fx2 - TolFun %fx0 > fx1 < fx2
den = 4*fx1 - 2*fx0 - 2*fx2; num = den - fx0 + fx2;
alpha = alpha*num/den;
x = x - alpha*g
fx = feval(f,x)
break;
else alpha = alpha/2;
end
end
if k1 <= kmax1, warning = warning + 1;
%nije se nasla optimalna duzina koraka
else warning = 0;
end
if warning >= norm((x - x0),2) < TolX&&abs((fx - fx0) < TolFun);
end
x0 = x; fx0 = fx;
end
xo = x;
fo = fx;
if k1 == MaxIter, fprintf('Just best in %d iterations',MaxIter)
end
Kada se program izvri u Matlab prozoru, dobija se:

>> f = inline('x(1)*(x(1) - 4 - x(2)) + x(2)*(x(2)- 1)','x');
>> x0 = [0 0], TolX = 1e-6; TolFun = 1e-8; alpha0 = 1; MaxIter = 100;
>> [xo,fo] = opt_steep(f,x0,TolX,TolFun,alpha0,MaxIter)
xo =
3.0000
1.9999
fo =
-7.0000
Dakle, minimum funkcije je u taki
i vrednost funkcije u taki
minimuma je
. U sledeoj tabeli su navedene sve iteracije dobijene metodom
najbreg pada.
19
Master rad
k
0
1
2
3
4
5
6
7
8
9
10
11
12
13
0
2.6154
2.3819
2.9208
2.8726
2.9837
2.9738
2.9966
2.9946
2.9993
2.9989
2.9999
2.9998
3.0000
0
0.6538
1.5879
1.7226
1.9151
1.9429
1.9825
1.9882
1.9964
1.9976
1.9993
1.9995
1.9998
1.9999
0
-5.5577
-6.7028
-6.9388
-6.9874
-6.9974
-6.9995
-6.9999
-7.0000
-7.0000
-7.0000
-7.0000
-7.0000
-7.0000
Tabela 1. Vrednosti iteracija dobijenih metodom najbreg pada

Kao to je reeno, najvie vremena kod ove metode se potroi na nalaenje
optimalne duine koraka . Koijeva metoda se moe pojednostaviti ukoliko se duina
koraka fiksira, tj. ako je
isto za svako
i na taj nain se dobija
modifikovana Koijeva metoda koja je jednostavnija za primenu, gde se aprokimacije
raunaju po sledeem pravilu
Da bi modifikovana Koijeva metoda globalo konvergirala, potrebno je da funkcija f

bude dva puta neprekidno diferencijabilna i strogo konveksna. Korak treba da bude
dovoljno mali, naprimer
gde je
najvei karakteristini koren Hesijana funkcije f u reenju
Koijeva metoda konvergira sporije od originalne Koijeve metode.
20
. Modifikovana
Master rad
3.2 Njutnova metoda

Njutnova metoda je jedna od najpoznatijih metoda za minimizaciju funkcija vie
promenljivih bez ogranienja. Pored prvog, koristi se i drugi izvod funkcije cilja
(Hesijan), ime se postie bra konvergencija prema reenju, zbog ega je potrebno da
funkcija cilja ima neprekidne parcijalne izvode drugog reda.
Ideja metode je da se funkcija cilja aproksimira sa prva dva lana svog razvoja u
Tejlorov red, pa poto kvadratni deo razlaganja bolje aproksimira funkciju nego linearni,
postupak koji se bazira na razvoju drugog reda konvergira bre nego postupak koji koristi
razvoj prvog reda.
Posmatra se problem
(12)
gde je
aproksimacija
nain
. Neka je
poetna iteracija. Ako je poznata
ta
, tada se prirataj funkcije
u taki
moe predstaviti na sledei
Koristei kvadratni deo ovog prirataja
naredna iteracija
se odreuje kao reenje problema
tj. reavanjem jednaine
Pod pretpostavkom da je Hesijan

sa
dobija se
regularna matrica, mnoenjem sa leve strane
Odavde sledi opte iterativno pravilo Njutnovog postupka

(13)
21
Master rad
Kada su u pitanju problemi velikih dimenzija, tj. kad je n veliko, izraunavanje

inverznog Hesijana
je skupo, pa se tada naredna iteracija
dobija na
sledei nain
(14)
Dakle, u svakoj iteraciji reava se sistem linearnih jednaina i
se dobija kao
reenje tog sistema, i na taj nain se izbegava izraunavanje inverznog Hesijana.
Sledi algoritam za Njutnovu metodu.

Algoritam 2. Njutnova metoda
kriterijum.
Korak 2. Ako je
, staviti
. Zadati
za izlazni
tada je
Korak 3. Izraunati sledeu iteraciju:

, i prei na korak 2.
. Staviti
Naredne teoreme odnose se na konvergenciju Njutnovog postupka.

Teorema 11. [7] Neka je taka
takva da je skup
ogranien. Pretpostavimo da je funkcija f dva puta neprekidno diferencijabilna na
i da
je matrica
pozitivno definitna za
. Neka je
niz generisan Njutnovim
postupkom. Tada
konvergira ka jedinstvenom reenju problema (12).
Ako vai dodatna pretpostavka da je f tri puta neprekidno diferencijabilna, moe
se pokazati da je brzina konvergencije kvadratna.
,
je lokalni minimumum funkcije i neka je
Hesijan
pozitivno definitna matrica. Tada postoji okolina take
takva da za
iz te okoline, niz generisan Njutnovim postupkom kvadratno konvergira ka , tj. vai
ocena
Dokaz:
Neka postoje
tako da za svako
vai
22
za koje je
Master rad
Pretpostavimo da je
odabrano tako da vai
Tada je
Poslednja nejednakost pokazuje da je nova taka blia reenju

nego prethodna
taka, a pretposlednja nejednakost pokazuje da je red konvergencije dva, tj. da je Njutnov
metod kvadratno kovergentan. Dakle, Njutnova metoda je lokalno kvadratno
konvergentna.
U sluaju kada funkcija cilja ima oblik kvadratne forme
gde je A pozitivno definitna matrica,

prvoj iteraciji za svaku poetnu aproksimaciju.
Dokaz za ovo tvrenje je vrlo jednostavan. Naime, kako je
kada se ovo zameni u (13) prva iteracija u Njutnovoj metodi je
Kako je
Sledi da je reenje
23
do reenja se dolazi ve u
Master rad
Primer 3. Njutnovom metodom odrediti minimum funkcije
iz poetne take
, gde je
Reenje:
Gradijent funkcije
je oblika
a Hesijan
Poto je
nije reenje.
, dakle
Prva iteracija je
gde je
i
Odavde sledi
Kako je
, sledi
. Dakle,
nije reenje.
Druga iteracija je
pri emu je
i
24
Master rad
Odavde sledi
Sada je
, pa odavde sledi da
nije reenje problema.
Trea iteracija je
Kako je
, sledi da je
reenje problema.
Njutnovom metodom iz poetne take

.
gde je
Reenje:
Zadatak je reen u programskom paketu Matlab. Formirana su tri M-file-a; prvi za
funkciju , drugi za gradijent funkcije i trei za Hesijan funkcije .
M-file za funkciju :
function res =f2(x)
res=x(1)^4+x(1)^3-x(1)+x(2)^4-x(2)^2+x(2)+x(3)^2-x(3)+x(1)*x(2)*x(3);
M-file za gradijent funkcije
function res=gradf2(x)
res=[4*(x(1)^3)+3*(x(1)^2)+x(2)*x(3)-1;4*(x(2)^3)2*x(2)+x(1)*x(3)+1;2*x(3)+x(1)*x(2)-1];
M-file za Hesijan funkcije :

function res=hesianf2(x)
res=[12*(x(1)^2)+6*x(1) x(3) x(2);x(3) 12*(x(2)^2)-2 x(1);x(2) x(1) 2];
25
Master rad
Zatim se pravi M-file, kojim se odreuje minimum funkcije
Njutnovom metodom.
function res=njutn2(x0,eps)
k=1;
xk=x0;
xk1=xk-hesianf2(xk)^(-1)*gradf2(xk);
vrednostf=f2(xk1);
while norm(gradf2(xk),'inf')>eps
xk=xk1;
xk1=xk-hesianf2(xk)^(-1)*gradf2(xk);
vrednostf=f2(xk1);
k=k+1;
end
res=xk1;
k
vrednostf
Potom se program izvrava u Matlab prozoru:

>> njutn2([1;-1;1],0.0001)
k=
5
ans =
0.5709
-0.9396
0.7682
Odavde sledi da je taka minimuma
naena u petoj iteraciji. Vrednost funkcije cilja u optimalnoj taki je
sledeoj tabeli su navedene sve iteracije dobijene Njutnovom metodom.
i ona je
.U
k
0
1
2
3
4
5
1
0.7104
0.5926
0.5715
0.5709
0.5709
-1
-0.9543
-0.9417
-0.9396
-0.9396
-0.9396
1
0.8323
0.7782
0.7685
0.7682
0.7682
-1
-1.8367
-1.9101
-1.9118
-1.9118
-1.9118
Tabela 2. Vrednosti iteracija dobijenih Njutnovim postupkom

Nedostatak Njutnove metode u sluaju velikog broja promenljivih i
komplikovanijih oblika funkcije , je da zahteva mnogo raunskih operacija te je skupa.
Naime, u svakoj iteraciji potrebno je izraunati
elemenata matrice Hesijana i reiti
sistem linearnih jednaina, to je skupo kad je re o problemima velikih dimenzija. Osim
toga, Njutnova metoda je lokalno konvergentna, pa zahteva modifikacije u sluaju kada
je poetna iteracija daleko od reenja. Jedna od modifikacija je oblika
26
Master rad
gde se korak
odreuje minimizacijom
. U blizini reenja oekuje se
.
Ostale modifikacije Njutnovog postupka mogu se podeliti u dve grupe i to su kvaziNjutnovi postupci i netani Njutnovi postupci.
3.3 Kvazi-Njutnovi postupci

Za reavanje problema optimizacije bez ogranienja esto se koristi metod koji
spada u grupu kvazi-Njutnovih postupaka i zove se modifikovani Njutnov metod.
Iterativno pravilo ovog postupka je
simetrina matrica dimenzije

, a
se odreuje kao minimum od
. U sluaju da je matrica
ba inverzni Hesijan i
, u pitanju je Njutnov
metod, a ukoliko je
dobija se metod najbreg pada. Kao i ranije, potrebno je
pretpostaviti da je matrica
pozitivno definitna i ona treba da bude dovoljno dobra
aproksimacija inverznog Hesijana.
gde je
Za dokaz konvergencije ovog postupka, radi jednostavnosti, posmatran je

specijalan sluaj kada je funkcija cilja kvadratna
simetrina, pozitivno definitna matrica i
gde je
. Tada je
(15a)
gde je
(15b)
Poto je
kvadratna funkcija,
se moe eksplicitno izraziti kao

(15c)
Sledi teorema o konvergenciji u sluaju kada je
kvadratna funkcija.

jedinstveno reenje problema (12) i neka je niz
generisan modifikovanim Njutnovim postupkom. Definie se funkcija
. Tada za svako
vai
(16)
gde su
redom najmanji i najvei karakteristini koreni matrice

27
Master rad
Dokaz:
Direktnom zamenom sledi
Ako se stavi da je
tada je
Iz Kantorovieve nejednakosti sledi
gde su
redom najmanji i najvei karakteristini koreni matrice
sledi da je matrica
slina matrici
. Kako je
te ima iste karakteristine korene.
Iz ove teoreme se vidi, da ako je matrica

dovoljno dobra aproksimacija za
,
onda e se najmanji i najvei karakteristini koreni malo razlikovati pa e konvergencija
biti brza. U sluaju kada funkcija cilja nije kvadratna, pria je analogna. Dakle matrica
treba da bude dovoljno dobra aproksimacija za inverzni Hesijan
, da bi
postupak bre konvergirao.
Kantorovieva nejednakost
Neka je
pozitivno definitna, simetrina matrica dimenzije
vektor vai
gde su
najmanji i
najvei karakteristini koreni matrice .
28
. Tada za bilo koji
Master rad
U grupu kvazi-Njutnovih postupaka spada i metod koji kombinuje najbolja

svojstva metode najbreg pada i Njutnove metode. Ideja je da se u poetku primenjuje
metoda najbreg pada koja je globalnog karaktera, a kad se doe blizu reenja da se
primeni Njutnova metoda koja je brza. Neophodna pretpostavka za primenu ove metode
jeste da je
.
Na poetku se poinje Koijevom metodom najbreg pada, to daje velike poetne
skokove
a zavrava se Njutnovom metodom sa
, to e garantovati kvadratno zavravanje
Ovde se umesto Hesijana koristi neka njegova aproksimacija
Na poetku metode se stavlja da je
, tj.
, tj.
je jedinina matrica. Tada je
to se poklapa sa Koijevom metodom.

Kao i ranije,
optimizacije funkcije
iz take
se nalazi reavanjem problema jednodimenzionalne

u smeru
Kako bi metoda imala kvadratno zavravanje, potrebno je da u svakom koraku

matrica
bude upotpunjena tako da dobro aproksimira inverzni
Hesijan
kada je
blizu take optimuma.

U sluaju kada funkcija cilja ima oblik kvadratne forme
gde je A pozitivno definitna matrica, posle

inverznom Hesijanu funkcije , tj.
iteracija matrica
Postoje razliiti naini upotpunjavanja matrice

njih.
29
treba da bude jednaka
, a ovde je naveden jedan od

se upotpunjuje pomou dve matrice
Matrica
Master rad
i
tako da vai
gde matrice
i
imaju rang jednak jedinici, to znai da u optem sluaju matrica
ima rang jednak broju dva. Ova metoda se naziva Davidon-Fletcher-Powell
(DFP) metoda.
Algoritam 3. DFP metoda

Korak 1. Izabrati poetnu aproksimaciju i poetnu pozitivno definitnu matricu
(esto
se uzima
). Izraunati gradijent funkcije u taki , tj.
. Odrediti
kriterijum za zaustavljanje, npr. sa nekim malim
. Staviti
.
Korak 2. Izraunati smer pretraivanja funkcije
Korak 3. Nai
iz take
kao reanje problema jednodimenzionalne optimizacije u smeru
Korak 4. Izraunati
i novu aproksimaciju
Ako je
algoritam se zaustavlja i optimalno reenje je

nastaviti sa algoritmom.
Korak 5. Matrica
Staviti
se upotpunjava na sledei nain:
i vratiti se na Korak 2.
30
. Ako je

Potrebno je napomenuti da se vektor
moe uzeti
Master rad
u koraku 2. moe normalizovati, tj. za
se
Ova normalizacija doprinosi stabilnosti metode. Takoe, za gradijente izraunate u dve

uzastopne iteracije vai relacija ortogonalnosti
Lema 3. [8] U DFP metodi svaka matrica

definitna.
, izraunata u Algoritmu 4 je pozitivno
Dokaz:
Dokaz se izvodi indukcijom. Po pretpostavci, poetno
je pozitivno definitno.
Pretpostavlja se da je i
za neko
pozitivno definitno. Treba pokazati da iz ovoga
sledi da je i
pozitivno definitna matrica.
Kako su
simetrine matrice, sledi da je i njihov zbir
Treba jo pokazati da je
Iz definicije
simetrina matrica.
iz Algoritma 4 sledi
to znai da je
smer u kome funkcija opada iz take
je matrica
po pretpostavci pozitivno definitna, sledi
i zbog toga je
. Kako
(17)
gde je
neka pozitivno definitna matrica. Neka za neki proizvoljan vektor
, vai
Sada je
pa na osnovu (17) i uvedenih oznaka, sledi
jer je
prema tzv. nejednaini Cauchy-Schwartz-Bunjakovskog.

31
Master rad
Sada je
zbog svojstva ortogonalnosti
prema definiciji
Kako je
a odavde je
i isto tako (zbog pozitivne definitnosti matrice

.
) sledi
, to je i trebalo dokazati.
Iz ovoga sledi da je
Potrebno je napomenuti, da se u dokazu pretpostavilo da je

, tj. da
nije
stacionarna taka. U sluaju da ovo ne vai, algoritam se zavrava u -toj iteraciji i gornji
rezultat vai samo za
.
Lema 4. [6] Neka je funkcija cilja kvardatna forma
. Tada vai
sa pozitivno definitnom matricom ,
Teorema 14. [6] Kada se DFP algoritam primeni na funkciju cilja koja je kvadratna
forma
gde je A pozitivno definitna simetrina matrica, minimum se dobija u najvie

Ako se reenje dobija u -tom koraku onda je
iteracija.
Dokaz:
Neka su u DFP algoritmu dobijeni vektori
(ako reenje nije
dobijeno ranije). Oni su na osnovu Leme 5 linearno nezavisni i mogu generisati ceo
prostor
. Koristei Lemu 4 vai
. Poto vektori
ine bazu prostora, sledi da je
za svako
, pa sledi
. Dalje je
prema Lemi 4
Poto je
, tj.
normalno na
.
linearno nezavisnih vektora

32
sledi
Master rad
Primer 5. Odrediti minimum funkcije
DFP metodom iz poetne take
Reenje:
Kako je data funkcija kvadratna i strogo konveksna, sledi da e se reenje nai u najvie
dva koraka. Zbog toga se ne odreuje pravilo zaustavljanja. Za poetnu pozitivno
definitnu matricu
se bira da je jedinina matrica.
Neka je gradijent funkcije
tada je gradijent u poetnoj taki
Dalje, je
Sada se trai optimalna duina koraka

minimizacije
. Ono se nalazi kao reenje sledeeg problema
Odavde sledi
pa je
Sada je prva iteracija
Sledi upotpunjavanje matrice
33
Master rad
Rauna se druga iteracija.
Optimalna duina koraka
se nalazi kao reenje sledeeg problema minimizacije
Odavde sledi
pa je
Sada je druga iteracija
to je i traeni minimum.
34
Master rad
3.4 Metoda konjugovanih gradijenata

Metoda konjugovanih gradijenata je nastala sa idejom da se dobije postupak koji
je bri od metode najbreg pada, a s druge strane da se izbegne izraunavanje Hesijana i
reavanje sistema jednaina, tj. da se dobije postupak koji je jeftiniji od Njutnovog
postupka.
Postupak konjugovanih gradijenata je modifikacija postupka najbreg pada, u
smislu da se kod ove metode drugaije bira pravac pretraivanja.
Kod ovog postupka uzastopni pravci nisu meusobno ortogonalni, kao to je to
sluaj kod metode najbreg pada, ve su konjugovani u odnosu na simetrinu pozitivno
definitnu matricu.
Definicija 15. Neka je pozitivno definitna matrica reda . Pravci
su konjugovani u odnosu na matricu , tj. -konjugovani, ako vai
Lema 5. [6] Pravci konjugovani u odnosu na pozitivno definitnu matricu su linearno

nezavisni.
linearni vektorski potprostor dimenzije m u prostoru . Skup
, gde je
, naziva se linearna mnogostrukost dimenzije m. Mnogostrukost
dimenzije
se naziva hiperravan, a linearna mnogostrukost dimenzije 1 je prava.
Lema 6. [6] Skup
je hiperravan prostora
. Vektor je vektor normale hiperravni .
Sledi algoritam za metodu konjugovanih gradijenata.

Algoritam 4. Metoda konjugovanih gradijenata
Korak 2. Ako je
. Zadati
za izlazni kriterijum.
tada je
Korak 3. Staviti
Korak 4. Nai
kao reenje problema
Korak 5. Staviti
Korak 6. Izraunati
izraunati
.
Ako je
tada je
35
reenje, inae

gde se
Master rad
se rauna na jedan od sledea tri naina
Korak 7. Zameniti
sa
i ii na korak 4.
Za primenu ove metode potrebno je da je

odreujemo sa .
, a ak i
ako
Specijalan sluaj metode konjugovanih gradijenata je sluaj kada funkcija cilja

ima oblik kvadratne forme
gde je
simetrina, pozitivno definitna matrica reda ,
. Tada se do
reenja dolazi slino kao u Algoritmu 2, sa tim da se
i
raunaju na sledei nain
Potrebno je napomenuti da ako funkcija cilja ima oblik kvadratne forme, tada
metoda konjugovanih gradijenata daje reenje u najvie n koraka, gde je n dimenzija
problema.
Teorema 15. [6] Neka je funkcija cilja oblika kvadratne forme
gde je
i neka su pravci
36
odreeni sa
Master rad
gde je
Tada vai:
1) Pravci
su konjugovani u odnosu na matricu
linearno nezavisni.
2)
pripada linearnoj mnogostrukosti dimenzije
i vektori
su
, koja je data izrazom
3) Metoda konjugovanih gradijenata daje minimum kvadratne forme u najvie
koraka.
Dokaz:
1) Teorema se dokazuje indukcijom. Prvo treba pokazati da tvrenje vai za
vai
, tj. da
Zbog simetrinosti matrice je
a iz definicije koraka
sledi
Sad jo treba dokazati da su

suprotno, tj. da postoje konstante
i
i
linearno nezavisni vektori. Pretpostavlja se

takve da je
pri emu je bar jedna od konstanti

ili
razliita od nule. Neka je
. Mnoenjem
ove jednakosti skalarno sa
dobija se da je
, a mnoenjem sa
dobija se da je
, to je u kontradikciji sa pretpostavkom. Dakle, vektori su linearno nezavisni.
Dokaz za
je analogan prethodnom.
37

2) Kako je
Dakle,
Master rad
minimum, sledi da je
, tj.
. Sada je
3) Kada je
sledi da je
. Kada je pak,
sprovodi se
postupak konjugovanih gradijenata. Kako je
sledi da je
dimenzije nula, dakle
. Ukoliko pre -tog koraka ne postoji sluaj kada je
, sledi da je
, tj.
.
Ukoliko pak funkcija cilja nema oblik kvadratne forme, tada ne postoji garancija u
koliko koraka se dolazi do reenja. Moe se desiti da doe do nagomilavanja greaka, pa
se zato nakon odreenog broja koraka radi restart tj. uzima da je
, tj. za pravac
pretraivanja se bira pravac negativnog gradijenta i ta modifikacija se naziva metoda
konjugovanih gradijenata sa restartom. Ova metoda je uoptenje metode najbreg pada.
Njena brzina konvergencije je data istom formulom kao kod metode najbreg pada, s tim
to su veliki karakteristini koreni eliminisani iz razmatranja, o emu govori naredna
teorema.
i neka je
lokalni minimum od
. Neka je
simetrina i pozitivno definitna matrica iji je najmanji karakteristini koren , a
najvei
i koja ima
karakteristinih korena u intervalu
, a
preostalih
karakteristinih korena veih od . Ako niz
generisan metodom
konjugovanih gradijenata sa restartom svakih
koraka (tj.
se dobija iz
na
osnovu
konjugovano gradijentnih koraka) konvergira ka
, tada
konvergira ka
sa koeficijentom brzine
Primer 6. Metodom konjugovanih gradijenata odrediti minimum funkcije
gde je
, a poetna taka je
Reenje:
Funkcija cilja se moe zapisati kao
i ona ima oblik kvadratne forme, gde je
38
Master rad
S obzirom na to da je funkcija cilja kvadratna, do reenja se dolazi u najvie dva koraka.
Gradijent funkcije cilja je oblika
tj.
Poto je
nije reenje.
, dakle
Trai se prva aproksimacija
gde je
Sada je
Kako je
, sledi da
Trai se druga aproksimacija
gde je
39
nije reenje.
Master rad
Sada je
pa je
Poto je
, tj
, sledi da je
reenje problema.
Primer 7. Odrediti minimum funkcije
metodom konjugovanih gradijenata, sa poetnom iteracijom
Reenje:
Zadatak je reenjen u programskom paketu Matlab. Naredni M-file-ovi koji se koriste pri
odreivanju minimuma ove funkcije.
Prvi M-file se odnosi na raunanje gradijenta funkcije :
function g= grad(f,x,h)
%racuna gradijent funkcije f(x)
if nargin<3, h=.00001; end
h2= 2*h; N= length(x);
I= eye(N);
for n=1:N
g(n)= (feval(f,x+I(n,:)*h)-feval(f,x-I(n,:)*h))/h2;
end
Sledei M-file se odnosi na odreivanje minimuma.

function [xo,fo] = opt_conjg(f,x0,TolX,TolFun,alpha0,MaxIter,KC)
%KC = 2: Koristi metod konjugovanih gradijenata
if nargin < 7, KC = 0; end
if nargin < 6, MaxIter = 100; end
if nargin < 5, alpha0 = 10; end
if nargin < 4, TolFun = 1e-8; end
if nargin < 3, TolX = 1e-6; end
N = length(x0); nmax1 = 20; warning = 0; h = 1e-4;%dimenzije promenljive
x = x0; fx = feval(f,x0); fx0 = fx;
for k = 1: MaxIter
xk0 = x; fk0 = fx; alpha = alpha0;
g = grad(f,x,h); s = -g;
for n = 1:N
alpha = alpha0;
fx1 = feval(f,x + alpha*2*s);
for n1 = 1:nmax1 %Nalazi optimalnu duzinu koraka
fx2 = fx1; fx1 = feval(f,x+alpha*s);
40
Master rad
if fx0 > fx1 + TolFun && fx1 < fx2 - TolFun %fx0 > fx1 < fx2
den = 4*fx1 - 2*fx0 - 2*fx2; num = den-fx0 + fx2;
alpha = alpha*num/den;
x = x+alpha*s; fx = feval(f,x);
break;
elseif n1 == nmax1/2
alpha = -alpha0; fx1 = feval(f,x + alpha*2*s);
else
alpha = alpha/2;
end
end
x0 = x
fx0 = fx
if n < N
g1 = grad(f,x,h);
if KC <= 1, s = - g1 +(g1 - g)*g1'/(g*g'+ 1e-5)*s;
else s = -g1 + g1*g1'/(g*g'+ 1e-5)*s;
end
g = g1;
end
if n1 >= nmax1, warning = warning+1;
%nije nadjena optimalna duzina koraka
else warning = 0;
end
end
if warning >= (norm(x - xk0,2)<TolX&&abs(fx - fk0)< TolFun),break;
end
end
xo = x; fo = fx;
if k == MaxIter, fprintf('Just best in %d iterations',MaxIter),
end
Sada se u Matlab prozoru izvrava program:

>> f = inline('x(1).^2 - 4*x(1) - x(1).*x(2) + x(2).^2 - x(2)','x');
>> x0 =[0 0]; TolX = 1e-4; TolFun = 1e-4; alpha0 = 10; MaxIter = 100;
>> [xo,fo] = opt_conjg(f,x0,TolX,TolFun,alpha0,MaxIter,2)
x0 =
2.6154
0.6538
fx0 =
-5.5577
x0 =
3.0000
2.0000
fx0 =
-7.0000
41
Master rad
xo =
3.0000
fo =
2.0000
-7.0000
Dakle, minimum funkcije je
. U sledeoj tabeli su navedene sve iteracije
dobijene metodom konjugovanih gradijenata.
k
0
1
2
0
2.6154
3.0000
0
0.6538
2.0000
0
-5.5577
-7.0000
Tabela 3. Vrednosti iteracija dobijenih metodom konjugovanih gradijenata

Dakle, metodom konjugovanih gradijenata reenje je dobijeno u drugoj iteraciji, a
isti ovaj zadatak je reen prethodno metodom najbreg pada gde je reenje dobijeno u 13.
iteraciji.
Metode konjugovanih gradijenata se odlikuju kvadratnim zavravanjem, meutim
numeriki rezultati pokazuju da su one osetljive na izbor duine koraka, pa mogu biti
neefikasne u nekim sluajevima. One daju dobre rezultate pri reavanju problema bez
ogranienja velikih dimenzija, jer ne koriste loe uslovljene matrice za izraunavanje
pravaca pretraivanja.
42
Master rad
4 Optimizacija sa ogranienjima - Metode kaznenih funkcija

Posmatra se problem minimizacije sa ogranienjima oblika
(18)
gde je
dopustiv skup.
Meu najjednostavnije i najpopularnije metode za reavanje problema ovog tipa

spadaju metode kaznenih funkcija. One svode problem (18) na niz problema optimizacije
bez ogranienja.
Prvu kaznenu funkciju sa ogranienjima tipa jednakosti uveo je Kourant
(Courant) 1943. godine, a 1969. godine Pietrgikovski (Pietrgykowski) je analizirao ovaj
pristup za reavanje nelinearnih problema. Znaajan napredak u reavanju praktinih
problema korienjem metoda kaznenih funkcija dali su Fiako i Mekormik, u svom radu
pod nazivom tehnike sekvencijalne neograniene minimizacije (SUMT), a 1968. godine
oni su predstavili efikasne algoritme za optimizaciju korienjem metoda kaznenih
funkcija. Ovom tematikom bavio se i Fleer (Fletcher) koji je uveo neke nove koncepte
kaznenih funkcija.
Metode kaznenih funkcija su procedure za reavanje problema optimizacije sa
ogranienjima pomou niza problema optimizacije bez ogranienja. Kod ovih postupaka
aproksimacija se postie dodavanjem kaznenog lana funkciji cilja u delu domena koji ne
zadovoljava data ogranienja (nedopustivo podruje). Ovako se pogorava vrednost tako
modifikovane funkcije cilja, i take u nedopustivom podruju e postati loe
(nekonkurentne), to proces traenja prilikom optimizacije tera iz nedopustivog
podruja. Kako su ogranienja ugraena u modifikovanu funkciju cilja, problem
postaje problem bez ogranienja, pa se za njegovo reavanje mogu primeniti postupci koji
se koriste u tu svrhu.
Modifikovana funkcija cilja se u dopustivom podruju mora poklapati sa zadatom
funkcijom cilja. Zbog toga je vano da parametar koji odreuje teinu kazne ima
zanemarljiv uticaj na iznos funkcije cilja na dopustivom skupu.
Meutim, u delu domena koji ne zadovoljava ogranienja, funkcija cilja treba da
prima velike vrednosti. To se postie dodavanjem kaznenog lana, koji je definisan na
takav nain. Kako se funkcija cilja modifikuje, mogue je primeniti postupke za
optimizaciju problema bez ogranienja, a da ogranienja ipak budu zadovoljena.
Namee se vano pitanje, koliko dobro problem bez ogranienja vri
aproksimaciju originalnog problema sa ogranienjima. Ovo je od sutinskog znaaja za
ispitivanje toga, da li reenje problema bez ogranienja konvergira ka reenju originalnog
problema.
Drugo pitanje, koje se postavlja kod ovakvih problema jeste, kako da se rei dati
problem bez ogranienja, kada njegova funkcija cilja sadri kazneni lan, jer je obino
struktura pomonog problema bez ogranienja mnogo sloenija, to moe usporiti
konvergenciju algoritama koji se koriste za reavanje takvih problema.
43
Master rad
Ukoliko funkcilja cilja i ogranienja nisu diferencijabilni u domenu, tada se za

reavanje niza problema optimizacije bez ogranienja koriste negradijentne metode, kao
to su napr. metoda Hooke-Jeeves, Nelder-Mead simpleks postupak, Powellov postupak i
dr.
Ukoliko su pak funkcija cilja i ogranienja diferencijabilne, tada se mogu
primeniti gradijentne metode. Neke od najee korienih metoda u tu svrhu su postupak
konjugovanih gradijenata, Njutnov postupak, kvazi-Njutnovi postupci i konjugovani
gradijenti sa restartom.
Metode kaznenih funkcija su jednostavne za primenu, a u ovom radu su
predstavljene metode spoljanjih i unutranjih (barijernih) kaznenih funkcija, kao i
njihove kombinacije sa metodom konjugovanih gradijenata i Njutnovom metodom.
44
Master rad
4.1 Metoda spoljanjih kaznenih funkcija

Kao to je reeno, osnovna ideja metoda kaznenih funkcija jeste svoenje
problema (18) na niz pomonih problema.
Problem (18) se moe priblino reiti reavanjem niza problema minimizacije bez
ogranienja oblika
(19)
gde je
Funkcije
su pomone funkcije, koje se odreuju tako da se sa porastom
broja sve manje razlikuju od funkcije cilja
na skupu , a van dopustivog skupa
trpe beskonano veliku kaznu, to se postie uvoenjem kaznenog dodatka.
Skup
je najee ceo prostor
ili neki njegov podskup. U ulozi skupa
obino se uzima skup koji je zadat na jednostavan nain, tako da minimizacija pomonih
funkcija
na skupu
ne predstavlja veliki problem.
Definicija 17. Kaznene funkcije skupa na skupu
(
su funkcije
koje su definisane i nenegativne na skupu
sa osobinom
Proirena funkcija
u (19) ima oblik
pa se reava niz problema

(20)
Neka je
fiksirano se obeleava sa
. Reenje problema (19) za

, odnosno
Za iroku klasu problema vai

ili
, a je optimalno reenje problema (18).
, gde je
Ukoliko se neki od problema (20) ne mogu tano reiti, reavaju se priblino

nekom metodom tako da vai
45
Master rad
U dopustivom podruju problema, vrednosti ukupne modifikovane funkcije cilja

su manje, jer tu nema kaznenog dodatka, zbog ega se ne stvara zid kako tok traenja
ne bi izaao iz dopustivog podruja, ve kazneni dodatak gura tok traenja optimuma u
dopustivo podruje. Kod spoljanjih kaznenih funkcija poetna taka i druge take za
vreme procesa traenja optimuma ne moraju biti u dopustivom podruju.
Oblik kaznenih funkcija osigurava porast modifikovane funkcije cilja van
dopustivog skupa, dok u dopustivom skupu nema kazne, tj. kazneni dodatak je nula.
Na slici 2. se vidi geometrijska interpretacija jednog niza spoljanjih kaznenih
funkcija
Slika 2. Niz spoljanjih kaznenih funkcija
Neka je dopustiv skup
definisan na sledei nain

.
Jedna od najee korienih spoljanjih kaznenih funkcija za skup
(21)
je
gde je
(22)
ili
,
gde su
sa osobinom
,
i zovu se kaznene konstante (kazneni parametri).

46

Ukoliko su funkcije
.
za
Master rad
, tada je za bilo koje
U praksi se obino za uzima vrednost , jer to obezbeuje da je

tj. da ima neprekidan prvi izvod.
klase
Ako se kaznena funkcija

bira na pomenut nain, tada ona nasleuje dobra
svojstva funkcija
, tj. ako su funkcije
diferencijabilne i/ili konveksne, to
e vaiti i za
.
Metoda spoljanjih kaznenih funkcija data je sledeim algoritmom.
Algoritam 5. Metoda spoljanjih kaznenih funkcija
niz koji tei beskonanosti, tako da je za svako
Korak 1. Neka je
.
Korak 2. Za svako
definie se funkcija
i reava se problem
odakle se dobija reenje
U koraku 2. se pretpostavlja da za svako
problem minimizacije ima reenje.
Za konvergenciju navedenog postupka bitan je odnos funkcije cilja i ogranienja u

datom problemu.
Definicija 18. Ogranienja
skupu
ako za bilo koji niz
su saglasna sa funkcijom cilja

sa osobinom:
na
(23)
sledi

(22). Neka su ogranienja u (21) saglasna sa funkcijom cilja
47
gde je
definisana sa
na . Tada vai
Master rad

(22). Neka je
gde je
definisana sa
Tada je
ako i samo ako su ogranienja saglasna sa funkcijom cilja na

Definicija 19. Taka
pridruene problemu (18) gde je skup
je sedlasta taka funkcije Lagrana

definisan sa (21), ako vai:
gde je
Lema 7. [6] Ako funkcija Lagrana pridruena problemu (18) sa dopustivim skupom
(21) ima sedlastu taku, onda su ogranienja
saglasna sa funkcijom
cilja
na .
Dokaz:
sedlasta taka funkcije Lagrana
Neka je
,
,
. Neka niz
(23).
Tada je
Kako je
, sledi
Zbog (23) je
pa sledi
a to znai da su ogranienja saglasna sa funkcijom cilja.
48
ima osobinu
Master rad
Teorema 19. [6] Ako funkcija Lagrana problema (18) sa dopustivim skupom
definisanim sa (21) ima sedlastu taku i ako je funkcija cilja
ograniena sa donje
strane na
, tada za niz
sa osobinom (23) vai
Dokaz:
Dokaz sledi direktno primenom Teoreme 18 i Leme 7.
U sledeoj lemi navedene su nejednakosti koje proizilaze direktno iz definicije
i nejednakosti
Lema 8. [2]
Dokaz:
i) Iz definicije
sledi
ii) Vai da je
Sabiranjem prethodna dva izraza dobija se sledea nejednakost
odakle sledi ii).

iii) Takoe vai
koristei nejednakost pod ii) dobija se njednakost iii).
49

Lema 9. [2] Neka je
reenje problema (19). Tada za svako
Master rad
vai
Dokaz:

niz generisan Algoritmom 5. Tada, svaka granina taka
niza predstavlja reenje problema (19).
Dokaz:
Neka da je niz
,
konvergentan podniz od
je funkcija cilja neprekidna, sledi
ija je granica . Kako
Neka je
vrednost funkcije cilja u optimalnoj taki problema (19). Tada, prema
Lemi 8 i 9, niz vrednosti
je neopadajui i ogranien sa . Dakle,
Kada se prethodna dva izraza oduzmu, dobija se
Poto (
, sledi
Kada se iskoristi da je funkcija

neprekidna, sledi da je
granina taka dopustiva za (19). Na osnovu Leme 9 je
, to znai da je
, pa je
Metoda spoljanjih kaznenih funkcija je ilustrovana kroz nekoliko primera.

Primer 8. Dati problem optimizacije sa ogranienjima
reiti pomou metode spoljanjih kaznenih funkcija.
50
Master rad
Reenje:
Zadatak se reava tako, to se problem svodi na reavanje niza zadataka oblika
a pri tom se koriste kaznene funkcije oblika (22). Tada je funkcija

sledei nain
i vai da su
pozitivni brojevi takvi da
definisana na
Moe se uoiti da je funkcija

konveksna i neprekidno diferencijabilna za svako ,
pa se minimum moe nai diferenciranjem. Posmatraju se dva sluaja:
1.
Tada je
ne zadovoljava uslov
2.
, odakle je
, to se odbacuje jer
.
.
Tada je modifikovana funkcija cilja oblika
Dalje je
pa je reenje prethodne jednaine
Kako ovo reenje zadovoljava uslov

S obzirom da je
sledi
tj.
, usvaja se.
Poto je ovo problem konveksnog programiranja i

zaista reenje, potrebno je koristiti sledeu teoremu.
51
, da bi se pokazalo da je
Master rad
Teorema 21. [6] Neka je konveksan skup,

konveksna na
je skup taaka minimuma funkcije
na skupu , tj.
i neka
.
Tada vai
ako i samo ako je
zaista reenje Primera 4, treba pokazati da
Dakle, da bi se pokazalo da je
vai
tj.
Ovo je tano, to znai da
jeste reenje polaznog problema i
optimalna vrednost funkcije cilja.
je
Primer 9. Neka je dat sledei problem minimizacije
Reiti ga metodom spoljanjih kaznenih funkcija.

Reenje:
Umesto ovog problema, reava se niz zadataka oblika
gde je
modifikovana funkcija cilja. Poto je
funkcija, reava se sistem jednaina
neprekidno diferencijabilna i konveksna
Odatle se dobije
52
Master rad
pa je
Dakle, niz
konvergira i
Poetni problem je problem konveksnog programiranja i

. Zbog toga je
potrebno pokazati da
zaista reenje. To se pokazuje pomou Teoreme 21,
tj. treba pokazati da je
Kako je
zbog ogranienja
, sledi da je
zaista reenje polaznog problema, a optimalna vrednost funkcije cilja je
Napomena:
Tano reenje se u prethodnim primerima trailo diferenciranjem. Ovo je bilo
mogue jer su funkcije
diferencijabilne i jednostavne. Kada je u pitanju problem
optimizacije veih dimenzija, koriste se neke od postojeih metoda za optimizaciju bez
ogranienja. Nedostatak tih metoda jeste da one daju samo priblino reenje tih problema.
Kako su kaznene funkcije kvadratne, one osiguravaju neprekidnost nagiba
modifikovane funkcije cilja, mada drugi izvodi nisu neprekidni na rubu dopustivog
podruja. Zbog toga se vie preporuuju kvazi-Njutnovi postupci za reavanje problema
bez ogranienja, jer se kod aproksimacije Hesijana koristi samo prvi izvod funkcije cilja.
metodom spoljanjih kaznenih funkcija uz ogranienje
polazei iz poetne take
.
53
Master rad
Reenje:
Problem je reen u programskom paketu Matlab, korienjem kaznene funkcije oblika
Modifikovana funkcilja cilja je
U programskom paketu Matlab napravi se M-file za reavanje datog problema.

Izgled M-file-a je sledei:
function f=FunkcijaKaznena(x)
fun=(x(1)-2)^2+(x(2)-3)^2+4;
kaz=10;
ogr1=(x(1)+x(2)-3);
%spoljasnja kaznena funkcija
pen=(ogr1+abs(ogr1))^2/2;
f=fun+kaz*pen;
Sada se izvrava program:

>> FunkcijaCilja=@FunkcijaKaznena;
BrojVarijabli=2;
x0=[5 5];%spoljasnja pocetna tacka
options=optimset(LargeScale,off);
[x,fval,exitflag,output]=fminunc(FunkciljaCilja,x0,options
Za razne vrednosti kaznenog parametra dobijaju se sledei rezultati, prikazani u Tabeli 4.:
taka
0
1
2
3
4
5
kaznena
konstanta
optimum
0.0001
0.1
1
10
1000
funkcija
cilja
17
4
4.57
5.6
5.95
5.99
iznos
ogranienja
poetna taka
2
1.42
0.4
0.04
0.0004
Tabela 4. Rezultati dobijeni metodom spoljanjih kaznenih funkcija

Iz tabele se vidi da je optimalno reenje
i optimalna vrednost funkcije cilja je
.
54
Master rad
Geometrijska interpretacija toka traenja optimuma data je na slici 3.
Slika 3. Tok traenja optimuma

Primer 11. Reiti problem
metodom spoljanjih kaznenih funkcija, gde je
Reenje:
Modifikovana funkcija cilja je oblika
Problemi
,
se reavaju priblino koristei funkciju FindMinimum[ ] u programskom paketu

Mathematica.
55
Master rad
Uzimajui pozitivan rastui niz parametara kazne, dobija se

za
FindMinimum[(x^2)*(y^2)+(x+y)^2+(1-x-y^2)^2, {x,0},{y,0}]
{0.113106,{x0.541556,y-0.550815}}
za
FindMinimum[(x^2)*(y^2)+10*(x+y)^2+10*(1-x-y^2)^2, {x,0},{y,0}]
{0.141549,{x0.607655,y-0.609932}}
za
{0.145448,{x0.616957,y-0.617204}}
za
{0.145853,{x0.617926,y-0.617951}}
za
{0.145894,{x0.618023,y-0.618026}}
za
{0.145898,{x0.618033,y-0.618033}}
za
{0.145898,{x0.618034,y-0.618034}}
za
{0.145898,{x0.618034,y-0.618034}}
Sledi da je optimalno reenje dobijeno kada je
i optimalna vrednost funkcije cilja je
pri tome su ogranienja zadovoljena sa grekom reda 10-6.
56
Master rad
4.2 Metoda unutranjih kaznenih funkcija (barijernih funkcija)

Metoda unutranjih kaznenih funkcija, nasuprot postupku spoljanih kaznenih
funkcija, zahteva dopustivu, unutranju poetnu taku. Kada se tokom postupka
traenja optimuma trenutna taka priblii ogranienju, iznos modifikovane funkcije cilja
mora znaajno da poraste zbog kaznenog dodatka, da bi se postupak traenja
vratio u dopustivo podruje. Zbog toga, odabrana kaznena funkcija za ogranienja
nejednakosti u dopustivom podruju mora imati zanemarljiv (mali) doprinos iznosu
funkcije cilja, a progresivno veliki iznos u blizini rubova dopustive oblasti. Unutranja
kaznena funkcija na ovaj nain formira takozvanu barijeru na rubovima dopustivog
podruja, koja spreava da postupak traenja izae iz dopustivog skupa. Dakle, kazneni
dodatak predstavlja barijeru protiv izlaska iz dopustive oblasti. Ova metoda generie niz
dopustivih taaka, ija granica predstavlja optimalno reenje originalnog problema.
Neka je dat problem
(24)
gde je
dopustiv skup.
Pri reavanju problema (24) konstruie se konvergentan niz

elementi aproksimiraju reenje, a lee van nekog zabranjenog skupa
moe desiti da je
.
iji
. Pri tome se
Ukoliko je granica skupa zadata komplikovanim izrazima potrebna je izolacija

nekog podskupa skupa , jer bi u suprotnom raunanje taaka
zahtevalo dosta
vremena, a moglo bi usporiti ili dovesti u pitanje konvergenciju. Ideja je da se optimalnoj
taki
pribliava kroz skup
, a kada se doe u blizinu take , ukoliko ona
pripada skupu omoguava se preskakanje barijere.
i neka je funkcija
nenegativnim i konanim vrednostima. Funkcija
funkcija skupa , ukoliko za svaki niz
, vai
definisana na skupu
sa
se naziva barijera ili barijerna
koji konvergira ka nekoj taki
Umesto problema (24) reava se niz problema oblika

(25)
gde je
je niz pozitivnih brojeva sa osobinom
57
Master rad
Problem (25) je takoe problem sa ogranienjima, ali se moe reiti nekom

metodom za optimizaciju bez ogranienja, polazei od take koja je unutranja. Poto
funkcija cilja tei ka beskonanosti u blizini granice dopustivog skupa, minimum funkcije
e pripadati unutranjosti skupa . Zato je sa raunarske take gledita problem
(25) ustvari problem bez ogranienja.
Neka je
. Kako je
za
, sledi
da je
. Ako je
, problemi (25) imaju reenje. To reenje moe biti
odreeno primenom neke metode koja daje priblino reenje, pa se niz
moe
definisati sa
gde je
je greka metode).
Zahtev da skup dopustivih reenja sadri unutranje take je od velike vanosti za

konvergenciju metode. Oigledno je da ovo iskljuuje mnoge probleme koji sadre
ogranienja oblika jednakosti.
Definie se dopustiv skup
Tada se unutranjost skupa
a sa
granica skupa
na sledei nain
moe oznaiti sa
, tj.
).
Barijerne funkcije mogu biti definisane na neki od sledeih naina

(26)
(27)
Obino se za
uzima vrednost 1.
58
Master rad
Geometrijska interpretacija niza unutranjih kaznenih funkcija
data je na
slici 4.
Slika 4. Niz unutranjih kaznenih funkcija

Sledi algoritam za reavanje problema optimizacije sa ogranienjim pomou
metode unutranjih kaznenih funkcija.
Algoritam 6. Metoda barijernih funkcija
niz koji tei ka nuli, tako da je za svako
Korak 1. Neka je
.
definie se funkcija
Korak 2. Za svako
i reava problem
odakle se dobija reenje
Sledi teorema o konvergenciji.

Neka je niz
,i
odreen tako da je
, gde je
. Tada vai
.
Ako je zatvoren i ogranien skup, a funkcija

, tada niz
konvergira ka
, gde je
na skupu .
59
poluneprekidna funkcija od dole na

skup taaka minimuma funkcije
Master rad
Metoda unutranjih kaznenih funkcija zahteva da poetna taka

pripada
unutranjosti skupa , to znai da unutranjost dopustivog skupa mora biti neprazna.
Odreivanje poetne take oteava primenu ove metode. Meutim, za razliku od metode
spoljanjih kaznenih funkcija, metoda unutranjih kaznenih funkcija generie uvek niz
dopustivih taaka.
Slede primeri za ilustraciju metode unutranjih kaznenih funkcija.
Primer 12. Metodom barijernih funkcija, reiti problem optimizacije sa ogranienjima
Reenje:
U reavanju problema, koristie se kaznena funkcija oblika (27). Dakle, reava se
problem
gde je
je niz pozitivnih brojeva
za koje vai
. Unutranjost skupa
je
Kako je funkcija cilja diferencijabilna, reenje se dobija reavanjem sistema jednaina
Za svako
ovaj sistem se svodi na sistem
60

Kada se zameni izraz
Iz uslova
Za razliite
sa
Master rad
u prvu jednainu sistema, dobija se
sledi
reenje sistema je niz parova
, gde je
Poto je
, sledi da je optimalno reenje problema
,
a vrednost funkcije cilja
. Kako bi se proverilo da je ovo zaista reenje, potrebno je
proveriti uslove Teoreme 21. Zaista,
za
problema.
, pa sledi da je taka
Primer 13. Metodom barijernih funkcija reiti problem
Reenje:
Ogranienja se mogu zapisati u obliku
, tj.
Funkcija cilja se modifikuje uvoenjem kaznenih funkcija oblika (26)
pa se reava niz problema minimizacije bez ogranienja oblika
61
reenje
Master rad
Problem se svodi na reavanje sistema jednaina
ije reenje je
Kako je
, dobija se reenje poetnog problema
Kako je
sledi da je
reenje problema, a vrednost funkcije cilja u reenju je
Kada se meu ogranienjima problema nalaze i ogranienja oblika jednakosti,

skup dopustivih reenja nema unutranjost, pa se metoda unutranjih kaznenih funkcija
ne moe primeniti za reavanje takvog problema. Dakle, posmatra se problem oblika
U ovom sluaju moe se koristiti metoda meovitih kaznenih funkcija data u [8].
Ukoliko ogranienja tipa nejednakosti imaju unutranju taku, tada se ona tretiraju
kao da se radi o metodama unutranjih kaznenih funkcija, dok se ogranienja tipa
jednakosti posmatraju kao u metodama spoljanjih kaznenih funkcija. Dakle, u ovim
sluajevima, proirena funkcija cilja problema sa ogranienjima ima sledei oblik
gde je
jedna od ve pomenutih kaznenih funkcija, a

62

5
Master rad
Kombinacija metoda kaznenih funkcija i metoda optimizacije

bez ogranienja
Ve su pomenuta dva sutinski vana pitanja kod kaznenih funkcija i to su: koliko
dobro pomoni problem bez ogranienja aproksimira polazni problem sa ogranienjima, i
kako reiti pomoni problem bez ogranienja ija funkcija cilja sadri kazneni lan.
Sa poveavanjem kaznenog parametra
(kod spoljanjih kaznenih funkcija), i
smanjivanjem barijernog koeficijenta
(kod barijernih funkcija)
poboljava
se aproksimacija polaznog problema, ali struktura pomonog problema postaje mnogo
sloenija i komplikovanija to moe usporiti konvergenciju algoritma koji se koristi za
reavanje pomonog problema bez ogranienja. Upravo iz tog razloga direktna primena
Koijeve metode najbreg pada nije preporuljiva, ali se zato Njutnov postupak i njegove
modifikacije uspeno mogu primeniti za reavanje pomonog problema optimizacije bez
ogranienja kao i metoda konjugovanih gradijenata sa restartom koja je veoma pogodna u
tu svrhu.
U narednim poglavljima predstavljene su metode za reavanje pomonog
problema bez ogranienja koji sadri kazneni lan.
5.1 Kombinacija metode Lagranovih mnoitelja i kaznenih funkcija

Neka je dat polazni problem sa ogranienjima oblika
(28)
Ako dopustiv skup sadri ogranienja tipa jednakosti, ona se uvek mogu predstaviti preko
nejednakosti. Najoptija klasa spoljanjih kaznenih funkcija za problem (28) je
(29)
gde je
neprekidna funkcija
komponente od
.
, a
Na primer, za
vai
63
su
Master rad
Reeno je da se problem (28) aproksimira nizom problema oblika

(30)
gde je
,a
je dato sa (29).
Veina algoritama za reavanje ovog pomonog problema bez ogranienja (30)

zahteva da funkcija cilja bude klase
, pa je zato potrebno da
.
Pretpostavlja se da su
.
Neka je
a
je matrica
sa vrstama
prekide u takama gde je
za neko
ogranienjima. Da bi
, potrebno je da
Naalost,
obino ima
, tj. u aktivnim
. Pretpostavlja se da ako
tada
(31)
Uz ovu pretpostavku vai da
Na ovaj nain je obezbeeno
i izvod od
po
je neprekidan oblika
Jedan od naina za reavanje pomonog problema bez ogranienja (30) je metoda

Lagranovih mnoitelja. Poto su zadovoljeni uslovi za njenu primenu, za fiksno
problem (30) ima reenje
i vai
to se moe zapisati kao
gde je
(32)
vektor Lagranovih mnoitelja.
Dakle, za svako reenje problema (30) je vektor , kome se pridruuje vektor
Lagranovih mnoitelja
koji je takoe odreen nakon reavanja problema (30).
64
Master rad
Ako je
regularno reenje polaznog problema (28), tada postoji jedinstven
vektor Lagranovih mnoitelja koji odgovara reenju .
Definicija 21. Taka koja zadovoljava ogranienja problema (28) je regularna taka
ako su gradijenti aktivnih ogranienja u toj taki linearno nezavisni.
Naredna teorema tvrdi da
konvergira ka

niz generisan metodom spoljanjih kaznenih funkcija za
reavanje problema (28), sa kaznenom funkcijom oblika (29), gde je
za koje
vai (31). Neka su
odgovarajui vektori Lagranovih mnoitelja
za
. Tada, ako
konvergira ka regularnom reenju
polaznog
problema (28), onda
konvergira ka vektoru Lagranovih mnoitelja koji odgovara
reenju .
Vano je napomenuti da u optem sluaju ako
konvergira ka , tada poto
konvergira ka , niz
konvergira ka preko spoljanjosti dopustivog skupa.
5.2 Struktura Hesijana

Pomoni problem (30) moe se reiti i drugim metodama za optimizaciju bez
ogranienja. Odreivanje Hesijana funkcije
i poznavanje njegove strukture je
vano za primenu Njutnovog postupka i odreivanje brzine konvergencije postupka
najbreg pada, pa sledi analiza strukture Hesijana koja je predstavljena u [2].
Pretpostavlja se i dalje da je
najpoznatije kaznene funkcije
, ali ne i
. tavie, drugi izvod
ima prekide kada je

za neko , to znai da Hesijan ima prekide na rubu
dopustive oblasti, gde se najee nalazi reenje polaznog problema. Meutim, poto niz
generisan metodom spoljanjih kaznenih funkcija konvergira ka reenju preko
spoljanjosti dopustivog skupa, to znai da je u takama niza
Hesijan najee dobro
definisan, pa se moe primeniti standardna analiza.
Kako je
funkcije
u oznaci
gde su
i Hesijani od
Lagranove funkcije
, gde je
dato sa (29), sledi da je Hesijan
oblika
dobija se da je Hesijan funkcije
respektivno. Za fiksirano
oblika
65
, koristei (32) i Hesijan
Master rad
Prvi sabirak
konvergira ka Hesijanu Lagranove funkcije pridruene polaznom
problemu (28), kad
, i ta granina vrednost ne zavisi od kaznenog koeficijenta .
Drugi sabirak Hesijana
je matrica ranga koji je jednak broju aktivnih ogranienja
u reenju i koja tei ka beskonanosti kad
.
regularno reenje polaznog problema (28). Ako postoji
aktivnih nedegenerisanih ogranienja u , tada Hesijan
ima karakteristinih
korena koji tee ka beskonanosti kad
. Ostalih
karakteristinih korena,
iako zavise od kaznenog koeficijenta , tee ka konanim vrednostima i to ba ka
karakteristinim korenima matrice
koja predstavlja restrikciju Hesijana Lagranove
funkcije
na tangentni podprostor aktivnih ogranienja.
Dokaz ovoga zahteva sloenu analizu koja je ovde izostavljena, a detaljno je data
u [2].
Ovakva specifina struktura ini Hesijan loe uslovljenom matricom to
predstavlja problem za primenu odreenih postupaka, a pre svega postupka najbreg
pada. Naime, brzina konvegencije metode najbreg pada zavisi od uslovnog broja
Hesijana u reenju
. Ako je uslovni broj Hesijana veliki, tj. ako je Hesijan loe
uslovljena matrica, to dovodi do velikog usporavanja metode najbreg pada. Kako je to
ovde sluaj, znai da metoda najbreg pada nije pogodna za reavanje pomonog
problema optimizacije bez ogranienja (30).
Analogna diskusija vai ako se polazni problem (28) reava metodom barijernih
funkcija. I tada je Hesijan loe uslovljen i ima neprikladnu strukturu.
5.3 Kombinacija Njutnove metode i kaznenih funkcija

Jedan od naina za efikasno reavanje pomonog problema bez ogranienja (30)
je primena Njutnovog postupka ili neke njegove modifikacije. Ovaj postupak je
kvadratno konvergentan, ali nepogodna struktura Hesijana ne utie na njegovu brzinu.
Meutim, s obzirom da je Hesijan loe uslovljen, posebna panja mora se posvetiti nainu
odreivanja inverznog Hesijana.
Posmatra se polazni problem oblika
(33)
i umesto njega reava se problem bez ogranienja
gde je
,a
.
66
Master rad
Za reavanje ovog problema bez ogranienja pogodan je modifikovan Njutnov

postupak predstavljen u [2], oblika
gde je
izabrano minimizacijom
. Matrica
pozitivno definitna i moe se efikasno invertovati, iako je loe uslovljena.
je
Na osnovu teoreme o konvergenciji modifikovanog Njutnovog postupka, brzina

konvergencije ovog postupka je odreena karakteristinim korenima matrice
(34)
gde je
Hesijan funkcije
Kad
, matrica (34) ima
karakteristinih korena koji tee ka istoj
vrednosti , a preostalih
karakteristinih korena tee ka karakteristinim
korenima matrice
u reenju
problema (33). Neka su
i
najmanji i najvei
karakteristini koreni matrice
. Ako interval
sadri vrednost , tada e ovaj
postupak kad
konvergirati sa koeficijentom brzine
konvergencija biti spora.
. U suprotnom e
Ukoliko su dostupne informacije drugog reda, Njutnov metod je efikasan za

primenu kod kaznenih funkcija jer je brz. Meutim, ako ove informacije nisu dostupne,
onda se koriste postupci prvog reda.
5.4 Kombinacija metode konjugovanih gradijenata i kaznenih funkcija

Metoda konjugovanih gradijenta sa restartom je posebno pogodna za reavanje
pomonog problema bez ogranienja (30), pogotovo kada polazni problem ima malo
aktivnih ogranienja. Ako postoji
aktivnih ogranienja, tada e brzina konvergencije
postupka sa
konjugovano gradijentnih koraka biti nezavisna od kaznenog
koeficijenta .
Posmatra se problem koji ima samo ogranienja tipa jednakosti
(35)
tj. njemu pridruen

(36)
gde je
,a
67
Master rad
Poto problem (35) ima

aktivnih ogranienja, Hesijan funkcije
ima
karakteristinih korena reda veliine , a preostalih
karakteristinih korena su
blizu karakteristinih korena matrice
koja odgovara polaznom problemu (35). Dakle,
Hesijan funkcije
ima velikih karakteristinih korena. Meutim, ako se postupak
konjugovanih gradijenata primeni sa
koraka, eliminisae se negativan efekat tih
velikih karakteristinih korena i koeficijent brzine konvergencije nee zavisiti od njih.
koraka iz
, i neka je
dobijeno primenom
konjugovano gradijentnih
gde je
reenje problema (36). Tada niz
konvergira linearno ka
sa koeficijentom brzine priblino jednakom
i najmanji i najvei karakteristini koren matrice
.
Ovaj postupak je posebno efikasan za relativno male vrednosti
metode najbreg pada, a neznatno skuplji.
, gde su
, mnogo je efikasniji od
U radu [12] dat je postupak koji predstavlja kombinaciju metoda kaznenih

funkcija i konjugovanih gradijenata, a koristi se za reavanje problema optimizacije
portfolija.
Neka je dato n investicija sa stopama prinosa
, i standardnim
odstupanjima
Oekivane vrednosti za stope prinosa oznaene su sa
. Neka je
udeo j-te investicije u portfoliju. Prinos
portfolija je
a oekivani prinos portfolija je
Neka je
kovarijansna matrica sa elementima
kovarijansu -te i -te investicije, onda je varijansa celog portfolija
koji predstavljaju
Neka je vektor teinskih koeficijenata

, vektor prinosa
, vektor oekivanih prinosa
. Tada je
prinos
portfolija,
oekivani prinos portfolija, a
varijansa portfolija. Rizik portfolija se
meri varijansom.
68
Master rad
Poto se razmatra skup investicija sa idejom da se plasira sav raspoloivi kapital

onda treba da vai
Problem optimizacije portfolija moe se formulisati sledeim osnovnim modelom
(37)
uz ogranienja
gde je
Ovaj osnovni model moe se transformisati na standardni problem kvadratnog

programiranja
uz ogranienja
(38)
gde su
dati vektori koji predstavljaju donju i gornju granicu vektora odluke, a
je koeficijent averzije prema riziku. Ako je
znai da se maksimizira prinos ne
uzimajui u obzir rizik. S druge strane, ako je
, tada se minimizira rizik ne
uzimajui u obzir prinos.
Za fiksirano
, problem (38) je problem kvadratnog programiranja. Poto
je kovarijansna matrica pozitivno semidefinitna, problem (38) je problem konveksnog
kvadratnog programiranja. Postoje mnogobrojni postupci koji se koriste za reavanje
ovakvih problema i oni su efikasni u sluaju kad je kovarijansna matrica retka matrica,
ali veina njih nije pogodna za primenu u sluaju kada
nije retka. Postupak
konjugovanih gradijenata ne zahteva izraunavanje Hesijana ve samo gradijenata
funkcije cilja, a poto se koristi za reavanje problema optimizacije bez ogranienja, prvi
korak jeste da se problem (38) transformie u takav oblik.
Neka je
Tada je problem (38) ekvivalentan sledeem problemu
uz ogranienja
(39)
69
Master rad
Poto je matrica kovarijanse simetrina i pozitivno semidefinitna, to takoe vai

i za matricu , pa znai da je
konveksna funkcija.
Za ogranienje tipa jednakosti
definie se kaznena funkcija
i ogranienja tipa nejednakosti
oznaava vektorsku normu 2. Ako je
gde je
kazneni parametar, a
dopustivo reenje problema (39), onda je
Problem (39) sa ogranienjima se svodi na niz problema bez ogranienja
Funkcija
je deo po deo kvadratna funkcija, po delovima neprekidno
diferencijabilna, i ako je pozitivno semidefinitna, onda je
po delovima konveksna
kvadratna funkcija.
ima sledeu, kompaktniju formu:
(40)
gde je
konstanta.
Teorema 26. [12] Neka je dat niz

, takav da
kad
. Neka je
taan globalni minimum za
. Tada je svaka taka nagomilavanja
niza
reenje problema (38).
Dokaz:
Neka je
Kako je
globalno reenje problema (38). Onda, za svaku dopustivu taku , vai
taan globalni minimum funkcije
pa prema tome vai
70
za fiksno
, sledi da
Master rad
gde poslednja jednakost sledi iz dopustivosti . Odavde sledi

.
Neka je
taka nagomilavanja niza
Kada
. Bez smanjenja optosti, pretpostavlja se da
iz prethodne nejednakosti sledi
,
gde poslednja jednakost sledi iz
pa sledi da je
. Odavde je
dopustiva taka.
U nastavku se dokazuje da je
globalni minimum problema (38).
Kako je
sledi da je
globalni minimum funkcije .

za svako .
reenje problema (38). Onda je
globalni minimum za
Na osnovu prethodne dve teoreme zasnovan je algoritam za reavanje problema

(38).
Kao to je ve reeno, metod konjugovanih gradijenata je prikladan za reavanje
problema optimizacije bez ogranienja jer ne zahteva puno memorije i nije skup.
Poto je broj investicija obino veliki, re je o problemu velikih dimenzija i kako
matrica
najee nije retka matrica, metod konjugovanih gradijenata je pogodan
za reavanje problema (40). Meutim, funkcija
nije klasina kvadratna funkcija, pa
se standardne procedure za minimiziranje kvadratne funkcije ne mogu direktno primeniti.
U datom radu formulisan je novi algoritam za reavanje problema (40). Funkcija
se
modifikuje na sledei nain.
71
Master rad
to se tie koeficijenata kvadratnih lanova u
se modifikuje prema sledeem pravilu:
matrica
(41)
to se tie koeficijenata linearnih lanova u
se modifikuje prema sledeem pravilu:
(42)
Dalje, definie se
Metod konjugovanih gradijenata bie upotrebljen za minimizaciju kvadratne
funkcije:
,
gde je
(43)
dati kazneni parametar. Lako je uoiti da
Iako postoje razne varijante metode konjugovanih gradijenata za reavanje (43),

sve one su bazirane na sledea dva koraka.
1. Odrediti pravac pretraivanja iz trenutne iteracije
(44)
gde je
2.
izabrano tako da je
Du pravca
konjugovani pravac od
izabrati veliinu koraka
apsolutna vrednost funkcije
dovoljno opada.
72
u odnosu na matricu .
tako da u novoj iteraciji
Master rad
Sledea lema predstavlja nain za odreivanje pravca pretraivanja.

Lema 10. [12] Ako je
(45)
onda je
konjugovani pravac od
U sluaju da je veliina koraka
u odnosu na
i tad se metod naziva HS metod.
oblika
(46)
vai sledea teorema o globalnoj konvergenciji.

Teorema 28. [12] Neka
1. i 2., tada je
je proizvoljna poetna iteracija i
niz generisan koracima
ili
je
taka nagomilavanja niza
, onda je
globalni minimum
Napomena:
Ako se
rauna na sledei nain
tada takoe vai tvrenje teoreme i tad je u pitanju FR metod.
Algoritam 7. Kazneni algoritam baziran na metodi konjugovanih gradijenata

Korak 1. Date su konstante
prinosa i izraunati i . Izabrati poetnu iteraciju
.
Korak 2. Ako
tada
i prei na korak 5; u suprotnom, prei na korak 3.
73
. Uneti vektor oekivanog

. Postaviti

Korak 3. Odrediti pravac pretraivanja
Korak 4. Izraunati
Master rad
na osnovu (44) i (45).
koristei (46) i odrediti
Vratiti se na korak 2.
Korak 5. Proveriti dopustivost za
kod problema (39). Ako je
algoritam se zavrava; u suprotnom, prei na korak 6.

Korak 6. Postaviti
. Na novoj iteraciji , modifikovati matricu
i vektor na osnovu (41) i (42). Postaviti
, i vratiti se na korak 2.
Napomena:
1. U algoritmu, indeks
oznaava broj aurirajuih kaznenih parametara, a
oznaava broj iteracija kod metoda konjugovanih gradijenata za potproblem bez
ogranienja (43).
2. Za neko fiksno
, lako je uvideti da uslov
implicira da je
dopustivo reenje. Iz Teoreme 26 sledi da je
globalni minimum
polaznog problema (38) ako je
globalni minimum problema (43).
Numeriki eksperimenti
U radu [12] Zhong Wan, ShaoJun Zhang, and YaLin Wang su testirali efikasnost
predloenog algoritma na realnim podacima sa kineske berze iz 2007. Raunske
procedure su implementirane na MATLAB-u 6.5.
Poetno reenje je izabrano tako da vai
granini vektor je nula vektor, a je vektor ije su komponente 1. Poetni kazneni

parametar je
, koeficijent averzije prema riziku
,
i
Algoritam 7 je primenjen na deset realnih problema ije su dimenzije u opsegu od
10 do 100. Oekivane stope prinosa za svaku akciju uzete su iz mesenih podataka sa
berze u Kini 2007. godine.
74
Master rad
U Tabeli 5 predstavljeni su numeriki rezultati, pri emu je dimenzija problema.

U treoj i etvrtoj koloni dato je vreme procesiranja kada je dobijeno metodama HS i
FR, ukazuje na broj kaznenih parametara, je vrednost kaznenog parametra, a
oznaava vrednost kaznenog lana.
Problem
1
2
3
4
5
6
7
8
9
10
CPU od HS
CPU od FR
10
20
30
40
50
60
70
80
90
100
3
3
3
4
4
3
4
4
4
4
Tabela 5. Numerike performanse Algoritma 7
U Tabeli 6 data je lista dobijenog optimalnog reenja za svaki problem.

Optimalno reenje
Problem 1
;
ostale komponente
su nule
ostale komponente
su nule
ostale komponente
su nule
ostale komponente
su nule
ostale komponente
su nule
ostale komponente
su nule
ostale komponente
su nule
ostale komponente
su nule
ostale komponente
su nule
ostale komponente
su nule
Problem 2
Problem 3
Problem 4
Problem 5
Problem 6
Problem 7
Problem 8
Problem 9
Problem 10
Tabela 6. Optimalna reenja datih deset problema
Numeriki rezultati pokazuju efikasnost datog algoritma pri reavanju realnog
problema.
75
Master rad
Zakljuak
U svakodnevnom ivotu za projektovanje, izgradnju i odravanje nekog

inenjerskog sistema, inenjeri moraju da donesu mnoge tehnoloke i upravljake odluke
u nekoliko faza. Njihov cilj je poveati dobit i smanjiti trokove, pri emu se mora voditi
rauna o raspoloivim resursima. Poto se maksimiziranje dobiti i minimiziranje trokova
moe predstaviti kao funkcija vie promenljivih, optimizacija se moe definisati kao
proces pronalaenja uslova koji daju maksimalnu ili minimalnu vrednost funkcije cilja,
najee nad nekim skupom ogranienja.
Problem optimizacije moe biti problem sa ili bez ogranienja. Prisustvo
ogranienja u nelinearnom programiranju oteava optimizaciju, u odnosu na
programiranje bez ogranienja.
Metode spoljanjih i unutranjih kaznenih funkcija spadaju u jednostavne, esto
koriene metode za optimizaciju funkcija sa ogranienjima. Metode spoljanjih kaznenih
funkcija aproksimiraju problem sa ogranienjima nizom problema bez ogranienja sa
nametnutom velikom kaznom za take daleko od dopustivog skupa. Sa poveavanjem
kaznenog parametra ka beskonanosti, aproksimacija biva tanija i niz reenja pomonih
problema bez ogranienja konvergira ka reenju polaznog problema sa ogranienjima
preko spoljanjosti dopustivog skupa.
Metode unutranjih kaznenih funkcija aproksimiraju problem sa ogranienjima
nizom problema (koji su sa kompjuterske take gledita) bez ogranienja sa nametnutom
velikom kaznom u blizini granice dopustivog skupa. Za razliku od spoljanjih kaznenih
funkcija, ove metode su primenljive samo kod problema u kojima dopustiv skup ima
nepraznu unutranjost. Sa smanjivanjem barijernog koeficijenta ka nuli, poveava se
preciznost aproksimacije i niz reenja pomonih problema bez ogranienja konvergira ka
reenju polaznog problema preko unutranjosti dopustivog skupa.
Osnovna karakteristika ovih metoda je loe uslovljen Hesijan funkcije cilja
pomonog problema bez ogranienja. Ova matrica je zbir Hesijana Lagranove funkcije
pridruene polaznom problemu i matrice koja tei ka beskonanosti, iji je rang jednak
broju aktivnih ogranienja. Zbog ovakve nezgodne strukture Hesijana, primena metode
najbreg pada nije preporuljiva jer je jako spora. Meutim, ova specifina struktura
Hesijana ne utie na brzinu modifikovanog Njutnovog postupka, pa je on efikasan za
reavanje ovakvih problema.Metoda konjugovanih gradijenata sa restartom je takoe
pogodna za reavanje pomonog problema bez ogranienja, posebno u sluaju kad
polazni problem ima mali broj aktivnih ogranienja.
76
Master rad
Literatura
[1] Damir Vuina: Metode inenjerske numerike optimizacije, FESB, Split, 2005.
[2] David G. Luenberger, Yinju Ye: Linear and Nonlinear Programming, Springer,
third edition, 2008.
[3] Dr. Jovan J.Petri: Operaciona istraivanja, knjiga 1. Savremena administracija,
Beograd, 1979.
[4] Glevitzky Bla: Opercikutats I, Debrecen, 2003.
[5] Gradimir V. Milovanovi, Predrag S. Stanimirovi, Simbolika implementacija
nelinearne optimizacije, Elektronski fakultet u Niu, Edicija monografije, Ni,
2002, X+236 (ISBN 86-80135-67-4).
[6] Katarina Surla, Zagorka Lozanov-Crvenkovi:
Prirodno-matematiki fakultet, Novi Sad, 2002.
Operaciona
istraivanja,
[7] S.Krevinac, M.angalovi, V.Kovaevi-Vuji, M.Marti, M.Vujoevi:

Operaciona istraivanja, Fakultet organizacionih nauka, Beograd, 2006.
[8] S.Zlobec, J.Petri: Nelinearno programiranje, Nauna knjiga, Beograd, 1989.
[9] Sanjay Sharma: Applied nonlinear programming, New Age International (P) Ltd.,
2006.
[10] V.Vuji, M.Ai, N.Milii: Matematiko programiranje, Matematiki institut,
Beograd, 1980.
[11] Won Young Yang, Wenwu Cao, Tae-Sang Chung, John Morris, APPLIED
NUMERICAL METHODS USING MATLAB, Published by John Wiley & Sons,
Inc., Hoboken, New Jersey., 2005.
[12] Zhong Wan, Shao Jun Zhang, YaLin Wang: Penalty Algorithm Based on
Conjugate Gradient Method for Solving Portfolio Management Problem, Hindawi
Publishing Corporation, Journal of Inequalities and Applications, Volume 2009,
Article ID 970723, 16 pages doi: 10.1155/2009/970723
[13] .. : ,
<< H>> - , 1980.
77
Master rad
Biografija
Angela tajer (ro. Gal) je roena 2. novembra 1987. godine u Novom Sadu. Osnovnu
kolu Joef Atila i Elektrotehniku kolu Mihajlo Pupin, smer elektrotehniar
telekomunikacija je zavrila u Novom Sadu. 2006. godine je upisala osnovne akademske
studije na Prirodno-matematikom fakultetu u Novom Sadu, smer matematika finansija.
Studije je zavrila u avgustu 2010. godine. Iste godine je upisala master studije
primenjene matematike, modul matematika finansija, na istom fakultetu. Zakljuno sa
junskim ispitnim rokom 2014. godine, poloila je sve predviene ispite, kao i grupu
pedagoko-psiholoko-metodikih predmeta. Od oktobra 2010. godine radi kao profesor
matematike u Srednjoj koli Lukijan Muicki u Temerinu.
Angela tajer
Novi Sad, oktobar 2014.
78
Master rad
UNIVERZITET U NOVOM SADU

PRIRODNO-MATEMATIKI FAKULTET
KLJUNA DOKUMENTACIJSKA INFORMACIJA
Redni broj:
RBR
Identifikacioni broj:
IBR
Tip dokumentacije:
TD
Monografska dokumentacija
Tip zapisa:
TZ
Tekstualni tampani materijal
Vrsta rada:
VR
Master rad
Autor:
AU
Angela tajer
Mentor:
MN
Prof. dr Sanja Rapaji
Naslov rada:
NR
Reavanje problema minimizacije sa

ogranienjima primenom kaznenih funkcija
Jezik publikacije:
JP
Srpski (latinica)
Jezik izvoda:
JI
s/e
Zemlja publikovanja:
ZP
Republika Srbija
Ue geografsko podruje:
UGP
Vojvodina
Godina:
GO
2014
Izdava:
IZ
Autorski reprint
Mesto i adresa:
MA
Trg Dositeja Obradovia 4,

21000 Novi Sad
79
Master rad
Fiziki opis:
FO
6 poglavlja/ 78 strana/ 4 slike/ 6 tabela
Nauna oblast:
NO
Matematika
Nauna disciplina:
ND
Operaciona istraivanja
Kljune rei:
PO UDK
Nelinearno
programiranje,
spoljanje
kaznene funkcije, unutranje kaznene
funkcije
uva se:
U
U biblioteci Departmana za matematiku i

informatiku
Prirodno-matematikog
fakulteta u Novom Sadu
Izvod:
IZ
U radu su predstavljene metode spoljanjih

i unutranjih (barijernih) kaznenih funkcija,
koje se koriste za reavanje problema
minimizacije sa ogranienjima. Kako se
problem sa ogranienjima pomou ovih
metoda svodi na problem bez ogranienja,
predstavljene su i
mnoge metode za
reavanje ovakvih problema.
Datum prihvatanja teme od strane NN 10.05.2012.

vea:
DP
Datum odbrane:
DO
lanovi komisije:
KO
Predsednik:
dr Nataa Kreji, redovni profesor

Prirodno- matematikog fakulteta u Novom
Sadu
lan:
dr Zorana Luanin, redovni profesor

Prirodno-matematikog fakulteta u Novom
Sadu
lan:
dr Sanja Rapaji, vanredni profesor

Prirodno-matematikog fakulteta u Novom
Sadu
80
Master rad
UNIVERSITY OF NOVI SAD

FACULTY OF SCIENCE
KEY WORDS DOCUMENTATION
Accession number:
ANO
Identification number:
INO
Document type:
DT
Monograph type
Type of record:
TR
Printed text
Contents code:
CC
masters thesis
Author:
AU
Angela tajer
Mentor:
MN
Prof. Dr Sanja Rapaji
Title:
XI
Solving the constrained minimization

problems by penalty functions
Language of text:
LT
Serbian (latin)
Language of abstract:
LA
s/e
Country of publication:
CP
Republic of Serbia
Locality publication:
UGP
Vojvodina
Publication year:
PU
2014
Publisher:
PU
Authors reprint
Publ.place:
PP
Trg Dositeja Obradovia 4, 21000 Novi

Sad
81
Master rad
Physical description:
PD
6 chapters/ 78 pages/ 4 pictures/ 6 tables
Scientific field:
SF
Mathematics
Scientific discipline:
SD
Operations Research
Key words:
UC
Nonlinear programming, penalty functions,

barrier functions
Holding data:
HD
Department
of
Mathematics
and
Informatics Library, Faculty of Sciences,
University of Novi Sad
Abstract:
AB
Penalty and barrier methods are presented

in this paper. These methods are used for
constrained minimization problems. The
main idea of these methods is to transform
the constrained minimization problem to
the
problem
of
unconstrained
minimization, so many methods for
unconstrained minimization are also
presented.
Accepted by the Scientific Board on:

DP
10. 05. 2012.
Defended:
Thesis defend board:
President:
Dr Nataa Kreji, Full Professor, Faculty

of Sciences, University of Novi Sad
Member:
Dr Zorana Luanin, Full Professor, Faculty

of Sciences, University of Novi Sad
Member:
Dr Sanja Rapaji, Associate Professor,

Faculty of Sciences, University of Novi
Sad
82

Rešavanje Problema Minimizacije Sa Ograničenjima

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Rešavanje Problema Minimizacije Sa Ograničenjima

Uploaded by

Copyright:

Available Formats

UNIVERZITET U NOVOM SADU

PRIRODNO - MATEMATIKI FAKULTET

Reavanje problema minimizacije sa

Prof. dr Sanja Rapaji

Reavanje problema minimizacije sa ogranienjima

Nelinearna optimizacija ........................................................................................................... 4

Osnovni pojmovi .............................................................................................................. 4

Pojam lokalnog i globalnog ekstrema .............................................................................. 6

Optimizacija bez ogranienja - Potrebni i dovoljni uslovi optimalnosti .......................... 7

Optimizacija sa ogranienjima - Potrebni i dovoljni uslovi optimalnosti......................... 9

Metoda eliminacije promenljivih ........................................................................... 10

Metoda Lagranovih mnoitelja ............................................................................ 11

Metode za reavanje problema optimizacije bez ogranienja .............................................. 13

Metoda najbreg pada................................................................................................... 14

Njutnova metoda ........................................................................................................... 21

Kvazi-Njutnovi postupci ................................................................................................. 27

Metoda konjugovanih gradijenata ................................................................................ 35

Optimizacija sa ogranienjima - Metode kaznenih funkcija .................................................. 43

Metoda spoljanjih kaznenih funkcija ........................................................................... 45

Metoda unutranjih kaznenih funkcija (barijernih funkcija) ......................................... 57

Kombinacija metoda kaznenih funkcija i metoda optimizacije bez ogranienja ................... 63

Kombinacija metode Lagranovih mnoitelja i kaznenih funkcija ................................. 63

Struktura Hesijana ......................................................................................................... 65

Kombinacija Njutnove metode i kaznenih funkcija ....................................................... 66

Kombinacija metode konjugovanih gradijenata i kaznenih funkcija ............................. 67

Reavanje problema minimizacije sa ogranienjima

Reavanje problema minimizacije sa ogranienjima

Koliko se uspeno moe odrediti optimalno reenje nekog optimizacionog zadatka

Reavanje problema minimizacije sa ogranienjima

2.1 Osnovni pojmovi

oznaava euklidski prostor dimenzije

Problem (1) se moe zapisati u ekvivalentnom obliku

Ovakav oblik nelinearnog programiranja se naziva problem optimizacije sa

Reavanje problema minimizacije sa ogranienjima

Ukoliko je skup ogranienja u problemu

Problem minimizacije se uvek moe svesti na problem maksimizacije i obrnuto.

gde je skup ogranienja dat jednakostima.

Reavanje problema minimizacije sa ogranienjima

2.2 Pojam lokalnog i globalnog ekstrema

dostie svoju minimalnu vrednost na .

na skupu , ili strogi

U sluaju kada je funkcija neprekidna a skup zatvoren i ogranien,

Analogno se mogu uvesti pojmovi globalnog i lokalnog maksimuma. Globalni,

Reavanje problema minimizacije sa ogranienjima

2.3 Optimizacija bez ogranienja - Potrebni i dovoljni uslovi

definisana i diferencijabilna na itavom prostoru

gde je funkcija cilja

Potrebni uslovi da taka

bude lokalni minimum funkcije

Definicija 9. Take koje zadovoljavaju uslov

nazivaju se stacionarne take.

Stacionarne take se odreuju iz jednaine

tj. reavanjem sistema od

Reavanje problema minimizacije sa ogranienjima

Uslov koji garantuje da je posmatrano reenje optimalno naziva se dovoljan uslov

je pozitivno definitna ako je

a pozitivno semidefinitna ako je

Definicija 11. Funkcija

naziva se kvadratna forma. Kvadratna forma je pozitivno definitna (pozitivno

Na osnovu narednih lema jednostavno se proverava da li je matrica pozitivno

Lema 2. [7] Simetrina matrica

Definicija 12. Neka je

Reavanje problema minimizacije sa ogranienjima