Nemline´aris programoz´as, 2.

f´el´ev
Bazaraa-Shetty: Nonlinear Programming k¨onyve alapj´an
Z´art lek´epez´esek, konvergencia
1. Defin´ıci´o. (Algoritmikus lek´epez´es, iter´aci´o): Egy A : X → Y pont-halmaz lek´epez´es
algoritmikus lek´epez´es. Az x
k+1
∈ A(x
k
) tulajdons´agot iter´aci´ onak nevezz¨ uk.
Megoldand´o feladat pl.: min {f(x) : x ∈ S}
2. Defin´ıci´o. (Megold´ashalmaz): Legyen a megold´ashalmaz Ω. Tipikus megold´ashalmazok:
• Ω := {x

∈ S : x

lok.min.}.
• Ω := {x

∈ S : f (x

) ≤ b}.
• Ω := {x

∈ S : f (x

) ≤ LB +ε}, ahol LB el˝ore ismert als´o korl´at.
• Ω := {x

∈ S : f (x

) −ν

< ε}, ahol ν

ismert glob´alis minimum.
• Ω := {x

∈ S : x

Kuhn −Tucker pont}.
• Ω := {x

∈ S : x

Fritz −John pont}.
3. Defin´ıci´o. (Konvergens algoritmikus lek´epez´es): Egy A : X → X lek´epez´es konvergens
egy Y ⊆ X halmazon, ha x
1
∈ Y , x
k+1
∈ A(x
k
), ´es ebb˝ol k¨ovetkezik, hogy {x
k
} minden torl´od´asi
pontja Ω-ban van.
1. P´elda.
min
x≥1
x
2
´ ugy, hogy Ω = {1}, azaz csak az abszol´ ut minimumot fogadjuk el.
• Legyen
A(x) =
_
[1,
x
2
+
1
2
] x ≥ 1,
[
x
2
+
1
2
, 1] x ≤ 1.
Ez a lek´epez´es konvergens, hiszen minden intervallumot ¨onmag´aba fog k´epezni, mely inter-
vallumok hossza szigor´ uan monoton cs¨okken ´es minden esetben tartalmazza az Ω-t.
• Legyen
A(x) =
_
¸
_
¸
_
[
x
2
+ 1,
x
3
+
4
3
] x ≥ 2,
[1,
x
2
+
1
2
] 2 > x ≥ 1,
[
x
2
+
1
2
, 1] x ≤ 1.
Ez a lek´epez´es csak x < 2 eset´en konvergens, hiszen ha x > 2, ´ ugy a lek´epez´es a 2-h¨oz
konverg´al.
1
4. Defin´ıci´o. (Z´art lek´epez´es): Legyen X ⊂ R
q
´es Y ⊂ R
p
, tov´abb´a A : X →Y .
Az A lek´epez´es z´art az x ∈ X helyen,
HA
{x
k
∈ X, x
k
→x}
´
ES {y
k
∈ A(x
k
) , y
k
→y},
AKKOR
y ∈ A(x).
Az A lek´epez´es z´art Z ⊆ X halmazra, ha minden x ∈ Z helyen z´art.
1. K¨ovetkezm´eny. Amennyiben A(x) folytonos f¨ uggv´eny, ´ ugy z´art is.
Bizony´ıt´as:Trivi´alis, pl. az ´atviteli elv miatt.
1. Megjegyz´es. Tekints¨ uk az al´abbi f¨ uggv´enyt:
f(x) =
_
1
x
x = 0,
0 x = 0.
Az f(x) f¨ uggv´eny nyilv´anval´oan z´art R-en, de nem folytonos. A z´arts´ag az´ert ´all fent, mert b´armely
y
k
y eset´en nem kell ´allnia a k¨ovetkezm´enynek (hiszen az
´
ES kapcsolat nem teljes¨ ul).
5. Defin´ıci´o. (Cs¨okken´esi f¨ uggv´eny): Legyen A : X →X algoritmikus lek´epez´es.
Egy α : X →R f¨ uggv´eny cs¨okken´esi f¨ uggv´eny, ha
• folytonos
• x / ∈ Ω
´
ES y ∈ A(x) AKKOR α(y) < α(x).
(Azaz, nem optim´alis megold´as eset´en az algoritmikus lek´epez´es jav´ıtani tud az
iter´aci´os l´ep´es sor´an).
2. T´etel. Legyen X ⊂ R
n
, ∅ = Ω ⊆ X, A : X → X, {x
k
} ∈ X, ´es {x
k
} sorozat legyen olyan,
hogy ha x
k
∈ Ω valamely k index eset´en, ´ ugy meg´allunk, k¨ ul¨onben x
k+1
∈ A(x
k
).
HA:
• {x
k
} ⊆ Λ, ahol Λ kompakt halmaz,
• l´etezik egy α cs¨okken´esi f¨ uggv´eny,
• A z´art X \ Ω halmazon,
AKKOR:
• Vagy v´eges l´ep´esben Ω-n bel¨ ul vagyunk,
• vagy {x
k
} sorozatra igaz, hogy minden torl´od´asi pontja Ω-ban van ´es α(x
k
) → α(x), ahol
x ∈ Ω.
2
Bizony´ıt´as:Tekints¨ uk {x
k
}
K
→x konvergens r´eszsorozatot. Miut´an α folytonos, ez´ert
lim
K
α(x
k
) = α(x).
Miut´an α cs¨okken´esi, ez´ert monoton is, ´es ´ıgy
limα(x
k
) = α(x).
Itt pedig akkor van gond, ha x / ∈ Ω.
Tegy¨ uk fel teh´at indirekt, hogy x / ∈ Ω. Tekints¨ uk ekkor az {x
k+1
}
K

r´eszsorozatot. Torl´od´asi
pontja van, teh´at van konvergens r´eszsorozata, legyen ez
{x
k+1
}
K
∗ →x

.
Miut´an A z´art, ez´ert K

-on
x
k+1
. ¸¸ .
→x

∈ A(x
k
)
. ¸¸ .
→x
,
amib˝ ol a z´arts´ag miatt k¨ovetkezik, hogy x

∈ A(x), ´es miut´an x / ∈ Ω, ´es α cs¨okken´esi f¨ uggv´eny,
ez´ert α(x

) < α(x), ami nyilv´anval´oan ellentmond a monoton cs¨okken´esnek, azaz
limα(x
k
) = α(x)
felt´etelnek.
3. K¨ovetkezm´eny. Ha Ω = {x

}, ´ ugy limx
k
= x

.
Bizony´ıt´as:Indirekt tegy¨ uk fel, hogy K indexhalmazra
{x
k
} −x

> ε.
Ekkor egy K

indexhalmazon {x
k
}
K

→ x a kompakts´ag miatt, ´es x / ∈ Ω, ami ellentmond´as,
hiszen ´ıgy van egy m´asik torl´od´asi pontunk - ellent´etben az eredeti feltev´essel.
2. P´elda. P´eld´ak cs¨okken´esi f¨ uggv´enyekre:
• α(x) = f(x),
• α(x) = f(x),
• α(x) = x −x

, ahol x

∈ Ω.
Algoritmus meg´all´asi krit´eriumok
1. x
k+N
−x
k
< ε, azaz az algoritmus r´eg´ota nem javul.
2.
x
k+1
−x
k

x
k

< ε, azaz az algoritmus relat´ıve nem javul.
3. α(x
k
) −α(x
k+N
) < ε, azaz a cs¨okken´esi f¨ uggv´eny r´eg´ota nem javul.
4.
α(x
k
)−α(x
k+1
)
α(x
k
)
< ε, azaz a cs¨okken´esi f¨ uggv´eny relat´ıve nem javul.
5. α(x
k
) −α(x

) < ε, x

∈ Ω, azaz m´ar kell˝oen k¨ozel vagyunk egy ismert optimum ´ert´ekhez.
3. P´elda. Ismert p´elda cs¨okken´esi f¨ uggv´enyre az α(x) = f(x), ahol egy szigor´ uan defini´alt Ω
halmaz eset´en x

∈ Ω-ra f (x

) = 0 miatt az 5. krit´erium az egyszer˝ ubb
α(x) < ε
alakot ¨olti.
3
Lek´epez´esek kompoz´ıci´oja
A kompoz´ıci´ok vizsg´alat´anak motiv´aci´oja nem m´as, mint az az ´altal´anos elj´ar´as, miszerint
optimum-keres´es eset´en el˝osz¨or egy ir´anyt hat´arozunk meg, majd ut´ana az adott ir´anyba t¨ort´en˝o
l´ep´eshossz nagys´ag´at. Teh´at, ´altal´anos keretek k¨oz¨ott a leggyakrabban A = MD algoritmikus
lek´epez´essel dolgozunk, ahol D az ir´anykeres´es, m´ıg M a l´ep´eshossz v´alaszt´as r´eszalgoritmusa.
6. Defin´ıci´o. (
¨
Osszetett lek´epez´es): Legyen X ⊂ R
n
, Y ⊂ R
p
´es Z ⊂ R
q
. Legyenek tov´abb´a
B : X →Y ´es C : Y →Z k´et algoritmikus lek´epez´es.
Ekkor az A = CB ¨osszetett lek´epez´es, melyre A : X →Z igaz, hogy
A(x) =
_
{C(y) : y ∈ B(x)} .
Azaz, az ¨osszetett lek´epez´es eset´en minden ponthoz el˝osz¨or hozz´arendel¨ unk egy halmazt, majd a
halmaz minden elem´ehez 1-1 halmazt rendel¨ unk, ´ıgy az ¨osszetett f¨ uggv´eny k´epe ezen k´epek uni´oja
lesz.
4. T´etel. (Z´arts´ag): Legyenek A, B ´es C olyanok, mint a defin´ıci´ oban. Tegy¨ uk fel, hogy
• B z´art X-n´el,
• C z´art B(X)-n´el,
• ha x
k
→x ´es y
k
∈ B(x
k
), akkor {y
k
}-nak van konvergens r´eszsorozata.
Ekkor A z´art X-n´el.
Bizony´ıt´as:Tekints¨ uk az x
k
→x ´es z
k
∈ A(x
k
), z
k
→z sorozatokat.
Tov´abb´a legyen y
k
∈ B(x
k
), ez´ert a harmadik felt´etel miatt ∃ {y
k
}
K
→y konvergens r´eszsoro-
zat.
Ekkor viszont az els˝o felt´etel miatt y ∈ B(x), m´ıg a m´asodik felt´etel miatt z ∈ C(y). Viszont
C(y) ⊂ CB(x), hiszen ez ut´obbi nyilv´anval´oan b˝ovebb az uni´ok´epz´es miatt. Viszont CB(x) =
A(x), azaz k´eszen vagyunk.
5. K¨ovetkezm´eny. Amennyiben Y kompakt, ´ ugy az els˝o ´es m´asodik felt´etelb˝ol m´ar k¨ovetkezik A
z´arts´aga X-n´el.
6. K¨ovetkezm´eny. Amennyiben B folytonos, ´ ugy szint´en az els˝o ´es m´asodik felt´etel elegend˝o A
z´arts´ag´ahoz X-n´el.
4. P´elda. Val´oj´ aban ellenp´elda
Legyenek
B(x) =
_
1
x
x = 0,
0 x = 0,
illetve
C(y) = {z : z ≤ y} .
Ekkor CB nem z´art a 0-ban, mert az oda tart´o sorozatok hat´ar´ert´ek´evel gond lesz a kompoz´ıci´o
miatt.
4
7. T´etel. Legyenek B, C : X → X, ∅ = Ω ⊂ X, A = CB, tov´abb´ a α : R
n
→ R cs¨okken´esi
f¨ uggv´eny. Tegy¨ uk fel, hogy
• B z´art,
• C-re igaz, hogy α(y) ≤ α(x) ha y ∈ C(x), azaz nem cs¨okkent, de legal´abb nem n¨ovel (m´as
megfogalmaz´asban a k´ep nem lehet rosszabb, mint az ˝osk´ep),
• Λ := {x : α(x) ≤ α(x
1
)} kompakt.
EKKOR {x
k
}-ra igaz, hogy vagy v´eges l´ep´esen bel¨ ul x
k+1
∈ Ω, vagy az ¨osszes torl´od´asi pontja
Ω-ban van.
Bizony´ıt´as:Tekints¨ uk {x
k
}
K
→x konvergens r´eszsorozatot. Ekkor
lim
K
α(x
k
) = α(x),
hiszen a ≤ felt´etel elegend˝o a konvergenci´ahoz.
Ekkor {y
k
, x
k+1
}
K

eset´en, ahol K

⊂ K teljes¨ ul, hogy {y
k
, x
k+1
}
K

→ {y, x

}, m´egpedig Λ
kompakts´aga miatt.
A m´asodik felt´etel miatt teljes¨ ul az is, hogy α(x

) ≤ α(y), ahonnan l´enyeg´eben k´eszen is
vagyunk, hiszen szint´en a m´asodik tulajdons´ag miatt α(x
k+1
) ≤ α(y
k
), ´es miut´an α cs¨okken´esi
f¨ uggv´eny, ez´ert folytonos is, teh´at α(x

) ≤ α(y). Ekkor kihaszn´alva a z´arts´agot ´es a cs¨okken´esi
tulajdons´agot ad´odik, hogy α(y) < α(x), ´es ´ıgy α(x

) < α(x) ami nyilv´anval´o ellentmond´as.
7. Defin´ıci´o. (Konvergencia rendje, konvergencia r´ata): Tekints¨ uk az {r
k
} →r

, r
k
= r

semmilyen k indexre ´es r
k
, r ∈ R. A konvergencia rendje azon sup p, melyre a
limsup
k→∞
r
k+1
−r

r
k
−r

p
= β < ∞
teljes¨ ul. Ekkor β a konvergencia-r´ata.
• Amennyiben p = 1 ´es 0 < β < 1, ´ ugy line´aris konvergenci´ar´ol besz´el¨ unk.
• Amennyiben (p > 1) vagy p = 1 ´es β = 0 ´ ugy szuperlin´aris konvergenci´ar´ol besz´el¨ unk.
• Amennyiben p = 2 ´es β < ∞, ´ ugy m´asodrend˝ u konverngeic´ar´ol besz´el¨ unk.
5
H
´
AZI FELADAT Tank¨onyv, 7.4-es p´elda.
Legyen X ⊂ R
p
´es Y ⊂ R
q
, X, Y = ∅. Tov´abb´a A : X →Y algoritmikus lek´epez´es.
Igazoljuk, hogy A z´arts´aga ekvivalens a Z = {(x, y) : x ∈ X, y ∈ A(x)} halmaz z´arts´ag´aval.
Bizony´ıt´as:
• ⇒: El˝osz¨or tegy¨ uk fel, hogy a lek´epez´es z´art, ekkor l´assuk be, hogy a fent defini´alt Z halmaz
szint´en z´art.
Amennyiben A z´art X-en, az azt jelenti, hogy ∀x ∈ X eset´en a lek´epez´es z´art. Be kell l´atni,
hogy minden Z-beli konvergens sorozat hat´ar´ert´eke is Z-beli.
Azaz, tekints¨ uk az (x
k
, y
k
) ∈ Z sorozatot, melyr˝ol tegy¨ uk fel, hogy (x
k
, y
k
) →(x, y). Be kell
l´atnunk, hogy ha A lek´epez´es z´art, akkor (x, y) ∈ Z teljes¨ ul.
A z´arts´ag´ab´ol ´es a feltett konvergenci´ab´ol tudjuk, hogy
x
k
→x
. ¸¸ .
felt
, x
k
∈ X
. ¸¸ .
Z
, x ∈ X
. ¸¸ .
A
,
y
k
→y
. ¸¸ .
felt
, y
k
∈ A(x
k
)
. ¸¸ .
Z
, y ∈ A(x)
. ¸¸ .
A
,
azaz Z defin´ıci´oja szerint
(x
k
, y
k
) ∈ Z,
(x, y) ∈ Z,
azaz Z z´art. EZ EDDIG L
´
ENYEG
´
EBEN A FOLYTONOSS
´
AG!
Gyeng´ıtve a folytonoss´agot, gondoljuk v´egig, hogy akkor is z´art lek´epez´est kapunk, ha a z´art
lek´epez´es defin´ıci´oj´ anak
´
ES felt´etele hamis. Ez azt jelenti, hogy valamely defini´al´o sorozat
hat´ar´ert´eke nem l´etezik (klasszikusan y
k
y).
Ekkor az
´
ES ´all´ıt´as, azaz a felt´etel hamis, amib˝ol persze k¨ovetkezik az is, hogy y ∈ A(x),
teh´at a lek´epez´es y k´ep´et˝ol f¨ uggetlen¨ ul z´art lesz.
Viszont Z z´arts´ag´ahoz nem kell, hogy ezek a pontok megjelenjenek, mert nek¨ unk csak a
konvergens k´epsorozatok hat´ar´ert´ekeire van sz¨ uks´eg¨ unk (hiszen azt kell igazolnunk, hogy
a Z beli konvergens sorozatok hat´ar´ert´eke is Z beli), amit viszont m´ar megvizsg´altunk.
Illetve azt kell m´eg igazolnunk, hogy y ∈ A(x) teljes¨ ul, de ez - ha az indul´o felt´etelek
b´armelyike nem teljes¨ ul, r¨ogt¨on igaz lesz, hiszen hamis ´all´ıt´asb´ol minden k¨ovetkezik (´ıgy ez
is).
• ⇐: M´asodszor tegy¨ uk fel, hogy a fent defini´alt Z halmaz z´art, melyb˝ol k¨ovetkezik, hogy az
´all´ıt´asban defini´alt A algoritmikus lek´epez´es z´art.
Vegy¨ unk teh´at egy (x
k
, y
k
) → (x, y) Z-beli sorozatot, ahol tudjuk, hogy mind a sorozat
tagjai, mind a hat´ar´ert´ek Z-ben van a z´arts´ag miatt. Ekkor teh´at x
k
→ x ´es y
k
→ y,
tov´abb´a x
k
, y
k
, x, y ∈ Z, azaz x ∈ X ´es y ∈ A(x), illetve a sorozat tagjaira x
k
∈ X ´es
y
k
∈ A(x
k
). Miut´an ezek mindegyike fenn´all, ´ıgy ´ertelemszer˝ uen az
´
ES kapcsolat is igaz
k¨oz¨ott¨ uk, azaz y ∈ A(x) ´ertelemszer˝ uen teljes¨ ul, teh´at igaz, hogy
{x
k
∈ X, x
k
→x}
´
ES {y
k
∈ A(x
k
) , y
k
→y}
´
ES {y ∈ A(x)}, azaz az A lek´epez´es z´art.
Fontos megjegyezni, hogy ehhez sz¨ uks´eg van arra, hogy x ∈ X teljes¨ ulj¨on, ami viszont a funk-
cion´al-anal´ızisb˝ol ismert z´art lek´epez´es defin´ıci´ot jelenti.
A fenti feladatot egy´ebk´ent ´ ugy is megfogalmazhatjuk, hogy egy lek´epez´est akkor nevez¨ unk
z´artnak, ha a grafikonja z´art. Ekkor term´eszetesen m´eg megfogalmazhat´o a z´art lek´epez´es t´etel
line´ aris funkcion´alok ´es Banach terek eset´ere is, mely azt mondja, hogy ha adott egy adott line´aris
lek´epez´es k´et Banach t´er k¨oz¨ott ´ ugy a line´aris lek´epez´es z´arts´aga, a line´aris lek´epez´es ´ertelmez´esi
tartom´any´anak z´arts´aga ´es a line´aris lek´epez´es folytonoss´aga k¨oz¨ ul b´armely kett˝o megl´ete auto-
matikusan mag´aval vonja a harmadik megl´et´et is. Formaliz´alva:
6
8. T´etel. (Z´art gr´af t´etel): Legyenek X, Y Banach terek, A : X →Y line´aris lek´epez´es.
Ekkor az al´abbi 3 ´all´ıt´as k¨oz¨ ul b´armely kett˝o teljes¨ ul´ese eset´en k¨ovetkezik a harmadik:
• A z´art.
• A folytonos.
• dom(A) z´art.
EGYDIMENZI
´
OS KERES
´
ES, Differenci´al´as n´elk¨ ul
Motiv´aci´o:
min
_
¸
_
¸
_
f (x
k
+λd
k
)
. ¸¸ .
θ(λ)
_
¸
_
¸
_
8. Defin´ıci´o. (Bizonytalans´agi intervallum): argmin{θ(λ)} = λ ∈ [a, b], ahol a bizony-
talans´agi intervallum [a, b], mely az algoritmikus lek´epez´es sor´an folyamatosan sz˝ uk¨ ul - ´ıgy
ker¨ ulv´en egyre k¨ozelebb a minimumponthoz.
9. Defin´ıci´o. (Kv´azikonvexit´as): Egy f : S → R f¨ uggv´eny kv´azikonvex, ha ∀x
1
, x
2
∈ S ´es
f (x
1
) = f (x
2
) eset´en ∀0 < λ < 1 ´ert´ekre teljes¨ ul, hogy
f (λx
1
+ (1 −λ)x
2
) ≤ max {f (x
1
) , f (x
2
)} .
A fenti θ f¨ uggv´eny szigor´ uan kv´azikonvex, ha azonos felt´etelek eset´en az egyenl˝otlens´eg
szigor´ uan teljes¨ ul, azaz
f (λx
1
+ (1 −λ)x
2
) < max {f (x
1
) , f (x
2
)} .
A fenti θ f¨ uggv´eny er˝osen kv´azikonvex, ha a
f (λx
1
+ (1 −λ)x
2
) ≤ max {f (x
1
) , f (x
2
)}
egyenl˝otlens´eg akkor is teljes¨ ul, ha az f (x
1
) = f (x
2
) felt´etelt nem k¨ovetelj¨ uk meg.
Az er˝os, szigor´ u kv´azikonvexit´as anal´og m´odon a felt´etel elhagy´as´aval ´es az egyenl˝otlens´eg
szigor´ıt´as´aval defini´altatik.
9. T´etel. Legyen θ : R →R f¨ uggv´eny szigor´ uan kv´azikonvex az [a, b] intervallumon, tov´abb´a legyen
adott ν < µ ∈ [a, b] sz´amok. Ekkor
(i) θ(ν) > θ(µ) ⇒θ(z) ≥ θ(µ)∀z ∈ [a, ν),
(ii) θ(ν) ≤ θ(µ) ⇒θ(z) ≥ θ(ν)∀z ∈ (µ, b].
Bizony´ıt´as:Indirekt m´odon tegy¨ uk fel, hogy ∃z
0
∈ [a, ν) ´ ugy, hogy θ (z
0
) < θ (µ) - azaz, nem
teljes¨ ul (i). Ekkor persze igaz, hogy
θ(ν) > max {θ (z
0
) , θ (µ)} ,
amennyiben ν ∈ (z
0
, µ), ami persze ellentmond a kv´azikonvexit´asnak. Az (ii) felt´etel anal´og
m´odon bel´athat´o.
7
INTERVALLUM-SZ
˝
UK
´
IT
´
ES
Ez indokolja, hogy kv´azikonvex f¨ uggv´enyek eset´en, amennyiben [a, b] intervallumon bel¨ ul de-
finin´alni tudunk egy [µ, ν] intervallumot ´ ugy, hogy [µ, ν] ⊂ [a, b] teljes¨ ulj¨on, ´ ugy az algoritmikus
lek´epez´esben - am´ıg el nem ´erj¨ uk a meg´all´asi felt´etelben foglaltakat, folyamatosan igaz legyen,
hogy vagy a →µ vagy b →ν l´ep´es k¨ovetkezzen be a felt´etelezett minimum poz´ıci´oja alapj´an.
10. Defin´ıci´o. (Szigor´ u unimodalit´as): Legyen θ : R → R f¨ uggv´eny adott. Tegy¨ uk fel, hogy
λ minimumhely. Amennyiben teljes¨ ul, hogy θ (λ
1
) = θ
_
λ
_
, tov´abb´a θ (λ
2
) = θ
_
λ
_
, illetve, hogy
λ
1
< λ
2
, akkor
λ
1
< λ
2
≤ λ ⇒θ (λ
1
) > θ (λ
2
) ,
λ
2
> λ
1
≥ λ ⇒θ (λ
1
) < θ (λ
2
) ,
´ ugy azt nondjuk, hogy a θ f¨ uggv´eny szigor´ uan unimod´alis.
Amennyiben a θ f¨ uggv´enyben a minimumpontt´ol val´o k¨ ul¨ onb¨oz˝os´eget nem k¨otj¨ uk ki, ´ ugy er˝os
unimodalit´asr´ol van sz´o.
10. T´etel. Legyen θ : R →R f¨ uggv´eny adott. Ekkor igazolhat´o, hogy
• (I) Ha θ er˝osen unimod´alis [a,b]-n, akkor er˝osen kv´azikonvex is [a, b]-n.
• (II) Ha θ er˝osen kv´azikonvex [a, b]-n ´es l´etezik minimuma [a, b]-n, akkor θ er˝osen unimod´alis.
• (III) Ha θ szigor´ uan unimod´alis ´es folytonos [a, b]-n, akkor szigor´ uan kv´azikonvex [a, b]-n.
• (IV) Ha θ szigor´ uan kv´azikonvex [a, b]-n ´es l´etezik a minimum [a, b]-n, ´ ugy θ szigor´ uan
unimod´alis.
Bizony´ıt´as:Megjegyezz¨ uk, hogy l´enyeg´eben az egyik fel´et m´ar bel´attuk a t´etelnek az el˝oz˝o
t´etelben, de most ezt nem haszn´aljuk fel, csak a gondolatmenet´et k¨ovetj¨ uk.
• (I) λ
1
< λ
2
eset´en tegy¨ uk fel, hogy
λ
3
= αλ
1
+ (1 −α)λ
2
,
´ıgy pedig feltehet˝o, hogy
λ
3
< λ,
hiszen ha θ unimod´alis, akkor l´etezik a minimumpont az [a, b] intervallumon. Ekkor pedig
az unimodalit´asb´ol k¨ovetkezik a fenti sorrend eset´en (a pontok sorrendje λ
1
< λ
3
< λ), hogy
θ (λ
1
) > θ (λ
3
)
∀0 < α < 1 eset´en, azaz
θ (λ
3
) = θ (αλ
1
+ (1 −α)λ
2
) < θ (λ
1
) ≤ max {θ (λ
1
) , θ (λ
2
)}
azaz, val´oban er˝osen (szigor´ uan) kv´azikonvex, hiszen a λ-k ford´ıtott sorrendje eset´en az
´all´ıt´as anal´og m´odon igazolhat´o. Gondoljuk meg ugyanis, hogy ekkor a λ < λ
3
< λ
2
esetet
kell ugyan´ıgy fel´ırni.
Ekkor m´eg azt meg kell gondolni, hogy ha λ
3
= λ, akkor az er˝os unimodalit´as eset´en a
minimum egy´ertelm˝ u - teh´at ´ıgy a minimum nyilv´an szigor´ uan kisebb, mint b´armely m´as
f¨ uggv´eny´ert´ek.
8
• (II) A visszafel´e ir´any eset´en legyen λ
1
< λ
2
≤ λ adott, ahol λ a felt´etelezett minimumpont.
Ekkor persze tudjuk, hogy ∃α ∈ (0, 1]
θ
_
αλ
1
+ (1 −α)λ
_
= θ (λ
2
) < max
_
θ (λ
1
) , θ
_
λ
__
= θ (λ
1
) ,
azaz val´oban fenn´all az er˝os unimodalit´as, hiszen a v´altoz´ok m´asik sorrendj´enek ir´anya anal´og
m´odon igazolhat´o.
• (III) Tegy¨ uk fel, hogy λ
3
≤ λ, ´es λ
3
= αλ
1
+ (1 − α)λ
2
, α ∈ (0, 1). (A m´asik ir´any anal´og
m´odon igazolhat´o, mint az (I) esetn´el). Ekkor λ
3
> λ
1
.
Amennyiben θ (λ
1
) = θ
_
λ
_
, illetve θ (λ
3
) = θ
_
λ
_
, ´ ugy az (I) pont l´ep ´eletbe, hiszen a
f¨ uggv´eny¨ unk szigor´ uan unimod´alis.
Azt kell meggondolni, hogy a f¨ uggv´eny´ert´ekek k¨ ul¨onb¨oz˝o egyez´ese eset´en mi biztos´ıtja a
szigor´ u kv´azikonvexit´ast.
– θ (λ
1
) = θ
_
λ
_
: Ekkor igaz, hogy minden k¨ozb¨ uls˝o λ ∈
_
λ
1
, λ
_
´ert´ekre θ(λ) = θ
_
λ
_
,
ugyanis kisebb nyilv´an nem lehet a minimumhely miatt. Indirekt tegy¨ uk fel, hogy
l´etezik λ

´ ugy, hogy θ (λ

) > θ
_
λ
_
. Ekkor azonban a folytonoss´ag miatt nem ugorha-
tunk ´at ´ert´eket, azaz l´etezik λ
∗∗
´ ugy, hogy λ
1
< λ
∗∗
< λ

< λ, m´ıg a f¨ uggv´eny´ert´ekekre:
θ (λ
1
) = θ
_
λ
_
< θ (λ
∗∗
) < θ (λ

), ami ellentmond az unimodalit´asnak.
Teh´at θ (λ
3
) = θ (λ
1
) = θ
_
λ
_
.
Meg kell m´eg vizsg´alnunk θ (λ
2
) ´ert´ek´et is. Ez nem lehet kisebb a minimumn´al (tri-
vi´alisan), azonban egyezhet vele. Ekkor θ (λ
1
) = θ (λ
2
), teh´at minden f¨ uggv´eny´ert´ek
megegyezik, azonban err˝ol az esetr˝ol a szigor´ u kv´azikonvexit´as defin´ıci´oja nem ´all´ıt
semmit.
Amennyiben θ (λ
2
) > θ
_
λ
_
, ´ ugy az el˝oz˝oekben tett meg´allap´ıt´asok alapj´an λ
1
< λ <
λ
2
esettel ´allunk szemben ´es trivi´alisan teljes¨ ul, hogy θ (λ
3
) < max {θ (λ
1
) , θ (λ
2
)} =
θ (λ
2
).
– θ (λ
1
) = θ (λ
3
) = θ
_
λ
_
.
Ebben az esetben trivi´alisan θ (λ
1
) > θ (λ
3
), hiszen az minim´alis.
• (IV) Legyen λ
1
< λ
2
< λ, ahol persze λ a megk¨ovetelt minimumhelyek egyike. Tov´abb´a
θ (λ
1
) = θ
_
λ
_
, ´es feltessz¨ uk azt is, hogy θ (λ
2
) = θ
_
λ
_
.(Az´ert tehet˝o fel, mert az unimoda-
lit´asnak ez felt´etele).
Ekkor persze λ
2
= αλ
1
+ (1 −α)λ, teh´at a szigor´ u kv´azi konvexit´as miatt
θ (λ
2
) < max
_
θ (λ
1
) , θ
_
λ
__
= θ (λ
1
), amivel k´eszen is vagyunk, hiszen a λ
2
> λ
1
> λ eset
anal´og m´odon igazolhat´o.
SZIMULT
´
AN KERES
´
ES
Az [a, b] intervallumot - melye most az algoritmus iter´aci´oi miatt legyen [a
1
, b
1
] intervallum,
osszuk fel az al´abbi m´odon:
δ =
b
1
−a
1
n + 1
´es az oszt´opontok legyenek ´ıgy a
1
+ kδ, ahol k = 1, . . . , n.
´
Igy minden pontra f¨ uggv´eny´ert´eket
sz´am´ıtva ad´odik - a f¨ uggv´enyre tett alkalmas megk¨ot´esek mellett (pl. szigor´ u kv´azi konvexit´as
elegend˝o), hogy ha λ

a megtal´alt legkisebb f¨ uggv´eny ´ert´ek, akkor a val´odi mimimumpont a


−δ, λ

+δ] intervallumba esik.
9
SZEKVENCI
´
ALIS KERES
´
ESEK
DICHOT
´
OMIKUS KERES
´
ES
A motiv´aci´onk az, hogy ha az iter´aci´ok sor´an a bizonytalans´agi intervallumunk maxim´alis
hossz´at szeretn´enk minimaliz´alni az intervallum-sz˝ uk´ıt´eses elj´ar´as sor´an, ´ ugy a legink´abb meg-
felel˝o az lenne, ha a k´et oszt´opont a felez˝opontra esne. Mi azonban k´et oszt´opontot kell, hogy
megjel¨olj¨ unk, ´ıgy egy alkalmas kis sz´ammal ezeket mindig jobbra ´es balra eltoljuk. Az algoritmus
teh´at a k¨ovetkez˝o lesz:
• STEP0 - inicializ´al´as: legyen 2ε > 0 adott, tov´abb´a az elfogadhat´o bizonytalans´agi in-
tervallum hossza legyen szint´en adott, legyen ez L. Legyenek tov´abb´a a = a
1
, b = b
1
´es ´ıgy
k = 1.
• STEP1 - oszt´opontok: Amennyiben [a
k
, b
k
] < L, ´ ugy ´alljunk meg. Egy´ebk´ent pedig
λ ∈ [a
k
, b
k
], ´ıgy legyenek
λ
k
=
a
k
+b
k
2
−ε,
µ
k
=
a
k
+b
k
2
+ε.
• STEP2 - intervallum-sz˝ uk´ıt´es Amennyiben θ (λ
k
) < θ(µ
k
), ´ ugy
a
k+1
= a
k
,
b
k+1
= µ
k
,
k = k + 1.
Egy´ebk´ent pedig
a
k+1
= λ
k
,
b
k+1
= b
k
,
k = k + 1.
• A STEP1 ´es STEP2 alkalmaz´asa egym´as ut´an.
2. Megjegyz´es. Meg´allap´ıthat´o, hogy
b
k+1
−a
k+1
=
1
2
k
(b
1
−a
1
) + 2ε
_
1 −
1
2
k
_
.
Enn´el lehet jobbat is k´esz´ıteni.
11. Defin´ıci´o. (Cs¨okken´esi r´ata): A cs¨okken´esi r´ata az al´abbi h´anyados:
b
k+ν
−a
k+ν
a
k
+b
k
,
ahol ν a megfigyel´esek sz´ama.
10
5. P´elda. a dichot´omikus keres´es eset´en ez ∼
_
1
2

2
, hiszen 2 megfigyel´esenk´ent cs¨okken l´enyeg´e-
ben a fel´ere az intervallum hossza.
Szemmel is j´ol l´athat´o, hogy ha fel tudjuk haszn´alni az egyik oszt´opontot, akkor nagys´agrendi
javul´ast tudunk el´erni, ami a cs¨okken´esi r´at´at jelenti.
Amennyiben az oszt´opontok az aranymetsz´es szab´alyai szerint ker¨ ulnek elhelyez´esre, ´ ugy vil´a-
gos, hogy az ´ uj oszt´opontok k¨oz¨ ul az egyik megmarad - teh´at minden l´ep´esben csak 1 oszt´opontot
kell meghat´aroznom.
Ehhez az al´abbi egyenletet kell megoldanunk:
α(b
k
−a
k
)
(b
k
−a
k
)
=
(1 −α) (b
k
−a
k
)
α(b
k
−a
k
)
,
ahol α az intervallum oszt´asi ar´anya. Megoldva az egyenletet kapjuk, hogy
α =

5 −1
2
∼ 0.618.
3. Megjegyz´es. Az aranymetsz´es eset´en a cs¨okken´esi r´ata ∼ (0.618)
ν
.
Szint´en felhaszn´alhatjuk az el˝oz˝o oszt´opontokat, amennyiben a Fibonacci sorozatot haszn´aljuk
fel.
12. Defin´ıci´o. (Fibonacci sorozat): Az al´abbi rekurz´ıv m´odon megadott sorozatot Fibonacci
sorozatnak nevezz¨ uk:
F
0
= 1, F
1
= 1, . . . , F
n+1
= F
n
+F
n−1
.
Vil´agos, hogy ha indul´askor annyi oszt´opontot v´alasztunk, hogy F
M
>
b
1
−a
1
L
m´ar teljes¨ ulj¨on,
akkor az oszt´opontok a r´ak¨ovektez˝o l´ep´esben minden esetben megmaradnak.
HAT
´
EKONYS
´
AG
¨
OSSZEHASONL
´
IT
´
AS Az al´abbi egyenl˝otlens´egek megold´asa adja a
l´ep´esig´enyt:
• EGYENLETES
n + 1
2

b
1
−a
1
L
.
• DICHOT
´
OMIKUS
2
ν
2

b
1
−a
1
L
.
• ARANYMETSZ
´
ES
1
_

5−1
2
_
n−1

b
1
−a
1
L
.
• FIBONACCI
1

5
__
1 +

5
2
_
n

_
1 −

5
2
_
n
_
= F
n

b
1
−a
1
L
.
11
EGYDIMENZI
´
OS KERES
´
ES DIFFERENCI
´
AL
´
ASSAL
13. Defin´ıci´o. (Pszeudokonvexit´as): Egy f : S →R f¨ uggv´eny pszeudokonvex, ha x
1
, x
2
∈ S
´es f(x
1
)
T
(x
2
−x
1
) ≥ 0 eset´en f (x
2
) ≥ f (x
1
).
Ez a tulajdons´ag elegend˝o ahhoz, hogy az intervallum-felez´eses elj´ar´as m˝ uk¨odj¨on, azaz, egy λ
k
oszt´opont eset´en az intervallum v´egpontjait ´ ugy cser´elj¨ uk le, hogy t˝ole jobbra vagy balra a deriv´alt
pozit´ıv vagy negat´ıv (hiszen ez jelenti az ir´any´aba vett n¨oveked´est vagy cs¨okken´est).
NEWTON M
´
ODSZER Itt nem tesz¨ unk m´ast, mint a m´asodrend˝ u k¨ozel´ıt´est optimaliz´aljuk.
θ(λ) ≈ θ (λ
k
) +θ


k
) (λ −λ
k
) +
1
2
θ


k
) (λ −λ
k
)
2
= T
2
(λ),
T

2
(λ) = 0 ⇒θ


k
) +θ


k
) (λ
k
) (λ −λ
k
) = 0,
amib˝ ol k¨ovetkezik, hogy
λ
k+1
= λ
k

θ


k
)
θ


k
)
.
Meg´all´asi krit´eriumok
• |λ
k+1
−λ
k
| < ε,

¸
¸
¸θ


k
)
¸
¸
¸ < ε.
4. Megjegyz´es. M˝ uk¨od´es´ehez kell, hogy a m´asodik deriv´alt egyik iter´aci´os l´ep´esben se t˝ unj´ek el,
tov´abb´a azt is tudnunk kell, hogy konvergencia csak az optimum k¨ozel´eben k¨ovetelhet˝o meg.
PRAKTIKUS, NEM EGZAKT KERES
´
ES
ARMIJO SZAB
´
ALYA: Motiv´aci´o: l´ep´eshossz megv´alaszt´asa.
Vegy¨ unk egy 0 < ε < 1, ´es egy α > 1 ´ert´eket, ahol hagyom´anyosan ε = 0.2, m´ıg α = 2
´ert´eket szok´as v´alasztani. Tegy¨ uk fel, hogy θ(λ) ≈ θ(0) + λθ

(0), tov´abb´a vegy¨ unk m´eg egy
´
θ(λ) = θ(0) + λεθ

(0) f¨ uggv´enyt is. (A 0-ban vett ´erint˝o, ´es egy n´ala kev´esb´e meredek, line´aris
f¨ uggv´enyt, illetve λ, mint optimaliz´aland´o l´ep´eshossz nem lehet negat´ıv).
Egy λ

´ert´eket akkor fogadok el jav´ıt´asnak, ha teljes´ıti az al´abbi k´et felt´etelt:
• (1) θ



) ≤
´
θ (λ

),
• (2) θ (αλ

) >
´
θ (αλ

).
Az els˝o felt´etel azt k´eri, hogy maradjunk a beh´ uzott, m´odos´ıtott meredeks´eg˝ u egyenes felett,
m´ıg a m´asodik felt´etel azt biztos´ıtja, hogy az algoritmus ne legyen t´ ul ´ovatos, mindenk´eppen
haladjon valamennyit el˝ore.
12
EGYDIMENZI
´
OS KERES
´
ES Z
´
ARTS
´
AGA
Legyen θ(λ) = f(x+λd) minimaliz´al´asa a feladat egy z´art, L intervallum felett. Az algoritmikus
lek´epez´es, amelyet vizsg´alnunk kell egy olyan M : R
n
×R
n
→R
n
, mely egy indul´opontb´ol ´es egy
ir´anyb´ol megad egy ´ uj pontot.
Formaliz´alva:
M(x, d) =
_
y : y = x +λd : λ ∈ L f(y) ≤ f(x +λd) ∀λ ∈ L
_
.
11. T´etel. Amennyiben f folytonos x-ben, ´es d = 0, ´ ugy az M algoritmikus lek´epez´es z´art (x, d)-
n´el.
Bizony´ıt´as:Be kell l´atnunk, hogy ha (x
k
, d
k
) →(x, d), tov´ab´a ha y
k
→y, ´es y
k
∈ M (x
k
, d
k
),
akkor ebb˝ol k¨ovetkezik, hogy y ∈ M(x, d).
Legyen y
k
= x
k

k
d
k
. Amennyiben d = 0, ´ ugy eg´eszen biztos, hogy ∃K, hogy ∀k > K eset´en
d
k
= 0, azaz
λ
k
=
y
k
−x
k

d
k

,
´es ´ıgy a folytonoss´ag miatt:
λ =
y −x
d
´es ´ıgy λ
k
→λ, azaz y is fel´ırhat´o ugyanilyen alakban, teh´at y = x+λd, azaz y az x+λd egyenesen
van.
Ekkor persze a folytonoss´ag miatt ∀λ ∈ L:
f (y
k
)
. ¸¸ .
→f(y)
≤ f (x
k
+λd
k
)
. ¸¸ .
→f(x+λd)
.
Tipikusan v´alasztand´ o tartom´anyok:
• L = {λ : λ ∈ R},
• L = {λ : λ ≥ 0},
• L = {λ : λ ∈ [a, b]}.
5. Megjegyz´es. Gondoljuk meg, hogy a d = 0 felt´etelre sz¨ uks´eg¨ unk van, mert m´ask¨ ul¨onben pl. a
min(x − 2)
4
f¨ uggv´eny eset´en (x
k
, d
k
) =
_
1
k
,
1
k
_
v´alaszt´ as mellett, melyre (x
k
, d
k
) → (0, 0) ad´odik,
viszont y
k
= 2, teh´at y
k
→2, azonban 2 / ∈ M(0, 0) = {0}.
6. Megjegyz´es. Amennyiben D ir´anykeres˝o lek´epez´es z´art, ´es {y
k
} sorozatnak van konvergens
r´eszsorozata, akkor az A = MD ¨osszetett lek´epez´es is z´art egy kor´abbi t´etel¨ unk miatt.
13
T
¨
OBBV
´
ALTOZ
´
OS KERES
´
ESEK
Minimaliz´al´as f¨ uggetlen ir´anyokon
A megoldand´o feladat R
n
felett minimaliz´alni egy f(x) f¨ uggv´enyt.
12. T´etel. Legyen f : R
n
→ R egy differenci´alhat´o f¨ uggv´eny. Tegy¨ uk fel, hogy y ∈ A(x), majd
minimaliz´aljuk f-et a d
1
(x), . . . , d
n
(x) ir´anyok ment´en, ahol feltehet˝o, hogy d
i
= 1, ∀i. Tegy¨ uk
fel tov´abb´a, hogy
• ∃ε > 0 ´ ugy, hogy det D(x) ≥ ε, ahol D(x) = [d
1
(x), . . . , d
n
(x)], ∀x ∈ R
n
.
• f-nek minden egyenes ment´en pontosan 1 minimumhelye van.
Tekints¨ uk az al´abbi algoritmust: legyen x
1
indul´opontunk. Amennyiben f (x
k
) = 0, ´ ugy
´alljunk meg, ellenkez˝o esetben x
k+1
∈ A(x
k
), illetve k = k + 1.
Amennyiben az {x
k
} ⊂ K ⊂ R
n
, ´es K kompakt, ´ ugy teljes¨ ul, hogy {x
k
} minden torl´od´asi
pontj´ara f (x) = 0.
Bizony´ıt´as:Amennyiben az algoritmus v´eges l´ep´esben v´eget ´er, ´ ugy k´eszen vagyunk.
Amennyiben nem, ´ ugy tegy¨ uk fel, hogy {x
k
}
K
→ x, tov´abb´a {x
k+1
}
K

→ x

. Tudjuk, hogy
D
k
-ban d
i
= 1, azaz feltehet˝o, hogy {D
k
}
K
∗∗
→D, ahol feltessz¨ uk, hogy K
∗∗
⊂ K

⊂ K.
Szeretn´enk bel´atni, hogy x

∈ A(x) - s˝ot, effekt´ıve x

= A(x).
y
j+1,k
= y
j,k

j,k
d
j,k
,
amib˝ ol k¨ovetkezik, hogy
x
k+1
. ¸¸ .
→x

= x
k
.¸¸.
→x
+ D
k
.¸¸.
→D
λ
k
,
ahol a hat´ar´ert´ekeket tudjuk a felt´etelez´eseink miatt. Ezen k´ıv¨ ul azt is tudjuk, hogy
λ
k
= D
−1
k
(x
k+1
−x
k
),
amib˝ ol szint´en a hat´ar´ert´ekek miatt k¨ovetkezik, hogy
λ = D
−1
(x

−x),
mert hiszen ε nem f¨ ugg x-t˝ol, azaz minden esetben rendbe lesz az invert´al´as.
Tov´abb´a az is igaz, hogy
f (y
j+1,k
)
. ¸¸ .
→f(yj+1)≤
≤ f
_
y
j,k
+λd
j,k
_
. ¸¸ .
→f(y
j
+λd
j
)
∀λ ∈ R.
Ezekb˝ol pedig k¨ovetkezik, hogy x

= A(x).
Ezen a ponton k´et esetet tudunk megk¨ ul¨onb¨oztetni:
• f(x

) < f(x), azonban tudjuk, hogy limf (x
k
) = f (x

) vagy limf (x
k
) = f (x), teh´at ez a
felt´etelez´es mindenk´eppen ellentmond´as az algoritmusban rejl˝o folyamatos cs¨okkent´es miatt.
(Ellentmond a monotonit´asnak).
• f(x

) = f(x), ´es m´eg x

= A(x), amib˝ol k¨ovetkezik, hogy f
T
(x)d
j
= 0 ∀j-re, azaz
f
T
(x)D = 0, amib˝ol a determin´ansra tett megk¨ot´es¨ unk miatt k¨ovetkezik, hogy f(x) = 0.
14
6. P´elda. A t´etelben szerepl˝o m´asodik felt´etel sz¨ uks´eges, ugyanis:
Tekints¨ uk az f (x
1
, x
2
) = x
2
(1−x
1
) f¨ uggv´enyt. Tartozzon hozz´a a d
1
= [1, 0]
T
´es a d
2
= [0, 1]
T
ir´anyvektor. Indulva az (0, 0) pontb´ol, el˝osz¨or az (1, 0), majd az (1, 1) pontba ´erkez¨ unk.
´
Igy a
t´etelben szerepl˝o x pont az (0, 0), m´ıg az x

pont az (1, 1) pont lett. Ekkor persze f(0, 0) =
f(1, 1) = 0 ad´odik, viszont f(0, 0) = (0, 1) = (0, 0).
KOORDIN
´
AT
´
ANK
´
ENTI KERES
´
ES (CYCLING COORDINATE METHOD)
Legyenek d
1
, . . . , d
n
ir´anyvektorok, ahol d
j
= e
j
, azaz a j-edik egys´egvektor.
Az algoritmus legyen a k¨ovetkez˝o:
• Inicializ´al´as: ε > 0, d
j
= e
j
j = 1, . . . , n, x
1
= y
1
, k = j = 1.
• STEP1:
λ
j
= argmin{f (y
j
+λd
j
) , λ ∈ R} ,
y
j+1
= y
j

j
d
j
.
Ha j < n, akkor j = j + 1, m´ask¨ ul¨onben STEP2.
• STEP2: x
k+1
= y
n+1
. Amennyiben x
k+1
−x
k
< ε, ´ ugy meg´allunk, ellenkez˝o esetben:
STEP1: y
1
= x
k+1
, j = 1, k = k + 1 inicializ´al´as mellett.
7. Megjegyz´es. (Konvergencia):Amennyiben minden ir´anyban pontosan 1 minimum tal´alhat´o,
az {x
k
} egy R
n
-beli kompakt tartom´anyban mozog, az eredeti f f¨ uggv´eny differenci´alhat´o, ´es az
Ω = {x : f(x) = 0}, ´ ugy a fenti algoritmus konvergens.
8. Megjegyz´es. A differenci´alhat´os´agra sz¨ uks´eg van, mert el˝ofordulhat, hogy egy nem sima f¨ ugg-
v´eny eset´en cs´ ucsban ragadunk - nem tudunk bel˝ole j´o ir´anyba elindulni. Ezt kik¨ usz¨ob¨olend˝o
m´odos´ıthatjuk az algoritmust az ´ ugynevezett mintak¨ovet˝o l´ep´essel.
HOCKE
´
ES JEEVES ALGORITMUSA
Az algoritmusban haszn´alunk d
1
, . . . , d
n
vektorokat, illetve egy sz´am´ıtott d vektort.
• Inicializ´al´as: ε > 0, x
1
= y
1
, k = j = 1.
• STEP1: (Legyen ez majd a B lek´epez´es)
λ
j
= argmin{f (y
j
+λd
j
) , λ ∈ R} .
Amennyiben j < n, ´ ugy j = j + 1, egy´ebk´ent x
k+1
= y
n+1
.
Ha x
k+1
−x
k
< ε, ´ ugy meg´allunk,
ellenkez˝o esetben STEP2.
• STEP2: (Legyen ez majd a C lek´epez´es)
d = x
k+1
−x
k
.
´
λ = argmin{f (x
k+1
+λd) , λ ∈ R} ,
j = 1,
k = k + 1,
´es STEP1.
15
9. Megjegyz´es. (Konvergencia): Legyen Ω = {x : f(x) = 0}, illetve α(x) = f(x) a cs¨okke-
n´esi f¨ uggv´eny.
A koordin´at´ank´enti elemz´es, ami a B lek´epez´es, ´ıgy z´art lek´epez´es lesz az R
n
\ Ω halmazon. (A
mintakeres´es a C lek´epez´es).
Tudjuk, hogy a koordin´at´ank´enti l´ep´es mindenk´eppen cs¨okkenti az α f¨ uggv´enyt, a mintakeres´es
pedig garant´altan nem n¨oveli azt. (Hiszen szint´en egy vonal menti minimaliz´al´ ast tartalmaz).
Amennyiben a Λ = {x : f(x) ≤ f (x
k
)} kompakt, ´ ugy az a fent v´azolt algoritmus konvergens lesz.
ROSENBROCK ALGORITMUSA
A k¨ovetkez˝o algoritmus az ortogon´alis, eg´eszen pontosan ortonorm´alt ir´anyok algoritmusa.
Legyenek ennek megfelel˝oen d
1
, . . . , d
n
ortonorm´alt ir´anyok.
L´epj¨ unk x
k
pontr´ol x
k+1
pontra. Az ´ uj d

1
, . . . , d

n
ir´anyokat az al´abbi m´odon hat´arozzuk meg
(l´enyeg´eben a Gram-Schmidt ortogonaliz´aci´ot hajtjuk v´egre):
a
j
= d
j
, ha λ
j
= 0,
a
j
=
n

i=j
λ
i
d
i
, ha λ
j
= 0.
Majd ezek ut´an az ortogonaliz´aci´o:
b
j
= a
j
, ha j = 1,
b
j
= a
j

j−1

i=1
(a
T
j
d

i
)d

i
,
ahol
d

i
=
b
i
b
i

,
term´eszetesen rekurz´ıv m´odon megadva.
16
13. T´etel. d

1
, . . . , d

n
is f¨ uggetlenek ´es ortogon´alisak. Tov´abb´a, ha λ
j
= 0, akkor d

j
= d
j
Bizony´ıt´as:Tudjuk, hogy a
1
, . . . , a
n
f¨ uggetlenek, ´ıgy a transzform´aci´o m´atrix´anak f˝o´atl´oj´aban
a λ-k ´allnak, illetve az adott a
k
oszlop´aban 1-es. Ebb˝ol k¨ovetkez˝oen a transzform´aci´o m´atrix
determin´ansa:
det =

λi=0
λ
i
= 0.
Ebb˝ol az k¨ovetkezik, hogy a b
j
-k is f¨ uggetlenek, r´aad´asul a Gram-Schmidt miatt ortogon´alisak is.
Azt kell m´eg bel´atnunk, hogy ha valamely λ
j
= 0, akkor d

j
= d
j
teljes¨ ul.
Ekkor defin´ıci´o szerint a
j
= d
j
, teh´at
b
j
= a
j
.¸¸.
=d
j

j−1

i=1
_
d
T
j
d

i
_
d

i
,
b
i
=
n

k=i+1
λ
k
d
k
. ¸¸ .
λ
i
=0

i−1

l=1
_
n

k=i+1
λ
k
d
k
_
d

l
d

l
,
ahol a kivonand´o 0, mert
d

i
.¸¸.
1≤i≤j−1
⊂ L(d
i
: i = j) ⊥d
j
.
17
T
¨
OBBV
´
ALTOZ
´
OS KERES
´
ESEK DIFFERENCI
´
AL
´
ASSAL
Gradiens m´odszer
• Inicializ´al´as:ε > 0, x
1
, k = 1.
• F˝ol´ep´es: Ha f (x
k
) < ε, ´ ugy meg´allunk, m´ask¨ ul¨onben
d
k
:= −f (x
k
) ,
λ
k
:= argmin{f (x
k
+λd
k
) , λ > 0} ,
x
k+1
= x
k
+d
k
λ
k
,
k := k + 1.
Konvergencia: M az egydimenzi´os keres´es - amennyiben f folytonos ´es d = 0 - z´art. D(x)
ir´anykeres´es az (x, −f (x)) p´art adja vissza az
f ∈ C
1
(R
n
) ,
Ω = {x : f (x) = 0}
felt´etelek mellett. Azonban D(x) folytonos, teh´at z´art is R
n
\Ω halmazon. Tov´abb´a az α(x) = f(x)
megfelel˝o cs¨okken´esi f¨ uggv´eny.
Ebb˝ol k¨ovetkezik, hogy ha {x
k
} ⊂ kompakt ⊂ R
n
, akkor {x
k
} minden torl´od´asi pontja
Ω-ban van.
10. Megjegyz´es. A probl´em´at az okozza, hogy nagyon ugr´al (cikk-cakk), r´aad´asul a konvergencia
is csak lin´aris (lass´ u).
Newton m´odszer
El˝osz¨ or a motiv´aci´o:
f(x) ≈ f (x
k
) +f (x
k
) (x −x
k
) +
1
2
(x −x
k
)
T
H (x
k
) (x −x
k
) ,
ahonnan deriv´al´as ut´an kapjuk, hogy
x
k+1
= x
k
−H
−1
(x
k
) f (x
k
) .
A probl´em´at az fogja jelenteni, hogy ez csak az optimumhely bizonyos k¨ornyezet´eben konverg´al.
Ott viszont gyorsan.
18
14. T´etel. Legyen f : R
n
→ R
n
∈ C
3
(R
n
), A(x) = x − H
−1
(x) f(x). Legyen x

olyan, hogy
f (x

) = 0, ´es tegy¨ uk fel azt is, hogy H
−1
(x

) l´etezik.
Amennyiben ∃k
1
, k
2
> 0 konstansok ´ ugy, hogy k
1
k
2
x
1
−x

< 1, tov´abb´a
_
_
H
−1
(x)
_
_
≤ k
1
,
f (x

) −f(x) −H(x) (x

−x) ≤ k
2
x

−x
2
teljes¨ ul ∀ x −x

≤ x
1
−x

esetben, ´ ugy az algoritmus legal´abb kvadratikusan konverg´al x

-hoz.
Bizony´ıt´as:Az els˝o felt´etelhez k
1
l´etez´ese trivi´alis, mert H
−1
folytonos, a tartom´any pedig
korl´ atos ´es z´art.
A m´asodik felt´etelhez k
2
l´etez´ese szint´en OK, mert a Taylor sorfejt´es marad´ektagja fel¨ ulr˝ol
becs¨ ulhet˝o.
Ez a k´et felt´etel hat´arolja be, hogy mennyire kell k¨ozelr˝ol ind´ıtani a konvergenci´ahoz.
Tudjuk, hogy Ω = {x

}, tov´abb´a X = {x : x −x

≤ x
1
−x} kompaktak.
Tov´abb´a azt is tudjuk, hogy A z´art X-ben, mert folytonos.
Az k´ene, hogy α(x) = x −x

cs¨okken´esi f¨ uggv´eny. Teh´at, azt kell bel´atnunk, hogy y ∈ A(x)
eset´en α(y) < α(x) teljes¨ ul. Elegend˝o persze α(x
k+1
) < α(x
k
) helyette.
Ehhez:
α(x
k+1
) = x
k+1
−x =
=
_
_
x
k
−H
−1
(x
k
) f (x
k
) −x
_
_
=
=
_
_
_
H
−1
(x
k
)
_
(f (x

) −f (x
k
) −H (x
k
) (x −x
k
))
_
_


_
_
H
−1
(x
k
)
_
_
f (x

) −f (x
k
) −H (x
k
) (x −x
k
) ≤
≤ k
1
k
2
x

−x
k

2
< x

−x
k
,
azonban azt is tudjuk, hogy x
k+1
−x

< k
1
k
2
x −x
k+1

2
, azaz a kvadratikus konvergencia
is rendben van.
Konjug´alt ir´anyok m´odszere
14. Defin´ıci´o. (Konjug´alt ir´anyok): Legyen H egy n×n-es szimmetrikus m´atrix. A d
1
, . . . , d
n
ir´anyokat H-konjug´alt ir´anyoknak nevezz¨ uk, ha f¨ uggetlenek, ´es d
T
i
Hd
j
= 0, ha i = j.
Motiv´aci´o: Legyen f(x) = c
T
x +
1
2
x
T
Hx, tov´abb´a legyenek d
1
, . . . , d
n
H-konjug´alt ir´anyok.
Tov´abb´a x = x
1
+

λ
i
d
i
.
F(λ) = c
T
_
x
1
+
n

i=1
λ
i
d
i
_
+
1
2
_
x
1
+
n

i=1
λ
i
d
i
_
T
H
_
x
1
+
n

i=1
λ
i
d
i
_
=
.¸¸.
H−konj
n

i=1
_
c
T
(x
1

i
d
i
) +
1
2
(x
1

i
d
i
)
T
H (x
1

i
d
i
)
_
−(n −1)f (x
1
)
. ¸¸ .
konstans
,
azaz a l´ep´eshosszak k¨ ul¨on-k¨ ul¨on n´ezhet˝oek ir´anyonk´ent, b´armilyen sorrendben.
19
15. T´etel. Legyen f(x) = c
T
x +
1
2
x
T
Hx, legyenek d
1
, . . . , d
n
H-konjug´alt ir´anyok. Legyen adott
x
1
, tov´abb´a λ
k
:= argmin{f (x
k
+λd
k
)}, k = 1, . . . , n, ´es x
k+1
= x
k
+ λ
k
d
k
. Ekkor az al´abbiak
teljes¨ ulnek:
• (1): f (x
k+1
)
T
d
j
= 0, j=1,. . . ,k.
• (2): f (x
1
)
T
d
k
= f (x
k
)
T
d
k
.
• (3): x
k+1
optim´alis megold´asa az al´abbi feladatnak:
min f(x)
x −x
1
∈ L(d
1
, . . . , d
k
) .
.
Ebb˝ol az is k¨ovetkezik, hogy x
n+1
optim´alis megold´ asa a min f(x), x ∈ R
n
feladatnak, azaz az
algoritmus n l´ep´esben v´eget´er.
Bizony´ıt´as:
• (1): f (x
j+1
)
T
d
j
= 0 vil´agos, mert az x
j+1
-et az utols´o minimaliz´al´assal nyerj¨ uk. Tov´abb´a
azt is tudjuk, hogy:
f (x
k+1
) = f
_
_
x
j+1
+
k

i=j+1
λ
i
d
i
_
_
,
f (x
k+1
) = f
_
_
x
j+1
+
k

i=j+1
λ
i
d
i
_
_
= f (x
j+1
) +
k

i=j+1
λ
i
Hd
i
,
f (x
k+1
)
T
d
j
= f (x
j+1
) d
j
. ¸¸ .
=0
+
k

i=j+1
λ
i
d
T
i
Hd
j
. ¸¸ .
=0
,
a H-konjug´alts´ag miatt.
• (2): Ugyan´ıgy kell csin´alni, azaz:
f (x
k
)
T
d
k
=
_
f (x
1
) +
k−1

i=1
λ
i
Hd
i
_
T
d
k
= f (x
1
)
T
d
k
+ 0,
szint´en a H-konjug´ alts´ag miatt.
• (3):
f (x
k+1
) = f
_
_
x
1
+
k

j=1
λ
j
d
j
_
_
= f (x
1
) +f (x
1
)
T
_
_
k

j=1
λ
j
d
j
_
_
+
1
2
k

j=1
λ
2
j
d
T
j
Hd
j
. ¸¸ .
(∗)
,
ahol (∗)-n´al a t¨obbi kiesik a H-konjug´alts´ag miatt.
Indirekt tegy¨ uk fel, hogy van egy f
_
x

k+1
_
jobb megold´as. Ir´anyonk´ent fel´ırva:
f (x
j
) +λ
j
f (x
j
)
T
d
j
+
1
2
λ
2
j
d
T
j
Hd
j
. ¸¸ .
=0
≤ f (x
j
) +µ
j
f (x
j
)
T
d
j
+
1
2
µ
2
j
d
T
j
Hd
j
,
amit ¨osszegezve, ´es a (2) felt´etelt is figyelve k´esz az ellentmond´as.
20
Konjug´alt gradiens m´odszer
Legyen f : R
n
→ R f¨ uggv´eny adott, ´es y
j+1
= y
j
+ λ
j
d
j
, tov´abb´a d
1
= − f (y
1
). Adott
lesz y
j+1
, f (y
j+1
) = 0, amikb˝ol d
j+1
= −f (y
j+1
) + α
j
d
j
. A c´el olyan α
j
megtal´al´asa, hogy
konjug´alt ir´anyokat kapjunk.
Feltessz¨ uk, hogy f kvadratikus, H pozit´ıv definit, ´es jel¨olje
p
j
= (λ
j
d
j
) = y
j+1
−y
j
,
q
j
= (Hp
j
) = f (y
j+1
) −f (y
j
) .
Azt akarjuk, hogy d
T
j+1
Hd
j
= 0 teljes¨ ulj¨on.
0 = d
T
j+1
Hp
j
= d
T
j+1
q
j

.¸¸.
lok.kvadr
α
HS
j
=
f (y
j+1
)
T
q
j
d
T
j
q
j
=
λ
j
f (y
j+1
)
T
q
j
p
T
j
q
j
.
d
j+1
q
j
= d
j
(f (y
j+1
) −f (y
j
)) = d
j
(−f (y
j
)) =
= (f (y
j
) −α
j−1
d
j−1
) f (y
j
) = |f (y
j
)|
⇒α
PR
j
=
f (y
j+1
)
T
q
j
f (y
j
)
2
.
Amennyiben f kvadratikus, azaz c
T
x +
1
2
x
T
Hx, ´ ugy
f (y
j+1
)
T
f (y
j
) = f (y
j+1
)
T

j−1
d
j−1
−d
j
) = α
j−1
f (y
j+1
)
T
d
j−1
=
=
.¸¸.
kvadr.
α
j−1
(f (y
j
) +λ
j
Hd
j
)
T
d
j−1
= 0
⇒α
FR
j
=
f (y
j+1
)
2
f (y
j
)
2
Az algoritmus:
• Inicializ´al´as: ε > 0, x
1
, y
1
= x
1
, d
1
= −f (y
1
), k = j = 1.
• STEP1: f (y
j
)
2
< ε, akkor meg´allunk. M´ask¨ ul¨onben
λ
i
= argmin{f (y
j
+λd
j
) , λ ≥ 0} ,
y
j+1
= y
j

j
d
j
´es itt kell, hogy d
j
cs¨okken´esi ir´any legyen. Amennyiben j < n, ´ ugy a STEP2 k¨ovetkezik,
ellenkez˝o esetben STEP3.
• STEP2: Legyen
d
j+1
= −f (y
j+1
) +α
j
d
j
,
ahol
α
j
=
f (y
j+1
)
2
f (y
j
)
2
,
´es j := j + 1, majd STEP1.
21
• STEP3:
y
1
:= x
k+1
:= y
n+1
,
d
1
:= f (y
j
) ,
j := 1,
k := k + 1,
majd ut´ana STEP1.
16. T´etel. Tegy¨ uk fel, hogy a feladat minimaliz´alni az f(x) = c
T
x+
1
2
x
T
Hx kvadratikus f¨ uggv´enyt,
x ∈ R
n
, ´es alkalmazzuk r´a a fenti algoritmust. Amennyiben f (y
j
) = 0 ∀j = 1, . . . , n, akkor
• 1.) d
1
, . . . , d
n
H-konjug´alt ir´anyok,
• 2.) d
1
, . . . , d
n
cs¨okken´esi ir´anyok,
• 3.)
α
j
=
d
j
H f (y
j+1
)
d
T
j
Hd
j
.
Bizony´ıt´as:Teljes indukci´ot alkalmazunk, mindh´arom ´all´ıt´asra, egyszerre.
• (1): j = 1-re nyilv´ an igaz, teh´at nem kell n´ezni.
Figyelj¨ uk meg, hogy
d
k+1
= −f (y
k+1
) +α
k
d
k
= −(f (y
k
) +Hλ
k
d
k
) +α
k
d
k
=
= −(−d
k

k−1
d
k−1

k
Hd
k
) +α
k
d
k
,
amib˝ol k¨ovetkezik, hogy
d
T
k
H =
1
λ
k
(−d
k+1
+ (1 +α
k
) d
k
−α
k
d
k−1
) .
Az indukci´os l´ep´est bizony´ıtva, azt kell bel´atnunk, hogy:
d
T
k
Hd
j+1
= 0,
mert k = j-re alap feltev´es volt, teh´at nek¨ unk be kell l´atni j > k-ra.
d
T
k
Hd
j+1
= d
T
k
H (−f (y
j+1
) +α
j
d
j
) = d
T
k
H f (y
j+1
) =
.¸¸.
megjegyz.
= −
1
λ
k
(d
k+1
+ (1 −α
k
) d
k
−α
k−1
d
k−1
)
. ¸¸ .
∈L(d
1
,...,d
n
)
f (y
j+1
) = 0,
az indukci´os feltev´est is kihaszn´alva.
A f¨ uggetlens´eget kell m´eg igazolnunk. Ehhez:
j

i=1
µ
i
d
i

j+1
d
j+1
= 0,
j

i=1
µ
i
d
i

j+1
(−f (y
i+1
) +α
j
d
j
) = 0,
amit szorozva f (y
j+1
)-el:
0 +µ
j+1
_
−f (y
j+1
)
2
_
+ 0 = 0,
⇒µ
j+1
= 0.
22
• (2): Cs¨okken´esi ir´any:
f (y
j+1
)
T
d
j+1
= f (y
j+1
) (−f (y
j+1
) +α
j
d
j
) = −f (y
j+1
)
2
< 0.
• (3):
λ
j+1
d
T
j+1
H f (y
j+2
) =
_
_
_d
j+2

j+1
d
j+1
. ¸¸ .
f(yj+2)
+d
j+1
−α
j
d
T
j
f (y
j+2
)
. ¸¸ .
=0
_
_
_ =
= f (y
j+2
)
2
.
A nevez˝o:
f (y
j+2
)
2
= (−d
j+1

j
d
j
)
T
(f (y
j+2
) +λ
j+1
Hd
j+1
) = λ
j+1
d
T
j+1
Hd
j+1
.
Ebb˝ol k¨ovetkezik, hogy
α
j+1
=
d
j+1
H f (y
j+2
)
d
T
j+1
Hd
j+1
λ
j+1
λ
j+1
=
f (y
j+2
)
2
f (y
j+1
)
2
.
Meg kell m´eg vizsg´alnunk:
α
1
=
d
T
1
H f (y
2
)
d
T
1
Hd
1
=
(f (y
2
) −f (y
1
)) f (y
2
)
(f (y
2
) −f (y
1
) (−f (y
1
)))
=
f (y
2
)
2
f (y
1
)
2
.
11. Megjegyz´es. Kvadratikus f¨ uggv´enyre mindh´arom α megegyezik, nem kvadratikus f¨ uggv´enyre
a tapasztalatok alapj´an α
PR
≥ α
FR
, ´es persze a konjug´alts´ag nem marad meg.
12. Megjegyz´es. A konjug´alt gradiens m´odszer ´ ujraind´ıt´asa:
Legyen τ = j, ahol j < n −1 lehet. Ekkor
d
τ+1
= −f (y
τ+1
) +α
τ
d
τ
,
´es az algoritmusban STEP3 az al´abbi alakot ¨olti:
STEP3:
x
k+1
= y
τ+1
, d
1
= d
τ+1
(∗ ∗ ∗),
DE
d
2
= −f (y
2
) +α
1
d
1
,
d
j+1
= −f (y
j+1
) +α
j
d
j

j
d
1
(j ≥ 2),
µ
j
=
f (y
j+1
)
T
q
1
d
T
1
q
1
.
A d
j+1
-re vonatkoz´o feltev´es kell a H-konjug´alts´aghoz, m´eg kvadratikus f¨ uggv´enyre is. A (∗ ∗ ∗)
felt´etel kell, mert m´ask¨ ul¨onben elvesz´ıtj¨ uk a d
τ
-ban rejl˝o m´asodrend˝ u inform´aci´okat.
13. Megjegyz´es. Az ´ ujraind´ıt´asi krit´eriumok:
• j = n-1 (ez a norm´alis, r´egi m´odszer),

¸
¸
¸f (y
j+1
)
T
f (y
j
)
¸
¸
¸ ≥ 0, 2 f (y
j+1
)
2
, amennyiben (j ≥ 1), mely az ortogonalit´asi
felt´etel,
• −1, 2 f (y
j+1
)
2
≤ d
T
j+1
f (y
j+1
) ≤ −0, 8 f (y
j+1
)
2
, amennyiben (j ≥ 2), ami a
cs¨okken´esi felt´etel.
23
Kv´azi-Newton m´odszerek: DFP m´odszere
Az algoritmus
• Inicializ´al´as: legyen ε > 0, x
1
adott ´es D
1
szimmetrikus, pozit´ıv definit m´atrix, y
1
:= x
1
,
´es k = j = 1.
• STEP1: amennyiben f (y
j
) < ε, ´ ugy meg´allunk. M´ask¨ ul¨onben:
d
j
= −D
j
f (y
j
) ,
λ
j
= argmin{f (y
j
+λd
j
) , λ ≥ 0} ,
y
j+1
= y
j

j
d
j
.
Amennyiben j < n, ´ ugy STEP2, m´ask¨ ul¨onben STEP3.
• STEP2:
D
j+1
= D
j
+
p
j
p
T
j
p
T
j
q
j

D
j
q
j
q
T
j
D
j
q
T
j
D
j
q
j
,
ahol
p
j
= λ
j
d
j
= y
j+1
−y
j
,
q
j
= f (y
j+1
) −f (y
j
) ,
majd j := j + 1, ´es ´ ujra STEP1.
• STEP3:
y
1
= x
k+1
= y
n+1
,
j := 1,
k := k + 1,
majd STEP1.
24
17. Lemma. A fenti esetben, ha f (y
j
) = 0, ´es j = 1, . . . , n, akkor D
1
, . . . , D
n
szimmetrikus,
pozit´ıv definitek, ´es ekkor d
1
, . . . , d
n
cs¨okken´esi ir´anyok.
Bizony´ıt´as:Teljes indukci´oval bizony´ıtunk. A j = 1 eset rendben van.
Ezek ut´an igazoljuk j + 1 eset´ere. A szimmetria trivi´alisan teljes¨ ul, teh´at azzal nem kell
foglalkoznunk. Tudjuk, hogy Cholesky faktoriz´aci´oj´aval D
j
= D
1/2
j
D
1/2
j
. Tekints¨ uk az al´abbi
jel¨ol´eseket:
a := D
1/2
j
x,
b := D
1/2
j
q
j
.
Ezek ut´an a pozit´ıv definits´eget kell igazolnunk.
x
T
D
j+1
x = aa
T
+
x
T
p
j
p
T
j
x
T
p
T
j
q
j

_
a
T
b
_
2
(b
T
b)
2
=
=
_
a
T
a
_ _
b
T
b
_

_
a
T
b
_
2
(b
T
b)
2
. ¸¸ .
C−B−S⇒≥0
+
≥0
¸ .. ¸
_
x
T
p
_
2
p
T
j
q
j
.
Ebb˝ol k¨ovetkezik, hogy
p
T
j
q
j
> 0 ⇒(y
j+1
−y
j
) (f (y
j+1
) −f (y
j
)) = y
j
(−f (y
j
)) ,
ami cs¨okken´es ir´any, teh´at ≥ 0 teljes¨ ul. Tov´abb´a, b
T
b > 0, hiszen g
j
= 0. Azaz, a szemidefinits´eg
m´ar igazolt.
Azt is tudjuk, hogy x
T
D
j+1
x = 0, hiszen indirekt feltehetj¨ uk, hogy m´egis az, akkor viszont a
m´ar hivatkozott C-B-S egyenl˝otlens´eg miatt
a = λb ⇒x = λq
j
⇒x
T
p
j
= λp
T
j
q
j
⇒p
j
q
j
= 0,
s˝ot, effekt´ıve pozit´ıv, ami nem lehet. Ebb˝ol k¨ovetkez˝oen a pozit´ıv definits´eg is adott, teh´at min-
denki cs¨okken´es ir´any.
14. Megjegyz´es. Itt is lehets´eges a bels˝o ciklus ´ ujraind´ıt´asa, amennyiben n
,
hat´arozottan kisebb,
mint n.
25
Kvadratikus eset
18. T´etel. Legyen H pozit´ıv definit, legyen f(x) = c
T
x +
1
2
x
T
Hx kvadratikus, tov´abb´a tegy¨ uk fel,
hogy az algoritmus sor´an f (y
j
) = 0.
Ekkor d
1
, . . . , d
n
H-konjug´alt ir´anyok, tov´abb´a D
n+1
= H
−1
, ´es y
n+1
optim´alis megold´as.
Bizony´ıt´as:Teljes indukci´ot alkalazunk ism´et. Tudjuk, hogy a H-konjug´alts´ag miatt:
• (1):d
1
, . . . , d
j
f¨ uggetlenek,
• (2): d
T
i
Hd
k
= 0, mid˝on i = k, tov´abb´a i, k ≤ j,
• (3):D
j+1
Hp
j
= p
k
, hiszen D
j+1
Hd
k
= d
k
, mid˝on (1 ≤ k ≤ j). Ez persze azt is jelenti, hogy
p
1
, . . . , p
j
a D
j
H m´atrix saj´atvektorai.
Tudjuk, hogy a j = 1 eset rendben van. Felt´eve, hogy j = 1, 2 rendben van, j = 3 esetre:
D
2
Hp
1
= D
1
q
1
+
p
1
p
T
1
p
T
1
q
1
q
1

D
1
q
1
q
T
1
D
1
q
1
D
1
p
1
q
1
= p
1
.
Vizsg´aljuk meg teh´at a j + 1 esetet, ezzel anal´og m´odon.
0 =
.¸¸.
(ortog)

(i≤j)
d
i
f (y
j+1
) =
.¸¸.
(3)
d
i
HD
j+1
f (y
j+1
) = −d
T
i
Hd
j+1
.
Kell, hogy D
j+2
Hp
k
esetr˝ol valamit mondjunk. Mid˝on k = j +1, ´ ugy alkalmazhatjuk a j = 1, 2
estre anal´og elj´ar´ast, teh´at ezzel nincsen gond. Amikor k < j + 1, akkor
D
j+2
Hp
k
= D
j+1
Hp
k
+
p
j+1
p
T
j+1
p
T
j+1
q
j+1
Hp
k
q
k

D
j+1
q
j+1
q
T
j+1
D
j+1
q
T
j+1
D
j+1
q
j+1
q
k
= p
k
,
ami a sz¨ uks´eges be´ır´asok ut´an, kihaszn´alva a H-konjug´alts´agot ad´odik. A f¨ uggetlens´eget k¨onnyen
l´athatjuk, mert
j+1

i=1
α
i
d
i
= 0,
amit jobbr´ol szorozva Hd
j+1
vektorral ad´odik, hogy α
j+1
= 0.
A harmadikhoz m´eg be kell l´atnunk, hogy mi van a j = n esettel. Ekkor
D
n+1
H [d
1
, . . . , d
n
] =
.¸¸.
fgtlen
[d
1
, . . . , d
n
] ⇒D
n+1
= H
−1
.
15. Megjegyz´es. Motiv´aci´o: Azt szeretn´enk, ha D
j+1
= D
j
+ C
j
alakban ´allna el˝o, ehhez az
kell, hogy C
j
q
k
= 0 teljes¨ ulj¨on minden j el˝otti k-ra, tov´abb´a, hogy C
j
q
j
= p
j
− D
j
q
j
teljes¨ ulj¨on,
amib˝ol
p
j
p
T
k
p
T
j
q
j
ad´odik, ´es itt a korrig´al´as miatt van sz¨ uks´eg¨ unk az el˝oz˝ oekhez k´epest m´asik tagra.
26
Konjug´alt ir´anyok m´odszer´enek konvergenci´aja
Ha az f f¨ uggv´eny nem felt´etlen¨ ul kvadratikus.
• 1.) Legyen B lek´epez´es z´art az X \ Ω halmazon.
Itt a B lek´epez´es a minimaliz´al´as d = −D f (x) ir´anyban.
Amennyiben D = I, ´ ugy a konjug´alt gradiens m´odszerrel van dolgunk, ha D = D
1
, ´ ugy
a kv´azi-Newton m´odszerrel. Ez a felt´etel kell az x-ek, az y-ok ´es a λ-k konvergenci´aj´ahoz,
amennyiben teljes¨ ul a m´asodik felt´etel:
• 2.) y ∈ B(x) ⇒f(y) < f(x), amennyiben x / ∈ Ω.
• 3.) z ∈ C(y) ⇒ f(z) ≤ f(y). Ez nem m´as, mint a minimaliz´al´as a bels˝o ciklus tov´abbi
ir´anyain.
• 4.) Λ = {x : f(x) ≤ f(x
1
)} kompakt. EZ a felt´etel a legfontosabb, ez biztos´ıtja igaz´ab´ol a
konvergenci´at.
16. Megjegyz´es. A konjug´alt gradiens m´odszer teljes bels˝o ciklusa nagyj´ab´ol a Newton m´odszer
sebess´eg´evel b´ır. Val´oj´aban szuperlin´aris konvergenci´aja van, s˝ot: ha H kiel´eg´ıt bizonyos Liepsitz-
felt´eteleket, akkor n-l´ep´esenk´ent kvadratikus konvergenci´aja van.
Az ´ ujraind´ıtott, ´ ugynevezett r´eszleges m´odszer alkalmas a konvergenci´at lass´ıt´o, relat´ıve na-
gyobb saj´at´ert´ekek kisz˝ ur´es´ere, de egy´ebk´ent, sz´els˝os´eges esetben csak a legnagyobb cs¨okken´esi ir´a-
nyok m´odszer´et ´eri el.
A kv´azi-Newton m´odszernek szint´en szuperline´aris konvergenci´aja van, hasonl´o a konjug´alt
gradiens m´odszerhez. (K¨onyv, 338. oldal).
27
B
¨
UNTET
˝
OF
¨
UGGV
´
ENYES M
´
ODSZER
A prim´al probl´ema
min f(x)
g(x) ≤ 0,
h(x) = 0,
x ∈ X.
Ehelyett m´ast oldunk:
min
x∈X
f(x) +µα(x), (µ > 0),
ahol
α(x) =
m

i=1
Φ(g
i
(x)) +
l

j=1
Ψ(h
j
(x)) ,
´es
Φ(y) =
_
= 0 ha y ≤ 0,
> 0 ha y > 0,
Ψ(y) =
_
= 0 ha y = 0,
> 0 ha y = 0.
7. P´elda.
´
Altal´aban az al´abbi f¨ uggv´enyeket szokt´ak v´alasztani:
Φ(y) = [max(0, y)]
p
,
Ψ(y) = y
p
,
p > 0.
8. P´elda. Az al´abbi konkr´et eset is haszn´alatos:
min
h(x)=0
{f(x)} ⇔min
_
f(x) +µh
2
_
.
´
Igy teh´at a b¨ untet˝of¨ uggv´enyes feladat az al´abbi alakot ¨olti:
max
µ≥0
{Θ(µ)} ,
Θ(µ) = inf {f(x) +µα(x) : x ∈ X} ,
ahol α(x) a fenti formula alapj´an defini´alt.
19. Lemma. Legyenek f, g
1
, . . . , g
m
, h
1
, . . . , h
l
folytonos f¨ uggv´enyek R
n
halmaz felett, tov´abb´a
legyen adott egy ∅ = X ⊆ R
n
halmaz. Legyen α(x) folytonos R
n
halmaz felett a fenti m´odon
adott. Tegy¨ uk fel tov´abb´ a, hogy ∃µ : x
µ
∈ X : ´ ugy, hogy Θ(µ) = f (x
µ
) +µα(x
µ
). Ekkor:
• (1):
inf {f(x) : x ∈ X, g(x) ≤ 0, h(x) = 0} ≥ sup
µ≥0
{Θ(µ)} .
• (2):α(x
µ
) cs¨okken˝o, f (x
µ
) n¨ovekv˝o, Θ(µ) n¨ovekv˝o.
28
Bizony´ıt´as:Tegy¨ uk fel, hogy adott x ∈ X olym´odon, hogy g(x) ≤ 0, h(x) = 0 teljes¨ ul, tov´abb´a
α(x) = 0. Legyen µ ≥ 0. Ekkor
f(x) = f(x) +µα(x) > inf {f(y) +µα(y) : y ∈ X} = Θ(µ) .
Ezzel az ´all´ıt´as els˝o fel´et igazoltuk.
Az ´all´ıt´as m´asodik fel´ehez tegy¨ uk fel, hogy adottak µ > λ > 0 sz´amok. Ekkor Θ(µ) ´es Θ(λ)
defin´ıci´oja szerint:
f (x
µ
) +λα(x
µ
) ≥ f (x
λ
) +λα(x
λ
) ,
f (x
λ
) +µα(x
λ
) ≥ f (x
µ
) +µα(x
µ
) .
Ekkor a k´et egyenl˝otlens´eget egym´asb´ol kivonva ad´odik, hogy
(µ −λ) (α(x
λ
) −α(x
µ
)) ≥ 0,
azaz, ha µ > 0 , akkor innen l´atszik, hogy α(x
λ
) ≥ α(x
µ
), teh´at α cs¨okken˝o.
Amennyiben az els˝o egyenl˝otlens´eget az al´abbi m´odon ´atalak´ıtjuk:
f (x
µ
) +µα(x
µ
)
. ¸¸ .
Θ(µ)
+(λ −µ)
. ¸¸ .
<0
α(x
µ
)
. ¸¸ .
>0
≥ Θ(λ) .
´ ugy hasonl´o megfontol´asok ut´an l´athat´o, hogy a Θ f¨ uggv´eny n¨ovekv˝o.
Tov´abb´a, miut´an λ ≥ 0, ez´ert f f¨ uggv´eny szint´en n¨ovekv˝o.
20. T´etel. Tekints¨ uk a m´ar ismert (P) feladatot:
min f(x)
g
i
(x) ≤ 0,
h
j
(x) = 0,
x ∈ X.
Tegy¨ uk fel, hogy az f, g
i
, h
j
f¨ uggv´enyek folytonosak egy R
n
halmaz felett.
Legyen adott egy ∅ = X ⊆ R
n
halmaz. Tegy¨ uk fel tov´abb´a, hogy l´etezik megengedett megold´asa
a fenti feladatnak, α az eddig megszokott defin´ıci´ oval adott ´es folytonos. Tegy¨ uk fel tov´abb´a azt is,
hogy l´etezik egy {x
µ
} ⊂ K
.¸¸.
kompakt
⊂ X, melyre igaz, hogy:
min
x∈X
{f(x) +µα(x)} .
Ekkor az al´abbi ´all´ıt´asok teljes¨ ulnek:
• (1):
inf {f(x) : g(x) ≤ 0, h(x) = 0, x ∈ X} = sup
µ≥0
Θ(µ) = lim
µ→∞
Θ(µ) ,
Θ(µ) = inf {f(x) +µα(x) : x ∈ X} = f (x
µ
) +µα(x
µ
) .
• (2): Az {x
µ
} sorozat minden torl´od´asi pontja optim´alis megold´asa a fenti (P) feladatnak.
• (3):Amennyiben µ →∞, ´ ugy µα(x
µ
) →0.
29
Bizony´ıt´as:Az els˝o ´all´ıt´as trivi´alis, hiszen az el˝obb l´attuk be, hogy a Θ f¨ uggv´eny monoton,
´ıgy sup = lim vil´agos.
Az ´all´ıt´as m´asodik ´es harmadik fel´et egyszerre bizony´ıtjuk.
El˝osz¨ or bel´atjuk, hogy α sz¨ uks´egszer˝ uen 0-hoz tart a minimaliz´al´o sorozatunk ment´en, majd
ut´ana bel´atjuk, hogy minden torl´od´asi pont optim´alis, amib˝ol pedig k¨ovetkezni fog, hogy α a µ
szorz´oval egy¨ utt is 0-hoz fog konverg´alni.
Ehhez tegy¨ uk fel, hogy x
1
optim´alis megold´asa a
min
x∈X
{f(x) +α(x)}
feladatnak. Amennyiben µ ≥
1
ε
|f(y) −f (x
1
)| + 2, ahol y megengedett megold´as, ´ ugy a lemma
els˝o ´all´ıt´ asa alapj´an indirekt bel´atjuk, hogy α(x
µ
) < ε, ugyanis ellenkez˝o esetben:
inf {f(x) : g(x) ≤ 0, h(x) = 0, x ∈ X} ≥ Θ(µ) = f (x
µ
) +µα(x
µ
) ≥
≥ f (x
1
) +µα(x
µ
) > f (x
1
) +|f(y) −f (x
1
)| + 2ε > f(y)
ad´odna, ami ellentmond a megengedetts´egnek ´es az infimumnak.
Teh´at minden, fenti tulajdons´agot kiel´eg´ıt˝o µ eset´en az α(x
µ
) < ε egyenl˝otlens´eg ´all.
Amennyiben tekintj¨ uk {¯ x
µ
} egy konvergens r´eszsorozat´at, mely konverg´al valamely ¯ x vektor-
hoz, ´ ugy ad´odik, hogy
sup
µ≥0
Θ(µ) ≥ Θ(¯ x
µ
) = f (¯ x
µ
) +µα(¯ x
µ
) ≥ f (¯ x
µ
) .
Azonban, miut´an ¯ x
µ
→ ¯ x ´es f folytonos, ez´ert
sup
µ≥0
Θ(µ) ≥ f (¯ x) .
Miut´an α(x
µ
) → 0 ´es µ → ∞, ez´ert α(¯ x) = 0, teh´at a lemma els˝o ´all´ıt´asa miatt ¯ x optim´alis.
Ekkor azonban
µα(x
µ
) = Θ(µ) −f (x
µ
) ,
´es a folytonoss´agok miatt ad´odik, hogy µα(x
µ
) →0, amennyiben optimumhoz konverg´alunk.
21. K¨ovetkezm´eny. Amennyiben valamely µ-re α(x
µ
) = 0, akkor x
µ
optim´alis.
Bizony´ıt´as:Amennyiben α(x
µ
) = 0, ´ ugy vil´agos, hogy x
µ
optim´alis. Tov´abb´a tudjuk, hogy
inf {f(x) : g(x) ≤ 0, h(x) = 0, x ∈ X} ≥ Θ(µ) = f (x
µ
) +µα(x
µ
) = f (x
µ
) ,
azaz optim´alis is.
17. Megjegyz´es. A minimaliz´al´o sorozatunk kompakt halmazon val´o megk¨ot´ese sz¨ uks´eges felt´etel,
m´ask¨ ul¨onben gap alakulhat ki.
30
Az algoritmus teh´at az, hogy nem megengedett pontokon haladva jutunk egyre k¨ozelebb az
optim´alis megold´ashoz.
Az algoritmus teh´at:
• Inicializ´al´as: ε > 0, x
1
, µ
1
> 0, β > 1, k = 1.
• STEP1:x
k
pontb´ol ind´ıtva megoldjuk az al´abbi feladatot:
x
k+1
= argmin{f(x) +µ
k
α(x) : x ∈ X} .
• STEP2: Amennyiben µ
k
α(x
k+1
) < ε, ´ ugy meg´allunk, ellenkez˝o esetben:
µ
k+1
= βµ
k
,
k := k + 1,
majd ´ ujra STEP1.
Egzakt b¨ untet˝of¨ uggv´enyek
9. P´elda. Amennyiben p = 1 a fenti p´eld´akn´ al, ´ ugy a b¨ untet˝of¨ uggv´enyt abszol´ ut´ert´ekes b¨ unte-
t˝of¨ uggv´enynek nevezz¨ uk, miszerint a megoldand´o feladat:
min f(x)
g
i
(x) ≤ 0,
h
j
(x) = 0,
x ∈ X,
´es a hozz´a tartoz´o b¨ untet˝of¨ uggv´eny:
min
_
_
_
F
E
(x) = f(x) +µ
_
_
m

i=1
max {0, g
i
(x)} +
l

j=1
|h
j
(x)|
_
_
_
_
_
.
22. T´etel. A (P) feladat ugyanaz, miszerint:
min f(x)
g
i
(x) ≤ 0,
h
j
(x) = 0,
x ∈ X.
Legyen ¯ x KKT pont, a hozz´a tartoz´o Lagrange szorz´ok legyenek:
¯ u
i
: i ∈ I I : {i : g
i
(x) = 0} ,
¯ v
i
: i ∈ J J : {i : 1 ≤ i ≤ l} .
Tegy¨ uk fel, hogy f, g
i
konvexek, tov´abb´a, hogy h
i
f¨ uggv´enyek liner´asiak (affinok).
Ekkor, ha µ ≥ max {¯ u
i
, i ∈ I, |¯ v
j
| , j ∈ J}, akkor ¯ x optim´alis megold´asa a b¨ untet˝of¨ uggv´enyes
probl´em´anak az F
E
b¨ untet˝of¨ uggv´ennyel.
31
Bizony´ıt´as:Ehhez csak annyit kell tenn¨ unk, hogy megadjuk a Lagrange-szorz´okat a b¨ untet˝o-
f¨ uggv´enyes feladatra is.
Abb´ol, hogy ¯ x KKT pont, k¨ovetkezik, hogy megengedett megold´as, illetve, hogy
f (¯ x) +

i∈I
¯ u
i
g
i
(¯ x) +
l

j=1
v
j
h
j
(¯ x) = 0,
mid˝ on ¯ u
i
≥ 0, ha i ∈ I. (Csak az ´eles felt´etelekkel kell foglalkoznunk, a t¨obbi felt´etel alapj´an ´ ugyis
bels˝o pontban vagyunk).
Most egy¨ uk fel, hogy szeretn´enk megoldani a
min
x∈X
F
E
(x)
feladatot. Ezzel ekvivalens megfogalmaz´asban szeretn´enk megoldani a
min f(x) +µ
_
_
m

i=1
y
i
+
l

j=1
z
j
_
_
y
i
≥ g
i
(x),
y
i
≥ 0,
z
j
≥ h
j
(x),
z
j
≥ −h
j
(x).
Akkor persze y
i
= max {0, g
i
(¯ x)}, tov´abb´a z
j
=
¸
¸
¸h
j
(
¯
(x)
¸
¸
¸, teh´at ezekhez kell megtal´alnunk a
megfelel˝o Lagrange szorz´okat. Legyenek ezek u
+
i
, u

i
, v
+
i
, v

i
.
Kihaszn´alva a KKT pont felt´etelt, az al´abbi rendszert kell v´egeredm´enyben megoldanunk:
f (¯ x) +

i∈I
u
+
i
g
i
(¯ x) +
l

j=1
_
v
+
j
−v

j
_
h
j
(¯ x) = 0
µ −u
+
i
−u

i
= 0,
µ −v
+
j
−v

j
= 0,
u
+
i
, u

i
, v
+
j
, v

j
≥ 0,
u
+
i
= 0.
Miut´an tudjuk, hogy µ ≥ max {¯ u
i
, i ∈ I, |¯ v
j
| , j ∈ J}, ez´ert u
+
i
= ¯ u
i
, mid˝on i ∈ I.
M´ask¨ ul¨onben u
+
i
= 0, hiszen kell, hogy u

i
= µ −u
+
i
teljes¨ ulj¨on.
Tov´abb´a, ha v
+
j
=
µ+ v
j
2
, illetve v

j
=
µ− v
j
2
, mid˝on j = 1, . . . , l, akkor a rendszert megoldottuk,
teh´at a Lagrange szorz´okat megadtuk, k´eszen vagyunk.
32
10. P´elda. A kieg´esz´ıtett Lagrange b¨ untet˝ of¨ uggv´eny: szeretn´enk a k¨ovetkez˝o feladatot meg-
oldani:
min f(x)
h
i
(x) = 0, i = 1, . . . , l.
Az ehhez tartoz´o ´ ugynevezett perturb´alt b¨ untet˝of¨ uggv´eny:
f(x) +µ
l

i=1
[h
i
(x) −θ
i
]
2
=
= f(x) −
l

i=1
2µθ
i
h
i
(x) +µ
l

i=1
h
2
i
(x) +µ
l

i=1
θ
2
i
.
Innen v
i
= −2µθ
i
helyettes´ıt´est alkalmazva, ´es a konstans tagot elhagyva ad´odik, hogy
F
ALAG
(x, v) = f(x) +
l

i=1
v
i
h
i
(x) +µ
l

i=1
h
2
i
(x).
Amennyiben (x, v) KKT pontja az eredeti feladatnak, ´ ugy felhaszn´alva a megengedetts´eget is
ad´odik, hogy
F
ALAG
(x, v) =
_
f (x) +
l

i=1
v
i
h
i
(x)
_
. ¸¸ .
KKT
+2µ
l

i=1
h
i
(x) h
i
(x)
. ¸¸ .
megengedett
= 0.
Erre vonatkoz´oan k´et megk¨ozel´ıt´est haszn´alhatunk:
• (1): Az al´abbi f¨ uggv´eny kvadratikus b¨ untet˝of¨ uggv´eny-e a KKT feladatnban:
min f(x) +
l

i=1
v
i
h
i
(x)
h
i
(x) = 0, i = 1, . . . , l.
• (2): KKT feladata az eredeti probl´ema ezen ekvivalens alakj´anak:
min f(x) +µ
l

i=1
h
2
i
(x)
h
i
(x) = 0, i = 1, . . . , l.
23. T´etel. Tegy¨ uk fel, hogy az eredeti feladatban f(x) konvex, a h
i
(x) f¨ uggv´enyek pedig line´arisak
(affinok), ´es (x, v) KKT pont.
Ekkor x ugyancsak minimuma az F
ALAG
(•, v) feladatnak ∀µ ≥ 0 eset´en.
Bizony´ıt´as:Bizony´ıt´ as n´elk¨ ul.
18. Megjegyz´es. Egyenl˝otlens´egekre: g
i
(x) ≤ 0 eset´en g
i
(x) + s
2
i
= 0 ´atalak´ıt´ast alkalmazzuk,
ami ugyan nem lin´aris, viszont ∃µ

, hogy ∀µ ≥ µ

eset´en a fenti t´etel ´all.
19. Megjegyz´es. Gyakorlatban:
F
ALAG
= f(x) +
l

i=1
v
i
h
i
(x) +
l

i=1
µ
i
h
2
i
(x).
33
Az algoritmus:
• Inicializ´al´as:v := v, µ
1
, . . . , µ
l
, x
0
= 0, k=1, V IOL(x
0
) = ∞,
ahol V IOL(x) = max {|h
i
(x)| : i = 1, . . . , l}.
• BELS
˝
O CIKLUS:x
k
:= argminF
ALAG
(x, v).
Ha V IOL(x
k
) = 0, vagy < ε, ´ ugy meg´allhatunk, mert x
k
KKT pont.
M´ask¨ ul¨onben, ha V IOL(x
k
) ≤
1
4
V IOL(x
k−1
), ´ ugy l´epj¨ unk a K
¨
ULS
˝
O CIKLUSBA.
Ha nem ´ıgy lenne, ´ ugy µ
i
←10µ
i
, ´es ism´etelj¨ uk a BELS
˝
O CIKLUST.
• K
¨
ULS
˝
O CIKLUS: v
uj
= v
i
+ 2µ
i
h
i
(x
k
), i = 1, . . . , l, ´es k ← k + 1. Majd ´ ujra a bels˝o
ciklus.
BARRIER (AKAD
´
ALY) F
¨
UGGV
´
ENYES M
´
ODSZER
A m´odszer abban fog elt´erni a b¨ untet˝of¨ uggv´enyes elj´ar´ast´ol, hogy m´ıg ott nem megengedett
pontok sorozat´an l´epkedt¨ unk k´ıv¨ ulr˝ol az optim´alis megold´as ir´any´aba, addig itt bels˝o pontokon
kereszt¨ ul fogunk haladni az optimum fel´e.
Az eredeti feladatunk legyen:
min f(x)
g(x) ≤ 0,
x ∈ X.
Sz¨ uks´eges lesz arra, hogy az {x : g(x) < 0} halmaz ne legyen ¨ ures.
Ezt el´erend˝o az egyenl˝os´eges felt´eteleket r´eszben megoldva, be´agyazzuk az egyenl˝otlens´egekbe.
A Barrier feladat:
min
µ≥0
Θ(µ)
Θ(µ) = inf {f(x) +µB(x) : g(x) < 0, x ∈ X} ,
ahol a B(x) Barrier f¨ uggv´eny nemnegat´ıv ´es folytonos a fenti {x : g(x) < 0} halmazon, tov´abb´a
∞-hez tart, ha {x : g(x) < 0} halmaz hat´ar´ahoz tartunk.
´
Altal´aban
B(x) =
m

i=1
Φ(g
i
(x)) ,
Φ(y) =
_
¸
_
¸
_
folyt ha y < 0,
≥ 0 ha y < 0,
lim
y→0
− Φ(y) = ∞.
34
Tipikus Barrier f¨ uggv´enyek:
• (1):
B(x) =
m

i=1

1
g
i
(x)
,
• (2):
B(x) = −
m

i=1
ln [min {1, −g
i
(x)}] ,
ami nem differenci´alhat´o, de ez ´ ugyis csak a hat´aron sz´am´ıt.
• (Frisch logaritmikus barrier f¨ uggv´enye):
B(x) = −
m

i=1
ln (−g
i
(x)) .
20. Megjegyz´es. Itt is teljes¨ ulnek a megfelel˝o konvergencia-tulajdons´agok.
A seg´edf¨ uggv´eny¨ unk: f(x) +µB(x) lesz.
Most k¨ovetkezzen k´et, a b¨ untet˝of¨ uggv´enyes elm´elettel anal´og lemma ´es t´etel a majdani algo-
ritmus helyess´eg´er˝ol.
24. Lemma. B(x) Barrier f¨ uggv´eny adott.
• (*): Tegy¨ uk fel, hogy f, g
1
, . . . , g
m
folytonosak R
n
-ben, adott egy ∅ = X z´art halmaz, tov´abb´a
{x ∈ X : g(x) < 0} = ∅.
• (**): Adott µ ≥ 0 eset´en, ha {x
k
} ⊂ X, g (x
k
) < 0, ´es f (x
k
) + µB(x
k
) → Θ(µ) az
{x ∈ X : g(x) < 0} kompakt halmazon, ´ ugy {x
k
}-nak van torl´od´asi pontja,
Ekkor az al´abbi h´arom ´all´ıt´as teljes¨ ul:
• (1):
∀µ > 0 : ∃x
µ
∈ X : g (x
µ
) < 0 : Θ(µ) = f (x
µ
) +µB(x
µ
) ,
• (2):
inf {f(x) : g(x) ≤ 0, x ∈ X} ≤ inf {Θ(µ) : µ > 0} ,
• (3):µ > 0 eset´en a Θ(µ) f¨ uggv´eny n¨ov˝o, B(x
µ
) f¨ uggv´eny cs¨okken˝o, f (x
µ
) f¨ uggv´eny n¨ov˝o.
35
Bizony´ıt´as:A bizony´ıt´as a hasonl´o lemm´a´eval anal´og m´odon t¨ort´enik.
Tegy¨ uk fel, hogy adott µ > 0. Ekkor Θ defin´ıci´oj´ab´ol tudjuk, hogy ∃ {x
k
} ⊂ X sorozat
´ ugy, hogy g (x
k
) < 0 ´es f (x
k
) + µB(x
k
) → Θ(µ). Legyen {x

k
} konvergens r´eszsorozat x
µ
∈ X
hat´ar´ert´ekkel. Ekkor a folytonoss´agb´ol tudjuk, hogy g (x
µ
) ≤ 0 teljes¨ ul.
Teljes¨ ul, hogy g (x
µ
) < 0, m´ask¨ ul¨onben g
i
(x
µ
) = 0 eset´en a B barrier f¨ uggv´eny v´egtelenhez
tartana, teh´at a Θ(µ) = ∞ ad´odna, ami ellentmond az infimum l´etez´es´enek.
Teh´at
Θ(µ) = f (x
µ
) +µB(x
µ
) ,
x
µ
∈ X,
g (x
µ
) < 0,
azaz az (1) ´all´ıt´as rendben van.
Amennyiben a barrier f¨ uggv´eny nemnegat´ıv ´es a g f¨ uggv´eny negat´ıv a µ ≥ 0 felt´etel mellett,
´ ugy ad´odik, hogy
Θ(µ) = inf {f(x) +µB(x) : g(x) < 0, x ∈ X} ≥ inf {f(x) : g(x) < 0, x ∈ X} ≥
≥ inf {f(x) : g(x) ≤ 0, x ∈ X} ,
azaz a (2) ´all´ıt´as is k´eszen van.
Amennyiben tekintj¨ uk a µ > λ > 0 sz´amokat, ´ ugy a defin´ıci´okat felhaszn´alva, ha x ∈ X ´es
g(x) < 0, akkor
f(x) +µB(x) > f(x) +λB(x),
azaz Θ(µ) ≥ Θ(λ),
az infimum miatt.
M´asr´eszr˝ol viszont az (1) ´all´ıt´as miatt ∃x
µ
, x
λ
:
f (x
µ
) +µB(x
µ
) ≤ f (x
λ
) +µB(x
λ
) ,
f (x
λ
) +λB(x
λ
) ≤ f (x
µ
) +λB(x
µ
) .
Amenniben ugyanazt az ¨osszead´asos, illetve hozz´atold´asos l´ep´est alkalmazzuk, mint az anal´od
lemma eset´en, ad´odik, hogy B(x
µ
) f¨ uggv´eny cs¨okken˝o, m´ıg f (x
µ
) f¨ uggv´eny n¨ovekv˝o. Teh´at a (3)
´all´ıt´as is k´eszen van.
25. T´etel. Tegy¨ uk fel, hogy ´all az el˝oz˝o lemma (∗)-al jelzett felt´etelrendszere, ´es hogy a feladatnak
l´etezik x optim´alis megold´asa ´ ugy, hogy Θ(x) l´etezik x ∈ X ∩ B
r
(x)-ben ´ ugy, hogy g(x) < 0.
Ekkor
min {f(x) : g(x) ≤ 0 x ∈ X} = lim
µ→∞
Θ(µ) = inf
µ>0
Θ(µ) .
Amennyiben ´all a lemma (∗∗) felt´etele is, ´es Θ(µ) = f (x
µ
) +µB(x
µ
), ahol x
µ
∈ X ´es g (x
µ
) <
0, ´ ugy teljes¨ ulnek, hogy:
• (2): {x
µ
} minden torl´od´asi pontja optim´alis megold´asa az eredeti feladatnak, mid˝on µ →0
+
.
• (3): Amennyiben µ →0
+
, ´ ugy µB(x
µ
) →0 is teljes¨ ul.
36
Bizony´ıt´as:Teh´at x optim´alis, ε > 0. Ekkor a folytonoss´ag miatt
∃´ x ∈ X : g (´ x) < 0 : f (x) +ε > f (´ x) .
Persze ekkor az is igaz, hogy µ > 0 eset´en
f (x) +ε +µB(´ x) > f (´ x) +µB(´ x) ≥ Θ(µ).
Teh´at, ha µ →0
+
, ´es B(x
µ
) ≥ 0 ´es x
µ
megengedett, akkor
Θ(µ) = f (x
µ
) +µB(x
µ
) ≥ f (x
µ
) ≥ f (x) .
Viszont, ha µ →0
+
, ´ ugy
f (x) = lim
µ→0
+
Θ(µ) .
Ebb˝ol pedig az is k¨ovetkezik, hogy f (x
µ
) ´es f (x
µ
) + µB(x
µ
) is tartanak f (x)-hez, azaz
µB(x
µ
) →0.
Amennyiben vessz¨ uk {x
µ
} egy konvergens r´eszsorozat´at, ´ ugy annak torl´od´asi pontj´aban a
f¨ uggv´eny´ert´ek megegyezik az optimum f¨ uggv´eny´ert´ekkel a folytonoss´ag miatt, tov´abb´a ha a sorozat
minden pontja megengedett minden µ ´ert´ek eset´en, akkor a torl´od´asi pont is megengedett, teh´at
sz¨ uks´egszer˝ uen optim´alis is.
• Inicializ´al´as: Legyen ε > 0, x
1
∈ X, g (x
1
) < 0, µ
1
> 0 ´es β ∈ (0, 1).
• STEP1:x
k
-b´ol oldjuk meg a
min f (x
k
) +µ
k
B(x)
g(x) < 0,
x ∈ X.
feladatot.
(Vegy¨ uk ´eszre, hogy ez korl´atoz´as n´elk¨ uli feladat, mert az ¨osszes g(x) f¨ uggv´eny be van ´ep´ıtve
a barrier f¨ uggv´enybe!)
Tegy¨ uk fel, hogy x
k+1
optim´alis megold´asa ennek a feladatnak.
Ekkor, ha µ
k
B(x
k+1
) < ε, ´ ugy meg´allhatunk, m´ask¨ ul¨onben STEP2.
• STEP2:
µ
k+1
= βµ
k
,
k := k + 1,
majd ´ ujra STEP1.
37
Zountendijk megengedett cs¨okken´esi ir´anyok algoritmusa
A megoldand´o feladat:
min f(x)
g
i
(x) ≤ 0, i = 1, . . . , m.
• Inicializ´al´as: x
1
, g
i
(x
1
) ≤ 0, ∀i, k = 1.
• STEP1: (Megengedett ir´any keres´ese).
Legyen I := {i : g
i
(x
k
) = 0}. Ekkor oldjuk meg a:
min z
f (x
k
)
T
d −z ≤ 0,
g
i
(x
k
)
T
d −z ≤ 0 i ∈ I,
−1 ≤ d
j
≤ 1 j = 1, . . . , m
(DF) rendszert. Tegy¨ uk fel, hogy a rendszernek (z
k
, d
k
) optim´alis megold´asa.
Amennyiben z
k
= 0, ´ ugy meg´allhatunk, mert Fritz-John pont.
M´ask¨ ul¨onben STEP2.
• STEP2: (Mekkor´at l´epj¨ unk az adott ir´anyba, cs¨okken´es):
Az al´abbi rendszert kell megoldanunk:
min f (x
k
+λd
k
)
0 ≤ λ ≤ λ
max
= sup {λ : g
i
(x
k
+λd
k
) ≤ 0, i, . . . , m} .
Tegy¨ uk fel, hogy λ
k
optim´alis.
Ekkor x
k+1
:= x
k

k
d
k
, tov´abb´a k legyen k + 1.
21. Megjegyz´es. A fenti algoritmus nem z´art ´es nem is konvergens.
Topkins ´es Veinott m´odos´ıt´asa
• Inicializ´al´as:x
1
, g
i
(x
1
) ≤ 0, ∀i, k = 1.
• STEP1: Megoldjuk a
min z
f (x
k
)
T
d −z ≤ 0,
g
i
(x
k
)
T
d −z ≤ g
i
(x
k
) i = 1, . . . , m,
−1 ≤ d
j
≤ 1 j = 1, . . . , m,
szint´en (DF)-el jel¨olt renszert. Amennyiben z
k
= 0, ´ ugy meg´allhatunk (Fritz-John), m´ask¨ u-
l¨onben STEP2.
• STEP2: Mint az eredetiben.
38
26. T´etel. Legyen x megengedett megold´asa az eredeti feladatnak. Tov´abb´a legyen
_
z, d
_
optim´alis
megold´asa (DF)-nek.
• (1):Amennyiben z < 0, ´ ugy d megengedett cs¨okken´esi ir´any.
• (2): Amennyiben z = 0, ez akkor ´es csak akkor fordulhat el˝o, ha x Fritz-John pont.
Bizony´ıt´as:Legyen I := {i : g
i
(x) = 0}, ´es tegy¨ uk fel, hogy z < 0.
Ekkor g
i
(x)
T
d < 0, ha i ∈ I. (Az algoritmus alapj´an). R´aad´asul g
i
(x) < 0, ha i / ∈ I, azaz
x +λd megengedett, ha λ > 0 megfelel˝o. Teh´at d megengedett ir´any.
Viszont azt is tudjuk, hogy f(x)
T
d < 0 azaz d egyben cs¨okken´esi ir´any is. (Ezzel (1) k´eszen
van).
A Fritz-John ponthoz annyi kell, hogy ha g
i
(x) = 0, amennyiben i ∈ I ´es g
i
(x) < 0, ha i / ∈ I,
´ ugy tudjuk, hogy a z = 0 felt´etel ekvivalens azzal, hogy a
f(x)
T
d < 0,
g
i
(x)
T
d < 0
rendszernek nincsen megold´asa. Ez azonban nem m´as, mint a Fritz-John felt´etel, azaz a (2) ´all´ıt´as
bizony´ıt´as´aval is k´eszen vagyunk.
22. Megjegyz´es. (Alternat´ıva t´etel): Az al´abbi prim´al-du´al p´art tekinthetj¨ uk:
Ax < b(⇔)Ax ≤ −1,
max 0
T
x
prim´al, ´es
y
T
A = 0,
y ≥ 0,
min(−1)
T
y
du´al feladatot. (Fritz-John ´ertelmez´es´ehez).
27. Lemma. Legyen S = ∅ z´art, R
n
-beli halmaz. Tegy¨ uk fel, hogy f : R
n
→R f¨ uggv´eny folytono-
san differenci´alhat´ o. Legyen a (P
S
) feladat az al´abbi:
min f(x)
x ∈ S.
Az ezt megold´o algoritmus A = MD alak´ u lek´epez´es, ´es (x, d) ∈ D(x): d megengedett cs¨okken´esi
ir´any, tov´abb´ a y ∈ M(x, d): y = x +λ

d ir´anymenti optimum.
Legyen {x
k
} az algoritmus ´altal gener´alt sorozat, ´es {d
k
} a hozz´ajuk tartoz´o ir´anyok.
Ekkor nem l´etezik olyan {x
k
, d
k
}
K
r´eszsorozat, amely az al´abbiak mindegyik´et kiel´eg´ıti:
• (1):x
k
→x, k ∈ K.
• (2):d
k
→d, k ∈ K.
• (3):x
k
+λd
k
∈ S, ∀λ ∈ [0, δ] ∀k ∈ K, valamely δ > 0 eset´en.
• (4):f(x)
T
d < 0.
39
Bizony´ıt´as:Indirekt m´odon tegy¨ uk fel, hogy m´egis van olyan sorozat, mely teljes´ıti mind a 4
felt´etelt. Ekkor a (4) felt´etelb˝ol k¨ovetkezik, hogy ∃ε > 0 : f(x)
T
d = −2ε. Amennyiben ´all (1)
´es (2), ´ ugy f folytonos differenci´alhat´os´aga miatt ∃δ

> 0, hogy ha k ∈ K el´eg nagy, akkor
f (x
k
+λd
k
)
T
d
k
< −ε ∀λ ∈
_
0, δ

_
.
Legyen most δ

= min
_
δ, δ

_
> 0. Tegy¨ uk fel tov´abb´a, hogy k ∈ K el´eg nagy. Ekkor a (3)
teljes¨ ul´ese miatt
f (x
k+1
) ≤ f
_
x
k


d
k
_
,
az algoritmus alapj´an. Azonban a folytonoss´ag ´es a konvergencia miatt az ad´odik, hogy
f(x) ≤ f(x) −εδ

,
ami ellentmond a minimalit´asnak.
28. T´etel. Amennyiben f, g
i
f¨ uggv´enyek folytonosan differenci´alhat´oak, akkor a Topkins-Veinott
algormitmus ´altal gener´alt pontosorozat minden torl´od´asi pontja Fritz-John pont.
Bizony´ıt´as:Legyen {x
k
}
K
→x r´eszsorozat. Meg kell mutatnunk, hogy x Fritz-John.
Tegy¨ uk fel, hogy nem az. Amennyiben z optim´alis megold´asa (DF)-nek, ´ ugy ∃ε > 0: z = −2ε.
Ha k ∈ K, ´ ugy (z
k
, d
k
) optim´alis.
Ha {d
k
}
K
korl´atos, ´ ugy van r´eszsorozata, melyre {d
k
}
K
→d.
Miut´an f ´es g
i
folytonosan differenci´alhat´oak, tov´abb´a x
k
→ x, amennyiben k ∈ K

, ´ ugy
z
k
→z. Amennyiben pedig k ∈ K

el´eg nagy, ´ ugy z
k
< −ε l´etezik.
(DF) fel´ır´as´ab´ol k¨ovetkezik, hogy ha k ∈ K

el´eg nagy, ´ ugy l´etezik
f (x
k
)
T
d
k
≤ z
k
< −ε,
g
i
(x
k
) +g
i
(x
k
)
T
d
k
≤ z
k
< −ε,
amib˝ ol k¨ovetkezik, hogy f(x)
T
d < 0.
Miut´an g
i
folytonosan differenci´alhat´o, ez´ert l´etezik δ > 0, hogy ∀λ ∈ [0, δ]:
g
i
(x
k
) +g
i
(x
k
+λd
k
)
T
d
k
< −
ε
2
,
amennyiben k ∈ K

el´eg nagy.
Legyen teh´at λ ∈ [0, δ]. Ekkor g
i
(x
k
) ≤ 0, ∀i, k. Ekkor
g
i
(x
k
+λd
k
) = g
i
(x
k
) +λ g
i
(x
k

ik
λd
k
)
T
d
k
=
= (1 −λ)g
i
(x
k
) +λ
_
g
i
(x
k
) +g
i
(x
k

ik
λd
k
)
T
d
k
_

≤ λ
_
g
i
(x
k
) +g
i
(x
k

ik
λd
k
)
T
d
k
_
,
ahol α
ik
∈ [0, 1].
Miut´an ´ıgy α
ik
λ ∈ [0, δ], ez´ert
g
i
(x
k
+λd
k
) ≤ −
λε
2
,
ha k ∈ K

el´eg nagy ´es i = 1, . . . , m. Teh´at x
k
+ λd
k
megengedett, azaz mutattunk egy olyan
r´eszsorozatot, mely teljes´ıti az el˝oz˝o lemma 4 felt´etel´et, teh´at ellentmond´ast kaptunk, k´eszen
vagyunk, x val´oban Fritz-John pont.
40
ROSEN GRADIENS PROJEKCI
´
OS ALGORITMUSA
15. Defin´ıci´o. Legyen P egy n × n-es m´atrix. Amennyiben P = P
T
´es P = PP, ´ ugy P m´atrix
projekci´om´atrix.
29. Lemma. Legyen P egy n ×n-es m´atrix. Ekkor
• (1): Ha P projekci´om´atrix, akkor P pozit´ıv definit.
• (2): Ha P projekci´om´atrix, akkor I −P m´atrix is projekci´om´ atrix.
• (3): Ha P projekci´om´atrix ´es Q = I −P is projekci´om´atrix, akkor
L = {Px : x ∈ R
n
} ,
L

= {Qx : x ∈ R
n
}
ortogon´alis alterek.
Tov´abb´a ∀x ∈ R
n
egy´ertelm˝ uen felbonthat´o x = p +q, p ∈ L ´es q ∈ L

alakban.
Bizony´ıt´as:Legyen P projekci´om´atrix, x ∈ R
n
. Ekkor
x
T
Px = x
T
PPx = x
T
P
T
Px = Px
2
≥ 0,
teh´at val´oban pozit´ıv szemidefinit.
Igaz az is, hogy
P
T
Q = P(I −P) = P −PP = 0,
azaz a k´et t´er val´oban egym´as ortogon´alisai. Tov´abb´a:
x = Ix = (P +Q)x = Px +Qx = p +q,
ahol p ∈ L, ´es q ∈ L

M´ar csak azt kell bel´atni, hogy ez egyedi. Tegy¨ uk fel, hogy nem az.
Ekkor l´etezik egy x = p
,
+ q
,
el˝o´all´ıt´as is megfelel˝o terekb˝ol sz´armaz´o vektorkkal. Azonban a k´et
el˝o´all´ıt´ as k¨ ul¨onbs´eg´et n´ezve, miut´an azt m´ar bel´attuk, hogy a k´et alt´er ortogon´alis, ad´odik, hogy
p −p
,
∈ L,
q
,
−q ∈ L

,
p −p
,
= q
,
−q = 0,
amivel k´eszen is vagyunk.
A megoldand´o feladat legyen az al´abbi, (P
L
):
min f(x)
Ax ≤ b,
Ex = e.
30. Lemma. Legyen x a fenti feladat egy megengedett pontja. Ekkor alkalmazzuk az al´abbi fel-
bont´ast:
A
1
x = b
1
,
A
2
x < b
2
,
ahol ´ıgy A
T
=
_
A
T
1
, A
T
2
_
, m´ıg b
T
=
_
b
T
1
, b
T
2
_
. Tov´abb´a f tov´abbra is folytonosan differenci´alhat´o.
Amennyiben P projekci´om´atrix ´es P f(x) = 0, ´ ugy a d = −P f(x) cs¨okken´esi ir´anya
f-nek.
Tov´abb´a, ha M
T
=
_
A
T
1
, E
T
_
m´atrix teljes oszloprang´ u ´es P = I − M
T
_
MM
T
_
−1
M alak´ u,
´ ugy d megengedett cs¨okken´esi ir´any.
41
Bizony´ıt´as:
f(x)
T
d = −f(x)
T
P f(x) = −f(x)
T
P
T
P f(x) = −P f(x)
2
< 0,
teh´at d val´oban cs¨okken´esi ir´any.
Ha P = I − M
T
_
MM
T
_
−1
M, akkor Md = −MP f(x) = 0, teh´at A
1
d = Ed = 0, azaz d
val´oban megengedett ir´any.
Vizsg´aljuk meg a P f(x) = 0 esetet.
Ekkor
0 = P f(x) =
_
I −M
T
_
MM
T
_
−1
M
_
f(x) = f(x) +M
T
w =
= f(x) +A
T
1
u +E
T
v
w
T
=
_
u
T
, v
T
_
.
31. T´etel. • (1): Amennyiben a fenti fel´ır´ast haszn´aljuk ´es u ≥ 0, ´ ugy x KKT pont.
• (2): Amenniben u 0, ´ ugy legyen u
j
< 0 komponens.
´
A
1
legyen az a m´atrix, amikor A
1
-b˝ol
t¨or¨olj¨ uk az u
j
-nek megfelel˝o sort.
Legyen
´
M
T
=
_
´
A
T
1
, E
T
_
. Legyen tov´abb´a
´
P = I −
´
M
T
_
´
M
´
M
T
_
−1
´
M.
Ekkor d =
´
P f(x) megengedett cs¨okken´esi ir´any.
Bizony´ıt´as:A KKT felt´etelt fel´ırva:
0 = P f(x) =
_
I −M
T
_
MM
T
_
−1
M
_
f(x) =
= f(x) +A
T
1
u +E
T
v,
miut´an f(x) = 0, ez´ert ha u ≥ 0 teljes¨ ul, ´ ugy x val´oban KKT pont. A k´erd´es nem is ez, hanem
igaz´ab´ol a m´asik eset.
Amennyiben u 0 teljes¨ ul, ´ ugy tegy¨ uk fel indirekt, hogy
´
P f(x) = 0. Ekkor
´ w = −
_
´
M
´
M
T
_
−1
´
M f(x) :
0 =
´
P f(x) =
_
I −M
T
_
MM
T
_
−1
M
_
f(x) =
= f(x) +
´
M
T
´ w.
Tov´abb´a
A
T
1
u +E
T
v =
´
M
T
w +u
j
r
T
j
,
amib˝ ol k¨ovetkezik, hogy ha u
j
= 0, ´ ugy
0 =
´
M
T
( ´ w −w) −u
j
r
T
j
,
ami ellentmond M teljesrang´ us´ag´anak, teh´at
´
P f(x) = 0, azaz d cs¨okken´esi ir´any.
M´ar csak az kell, hogy megengedett ir´any is egyben.
0 =
´
M
´
P ⇒
´
Md = −
´
M
´
P f(x) = 0,
amib˝ ol pedig
´
M defin´ıci´oj´ab´ol fakad´oan az k¨ovetkezik, hogy d akkor lesz megengedett, ha A
1
d ≤ 0
´es Ed = 0, ez pedig akkor teljes¨ ul, ha r
j
d ≤ 0.
42
Ez azonbam r
j
´
P-t fel´ırva, ´es haszn´alva, hogy
´
P
´
M
T
= 0, ad´odik, hogy
0 = r
j
´
P f(x) +r
j
´
P
_
´
M
T
w +u
j
r
T
j
_
= −r
j
d +u
j
r
j
´
Pr
T
j
. ¸¸ .
pozdef
,
teh´at, ha u
j
< 0, akkor r
j
d ≤ 0, ´es ezzel k´eszen is vagyunk.
´
Igy az alkalmazand´o algoritmus a k¨ovetkez˝o:
• Inicializ´al´as:x
1
, ebb˝ol k¨ovetkez˝oen
_
A
T
1
, A
T
2
_
´es
_
b
T
1
, b
T
2
_
, k = 1.
• STEP1:
M
T
=
_
A
T
1
, E
T
_
.
Amennyiben M = 0 ´es ha f (x
k
) = 0, akkor meg´allhatunk, m´ask¨ ul¨onben d
k
= −f (x
k
),
´es STEP2.
Ha M = 0, ´ ugy
P = I −M
T
_
MM
T
_
−1
M,
d
k
= −P f (x
k
) .
Amennyiben d
k
= 0, ´ ugy STEP2.
Amennyiben d
k
= 0, ´ ugy
w = −
_
MM
T
_
−1
M f (x
k
) =
_
u
T
, v
T
_
.
Ha u ≥ 0, ´ ugy meg´allhatunk, x
k
KKT pont.
Ha u 0, ´ ugy u
j
< 0 komponens v´alaszt´asa, A
1
-b˝ol t¨or¨olj¨ uk u
j
-nek megfelel˝o sort, majd
ism´et STEP1.
• STEP2: Oldjuk meg a
min
0≤λ≤λmax
f (x
k
+λd
k
)
rendszert.
Ennek optimuma legyen λ
k
. Ekkor:
x
k+1
= x
k

k
d
k
.
Tov´abb´a a
A
1
x
k+1
= b
1
,
A
2
x
k+1
< b
2
rendszerb˝ol meghat´arozzuk az ´ uj A
1
, A
2
, b
1
, b
2
vektorokat, majd k = k +1, ´es ´ ujra STEP1.
23. Megjegyz´es. Nemline´aris esetben egy korrekci´os tag is ker¨ ul a rendszerbe.
24. Megjegyz´es. Miut´an az akt´ıv felt´etelek v´altoznak, ez´ert az algoritmus nem z´art, ´es nem is
konvergens.
43
Az algoritmus konvergenci´aj´ahoz sz¨ uks´eg¨ unk van STEP1 m´odos´ıt´as´ara:

´
UJ STEP1:
M
T
=
_
A
T
1
, E
T
_
.
Amennyiben M = 0, akkor ha f (x
k
) = 0 meg´allhatunk, m´ask¨ ul¨onben d
k
= −f (x
k
), ´es
STEP2.
Ha M = 0, ´ ugy d
T
k
= −P f (x
k
), ´es w = (u, v).
Amennyiben u ≥ 0 ´es ha d
(1)
k
= 0 meg´allhatunk, x
k
KKT pont. M´ask¨ ul¨onben d
k
= d
(1)
k
= 0,
´es STEP2.
Amennyiben u 0, ´ ugy
u
h
= min {u
j
: u
j
< 0} .
Ekkor sz´am´ıtjuk
´
M-et, ´es d
(2)
k
= −
´
P f (x
k
), m´egpedig c > 0 szerint, azaz:
d
k
=
_
d
(1)
k
ha
_
_
_d
(1)
k
_
_
_ > |u
h
| c,
d
(2)
k
k¨ ul¨onben.
25. Megjegyz´es. Ez a konvergens verzi´o sem z´art.
32. T´etel. Minden l´ep´esben vagy KKT pontot ad, vagy megengedett cs¨okken´esi ir´anyt mutat.
Bizony´ıt´as:Csak a m´odos´ıtott r´eszen kell bizony´ıtanunk. Teh´at, nek¨ unk az
u 0, d
(1)
k
= 0,
_
_
_d
(1)
k
_
_
_ ≤ |u
h
| c
eset kell.
Azaz, d
(2)
k
-t haszn´aljuk. Ekkor az teljes¨ u, hogy d
(2)
k
= −
´
P f (x
k
) = 0, mert k¨ ul¨onben
d
(1)
k
= −P f (x
k
) = P
´
M
T
´ w = 0
ad´odna, amib˝ol
´
MP
T
=
´
MP = 0 →MP = 0, ami nem lehet.
Teh´at val´oj´aban csak az kell, hogy d
(2)
k
megengedett. Ehhez pedig az kell, hogy r
h
d
(2)
k
≤ 0,
ahol persze r
h
a t¨or¨olt vektor.
Mint m´ar eddig is,
P f (x
k
) = f (x
k
) +
´
M
T
w +u
h
r
T
h
,
amib˝ ol k¨ovetkezik, hogy
r
h
´
P
´
P f (x
k
) = −r
h
d
(2)
k
+r
h
´
P
´
M
T
w +u
h
r
h
´
Pr
T
h
.
Miut´an
´
MP = 0 ´es
´
PP = P, r
h
´
PP = r
h
P = 0, ez´ert
´
P
´
M
T
= 0, azaz
r
h
d
(2)
k
= u
h
r
h
´
Pr
T
h
≤ 0,
ha u
h
< 0 ´es
´
P pozit´ıv definit, ami azonban teljes¨ ul, teh´at k´eszen vagyunk.
44
WOLFE REDUK
´
ALT GRADIENS M
´
ODSZERE
A megoldand´o feladat:
min f(x)
Ax = b,
x ≥ 0.
A feladathoz tartoz´o nemdegener´alts´agi felt´etelek, hogy A b´armely m darab oszlopa line´arisan
f¨ uggetlen legyen, tov´abb´a, hogy f differenci´alhat´o. Feltesz¨ uk tov´abb´a azt is, hogy minden extre-
m´alis pontnak van m darab pozit´ıv komponense.
K´esz´ıts¨ uk el az extrem´alis pontok alapj´an a b´azishoz tartoz´o felbont´asunkat. Legyen A =
[B, N]. Ekkor x =
_
x
T
B
, x
T
N
¸
, a felt´etelek alapj´an x
B
> 0.
A gradiensre f(x)
T
=
_

B
f(x)
T
,
N
f(x)
T
¸
.
A megengedett cs¨okken´esi ir´any d = [d
B
, d
N
], amir˝ol megjegyezz¨ uk, hogy f(x)
T
d < 0,
Ad = 0, ´es d
j
≥ 0, mid˝on x
j
= 0.
Ezek ut´an az is teljes¨ ul, hogy 0 = Ad = Bd
B
+Nd
N
, amib˝ol k¨ovetkezik, hogy d
B
= −B
−1
Nd
N
.
Innen a reduk´alt gradiens
r
T
=
_
r
T
B
, r
T
N
_
= f(x)
T

B
f(x)
T
B
−1
A =
=
_
0,
N
f(x)
T

B
f(x)
T
B
−1
N
¸
.
Miut´an tudjuk hogy
f(x)
T
d =
B
f(x)
T
d
B
+
N
f(x)
T
d
N
=
_

N
f(x)
T

B
f(x)
T
B
−1
N
¸
d
N
= r
T
N
d
N
,
ez´ert d-re praktikus v´alaszt´as az al´abbi:
d
N
j
=
_
−r
j
ha r
j
≤ 0,
−x
j
r
j
k¨ ul¨onben,
b
B
= −B
−1
Nd
N
.
33. T´etel. A fentiek szerinti d v´alaszt´as mellett
• (1): d = 0, ´ ugy d megengedett cs¨okken´esi ir´any
• (2): d = 0, ´ ugy x KKT pont.
Bizony´ıt´as:Akkor ´es csak akkor megengedett, ha Ad = 0 ´es d
j
≥ 0, ha x
j
= 0. A defin´ıci´o
szerint d
B
:
Ad = Bd
B
+Nd
N
= B
_
−B
−1
Nd
N
_
+Nd
N
= 0.
Amennyiben x
j
b´azisbeli, ´ ugy x
j
> 0.
Ha x
j
nem b´azisbeli, akkor ha x
j
> 0, ´ ugy d
j
lehet negat´ıv, teh´at d
j
≥ 0, ha x
j
= 0.
Teh´at:
f(x)
T
d =
B
f(x)
T
d
B
+
N
f(x)
T
d
N
=
_

N
f(x)
T
+
B
f(x)
T
B
−1
N
¸
d
N
=
=

j∈N
r
j
d
j
,
azaz, d = 0 vagy f(x)
T
d < 0.
45
A KKT ponthoz teljes¨ ulnie kell a KKT felt´eteleknek, azaz az al´abbi rendszernek: x akkor ´es
csak akkor KKT pont, ha u
T
=
_
u
T
B
, u
T
N
_
≥ (0, 0), ´es v-re:
_

B
f(x)
T
,
N
f(x)
T
¸
+v
T
(B, N) −
_
u
T
B
, u
T
N
_
= 0,
u
T
B
x
B
= 0,
u
T
N
x
N
= 0.
Amennyiben x
B
> 0 ´es u
T
B
≥ 0, ´ ugy u
T
B
x
B
= 0 ⇔u
T
B
= 0.
Teh´at
v
T
= −
B
f(x)
T
B
−1
,
u
T
N
=
N
f(x)
T

B
f(x)
T
B
−1
N,
⇒u
N
= r
N
, azaz KKT, ha r
N
> 0 ´es r
T
N
x
N
= 0.
De d defin´ıci´oj´ab´ol: d = 0 akkor ´es csak akkor, ha r
N
≥ 0 ´es r
T
N
x
N
= 0.
Azaz x akkor ´es csak akkor KKT, ha d = 0.
Ez alapj´an maga az algoritmus:
• Inicializ´al´as:x
1
, Ax
1
= b, x
1
≥ 0, k = 1.
• STEP1: I
k
legyen x
k
-nak az m darab legnagyobb ´ert´ek´enek indexei.
B = {a
j
: j ∈ I
k
} ,
N = {a
j
: j / ∈ I
k
} ,
r
T
= f (x
k
)
T

B
f (x
k
)
T
B
−1
A,
_
d
Nj
_
k
=
_
−r
j
ha r
j
≤ 0 ´es j / ∈ I
k
,
−x
j
r
j
ha r
j
> 0 ´es j / ∈ I
k
,
(b
B
)
k
= −B
−1
Nd
N
.
Amennyiben d
k
= 0, ´ ugy meg´allhatunk, x
k
KKT pont.
Ellenkez˝o esetben STEP2.
• STEP2:
A megoldand´o feladat:
min {f (x
k
+λd
k
) | 0 ≤ λ ≤ λ
max
}
ahol 1 ≤ j ≤ n eset´en
λ
max
=
_
min
_

x
jk
d
jk
, d
jk
< 0
_
, ha d
k
0,
∞ ha d
k
≥ 0.
Tegy¨ uk fel, hogy λ
k
optim´alis. Ekkor
x
k+1
= x
k

k
d
k
,
k = k + 1.
majd ´ ujra STEP1.
46
34. T´etel. Amennyiben f folytonosan differenci´alhat´o ´es {x
k
} sorozat az algoritmus ´altal ge-
ner´alt, ´ ugy {x
k
} minden torl´od´asi pontja KKT pont.
Bizony´ıt´as:A m´ar t¨obbsz¨or haszn´alt 4 pontos lemma seg´ıts´eg´evel bizony´ıtjuk a t´etelt.
Tegy¨ uk fel indirekt, hogy {x
k
}
K
→ ´ x nem KKT pont.
Ekkor legyen
´
I az m darab legnagyobb komponens indexe, tov´abb´a
´
d legyen az ´ x-hez tartoz´o
ir´any.
Amennyiben
´
d = 0, ´ ugy f (´ x)
´
d < 0, teh´at a lemma (4) pontja fenn´all.
Amennyiben ∃K

⊆ K, hogy I
k
=
´
I, amennyiben k ∈ K

, ´ ugy a folytonoss´ag miatt:
{x
k
}
K
→ ´ x,
{d
k
}
K

´
d,
amennyiben I
k
=
´
I, teh´at ezzel (1) ´es (2) k¨ovetkezm´eny is megvan.
A (3)-mashoz azt kell bel´atnunk, hogy x
k
+ λ
k
d
k
megengedett, amenniben λ ∈ [0, δ
k
], ahol
d
k
= λ
max
az x
k
pontra.
Tegy¨ uk fel, hogy inf
_
δ
k
: k ∈ K

_
= 0. Ebb˝ol k¨ovetkezik, hogy ∃K

⊂ K

´es p ´ ugy, hogy
δ
k
= −
>0
¸..¸
x
pk
d
pk
.¸¸.
<0
→0.
Ekkor {d
pk
}
K

konvergens, azaz x
pk
→ 0, teh´at ´ x
p
= 0, teh´at p / ∈
´
(I), teh´at p / ∈ I
k
, azaz
d
pk
= −x
pk
r
pk
.
Teh´at δ
k
=
1
r
pk
, teh´at r
pk
v´egtelenhez tart´asa nem teljes¨ ul, mive r
pk
→ r
p
= ∞, amib˝ol
k¨ovetkezik, hogy
inf
_
δ
k
, k ∈ K

_
= δ > 0,
azaz ´all a (3) k¨ovetkezm´eny is, ami azt jelenti, hogy ellentmond´asra jutottunk, teh´at x KKT pont.
26. Megjegyz´es. A nemline´aris esetet gradiensekkel ´es korrekci´os l´ep´esekkel oldjuk meg.
47

4. Defin´ o. (Z´rt lek´pez´s): Legyen X ⊂ Rq ´s Y ⊂ Rp , tov´bb´ A : X → Y . ıci´ a e e e a a Az A lek´pez´s z´rt az x ∈ X helyen, e e a HA ´ {xk ∈ X, xk → x} ES {yk ∈ A (xk ) , yk → y}, AKKOR y ∈ A(x). Az A lek´pez´s z´rt Z ⊆ X halmazra, ha minden x ∈ Z helyen z´rt. e e a a 1. K¨vetkezm´ny. Amennyiben A(x) folytonos f¨ggv´ny, ugy z´rt is. o e u e ´ a Bizony´ as:Trivi´lis, pl. az ´tviteli elv miatt. ıt´ a a 1. Megjegyz´s. Tekints¨k az al´bbi f¨ggv´nyt: e u a u e f (x) =
1 x

0

x = 0, x = 0.

Az f (x) f¨ggv´ny nyilv´nval´an z´rt R-en, de nem folytonos. A z´rts´g az´rt ´ll fent, mert b´rmely u e a o a a a e a a ´ yk y eset´n nem kell ´llnia a k¨vetkezm´nynek (hiszen az ES kapcsolat nem teljes¨l). e a o e u 5. Defin´ o. (Cs¨kken´si f¨ggv´ny): Legyen A : X → X algoritmikus lek´pez´s. ıci´ o e u e e e Egy α : X → R f¨ggv´ny cs¨kken´si f¨ggv´ny, ha u e o e u e • folytonos ´ / • x ∈ Ω ES y ∈ A(x) AKKOR α(y) < α(x). (Azaz, nem optim´lis megold´s eset´n az algoritmikus lek´pez´s jav´ a a e e e ıtani tud az iter´ci´s l´p´s sor´n). a o e e a 2. T´tel. Legyen X ⊂ Rn , ∅ = Ω ⊆ X, A : X → X, {xk } ∈ X, ´s {xk } sorozat legyen olyan, e e hogy ha xk ∈ Ω valamely k index eset´n, ugy meg´llunk, k¨l¨nben xk+1 ∈ A (xk ). e ´ a uo HA: • {xk } ⊆ Λ, ahol Λ kompakt halmaz, • l´tezik egy α cs¨kken´si f¨ggv´ny, e o e u e • A z´rt X \ Ω halmazon, a AKKOR: • Vagy v´ges l´p´sben Ω-n bel¨l vagyunk, e e e u • vagy {xk } sorozatra igaz, hogy minden torl´d´si pontja Ω-ban van ´s α (xk ) → α(x), ahol o a e x ∈ Ω.

2

Bizony´ as:Tekints¨k {xk }K → x konvergens r´szsorozatot. Miut´n α folytonos, ez´rt ıt´ u e a e lim α (xk ) = α(x).
K

Miut´n α cs¨kken´si, ez´rt monoton is, ´s ´ a o e e e ıgy lim α (xk ) = α(x). Itt pedig akkor van gond, ha x ∈ Ω. / Tegy¨k fel teh´t indirekt, hogy x ∈ Ω. Tekints¨k ekkor az {xk+1 }K∗ r´szsorozatot. Torl´d´si u a / u e o a pontja van, teh´t van konvergens r´szsorozata, legyen ez a e {xk+1 }K∗ → x∗ . Miut´n A z´rt, ez´rt K∗ -on a a e xk+1 ∈ A (xk ),
→x∗ →x

amib˝l a z´rts´g miatt k¨vetkezik, hogy x∗ ∈ A(x), ´s miut´n x ∈ Ω, ´s α cs¨kken´si f¨ggv´ny, o a a o e a / e o e u e ez´rt α (x∗ ) < α(x), ami nyilv´nval´an ellentmond a monoton cs¨kken´snek, azaz e a o o e lim α (xk ) = α(x) felt´telnek. e 3. K¨vetkezm´ny. Ha Ω = {x∗ }, ugy lim xk = x∗ . o e ´ Bizony´ as:Indirekt tegy¨k fel, hogy K indexhalmazra ıt´ u {xk } − x∗ > ε. Ekkor egy K∗ indexhalmazon {xk }K∗ → x a kompakts´g miatt, ´s x ∈ Ω, ami ellentmond´s, a e / a hiszen ´ van egy m´sik torl´d´si pontunk - ellent´tben az eredeti feltev´ssel. ıgy a o a e e 2. P´lda. P´ld´k cs¨kken´si f¨ggv´nyekre: e e a o e u e • α(x) = f (x), • α(x) = f (x) ,

• α(x) = x − x∗ , ahol x∗ ∈ Ω. Algoritmus meg´ll´si krit´riumok a a e 1. xk+N − xk < ε, azaz az algoritmus r´g´ta nem javul. e o 2.
xk+1 −xk xk

< ε, azaz az algoritmus relat´ nem javul. ıve

3. α (xk ) − α (xk+N ) < ε, azaz a cs¨kken´si f¨ggv´ny r´g´ta nem javul. o e u e e o 4.
α(xk )−α(xk+1 ) α(xk )

< ε, azaz a cs¨kken´si f¨ggv´ny relat´ nem javul. o e u e ıve

5. α (xk ) − α (x∗ ) < ε, x∗ ∈ Ω, azaz m´r kell˝en k¨zel vagyunk egy ismert optimum ´rt´khez. a o o e e 3. P´lda. Ismert p´lda cs¨kken´si f¨ggv´nyre az α(x) = e e o e u e f (x) , ahol egy szigor´an defini´lt Ω u a halmaz eset´n x∗ ∈ Ω-ra e f (x∗ ) = 0 miatt az 5. krit´rium az egyszer˝bb e u α(x) < ε alakot ¨lti. o

3

Lek´pez´sek kompoz´ oja e e ıci´ A kompoz´ ok vizsg´lat´nak motiv´ci´ja nem m´s, mint az az ´ltal´nos elj´r´s, miszerint ıci´ a a a o a a a aa optimum-keres´s eset´n el˝sz¨r egy ir´nyt hat´rozunk meg, majd ut´na az adott ir´nyba t¨rt´n˝ e e o o a a a a o e o l´p´shossz nagys´g´t. Teh´t, ´ltal´nos keretek k¨z¨tt a leggyakrabban A = M D algoritmikus e e a a a a a o o lek´pez´ssel dolgozunk, ahol D az ir´nykeres´s, m´ M a l´p´shossz v´laszt´s r´szalgoritmusa. e e a e ıg e e a a e 6. Defin´ o. (Osszetett lek´pez´s): Legyen X ⊂ Rn , Y ⊂ Rp ´s Z ⊂ Rq . Legyenek tov´bb´ ıci´ ¨ e e e a a B : X → Y ´s C : Y → Z k´t algoritmikus lek´pez´s. e e e e Ekkor az A = CB ¨sszetett lek´pez´s, melyre A : X → Z igaz, hogy o e e A(x) = {C(y) : y ∈ B(x)} .

Azaz, az ¨sszetett lek´pez´s eset´n minden ponthoz el˝sz¨r hozz´rendel¨nk egy halmazt, majd a o e e e o o a u halmaz minden elem´hez 1-1 halmazt rendel¨nk, ´ az ¨sszetett f¨ggv´ny k´pe ezen k´pek uni´ja e u ıgy o u e e e o lesz. 4. T´tel. (Z´rts´g): Legyenek A, B ´s C olyanok, mint a defin´ oban. Tegy¨k fel, hogy e a a e ıci´ u • B z´rt X-n´l, a e a e • C z´rt B(X)-n´l, • ha xk → x ´s yk ∈ B (xk ), akkor {yk }-nak van konvergens r´szsorozata. e e Ekkor A z´rt X-n´l. a e Bizony´ as:Tekints¨k az xk → x ´s zk ∈ A (xk ), zk → z sorozatokat. ıt´ u e Tov´bb´ legyen yk ∈ B (xk ), ez´rt a harmadik felt´tel miatt ∃ {yk }K → y konvergens r´szsoroa a e e e zat. Ekkor viszont az els˝ felt´tel miatt y ∈ B(x), m´ a m´sodik felt´tel miatt z ∈ C(y). Viszont o e ıg a e C(y) ⊂ CB(x), hiszen ez ut´bbi nyilv´nval´an b˝vebb az uni´k´pz´s miatt. Viszont CB(x) = o a o o o e e A(x), azaz k´szen vagyunk. e 5. K¨vetkezm´ny. Amennyiben Y kompakt, ugy az els˝ ´s m´sodik felt´telb˝l m´r k¨vetkezik A o e ´ oe a e o a o z´rts´ga X-n´l. a a e 6. K¨vetkezm´ny. Amennyiben B folytonos, ugy szint´n az els˝ ´s m´sodik felt´tel elegend˝ A o e ´ e oe a e o z´rts´g´hoz X-n´l. a a a e oa e 4. P´lda. Val´j´ban ellenp´lda e Legyenek B(x) = illetve C(y) = {z : z ≤ y }.
1 x

0

x = 0, x = 0,

Ekkor CB nem z´rt a 0-ban, mert az oda tart´ sorozatok hat´r´rt´k´vel gond lesz a kompoz´ o a o a e e e ıci´ miatt.

4

hogy {yk . hogy α(y) ≤ α(x) ha y ∈ C(x). Tegy¨k fel. e ´ a a o eu • Amennyiben (p > 1) vagy p = 1 ´s β = 0 ugy szuperlin´ris konvergenci´r´l besz´l¨nk. ´s miut´n α cs¨kken´si e a a e a o e f¨ggv´ny. teh´t α (x∗ ) ≤ α(y). ez´rt folytonos is. konvergencia r´ta): Tekints¨k az {rk } → r∗ . T´tel. Defin´ o. a A m´sodik felt´tel miatt teljes¨l az is. Bizony´ as:Tekints¨k {xk }K → x konvergens r´szsorozatot. xk+1 }K∗ eset´n. r ∈ R. hiszen szint´n a m´sodik tulajdons´g miatt α (xk+1 ) ≤ α (yk ). de legal´bb nem n¨vel (m´s o a o a megfogalmaz´sban a k´p nem lehet rosszabb. hogy vagy v´ges l´p´sen bel¨l xk+1 ∈ Ω. a o e ıgy a o a 7. Legyenek B. Ekkor ıt´ u e lim α (xk ) = α(x). A konvergencia rendje azon sup p. A = CB. 5 . u a • Amennyiben p = 1 ´s 0 < β < 1.7. a e o e • Λ := {x : α(x) ≤ α (x1 )} kompakt. ahonnan l´nyeg´ben k´szen is a e u e e e vagyunk. xk+1 }K∗ → {y. rk = r∗ ıci´ a u semmilyen k indexre ´s rk . x∗ }. hogy u e u • B z´rt. Ekkor kihaszn´lva a z´rts´got ´s a cs¨kken´si u e e a a a a e o e tulajdons´got ad´dik. ∅ = Ω ⊂ X. Ekkor β a konvergencia-r´ta. e o a Ekkor {yk . melyre a e lim sup k→∞ rk+1 − r∗ rk − r∗ p =β<∞ teljes¨l. e ´ a a o eu e ´ a u a o eu • Amennyiben p = 2 ´s β < ∞. ugy line´ris konvergenci´r´l besz´l¨nk. K hiszen a ≤ felt´tel elegend˝ a konvergenci´hoz. tov´bb´ α : Rn → R cs¨kken´si e a a o e f¨ggv´ny. mint az ˝sk´p). azaz nem cs¨kkent. vagy az ¨sszes torl´d´si pontja e e e u o o a Ω-ban van. C : X → X. ´s ´ α (x∗ ) < α(x) ami nyilv´nval´ ellentmond´s. ugy m´sodrend˝ konverngeic´r´l besz´l¨nk. m´gpedig Λ e u e kompakts´ga miatt. EKKOR {xk }-ra igaz. a • C-re igaz. ahol K∗ ⊂ K teljes¨l. hogy α (x∗ ) ≤ α(y). hogy α(y) < α(x). (Konvergencia rendje.

EZ EDDIG LENYEGEBEN A FOLYTONOSSAG! a Gyeng´ ıtve a folytonoss´got. hogy egy lek´pez´st akkor nevez¨nk e e ´ e e u z´rtnak. hogy mind a sorozat u a tagjai. hogy a lek´pez´s z´rt. Miut´n ezek mindegyike fenn´ll. a e e a u A z´rts´g´b´l ´s a feltett konvergenci´b´l tudjuk. Formaliz´lva: a ee a 6 . yk ) ∈ Z sorozatot. • ⇐: M´sodszor tegy¨k fel. y) Z-beli sorozatot. hogy o o u e u u a ´ {yk ∈ A (xk ) . f elt Z A yk → y . Ekkor teh´t xk → x ´s yk → y. akkor (x. hogy e ae e u e u a Z beli konvergens sorozatok hat´r´rt´ke is Z beli).4-es p´lda. a e e e a a hogy minden Z-beli konvergens sorozat hat´r´rt´ke is Z-beli. mely azt mondja. hogy (xk . (x. hogy akkor is z´rt lek´pez´st kapunk. melyr˝l tegy¨k fel. o e Legyen X ⊂ Rp ´s Y ⊂ Rq . Y = ∅. mert nek¨nk csak a a a a u konvergens k´psorozatok hat´r´rt´keire van sz¨ks´g¨nk (hiszen azt kell igazolnunk. illetve a sorozat tagjaira xk ∈ X ´s a a e e ´ yk ∈ A (xk ). ´ ´ll´ as. a ıt´ a e e a Vegy¨nk teh´t egy (xk . tekints¨k az (xk . hogy a fent defini´lt Z halmaz z´rt. ae e a a Illetve azt kell m´g igazolnunk. hogy az a u a a o o ´ll´ asban defini´lt A algoritmikus lek´pez´s z´rt. ami viszont a funku e u o cion´l-anal´ ol ismert z´rt lek´pez´s defin´ ot jelenti. azaz a felt´tel hamis. mind a hat´r´rt´k Z-ben van a z´rts´g miatt. hogy A z´rts´ga ekvivalens a Z = {(x. gondoljuk v´gig. yk → y} ES {y ∈ A(x)}. e a a e e Igazoljuk. ´ {xk ∈ X. hogy a fent defini´lt Z halmaz szint´n z´rt. hogy x ∈ X teljes¨lj¨n. hiszen hamis ´ll´ asb´l minden k¨vetkezik (´ ez a u o o a ıt´ o o ıgy is). yk ∈ A (xk ). ae e Azaz. f elt Z A azaz Z defin´ oja szerint ıci´ (xk . azaz az A lek´pez´s z´rt. y ∈ A(x)} halmaz z´rts´g´val. a e e e eo u u a Viszont Z z´rts´g´hoz nem kell. Be kell u o u l´tnunk. azaz y ∈ A(x) ´rtelemszer˝en teljes¨l. az azt jelenti. hogy ∀x ∈ X eset´n a lek´pez´s z´rt. ha a grafikonja z´rt.ha az indul´ felt´telek e u o e b´rmelyike nem teljes¨l. hogy y ∈ A(x) teljes¨l. hogy valamely defini´l´ sorozat e e ıci´ a e ao hat´r´rt´ke nem l´tezik (klasszikusan yk ae e e y). melyb˝l k¨vetkezik. e a Amennyiben A z´rt X-en. ae e a a a e tov´bb´ xk . xk → x} ES e e a Fontos megjegyezni. 7. y ∈ A(x). ha a z´rt a e a e e a ´ lek´pez´s defin´ oj´nak ES felt´tele hamis. hogy ezek a pontok megjelenjenek. yk ) → (x. a a a a a Bizony´ as: ıt´ o o u e e a a a • ⇒: El˝sz¨r tegy¨k fel. x ∈ X . amib˝l persze k¨vetkezik az is. r¨gt¨n igaz lesz. Ez azt jelenti. Tov´bb´ A : X → Y algoritmikus lek´pez´s. a line´ris lek´pez´s ´rtelmez´si e e e e o o ´ a e e a a a e e e e tartom´ny´nak z´rts´ga ´s a line´ris lek´pez´s folytonoss´ga k¨z¨l b´rmely kett˝ megl´te autoa a a a e a e e a o u a o e matikusan mag´val vonja a harmadik megl´t´t is. hogy ha A lek´pez´s z´rt. Be kell l´tni. xk ∈ X . ekkor l´ssuk be. hogy a a a o e a o xk → x. de ez . hogy ehhez sz¨ks´g van arra. yk ) → (x. teh´t igaz. azaz x ∈ X ´s y ∈ A(x). hogy ha adott egy adott line´ris a a e e a lek´pez´s k´t Banach t´r k¨z¨tt ugy a line´ris lek´pez´s z´rts´ga. Ekkor az ES a ıt´ e o o teh´t a lek´pez´s y k´p´t˝l f¨ggetlen¨l z´rt lesz. x. y) ∈ Z teljes¨l. amit viszont m´r megvizsg´ltunk. ahol tudjuk. ´ ´ ´ azaz Z z´rt. Ekkor term´szetesen m´g megfogalmazhat´ a z´rt lek´pez´s t´tel a a e e o a e e e line´ris funkcion´lok ´s Banach terek eset´re is. a ızisb˝ a e e ıci´ A fenti feladatot egy´bk´nt ugy is megfogalmazhatjuk. yk ) ∈ Z. yk . y) ∈ Z. ´ ´rtelemszer˝en az ES kapcsolat is igaz a a ıgy e u k¨z¨tt¨k.´ HAZI FELADAT Tank¨nyv. y). y ∈ Z. hogy y ∈ A(x). X. y) : x ∈ X.

A : X → Y line´ris lek´pez´s. (Kv´zikonvexit´s): Egy f : S → R f¨ggv´ny kv´zikonvex. hogy u θ(ν) > max {θ (z0 ) . hogy e e e u f (λx1 + (1 − λ)x2 ) ≤ max {f (x1 ) . A fenti θ f¨ggv´ny er˝sen kv´zikonvex. Differenci´l´s n´lk¨ l aa e u Motiv´ci´: a o       min f (xk + λdk )     θ(λ) 8. ha ∀x1 . azaz u u f (λx1 + (1 − λ)x2 ) < max {f (x1 ) . ha a u e o a f (λx1 + (1 − λ)x2 ) ≤ max {f (x1 ) . amennyiben ν ∈ (z0 . (Bizonytalans´gi intervallum): argmin {θ(λ)} = λ ∈ [a. T´tel. tov´bb´ legyen e u e u a a a adott ν < µ ∈ [a. Legyen θ : R → R f¨ggv´ny szigor´an kv´zikonvex az [a.´ a e e a u u ıgy ker¨lv´n egyre k¨zelebb a minimumponthoz. Az (ii) felt´tel anal´g a a e o m´don bel´that´. f (x2 )} . b].8. o e u e o u Az er˝s. e a a e a e e Ekkor az al´bbi 3 ´ll´ as k¨z¨l b´rmely kett˝ teljes¨l´se eset´n k¨vetkezik a harmadik: a a ıt´ o u a o ue e o a • A z´rt. mely az algoritmikus lek´pez´s sor´n folyamatosan sz˝k¨l . b] sz´mok. (ii) θ(ν) ≤ θ(µ) ⇒ θ(z) ≥ θ(ν)∀z ∈ (µ. (Z´rt gr´f t´tel): Legyenek X. θ (µ)} . f (x2 )} . u e o 9. szigor´ kv´zikonvexit´s anal´g m´don a felt´tel elhagy´s´val ´s az egyenl˝tlens´g o u a a o o e a a e o e szigor´ as´val defini´ltatik. b] intervallumon. ha az f (x1 ) = f (x2 ) felt´telt nem k¨vetelj¨k meg. T´tel. Defin´ o. • A folytonos. Ekkor persze igaz.azaz. ami persze ellentmond a kv´zikonvexit´snak. nem ıt´ o u ´ teljes¨l (i). a ´ ´ EGYDIMENZIOS KERESES. ν). hogy θ (z0 ) < θ (µ) . ıt´ a a 9. hogy ∃z0 ∈ [a. ha azonos felt´telek eset´n az egyenl˝tlens´g u e u a e e o e szigor´an teljes¨l. • dom(A) z´rt. o a o 7 . f (x2 )} egyenl˝tlens´g akkor is teljes¨l. x2 ∈ S ´s ıci´ a a u e a e f (x1 ) = f (x2 ) eset´n ∀0 < λ < 1 ´rt´kre teljes¨l. Bizony´ as:Indirekt m´don tegy¨k fel. ν) ugy. Y Banach terek. b]. A fenti θ f¨ggv´ny szigor´an kv´zikonvex. ahol a bizonyıci´ a talans´gi intervallum [a. µ). Ekkor a (i) θ(ν) > θ(µ) ⇒ θ(z) ≥ θ(µ)∀z ∈ [a. Defin´ o. b].

˝ IT ´ INTERVALLUM-SZUK´ ES Ez indokolja. b]-n ´s l´tezik minimuma [a. Gondoljuk meg ugyanis. hogy ekkor a λ < λ3 < λ2 esetet a ıt´ o o o kell ugyan´ fel´ ıgy ırni. hogy ha λ3 = λ. a Bizony´ as:Megjegyezz¨k. akkor az er˝s unimodalit´s eset´n a e o a e minimum egy´rtelm˝ . ugy az algoritmikus a ´ u o ´ lek´pez´sben . hogy [µ.am´ el nem ´rj¨k a meg´ll´si felt´telben foglaltakat. • (II) Ha θ er˝sen kv´zikonvex [a. hogy kv´zikonvex f¨ggv´nyek eset´n. akkor szigor´an kv´zikonvex [a. hogy e u e o o a o a • (I) Ha θ er˝sen unimod´lis [a. akkor λ1 < λ2 ≤ λ ⇒ θ (λ1 ) > θ (λ2 ) . de most ezt nem haszn´ljuk fel. Legyen θ : R → R f¨ggv´ny adott. b]-n. Ekkor m´g azt meg kell gondolni. ´ pedig feltehet˝. hogy ıci´ u a u e u λ minimumhely. Defin´ o.teh´t ´ a minimum nyilv´n szigor´an kisebb. ν] intervallumot ugy. val´ban er˝sen (szigor´an) kv´zikonvex. ugy θ szigor´an u a e e ´ u unimod´lis. azaz e θ (λ3 ) = θ (αλ1 + (1 − α)λ2 ) < θ (λ1 ) ≤ max {θ (λ1 ) . a o o 10. hogy u a a λ1 < λ2 . e e ıg e u a a e hogy vagy a → µ vagy b → ν l´p´s k¨vetkezzen be a felt´telezett minimum poz´ oja alapj´n. tov´bb´ θ (λ2 ) = θ λ . b] intervallumon bel¨l dea u e e u finin´lni tudunk egy [µ. ν] ⊂ [a. akkor l´tezik a minimumpont az [a. hogy a θ f¨ggv´ny szigor´an unimod´lis. hogy θ (λ1 ) = θ λ . hiszen a λ-k ford´ o o u a ıtott sorrendje eset´n az e ´ll´ as anal´g m´don igazolhat´. illetve. mint b´rmely m´s e u a ıgy a u a a f¨ggv´ny´rt´k. Ekkor igazolhat´. Ekkor pedig a e az unimodalit´sb´l k¨vetkezik a fenti sorrend eset´n (a pontok sorrendje λ1 < λ3 < λ). amennyiben [a. θ (λ2 )} azaz. b] teljes¨lj¨n. o a e e o a u a e u a • (III) Ha θ szigor´an unimod´lis ´s folytonos [a. ugy azt nondjuk. b]-n. ugy er˝s u e o o uo o o e o u ´ o unimodalit´sr´l van sz´. hogy λ3 = αλ1 + (1 − α)λ2 . hiszen ha θ unimod´lis. ´ u e u a Amennyiben a θ f¨ggv´nyben a minimumpontt´l val´ k¨l¨nb¨z˝s´get nem k¨tj¨k ki. b]-n. csak a gondolatmenet´t k¨vetj¨k. b]-n. u e e e 8 . b] intervallumon. T´tel. (Szigor´ unimodalit´s): Legyen θ : R → R f¨ggv´ny adott. akkor er˝sen kv´zikonvex is [a. e a e o u e u • (I) λ1 < λ2 eset´n tegy¨k fel.b]-n. Amennyiben teljes¨l. b]-n. folyamatosan igaz legyen. hogy l´nyeg´ben az egyik fel´t m´r bel´ttuk a t´telnek az el˝z˝ ıt´ u e e e a a e o o t´telben. Tegy¨k fel. hogy ıgy o λ3 < λ. e e o e ıci´ a 10. b]-n ´s l´tezik a minimum [a. • (IV) Ha θ szigor´an kv´zikonvex [a. hogy a o o e θ (λ1 ) > θ (λ3 ) ∀0 < α < 1 eset´n. λ2 > λ1 ≥ λ ⇒ θ (λ1 ) < θ (λ2 ) . akkor θ er˝sen unimod´lis.

´ minden pontra f¨ggv´ny´rt´ket e o ıgy Igy u e e e sz´m´ a ıtva ad´dik . Ez nem lehet kisebb a minimumn´l (trie a e e e a vi´lisan). 9 . hogy λ1 < λ∗∗ < λ∗ < λ. hogy θ (λ3 ) < max {θ (λ1 ) . a Teh´t θ (λ3 ) = θ (λ1 ) = θ λ . . teh´t minden f¨ggv´ny´rt´k a a u e e e megegyezik. Ekkor azonban a folytonoss´g miatt nem ugorhae ´ a tunk ´t ´rt´ket. e a e e Ekkor persze tudjuk. Ebben az esetben trivi´lisan θ (λ1 ) > θ (λ3 ). ´s feltessz¨k azt is.a f¨ggv´nyre tett alkalmas megk¨t´sek mellett (pl. . u e u u a Azt kell meggondolni. 1). θ (λ2 )} = a e a u θ (λ2 ). a e Ekkor persze λ2 = αλ1 + (1 − α)λ.melye most az algoritmus iter´ci´i miatt legyen [a1 . illetve θ (λ3 ) = θ λ . ahol persze λ a megk¨vetelt minimumhelyek egyike. hogy a u l´tezik λ∗ ugy. amivel k´szen is vagyunk. b] intervallumot . Ekkor θ (λ1 ) = θ (λ2 ). – θ (λ1 ) = θ (λ3 ) = θ λ . hogy θ (λ2 ) = θ λ . θ λ anal´g m´don igazolhat´. ahol k = 1. o u o e e ugyanis kisebb nyilv´n nem lehet a minimumhely miatt. Indirekt tegy¨k fel. hiszen a ´ e e f¨ggv´ny¨nk szigor´an unimod´lis. a Meg kell m´g vizsg´lnunk θ (λ2 ) ´rt´k´t is. hogy λ3 ≤ λ. hiszen a λ2 > λ1 > λ eset e ´ ´ SZIMULTAN KERESES Az [a. Ekkor λ3 > λ1 . akkor a val´di mimimumpont a o a u e e e o [λ∗ − δ. o o o = θ (λ1 ). u a a – θ (λ1 ) = θ λ : Ekkor igaz. . ugy az (I) pont l´p ´letbe. szigor´ kv´zi konvexit´s o u e oe u a a elegend˝). o o e Amennyiben θ (λ1 ) = θ λ . λ∗ + δ] intervallumba esik. hogy ha λ∗ a megtal´lt legkisebb f¨ggv´ny ´rt´k. Tov´bb´ o a a θ (λ1 ) = θ λ . λ ´rt´kre θ(λ) = θ λ . a a • (IV) Legyen λ1 < λ2 < λ. 1] θ αλ1 + (1 − α)λ = θ (λ2 ) < max θ (λ1 ) . . b1 ] intervallum. azonban err˝l az esetr˝l a szigor´ kv´zikonvexit´s defin´ oja nem ´ll´ o o u a a ıci´ a ıt semmit. hiszen a v´ltoz´k m´sik sorrendj´nek ir´nya anal´g o a o a a o a e a o m´don igazolhat´. hogy ∃α ∈ (0. hiszen az minim´lis. n. azaz l´tezik λ∗∗ ugy. hogy a f¨ggv´ny´rt´kek k¨l¨nb¨z˝ egyez´se eset´n mi biztos´ u e e e uo o o e e ıtja a szigor´ kv´zikonvexit´st. mert az unimodae u e o lit´snak ez felt´tele). (A m´sik ir´ny anal´g u e a a o m´don igazolhat´. azaz val´ban fenn´ll az er˝s unimodalit´s. ´s λ3 = αλ1 + (1 − α)λ2 . ahol λ a felt´telezett minimumpont. Amennyiben θ (λ2 ) > θ λ . ugy az el˝z˝ekben tett meg´llap´ asok alapj´n λ1 < λ < ´ o o a ıt´ a λ2 esettel ´llunk szemben ´s trivi´lisan teljes¨l. α ∈ (0.• (II) A visszafel´ ir´ny eset´n legyen λ1 < λ2 ≤ λ adott. θ λ = θ (λ1 ) .(Az´rt tehet˝ fel. hogy θ (λ∗ ) > θ λ . hogy minden k¨zb¨ls˝ λ ∈ λ1 . m´ a f¨ggv´ny´rt´kekre: a e e e ´ ıg u e e e θ (λ1 ) = θ λ < θ (λ∗∗ ) < θ (λ∗ ). a o osszuk fel az al´bbi m´don: a o b1 − a1 n+1 δ= ´s az oszt´pontok legyenek ´ a1 + kδ. o o • (III) Tegy¨k fel. ami ellentmond az unimodalit´snak. teh´t a szigor´ kv´zi konvexit´s miatt a u a a θ (λ2 ) < max θ (λ1 ) . mint az (I) esetn´l). azonban egyezhet vele.

e a a a 2. ´ legyenek ıgy ak + bk − ε. Az algoritmus o u ıgy a e teh´t a k¨vetkez˝ lesz: a o o • STEP0 . 10 . hogy o bk+1 − ak+1 = Enn´l lehet jobbat is k´sz´ e e ıteni. 11. ak + bk ahol ν a megfigyel´sek sz´ma. Defin´ o. Legyenek tov´bb´ a = a1 . hogy o e o o e o megjel¨lj¨nk. bk+1 = µk . bk+1 = bk . 2 λk = u ıt´ ´ • STEP2 .´ ´ SZEKVENCIALIS KERESESEK ´ ´ DICHOTOMIKUS KERESES A motiv´ci´nk az. ´ egy alkalmas kis sz´mmal ezeket mindig jobbra ´s balra eltoljuk.intervallum-sz˝ k´ es Amennyiben θ (λk ) < θ(µk ). ugy ´lljunk meg. • A STEP1 ´s STEP2 alkalmaz´sa egym´s ut´n.oszt´pontok: Amennyiben [ak . ugy ak+1 = ak . legyen ez L. Megjegyz´s. b = b1 ´s ´ e a a e ıgy k = 1. Egy´bk´nt pedig e e ak+1 = λk . Mi azonban k´t oszt´pontot kell. tov´bb´ az elfogadhat´ bizonytalans´gi inaa a a o a tervallum hossza legyen szint´n adott. 2 ak + bk µk = + ε. k = k + 1. ha a k´t oszt´pont a felez˝pontra esne. hogy ha az iter´ci´k sor´n a bizonytalans´gi intervallumunk maxim´lis a o a o a a a hossz´t szeretn´nk minimaliz´lni az intervallum-sz˝k´ eses elj´r´s sor´n. e a 1 1 (b1 − a1 ) + 2ε 1 − k k 2 2 . • STEP1 . bk ]. bk ] < L. Egy´bk´nt pedig o ´ a e e λ ∈ [ak . (Cs¨kken´si r´ta): A cs¨kken´si r´ta az al´bbi h´nyados: ıci´ o e a o e a a a bk+ν − ak+ν . ugy a legink´bb mega e a u ıt´ aa a ´ a felel˝ az lenne.inicializ´l´s: legyen 2ε > 0 adott. Meg´llap´ e a ıthat´. k = k + 1.

teh´t minden l´p´sben csak 1 oszt´pontot ´ o o u a e e o kell meghat´roznom.5. hogy a a √ 5−1 α= ∼ 0. akkor nagys´grendi o a o a o a javul´st tudunk el´rni. amennyiben a Fibonacci sorozatot haszn´ljuk e a o o o a fel. hogy az uj oszt´pontok k¨z¨l az egyik megmarad . hiszen 2 megfigyel´senk´nt cs¨kken l´nyeg´e e o e e Szemmel is j´l l´that´. ami a cs¨kken´si r´t´t jelenti. Fn+1 = Fn + Fn−1 . . a a o a L akkor az oszt´pontok a r´k¨vektez˝ l´p´sben minden esetben megmaradnak. . 12. e e e o e a Szint´n felhaszn´lhatjuk az el˝z˝ oszt´pontokat. o a o o e e ´ ´ ¨ HATEKONYSAG OSSZEHASONL´ AS Az al´bbi egyenl˝tlens´gek megold´sa adja a IT ´ a o e a l´p´sig´nyt: e e e • EGYENLETES n+1 b1 − a1 ≥ . a dichot´mikus keres´s eset´n ez ∼ e o e e ben a fel´re az intervallum hossza. L 11 . F1 = 1. hogy ha indul´skor annyi oszt´pontot v´lasztunk.618)ν . Megjegyz´s. a u o Vil´gos. hogy FM > b1 −a1 m´r teljes¨lj¨n. Megoldva az egyenletet kapjuk. 2 3. . (bk − ak ) α (bk − ak ) ahol α az intervallum oszt´si ar´nya.618. hogy ha fel tudjuk haszn´lni az egyik oszt´pontot. e 1 2 ν 2 . Defin´ o. Az aranymetsz´s eset´n a cs¨kken´si r´ta ∼ (0. L ≥ b1 − a1 . (Fibonacci sorozat): Az al´bbi rekurz´ m´don megadott sorozatot Fibonacci ıci´ a ıv o sorozatnak nevezz¨k: u F0 = 1. L • FIBONACCI 1 √ 5 √ 1+ 5 2 n − √ 1− 5 2 n = Fn ≥ b1 − a1 . . a Ehhez az al´bbi egyenletet kell megoldanunk: a α (bk − ak ) (1 − α) (bk − ak ) = . a e o e aa Amennyiben az oszt´pontok az aranymetsz´s szab´lyai szerint ker¨lnek elhelyez´sre. ugy vil´o e a u e ´ a gos. P´lda. 2 L ´ • DICHOTOMIKUS 22 ≥ ´ • ARANYMETSZES 1 √ 5−1 2 n−1 ν b1 − a1 .

a a o e o o ´ PRAKTIKUS. hogy az intervallum-felez´ses elj´r´s m˝k¨dj¨n. • θ (λk ) < ε. o θ (λk ) . egy λk a o e aa u o o oszt´pont eset´n az intervallum v´gpontjait ugy cser´lj¨k le. line´ris u e e o e a e e a f¨ggv´nyt. m´dos´ o e e u o ıtott meredeks´g˝ egyenes felett. M˝k¨d´s´hez kell. tov´bb´ vegy¨nk m´g egy e e a a u a a u e θ(λ) = θ(0) + λεθ (0) f¨ggv´nyt is. hogy konvergencia csak az optimum k¨zel´ben k¨vetelhet˝ meg. m´ α = 2 u e e e a ıg ´rt´ket szok´s v´lasztani. azaz. ıv ıv a a o e o e ´ NEWTON MODSZER Itt nem tesz¨nk m´st. hogy maradjunk a beh´zott. Tegy¨k fel. Megjegyz´s. hogy θ(λ) ≈ θ(0) + λθ (0). mindenk´ppen u o e haladjon valamennyit el˝re. (A 0-ban vett ´rint˝. • (2) θ (αλ∗ ) > θ (αλ∗ ). u a a u o ıt´ a 1 2 θ(λ) ≈ θ (λk ) + θ (λk ) (λ − λk ) + θ (λk ) (λ − λk ) = T2 (λ). x2 ∈ S ıci´ a u e ´s f (x1 )T (x2 − x1 ) ≥ 0 eset´n f (x2 ) ≥ f (x1 ). hogy az algoritmus ne legyen t´l ´vatos. e tov´bb´ azt is tudnunk kell. ahol hagyom´nyosan ε = 0. (Pszeudokonvexit´s): Egy f : S → R f¨ggv´ny pszeudokonvex. e u m´ a m´sodik felt´tel azt biztos´ ıg a e ıtja. ´s egy n´la kev´sb´ meredek. mint a m´sodrend˝ k¨zel´ est optimaliz´ljuk.´ ´ ´ ´ EGYDIMENZIOS KERESES DIFFERENCIALASSAL 13. e e Ez a tulajdons´g elegend˝ ahhoz. θ (λk ) 12 . u o e e a a a o e e u e 4. 2 T2 (λ) = 0 ⇒ θ (λk ) + θ (λk ) (λk ) (λ − λk ) = 0. ´s egy α > 1 ´rt´ket. NEM EGZAKT KERESES ´ ARMIJO SZABALYA: Motiv´ci´: l´p´shossz megv´laszt´sa. hogy o o λk+1 = λk − Meg´ll´si krit´riumok a a e • |λk+1 − λk | < ε. ha teljes´ az al´bbi k´t felt´telt: e e ıt´ ıti a e e • (1) θ (λ∗ ) ≤ θ (λ∗ ). amib˝l k¨vetkezik. Defin´ o.2. ha x1 . Egy λ∗ ´rt´ket akkor fogadok el jav´ asnak. a o e e a a Vegy¨nk egy 0 < ε < 1. hogy a m´sodik deriv´lt egyik iter´ci´s l´p´sben se t˝nj´k el. hogy t˝le jobbra vagy balra a deriv´lt o e e ´ e u o a pozit´ vagy negat´ (hiszen ez jelenti az ir´ny´ba vett n¨veked´st vagy cs¨kken´st). illetve λ. Az els˝ felt´tel azt k´ri. mint optimaliz´land´ l´p´shossz nem lehet negat´ u e a o e e ıv).

Amennyiben D ir´nykeres˝ lek´pez´s z´rt. →f (y) →f (x+λd) Tipikusan v´lasztand´ tartom´nyok: a o a • L = {λ : λ ∈ R}. mert m´sk¨l¨nben pl. d). azaz yk − xk . Megjegyz´s. dk ) = k . teh´t yk → 2. 0) ad´dik. Amennyiben f folytonos x-ben. ugy eg´szen biztos. • L = {λ : λ ≥ 0}. hogy y ∈ M (x. amelyet vizsg´lnunk kell egy olyan M : Rn × Rn → Rn . e o e e a a e u 13 . ´s d = 0. d) = y : y = x + λd : λ ∈ L f (y) ≤ f (x + λd) ∀λ ∈ L . a / a o e e a e 6. hogy ∃K. azaz y is fel´ e ıgy van. Gondoljuk meg. Amennyiben d = 0. akkor az A = M D ¨sszetett lek´pez´s is z´rt egy kor´bbi t´tel¨nk miatt. o o Legyen yk = xk + λk dk . d). 0) = {0}. Megjegyz´s. ugy az M algoritmikus lek´pez´s z´rt (x. azonban 2 ∈ M (0. teh´t y = x + λd. a e e u e u a uo 1 1 min(x − 2)4 f¨ggv´ny eset´n (xk . ´s yk ∈ M (xk . u e e a a o viszont yk = 2. 5. dk ) → (0. hogy ha (xk . e Bizony´ as:Be kell l´tnunk. ıt´ a a a e akkor ebb˝l k¨vetkezik. b]}. melyre (xk . mely egy indul´pontb´l ´s egy e e a o o e ir´nyb´l megad egy uj pontot. hogy ∀k > K eset´n ´ e e dk = 0. dk ). tov´b´ ha yk → y. ´s {yk } sorozatnak van konvergens e r´szsorozata. a o ´ Formaliz´lva: a M (x. dk λk = ´s ´ a folytonoss´g miatt: e ıgy a λ= y−x d ırhat´ ugyanilyen alakban. • L = {λ : λ ∈ [a.´ ´ ´ ´ EGYDIMENZIOS KERESES ZARTSAGA Legyen θ(λ) = f (x+λd) minimaliz´l´sa a feladat egy z´rt. Az algoritmikus aa a lek´pez´s. Ekkor persze a folytonoss´g miatt ∀λ ∈ L: a f (yk ) ≤ f (xk + λdk ) . L intervallum felett. d)e e ´ e e a n´l. hogy a d = 0 felt´telre sz¨ks´g¨nk van. 11. azaz y az x + λd egyenesen o a ´s ´ λk → λ. k v´laszt´s mellett. dk ) → (x. T´tel.

. hogy x∗ = A(x). Tegy¨k a a e o u fel tov´bb´. hogy f (x) = 0. hogy y ∈ A(x). Tekints¨k az al´bbi algoritmust: legyen x1 indul´pontunk. ıt´ e e e e e ´ e Amennyiben nem. majd e a o u e u minimaliz´ljuk f -et a d1 (x). a • f (x∗ ) = f (x). hogy o o xk+1 = xk + Dk λk . Tegy¨k fel. hogy x∗ ∈ A(x) . illetve k = k + 1. hogy f T (x)dj = 0 ∀j-re. hogy ´ u a a Dk -ban di = 1.k + λj. tov´bb´ {xk+1 }K∗ → x∗ . Amennyiben f (xk ) = 0. amib˝l k¨vetkezik. u o aa Tov´bb´ az is igaz. amib˝l k¨vetkezik. hogy o e ae e o λ = D−1 (x∗ − x). T´tel. teh´t ez a a felt´telez´s mindenk´ppen ellentmond´s az algoritmusban rejl˝ folyamatos cs¨kkent´s miatt. amib˝l a determin´nsra tett megk¨t´s¨nk miatt k¨vetkezik. o o Ezen a ponton k´t esetet tudunk megk¨l¨nb¨ztetni: e uo o • f (x∗ ) < f (x). ugy tegy¨k fel. . .s˝t. hogy ae e e e ıv¨ −1 λk = Dk (xk+1 − xk ). . ugy k´szen vagyunk.k ) ≤ f yj. a Bizony´ as:Amennyiben az algoritmus v´ges l´p´sben v´get ´r. mert hiszen ε nem f¨gg x-t˝l. . o u Szeretn´nk bel´tni. . Ezekb˝l pedig k¨vetkezik. hogy det D(x) ≥ ε. a o Amennyiben az {xk } ⊂ K ⊂ Rn . azaz feltehet˝. e a o ıve yj+1.k + λdj.¨ ´ ´ ´ TOBBVALTOZOS KERESESEK Minimaliz´l´s f¨ ggetlen ir´nyokon aa u a A megoldand´ feladat Rn felett minimaliz´lni egy f (x) f¨ggv´nyt. ´s K kompakt. ∀i. ∀x ∈ Rn . hogy di = 1. o a u e 12. hogy {xk } minden torl´d´si e ´ u o a pontj´ra f (x) = 0. hogy {Dk }K∗∗ → D. ´s m´g x∗ = A(x). ugy u a o ´ ´lljunk meg. e e e a o o e (Ellentmond a monotonit´snak). amib˝l szint´n a hat´r´rt´kek miatt k¨vetkezik. ellenkez˝ esetben xk+1 ∈ A (xk ). ugy teljes¨l. hogy a a f (yj+1. ahol feltehet˝. →x∗ →x →D ahol a hat´r´rt´keket tudjuk a felt´telez´seink miatt. ´ e • f -nek minden egyenes ment´n pontosan 1 minimumhelye van.k = yj. . ahol D(x) = [d1 (x). azaz minden esetben rendbe lesz az invert´l´s. dn (x)]. hogy a a • ∃ε > 0 ugy. azonban tudjuk. hogy K∗∗ ⊂ K∗ ⊂ K. Ezen k´ ul azt is tudjuk. dn (x) ir´nyok ment´n. effekt´ x∗ = A(x).k . . o a oeu o 14 . azaz e e o o f T (x)D = 0. hogy {xk }K → x.k →f (yj+1 )≤ →f (yj +λdj ) ∀λ ∈ R. Legyen f : Rn → R egy differenci´lhat´ f¨ggv´ny. ahol feltessz¨k.k dj. hogy lim f (xk ) = f (x∗ ) vagy lim f (xk ) = f (x). Tudjuk.

dn ir´nyvektorok. Ezt kik¨sz¨b¨lend˝ e e u o o a u o o o m´dos´ o ıthatjuk az algoritmust az ugynevezett mintak¨vet˝ l´p´ssel. ´ a ellenkez˝ esetben STEP2. k = j = 1. 1) = 0 ad´dik. x2 ) = x2 (1 − x1 ) f¨ggv´nyt. (Konvergencia):Amennyiben minden ir´nyban pontosan 1 minimum tal´lhat´. yj+1 = yj + λj dj . . Tartozzon hozz´ a d1 = [1. . azaz a j-edik egys´gvektor. ´ 8. dj = ej j = 1. Indulva az (0. 0). egy´bk´nt xk+1 = yn+1 . o e e • STEP2: (Legyen ez majd a C lek´pez´s) d = xk+1 − xk . ugy meg´llunk. j = 1. viszont f (0.nem tudunk bel˝le j´ ir´nyba elindulni. aa • STEP1: (Legyen ez majd a B lek´pez´s) e e λj = argmin {f (yj + λdj ) . . ´s az a u e a o e Ω = {x : f (x) = 0}. aa a a o 7. λ ∈ R} . 0). • Inicializ´l´s: ε > 0. Igy a a o o o e u t´telben szerepl˝ x pont az (0. . j = 1. λ = argmin {f (xk+1 + λd) . 1) = (0. 0) pontb´l. aa • STEP1: λj = argmin {f (yj + λdj ) . . 0]T ´s a d2 = [0. m´ az x∗ pont az (1. a uo • STEP2: xk+1 = yn+1 . ´ e e Ha xk+1 − xk < ε. 1) pont lett. Megjegyz´s. 0) = e o ıg f (1. ´ o o e e ´ HOCKE ES JEEVES ALGORITMUSA Az algoritmusban haszn´lunk d1 .6. . majd az (1. ellenkez˝ esetben: ´ a o STEP1: y1 = xk+1 . o ´ ´ ´ ´ KOORDINATANKENTI KERESES (CYCLING COORDINATE METHOD) Legyenek d1 . P´lda. k = k + 1. e az {xk } egy Rn -beli kompakt tartom´nyban mozog. ahol dj = ej . Ekkor persze f (0. . illetve egy sz´m´ a a ıtott d vektort. ugy j = j + 1. ugyanis: e e o a e u e Tekints¨k az f (x1 . mert el˝fordulhat. . ´s STEP1. m´sk¨l¨nben STEP2. k = k + 1 inicializ´l´s mellett. . k = j = 1. λ ∈ R} . 0). Amennyiben xk+1 − xk < ε. 1]T u u e a e ´ ir´nyvektor. A t´telben szerepl˝ m´sodik felt´tel sz¨ks´ges. ugy a fenti algoritmus konvergens. A differenci´lhat´s´gra sz¨ks´g van. λ ∈ R} . e 15 . Amennyiben j < n. 0) = (0. akkor j = j + 1. 1) pontba ´rkez¨nk. x1 = y1 . . az eredeti f f¨ggv´ny differenci´lhat´. ugy meg´llunk. a e Az algoritmus legyen a k¨vetkez˝: o o • Inicializ´l´s: ε > 0. . x1 = y1 . . dn vektorokat. Megjegyz´s. hogy egy nem sima f¨gge a o a u e o u v´ny eset´n cs´csban ragadunk . Ha j < n. el˝sz¨r az (1. n.

. a mintakeres´s aa e e e e o u e e pedig garant´ltan nem n¨veli azt. . hogy a koordin´t´nk´nti l´p´s mindenk´ppen cs¨kkenti az α f¨ggv´nyt. . . bi 16 . aj = i=j λi d i . (Konvergencia): Legyen Ω = {x : e f (x) = 0}. (aT d∗ )d∗ . Majd ezek ut´n az ortogonaliz´ci´: a a o bj = aj . dn ortonorm´lt ir´nyok. ha λj = 0. a o e aa Amennyiben a Λ = {x : f (x) ≤ f (xk )} kompakt. ´ a ROSENBROCK ALGORITMUSA A k¨vetkez˝ algoritmus az ortogon´lis. e u e A koordin´t´nk´nti elemz´s. Az uj d∗ . d∗ ir´nyokat az al´bbi m´don hat´rozzuk meg e u o ´ 1 a o a n a (l´nyeg´ben a Gram-Schmidt ortogonaliz´ci´t hajtjuk v´gre): e e a o e aj = dj . j i i bj = aj − i=1 ahol d∗ = i term´szetesen rekurz´ m´don megadva. Megjegyz´s. e e e Tudjuk. (A aa e e e e ıgy a e e mintakeres´s a C lek´pez´s). n ha λj = 0. . o a a L´pj¨nk xk pontr´l xk+1 pontra. o o a e a a Legyenek ennek megfelel˝en d1 . illetve α(x) = f (x) a cs¨kkeo n´si f¨ggv´ny. ugy az a fent v´zolt algoritmus konvergens lesz.9. . ´ z´rt lek´pez´s lesz az Rn \ Ω halmazon. j−1 ha j = 1. ami a B lek´pez´s. e ıv o bi . eg´szen pontosan ortonorm´lt ir´nyok algoritmusa. . (Hiszen szint´n egy vonal menti minimaliz´l´st tartalmaz). .

. Ebb˝l az k¨vetkezik. . Tov´bb´. . akkor d∗ = dj e u e a a a n 1 j Bizony´ as:Tudjuk. 17 . mert o d∗ i 1≤i≤j−1 ⊂ L (di : i = j) ⊥dj . akkor d∗ = dj teljes¨l. ´ a transzform´ci´ m´trix´nak f˝´tl´j´ban ıt´ u ıgy a o a a oa o a a λ-k ´llnak. an f¨ggetlenek. . . illetve az adott ak oszlop´ban 1-es. j i i bi = k=i+1 λk dk − l=1 k=i+1 λi =0 λk d k d∗ d∗ . . hogy ha valamely λj = 0. hogy a1 . . teh´t ıci´ a j−1 bj = aj − =dj n i−1 n i=1 dT d∗ d∗ . hogy a bj -k is f¨ggetlenek. r´ad´sul a Gram-Schmidt miatt ortogon´lisak is. Ebb˝l k¨vetkez˝en a transzform´ci´ m´trix a a o o o a o a determin´nsa: a det = λi =0 λi = 0.13. T´tel. . o o u a a a Azt kell m´g bel´tnunk. d∗ is f¨ggetlenek ´s ortogon´lisak. l l ahol a kivonand´ 0. ha λj = 0. e a u j Ekkor defin´ o szerint aj = dj . d∗ .

z´rt. hogy nagyon ugr´l (cikk-cakk). o o e u e Ebb˝l k¨vetkezik. A probl´m´t az fogja jelenteni. k = 1. akkor {xk } minden torl´d´si pontja o o o a Ω-ban van. xk+1 = xk + dk λk . aa • F˝l´p´s: Ha oe e f (xk ) < ε. x1 . k := k + 1.amennyiben f folytonos ´s d = 0 . 10. hogy ha {xk } ⊂ kompakt ⊂ Rn . teh´t z´rt is Rn \Ω halmazon. λk := argmin {f (xk + λdk ) . hogy ez csak az optimumhely bizonyos k¨rnyezet´ben konverg´l. Konvergencia: M az egydimenzi´s keres´s . Azonban D(x) folytonos. D(x) o e e a ir´nykeres´s az (x. m´sk¨l¨nben ´ a a uo dk := − f (xk ) . λ > 0} . a u Newton m´dszer o El˝sz¨r a motiv´ci´: o o a o f (x) ≈ f (xk ) + f (xk ) (x − xk ) + 1 T (x − xk ) H (xk ) (x − xk ) .¨ ´ ´ ´ ´ ´ TOBBVALTOZOS KERESESEK DIFFERENCIALASSAL Gradiens m´dszer o • Inicializ´l´s:ε > 0. A probl´m´t az okozza. 2 ahonnan deriv´l´s ut´n kapjuk. e a o e a Ott viszont gyorsan. 18 . ugy meg´llunk. Megjegyz´s. Tov´bb´ az α(x) = f (x) e a a a a megfelel˝ cs¨kken´si f¨ggv´ny. r´ad´sul a konvergencia e e a a a a is csak lin´ris (lass´). Ω = {x : f (x) = 0} felt´telek mellett. hogy aa a xk+1 = xk − H −1 (xk ) f (xk ) . − f (x)) p´rt adja vissza az a e a f ∈ C 1 (Rn ) .

hogy A z´rt X-ben. e u o Ehhez: α (xk+1 ) = xk+1 − x = = xk − H −1 (xk ) = H −1 f (xk ) − x = (xk ) ( f (x ) − (xk ) f (x ) − ∗ ∗ f (xk ) − H (xk ) (x − xk )) ≤ f (xk ) − H (xk ) (x − xk ) ≤ 2 2 ≤ H −1 ≤ k1 k2 x∗ − xk < x∗ − xk . hogy H −1 (x∗ ) l´tezik. A(x) = x − H −1 (x) f (x). hogy α(x) = x − x∗ cs¨kken´si f¨ggv´ny. Teh´t. . hogy Ω = {x∗ }. a a a Az k´ne. azaz a kvadratikus konvergencia is rendben van. hogy e f (x∗ ) = 0. azonban azt is tudjuk. a a n F (λ) = c T x1 + i=1 n λi di 1 + 2 n T n x1 + i=1 λi di H x1 + i=1 λi d i = H−konj cT (x1 + λi di ) + i=1 1 T (x1 + λi di ) H (x1 + λi di ) − (n − 1)f (x1 ). mert H −1 folytonos. . Defin´ o. Elegend˝ persze α (xk+1 ) < α (xk ) helyette. ha i = j. 2 konstans azaz a l´p´shosszak k¨l¨n-k¨l¨n n´zhet˝ek ir´nyonk´nt. a e a A m´sodik felt´telhez k2 l´tez´se szint´n OK. Konjug´lt ir´nyok m´dszere a a o 14. a a Tov´bb´ azt is tudjuk. mert folytonos. a o a a a a 2 Tov´bb´ x = x1 + λi di . b´rmilyen sorrendben. . f (x∗ ) − f (x) − H(x) (x∗ − x) ≤ k2 x∗ − x 2 teljes¨l ∀ x − x∗ ≤ x1 − x∗ esetben. (Konjug´lt ir´nyok): Legyen H egy n×n-es szimmetrikus m´trix. . ha f¨ggetlenek. ´s tegy¨k fel azt is. a tartom´ny pedig ıt´ o e e e a a korl´tos ´s z´rt. . .14. ugy az algoritmus legal´bb kvadratikusan konverg´l x∗ -hoz. e e uo uo e o a e a 19 . a a a u u e i Motiv´ci´: Legyen f (x) = cT x + 1 xT Hx. hogy k1 k2 x1 − x∗ < 1. hogy xk+1 − x∗ < k1 k2 x − xk+1 . hogy y ∈ A(x) e o e u e a a eset´n α(y) < α(x) teljes¨l. u o Ez a k´t felt´tel hat´rolja be. Legyen f : Rn → Rn ∈ C 3 (Rn ). Legyen x∗ olyan. . azt kell bel´tnunk. tov´bb´ ´ a a H −1 (x) ≤ k1 . . A d1 . T´tel. ´s dT Hdj = 0. tov´bb´ X = {x : x − x∗ ≤ x1 − x } kompaktak. dn H-konjug´lt ir´nyok. k2 > 0 konstansok ugy. u ´ a a Bizony´ as:Az els˝ felt´telhez k1 l´tez´se trivi´lis. a Tudjuk. hogy mennyire kell k¨zelr˝l ind´ e e a o o ıtani a konvergenci´hoz. dn ıci´ a a a ir´nyokat H-konjug´lt ir´nyoknak nevezz¨k. mert a Taylor sorfejt´s marad´ktagja fel¨lr˝l a e e e e e e u o becs¨lhet˝. tov´bb´ legyenek d1 . e u e Amennyiben ∃k1 .

dn H-konjug´lt ir´nyok. azaz az o o a a algoritmus n l´p´sben v´get´r. . dk ) .. . . Ebb˝l az is k¨vetkezik. x ∈ Rn feladatnak. Ekkor az al´bbiak a a e a teljes¨lnek: u • (1): • (2): f (xk+1 ) dj = 0. Legyen adott e a a x1 . e a a • (3):  f (xk+1 ) = f x1 + j=1 T f (x1 ) + i=1 λi Hdi dk = f (x1 ) dk + 0. j=1. ´s xk+1 = xk + λk dk . a o a a Indirekt tegy¨k fel. e e e e Bizony´ as: ıt´ • (1): f (xj+1 ) dj = 0 vil´gos. i=j+1 k f (xk+1 ) dj = f (xj+1 ) dj + =0 i=j+1 λi dT Hdj . Ir´nyonk´nt fel´ u a a e ırva: f (xj ) + λj 1 T f (xj ) dj + λ2 dT Hdj ≤ f (xj ) + µj 2 j j =0 1 T f (xj ) dj + µ2 dT Hdj . . . i =0 a H-konjug´lts´g miatt. . 2 j j amit ¨sszegezve. Legyen f (x) = cT x + 2 xT Hx. . f (x1 ) dk = T T f (xk ) dk . . .1 15. . hogy van egy f xk+1 jobb megold´s. T • (3): xk+1 optim´lis megold´sa az al´bbi feladatnak: a a a min f (x) x − x1 ∈ L (d1 . . tov´bb´ λk := argmin {f (xk + λdk )}. Tov´bb´ a o aa u a a azt is tudjuk. T k  λj dj  = f (x1 ) +  T f (x1 )  k j=1  λj dj  + 1 2 k λ2 dT Hdj . mert az xj+1 -et az utols´ minimaliz´l´ssal nyerj¨k. j j j=1 (∗) ahol (∗)-n´l a t¨bbi kiesik a H-konjug´lts´g miatt. o e e e a 20 . . a a • (2): Ugyan´ kell csin´lni. . ´s a (2) felt´telt is figyelve k´sz az ellentmond´s. hogy:   k T f (xk+1 ) = f xj+1 +  f (xk+1 ) = f xj+1 + i=j+1 T k λi d i  . n. azaz: ıgy a k−1 T f (xk ) dk = szint´n a H-konjug´lts´g miatt. . T´tel.k. . k = 1. . legyenek d1 . hogy xn+1 optim´lis megold´sa a min f (x). i=j+1 k  λi di  = f (xj+1 ) + λi Hdi .

qj = (Hpj ) = f (yj+1 ) − f (yj ) . 21 . . majd STEP1. u o Azt akarjuk. hogy dj cs¨kken´si ir´ny legyen. a a Feltessz¨k. tov´bb´ d1 = − f (y1 ). Amennyiben j < n. hogy o e aa konjug´lt ir´nyokat kapjunk. ´s jel¨lje u ıv e o pj = (λj dj ) = yj+1 − yj . x1 . Adott u e e a a lesz yj+1 . d1 = − aa • STEP1: f (yj ) 2 f (y1 ). k = j = 1. amikb˝l dj+1 = − f (yj+1 ) + αj dj . o • STEP2: Legyen dj+1 = − ahol αj = ´s j := j + 1. ugy ´ 2 f (yj+1 ) T f (yj ) = f (yj+1 ) (αj−1 dj−1 − dj ) = αj−1 kvadr. hogy dT Hdj = 0 teljes¨lj¨n.Konjug´lt gradiens m´dszer a o Legyen f : Rn → R f¨ggv´ny adott. azaz cT x + 1 xT Hx. Amennyiben f kvadratikus. ´s yj+1 = yj + λj dj . H pozit´ definit. e f (yj+1 ) f (yj ) 2 2 f (yj+1 ) + αj dj . e o e a ´ o ellenkez˝ esetben STEP3. λ ≥ 0} . akkor meg´llunk. hogy f kvadratikus. yj+1 = yj + λj dj ´s itt kell. j+1 f (yj+1 ) qj λj = Tq dj j T 0 = dT Hpj = dT qj j+1 j+1 ⇒ lok. pT qj j T dj+1 qj = dj ( f (yj+1 ) − f (yj )) = dj (− f (yj )) = = ( f (yj ) − αj−1 dj−1 ) f (yj ) = | f (yj )| P ⇒ αj R = f (yj+1 ) qj f (yj ) 2 T . y1 = x1 . M´sk¨l¨nben a a uo λi = argmin {f (yj + λdj ) . A c´l olyan αj megtal´l´sa.kvadr HS αj = f (yj+1 ) qj . < ε. T f (yj+1 ) dj−1 = T T = αj−1 ( f (yj ) + λj Hdj ) dj−1 = 0 F ⇒ αj R = f (yj+1 ) f (yj ) 2 2 Az algoritmus: • Inicializ´l´s: ε > 0. ugy a STEP2 k¨vetkezik. f (yj+1 ) = 0.

hogy o o dT H = k 1 (−dk+1 + (1 + αk ) dk − αk dk−1 ) . λk dT Hdj+1 = 0. i=1 j µi di + µj+1 (− i=1 f (yi+1 ) + αj dj ) = 0.) αj = dj H f (yj+1 ) . . egyszerre. Tegy¨k fel. o e a A f¨ggetlens´get kell m´g igazolnunk. d1 := f (yj ) . .) d1 . dn cs¨kken´si ir´nyok. Amennyiben f (yj ) = 0 ∀j = 1. T´tel. ıt´ o a a ıt´ • (1): j = 1-re nyilv´n igaz. o e a • 3. teh´t nek¨nk be kell l´tni j > k-ra. dn H-konjug´lt ir´nyok. .. n. a a • 2. teh´t nem kell n´zni. a a e Figyelj¨k meg. . . ⇒ µj+1 = 0. k := k + 1.) d1 . j := 1. . 22 . . majd ut´na STEP1. hogy a feladat minimaliz´lni az f (x) = cT x+ 2 xT Hx kvadratikus f¨ggv´nyt. k mert k = j-re alap feltev´s volt. a 1 16.• STEP3: y1 := xk+1 := yn+1 . azt kell bel´tnunk. hogy u dk+1 = − amib˝l k¨vetkezik.dn ) f (yj+1 ) = 0. e a u a dT Hdj+1 = dT H (− k k =− f (yj+1 ) + αj dj ) = dT H k f (yj+1 ) = megjegyz.. . ´s alkalmazzuk r´ a fenti algoritmust. Ehhez: u e e j µi di + µj+1 dj+1 = 0. mindh´rom ´ll´ asra. dT Hdj j Bizony´ as:Teljes indukci´t alkalmazunk. hogy: a 1 (dk+1 + (1 − αk ) dk − αk−1 dk−1 ) λk ∈L(d1 . . . amit szorozva f (yj+1 )-el: 0 + µj+1 − f (yj+1 ) 2 + 0 = 0. e u a u e n x ∈ R . .. az indukci´s feltev´st is kihaszn´lva. .. Az indukci´s l´p´st bizony´ o e e ıtva. akkor e a • 1. f (yk+1 ) + αk dk = − ( f (yk ) + Hλk dk ) + αk dk = = − (−dk + αk−1 dk−1 + λk Hdk ) + αk dk .

nem kvadratikus f¨ggv´nyre e u e a u e a tapasztalatok alapj´n αP R ≥ αF R . e a uo ıtj¨ o a u a o ´ ıt´ e 13. Az ujraind´ asi krit´riumok: e • j = n-1 (ez a norm´lis. amennyiben (j ≥ 2). mert m´sk¨l¨nben elvesz´ uk a dτ -ban rejl˝ m´sodrend˝ inform´ci´kat. m´g kvadratikus f¨ggv´nyre is. dj+1 H f (yj+2 ) λj+1 = λj+1 dT Hdj+1 j+1 f (yj+2 ) f (yj+1 ) 11. µj = f (yj+1 ) q1 .   f (yj+2 ) = f (yj+2 ) 2 = A nevez˝: o f (yj+2 ) 2 . a e o • f (yj+1 ) felt´tel. A konjug´lt gradiens m´dszer ujraind´ asa: e a o ´ ıt´ Legyen τ = j. dT q1 1 T A dj+1 -re vonatkoz´ feltev´s kell a H-konjug´lts´ghoz. A (∗ ∗ ∗) o e a a e u e felt´tel kell. ´s persze a konjug´lts´g nem marad meg.• (2): Cs¨kken´si ir´ny: o e a f (yj+1 ) dj+1 = • (3):  λj+1 dT H j+1  f (yj+2 ) = dj+2 + αj+1 dj+1 + dj+1 − αj dT j f (yj+2 ) =0 T f (yj+1 ) (− f (yj+1 ) + αj dj ) = − f (yj+1 ) 2 < 0. 2 2 f (yj+1 ) . e T f (yj ) ≥ 0. ami a 2 2 f (yj+1 ) ≤ dT • −1. d1 = dτ +1 (∗ ∗ ∗). = (−dj+1 + αj dj ) ( f (yj+2 ) + λj+1 Hdj+1 ) = λj+1 dT Hdj+1 . hogy o o αj+1 = Meg kell m´g vizsg´lnunk: e a α1 = ( f (y2 ) − f (y1 )) dT H f (y2 ) 1 = ( f (y2 ) − f (y1 ) (− dT Hd1 1 f (y2 ) = f (y1 ))) f (y2 ) f (y1 ) 2 2. 8 f (yj+1 ) . mely az ortogonalit´si a f (yj+1 ) ≤ −0. Kvadratikus f¨ggv´nyre mindh´rom α megegyezik. r´gi m´dszer). Megjegyz´s. Ekkor dτ +1 = − f (yτ +1 ) + ατ dτ . Megjegyz´s. DE dj+1 = − d2 = − f (y2 ) + α1 d1 . o e e 23 . 2 j+1 cs¨kken´si felt´tel. ahol j < n − 1 lehet. amennyiben (j ≥ 1). Megjegyz´s. j+1 2 2. ´s az algoritmusban STEP3 az al´bbi alakot ¨lti: e a o STEP3: xk+1 = yτ +1 . f (yj+1 ) + αj dj + µj d1 (j ≥ 2). T Ebb˝l k¨vetkezik. a e a a 12.

Amennyiben j < n. majd STEP1. λ ≥ 0} . majd j := j + 1.Kv´zi-Newton m´dszerek: DFP m´dszere a o o Az algoritmus • Inicializ´l´s: legyen ε > 0. M´sk¨l¨nben: ´ a a uo dj = −Dj f (yj ) . x1 adott ´s D1 szimmetrikus. ugy STEP2. T pj pT Dj qj qj Dj j − T . y1 := x1 . ´ a uo • STEP2: Dj+1 = Dj + ahol pj = λj dj = yj+1 − yj . ´s ujra STEP1. k := k + 1. λj = argmin {f (yj + λdj ) . yj+1 = yj + λj dj . e ´ • STEP3: y1 = xk+1 = yn+1 . ugy meg´llunk. j := 1. pT qj qj Dj qj j 24 . m´sk¨l¨nben STEP3. pozit´ definit m´trix. aa e ıv a ´s k = j = 1. qj = f (yj+1 ) − f (yj ) . e • STEP1: amennyiben f (yj ) < ε.

hogy xT Dj+1 x = 0. . Tekints¨k az al´bbi a oa u a jel¨l´seket: oe a := Dj x. o e a 14. Azaz. . bT b > 0. effekt´ pozit´ ami nem lehet. ami cs¨kken´s ir´ny. e pozit´ definitek. A szimmetria trivi´lisan teljes¨l. ´s j = 1. b := Dj qj . dn cs¨kken´si ir´nyok. Itt is lehets´ges a bels˝ ciklus ujraind´ asa. 25 . pj qj 2 Ebb˝l k¨vetkezik. j s˝t. akkor D1 . hiszen indirekt feltehetj¨k. o o o ıv e a denki cs¨kken´s ir´ny. Lemma. a ıv e xT pj pT xT aT b j x Dj+1 x = aa + − 2 = pT qj (bT b) j T T ≥0 2 1/2 1/2 = aT a bT b − aT b (bT b) 2 C−B−S⇒≥0 2 xT p + T . . e e o ´ ıt´ a mint n. ıv e o e a Bizony´ as:Teljes indukci´val bizony´ ıt´ o ıtunk. . a szemidefinits´g o e a a u a a e m´r igazolt. . hogy m´gis az. . hiszen gj = 0. .17. n. ha f (yj ) = 0. . A fenti esetben. . ´s ekkor d1 . Ebb˝l k¨vetkez˝en a pozit´ definits´g is adott. hogy o o pT qj > 0 ⇒ (yj+1 − yj ) ( f (yj+1 ) − j f (yj )) = yj (− f (yj )) . akkor viszont a u e m´r hivatkozott C-B-S egyenl˝tlens´g miatt a o e a = λb ⇒ x = λqj ⇒ xT pj = λpT qj ⇒ pj qj = 0. teh´t mino ıve ıv. . A j = 1 eset rendben van. hat´rozottan kisebb. Ezek ut´n a pozit´ definits´get kell igazolnunk. a Azt is tudjuk. . teh´t azzal nem kell a e a u a 1/2 1/2 foglalkoznunk. Ezek ut´n igazoljuk j + 1 eset´re. teh´t ≥ 0 teljes¨l. Dn szimmetrikus. . hogy Cholesky faktoriz´ci´j´val Dj = Dj Dj . Tudjuk. amennyiben n. Megjegyz´s. Tov´bb´.

. ha Dj+1 = Dj + Cj alakban ´llna el˝. hogy a H-konjug´lts´g miatt: ıt´ o e a a • (1):d1 . kihaszn´lva a H-konjug´lts´got ad´dik.Kvadratikus eset 18. dn ] = [d1 . hogy j = 1. o o A harmadikhoz m´g be kell l´tnunk. . e ıv a a u 2 hogy az algoritmus sor´n f (yj ) = 0. tov´bb´. tov´bb´ tegy¨k fel. 2 o o ´ estre anal´g elj´r´st. Amikor k < j + 1. . i=1 amit jobbr´l szorozva Hdj+1 vektorral ad´dik. akkor o aa a Dj+2 Hpk = Dj+1 Hpk + T pj+1 pT Hpk Dj+1 qj+1 qj+1 Dj+1 j+1 qk = pk . hogy Dj+2 Hpk esetr˝l valamit mondjunk. Mid˝n k = j +1. Legyen H pozit´ definit. i Kell. . . − T pT qj+1 qk qj+1 Dj+1 qj+1 j+1 ami a sz¨ks´ges be´ asok ut´n. . . hogy Cj qk = 0 teljes¨lj¨n minden j el˝tti k-ra. Ekkor e a Dn+1 H [d1 . legyen f (x) = cT x + 1 xT Hx kvadratikus. q1 D1 p1 pT q1 1 Vizsg´ljuk meg teh´t a j + 1 esetet. a Ekkor d1 . hogy o p1 . . ugy alkalmazhatjuk a j = 1. . hogy αj+1 = 0. hogy mi van a j = n esettel. Ez persze azt is jelenti. hogy Cj qj = pj − Dj qj teljes¨lj¨n. mert a j+1 αi di = 0. hiszen Dj+1 Hdk = dk . dn H-konjug´lt ir´nyok. . . ´s yn+1 optim´lis megold´s. tov´bb´ i. . a a a a e a a Bizony´ as:Teljes indukci´t alkalazunk ism´t. . . T´tel. 2 rendben van. u o o a a u o amib˝l o pj pT k pT qj j ad´dik. . pj a Dj H m´trix saj´tvektorai. j = 3 esetre: e D2 Hp1 = D1 q1 + T D1 q1 q1 D1 p1 pT 1 q1 − q1 = p1 . . teh´t ezzel nincsen gond. ehhez az e a o e a o kell. mid˝n (1 ≤ k ≤ j). u • (2): dT Hdk = 0. o a a i • (3):Dj+1 Hpj = pk . dj f¨ggetlenek. f gtlen 15. . a a Tudjuk. dn ] ⇒ Dn+1 = H −1 . Felt´ve. Megjegyz´s. a a o o 0 = (ortog) (i≤j) di f (yj+1 ) = di HDj+1 (3) f (yj+1 ) = −dT Hdj+1 . Tudjuk. o e aa u e u o o e a 26 . . mid˝n i = k. tov´bb´ Dn+1 = H −1 . ezzel anal´g m´don. ´s itt a korrig´l´s miatt van sz¨ks´g¨nk az el˝z˝ekhez k´pest m´sik tagra. k ≤ j. . Motiv´ci´: Azt szeretn´nk. A f¨ggetlens´get k¨nnyen u e ır´ a a a a o u e o l´thatjuk. hogy a j = 1 eset rendben van. .

o e e A kv´zi-Newton m´dszernek szint´n szuperline´ris konvergenci´ja van. mint a minimaliz´l´s a bels˝ ciklus tov´bbi a aa o a ir´nyain. 338. A konjug´lt gradiens m´dszer teljes bels˝ ciklusa nagyj´b´l a Newton m´dszer e a o o a o o sebess´g´vel b´ Val´j´ban szuperlin´ris konvergenci´ja van. ugy ´ a o ´ a kv´zi-Newton m´dszerrel.Konjug´lt ir´nyok m´dszer´nek konvergenci´ja a a o e a Ha az f f¨ggv´ny nem felt´tlen¨l kvadratikus. EZ a felt´tel a legfontosabb. ugynevezett r´szleges m´dszer alkalmas a konvergenci´t lass´ o. ugy a konjug´lt gradiens m´dszerrel van dolgunk. amennyiben x ∈ Ω. s˝t: ha H kiel´g´ bizonyos Liepsitze e ır. sz´ls˝s´ges esetben csak a legnagyobb cs¨kken´si ir´ae e u e e e e e o e o e a nyok m´dszer´t ´ri el. ez biztos´ igaz´b´l a e ıtja a o konvergenci´t. a Amennyiben D = I. relat´ na´ e o a ıt´ ıve gyobb saj´t´rt´kek kisz˝r´s´re.) y ∈ B(x) ⇒ f (y) < f (x). Ez a felt´tel kell az x-ek. a 16. ha D = D1 .) Legyen B lek´pez´s z´rt az X \ Ω halmazon.) z ∈ C(y) ⇒ f (z) ≤ f (y). oldal). hasonl´ a konjug´lt a o e a a o a gradiens m´dszerhez. a • 4. a o e e aa amennyiben teljes¨l a m´sodik felt´tel: u a e • 2. e e a Itt a B lek´pez´s a minimaliz´l´s d = −D e e aa f (x) ir´nyban. de egy´bk´nt. Ez nem m´s. e e e e a Az ujraind´ ´ ıtott. az y-ok ´s a λ-k konvergenci´j´hoz. akkor n-l´p´senk´nt kvadratikus konvergenci´ja van. / • 3. u e e u • 1. Megjegyz´s. o o 27 . (K¨nyv.) Λ = {x : f (x) ≤ f (x1 )} kompakt. oa a a o e ıt felt´teleket.

hl folytonos f¨ggv´nyek Rn halmaz felett. p Ψ(y) = y . . . Altal´ban az al´bbi f¨ggv´nyeket szokt´k v´lasztani: e Φ(y) = [max(0. ´ a a u e a a 7. µ≥0 • (2):α (xµ ) cs¨kken˝. ahol α(x) a fenti formula alapj´n defini´lt. Lemma. h(x) = 0. hogy Θ (µ) = f (xµ ) + µα (xµ ). > 0 ha y = 0. µ≥0 Θ(µ) = inf {f (x) + µα(x) : x ∈ X} .¨ ˝ ¨ ´ ´ BUNTETOFUGGVENYES MODSZER A prim´l probl´ma a e min f (x) g(x) ≤ 0. (µ > 0). Legyenek f. > 0 ha y > 0. f (xµ ) n¨vekv˝. tov´bb´ u e a a legyen adott egy ∅ = X ⊆ Rn halmaz. Az al´bbi konkr´t eset is haszn´latos: e h(x)=0 p min {f (x)} ⇔ min f (x) + µh2 . Legyen α(x) folytonos Rn halmaz felett a fenti m´don o adott. gm . p > 0. a e a 8. P´lda. . x ∈ X. ahol m l α(x) = i=1 Φ (gi (x)) + j=1 Ψ (hj (x)) . P´lda. ´s e Φ(y) = Ψ(y) = = 0 ha y ≤ 0. Ekkor: u a a ´ • (1): inf {f (x) : x ∈ X. ´ teh´t a b¨ntet˝f¨ggv´nyes feladat az al´bbi alakot ¨lti: Igy a u ou e a o max {Θ (µ)} . . h(x) = 0} ≥ sup {Θ (µ)} . . y)] . Ehelyett m´st oldunk: a x∈X min f (x) + µα(x). g(x) ≤ 0. a a 19. Θ (µ) n¨vekv˝. Tegy¨k fel tov´bb´. . hogy ∃µ : xµ ∈ X : ugy. . = 0 ha y = 0. g1 . o o o o o o 28 . . h1 .

Ezzel az ´ll´ as els˝ fel´t igazoltuk. f (xλ ) + µα (xλ ) ≥ f (xµ ) + µα (xµ ) . ez´rt f f¨ggv´ny szint´n n¨vekv˝. azaz. melyre igaz. T´tel. Ekkor f (x) = f (x) + µα(x) > inf {f (y) + µα(y) : y ∈ X} = Θ (µ) . hogy adott x ∈ X olym´don. hogy adottak µ > λ > 0 sz´mok. x ∈ X} = sup Θ (µ) = lim Θ (µ) . ıci´ e u a a hogy l´tezik egy {xµ } ⊂ K ⊂ X. Ekkor a k´t egyenl˝tlens´get egym´sb´l kivonva ad´dik. hogy l´tezik megengedett megold´sa u a a e a a fenti feladatnak. hogy g(x) ≤ 0. ugy µα (xµ ) → 0. u u e Legyen adott egy ∅ = X ⊆ Rn halmaz. ´ 29 . µ≥0 µ→∞ Θ (µ) = inf {f (x) + µα(x) : x ∈ X} = f (xµ ) + µα (xµ ) . x ∈ X. hogy a Θ f¨ggv´ny n¨vekv˝. Θ(µ) <0 >0 ugy hasonl´ megfontol´sok ut´n l´that´. akkor innen l´tszik. α az eddig megszokott defin´ oval adott ´s folytonos. Ekkor az al´bbi ´ll´ asok teljes¨lnek: a a ıt´ u • (1): inf {f (x) : g(x) ≤ 0. a a o o Amennyiben az els˝ egyenl˝tlens´get az al´bbi m´don ´talak´ o o e a o a ıtjuk: f (xµ ) + µα (xµ ) + (λ − µ) α (xµ ) ≥ Θ (λ) . a ıt´ o e Az ´ll´ as m´sodik fel´hez tegy¨k fel. hogy az f. o a a a • (3):Amennyiben µ → ∞. a a a e u e e o o 20. Legyen µ ≥ 0.Bizony´ as:Tegy¨k fel. hj (x) = 0. miut´n λ ≥ 0. tov´bb´ ıt´ u o u a a α(x) = 0. h(x) = 0. Tekints¨k a m´r ismert (P) feladatot: e u a min f (x) gi (x) ≤ 0. Tegy¨k fel tov´bb´ azt is. Tegy¨k fel tov´bb´. ´ o a a a o u e o o Tov´bb´. hj f¨ggv´nyek folytonosak egy Rn halmaz felett. h(x) = 0 teljes¨l. • (2): Az {xµ } sorozat minden torl´d´si pontja optim´lis megold´sa a fenti (P) feladatnak. teh´t α cs¨kken˝. ha µ > 0 . hogy e o e a o o (µ − λ) (α (xλ ) − α (xµ )) ≥ 0. hogy α (xλ ) ≥ α (xµ ). Ekkor Θ (µ) ´s Θ (λ) a ıt´ a e u a e defin´ oja szerint: ıci´ f (xµ ) + λα (xµ ) ≥ f (xλ ) + λα (xλ ) . gi . hogy: e kompakt x∈X min {f (x) + µα(x)} . Tegy¨k fel.

hogy a Θ f¨ggv´ny monoton.Bizony´ as:Az els˝ ´ll´ as trivi´lis. azaz optim´lis is. e a o a 21. o e a Bizony´ as:Amennyiben α (xµ ) = 0. x ∈ X} ≥ Θ (µ) = f (xµ ) + µα (xµ ) ≥ ≥ f (x1 ) + µα (xµ ) > f (x1 ) + |f (y) − f (x1 )| + 2ε > f (y) ad´dna. miut´n xµ → x ´s f folytonos. teh´t a lemma els˝ ´ll´ asa miatt x optim´lis. hogy α (xµ ) < ε. A minimaliz´l´ sorozatunk kompakt halmazon val´ megk¨t´se sz¨ks´ges felt´tel. o e e Teh´t minden. hogy xµ optim´lis. amib˝l pedig k¨vetkezni fog. Tov´bb´ tudjuk. hogy ´ o µ≥0 sup Θ (µ) ≥ Θ (xµ ) = f (xµ ) + µα (xµ ) ≥ f (xµ ) . hogy α sz¨ks´gszer˝en 0-hoz tart a minimaliz´l´ sorozatunk ment´n. akkor xµ optim´lis. µ≥0 Miut´n α (xµ ) → 0 ´s µ → ∞. a a e ıt˝ e o e a Amennyiben tekintj¨k {xµ } egy konvergens r´szsorozat´t. Megjegyz´s. ahol y megengedett megold´s. mely konverg´l valamely x vektoru e a a hoz. o u a Ehhez tegy¨k fel. hogy α a µ a a o a a o o szorz´val egy¨tt is 0-hoz fog konverg´lni. h(x) = 0. hiszen az el˝bb l´ttuk be. hogy ıt´ ´ a a a a inf {f (x) : g(x) ≤ 0. ´s a folytonoss´gok miatt ad´dik. ez´rt α (x) = 0. ugy ad´dik. Amennyiben µ ≥ 1 |f (y) − f (x1 )| + 2. Azonban. majd o o a u e u ao e ut´na bel´tjuk. ıgy a Az ´ll´ as m´sodik ´s harmadik fel´t egyszerre bizony´ a ıt´ a e e ıtjuk. a 17. ıt´ o a ıt´ a o a u e ´ sup = lim vil´gos. h(x) = 0. hogy minden torl´d´si pont optim´lis. amennyiben optimumhoz konverg´lunk. a e e a o a ıt´ a Ekkor azonban µα (xµ ) = Θ (µ) − f (xµ ) . ami ellentmond a megengedetts´gnek ´s az infimumnak. hogy µα (xµ ) → 0. e ao o oe u e e m´sk¨l¨nben gap alakulhat ki. El˝sz¨r bel´tjuk. a uo 30 . Amennyiben valamely µ-re α (xµ ) = 0. hogy x1 optim´lis megold´sa a u a a x∈X min {f (x) + α(x)} feladatnak. K¨vetkezm´ny. ugyanis ellenkez˝ esetben: o a ıt´ a a o inf {f (x) : g(x) ≤ 0. fenti tulajdons´got kiel´g´ o µ eset´n az α (xµ ) < ε egyenl˝tlens´g ´ll. ugy a lemma a ´ ε els˝ ´ll´ asa alapj´n indirekt bel´tjuk. x ∈ X} ≥ Θ (µ) = f (xµ ) + µα (xµ ) = f (xµ ) . ez´rt a e e sup Θ (µ) ≥ f (x) . ugy vil´gos.

ellenkez˝ esetben: ´ a o µk+1 = βµk . T´tel. hogy nem megengedett pontokon haladva jutunk egyre k¨zelebb az a o optim´lis megold´shoz. hj (x) = 0. e a u ou e 31 . x ∈ X. k := k + 1. miszerint a megoldand´ feladat: o u e u o min f (x) gi (x) ≤ 0. Amennyiben p = 1 a fenti p´ld´kn´l. ha µ ≥ max {ui . hogy f. a a Az algoritmus teh´t: a • Inicializ´l´s: ε > 0. hogy hi f¨ggv´nyek liner´siak (affinok). aa • STEP1:xk pontb´l ind´ o ıtva megoldjuk az al´bbi feladatot: a xk+1 = argmin {f (x) + µk α(x) : x ∈ X} . majd ujra STEP1. tov´bb´. A (P) feladat ugyanaz. akkor x optim´lis megold´sa a b¨ntet˝f¨ggv´nyes a a u ou e probl´m´nak az FE b¨ntet˝f¨ggv´nnyel. j ∈ J}. vi : i ∈ J J : {i : 1 ≤ i ≤ l} . gi (x)} + i=1 j=1 22. gi konvexek. ´s a hozz´ tartoz´ b¨ntet˝f¨ggv´ny: e a o u ou e    min FE (x) = f (x) + µ     |hj (x)| .Az algoritmus teh´t az. Legyen x KKT pont. k = 1. x ∈ X. u a a u e a Ekkor.  m l max {0. ugy a b¨ntet˝f¨ggv´nyt abszol´t´rt´kes b¨ntee e a a ´ u ou e ue e u t˝f¨ggv´nynek nevezz¨k. miszerint: e min f (x) gi (x) ≤ 0. a hozz´ tartoz´ Lagrange szorz´k legyenek: a o o ui : i ∈ I I : {i : gi (x) = 0} . i ∈ I. ´ Egzakt b¨ ntet˝f¨ ggv´nyek u ou e 9. P´lda. hj (x) = 0. |vj | . β > 1. • STEP2: Amennyiben µk α (xk+1 ) < ε. Tegy¨k fel. ugy meg´llunk. x1 . µ1 > 0.

Ezzel ekvivalens megfogalmaz´sban szeretn´nk megoldani a a e   m l min f (x) + µ  i=1 yi + j=1 zj  yi ≥ gi (x). vi . k¨vetkezik. a uo u o i i i µ−v µ+v − + o Tov´bb´. mid˝n j = 1. hogy o o a l f (x) + i∈I ui gi (x) + j=1 vj hj (x) = 0. + − u+ . . gi (x)}. hogy x KKT pont. u− . zj ≥ hj (x). o Most egy¨k fel. ha vj = 2 j . . a t¨bbi felt´tel alapj´n ugyis o e e o e a ´ bels˝ pontban vagyunk). a o e 32 . Akkor persze yi = max {0. vj . k´szen vagyunk. i ∈ I. teh´t ezekhez kell megtal´lnunk a a a a a + − megfelel˝ Lagrange szorz´kat. u e Abb´l. i Miut´n tudjuk. vi . yi ≥ 0. hogy u− = µ − u+ teljes¨lj¨n. hiszen kell. akkor a rendszert megoldottuk. mid˝n ui ≥ 0. illetve vj = 2 j . a e o i M´sk¨l¨nben u+ = 0. hogy megengedett megold´s.Bizony´ as:Ehhez csak annyit kell tenn¨nk. hogy szeretn´nk megoldani a u e x∈X min FE (x) feladatot. hogy megadjuk a Lagrange-szorz´kat a b¨ntet˝ıt´ u o u o f¨ggv´nyes feladatra is. . zj ≥ −hj (x). vj ≥ 0. o o i i Kihaszn´lva a KKT pont felt´telt. az al´bbi rendszert kell v´geredm´nyben megoldanunk: a e a e e l f (x) + i∈I u+ i gi (x) + j=1 + − vj − vj hj (x) = 0 µ − u+ − u− = 0. ha i ∈ I. a a teh´t a Lagrange szorz´kat megadtuk. (Csak az ´les felt´telekkel kell foglalkoznunk. |vj | . mid˝n i ∈ I. hogy µ ≥ max {ui . j ∈ J}. ez´rt u+ = ui . i i u+ = 0. l. . Legyenek ezek u+ . illetve. i i + − µ − vj − vj = 0. u− . tov´bb´ zj = hj ((x) .

a hi (x) f¨ggv´nyek pedig line´risak e u u e a (affinok).10. . . i = 1. ´s (x. Tegy¨k fel. Innen vi = −2µθi helyettes´ est alkalmazva. l. . v) = f (x) + i=1 vi hi (x) + µ i=1 h2 (x). . . Megjegyz´s. ´s a konstans tagot elhagyva ad´dik. l. Egyenl˝tlens´gekre: gi (x) ≤ 0 eset´n gi (x) + s2 = 0 ´talak´ ast alkalmazzuk. • (2): KKT feladata az eredeti probl´ma ezen ekvivalens alakj´nak: e a l min f (x) + µ i=1 h2 (x) i hi (x) = 0. Az ehhez tartoz´ ugynevezett perturb´lt b¨ntet˝f¨ggv´ny: o´ a u ou e l f (x) + µ i=1 l l [hi (x) − θi ] = l 2 = f (x) − i=1 2µθi hi (x) + µ i=1 h2 (x) + µ i i=1 2 θi . hogy az eredeti feladatban f (x) konvex. T´tel. . P´lda. A kieg´sz´ e e ıtett Lagrange b¨ntet˝f¨ggv´ny: szeretn´nk a k¨vetkez˝ feladatot megu o u e e o o oldani: min f (x) hi (x) = 0. v) KKT pont. i = 1. megengedett Erre vonatkoz´an k´t megk¨zel´ est haszn´lhatunk: o e o ıt´ a a u e u ou e • (1): Az al´bbi f¨ggv´ny kvadratikus b¨ntet˝f¨ggv´ny-e a KKT feladatnban: l min f (x) + i=1 vi hi (x) hi (x) = 0. v) KKT pontja az eredeti feladatnak. viszont ∃µ∗ . e Bizony´ as:Bizony´ as n´lk¨l. hogy ıt´ e o l l FALAG (x. ıt´ ıt´ e u 18. v) = f (x) + i=1 vi KKT hi (x) + 2µ i=1 hi (x) hi (x) = 0. . e o e e a ıt´ i ami ugyan nem lin´ris. hogy ∀µ ≥ µ∗ eset´n a fenti t´tel ´ll. i Amennyiben (x. Gyakorlatban: e l l FALAG = f (x) + i=1 vi hi (x) + i=1 µi h2 (x). . . i = 1. a e e a 19. i 33 . . Megjegyz´s. l. hogy o l l FALAG (x. v) feladatnak ∀µ ≥ 0 eset´n. . 23. ugy felhaszn´lva a megengedetts´get is ´ a e ad´dik. . e Ekkor x ugyancsak minimuma az FALAG (•.

be´gyazzuk az egyenl˝tlens´gekbe. . Majd ujra a bels˝ e ´ o ciklus. µ1 . vagy < ε. . . ˝ • BELSO CIKLUS:xk := argminFALAG (x. 34 . . hogy m´ ott nem megengedett o e u ou e aa o ıg pontok sorozat´n l´pkedt¨nk k´ ulr˝l az optim´lis megold´s ir´ny´ba. Sz¨ks´ges lesz arra. . ugy l´pj¨nk a KULSO CIKLUSBA. l. ugy meg´llhatunk. l}. x ∈ X} .Az algoritmus: • Inicializ´l´s:v := v. u e Az eredeti feladatunk legyen: min f (x) g(x) ≤ 0. . ha {x : g(x) < 0} halmaz hat´r´hoz tartunk. . V IOL (x0 ) = ∞. u e ¨ Ezt el´rend˝ az egyenl˝s´ges felt´teleket r´szben megoldva. . mert xk KKT pont. ahol a B(x) Barrier f¨ggv´ny nemnegat´ ´s folytonos a fenti {x : g(x) < 0} halmazon. aa ahol V IOL(x) = max {|hi (x)| : i = 1. x ∈ X.   limy→0− Φ(y) = ∞. ´ a 1 ¨ ˝ M´sk¨l¨nben. v). ´s ism´telj¨k a BELSO CIKLUST. ´ ¨ ´ ´ BARRIER (AKADALY) FUGGVENYES MODSZER A m´dszer abban fog elt´rni a b¨ntet˝f¨ggv´nyes elj´r´st´l. Ha V IOL (xk ) = 0. addig itt bels˝ pontokon a e u ıv¨ o a a a a o kereszt¨l fogunk haladni az optimum fel´. .  f olyt ha y < 0. ha V IOL (xk ) ≤ 4 V IOL (xk−1 ). aa ´ Altal´ban a m B(x) = i=1 Φ (gi (x)) .  Φ(y) = ≥ 0 ha y < 0. . ıgy ´ e e u ¨ ˝ • KULSO CIKLUS: v uj = v i + 2µi hi (xk ). x0 = 0. e o oe e e a o e A Barrier feladat: min Θ(µ) µ≥0 Θ(µ) = inf {f (x) + µB(x) : g(x) < 0. ´s k ← k + 1. . tov´bb´ u e ıv e a a ∞-hez tart. k=1. i = 1. a uo ´ e u ˝ Ha nem ´ lenne. µl . hogy az {x : g(x) < 0} halmaz ne legyen ures. ugy µi ← 10µi . .

de ez ugyis csak a hat´ron sz´m´ a o ´ a a ıt. −gi (x)}] . x ∈ X} ≤ inf {Θ (µ) : µ > 0} . gi (x) • (2): m B(x) = − i=1 ln [min {1. . ´s f (xk ) + µB (xk ) → Θ (µ) az {x ∈ X : g(x) < 0} kompakt halmazon. e u e u Most k¨vetkezzen k´t. e e • (**): Adott µ ≥ 0 eset´n. . • (Frisch logaritmikus barrier f¨ ggv´nye): u e m B(x) = − i=1 ln (−gi (x)) . u o a 20. ami nem differenci´lhat´.Tipikus Barrier f¨ggv´nyek: u e • (1): m B(x) = i=1 − 1 . • (3):µ > 0 eset´n a Θ(µ) f¨ggv´ny n¨v˝. Megjegyz´s. e eo 24. f (xµ ) f¨ggv´ny n¨v˝. e A seg´df¨ggv´ny¨nk: f (x) + µB(x) lesz. adott egy ∅ = X z´rt halmaz. B(x) Barrier f¨ggv´ny adott. B (xµ ) f¨ggv´ny cs¨kken˝. ´ o a Ekkor az al´bbi h´rom ´ll´ as teljes¨l: a a a ıt´ u • (1): ∀µ > 0 : ∃xµ ∈ X : g (xµ ) < 0 : Θ(µ) = f (xµ ) + µB (xµ ) . • (2): inf {f (x) : g(x) ≤ 0. . gm folytonosak Rn -ben. Lemma. e u e o o u e o o u e o o 35 . a b¨ntet˝f¨ggv´nyes elm´lettel anal´g lemma ´s t´tel a majdani algoo e u ou e e o e e ritmus helyess´g´r˝l. ha {xk } ⊂ X. tov´bb´ u a a a {x ∈ X : g(x) < 0} = ∅. g (xk ) < 0. u e • (*): Tegy¨k fel. hogy f. ugy {xk }-nak van torl´d´si pontja. . g1 . Itt is teljes¨lnek a megfelel˝ konvergencia-tulajdons´gok.

az infimum miatt. ugy a defin´ okat felhaszn´lva. m´ f (xµ ) f¨ggv´ny n¨vekv˝. ae e a o u Teljes¨l. akkor f (x) + µB(x) > f (x) + λB(x). ad´dik. hogy g (xk ) < 0 ´s f (xk ) + µB (xk ) → Θ(µ). xλ : a e o a ıt´ f (xµ ) + µB (xµ ) ≤ f (xλ ) + µB (xλ ) . xµ ∈ X. ha x ∈ X ´s u a ´ ıci´ a e g(x) < 0. T´tel. f (xλ ) + λB (xλ ) ≤ f (xµ ) + λB (xµ ) . ıt´ ıt´ o ae o o o e Tegy¨k fel. Ekkor a folytonoss´gb´l tudjuk. M´sr´szr˝l viszont az (1) ´ll´ as miatt ∃xµ . a ıt´ e 25. ahol xµ ∈ X ´s g (xµ ) < a e e e 0. ´ u 36 . Ekkor Θ defin´ oj´b´l tudjuk. a ıt´ e Amennyiben tekintj¨k a µ > λ > 0 sz´mokat. Tegy¨k fel. mid˝n µ → 0+ . Legyen {x∗ } konvergens r´szsorozat xµ ∈ X ´ e e k hat´r´rt´kkel. Teh´t a (3) e o u e o o ıg u e o o a ´ll´ as is k´szen van. e a a ´ e ´ Ekkor min {f (x) : g(x) ≤ 0 x ∈ X} = lim Θ (µ) = inf Θ (µ) . o a a a o • (3): Amennyiben µ → 0+ . hogy g (xµ ) < 0. azaz az (1) ´ll´ as rendben van. hogy B (xµ ) f¨ggv´ny cs¨kken˝. illetve hozz´told´sos l´p´st alkalmazzuk. ugy µB (xµ ) → 0 is teljes¨l. ami ellentmond az infimum l´tez´s´nek. hogy ∃ {xk } ⊂ X sorozat u ıci´ a o ugy. hogy adott µ > 0. u e ıv e u e ıv e ugy ad´dik. hogy ´ll az el˝z˝ lemma (∗)-al jelzett felt´telrendszere. azaz Θ(µ) ≥ Θ(λ). azaz a (2) ´ll´ as is k´szen van. hogy: ´ u • (2): {xµ } minden torl´d´si pontja optim´lis megold´sa az eredeti feladatnak. ´s Θ(µ) = f (xµ ) + µB (xµ ). ugy teljes¨lnek. Amenniben ugyanazt az ¨sszead´sos. x ∈ X} ≥ inf {f (x) : g(x) < 0. mint az anal´d o a a a e e o lemma eset´n. hogy g(x) < 0. g (xµ ) < 0. hogy ´ o Θ(µ) = inf {f (x) + µB(x) : g(x) < 0. hogy Θ (x) l´tezik x ∈ X ∩ Br (x)-ben ugy. hogy g (xµ ) ≤ 0 teljes¨l. ´s hogy a feladatnak e u a o o e e l´tezik x optim´lis megold´sa ugy.Bizony´ as:A bizony´ as a hasonl´ lemm´´val anal´g m´don t¨rt´nik. a ıt´ Amennyiben a barrier f¨ggv´ny nemnegat´ ´s a g f¨ggv´ny negat´ a µ ≥ 0 felt´tel mellett. x ∈ X} . m´sk¨l¨nben gi (xµ ) = 0 eset´n a B barrier f¨ggv´ny v´gtelenhez u a uo e u e e tartana. µ→∞ µ>0 Amennyiben ´ll a lemma (∗∗) felt´tele is. a o e ee Teh´t a Θ(µ) = f (xµ ) + µB (xµ ) . x ∈ X} ≥ ≥ inf {f (x) : g(x) ≤ 0. teh´t a Θ(µ) = ∞ ad´dna.

ugy ´ f (x) = lim+ Θ (µ) . µ1 > 0 ´s β ∈ (0. 1). tov´bb´ ha a sorozat u e e e u e e e a a a minden pontja megengedett minden µ ´rt´k eset´n. azaz o o e µB (xµ ) → 0. u a a Ekkor. feladatot. µ→0 Ebb˝l pedig az is k¨vetkezik. ugy annak torl´d´si pontj´ban a u e a ´ o a a f¨ggv´ny´rt´k megegyezik az optimum f¨ggv´ny´rt´kkel a folytonoss´g miatt. teh´t e e e o a a sz¨ks´gszer˝en optim´lis is. g (x1 ) < 0. ´ a a uo • STEP2: µk+1 = βµk . Teh´t.Bizony´ as:Teh´t x optim´lis. ´s B (xµ ) ≥ 0 ´s xµ megengedett. Viszont. ha µ → 0+ . ε > 0. x1 ∈ X. hogy µ > 0 eset´n e f (x) + ε + µB (x) > f (x) + µB (x) ≥ Θ(µ). akkor a e e Θ (µ) = f (xµ ) + µB (xµ ) ≥ f (xµ ) ≥ f (x) . ugy meg´llhatunk. u e u a • Inicializ´l´s: Legyen ε > 0. Amennyiben vessz¨k {xµ } egy konvergens r´szsorozat´t. majd ujra STEP1. (Vegy¨k ´szre. hogy xk+1 optim´lis megold´sa ennek a feladatnak. aa e • STEP1:xk -b´l oldjuk meg a o min f (xk ) + µk B(x) g(x) < 0. hogy f (xµ ) ´s f (xµ ) + µB (xµ ) is tartanak f (x)-hez. ´ 37 . mert az ¨sszes g(x) f¨ggv´ny be van ´p´ u e a a e u o u e e ıtve a barrier f¨ggv´nybe!) u e Tegy¨k fel. akkor a torl´d´si pont is megengedett. ha µ → 0+ . m´sk¨l¨nben STEP2. ha µk B (xk+1 ) < ε. k := k + 1. hogy ez korl´toz´s n´lk¨li feladat. x ∈ X. Ekkor a folytonoss´g miatt ıt´ a a a ∃x ∈ X : g (x) < 0 : f (x) + ε > f (x) . Persze ekkor az is igaz.

. T T 0 ≤ λ ≤ λmax Tegy¨k fel. aa • STEP1: Megoldjuk a min z f (xk ) d − z ≤ 0. a uo • STEP2: (Mekkor´t l´pj¨ nk az adott ir´nyba. Tegy¨k fel. ∀i. u a Ekkor xk+1 := xk + λk dk . k = 1. cs¨kken´s): a e u a o e Az al´bbi rendszert kell megoldanunk: a min f (xk + λdk ) = sup {λ : gi (xk + λdk ) ≤ 0. . . hogy λk optim´lis. −1 ≤ dj ≤ 1 j = 1. m. ugy meg´llhatunk. • Inicializ´l´s: x1 . aa • STEP1: (Megengedett ir´ny keres´se). ´ a M´sk¨l¨nben STEP2. dk ) optim´lis megold´sa.Zountendijk megengedett cs¨kken´si ir´nyok algoritmusa o e a A megoldand´ feladat: o min f (x) gi (x) ≤ 0. . . . A fenti algoritmus nem z´rt ´s nem is konvergens. T T 38 . . . hogy a rendszernek (zk . . szint´n (DF)-el jel¨lt renszert. gi (xk ) d − z ≤ gi (xk ) i = 1. . Ekkor oldjuk meg a: min z f (xk ) d − z ≤ 0. m} . gi (x1 ) ≤ 0. ∀i. . . . Megjegyz´s. m (DF) rendszert. . Amennyiben zk = 0. u a a Amennyiben zk = 0. e a e Topkins ´s Veinott m´dos´ asa e o ıt´ • Inicializ´l´s:x1 . tov´bb´ k legyen k + 1. . . m´sk¨e o ´ a a u l¨nben STEP2. . ugy meg´llhatunk (Fritz-John). i = 1. a a 21. m. k = 1. . m. gi (x1 ) ≤ 0. −1 ≤ dj ≤ 1 j = 1. i. a e Legyen I := {i : gi (xk ) = 0}. . mert Fritz-John pont. o • STEP2: Mint az eredetiben. . gi (xk ) d − z ≤ 0 i ∈ I.

Legyen S = ∅ z´rt. Legyen a (PS ) feladat az al´bbi: a o a min f (x) x ∈ S. y ≥ 0. Megjegyz´s. Az ezt megold´ algoritmus A = M D alak´ lek´pez´s. Lemma. ´s (x. e o Bizony´ as:Legyen I := {i : gi (x) = 0}. ha i ∈ I. R´ad´sul gi (x) < 0. azaz a a a / x + λd megengedett. Rn -beli halmaz. ıt´ e u Ekkor gi (x)T d < 0. (Fritz-John ´rtelmez´s´hez). a e e e 27. ´ o e a • (2): Amennyiben z = 0. d): y = x + λ∗ d ir´nymenti optimum. e • (4): f (x)T d < 0. amennyiben i ∈ I ´s gi (x) < 0. tov´bb´ y ∈ M (x. 39 . Legyen x megengedett megold´sa az eredeti feladatnak. gi (x)T d < 0 rendszernek nincsen megold´sa. Tegy¨k fel. ha i ∈ I. (Az algoritmus alapj´n). Tov´bb´ legyen z. T´tel. valamely δ > 0 eset´n. hogy a z = 0 felt´tel ekvivalens azzal. e / ugy tudjuk. amely az al´bbiak mindegyik´t kiel´g´ e e a e e ıti: • (1):xk → x. • (2):dk → d. (Alternat´ t´tel): Az al´bbi prim´l-du´l p´rt tekinthetj¨k: e ıva e a a a a u Ax < b(⇔)Ax ≤ −1. azaz a (2) ´ll´ as a a e a ıt´ bizony´ as´val is k´szen vagyunk. hogy z < 0. Teh´t d megengedett ir´ny. mint a Fritz-John felt´tel. A Fritz-John ponthoz annyi kell. k ∈ K. a a a a Legyen {xk } az algoritmus ´ltal gener´lt sorozat. a a e a o a Ekkor nem l´tezik olyan {xk . ´s a e y T A = 0. ´s {dk } a hozz´juk tartoz´ ir´nyok. o a a Viszont azt is tudjuk. (Ezzel (1) k´szen o e a e van). hogy f (x)T d < 0 azaz d egyben cs¨kken´si ir´ny is. δ] ∀k ∈ K. d) ∈ D(x): d megengedett cs¨kken´si o u e e e o e ir´ny. ıt´ a e 22. ´s tegy¨k fel. hogy f : Rn → R f¨ggv´ny folytonoa u u e san differenci´lhat´. min(−1)T y du´l feladatot. • (3):xk + λdk ∈ S. dk }K r´szsorozat. a • (1):Amennyiben z < 0. ez akkor ´s csak akkor fordulhat el˝.26. hogy ha gi (x) = 0. max 0T x prim´l. ha x Fritz-John pont. k ∈ K. ha λ > 0 megfelel˝. d optim´lis e a a a a megold´sa (DF)-nek. hogy a ´ e f (x)T d < 0. Ez azonban nem m´s. ha i ∈ I. ugy d megengedett cs¨kken´si ir´ny. ∀λ ∈ [0.

Ekkor a (4) felt´telb˝l k¨vetkezik. mely teljes´ az el˝z˝ lemma 4 felt´tel´t. ami ellentmond a minimalit´snak. ez´rt l´tezik δ > 0. hogy ∃ε > 0 : f (x)T d = −2ε. teh´t ellentmond´st kaptunk. m. u Ha k ∈ K. T T T ha k ∈ K el´g nagy ´s i = 1. hogy nem az. akkor e ´ a oa e f (xk + λdk ) dk < −ε ∀λ ∈ 0. (DF) fel´ as´b´l k¨vetkezik. hogy ha k ∈ K el´g nagy. δ]. Meg kell mutatnunk. ugy zk < −ε l´tezik. δ]. hogy ∀λ ∈ [0. ez´rt a ıgy e gi (xk + λdk ) ≤ − λε . o o Miut´n gi folytonosan differenci´lhat´. mely teljes´ mind a 4 ıt´ o u e ıti felt´telt. az algoritmus alapj´n. azaz mutattunk egy olyan e e a r´szsorozatot. ´ a Ha {dk }K korl´tos. a ´ e Miut´n f ´s gi folytonosan differenci´lhat´ak. hogy m´gis van olyan sorozat. hogy ha k ∈ K el´g nagy. ugy f folytonos differenci´lhat´s´ga miatt ∃δ > 0. δ]: a a o e e gi (xk ) + ε T gi (xk + λdk ) dk < − . Tegy¨k fel tov´bb´. ugy (zk . 2 amennyiben k ∈ K el´g nagy. 2 gi (xk + αik λdk ) dk = gi (xk + αik λdk ) dk ≤ gi (xk + αik λdk ) dk . Miut´n ´ αik λ ∈ [0. . amennyiben k ∈ K . hogy k ∈ K el´g nagy. tov´bb´ xk → x. Ekkor gi (xk ) ≤ 0. a a o a Bizony´ as:Legyen {xk }K → x r´szsorozat. ıt´ e a a ´ Tegy¨k fel. ∀i. gi (xk ) + gi (xk ) dk ≤ zk < −ε. δ teljes¨l´se miatt ue > 0. Ekkor a gi (xk + λdk ) = gi (xk ) + λ = (1 − λ)gi (xk ) + λ gi (xk ) + ≤ λ gi (xk ) + ahol αik ∈ [0. k´szen e ıti o o e e a a e vagyunk. Amennyiben ´ll (1) e e o o a ´s (2). ugy van r´szsorozata. hogy x Fritz-John.Bizony´ as:Indirekt m´don tegy¨k fel. Teh´t xk + λdk megengedett. δ . ugy ∃ε > 0: z = −2ε. a 28. . dk ) optim´lis. Amennyiben f. Azonban a folytonoss´g ´s a konvergencia miatt az ad´dik. melyre {dk }K → d. Legyen most δ ” = min δ. e Legyen teh´t λ ∈ [0. 1]. x val´ban Fritz-John pont. T T T amib˝l k¨vetkezik. . hogy f (x)T d < 0. akkor a Topkins-Veinott e u e a o algormitmus ´ltal gener´lt pontosorozat minden torl´d´si pontja Fritz-John pont. hogy a a e o f (x) ≤ f (x) − εδ ” . Amennyiben pedig k ∈ K el´g nagy. k. Amennyiben z optim´lis megold´sa (DF)-nek. T´tel. Ekkor a (3) u a a e f (xk+1 ) ≤ f xk + δ ” dk . . ugy a e a o a a ´ e ´ e zk → z. o 40 . gi f¨ggv´nyek folytonosan differenci´lhat´ak. ugy l´tezik ır´ a o o e ´ e f (xk ) dk ≤ zk < −ε.

hogy ez egyedi. ha M T = AT . akkor P pozit´ definit. a Tov´bb´ ∀x ∈ Rn egy´rtelm˝en felbonthat´ x = p + q. ´s q ∈ L M´r csak azt kell bel´tni. x ∈ Rn . Ekkor ıt´ o a xT P x = xT P P x = xT P T P x = P x teh´t val´ban pozit´ szemidefinit. a o ıv Igaz az is. 41 . Ekkor alkalmazzuk az al´bbi felbont´st: a A1 x = b1 .´ ROSEN GRADIENS PROJEKCIOS ALGORITMUSA 15. −1 M alak´. ad´dik. ∈ L. (PL ): o a min f (x) Ax ≤ b. amivel k´szen is vagyunk. E T m´trix teljes oszloprang´ ´s P = I − M T M M T a a a ue 1 ugy d megengedett cs¨kken´si ir´ny. o a ıv • (2): Ha P projekci´m´trix. m´ bT = bT . hogy P T Q = P (I − P ) = P − P P = 0. a a e u o e Bizony´ as:Legyen P projekci´m´trix. p ∈ L ´s q ∈ L⊥ alakban. + q . − q ∈ L⊥ . akkor I − P m´trix is projekci´m´trix. Lemma. e A megoldand´ feladat legyen az al´bbi. el˝´ll´ as is megfelel˝ terekb˝l sz´rmaz´ vektorkkal. Amennyiben P = P T ´s P = P P . bT . Tov´bb´: e e o a a a a x = Ix = (P + Q)x = P x + Qx = p + q. o a 29. miut´n azt m´r bel´ttuk. hogy nem az. = q . hogy a k´t alt´r ortogon´lis. Legyen P egy n × n-es m´trix. p − p. azaz a k´t t´r val´ban egym´s ortogon´lisai. Defin´ o. a 30. Legyen P egy n × n-es m´trix. Ekkor a • (1): Ha P projekci´m´trix. A2 x < b2 . q . ahol ´ AT = AT . o a a o a • (3): Ha P projekci´m´trix ´s Q = I − P is projekci´m´trix. Ex = e. ugy P m´trix ıci´ a e ´ a projekci´m´trix. ugy a d = −P ´ f (x) cs¨kken´si ir´nya o e a f -nek. Azonban a k´t e oa ıt´ o o a o e el˝´ll´ as k¨l¨nbs´g´t n´zve. ahol p ∈ L. ´ o e a ⊥ 2 ≥ 0. Tegy¨k fel. − q = 0. u Tov´bb´. Tov´bb´ f tov´bbra is folytonosan differenci´lhat´. AT . Lemma. L⊥ = {Qx : x ∈ Rn } ortogon´lis alterek. akkor o a e o a L = {P x : x ∈ Rn } . ıgy ıg a a a a o 1 2 1 2 Amennyiben P projekci´m´trix ´s P o a e f (x) = 0. e a a u Ekkor l´tezik egy x = p. hogy oa ıt´ u o e e e a a a e e a o p − p. Legyen x a fenti feladat egy megengedett pontja.

hogy d akkor lesz megengedett. f (x) = I − M T M M T −1 f (x) = 0. hogy ha uj = 0. T AT u + E T v = M T w + uj rj . ha rj d ≤ 0. • (2): Amenniben u 0. hogy megengedett ir´ny is egyben. akkor M d = −M P val´ban megengedett ir´ny. ugy tegy¨k fel indirekt. ha A1 d ≤ 0 o ıci´ a o o o ´s Ed = 0. hogy P f (x) = 0. T´tel. ami ellentmond M teljesrang´s´g´nak. azaz d a M f (x) = = f (x) + M T w = w T = uT . A k´rd´s nem is ez. ez´rt ha u ≥ 0 teljes¨l. o a Vizsg´ljuk meg a P a Ekkor 0=P f (x) = 0 esetet. 1 amib˝l k¨vetkezik. e ır´ a e ´ • (1): Amennyiben a fenti fel´ ast haszn´ljuk ´s u ≥ 0. E T . ua a a o e a M´r csak az kell. amib˝l pedig M defin´ oj´b´l fakad´an az k¨vetkezik. teh´t A1 d = Ed = 0. 1 miut´n f (x) = 0. teh´t d val´ban cs¨kken´si ir´ny. Ekkor u ´ u w = − MMT 0=P f (x) = I − M T M M T −1 M f (x) : f (x) = −1 M = Tov´bb´ a a f (x) + M T w. Legyen tov´bb´ P = I − M T M M T 1 Ekkor d = P f (x) megengedett cs¨kken´si ir´ny. hanem a e u ´ o e e igaz´b´l a m´sik eset. v T .Bizony´ as: ıt´ f (x)T d = − f (x)T P f (x) = − f (x)T P T P f (x) = − P f (x) 2 < 0. Bizony´ as:A KKT felt´telt fel´ ıt´ e ırva: 0=P f (x) = I − M T M M T = −1 M f (x) = f (x) + AT u + E T v. A1 legyen az a m´trix. o o u o a a Legyen M T = AT . f (x) + AT u + E T v 1 31. e u 42 . ugy legyen uj < 0 komponens. a o o e a −1 Ha P = I − M T M M T M . amikor A1 -b˝l ´ a o t¨r¨lj¨k az uj -nek megfelel˝ sort. ugy x KKT pont. a o a Amennyiben u 0 teljes¨l. teh´t P f (x) = 0. azaz d cs¨kken´si ir´ny. a a 0 = M P ⇒ M d = −M P f (x) = 0. o e a −1 M. ugy x val´ban KKT pont. ez pedig akkor teljes¨l. ugy o o ´ T 0 = M T (w − w) − uj rj .

A1 -b˝l t¨r¨lj¨k uj -nek megfelel˝ sort. A2 . o a ´ e ´ 23. ´ Amennyiben dk = 0. ugy ´ w = − MMT −1 −1 f (xk ) = 0. ´s ujra STEP1. ad´dik. b1 . Amennyiben dk = 0. majd k = k + 1. m´sk¨l¨nben dk = − a a uo f (xk ). e Ha M = 0. bT . Ennek optimuma legyen λk . ´ a Ha u 0. e • STEP2: Oldjuk meg a 0≤λ≤λmax min f (xk + λdk ) rendszert. ´s nem is e a ıv e a e a e konvergens. Miut´n az akt´ felt´telek v´ltoznak. akkor meg´llhatunk. A2 xk+1 < b2 rendszerb˝l meghat´rozzuk az uj A1 . Megjegyz´s. dk = −P f (xk ) .Ez azonbam rj P -t fel´ ırva. ´s ezzel k´szen is vagyunk. akkor rj d ≤ 0. 1 Amennyiben M = 0 ´s ha e ´s STEP2. Ekkor: xk+1 = xk + λk dk . ugy meg´llhatunk. pozdef teh´t. v T . ez´rt az algoritmus nem z´rt. ´s haszn´lva. ha uj < 0. Tov´bb´ a a a A1 xk+1 = b1 . a e e ´ az alkalmazand´ algoritmus a k¨vetkez˝: Igy o o o • Inicializ´l´s:x1 . 43 . b2 vektorokat. e a o u 24. M f (xk ) = uT . Nemline´ris esetben egy korrekci´s tag is ker¨l a rendszerbe. AT ´s bT . xk KKT pont. ugy uj < 0 komponens v´laszt´sa. hogy P M T = 0. Ha u ≥ 0. ugy STEP2. ebb˝l k¨vetkez˝en AT . E T . k = 1. hogy e a o 0 = rj P T f (x) + rj P M T w + uj rj T = −rj d + uj rj P rj . ugy ´ P = I − MT MMT M. aa o o o 1 2 e 1 2 • STEP1: M T = AT . majd ´ a a o oo u o ism´t STEP1. Megjegyz´s.

xk KKT pont. Ekkor az teljes¨. E T . (2) dk k¨l¨nben. e = 0 meg´llhatunk. teh´t k´szen vagyunk. (2) ha uh < 0 ´s P pozit´ definit. ugy dT = −P ´ k Amennyiben u ≥ 0 ´s ha e ´s STEP2. hogy dk = −P a u dk = −P (1) f (xk ) = 0. e ıv u a e 44 . m´sk¨l¨nben dk = − a a uo f (xk ). hogy dk megengedett. azaz: e (1) (1) dk = dk ha dk > |uh | c. a oa ahol persze rh a t¨r¨lt vektor. Ha M = 0. hogy o o rh P P T f (xk ) = −rh dk + rh P M T w + uh rh P rh . ´s w = (u. rh P P = rh P = 0. v). ami azonban teljes¨l. Ekkor sz´m´ a ıtjuk M -et. e 32. (2) f (xk ) = T f (xk ) + M T w + uh rh . ´s dk = −P e (2) (1) dk f (xk ) = 0 meg´llhatunk. a P amib˝l k¨vetkezik. (2) (2) Azaz. m´gpedig c > 0 szerint. Megjegyz´s. e e e o e a Bizony´ as:Csak a m´dos´ ıt´ o ıtott r´szen kell bizony´ e ıtanunk. Ez a konvergens verzi´ sem z´rt. ugy ´ uh = min {uj : uj < 0} . Miut´n M P = 0 ´s P P = P . nek¨nk az a u u 0. dk -t haszn´ljuk. a a uo (1) f (xk ). Teh´t. 1 Amennyiben M = 0. vagy megengedett cs¨kken´si ir´nyt mutat. o o (2) (2) Teh´t val´j´ban csak az kell. azaz a e e T rh dk = uh rh P rh ≤ 0. T´tel. mert k¨l¨nben uo f (xk ) = P M T w = 0 ad´dna. Ehhez pedig az kell. dk = 0. uo o a 25. Minden l´p´sben vagy KKT pontot ad. ami nem lehet. akkor ha STEP2. hogy rh dk ≤ 0. (1) dk (1) ≤ |uh | c eset kell. e Amennyiben u 0. M´sk¨l¨nben dk = dk = 0.Az algoritmus konvergenci´j´hoz sz¨ks´g¨nk van STEP1 m´dos´ as´ra: aa u e u o ıt´ a ´ • UJ STEP1: M T = AT . ´s e f (xk ). amib˝l M P T = M P = 0 → M P = 0. ez´rt P M T = 0. oo Mint m´r eddig is.

a ´ Ha xj nem b´zisbeli. e o Ezek ut´n az is teljes¨l. ugy d megengedett cs¨kken´si ir´ny ´ o e a • (2): d = 0. a ´ ıv. dB + T N f (x) dN = N f (x) T − T −1 N B f (x) B T dN = rN dN . ugy dj lehet negat´ teh´t dj ≥ 0. Miut´n tudjuk hogy a f (x)T d = B f (x) T − B −1 N . Feltesz¨k tov´bb´ azt is. dN ]. rN = f (x)T − N f (x) T T −1 A B f (x) B B f (x) T = = 0. uo bB = −B −1 N dN . = j∈N azaz. ´ Bizony´ as:Akkor ´s csak akkor megengedett. hogy minden extreu a a a o u a a m´lis pontnak van m darab pozit´ komponense. hogy f differenci´lhat´. A fentiek szerinti d v´laszt´s mellett e a a • (1): d = 0. T´tel. hogy A b´rmely m darab oszlopa line´risan o a a e a a f¨ggetlen legyen. N f (x) . N ]. akkor ha xj > 0. amir˝l megjegyezz¨k. hogy 0 = Ad = BdB +N dN . hogy f (x)T d < 0. ha xj = 0. Amennyiben xj b´zisbeli. tov´bb´. a felt´telek alapj´n xB > 0. ´s dj ≥ 0. x ≥ 0. ha xj = 0. B N T T A gradiensre f (x)T = B f (x) . Ekkor x = xT . k¨l¨nben. d = 0 vagy f (x)T d < 0. a Teh´t: a f (x)T d = B f (x) T dB + T N f (x) dN = N f (x) T + T −1 N B f (x) B dN = rj dj . mid˝n xj = 0. a ıv K´sz´ uk el az extrem´lis pontok alapj´n a b´zishoz tartoz´ felbont´sunkat. hogy dB = −B −1 N dN . ugy xj > 0. 45 . ez´rt d-re praktikus v´laszt´s az al´bbi: e a a a d Nj = −rj −xj rj ha rj ≤ 0. a u o o Innen a reduk´lt gradiens a T T r T = rB . A defin´ o ıt´ e e ıci´ szerint dB : Ad = BdB + N dN = B −B −1 N dN + N dN = 0. 33. o e a o u Ad = 0. A megengedett cs¨kken´si ir´ny d = [dB . Legyen A = e ıts¨ a a a o a e a [B. amib˝l k¨vetkezik. ha Ad = 0 ´s dj ≥ 0. ugy x KKT pont. xT . A feladathoz tartoz´ nemdegener´lts´gi felt´telek.´ ´ WOLFE REDUKALT GRADIENS MODSZERE A megoldand´ feladat: o min f (x) Ax = b.

e / ha rj > 0 ´s j ∈ Ik . azaz az al´bbi rendszernek: x akkor ´s u e a e csak akkor KKT pont. e B B B Teh´t a vT = − uT = N N f (x) T B f (x)T B −1 . ´ 46 . majd ujra STEP1. hogy λk optim´lis. x1 ≥ 0. ´s v-re: e B N T B f (x) . T = ha rj ≤ 0 ´s j ∈ Ik . B uT xN = 0. ha uT = uT . djk < 0 . uT ≥ (0. e / (bB )k = −B −1 N dN . ugy meg´llhatunk. ugy uT xB = 0 ⇔ uT = 0. B N uT xB = 0. / rT = d Nj k f (xk ) −rj −xj rj T B f (xk ) B −1 A.A KKT ponthoz teljes¨lnie kell a KKT felt´teleknek. e Ez alapj´n maga az algoritmus: a • Inicializ´l´s:x1 . x ha dk 0. ´ a Ellenkez˝ esetben STEP2. Ekkor u a xk+1 = xk + λk dk . N ´ Amennyiben xB > 0 ´s uT ≥ 0. ha rN ≥ 0 ´s rN xN = 0. k = k + 1. k = 1. Amennyiben dk = 0. − T −1 N. B = {aj : j ∈ Ik } . xk KKT pont. Ax1 = b. ha d = 0. o • STEP2: A megoldand´ feladat: o min {f (xk + λdk ) | 0 ≤ λ ≤ λmax } ahol 1 ≤ j ≤ n eset´n e λmax = jk min − djk . B f (x) B ⇒ uN = rN . e T De d defin´ oj´b´l: d = 0 akkor ´s csak akkor. ∞ ha dk ≥ 0. N = {aj : j ∈ Ik } . ıci´ a o e e T Azaz x akkor ´s csak akkor KKT. ha rN > 0 ´s rN xN = 0. N ) − uT . uT = 0. Tegy¨k fel. aa e e e • STEP1: Ik legyen xk -nak az m darab legnagyobb ´rt´k´nek indexei. N f (x) T + v T (B. azaz KKT. 0).

amib˝l a a e a u o k¨vetkezik. hogy ellentmond´sra jutottunk. azaz dpk = −xpk rpk . Amennyiben f folytonosan differenci´lhat´ ´s {xk } sorozat az algoritmus ´ltal gee a o e a ner´lt. {dk }K → d. u Ekkor legyen I az m darab legnagyobb komponens indexe. amenniben λ ∈ [0. ugy f (x) d < 0. teh´t rpk v´gtelenhez tart´sa nem teljes¨l. hogy Ik = I. teh´t a lemma (4) pontja fenn´ll. ami azt jelenti. 1 Teh´t δk = rpk . azaz ´ll a (3) k¨vetkezm´ny is. ugy a folytonoss´g miatt: ´ a {xk }K → x. hogy ∃K” ⊂ K ´s p ugy. dpk <0 a a / a / Ekkor {dpk }K” konvergens. hogy {xk }K → x nem KKT pont. a o e a a 26. amennyiben k ∈ K . ugy {xk } minden torl´d´si pontja KKT pont. k ∈ K = δ > 0.34. e Tegy¨k fel indirekt. teh´t xp = 0. δk ]. teh´t x KKT pont. Tegy¨k fel. teh´t ezzel (1) ´s (2) k¨vetkezm´ny is megvan. amennyiben Ik = I. azaz xpk → 0. hogy u o o e ´ >0 xpk δk = − → 0. Megjegyz´s. teh´t p ∈ Ik . a e o e A (3)-mashoz azt kell bel´tnunk. e a e o e e 47 . hogy inf δk : k ∈ K = 0. hogy xk + λk dk megengedett. ´ a a Amennyiben ∃K ⊆ K. a Amennyiben d = 0. T´tel. hogy o inf δk . a ´ o a Bizony´ as:A m´r t¨bbsz¨r haszn´lt 4 pontos lemma seg´ eg´vel bizony´ ıt´ a o o a ıts´ e ıtjuk a t´telt. teh´t p ∈ (I). tov´bb´ d legyen az x-hez tartoz´ a a o ir´ny. mive rpk → rp = ∞. A nemline´ris esetet gradiensekkel ´s korrekci´s l´p´sekkel oldjuk meg. ahol a dk = λmax az xk pontra. Ebb˝l k¨vetkezik.

Sign up to vote on this title
UsefulNot useful