1.

Поняття субградієнту

Нехай f : R n → R – функція на евклідовому просторі Rn. Вектор g ∈ Rn

називається субградієнтом функції f (x) в точці x ¿ ∈ R n, якщо справджується
нерівність:

f ( x )−f ( x ) ≥ g ( x −x ) ∀ x ∈ R
¿ T ¿ n

Множина всіх субградієнтів називається субдиференціалом функції f (x) в

точці x ¿ і позначається ∂ f ( x ¿ ).

Приклад.

Для функції f : R → R : x ⟼|x| маємо:

{
{−1 } , x ¿ <0
∂ f ( x )= [−1 , 1 ] , x ¿ =0
¿

{1 } , x ¿ >0

Поняття субдиференціалу та субградієнту є узагальненнями відповідних

понять диференціалу та градієнту класичного аналізу.

2. Простий субградієнтний метод опуклої оптимізації

Для реалізації субградієнтної оптимізації в випадку задачі без обмежень

процес може починатися з будь-якої точки x 0. Зсув чергової точки x i до
наступної точки x i+1 здійснюється на відстань hi в напрямку будь-якого
узагальненого градієнта функції f (x) в точці x i в випадку задачі максимізації
вгнутої функції і в зворотному напрямку – у випадку задачі мінімізації опуклої
функції. Якщо кроки hi зсувів обираються таким чином, що h → 0 при i→ ∞ , а
ряд h 0+ h1+ h2 +h3 +… розбігається, то послідовність x 0 + x 1+ …+ x m ++… збігається до
множини екстремуму заданої функції f (x) за умови, що множина обмежена.

Для обчислення субградієнтів застосовуються різні способи. Одним з них

є зведення задачі обчислення субградієнта функції, що задана складним
виразом, до обчислення субградієнтів окремих компонентів цього виразу. Для
подібного зведення особливо часто застосовуються такі властивості опуклих
функцій.
 Властивість 1. Якщо функції f 1 ( x ) , … , f m (x ) опуклі, то опуклою буде і
m

будь-яка їх лінійна комбінація f ( x )=∑ ai f i (x ) з невід’ємними

i=1

коефіцієнтами a i ≥ 0(i=1 , m) , а субградієнт S(x ) функції f ( x ) дорівнює лінійній

m

комбінації ∑ ai S i (x) субградієнтів Si (x ) функцій f ( x ) .

i=1

Властивість 2. Якщо функції f 1 ( x ) , … , f m (x ) опуклі, то опуклою буде і

функція f ( x )=max f i ( x ), і всі субградієнтні множини Si (x 0 ) функцій f i ( x ), для яких
f ( x 0 ) =f ( x ) , входять в субградієнтну множину S( x ) функції f ( x ) в будь-якій
0

заданій точці x=x 0.

До відомих виборів кроків hi відносять:

∞

a. Класичні умови: h k > 0 ; lim hk =0 ; ∑ ¿+∞

k→ ∞ k=0

γ ( f ( x k )−f )
¿

b. Фейєрів крок:h k = , 0< γ <2

‖g f ( x )‖
k

c. Геометрична прогресія:h k+1=h k∗q k ,0 <q k < 1, k =0 , 1 ,2 , …

3. Методи розтягу простору

Простий субградієнтний метод, розглянутий вище, може виявитися

повільно збіжним, якщо області рівня цільової функції сильно витягнуті в
одному напрямку, або, як часто при цьому говориться, мають вигляд вузьких і
довгих ярів. Ця ситуація характерна для багатьох задач негладкої оптимізації.
Для поліпшення збіжності методу в подібних випадках використовують методи
розтягу простору.

Розтяг простору зводиться до заміни змінних x 1 , … , x k в цільовій функції

f ( x )=f (x 1 , … , x k ) деякими їх лінійними комбінаціями. Особливо просто
виконується розтяг в напрямку однієї з координатних осей. Змінна x i, що
відповідає цій осі, замінюється при цьому на k −1 x i, де k - коефіцієнт розтягу, а
решта залишається без змін.