Tối ưu lồi

Đại học Khoa học Tự Nhiên, ĐHQG Thành phố Hồ Chí Minh

Ngày 18 tháng 4 năm 2021

Vector 1 / 35
1 Hàm số nhiều biến

2 Dạng toàn phương

3 Hàm lồi

4 Bài toán bình phương tối tiểu

Vector 2 / 35
 Hàm số nhiều biến

Outlines

1 Hàm số nhiều biến

2 Dạng toàn phương

3 Hàm lồi

4 Bài toán bình phương tối tiểu

Vector 3 / 35
 Hàm số nhiều biến

Định nghĩa
Một ánh xạ f : D ⊂ Rn −→ R gắn mỗi vector
x = (x1 , x2 , . . . , xn ) ∈ D một số thực

y = f (x) = f (x1 , x2 , . . . , xn ) ∈ Rn

được gọi là một hàm số thực (real - value function) với n biến thực
(real variable) trên miền xác định D.
Nếu n = 1, f được gọi là hàm số 1 biến.
Nếu n ≥ 2 thì f được gọi là hàm số nhiều biến.

Cho hàm f : D ⊂ Rn xác định bởi

f (x, y ) = x 3 + x 2 y 3 − 2y 2

Ta có f (0, y ) = −2y 2 , f (x, 0) = x 3 , f (1,Vector

1) = 0 4 / 35
 Hàm số nhiều biến

Định nghĩa
Cho f : D ⊂ Rn −→ R có đạo hàm liên tục tới cấp 2 và
x = (x1 , x2 , . . . , xn ) ∈ Rn , vector gradient và ma trận Hess của f tại
x, ký hiệu lần lượt là ∇f (x) và ∇2 f (x) được xác định bởi
 
∂f
 ∂x1 (x)
 ∂f
 

 (x)
∇f (x) =   ∂x2. 

 .. 
 
 ∂f 
(x)
∂xn

Vector 5 / 35
 Hàm số nhiều biến

∂ 2f ∂ 2f ∂ 2f
 
 ∂x1 ∂x1 (x) ∂x2 ∂x1 (x) · · · (x)
∂xn ∂x1 
 2
 ∂ f ∂ 2f 2
∂ f


 (x) (x) · · · (x)
∇2 f (x) = 
 ∂x1 ∂x 2 ∂x2 ∂x2 ∂xn ∂x2 
.. .. .. .. 

 . . . . 

 ∂ 2f 2
∂ f 2
∂ f 
(x) (x) · · · (x)
∂x1 ∂xn ∂x2 ∂xn ∂xn ∂xn

Mệnh đề
∇2 f (x) là ma trận đối xứng (khi f có đạo hàm liên tục tới cấp 2).

Ví dụ
Với f (x, y ) = x 3 + x 2 y 3 − 2y 2 , tìm ∇f (x), ∇2 f (x) tại M(1, 1).

Vector 6 / 35
 Hàm số nhiều biến

Ta có

3x 2 + 2xy 3
  
5
∇f (x) = 2 2 , ∇f (1, 1) =
3x y − 4y −1
 3 2
  
2 6x + 2y 6xy 8 6
∇ f (x) = , ∇f (1, 1) =
6xy 2 6x 2 y − 4 6 2

Ví dụ
Cho hàm số f (x, y , z) = 3x 3 − 2x 2 y 3 + y 2 x 2 + 2z 2 y 2 , tìm
∇f (x), ∇2 f (x) tại M(1, 2, 1).

Vector 7 / 35
 Hàm số nhiều biến

Định nghĩa
Cho a = (a1 , . . . , an ) ∈ Rn , hàm số f : Rn −→ R được xác định bởi
 
x1
n
T

 x2  X
f (x) = f (x1 , x2 , . . . , xn ) = a x = a1 a2 . . . an   =
  ai xi
...
i=1
xn

được gọi là một dạng tuyến tính với a là vector xác định dạng.
Hơn nữa, nếu b ∈ R, hàm số f : Rn −→ R được xác định bởi
n
X
T
f (x) = a x + b = b + ai xi
i=1

được gọi là một hàm affine.

Vector 8 / 35
 Hàm số nhiều biến

Mệnh đề
Nếu f (x) = aT x + b là một hàm affine thì

∇f (x) = a và ∇2 f (x) = 0 ∈ Rn

Ví dụ
Cho f : R3 −→ R với

f (x1 , x2 , x3 ) = 3x3 − x1

thì f là một dạng tuyến tính với vector xác định dạng
a = (−1, 0, 3) ∈ R3 , cụ thể
 

x1
f (x1 , x2 , x3 ) = 3x3 − x1 = −x1 + 0x2 + 3x3 = −1 0 3 x2  = aT x
x3
Vector 9 / 35
 Hàm số nhiều biến

Ví dụ
Ngoài ra,
   
−1 0 0 0
∇f (x1 , x2 , x3 ) =  0  = a và ∇2 f (x1 , x2 , x3 ) = 0 0 0
3 0 0 0

Vector 10 / 35
 Hàm số nhiều biến

Định nghĩa
Cho f : Rn −→ R có đạo hàm và z = (z1 , z2 , . . . , zn ) ∈ Rn , xấp xỉ
Taylor bậc nhất của f tại z là hàm affine fˆ : Rn −→ R được xác định
bởi.

fˆ(x) = f (z) + ∇f (z)T (x − z) = ∇f (z)T x + (f (z) − ∇f (z)T z)

Ví dụ
Cho f (x, y ) = x 3 +x 2 y 3− 2y 2 và z = (1, 1), ta có
5
f (z = 0), ∇f (z) = , xấp xỉ Taylor bậc nhất của f tại z là hàm
−1
affine

fˆ(x) = ∇f (z)T x + (f (z) − ∇f (z)T z)

Vector 11 / 35
 Hàm số nhiều biến

    

x
1
5 −1 + 0 − 5 −1 = 5x − y − 4
y 1

Với hàm fˆ đã có, ta tìm được giá trị xấp xỉ cho f tại (0.9, 1.1) là

fˆ(0.9, 1.1) = −0.6 ≈ f (0.9, 1.1) = −0.61289

Ví dụ - SV tự giải
Cho hàm số f (x, y ) = x 4 − 2x 2 y 3 + y 3 và z = (1, 2). Dùng xấp xỉ
Taylor bậc nhất của f tại z để tính giá trị xấp xỉ cho f (0.8, 1.2)

Vector 12 / 35
 Dạng toàn phương

Outlines

1 Hàm số nhiều biến

2 Dạng toàn phương

3 Hàm lồi

4 Bài toán bình phương tối tiểu

Vector 13 / 35
 Dạng toàn phương

Dạng toàn phương

Đinh nghĩa
Cho A ∈ Rn×n là ma trận đối xứng (AT = T ), hàm số f : Rn −→ R
được xác định bởi

f (x) = f (x1 , x2 , . . . , xn ) = xT Ax
  
a11 a12 . . . a1n x1

 a21 a22 . . . a2n   x2 
 
= x1 x2 · · · xn  · · · · · ·

· · · · · ·  . . . 
an1 an2 . . . ann xn

được gọi là một dạng toàn phương (quadratic form) với A là ma trận
xác định dạng.

Vector 14 / 35
 Dạng toàn phương

Dạng toàn phương

Mệnh đề
Nếu f (x) = xAx là dạng toàn phương thì

∇f (x) = 2Ax và ∇2 f (x) = 2A

Ví dụ
Cho f : R3 −→ R, với

f (x1 , x2 , x3 ) = x12 − x32 + 2x1 x3 + 4x2 x3

Ta có f là một dạng toàn phương với

  

1 0 1 x1
f (x1 , x2 , x3 ) = x1 x2 x3  0 0 2   x2  = xT Ax
−1
1 2Vector x3 15 / 35
 Dạng toàn phương

Dạng toàn phương

Ví dụ - SV tự giải
Cho f : R3 −→ R, với

f (x1 , x2 , x3 ) = x12 + x22 + x32 − x1 x2 + x1 x3

Tìm ma trận xác định dạng A của dạng toàn phương trên.

Vector 16 / 35
 Dạng toàn phương

Dạng toàn phương

Với dạng toàn phương trên, ta có

    
2x1 + 2x3 1 0 1 x1
∇f (x1 , x2 , x3 ) =  4x3  =2 0 0 2
   x2  = 2Ax
2x1 + 4x2 − 2x3 1 2 −1 x3
 
2 0 2
2
∇ f (x1 , x2 , x3 ) = 0 0 4  = 2A

2 4 −2

Vector 17 / 35
 Dạng toàn phương

Dạng toàn phương

Định nghĩa
Cho A ∈ Rn×n là ma trận đối xứng (AT = A), ta có
A xác định dương, ký hiệu A > 0 nếu xT Ax > 0 với mọi x 6= 0,
A nửa xác định dương, ký hiệu A ≥ 0 nếu xT Ax 6= 0 với mọi x,
A xác định âm, ký hiệu A < 0 nếu xT Ax < 0 với mọi x 6= 0,
A nửa xác định âm, ký hiệu A ≤ 0 nếu xT Ax ≤ 0 với mọi x 6= 0,
A không xác định nếu có x1 , x2 sao cho x1 T Ax1 > 0, x1 T Ax1 < 0

Vector 18 / 35
 Dạng toàn phương

Dạng toàn phương

Mệnh đề
Cho A ∈ Rn×n là ma trận đối xứng (AT = A).
A > 0 khi và chỉ khi tất cả các trị riêng của A đều dương,
A ≥ 0 khi và chỉ khi tất cả các trị riêng của A đều không âm,
A < 0 khi và chỉ khi tất cả các trị riêng của A đều âm,
A 6= 0 khi và chỉ khi tất cả các trị riêng của A đều không dương,
A không xác định khi và chỉ khi A có trị riêng dương và có trị
riêng âm.

Vector 19 / 35
 Dạng toàn phương

Dạng toàn phương

Ví dụ
 
3 1 1
Cho ma trận đối xứng 1 0 2.
1 2 0
Ta có ma trận A là ma trận xác định của dạng toàn phương
  

3 1 1 x1
f (x1 , x2 , x3 ) = xT Ax = x1 x2 x3 1 0 2 x2 
1 2 0 x3
= 3x12 + 2x1 x2 + 2x1 x3 + 4x2 x3

Ta có f (0, 1, 1) = 4 > 0 và f (0, 1, −1) = −4 < 0 nên A không xác

định. Ngoài ra, ta có thể tìm các trị riêng của A để kết luận về dạng
toàn phương.
Vector 20 / 35
 Dạng toàn phương

Dạng toàn phương

Ví dụ - SV tự giải
Xác định tính chất của dạng toàn phương sau

f (x1 , x2 , x3 ) = x12 + x22 + x33 − x1 x2 + x1 x3

Vector 21 / 35
 Hàm lồi

Outlines

1 Hàm số nhiều biến

2 Dạng toàn phương

3 Hàm lồi

4 Bài toán bình phương tối tiểu

Vector 22 / 35
 Hàm lồi

Hàm lồi

Hàm số f : Rn −→ R được gọi là lồi(convex) nếu với mọi x, y ∈ Rn

và θ ∈ R sao cho 0 ≤ θ ≤ 1, ta có

f (θx + (1 − θ)y) ≤ θf (x) + (1 − θ)f (y) (1)

Tương tự, f ta nói f là

Lồi ngặt nếu dấu ≤ trong (1) được thay bằng dấu <,
Lõm nếu dấu ≤ trong (1) được thay bằng dấu ≥,
Lõm ngặt nếu dấu ≤ trong (1) được thay bằng dấu >

Nếu f là hàm lồi ( lõm ) thì −f là hàm lõm ( lồi ),

Về mặt hình học, (1) có nghĩa là đoạn thẳng nối (x, f (x)) và
(y, f (y))
Vector 23 / 35
 Hàm lồi

Hàm lồi

Vector 24 / 35
 Hàm lồi

Hàm lồi

Mệnh đề
Cho f : Rn −→ R có đạo hàm liên tục đến cấp 2, các phát biểu sau
là tương đương
i. f là hàm lồi,
ii. f (y) ≥ f (x) + ∇f (x)T (y − x), với mọi x, y ∈ Rn ,
iii. ∇2 f (x) ≥ 0 hay ∇2 f (x) là ma trận nửa xác định dương, với mọi
x ∈ Rn

i. f là hàm lõm,
ii. f (y) ≤ f (x) + ∇f (x)T (y − x), với mọi x, y ∈ Rn ,
iii. ∇2 f (x) ≤ 0 hay ∇2 f (x) là ma trận nửa xác định âm, với mọi
x ∈ Rn
Vector 25 / 35
 Hàm lồi

Hàm lồi
Từ ii., nếu ∇f (x)T = 0 thì f (y) ≥ f (x) với mọi y ∈ Rn nên x là một
điểm cực tiểu toàn cục ( global minimum point ) mà tại đó hàm f
nhận giá trị nhỏ nhất ( minimum value).
Từ iii., ta có thể kiểm tra tính lồi (lõm) của hàm số bằng kĩ thuật
của đại số tuyến tính.

Vector 26 / 35
 Hàm lồi

Hàm lồi

Ví dụ
Với dạng toàn phương

f (x1 , x2 , x3 ) = x12 + x22 + x33 − x1 x2 + x1 x3 , (x1 , x2 , x3 ) ∈ R3

Ta có
 
2x1 − x2 + x3
∇f (x1 , x2 , x3 ) =  2x2 − x1 
2x3 + x1
 
2 −1 1
∇2 f (x1 , x2 , x3 ) =  −1 2 0 
1 0 2

Vector 27 / 35
 Hàm lồi

Hàm lồi

Tìm trị riêng của ma trận trên bằng cách√ giải nghiệm
√ của đa thức
đặc trưng, ta có các tri riêng là 2, 2 + 2, 2 − 2 nên
∇2 f (x1 , x2 , x3 ) ≥ 0.
Do đó nghiệm của phương trình ∇f (x1 , x2 , x3 ) = (0, 0, 0) cho ta cực
tiểu toàn cục của f trên R3 .

Ví dụ - SV tự giải
Khảo sát tính lồi(lõm) và tìm các điểm cực trị toàn cục (nếu có) của
hàm số 3 biến sau

f (x1 , x2 , x3 ) = 4x12 + 3x22 + 6x32 − 4x1 x2 − 4x2 x3

Vector 28 / 35
 Hàm lồi

Hàm lồi

Ví dụ - SV tự giải
Khảo sát tính lồi(lõm) của hàm số 3 biến sau

f (x1 , x2 , x3 ) = 2x12 + x22 + x32 + 2x1 x2 + 2x1 x3

Vector 29 / 35