You are on page 1of 45

HỌC MÁY

MACHINE LEARNING
TỐI ƯU LỒI

TS. TRỊNH HOÀNG NAM


NỘI DUNG
1. Tập lồi và hàm lồi
2. Bài toán tối ưu lồi
3. Đối ngẫu
Tối ưu lồi

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.1. Giới thiệu
1.2. Tập lồi
1.3. Hàm lồi
Tối ưu lồi

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.1. Giới thiệu
Bài toán tối ưu có ràng buộc được biểu diễn dưới
dạng:

𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙) Hàm mục tiêu
𝒙
Tối ưu lồi

𝑇
𝑥=[𝑥 1 , 𝑥 2 , … , 𝑥𝑛 ] Biến tối ưu

thỏa mãn 𝑓 𝑖 ( 𝑥 ) ≤ 0 , 𝑖=1 ,2 , … , 𝑚 Bất phương trình ràng buộc

h 𝑗 ( 𝑥 ) =0 , 𝑗=1 , 2, … , 𝑝 Phương trình ràng buộc

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.1. Giới thiệu
Tập xác định của bài toán tối ưu

𝑫=¿𝒊=𝟏¿𝒎𝒅𝒐𝒎𝒇 𝒊 ∩¿𝒋=𝟏¿𝒑𝒅𝒐𝒎𝒉 𝒋
Tối ưu lồi

Một điểm gọi là điểm khả thi khi nó thỏa mọi ràng buộc fi, hj.
Tập hợp các điểm khả thi (tập ràng buộc) là tập con của tập xác định.

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.1. Giới thiệu
Hàm supremum
Xét một tập .
Một số a được gọi là chặn trên (upper bound) của C nếu x ≤ a, ∀x ∈
Số nhỏ nhất trong số các chặn trên của gọi là chặn trên nhỏ nhất, ký hiệu
Tối ưu lồi

Hàm infimum
Xét một tập .
Một số b được gọi là chặn dưới (lower bound) của C nếu b ≤ x, ∀x ∈
Số lớn nhất trong số các chặn dưới của gọi là chặn dưới lớn nhất, ký hiệu

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.2. Tập lồi
Một cách dễ hiểu, một tập hợp được gọi là tập lồi
(convex set) nếu mọi điểm trên đoạn thẳng nối hai
điểm bất kỳ trong nó đều thuộc tập hợp đó.
Tối ưu lồi

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.2. Tập lồi
Một tập hợp được gọi là một tập lồi (convex set)
nếu với hai điểm bất kỳ , điểm cũng nằm trong với .
Tối ưu lồi

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.3. Hàm lồi
Một hàm số được gọi là một hàm lồi (convex
function) nếu là một tập lồi, và

𝒇 ( 𝜽 𝒙 + ( 𝟏− 𝜽 ) 𝒚 ) ≤ 𝜽 𝒇 ( 𝒙 ) + ( 𝟏 − 𝜽 ) 𝒇 ( 𝒚 )
Tối ưu lồi

∀ 𝐱 , 𝐲 ∈ 𝒅𝒐𝒎𝒇 , 𝟎 ≤ 𝜽 ≤ 𝟏

Nguồn: Vũ Huy Tiệp (2019)


… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.3. Hàm lồi
• Một hàm số là hàm lõm nếu là hàm lồi
• Một số hàm không lồi, không lõm; các hàm tuyến tính
vừa lồi, vừa lõm
Tối ưu lồi

• Nếu làm hàm lồi thì cũng lồi khi a>0 và lõm khi a<0
• Tổng của hai hàm lồi là một hàm lồi, với tập xác định
là giao của hai tập xác định của các hàm đã cho
• Nếu lồi thì cũng lồi trên

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.1. Giới thiệu
2.2. Bài toán tối ưu lồi
2.3. Quy hoạch tuyến tính
2.4. Quy hoạch toàn phương
Tối ưu lồi

2.5. Quy hoạch hình học

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.1. Giới thiệu
Tối ưu lồi

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.2. Bài toán tối ưu lồi
Bài toán tối ưu có ràng buộc được biểu diễn dưới
dạng:

𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙) Hàm mục tiêu
𝒙
Tối ưu lồi

𝑇
𝑥=[𝑥 1 , 𝑥 2 , … , 𝑥𝑛 ] Biến tối ưu

thỏa mãn 𝑓 𝑖 ( 𝑥 ) ≤ 0 , 𝑖=1 ,2 , … , 𝑚 Bất phương trình ràng buộc

h 𝑗 ( 𝑥 ) =𝑎 𝑇𝑗 −𝑏 𝑗 =0 , 𝑗=1 , 2, … ,𝑝 Hàm affine


Phương trình ràng buộc

trong đó là các hàm lồi


… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.2. Bài toán tối ưu lồi
• Tập hợp các điểm thỏa mãn là một tập lồi
• Khi là một hàm lồi, tập các điểm thỏa là tập dưới
mức 0 của và là tập lồi
Tối ưu lồi

• Tập khả thi là một tập lồi (tại sao?)

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.3. Quy hoạch tuyến tính
Bài toán tối ưu có ràng buộc được biểu diễn dưới
dạng:

𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙) Hàm mục tiêu
𝒙
Tối ưu lồi

𝑇
𝑥=[𝑥 1 , 𝑥 2 , … , 𝑥𝑛 ] Biến tối ưu

thỏa mãn 𝑓 𝑖 ( 𝑥 ) ≤ 0 , 𝑖=1 ,2 , … , 𝑚 Bất phương trình ràng buộc

h 𝑗 ( 𝑥 ) =𝑎 𝑇𝑗 −𝑏 𝑗 =0 , 𝑗=1 , 2, … ,𝑝 Hàm affine


Phương trình ràng buộc

trong đó là các affine


… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.3. Quy hoạch tuyến tính
• Dạng tổng quát
𝑻
𝒙=𝐚𝐫𝐠𝐦𝐢𝐧 𝒄 𝒙 + 𝒅
𝒙
Tối ưu lồi

thỏa mãn

𝑮𝒙 ≼ 𝒉 𝑨𝒙 =𝒃
trong đó
𝑚𝑥𝑛 𝑚 𝑝𝑥𝑛 𝑝 𝑛
𝐺∈ℝ , h∈ ℝ , 𝐴∈ ℝ , 𝑏∈ ℝ ,𝑐 , 𝑥 ∈ ℝ , 𝑑 ∈ ℝ

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.3. Quy hoạch tuyến tính
• Dạng tiêu chuẩn
𝑻
𝒙=𝐚𝐫𝐠𝐦𝐢𝐧 𝒄 𝒙
𝒙
Tối ưu lồi

thỏa mãn 𝑨𝒙 =𝒃
𝑥 ≽0

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.3. Quy hoạch tuyến tính
• Ví dụ Bài toán canh tác
– Một anh nông dân có tổng cộng 10 ha đất canh tác. Anh dự
tính trồng cà phê và hồ tiêu trên diện tích đất này với tổng chi
phí cho việc trồng không quá 16 tr (triệu đồng).
Tối ưu lồi

– Chi phí để trồng cà phê là 2 tr/ha, hồ tiêu là 1 tr/ha.


– Thời gian trồng cà phê là 1 ngày/ha và hồ tiêu là 4 ngày/ha;
trong khi anh chỉ có thời gian tổng cộng 32 ngày.
– Sau khi trừ tất cả chi phí (bao gồm chi phí trồng cây), mỗi ha
cà phê mang lại lợi nhuận 5 tr, mỗi ha hồ tiêu mang lại lợi
nhuận 3 tr.
– Hỏi anh phải quy hoạch như thế nào để tối đa lợi nhuận?
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.3. Quy hoạch tuyến tính
• Ví dụ Bài toán canh tác
– Gọi x và y lần lượt là số ha cà phê và hồ tiêu mà anh
nông dân nên trồng.
Tối ưu lồi

– Lợi nhuận (hàm mục tiêu) f(x, y) = 5x + 3y (triệu đồng)


– Các ràng buộc trong bài toán:
• Tổng diện tích trồng không vượt quá 10 ha: x + y ≤ 10.
• Tổng chi phí trồng không vượt quá 16 tr: 2x + y ≤ 16.
• Tổng thời gian trồng không vượt quá 32 ngày: x + 4y ≤ 32.
• Diện tích cà phê và hồ tiêu là các số không âm: x, y ≥ 0.
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.3. Quy hoạch tuyến tính
• Ví dụ Bài toán canh tác
( 𝒙 , 𝒚 ) =𝒂𝒓𝒈 𝐦𝐚𝐱 𝟓 𝒙 +𝟑 𝒚
𝒙, 𝒚
– Thỏa mãn
Tối ưu lồi

[ ] []
• x + y ≤ 10
1 1 10
• 2x + y ≤ 16 2 1 16
• x + 4y ≤ 32 𝐺= 1 4 h= 32
−1 0 0
• x, y ≥ 0 0 −1 0

Minh họa
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch toàn phương
• Dạng tổng quát
𝑻
𝟏 𝑻
𝒙=𝐚𝐫𝐠𝐦𝐢𝐧 𝒙 𝑷𝒙 +𝒒 𝒙+ 𝒓
𝟐
Tối ưu lồi

𝒙
thỏa mãn

𝑮𝒙 ≼ 𝒉 𝑨𝒙 =𝒃
trong đó P là ma trận vuông nửa xác định dương bậc n
𝑚𝑥𝑛 𝑚 𝑝𝑥𝑛 𝑝 𝑛
𝐺∈ℝ , h∈ ℝ , 𝐴∈ ℝ , 𝑏∈ ℝ ,𝑐 , 𝑥 ∈ ℝ , 𝑑 ∈ ℝ

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch toàn phương
• Bài toán đa diện
– Cho một đa diện là tập hợp điểm thoả mãn và một điểm
u, tìm điểm x thuộc đa diện đó sao cho khoảng cách
Tối ưu lồi

Euclid giữa x và u là nhỏ nhất.


– Đây là bài toán quy hoạch toàn phương có dạng
𝟏 𝟐
𝒙=𝐚𝐫𝐠𝐦𝐢𝐧 ‖ 𝒙 −𝒖‖𝟐
𝒙 𝟐
thỏa mãn 𝑮𝒙 ≼ 𝒉
𝟏 𝟐 𝟏 𝟏 𝟏
‖ 𝒙 −𝒖‖𝟐 = ( 𝒙 −𝒖 )𝑻 ( 𝒙 − 𝒖) = 𝒙 𝑻 𝒙 −𝒖𝑻𝒙 + 𝒖 𝑻 𝒖
𝟐 𝟐 𝟐 𝟐
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch toàn phương
• Ví dụ Bài toán đa diện
– Một hòn đảo có dạng đa giác lồi.
– Một con thuyền ở ngoài biển cần đi theo hướng nào để
Tối ưu lồi

tới đảo nhanh nhất


– Giả sử rằng tốc độ của sóng và gió bằng không.

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch toàn phương
• Ví dụ Bài toán đa diện ( 𝒙 , 𝒚 ) =𝒂𝒓𝒈 𝐦 𝒊𝒏 ( 𝒙 −𝟏𝟎)𝟐 +( 𝒚 −𝟏𝟎 )𝟐
𝒙,𝒚

𝑃=
[ 1
0
0
1 ] 𝑞=[ −10 −10 ]
Tối ưu lồi

[ ] []
1 1 10
2 1 16
𝐺= 1 4 h= 32
−1 0 0
0 −1 0

Minh họa
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch hình học
• Đơn thức và đa thức
– Một hàm số với tập xác định (tất cả các phần tử đều
dương) có dạng:

Tối ưu lồi

trong đó c>0 và ai∈R,


được gọi là một đơn thức (monomial)
– Tổng của 𝑲các đơn thức
𝒇 ( 𝒙)=∑ 𝒄𝒌 𝒙 𝒂𝟏 𝒌
𝟏
𝒂𝟐 𝒌
𝒙 …𝒙
𝟐
𝒂𝒏 𝒌
𝒏
𝒌=𝟏
trong đó ck>0
được gọi là đa thức
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch hình học
Bài toán tối ưu có ràng buộc được biểu diễn dưới
dạng:

𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙)
𝒙
Tối ưu lồi

thỏa mãn 𝑓 𝑖 ( 𝑥 ) ≤ 1 ,𝑖=1 , 2 ,… ,𝑚

h 𝑗 ( 𝑥 ) =1 , 𝑗=1 , 2 , … , 𝑝

trong đó là đa thức, h1,…,hp là đơn thức

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch hình học
Biến đổi đơn thức thành hàm lồi

Đặt , hay
Tối ưu lồi

Biến đổi đa thức thành hàm lồi


𝑲
𝒇 ( 𝒙 ) = ∑ 𝒆𝒙𝒑 ( 𝒂 𝒚 +𝒃𝒌 )=𝒈( 𝒚) 𝑻
𝒌
𝒌=𝟏
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch hình học
Bài toán quy hoạch hình học được viết lại:
𝑲𝟎
𝒚 =𝐚𝐫𝐠𝐦𝐢𝐧 ∑ 𝒆𝒙𝒑 (𝒂 𝒚 +𝒃𝟎𝒌)
∗ 𝑻
𝟎𝒌
Tối ưu lồi

𝒚 𝒊=𝟏
𝐾𝑖

thỏa mãn ∑ exp ⁡( a T


ik y +bik)≤ 1 ,𝑖=1 ,2 , …, 𝑚
𝑖=1

exp ⁡(𝑔 𝑇𝑗 𝑦 +h𝑗)=1 , 𝑗=1 , 2 , … , 𝑝

trong đó và
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch hình học
• Ví dụ Bài toán đóng thùng
– Một công ty phải chuyển 400m3 cát tới địa điểm xây dựng ở bên
kia sông bằng cách thuê một chiếc xà lan với chi phí vận chuyển
100k cho một lượt đi về
Tối ưu lồi

– Công ty phải thiết kế một thùng hình hộp chữ nhật không cần nắp
đặt trên xà lan để đựng cát
• Chi phí sản xuất các mặt xung quanh là 1 tr/m2 và mặt đáy là 2 tr/m2
– Để tổng chi phí vận chuyển là nhỏ nhất, chiếc thùng cần được thiết
kế như thế nào? Để đơn giản hóa bài toán, giả sử cát chỉ được đổ
ngang hoặc thấp hơn với phần trên của thành thùng, không đổ
thành ngọn. Để đơn giản hơn nữa, giả sử thêm rằng xà lan có thể
chở được thùng có kích thước vô hạn và khối lượng vô hạn (không
được đổ trực tiếp cát lên mặt xà lan).
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch hình học
• Ví dụ Bài toán đóng thùng
– Giả sử chiếc thùng cần làm có chiều dài, chiều rộng,
chiều cao lần lượt là x, y, z. Thể tích của thùng là xyz.
Tối ưu lồi

– Chi phí thuê xà lan:


• Số chuyến xà lan phải thuê là 400/xyz -> số tiền 40(xyz)-1
(triệu)
– Chi phí làm thùng:
• Diện tích xung quanh của thùng là 2(x + y)z. Diện tích đáy là
xy. -> chi phí làm thùng là 2(x + y)z + 2xy = 2(xy + yz + zx).
– Tổng chi phí:
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch hình học
• Ví dụ Bài toán đóng thùng
Tối ưu lồi

[ ]
−1 1 0 1
𝐹 = −1 1 1 0
−1 0 1 1

𝐺=[ l og ⁡( 40) log ⁡(2) log ⁡( 2) log ⁡(2) ]

Minh họa
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.1. Giới thiệu
3.2. Hàm đối ngẫu Lagrange
3.3. Bài toán đối ngẫu Lagrange
3.4. Các điều kiện tối ưu
Tối ưu lồi

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.1. Giới thiệu
Bài toán tối ưu chỉ có một phương trình ràng buộc:

𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙)
𝒙
Tối ưu lồi

thỏa mãn 𝑓 1 ( 𝑥 )= 0

trong đó, hàm mục tiêu, hàm ràng buộc không


nhất thiết phải là hàm lồi

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.2. Hàm đối ngẫu Lagrange
Bài toán tối ưu tổng quát:

𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙)
𝒙
Tối ưu lồi

thỏa mãn 𝑓 𝑖 ( 𝑥 ) ≤ 1 ,𝑖=1 , 2 ,… ,𝑚

h 𝑗 ( 𝑥 ) =1 , 𝑗=1 , 2 , … , 𝑝

với tập xác định 𝑫=¿𝒊=𝟏¿𝒎𝒅𝒐𝒎𝒇 𝒊 ∩¿𝒋=𝟏¿𝒑𝒅𝒐𝒎𝒉 𝒋≠ ∅


… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.2. Hàm đối ngẫu Lagrange
Hàm số Lagrange cũng được xây dựng tương tự với
mỗi nhân tử Lagrange cho một (bất) phương trình
ràng buộc:
Tối ưu lồi

𝑚 𝑝
ℒ ( 𝑥 , 𝜆,𝜈 )= 𝑓 0 ( 𝑥 ) + ∑ 𝜆𝑖 𝑓 𝑖 (𝑥 )+ ∑ 𝜈 𝑗 h 𝑗 (𝑥 )
𝑖=1 𝑗=1

trong đó , là các biến đối ngẫu hoặc vector nhân tử Lagrange

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.2. Hàm đối ngẫu Lagrange
Hàm đối ngẫu Lagrange của bài toán tối ưu (viết gọn
là hàm số đối ngẫu):
𝑚 𝑝
𝑔 ( 𝜆,𝜈 )= inf ℒ ( 𝑥 , 𝜆, 𝜈 ) = inf ( 𝑓 0 ( 𝑥 ) + ∑ 𝜆𝑖 𝑓 𝑖 ( 𝑥 ) + ∑ 𝜈 𝑗 h 𝑗 ( 𝑥 ))
Tối ưu lồi

𝑥∈ 𝐷 𝑥 ∈𝐷 𝑖=1 𝑗=1

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.2. Hàm đối ngẫu Lagrange
• Hàm đối ngẫu của một bài toán tối ưu bất kỳ là một
hàm lõm, bất kể bài toán tối ưu đó có là bài toán tối
ưu lồi hay không
Tối ưu lồi

• Nếu p* là giá trị tối ưu của bài toán tổng quát, thì
với các biến đối ngẫu i ≥ 0, ∀i và  bất kỳ, ta sẽ có

𝒈 ( 𝝀 , 𝝂 )≤ 𝒑
Giá trị tối ưu của hàm mục tiêu trong bài toán chính không nhỏ
hơn giá trị lớn nhất của hàm đối ngẫu Lagrange

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.3. Bài toán đối ngẫu Lagrange
• Với mỗi cặp , hàm đối ngẫu Lagrange cho một chặn
dưới cho giá trị tối ưu p∗ của bài toán chính.
• Câu hỏi đặt ra là: cặp giá trị nào của
Tối ưu lồi

sẽ cho chặn dưới lớn nhất của p*


• Bài toán đối ngẫu Lagrange
∗ ∗
𝝀 , 𝝂 = 𝐚𝐫𝐠𝐦𝐢𝐧 𝒈 (𝝀 , 𝝂)
𝝀, 𝝂

thỏa mãn 𝝀 ≽ 𝟎 , 𝒈 ( 𝝀 , 𝝂 ) ≻ − ∞
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.3. Bài toán đối ngẫu Lagrange
• Giá trị tối ưu của bài toán đối ngẫu Lagrange là d*
– (tính chất đối ngẫu yếu – weak duality)
• Nếu thì hay bài toán đối ngẫu bất khả thi
Tối ưu lồi

• Nếu thì hay bài toán chính bất khả thi

– Cách biệt đối ngẫu tối ưu (không âm)


• Việc tìm d* thường đơn giản hơn tìm p* do bài toán
đối ngẫu luôn luôn là lồi

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.3. Bài toán đối ngẫu Lagrange
• Giá trị tối ưu của bài toán đối ngẫu Lagrange là d*
– (tính chất đối ngẫu mạnh – strong duality)
• Nếu thì hay bài toán đối ngẫu bất khả thi
Tối ưu lồi

• Nếu thì hay bài toán chính bất khả thi

– Việc giải bài toán đối ngẫu giúp tìm chính xác giá trị tối
ưu của bài toán gốc
– Tuy nhiên, đối ngẫu mạnh không thường xuyên xảy ra,
từ đó dẫn tới sự ra đời của các tiêu chuẩn ràng buộc

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.3. Bài toán đối ngẫu Lagrange
• Bài toán tối ưu gốc

𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙)
𝒙
Tối ưu lồi

thỏa mãn 𝑓 𝑖 ( 𝑥 ) ≤ 0 , 𝑖=1 ,2 , … , 𝑚 𝐴𝑥=𝑏


trong đó là các hàm lồi
• Khả thi chặt
– Một điểm khả thi của bài toán gốc gọi là khả thi chặt nếu

𝑓 𝑖 ( 𝑥 ) < 0 , 𝑖=1 , 2 , … ,𝑚 𝐴𝑥=𝑏


… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.3. Bài toán đối ngẫu Lagrange
• Bài toán tối ưu chính

𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙)
𝒙
Tối ưu lồi

thỏa mãn 𝑓 𝑖 ( 𝑥 ) ≤ 0 , 𝑖=1 ,2 , … , 𝑚 𝐴𝑥=𝑏


trong đó là các hàm lồi
• Tiêu chuẩn ràng buộc Slater
– Nếu bài toán chính là bài toán tối ưu lồi và tồn tại một
điểm khả thi chặt thì đối ngẫu mạnh xảy ra

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.4. Các điều kiện tối ưu
• Điều kiện lỏng lẻo bù trừ
– Giả sử đối ngẫu mạnh xảy ra, là điểm tối ưu của bài
toán chính và là cặp điểm tối ưu của bài toán đối ngẫu
Tối ưu lồi

– Khi đó:
𝜆 ∗𝑖 𝑓 𝑖 ( 𝑥∗ ) =0 , ∀ 𝑖

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.4. Các điều kiện tối ưu
• Điều kiện Karush-Kuhn-Tucker (KKT)
– Giả sử đối ngẫu mạnh xảy ra, là điểm tối ưu của bài
toán chính và bài toán đối ngẫu
Tối ưu lồi

– Khi đó phải thỏa mãn


𝑓 𝑖 ( 𝒙 ∗ ) ≤ 0 ,𝑖=1 , 2 , … ,𝑚

h 𝑗 ( 𝒙 ∗ ) =1 , 𝑗=1 ,2 , … , 𝑝

𝜆 ≥ 0 , 𝑖=1 , 2 , … , 𝑚
𝑖
𝑖 𝑓 𝑖 ( 𝑥 ) =0 , 𝑖=1 ,2 , … , 𝑚
𝜆∗ ∗

𝑚 𝑝
𝛻 𝑥 𝑓 0 ( 𝑥∗ ) + ∑ 𝜆∗𝑖 𝛻 𝑥 𝑓 𝑖 ( 𝑥 ∗ ) + ∑ 𝜈∗𝑗 𝛻 𝑥 h 𝑗 (𝑥 ∗)=0
𝑖=1 𝑗=1
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
TÓM TẮT
1. Tập lồi và hàm lồi
2. Bài toán tối ưu lồi
3. Đối ngẫu
Tối ưu lồi

… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam

You might also like