Professional Documents
Culture Documents
Chap05-Toi Uu Loi
Chap05-Toi Uu Loi
MACHINE LEARNING
TỐI ƯU LỒI
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.1. Giới thiệu
1.2. Tập lồi
1.3. Hàm lồi
Tối ưu lồi
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.1. Giới thiệu
Bài toán tối ưu có ràng buộc được biểu diễn dưới
dạng:
∗
𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙) Hàm mục tiêu
𝒙
Tối ưu lồi
𝑇
𝑥=[𝑥 1 , 𝑥 2 , … , 𝑥𝑛 ] Biến tối ưu
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.1. Giới thiệu
Tập xác định của bài toán tối ưu
𝑫=¿𝒊=𝟏¿𝒎𝒅𝒐𝒎𝒇 𝒊 ∩¿𝒋=𝟏¿𝒑𝒅𝒐𝒎𝒉 𝒋
Tối ưu lồi
Một điểm gọi là điểm khả thi khi nó thỏa mọi ràng buộc fi, hj.
Tập hợp các điểm khả thi (tập ràng buộc) là tập con của tập xác định.
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.1. Giới thiệu
Hàm supremum
Xét một tập .
Một số a được gọi là chặn trên (upper bound) của C nếu x ≤ a, ∀x ∈
Số nhỏ nhất trong số các chặn trên của gọi là chặn trên nhỏ nhất, ký hiệu
Tối ưu lồi
Hàm infimum
Xét một tập .
Một số b được gọi là chặn dưới (lower bound) của C nếu b ≤ x, ∀x ∈
Số lớn nhất trong số các chặn dưới của gọi là chặn dưới lớn nhất, ký hiệu
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.2. Tập lồi
Một cách dễ hiểu, một tập hợp được gọi là tập lồi
(convex set) nếu mọi điểm trên đoạn thẳng nối hai
điểm bất kỳ trong nó đều thuộc tập hợp đó.
Tối ưu lồi
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.2. Tập lồi
Một tập hợp được gọi là một tập lồi (convex set)
nếu với hai điểm bất kỳ , điểm cũng nằm trong với .
Tối ưu lồi
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
1. TẬP LỒI và HÀM LỒI
1.3. Hàm lồi
Một hàm số được gọi là một hàm lồi (convex
function) nếu là một tập lồi, và
𝒇 ( 𝜽 𝒙 + ( 𝟏− 𝜽 ) 𝒚 ) ≤ 𝜽 𝒇 ( 𝒙 ) + ( 𝟏 − 𝜽 ) 𝒇 ( 𝒚 )
Tối ưu lồi
∀ 𝐱 , 𝐲 ∈ 𝒅𝒐𝒎𝒇 , 𝟎 ≤ 𝜽 ≤ 𝟏
• Nếu làm hàm lồi thì cũng lồi khi a>0 và lõm khi a<0
• Tổng của hai hàm lồi là một hàm lồi, với tập xác định
là giao của hai tập xác định của các hàm đã cho
• Nếu lồi thì cũng lồi trên
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.1. Giới thiệu
2.2. Bài toán tối ưu lồi
2.3. Quy hoạch tuyến tính
2.4. Quy hoạch toàn phương
Tối ưu lồi
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.1. Giới thiệu
Tối ưu lồi
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.2. Bài toán tối ưu lồi
Bài toán tối ưu có ràng buộc được biểu diễn dưới
dạng:
∗
𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙) Hàm mục tiêu
𝒙
Tối ưu lồi
𝑇
𝑥=[𝑥 1 , 𝑥 2 , … , 𝑥𝑛 ] Biến tối ưu
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.3. Quy hoạch tuyến tính
Bài toán tối ưu có ràng buộc được biểu diễn dưới
dạng:
∗
𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙) Hàm mục tiêu
𝒙
Tối ưu lồi
𝑇
𝑥=[𝑥 1 , 𝑥 2 , … , 𝑥𝑛 ] Biến tối ưu
thỏa mãn
𝑮𝒙 ≼ 𝒉 𝑨𝒙 =𝒃
trong đó
𝑚𝑥𝑛 𝑚 𝑝𝑥𝑛 𝑝 𝑛
𝐺∈ℝ , h∈ ℝ , 𝐴∈ ℝ , 𝑏∈ ℝ ,𝑐 , 𝑥 ∈ ℝ , 𝑑 ∈ ℝ
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.3. Quy hoạch tuyến tính
• Dạng tiêu chuẩn
𝑻
𝒙=𝐚𝐫𝐠𝐦𝐢𝐧 𝒄 𝒙
𝒙
Tối ưu lồi
thỏa mãn 𝑨𝒙 =𝒃
𝑥 ≽0
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.3. Quy hoạch tuyến tính
• Ví dụ Bài toán canh tác
– Một anh nông dân có tổng cộng 10 ha đất canh tác. Anh dự
tính trồng cà phê và hồ tiêu trên diện tích đất này với tổng chi
phí cho việc trồng không quá 16 tr (triệu đồng).
Tối ưu lồi
[ ] []
• x + y ≤ 10
1 1 10
• 2x + y ≤ 16 2 1 16
• x + 4y ≤ 32 𝐺= 1 4 h= 32
−1 0 0
• x, y ≥ 0 0 −1 0
Minh họa
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch toàn phương
• Dạng tổng quát
𝑻
𝟏 𝑻
𝒙=𝐚𝐫𝐠𝐦𝐢𝐧 𝒙 𝑷𝒙 +𝒒 𝒙+ 𝒓
𝟐
Tối ưu lồi
𝒙
thỏa mãn
𝑮𝒙 ≼ 𝒉 𝑨𝒙 =𝒃
trong đó P là ma trận vuông nửa xác định dương bậc n
𝑚𝑥𝑛 𝑚 𝑝𝑥𝑛 𝑝 𝑛
𝐺∈ℝ , h∈ ℝ , 𝐴∈ ℝ , 𝑏∈ ℝ ,𝑐 , 𝑥 ∈ ℝ , 𝑑 ∈ ℝ
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch toàn phương
• Bài toán đa diện
– Cho một đa diện là tập hợp điểm thoả mãn và một điểm
u, tìm điểm x thuộc đa diện đó sao cho khoảng cách
Tối ưu lồi
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch toàn phương
• Ví dụ Bài toán đa diện ( 𝒙 , 𝒚 ) =𝒂𝒓𝒈 𝐦 𝒊𝒏 ( 𝒙 −𝟏𝟎)𝟐 +( 𝒚 −𝟏𝟎 )𝟐
𝒙,𝒚
𝑃=
[ 1
0
0
1 ] 𝑞=[ −10 −10 ]
Tối ưu lồi
[ ] []
1 1 10
2 1 16
𝐺= 1 4 h= 32
−1 0 0
0 −1 0
Minh họa
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch hình học
• Đơn thức và đa thức
– Một hàm số với tập xác định (tất cả các phần tử đều
dương) có dạng:
…
Tối ưu lồi
h 𝑗 ( 𝑥 ) =1 , 𝑗=1 , 2 , … , 𝑝
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch hình học
Biến đổi đơn thức thành hàm lồi
…
Đặt , hay
Tối ưu lồi
𝒚 𝒊=𝟏
𝐾𝑖
trong đó và
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch hình học
• Ví dụ Bài toán đóng thùng
– Một công ty phải chuyển 400m3 cát tới địa điểm xây dựng ở bên
kia sông bằng cách thuê một chiếc xà lan với chi phí vận chuyển
100k cho một lượt đi về
Tối ưu lồi
– Công ty phải thiết kế một thùng hình hộp chữ nhật không cần nắp
đặt trên xà lan để đựng cát
• Chi phí sản xuất các mặt xung quanh là 1 tr/m2 và mặt đáy là 2 tr/m2
– Để tổng chi phí vận chuyển là nhỏ nhất, chiếc thùng cần được thiết
kế như thế nào? Để đơn giản hóa bài toán, giả sử cát chỉ được đổ
ngang hoặc thấp hơn với phần trên của thành thùng, không đổ
thành ngọn. Để đơn giản hơn nữa, giả sử thêm rằng xà lan có thể
chở được thùng có kích thước vô hạn và khối lượng vô hạn (không
được đổ trực tiếp cát lên mặt xà lan).
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
2. BÀI TOÁN TỐI ƯU LỒI
2.4. Quy hoạch hình học
• Ví dụ Bài toán đóng thùng
– Giả sử chiếc thùng cần làm có chiều dài, chiều rộng,
chiều cao lần lượt là x, y, z. Thể tích của thùng là xyz.
Tối ưu lồi
[ ]
−1 1 0 1
𝐹 = −1 1 1 0
−1 0 1 1
Minh họa
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.1. Giới thiệu
3.2. Hàm đối ngẫu Lagrange
3.3. Bài toán đối ngẫu Lagrange
3.4. Các điều kiện tối ưu
Tối ưu lồi
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.1. Giới thiệu
Bài toán tối ưu chỉ có một phương trình ràng buộc:
∗
𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙)
𝒙
Tối ưu lồi
thỏa mãn 𝑓 1 ( 𝑥 )= 0
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.2. Hàm đối ngẫu Lagrange
Bài toán tối ưu tổng quát:
∗
𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙)
𝒙
Tối ưu lồi
h 𝑗 ( 𝑥 ) =1 , 𝑗=1 , 2 , … , 𝑝
𝑚 𝑝
ℒ ( 𝑥 , 𝜆,𝜈 )= 𝑓 0 ( 𝑥 ) + ∑ 𝜆𝑖 𝑓 𝑖 (𝑥 )+ ∑ 𝜈 𝑗 h 𝑗 (𝑥 )
𝑖=1 𝑗=1
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.2. Hàm đối ngẫu Lagrange
Hàm đối ngẫu Lagrange của bài toán tối ưu (viết gọn
là hàm số đối ngẫu):
𝑚 𝑝
𝑔 ( 𝜆,𝜈 )= inf ℒ ( 𝑥 , 𝜆, 𝜈 ) = inf ( 𝑓 0 ( 𝑥 ) + ∑ 𝜆𝑖 𝑓 𝑖 ( 𝑥 ) + ∑ 𝜈 𝑗 h 𝑗 ( 𝑥 ))
Tối ưu lồi
𝑥∈ 𝐷 𝑥 ∈𝐷 𝑖=1 𝑗=1
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.2. Hàm đối ngẫu Lagrange
• Hàm đối ngẫu của một bài toán tối ưu bất kỳ là một
hàm lõm, bất kể bài toán tối ưu đó có là bài toán tối
ưu lồi hay không
Tối ưu lồi
• Nếu p* là giá trị tối ưu của bài toán tổng quát, thì
với các biến đối ngẫu i ≥ 0, ∀i và bất kỳ, ta sẽ có
∗
𝒈 ( 𝝀 , 𝝂 )≤ 𝒑
Giá trị tối ưu của hàm mục tiêu trong bài toán chính không nhỏ
hơn giá trị lớn nhất của hàm đối ngẫu Lagrange
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.3. Bài toán đối ngẫu Lagrange
• Với mỗi cặp , hàm đối ngẫu Lagrange cho một chặn
dưới cho giá trị tối ưu p∗ của bài toán chính.
• Câu hỏi đặt ra là: cặp giá trị nào của
Tối ưu lồi
thỏa mãn 𝝀 ≽ 𝟎 , 𝒈 ( 𝝀 , 𝝂 ) ≻ − ∞
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.3. Bài toán đối ngẫu Lagrange
• Giá trị tối ưu của bài toán đối ngẫu Lagrange là d*
– (tính chất đối ngẫu yếu – weak duality)
• Nếu thì hay bài toán đối ngẫu bất khả thi
Tối ưu lồi
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.3. Bài toán đối ngẫu Lagrange
• Giá trị tối ưu của bài toán đối ngẫu Lagrange là d*
– (tính chất đối ngẫu mạnh – strong duality)
• Nếu thì hay bài toán đối ngẫu bất khả thi
Tối ưu lồi
– Việc giải bài toán đối ngẫu giúp tìm chính xác giá trị tối
ưu của bài toán gốc
– Tuy nhiên, đối ngẫu mạnh không thường xuyên xảy ra,
từ đó dẫn tới sự ra đời của các tiêu chuẩn ràng buộc
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.3. Bài toán đối ngẫu Lagrange
• Bài toán tối ưu gốc
∗
𝒙 =𝐚𝐫𝐠𝐦𝐢𝐧 𝒇 𝟎 ( 𝒙)
𝒙
Tối ưu lồi
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.4. Các điều kiện tối ưu
• Điều kiện lỏng lẻo bù trừ
– Giả sử đối ngẫu mạnh xảy ra, là điểm tối ưu của bài
toán chính và là cặp điểm tối ưu của bài toán đối ngẫu
Tối ưu lồi
– Khi đó:
𝜆 ∗𝑖 𝑓 𝑖 ( 𝑥∗ ) =0 , ∀ 𝑖
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
3. ĐỐI NGẪU
3.4. Các điều kiện tối ưu
• Điều kiện Karush-Kuhn-Tucker (KKT)
– Giả sử đối ngẫu mạnh xảy ra, là điểm tối ưu của bài
toán chính và bài toán đối ngẫu
Tối ưu lồi
h 𝑗 ( 𝒙 ∗ ) =1 , 𝑗=1 ,2 , … , 𝑝
∗
𝜆 ≥ 0 , 𝑖=1 , 2 , … , 𝑚
𝑖
𝑖 𝑓 𝑖 ( 𝑥 ) =0 , 𝑖=1 ,2 , … , 𝑚
𝜆∗ ∗
𝑚 𝑝
𝛻 𝑥 𝑓 0 ( 𝑥∗ ) + ∑ 𝜆∗𝑖 𝛻 𝑥 𝑓 𝑖 ( 𝑥 ∗ ) + ∑ 𝜈∗𝑗 𝛻 𝑥 h 𝑗 (𝑥 ∗)=0
𝑖=1 𝑗=1
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam
TÓM TẮT
1. Tập lồi và hàm lồi
2. Bài toán tối ưu lồi
3. Đối ngẫu
Tối ưu lồi
… những bước chập chững vào thế giới Khoa học dữ liệu … TS. Trịnh Hoàng Nam