Professional Documents
Culture Documents
Andreani 2017
Andreani 2017
Roberto Andreania, Roger Behlingb, Gabriel Haeserc and Paulo J.S. Silvaa∗
Trong bài viết này chúng tôi sẽ trình bày các điều kiện yếu mới đảm bảo hiệu lực
của các điều kiện cần tối ưu cấp hai SOC trong tối ưu phi tuyến. Chúng tôi có thể
chứng minh rằng SOC mạnh và yếu đúng với mọi nhân tử Lagrange bằng cách sử
dụng các giả thiết dạng Abadie. Chúng tôi cũng chứng minh các điều kiện đó cho ít
nhất một nhân tử Lagrange bằng điều kiện chính quy Mangasarian–Fromovitz và
giả thiết hạng không đổi yếu.
1. Giới thiệu
Điều kiện tối ưu đóng vai trò quan trọng trong nghiên cứu các bài toán tối ưu phi
tuyến. Trong số đo, có thể cho rằng các điều kiện Karush–Kuhn–Tucker (KKT)
là điểu kiện được biết đến nhiều nhất, đảm bảo tính dừng cấp một
[9,10,13,17,18,21]. Mục tiêu chính của chúng là khẳng định không có hướng
giảm cho hàm mục tiêu mà vẫn khả thi theo cấp một . Các điều kiện cấp hai cố
gắng hoàn thành hình ảnh này, đảm bảo các hướng không dốc cũng không phải
là hướng cong âm. Bài viết này nghiên cứu các điều kiện đảm bảo hiệu lực của
các điều kiện cấp hai tại cực tiểu địa phương, tức là chúng tôi quan tâm đến các
trường hợp mà các điều kiện cấp hai là cần thiết.
Cho một cực tiểu địa phương , định nghĩa của các điều kiện cấp hai bắt đầu
bằng việc xác định nón các hướng tới hạn mà ở đó thông tin cấp một không đủ
để khẳng định tính tối ưu. Nón này được gọi là nón tới hạn (mạnh) và kí hiệu là
Thực ra nếu như nó không phải là hướng dốc cho hàm mục
tiêu hay hướng trực tiếp dẫn đến các điểm không khả thi. Xem chi tiết tại Định
nghĩa 2.1. SOC (mạnh) phát biểu rằng các hướng ( tới hạn), theo cấp một, không
phải là hướng giảm của hàm Lagrange bắt đầu từ điểm Nói cách
khác, điều kiện cấp hai đó phát biểu rằng có vẻ là một cực tiểu địa phương
theo cấp hai của hàm Lagrange với các nhân tử cố định trong mọi hướng của
nón tới hạn. Điều kiện cần cấp hai cũng có phiên bản yếu hơn xuất hiện một
cách tự nhiên trong bối cảnh phân tích các thuật toán. [3,14,16]. Xem lại định
nghĩa 2.1.
Việc phát biểu các SOC này có sử dụng các nhân tử cùng với tạo
thành bộ ba KKT. Do đó, chúng phụ thuộc vào hiệu lực của điều kiện KKT tại
. Điều này có thể được đảm bảo bởi một điều kiện chính quy (cấp một). Điều
kiện chính quy đầu tiên và vẫn được sử dụng nhiều nhất là điều kiện các
gradient của các ràng buộc tích cực độc lập tuyến tính tại Mặc dù nó khá hạn
chế, tính chính quy nói trên vẫn được sử dụng rộng rãi bởi sự giản đơn và các
tính chất đặc biệt của nó, giống như sự duy nhất của nhân tử.
Có rất nhiều điều kiện chính quy cấp một trình bày trong tài liệu, hai trong số
chúng có vai trò rất quan trọng trong bài viết này. Điều kiện chính quy
Mangasarian–Fromovitz MFCQ là một mở rộng của tính chính quy hợp với các
ràng buộc bất đẳng thức hơn [19]. Nó yêu cầu các gradient của ràng buộc tích
cực phải độclập tuyến tính dương, với các nhân tử dương liên kết với các bất
đẳng thức [22]. Một điều kiện chính quy tổng quát quan trọng khác được giới
thiệu bởi Abadie [1],phát biểu là nón liên kết với ràng buộc được tuyến tính hóa
trùng với nón tiếp xúc (hình học) với tập khả dĩ.
Trong phạm vi các điều kiện cấp hai, điều kiện thông thường là tính chính quy.
Một trong những lợi ích của nó là việc đảm bảo sự tồn tại của một nhân tử duy
nhất giúp đơn giản hóa định nghĩa của SOC. Thực chất hầu hết các quyển sách
về tối ưu phi tuyến chỉ định nghĩa điều kiện cấp hai dưới giả thiết này
[9,10,13,17,18,21]. Một vấn đề nảy sinh là ở dưới những điều kiện nào các ràng
buộc phải thỏa mãn đảm bảo hiệu lực của một điều kiện cần cấp hai. Mục đích
chính là tìm các điều kiện ít chặt hơn tính chính quy.
Một phản ví dụ bởi Arutyunov, khám phá lại vởi Anitescu, chỉ ra rằng mở rộng
tự nhiên của tính chính quy, MFCQ, không kéo theo điều kiện tối ưu cấp hai cả
mạnh lẫn yếu [5,6]. Nghiên cứu về SOC được trình bày dưới hai lập luận chính
sau: tận dụng giả thiết điều kiện hạng không đổi và chứng minh SOC mạnh đúng
với mọi nhân tử Lagrange [2,4,20], hoặc sử dụng MFCQ và điều kiện bổ sung
nào đó để chỉ ra rằng tồn tại ít nhất một nhân tử Lagrange mà SOC mạnh thỏa
mãn [7,8].
Một nghiên cứu khác về các điều kiện tối ưu cấp hai có quan hệ với các điều
kiện cần, mà không có các điều kiện chính quy, yêu cầu tính nửa xác định dương
nghiêm ngặt trên cùng một nón tới hạn. Những điều kiện này dựa trên các nhân
tử Fritz-John , trong đó hàm mục tiêu có thể không xét đến. CHúng cũng phụ
thuộc vào tập đầy đủ các nhân tử Lagrange , vì sự xác minh tính nửa xác định
dương nên được trình bày theo cực đại của dạng toàn phương trên tập các nhân
tử . Xem ví dụ [11].
Tuy nhiên việc tính toán cả tập nhân tử thường gặp khó khăn. Quan trọng hơn là
các thuật toán số chỉ có thể đảm bảo tìm được xấp xỉ một cặp nhân tử cực tiểu cá
biệt. Do đó, chúng chỉ có thể cố gắng làm cho điều kiện cấp hai có hiệu lực nếu
điều kiện đúng với một nhân tử đơn. Mục tiêu chính của công trình này là trình
bày những điều kiện mới yếu hơn có thể khẳng định hiệu lực của SOC với nhân
tử đơn. Đầu tiên chúng tôi chứng minh rằng nếu điều kiện Abadie đúng cho một
hệ con các ràng buộc được xem như đẳng thức, một điều kiện yếu hơn các giả
thiết hạng không đổi thông thường, thì SOC mạnh đúng cho mọi nhân tử
Lagrange. Điều này giúp mở rộng một kết quả từ mục [2]. Kết quả là chúng tôi
chứng minh được nếu chỉ có các ràng buộc đẳng thức thì điều kiện Abadie đủ để
đảm bảo SOC mạnh cho mọi nhân tử. Với các hệ thích hợp với MFCQ, chúng
tôi chỉ ra rằng nếu điều kiện bù mở rộng cộng thêm điều kiện hạng không đổi
mới xảy ra thì SOC mạnh có thể đượckhẳng định cho ít nhất một nhân tử, giúp
cải tiến một kêt quả từ mục [8]. Cuối cùng chúng tôi cũng chỉ ra SOC yếu hiệu
lực với mọi nhân tử bất cứ khi nào điều kiện Abadie xảy ra với tập đầy đủ các
ràng buộc tích cực, được xem là một hệ các đẳng thức,
Mục 2: trình bày định nghĩa của các điều kiện cấp hai
Mục 3: trình bày định nghĩa và kết quả liên quan đến cấp hai dưới giả thiết dạng
Abadie
Mục 4: trình bày kết quả dưới điều kiện MFCQ.
Mục 5: chú ý
s.t (1)
trong đó liên tục khả vi cấp hai. Nếu là điểm khả
dĩ, ta kí hiệu là tập chỉ số các bất đẳng thức tích cực tại và là tập chỉ
số của các ràng buộc đẳng thức. Tất cả các ràng buộc đẳng thức, một cách tự
nhiên, được gọi là tích cực tại Chúng tôi cũng sử dụng quy ước
trong đó là một điểm khả dĩ cụ
thể. Cuối cùng, cho một cặp hàm cho bởi công
thức:
Tương tự, điều kiện tối ưu cấp hai yếu WSOC đúng tại với nhân tử
nếu
Ta thấy rằng ma trận xuất hiện ở cả hai điều kiện trên đều là ma trận Hessian
theo của hàm Lagrangian tại Hơn nữa, nếu điều kiện bù chặt xảy ra, tức là
tồn tại một nhân tử dương ngặt cho mọi ràng buộc bất đẳng thức tích cực, thì các
nón mạnh và yếu là như nhau và do đó hai điều kiện cấp hai mạnh và yếu tương
đương với nhau [3].
(2)
Nếu đường cong trên cũng liên tục và khả vi cấp hai tại 0 thì ta nói rằng
xảy ra.
Định nghĩa 3.2 Cho một điểm khả dĩ của bài toán (1), ta xác định nón tiếp
xúc tại là tập các hướng sao cho hoặc
Bổ đề 3.1 Xét như trong định nghĩa 3.1. Nếu các gradient
Bổ đề 3.2 Cho là một cặp nhân tử liên kết với cực tiểu địa
phương và khác không. Nếu tồn tại một dãy khả dĩ sao cho
Chứng minh Đầu tiên ta thấy giả thiết bù giữa và nhân tử tương ứng
dẫn đến:
Chia cả hai của bất đẳng thức trên cho và lấy giới hạn ta có:
Tiếp theo chúng tôi sẽ biểu diễn một kết quả liên quan đến bậc hai đầu tiên: một
điều kiện đơn giản mà đảm bảo rằng điều kiện yếu cấp hai xáy ra tại
Định lí 3.1 Cho là một cặp nhân tử liên kết với một cực tiểu
địa phương của (1). Nếu như hệ sau
tuân theo điều kiện chính quy Abadie tại thì điều kiện tối ưu cấp hai yếu
đúng với nhân tử
Chứng minh Ta thấy chỉ là nón của các hướng khả dĩ tuyến tính hóa liên
kết với hệ các đẳng thức trên. Điều kiện Abadie phát biểu rằng với mọi
Hệ quả 3.1 Xét trường hợp bài toán (1) chỉ có các ràng buộc đẳng thức. Cho
là một cực tiểu địa phương của bài toán đó với điều kiện Abadie xảy ra. Khi đó,
thỏa mãn điều kiện KKT và điều kiện tối ưu cấp hai ( mạnh ) xảy ra với mọi
nhân tử Lagrange.
Chứng minh Vì không có các ràng buộc bất đẳng thức nên và giả
thiết Abadie của kết quả trước áp dụng cho tập khả dĩ ban đầu . Hơn nữa, các
nón tới hạn mạnh và yếu là như nhau khi không có sự xuất hiện của các ràng
buộc bất đẳng thức.
Kể từ giờ sự tập trung sẽ được dồn vào điều kiện tối ưu cấp hai (mạnh) khi
không có sự xuất hiện của các ràng buộc bất đẳng thức. Giả thiết chính một lần
nữa liên quan đến điều kiện chính quy Abadie cho tập con đặc biệt của ràng
buộc khi được coi là các đẳng thức. Để xác định các ràng buộc như vậy chúng
tôi sẽ giới thiệu một số khái niệm và chứng minh một vài kết quả phụ.
Định nghĩa 3.3 Tập chỉ số của các nhân tử bất đẳng thức dương tại , kí hiệu
Chúng ta biết rằng với thì bất đẳng thức xuất hiện trong
định nghĩa của nón tới hạn xảy ra dấu bằng [2]. Do đó, nón này có thể viết lại
dưới dạng:
(2)
Trong đó gradient hàm mục tiêu có thể bị bỏ qua vì chúng ta đã giả sử là một
điểm KKT.
Sử dụng kết quả này chúng ta có thể có một mô tả thú vị của tập chỉ số .
Bổ đề 3.3
Mặt khác, ta biết rằng khi và chỉ khi bài toán tuyến tính sau
Max
sao cho
có giá trị tối ưu là 0. Do đó 0 cũng là giá trị tối ưu của bài toán đối ngẫu sau
sao cho
Cụ thể, hệ sau:
Chứng minh Vì là một nón lồi nên nó đóng. Do đó, thêm các vecto cho
Định lí 3.2 Cho là một cực tiểu địa phương của (1) liên kết với cặp nhân tử
Lagrange Nếu nón tiếp xúc của
tại chứa nón tới hạn , thì điều kiện tối ưu cấp hai (mạnh) đúng tại
với nhân tử
Chứng minh Xét là hướng khác không bất kì trong không mất tính
tổng quát, giả sử Xét như trong hệ quả 3.2. Với mọi định
nghĩa
Suy ra và Cụ
thể là
Từ giả thiết của định lí ta có thuộc nón tiếp xúc của hệ các đẳng thức tại
Giờ ta chỉ ra rằng khả dĩ trong (1) với đủ lớn. Thực vậy, với
suy ra với đủ lớn, Cuối cùng, tính liên tục của các ràng
buộc dẫn đến việc tất cả các ràng buộc không tích cực xảy ra tại với đủ lớn.
Do từ bổ đề 3.2 ta có;
Định lí 3.2 có thể coi là một biến thể các kết quả mô tả trong phần thảo luận ở
chương 5 mục 9.
Định lí 3.3 ( Bazaraa et al. [9]) Cho là một cực tiểu địa phương của (1) liên
kết với cặp nhân tử Lagrange Kí hiệu
và
Nếu hệ sau
(3)
tuân theo điều kiện chính quy Abadie tại thì điều kiện tối ưu cấp hai (mạnh)
đúng tại với nhân tử
Định lí này có giả thiết khac nhau cho mỗi nhân tử. Do đó nó chỉ có thể đảm bảo
một SOC cho mọi nhân tử nếu các hệ liên kết tuân theo điều kiện Abadie.
Để hiểu rõ hơn về kết quả này và nhìn thấy mỗi quan hệ giữa định lí 3.2 và 3.3,
chúng tôi sẽ chứng minh hai bổ dề phụ sau:
Bổ đề 3.4 Các nón tuyến tính hóa liên kết với hệ xuất hiện trong (3) là như nhau
cặp nhân tử khác trong đó Điều này xảy ra trong trường hợp
và phép lồng này được kế thừa bởi các nón tiếp xúc. Cụ thể, nếu
là một cặp nhân tử thỏa mãn tính chất luôn tồn tại bởi tổ
hợp lồi của các cặp nhân tử là các cặp nhân tử, thì điều kiện cấp hai mạnh sẽ xả
y ra với mọi nhân tử. Kết quả này được tổng hợp ở định lí tiếp theo.
Cho là một cực tiểu địa phương của (1) và
Định lí 3.4
tuân theo điều kiện chính quy Abadie tại thì điều kiện tối ưu cấp hai (mạnh)
đúng tại với mọi cặp nhân tử.
Chú ý rằng giả thiết của kết quả cuối cùng tương đương với phép lồng (4). Do
đó, nhìn qua thì định lí 3.2 có vẻ là một mở rộng của định lí 3.4, khi tập khả dĩ
tới hạn được thay thế vởi tập rộng hơn. Tuy nhiên, thực chất thì hai kết
quả này là tương đương.
Bổ đề 3.5 Với các giả thiết và kí hiệu như trong định lí 3.2 và 3.4, ta có:
lí 3.2 để thấy rằng với khác không cho sẵn, ta có thể tìm được một
dãy sao cho với mỗi cos một dãy khả dĩ cho trong đó
Do đó cũng phải thuộc vào nón tiếp xúc . Lấy đạo hàm trong ( bởi các
nón tiếp xúc thì đóng ) ta thu được đpcm.
Thực ra, với lập luận tương tự, chúng ta có thể đưa ra một biến thể tương tự của
định lí 3.3 trong đó các ràng buộc với chỉ số thuộc bị bỏ qua. Kết quả
này bao gồm các trường hợp đặc biệt định lí 3.2-3.4.
(5)
tại chứa nón tới hạn (mạnh) thì điều kiện tối ưu cấp hai (mạnh) đúng
St (6)
Tập khả dĩ của nó được biểu diễn trong hình 1. Điểm rõ ràng là một
nghiệm liên kết với nhiều nhân tử khả dĩ. Cụ thể, các nhân tử liên kết với hai
ràng buộc đầu có thể dương ngặt, trong khi nhân tử liên kết với ràng buộc cuối
của trục đầu tiên , Nếu ta xét một nhân tử mà hai tọa
độ đầu khác không, ví dụ suy ra các tập trùng nhau và
bằng Rõ ràng là nón tiếp xúc của nó không chứa . Mặt khác, nếu
cho điều kiện cấp hai xảy ra nếu có nhiều nhất một bất đẳng thức trong
(giả thiết này được gọi là điều kiện bù chặt suy rộng GSCS) và nếu một điều
kiện rút gọn của MFCQ xảy ra.
Định nghĩa 4.1 Ta nói rằng điều kiện Mangasarian–Fromovitz rút gọn (MMF)
đúng tại nếu MFCQ xảy ra và hạng của các gradient tích cực khuyết nhiều
nhất là 1.
Phép chứng minh rất thú vị. Đầu tiên họ chỉ ra rằng tồn tại hai cặp nhân tử
thoar mãn :
Khi đó, sử dụng tính chất nón tới hạn là nón cấp một bất cứ khi nào
GSCS xảy ra và bổ đề Yuan, ta kết luận rằng tồn tại ít nhất một cặp nhân tử mà
SSOC xảy ra.
Dễ thấy giả thiết GSCS chỉ là điều kiện để sử dụng bổ đề Yuan. Tuy nhiên, nếu
quan tâm đến diều kiện cấp hai yếu, nón luôn là một không gian con bất
St
tại cực tiểu toàn cục của nó.
Tuy nhiên chúng ta vẫn có thể sử dụng các ý tưởng đã được trình bày trong mục
trước để mở rộng hệ quả trên. Cụ thể, chúng tôi sẽ chỉ ra rằng các điều kiện với
chỉ số thuộc không quan trọng và do đó không cần xem xét hạng của
chúng.
Định lí 4.1 Cho là một cực tiểu địa phương của (1). Giả sử MFCQ đúng tại
và tất cả các hệ có dạng trong đó
Bổ đề 4.1: Dưới điều kiện MFCQ, nếu các gradient của các ràng buộc với chỉ số
thuộc tập độc lập tuyến tính, thì có hai ràng buộc bất đẳng thức tích
cực sao cho:
(1)
(7)
Chứng minh. Nếu các ràng buộc với chỉ số thuộc độc lập tuyến
tính thì phải tồn tại không đồng thời bằng 0, sao cho:
Chúng tôi mở rộng các hệ số này thành bằng cách cho với các
chỉ số còn lại.
Xét một cặp nhân tử sao cho Đường
thẳng đi qua nhân tử này với hướng phải chắn tập tất cả các nhân tử khả dĩ
trong một đoạn thẳng không tầm thường. Các cực trị của đoạn
thẳng này rõ ràng liên kết với hai chỉ số thỏa mãn Điều này
xảy ra bởi ngược dấu.
Bổ đề 4.2 Xét các giả thiết của định lí 4.1 và bổ đề 4.1 và cho là chỉ số các
bất đẳng thức tích cực cho bởi bổ đề này. Nếu thì tồn tại hai đường
cong liên tục và khả vi cấp hai sao cho
(1)
(2)
Chứng minh . Với mỗi áp dụng bổ đề 3.1 cho hệ:
Bổ đề 4.3 Xét các giả thiết và kí hiệu của bổ đề 4.2. Cố định một hướng
và
Chứng minh. Ta có:
Với ta có vì hàm đã cho không thay đổi và
bằng 0 trong . Do đó, ta có:
(8)
Với ta có:
(9)
Tương tự, với
(10)
Từ (9) và (10) ta có dpcm.
Chứng minh định lí 4.1 nếu các gradient của độc lập tuyến tính
thì từ định lí 3,2 ta có dpcm. Nếu không, giả sử là một hướng của
các hàm cos đạo hàm cấp hai âm ngặt tại Do đó hàm này phải
âm với nhỏ và đường cong tương ứng khả dĩ. Chọn cặp nhân tử tương ứng
(2) Trong trường hợp này, các ràng buộc theo trừ
được thỏa mãn, Nếu cũng được thỏa mãn, thì đường cong này khả dĩ và
chúng ta tiếp tục qua trình như trên. Nếu không thỏa mãn thì tính không
khả dĩ này là cấp hai. Cụ thể, tồn tại một dãy sao cho
(11)
Vì tập khả dĩ tuân theo điều kiện Mangasarian–Fromovitz nên nó tuân theo một
giới hạn sai số. Do đó, tồn tại một dãy và một hằng số sao cho
ta thấy:
Hơn nữa, với , ta có:
Với
Từ bổ đề 3.2 ta có:
Cuối cùng, mọi hướng có thể xấp xỉ bằng các hướng giống như các
hướng đã xét ở trên, nên tinh liên tục của cac hàm kéo theo:
Vì là một không gian con, bổ đề Yuan chỉ ra rằng tồn tại một nhan tử
Định lí 4.2: Cho là một cực tiểu địa phương của (1). Giả sử MFCQ và
GSCS đúng tại và tất cả các hệ có dạng trong đó
Xét bài toán sau ( để thấy lợi ích từ các kết quả trên):
Min
St (12)
Tập khả dĩ được mô tả như hình 2.
( Hình 2)
Cực tiểu rõ ràng là gốc tọa độ. Nó tuân theo điều kiện MFCQ. Điều kiện cấp hai
cũng xảy ra. Thực ra, các nón tới hạn chỉ được cấu thành từ điểm gốc đó, nên
hiển nhiên điều kiện cấp hai xảy ra.
Kết quả của Baccari và Trad không thể được dùng để đảm bảo hiệu lực cho một
điều kiện cấp hai . Mặt khác, đinh lí 4.2 và 4,1 đều có thể áp dụng bởi hai
gradient cuối độc lập tuyến tính và mở rộng ra cả mặt phẳng.
5. Kết luận
Trong bài viết này chúng tôi đã chứng minh hiệu lực của các điều kiện cần tối
ưu cấp hai mạnh và yếu cổ điển với các giả thiết yếu hơn tính chính quy. Các giả
thiết dạng Abadie dẫn đến SOCs xảy ra với mọi cặp nhân tử Lagrange,trong khi
các điều kiện dựa trên giả thiết loại MFCQ đảm bảo SOC cho ít nhất một cặp
nhân tử Lagrange. Trong tương lai chúng tôi dự định sẽ nghiên cứu tính khả dĩ
của những điều kiện đó, hoặc các ý tưởng liên quan khác, nhằm mở rộng lí
thuyết hội tụ của các thuật toán được biến đổi đặc biệt để tìm các điểm dừng cấp
hai .
Lời cảm ơn- Tài liệu tham khảo sử dụng trong bài.