机器学习 第⼆次作业

1.
证明在不考虑 的模⻓的意义下，

设 是左边问题的⼀个可⾏解，下证明 是⼀个右边问题的可⾏解，且该变换为保序的双射。

由左边问题的约束有

故⽽

满⾜右边问题的约束。

左边问题要最⼤化 ，右边问题要最⼩化 （因为 ），是保序的。

双射：若 是右边的⼀个可⾏解，则它只可能对应左边 这组解。

得证，故⽽两个问题的最优解在不考虑模⻓的意义下等价。

2.
证明对原问题的最优解 、对偶问题的最优解 ，满⾜ KKT Conditions。

(2)
Primal feasibility.

注：原问题

其中 凸， 线性。

因为 是原问题的最优解，因⽽它是原问题的可⾏解，故它必定满⾜原问题的约束。
(3)
Dual feasibility.

注：

其中

因为 是对偶问题的最优解，因⽽它是对偶问题的可⾏解，故它必定满⾜对偶问题的约束。

(1)
Stationarity.

注：

满⾜

因为 当 固定时，对 是凹的，故⽽在取最优解时

此外，因为

故⽽ 当 固定时，对 是凸的，得

得证。
(4)
Complementary slackness.

反证法：假若对某⼀ ， ：

1. 若 ：则 更优，⽭盾
2. 若 ：则 应 ，⽭盾。