陈宝林《最优化理论与算法》超详细学习笔记 （五）————最优性条件 之 KKT条件
Lagrange对偶问题
原问题
对于一个最优化问题：
min f 0 ( x ) s.t. f i ( x ) ≤ 0 , i = 1 , ⋯ , m h i ( x ) = 0 , i = 1 , ⋯ , p \begin{array}{ll}\min & f_{0}(x) \\ \text {s.t.} & f_{i}(x) \leq 0, \quad i=1, \cdots, m \\ & h_{i}(x)=0, \quad i=1, \cdots, p\end{array}
min
s.t.
f
0
(
x
)
f
i
(
x
)
≤
0
,
i
=
1
,
⋯
,
m
h
i
(
x
)
=
0
,
i
=
1
,
⋯
,
p
f 0 ( x ) f_{0}(x)
f
0
(
x
)
为目标函数，
f i ( x ) ≤ 0 f_{i}(x)\leq0
f
i
(
x
)
≤
0
为不等式约束，
h i ( x ) = 0 h_{i}(x)=0
h
i
(
x
)
=
0
为等式约束.
Lagrange函数
通过引入不等式约束和等式约束的lagranage乘子
λ i \lambda_i
λ
i
与
v i v_i
v
i
，得到原问题的Lagrange函数为：
L ( x , λ , v ) = f 0 ( x ) + ∑ i = 1 m λ i f i ( x ) + ∑ i = 1 p v i h i ( x ) L(x, \lambda, v)=f_{0}(x)+\sum_{i=1}^{m} \lambda_{i} f_{i}(x)+\sum_{i=1}^{p} v_{i} h_{i}(x)
L
(
x