• 欧拉公式|变分不等式 - 方向导数
• 梯度方向与任意可行方向为锐角。泰勒展开证之。
• $f\in\mathcal C^1(\Omega)$ 特别的，$\Omega=\mathbb R^n$or $x^\in \text{int}(\Omega)$,退化至$\nabla f(x^)=0$，约束进而等价于无约束。 $(x-x^)\cdot \nabla f(x^)$, $\delta x\cdot \nabla f$ | - 正则点$\text{rank} Dh(x^*)=m$ Jacobian矩阵行满秩
• $\mathcal L$无约束FONC | | | 一阶充分条件 FOSC | | | $d^T\nabla f(x^\prime)>0,\forall d\in T_{\Omega}(x^\prime)$ ⇒$x^\prime$是严格极小点
• $f\in\mathcal C^1(\Omega)$ | | | | 二阶必要条件 SONC | $f^{\prime\prime}\ge0,f^\prime=0$ | $\left\{\begin{matrix} \nabla f (x^)= 0, &\\ F f (x^)\ge 0 \end{matrix}\right.$ | $\left\{\begin{matrix} d^T\cdot\nabla f (x^)= 0, &\\ d^T\cdot F f (x^)d\ge 0,&\forall d\in T_\Omega (x^*). \end{matrix}\right.$
• 满足FONC，同时关于$\bm x$的海塞矩阵可行锥内半正定$F\succeq0,\bm d\in T_{\Omega}(x^*)$
• 如果极小点还是内点，结论同无约束优化
• $f\in\mathcal C^2(\Omega)$ | - 正则点
• $\mathcal L$无约束SONC(FONC+关于$x$的海塞矩阵半正定) | | | 二阶充分条件SOSC | $f^{\prime\prime}\ge0,f^\prime=0$ | $\left\{\begin{matrix} \nabla f (x^)= 0, &\\ F f (x^)> 0 \end{matrix}\right.$⇒严格局部极小点 | $\left\{\begin{matrix} d^T\cdot\nabla f (x^\prime)= 0, &\\ d^T\cdot F f (x^\prime)d> 0,&\forall d\in T_\Omega (x^\prime). \end{matrix}\right.$ ⇒严格局部极小点
• 满足FONC，同时海塞矩阵可行锥内正定$F\succ 0,\bm d\in T_{\Omega}(\bm x)$
• $f\in\mathcal C^2(\Omega)$ | | |
• 若$f$是凸函数且$\Omega$，则FONC变为FONS，条件为等价条件

极值点的充分必要条件：

充分：满足这些，必然是极值点。不满足也有可能是极值点。

必要：极值点，必然满足这些。不满足不是极值点。

故满足一阶，不满足二阶的点不是极值点

约束优化的最优性条件：KKT条件（内点法）；弱对偶定理

拉格朗日条件

不等式约束

不等式约束

KKTKKT条件：一阶必要条件

二阶条件：二阶必要条件：$KKT,D^2L\ge0$ 二阶充分条件：$KKT,D^2L>0,\tilde T$