<aside> 🧸 求解线性约束的非线性规划：当前迭代点的负梯度方向不是可行方向，则将其投影到积极约束的法向量张成空间的正交补（积极约束的交线）（法锥）中

</aside>

$$ \min f(x)\\s.t.\ A\bm x\ge \bm b\\ C\bm x=\bm d. $$

• 找到积极约束，找到可行方向集

  投影矩阵：对称幂等矩阵（实空间）

  • 半正定

  • I-P 也投影矩阵

  • 全空间可以写成投影的值域（子空间L）和其正交补的直和，向量可以分解成L上的投影Px和（1-P）x

  • 行分块为积极约束和非积极约束

    $$ N_k\bm x=\begin{pmatrix}A_k^\prime\\C\end{pmatrix}\bm x=\begin{pmatrix}\bm b_k^\prime\\\bm d\end{pmatrix} $$

    不妨设 N_k 行满秩。线性等式约束优化，可以实用投影方法。流形约束的投影运算需要计算M-P逆

    $$ P=N_k^+=N_k^T(N_kN_k^T)^{-1}N_k\\ Q=I-P $$

  • 下降方向

    $$ P_k=-Q_k\nabla f(x_k) $$

• 线搜索

  估计线搜索的上界以不出界

  $$ t_k=\arg\min_{0\le t\le t_k}f(x_k+tp_k) $$

  就是不等式约束

  $$ A_k^{\prime\prime}(x_k+tp_k)\ge b_k^{\prime\prime} $$

  $$ \bm u+t\bm v\ge \bm 0 $$

  因为等式约束成立。

  进而求出t的sup

• 积极集法

  Rosen投影梯度法的改进