多元函数无约束优化问题

$$ \min \{f(x)|x\in \mathbb R^n\} $$

线搜索：走向量，取最优步长

线搜索

搜索方向：

$$ \boldsymbol x_{k+1}=\boldsymbol x_k+\alpha _k\boldsymbol p_k. $$

• 下降性质descent property $p_k^T\nabla f(x_k)<0$ - p_k
  • 梯度方向
  • 共轭梯度方向
  • 牛顿方向
  • 拟牛顿方向
• 步长 \alpha_k

  • 精确步长 exact stepsize ：$\alpha_k=\argmin_{\alpha\ge0}f(x_k+\alpha p_k) = \phi(\alpha)$

    • 仅 \phi (\alpha)是二次函数有精确步长表达式。

  • 非精确步长：

    • 使用一维优化问题 方法

    • Armijo：Armijo规则→回溯线搜索 (backtracking line search 试误法) ｜ 利用原点信息

      

    • Goldstein ｜ 两条线之间

      

    • Wolfe:曲率条件(curvature condition):，来避免曲线下降不充分的问题。 ｜ 剔除导数值小于原点处的点

      

    ---

    收敛性分析：梯度 Lipschitz 连续，

    $$ \sum \cos ^2\theta \lVert \nabla f(x)\lVert <+\infty. $$

梯度方法

梯度方法