$$ x^{(k+1)}=x^{(k)}+\alpha_{k}\boldsymbol{d}^{(k)} $$
最速下降法：$d^{(k)}=\nabla f(x^{(k)})$
$$ \begin{aligned}\boldsymbol{x}^{(k+1)}&=\boldsymbol{x}^{(k)}-\alpha_{k}\nabla f(\boldsymbol{x}^{(k)})\\\alpha_{k}&=\arg\min_{\alpha\geqslant0}f(\boldsymbol{x}^{(k)}-\alpha\nabla f(\boldsymbol{x}^{(k)}))\end{aligned} $$
最速下降法相邻步距正交：$\langle\boldsymbol{x}^{(k+1)}-\boldsymbol{x}^{(k)},\boldsymbol{x}^{(k+2)}-\boldsymbol{x}^{(k+1)}\rangle=\alpha_k\alpha_{k+1}\langle\nabla f(\boldsymbol{x}^{(k)}),\nabla f(\boldsymbol{x}^{(k+1)})\rangle$ ,再利用$\alpha_k$做精确步长为极值的一阶必要条件
最速下降法的下降性质：只要$\nabla f(x^{(k)})\ne0$，就有$f(x^{(k+1)})<f(x^{(k)})$
最速下降法处理二次型函数极值：
牛顿法