$$ \mathbb S^n=SYM=\{x\in\mathbb R^{n\times n}|x^T=x\}. $$
$$ \mathbb S^n_+,\mathbb S^n_{++}. $$
$$ p^{(i)T}Qp^{(j)}=0. $$
【获得共轭向量组】
待定系数法：p_1=(1,0,0)⇒p_2,p_3,\cdots 任意按比例选取。
Gram-Schmidt 共轭化(QR分解：A=QR，R上三角矩阵，A，Q对应向量组，R对应系数)
$$ \beta^{(k)}=a^{(k)}-\sum _{i=0}^{k-1}\frac{(a^{(k)},\beta^{(i)})}{(\beta^{i},\beta^{(i)})} $$
特征值分解：对称矩阵的特征向量组是其共轭向量组（首先正交组，然后是共轭组）
$$ v_i^TQv_j=\lambda_j v_i^Tv_j. $$
【迭代格式】【共轭方向法】以提前准备的共轭向量作为搜索方向
$$ \bm x^{(k+1)}=\bm x^{(k)}+\alpha_k \bm p^{(k)} $$
【有限步终止定理】任意初始点，共轭方向法至多迭代n次得到（n元二次函数的优化）问题极小点x^*=Q^{-1}b 互异特征值的特征向量做迭代使用的共轭向量集合
精确步长：搜索方向和新点的梯度方向垂直。
$$ (g^{k+1} , p^{(i)})=0，0\le i\le k. $$
【扩展子空间定理】等价于子空间的优化问题。
$$ f(x^{(k+1)})=\min_{x\in\mathcal V_k} f(x^{(k)}). $$
【共轭梯度法】只准备一个共轭向量（负梯度方向）做搜索方向，之后自己利用当前的梯度和上一个共轭搜索方向线性组合生成新的（共轭）搜索方向。
$$ \bm p^{(k)}=-\bm g^{(k)}+\beta_{k-1}\bm p^{(k-1)}, $$
生成的是共轭向量组（数学归纳法）
\beta 的等价形式：(二次函数优化问题等价，一般问题表现各异，以FR公式最为流行)
$$ \beta=\frac{g^{(k+1)T}Qp}{pQp} $$
Dai-Yuan, Fletcher-Reeves, Polak-Ribiere, Hestenes-Stiefel
Krylov 子空间法 的特例
【非线性共轭梯度法】二次函数问题→一般函数
Q用目标函数的海塞替代，或者使用非精确步长和其他\beta 等价形式
【MATLAB - 比较慢】PCG（preconditioned conjuagte gradient ）:预处理（减少条件数）器有：不完全cholesky 分解，不完全LU 分解
$$ M^{-1}Ax=M^{-1}b. $$