<aside> 🧸 本文简单说明了如何用轮椅跑路。
</aside>
<aside>
任意点上的海塞矩阵变化率被海森矩阵诱导的局部metric(度量)控制。
这种 local metric 来自于“方向导数”,即函数某点的梯度、海塞或更高阶的微分张量differential tensor/泛函 能够表示该点沿不同方向的变化率,
$$ \frac {d}{d\vec v}f=\nabla f \cdot \vec v $$
$$ D^2 f(x)[u,v]= u^T\nabla ^2f(x)v= \frac{d}{d\vec v}\left(\frac {d}{d\vec u}f(x)\right) $$
在这个新空间上,能够定义 (semi)norm
$$ \|h\|_{D^2f(x)}=\sqrt{\frac 1aD^2f(x)[h,h]} $$
如果海塞矩阵正定,上式构成“欧式范数”;半正定,上式构成“欧式半范数” Euclidean seminorm。后者无法保证零空间$\ker \|\|_{D^2 f}=\{h:\|h\|=0\}$为$\{0\}$
其对偶范数$\|l\|{x,*}= \sup{h\ne 0}\frac{|l(h)|}{\|h\|2}= \sup{h=1}\frac{|l(h)|}{\|h\|2}=\\ \sup{h\le 1}\frac{|l(h)|}{\|h\|2}= \sup{h\in B_x(1)}lh,B_x(r)=\{x+t:\|t\|_{D^2f(x)}\le r\}$。范数扩展锥的对偶锥是其对偶范数扩展锥。
海塞矩阵变化率的受控,或者称为光滑性,能够保证牛顿法的收敛
$$ |D^3F(x)[h,h,h]|\le 2a^{-1/2}(D^2 F(x)[h,h])^{3/2} $$
$$ D\left(D^2 F(x)[h,h]\right)[h]\le 2(D^2 F(x)[h,h])\cdot \sqrt{\frac 1aD^2 F(x)[h,h]} $$
</aside>
支撑函数 → 勒让德变换及推广 → 对偶锥 → 对偶范数与对偶锥,fencel 对偶,hodler 不等式 → 自洽函数及相关性质 ← 牛顿法的特性