自变量的凸组合不大于函数值的凸组合

$$ f\left(\alpha \bm x+(1-\alpha)\bm y\right)\le\alpha f(\bm x)+(1-\alpha)f(\bm x). $$

$$ \sum _i p_if(\bm x_i)\ge f(\sum_i p_i\bm x_i) $$

【凸组合】 $\sum_i\alpha_ix_i,\sum_i\alpha_i=1.$

【KL距离 https://en.wikipedia.org/wiki/Kullback–Leibler_divergence】【相对熵】衡量随机事件的距离的唯一方法

• 【严格凸函数】

  取严格不等号

• 【强凸函数】

  $$ f(\alpha\bm x+(1-\alpha)\bm y)\le \alpha f(\bm x)+(1-\alpha)f(\bm y)-\frac{\alpha(1-\alpha)c}2\lVert\bm x-\bm y\lVert^2 $$

• 【可微凸函数】

• 【不可微函数】一阶次梯度展开https://en.wikipedia.org/wiki/Subderivative

  $$ g\in\mathbb R^n $$

• 【一阶充要条件】 【可微凸函数】定义在开凸集上的函数满足任意点函数图像被切平面（大于一阶泰勒展开）支撑，则函数为凸函数

  $$ f(y)\ge f(x)+Df(x)(y-x) $$

  【不可微函数】

  $$ f(y)\ge f(x)+g^T\mid_x(y-x) $$

• 【二阶充要条件】海塞矩阵半正定，则为凸函数

$$ f\in\mathcal C^3 $$