第 11 章：正定性、正特征值与统一二次下界

返回目录

因为正定矩阵（Positive Definite Matrix）的定义，就是它对应的二次型对任意非零向量都严格大于零。

而我们可以利用特征值方程，证明正定矩阵的所有特征值都必须大于零。

一、先理解什么是正定矩阵

假设 $H$ 是实对称矩阵。

如果对任意非零向量 $\mathbf x$ ，都有：

$\boxed{\mathbf x^TH\mathbf x>0}$

那么就称 $H$ 为正定矩阵。

例如：

$H=\begin{bmatrix}2&0\\0&5\end{bmatrix}$

取任意非零向量：

$\mathbf x=\begin{bmatrix}a\\b\end{bmatrix}$

计算：

$\mathbf x^TH\mathbf x = 2a^2+5b^2$

由于平方项非负，而且 $a,b$ 不同时为零，所以：

$2a^2+5b^2>0$

因此 $H$ 正定。

二、证明正定矩阵的特征值全部大于零

设 $\lambda_i$ 是 $H$ 的一个特征值， $\mathbf q_i$ 是对应的非零特征向量。

根据特征值定义：

$\boxed{H\mathbf q_i=\lambda_i\mathbf q_i}$

等式两边左乘 $\mathbf q_i^T$ ：

$\mathbf q_i^TH\mathbf q_i = \lambda_i\mathbf q_i^T\mathbf q_i$

现在看等式两边。

左边：

由于 $H$ 正定，而且 $\mathbf q_i\ne0$ ：

$\mathbf q_i^TH\mathbf q_i>0$

右边：

因为：

$\mathbf q_i^T\mathbf q_i = \|\mathbf q_i\|^2>0$

所以：

$\lambda_i\|\mathbf q_i\|^2>0$

由于向量长度的平方严格大于零，只能得到：

$\boxed{\lambda_i>0}$

而 $\lambda_i$ 是任意一个特征值，因此：

$\boxed{H\text{ 正定}\Longrightarrow\text{所有特征值均为正}}$

这就证明了你问的那一步。

三、反过来也成立吗？

成立，而且这是一个充要条件。

对于实对称矩阵 $H$ ，根据谱定理：

$H=Q\Lambda Q^T$

因此对任意非零向量 $\mathbf x$ ，令 $\mathbf u=Q^T\mathbf x$ ，就有：

$\mathbf x^TH\mathbf x = \mathbf u^T\Lambda\mathbf u = \sum_{i=1}^n\lambda_i u_i^2$

如果所有 $\lambda_i>0$ ，又因为 $\mathbf x\ne0$ 且 $Q$ 可逆，所以 $\mathbf u\ne0$ 。

至少有一个 $u_i^2>0$ ，因此：

$\sum_{i=1}^n\lambda_i u_i^2>0$

这就证明 $H$ 正定。

最终：

$\boxed{ H\text{ 实对称正定} \iff \lambda_1,\lambda_2,\ldots,\lambda_n>0 }$

这个不等式其实就是实对称矩阵谱定理的一个直接推论。你前面已经理解了特征值分解：

$H=Q\Lambda Q^T$

现在只需要利用它，就能一步步推出：

$\boxed{\mathbf h^TH\mathbf h\geq\lambda_{\min}\|\mathbf h\|^2}$

这里最关键的理解是：任何向量都可以分解到 Hessian 的各个正交特征向量方向上，而每个方向对应一个特征值。

一、从特征值分解开始

假设 $H$ 是一个 $n\times n$ 的实对称正定矩阵。

根据谱定理：

$H=Q\Lambda Q^T$

其中：

$\Lambda= \begin{bmatrix} \lambda_1&0&\cdots&0\\ 0&\lambda_2&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&\lambda_n \end{bmatrix}$

因为 $H$ 正定，所以：

$\lambda_i>0$

将最小的特征值记为：

$\lambda_{\min}=\min_i\lambda_i>0$

二、把 H 代入原来的二次型

我们要研究：

$\mathbf h^TH\mathbf h$

代入 $H=Q\Lambda Q^T$ ：

$\mathbf h^TH\mathbf h = \mathbf h^TQ\Lambda Q^T\mathbf h$

现在令：

$\boxed{\mathbf u=Q^T\mathbf h}$

由于矩阵转置满足：

$(Q^T\mathbf h)^T=\mathbf h^TQ$

因此：

$\boxed{ \mathbf h^TH\mathbf h = \mathbf u^T\Lambda\mathbf u }$

这一步实际上是把原来的向量 $\mathbf h$ ，改用特征向量构成的新坐标系来表示。

三、利用对角矩阵的特点展开

假设：

$\mathbf u= \begin{bmatrix} u_1\\u_2\\\vdots\\u_n \end{bmatrix}$

那么：

$\mathbf u^T\Lambda\mathbf u = \begin{bmatrix}u_1&u_2&\cdots&u_n\end{bmatrix} \begin{bmatrix} \lambda_1u_1\\ \lambda_2u_2\\ \vdots\\ \lambda_nu_n \end{bmatrix}$

所以：

$\boxed{ \mathbf u^T\Lambda\mathbf u = \sum_{i=1}^n\lambda_i u_i^2 }$

因为每个特征值都满足：

$\lambda_i\geq\lambda_{\min}$

而且：

$u_i^2\geq0$

所以逐项比较：

$\lambda_i u_i^2\geq\lambda_{\min}u_i^2$

全部相加：

$\sum_{i=1}^n\lambda_i u_i^2 \geq \lambda_{\min}\sum_{i=1}^n u_i^2$

也就是：

$\boxed{ \mathbf h^TH\mathbf h \geq\lambda_{\min}\|\mathbf u\|^2 }$

最后，由于 $Q$ 是正交矩阵：

$\|\mathbf u\|^2 = (Q^T\mathbf h)^T(Q^T\mathbf h) = \mathbf h^TQQ^T\mathbf h = \mathbf h^T\mathbf h = \|\mathbf h\|^2$

最终得到：

$\boxed{ \mathbf h^TH\mathbf h \geq\lambda_{\min}\|\mathbf h\|^2 }$

证明完成。

四、用具体数字验证

假设：

$H=\begin{bmatrix}2&0\\0&5\end{bmatrix}$

那么它的最小特征值为：

$\lambda_{\min}=2$

对于任意向量：

$\mathbf h=\begin{bmatrix}x\\y\end{bmatrix}$

有：

$\mathbf h^TH\mathbf h=2x^2+5y^2$

而：

$\lambda_{\min}\|\mathbf h\|^2=2(x^2+y^2)$

两者相减：

$(2x^2+5y^2)-2(x^2+y^2)=3y^2\geq0$

所以不等式一定成立。

改变单位向量方向时，二次型如何变化，可参看本章静态图。

五、为什么这个不等式在证明极小值时如此重要？

回忆驻点附近的二阶泰勒展开：

$f(\mathbf p+\mathbf h)-f(\mathbf p) = \frac12\mathbf h^TH\mathbf h+o(\|\mathbf h\|^2)$

现在利用刚才证明的不等式：

$f(\mathbf p+\mathbf h)-f(\mathbf p) \geq \frac12\lambda_{\min}\|\mathbf h\|^2 +o(\|\mathbf h\|^2)$

因为 $\lambda_{\min}>0$ ，而余项相对于 $\|\mathbf h\|^2$ 趋于零，所以只要 $\mathbf h$ 足够小且非零，右侧就严格大于零。

因此：

$\boxed{f(\mathbf p+\mathbf h)>f(\mathbf p)}$

这就严格证明了驻点是局部极小值。

整个推导真正重要的地方是：正定矩阵不仅让二次型大于零，还保证它至少以 $\lambda_{\min}\|\mathbf h\|^2$ 的速度增长。

正是这个统一的正下界，让我们能控制泰勒展开中可能为负的高阶余项，而不只是凭直觉说曲面向上弯曲。

横轴为单位向量方向角，纵轴为二次型值。这里可以直接取最小特征值 2 控制所有小位移；图形按公式逐度采样，不依赖聊天中的交互组件。

补充：哪些条件不能混在一起

本笔记的“正定矩阵”限于实对称矩阵。正定是对全部非零向量的二次型要求，不是说每个矩阵元素都正。矩阵 $\begin{bmatrix}2&-1\\-1&2\end{bmatrix}$ 有负元素，却正定；全为正元素的 $\begin{bmatrix}1&2\\2&1\end{bmatrix}$ 有特征值 $3,-1$ ，并不正定。

“全部特征值正”必须搭配实对称的假设，才能等价于这里的正定。例如 $A=\begin{bmatrix}1&10\\0&1\end{bmatrix}$ 的特征值均为 $1$ ，但 $x=(1,-1)^T$ 时 $x^TAx=-8$ 。

对任意实对称 $H$ ，无论是否正定，均有

$\lambda_{min}\|h\|^2\leq h^THh\leq\lambda_{max}\|h\|^2.$

证明就是在正交特征坐标下逐项比较。除以非零 $\|h\|^2$ ，Rayleigh 商等于特征值的加权平均，权重为 $u_i^2/\sum_j u_j^2$ 。取对应单位特征向量达到上下界。

若只想证明正定二次型有统一正下界，其实可以不使用谱定理：连续函数 $u\mapsto u^THu$ 在单位球面取得最小值 $m$ ；因球面上每个值都严格正，取到的最小值也正。将 $h$ 写成 $\|h\|u$ ，得 $h^THh\geq m\|h\|^2$ 。谱定理进一步认出 $m=\lambda_{min}$ 。