Skip to content

第 9 章:谱定理的代数路线:先从特征方程找一个实方向 ​

返回目录

确实。实对称矩阵谱定理中,通过单位球面上二次型的最大值来构造特征向量,属于一种相当巧妙的证明方法。第一次接触时,很难想到为什么要突然研究:

f(\mathbf x)=\mathbf x^TA\mathbf x,\qquad \|\mathbf x\|=1

实际上,完全可以不用这个构造,而是从特征值的定义直接证明实对称矩阵存在实特征向量。 我觉得这个证明更符合你目前对线性代数的理解。

一、一种更直接的证明:从特征方程出发 ​

设 A 是 n\times n 实对称矩阵:

A^T=A

我们知道特征值满足:

\boxed{\det(A-\lambda I)=0}

左边是一个关于 \lambda 的 n 次多项式。

根据代数基本定理(Fundamental Theorem of Algebra),任意非常数复系数多项式至少有一个复数根。

因此,一定存在:

\lambda\in\mathbb C

使得:

\det(A-\lambda I)=0

于是存在非零复向量 \mathbf v,满足:

\boxed{A\mathbf v=\lambda\mathbf v}

到目前为止,我们还不知道 \lambda 是否为实数。

关键:利用 A 的对称性

在等式左边乘以 \mathbf v^*:

\mathbf v^*A\mathbf v
=
\lambda\mathbf v^*\mathbf v

这里 \mathbf v^* 表示共轭转置(Conjugate Transpose)。

于是:

\boxed{
\lambda=\frac{\mathbf v^*A\mathbf v}{\mathbf v^*\mathbf v}
}

注意:

\mathbf v^*\mathbf v=\sum_i|v_i|^2>0

是一个正实数。

另一方面,因为 A 是实对称矩阵,所以 A^*=A。

因此:

\overline{\mathbf v^*A\mathbf v}
=
\mathbf v^*A^*\mathbf v
=
\mathbf v^*A\mathbf v

一个复数等于自己的共轭,意味着它是实数。

所以分子、分母都是实数,最终:

\boxed{\lambda\in\mathbb R}

我们直接证明了:实对称矩阵的特征值一定是实数。

而且由于 A 和 \lambda 都是实的,如果原来的复特征向量写成 \mathbf v=\mathbf a+i\mathbf b,那么:

A\mathbf a=\lambda\mathbf a,\qquad
A\mathbf b=\lambda\mathbf b

其中至少一个是非零实向量,所以一定能找到实特征向量。

这样,第一个特征向量就找到了,根本不需要构造单位球面上的极值。

接下来完全沿用你已经理解的思路:

\boxed{
\begin{aligned}
&\text{找到实特征向量}\\
&\Downarrow\\
&\text{证明其正交补空间在 }A\text{ 下不变}\\
&\Downarrow\\
&\text{限制在正交补上的算子仍然对称}\\
&\Downarrow\\
&\text{递归降维}\\
&\Downarrow\\
&\text{得到正交归一的特征向量基}
\end{aligned}
}

这同样是谱定理的完整证明路线。


二、那么数学家为什么还要构造那个二次型? ​

因为那个构造不是毫无来由的。我们可以反过来推导它。

假设已经有一个单位特征向量:

A\mathbf v=\lambda\mathbf v,\qquad
\mathbf v^T\mathbf v=1

等式两边左乘 \mathbf v^T:

\mathbf v^TA\mathbf v
=
\lambda\mathbf v^T\mathbf v

所以:

\boxed{\lambda=\mathbf v^TA\mathbf v}

这提示我们:特征值与二次型 \mathbf x^TA\mathbf x 存在联系。

那么,自然可以尝试一个逆向问题:

如果我在所有单位向量中,寻找使 \mathbf x^TA\mathbf x 最大的向量,它会不会恰好是某个特征向量?

这个问题可以通过拉格朗日乘数法来解决。

我们要求:

\max_{\mathbf x}\ \mathbf x^TA\mathbf x

约束为:

\mathbf x^T\mathbf x=1

构造拉格朗日函数:

\mathcal L(\mathbf x,\mu)
=
\mathbf x^TA\mathbf x
-\mu(\mathbf x^T\mathbf x-1)

对 \mathbf x 求梯度:

\nabla_{\mathbf x}\mathcal L
=
2A\mathbf x-2\mu\mathbf x

在约束极值点,满足:

2A\mathbf x-2\mu\mathbf x=0

也就是:

\boxed{A\mathbf x=\mu\mathbf x}

你看,特征值方程竟然直接从约束极值条件中出现了!

现在再加上单位球面紧致、二次型连续,就能够保证这样的极值点一定存在。

于是就自然产生了你之前看到的那个证明。

三、两种证明的区别 ​

代数证明极值构造证明
起点特征方程 \det(A-\lambda I)=0二次型 \mathbf x^TA\mathbf x
关键理论代数基本定理紧致性、极值定理
主要技巧利用对称性证明特征值为实数极值点满足特征值方程
额外收获证明特征值的实数性质联系特征值与优化问题

这两种证明都依赖更深层的数学结论,并不是其中一种完全不需要前提。

我认为这里最有意思的是:特征向量和函数极值,看似来自完全不同的数学领域,却通过二次型和约束优化联系在了一起。

而且这恰好与你正在学习的 Transformer 有关系。神经网络优化中,我们研究 Hessian 的特征值,本质上也在分析损失函数沿不同方向的二阶变化率。

所以,之前那个证明虽然精巧,但不是孤立的数学技巧,而是线性代数与最优化理论之间一个很深刻的联系。

补充:这条路线完成了什么 ​

代数基本定理先给的是复根,非零核向量也先在复空间中取得。对称性再保证 \lambda 实,并从复向量的实部、虚部里找到非零实特征向量;不能在这一步之前预设所有根都是实数。

本章只要找到一个实特征向量,就能接入下一章的正交补归纳。共轭转置证明也直接表明任意复特征值都是实数。代数基本定理在此明确作为已有基础,不用“谱定理保证实根”来证明谱定理。

保留每一次追问,认真走完每一步证明。