切换深浅主题
第 9 章:谱定理的代数路线:先从特征方程找一个实方向
确实。实对称矩阵谱定理中,通过单位球面上二次型的最大值来构造特征向量,属于一种相当巧妙的证明方法。第一次接触时,很难想到为什么要突然研究:
实际上,完全可以不用这个构造,而是从特征值的定义直接证明实对称矩阵存在实特征向量。 我觉得这个证明更符合你目前对线性代数的理解。
一、一种更直接的证明:从特征方程出发
设 是
实对称矩阵:
我们知道特征值满足:
左边是一个关于 的
次多项式。
根据代数基本定理(Fundamental Theorem of Algebra),任意非常数复系数多项式至少有一个复数根。
因此,一定存在:
使得:
于是存在非零复向量 ,满足:
到目前为止,我们还不知道 是否为实数。
关键:利用 A 的对称性
在等式左边乘以 :
这里 表示共轭转置(Conjugate Transpose)。
于是:
注意:
是一个正实数。
另一方面,因为 是实对称矩阵,所以
。
因此:
一个复数等于自己的共轭,意味着它是实数。
所以分子、分母都是实数,最终:
我们直接证明了:实对称矩阵的特征值一定是实数。
而且由于 和
都是实的,如果原来的复特征向量写成
,那么:
其中至少一个是非零实向量,所以一定能找到实特征向量。
这样,第一个特征向量就找到了,根本不需要构造单位球面上的极值。
接下来完全沿用你已经理解的思路:
这同样是谱定理的完整证明路线。
二、那么数学家为什么还要构造那个二次型?
因为那个构造不是毫无来由的。我们可以反过来推导它。
假设已经有一个单位特征向量:
等式两边左乘 :
所以:
这提示我们:特征值与二次型 存在联系。
那么,自然可以尝试一个逆向问题:
如果我在所有单位向量中,寻找使
最大的向量,它会不会恰好是某个特征向量?
这个问题可以通过拉格朗日乘数法来解决。
我们要求:
约束为:
构造拉格朗日函数:
对 求梯度:
在约束极值点,满足:
也就是:
你看,特征值方程竟然直接从约束极值条件中出现了!
现在再加上单位球面紧致、二次型连续,就能够保证这样的极值点一定存在。
于是就自然产生了你之前看到的那个证明。
三、两种证明的区别
| 代数证明 | 极值构造证明 | |
|---|---|---|
| 起点 | 特征方程 | 二次型 |
| 关键理论 | 代数基本定理 | 紧致性、极值定理 |
| 主要技巧 | 利用对称性证明特征值为实数 | 极值点满足特征值方程 |
| 额外收获 | 证明特征值的实数性质 | 联系特征值与优化问题 |
这两种证明都依赖更深层的数学结论,并不是其中一种完全不需要前提。
我认为这里最有意思的是:特征向量和函数极值,看似来自完全不同的数学领域,却通过二次型和约束优化联系在了一起。
而且这恰好与你正在学习的 Transformer 有关系。神经网络优化中,我们研究 Hessian 的特征值,本质上也在分析损失函数沿不同方向的二阶变化率。
所以,之前那个证明虽然精巧,但不是孤立的数学技巧,而是线性代数与最优化理论之间一个很深刻的联系。
补充:这条路线完成了什么
代数基本定理先给的是复根,非零核向量也先在复空间中取得。对称性再保证 实,并从复向量的实部、虚部里找到非零实特征向量;不能在这一步之前预设所有根都是实数。
本章只要找到一个实特征向量,就能接入下一章的正交补归纳。共轭转置证明也直接表明任意复特征值都是实数。代数基本定理在此明确作为已有基础,不用“谱定理保证实根”来证明谱定理。