第 5 章：矩阵、特征向量与换坐标：看懂正交对角化

返回目录

你之前学 Transformer 时已经接触过矩阵乘法、转置和梯度，现在正好可以把线性代数中的几个核心概念重新串起来。

我们重点解释这个公式：

$\boxed{H=Q\Lambda Q^T}$

它叫做实对称矩阵的正交对角化（Orthogonal Diagonalization），也是谱定理（Spectral Theorem）的重要结论。

理解它需要依次掌握：矩阵乘法、转置、特征值、特征向量、正交矩阵，以及对角化。

一、先回顾：矩阵到底是什么？

最重要的理解是：矩阵可以表示一个线性变换。

例如：

$A= \begin{bmatrix} 2&0\\ 0&3 \end{bmatrix}$

对于一个二维向量：

$\mathbf x= \begin{bmatrix} x\\y \end{bmatrix}$

矩阵乘法得到：

$A\mathbf x= \begin{bmatrix} 2x\\3y \end{bmatrix}$

也就是说，这个矩阵将向量的横坐标放大 2 倍，纵坐标放大 3 倍。

但一般的矩阵并不是这么简单。

例如：

$B= \begin{bmatrix} 3&1\\ 1&3 \end{bmatrix}$

我们得到：

$B\mathbf x= \begin{bmatrix} 3x+y\\ x+3y \end{bmatrix}$

现在两个坐标相互混合了。

那么问题来了：

有没有办法换一个坐标系，让矩阵 $B$ 也变成像 $A$ 那样简单的对角矩阵？

答案就是特征值分解。

二、什么是特征值和特征向量？

英文分别是：

Eigenvalue：特征值
Eigenvector：特征向量

对于矩阵 $B$ ，如果存在非零向量 $\mathbf v$ ，使得：

$\boxed{B\mathbf v=\lambda\mathbf v}$

那么：

$\mathbf v$ 是特征向量。
$\lambda$ 是对应的特征值。

这个公式的几何含义非常重要：

矩阵变换后，这个特殊向量的方向没有发生改变（允许反向），只是长度被缩放了 $|\lambda|$ 倍。

例如刚才的矩阵：

$B= \begin{bmatrix} 3&1\\ 1&3 \end{bmatrix}$

我们尝试向量：

$\mathbf v_1=\begin{bmatrix}1\\1\end{bmatrix}$

计算：

$B\mathbf v_1 = \begin{bmatrix} 3&1\\ 1&3 \end{bmatrix} \begin{bmatrix}1\\1\end{bmatrix} = \begin{bmatrix}4\\4\end{bmatrix}$

因此：

$\boxed{B\mathbf v_1=4\mathbf v_1}$

这意味着 $(1,1)$ 方向上的向量经过变换后，仍然沿这个方向，但长度变为 4 倍。

再尝试：

$\mathbf v_2=\begin{bmatrix}-1\\1\end{bmatrix}$

得到：

$B\mathbf v_2= \begin{bmatrix}-2\\2\end{bmatrix} =2\mathbf v_2$

所以：

$\boxed{B\mathbf v_2=2\mathbf v_2}$

我们已经找到了两组特征值和特征向量：

特征值	对应的特征向量	作用
$\lambda_1=4$	$(1,1)$	沿此方向放大 4 倍
$\lambda_2=2$	$(-1,1)$	沿此方向放大 2 倍

三、特征值到底怎么计算出来？

刚才是直接尝试，现在用标准方法。

由：

$B\mathbf v=\lambda\mathbf v$

移项：

$(B-\lambda I)\mathbf v=0$

这里 $I$ 是单位矩阵：

$I= \begin{bmatrix}1&0\\0&1\end{bmatrix}$

因为我们希望找到非零向量 $\mathbf v$ ，所以系数矩阵必须不可逆，即：

$\boxed{\det(B-\lambda I)=0}$

这叫特征方程（Characteristic Equation）。

代入：

$\det \begin{bmatrix} 3-\lambda&1\\ 1&3-\lambda \end{bmatrix}=0$

回顾一下，二阶行列式的计算是：

$\det\begin{bmatrix}a&b\\c&d\end{bmatrix}=ad-bc$

因此：

$(3-\lambda)^2-1=0$

整理得到：

$\lambda^2-6\lambda+8=0$

$(\lambda-4)(\lambda-2)=0$

所以：

$\boxed{\lambda_1=4,\quad\lambda_2=2}$

然后分别将 $\lambda=4$ 和 $\lambda=2$ 代入 $(B-\lambda I)\mathbf v=0$ ，就能求出对应的特征向量。

四、什么是正交矩阵 Q？

现在回到我们真正想理解的公式。

首先，把两个特征向量进行归一化，也就是让它们的长度变成 1。

因为：

$\left\|\begin{bmatrix}1\\1\end{bmatrix}\right\|=\sqrt2$

所以第一个单位特征向量为：

$\mathbf q_1=\frac1{\sqrt2} \begin{bmatrix}1\\1\end{bmatrix}$

第二个为：

$\mathbf q_2=\frac1{\sqrt2} \begin{bmatrix}-1\\1\end{bmatrix}$

你可以验证它们相互垂直：

$\mathbf q_1^T\mathbf q_2 = \frac12(-1+1)=0$

现在把它们作为矩阵的两列：

$\boxed{ Q= \begin{bmatrix} \vert&\vert\\ \mathbf q_1&\mathbf q_2\\ \vert&\vert \end{bmatrix} = \frac1{\sqrt2} \begin{bmatrix} 1&-1\\ 1&1 \end{bmatrix} }$

这种列向量相互垂直、长度均为 1 的方阵，叫作正交矩阵（Orthogonal Matrix）。

正交矩阵具有一个非常重要的性质：

$\boxed{Q^TQ=QQ^T=I}$

因此：

$\boxed{Q^{-1}=Q^T}$

其中：

$Q^T$ ：转置，即交换行和列。
$Q^{-1}$ ：逆矩阵，即能够撤销原矩阵变换的矩阵。

这两者通常并不相同，只有正交矩阵等特殊情况，才可以直接用转置代替逆矩阵。

几何上，我们这个 $Q$ 对应平面内的逆时针旋转 45°，而 $Q^T$ 对应顺时针旋转 45°。

五、终于推导 H = QΛQᵀ

为了和之前的 Hessian 公式保持一致，现在将 $B$ 重新记作 $H$ 。

我们知道：

$H\mathbf q_1=4\mathbf q_1$

$H\mathbf q_2=2\mathbf q_2$

把两条等式合并：

$H \begin{bmatrix} \vert&\vert\\ \mathbf q_1&\mathbf q_2\\ \vert&\vert \end{bmatrix} = \begin{bmatrix} \vert&\vert\\ 4\mathbf q_1&2\mathbf q_2\\ \vert&\vert \end{bmatrix}$