点击任一公式，可查看并复制 LaTeX 源码。正文、公式及此工具均可单文件离线使用；剪贴板受限时可选中源码手动复制。

梯度、谱定理与紧致性笔记

第一版 · 2026-10-18（北京时间）

来源：Transformer梯度矩阵推导。按完整 20 轮对话整理，保留追问、定义、两条证明路线和条件边界；将聊天演示改为本版静态图示，补全原对话略过的分析与归纳步骤。

正文目录

• 第 1 章：从矩阵梯度追到实数完备性的思考路线3
• 第 2 章：标量对矩阵的梯度、链式法则与参数更新5
• 第 3 章：梯度为何是最速方向，以及它位于哪个空间14
• 第 4 章：内部极值为什么必须驻点，为什么还要看二阶17
• 第 5 章：矩阵、特征向量与换坐标：看懂正交对角化18
• 第 6 章：正交矩阵为什么能选出，以及 Gram–Schmidt 如何操作29
• 第 7 章：紧致性、闭且有界和收敛子序列41
• 第 8 章：连续像为什么紧致，连续函数为什么能取到极值53
• 第 9 章：谱定理的代数路线：先从特征方程找一个实方向59
• 第 10 章：谱定理的球面路线与共同的降维归纳64
• 第 11 章：正定性、正特征值与统一二次下界72
• 第 12 章：回到 Hessian：用泰勒余项严格完成二阶判别81
• 第 13 章：具体例子、易错边界与回到训练问题90
• 第 14 章：原对话逐轮覆盖索引与复习问题92

第 1 章：从矩阵梯度追到实数完备性的思考路线

返回目录

这份笔记的起点是：“Transformer 中那个梯度的矩阵是怎么来着？”之后的问题逐步变成：梯度为何同形、为何用负梯度、极值处为何梯度为零、Hessian 如何判别、为什么实对称矩阵能正交对角化、为什么单位球面上的连续函数能取到极值、紧致为什么等价于闭且有界。

后面的追问并没有偏离起点：我们想理解的是，局部下降方向、一阶驻点和二阶曲率之间，究竟有哪些可以证明的联系。

1.1 原来的追问链与本版阅读顺序

原对话不断向前追问前提；本版将补充知识放到首次需要它的证明之前。第 2—4 章建立优化问题；第 5—6 章复习矩阵语言；第 7—8 章补分析基础；第 9—10 章完成谱定理的两条路线；第 11—12 章回到 Hessian；第 13 章检验边界；第 14 章逐轮回查。

两条谱定理路线共享“正交补不变、限制仍对称、归纳降维”。它们只在第一个实特征向量的存在性证明上不同：一条引用代数基本定理，另一条使用紧致性与极值定理。对话里“球面构造太精巧”的疑惑保留在第 9—10 章的动机说明中。

1.2 符号与对象

$Q$ 在这里表示正交矩阵，与 Attention 的 Query 矩阵没有特殊关系。大写 $\mathrm{\Lambda }$ 是字母 Lambda，在本笔记中被指定为对角矩阵；它不是“取对角矩阵”的运算符。

1.3 本文证明到哪里

本文证明线性层梯度、最速方向、内部极值必要条件、Gram–Schmidt、Heine–Borel 两个方向、有限维序列紧致等价、连续像紧致与极值定理、两条谱定理路线、正定性与特征值等价、统一二次下界和二阶判别法。

实数完备性（等价地可从上确界性质出发）作为分析基础使用；有限维线性代数中的行列式与可逆性、秩—零化度、矩阵乘法及一元微分法则作为基础使用。代数路线引用代数基本定理，其证明可回查项目里的代数基本定理笔记。球面路线独立于这个引用。

二阶泰勒公式与混合偏导相等在第 12 章给出推导。本文不证明训练一定收敛或能找到全局最优点；最后会明确这些结论与局部微分性质之间的差别。

第 2 章：标量对矩阵的梯度、链式法则与参数更新

返回目录

你之前问过 Transformer 反向传播时，梯度为什么也是一个矩阵，以及为什么计算时需要转置。我们沿用之前的 $H_1,W_2,H_2,L$ 来回顾。

一、梯度矩阵是什么？

假设 Transformer 中有一个线性变换：

其中：

最终通过后续计算得到一个标量损失：

我们想知道：如果 $H_2$ 的每一个元素发生微小变化，损失 $L$ 会变化多少？

于是分别求偏导，并将结果按照 $H_2$ 的形状排列：

这个就是梯度矩阵（gradient matrix）。

需要注意，它不是矩阵求导后凭空出现的新概念，而是将每个元素的偏导数重新排列成矩阵。

二、梯度如何向前一层传递？

我们已经知道：

同时已经计算出：

现在想求：

依据链式法则，最终有：

为什么会出现转置？

考虑一个最简单的例子。

因此：

根据链式法则：

写成矩阵：

所以，转置并不是单纯为了让矩阵维度匹配，而是链式法则展开后自然得到的结果。

三、反向传播的三个重要梯度公式

对于线性层：

令：

那么：

1. 对输入 $H_1$ 求梯度：将梯度传回前一层

2. 对权重 $W_2$ 求梯度：用于更新模型参数

3. 对输出 $H_2$ 求梯度：从后续计算传来的梯度

注意，求偏导时其他变量仍然保持当前数值不变。比如求 $\partial L/\partial H_1$ 时，$W_2$ 视为常量；但 $W_2$ 本身也是需要训练的参数，所以我们还会单独计算 $\partial L/\partial W_2$。

四、如何理解整个反向传播？

对 Transformer 来说，整个模型虽然包含 Q、K、V、Attention、MLP 等复杂模块，但反向传播的基本原理都是这个链式法则。

还有一个很容易混淆的概念：

• 梯度矩阵（Gradient matrix）：标量 $L$ 对矩阵各元素求偏导，结果通常与原矩阵同形状。
• 雅可比矩阵（Jacobian matrix）：向量对向量求导，表示每个输出元素对每个输入元素的影响。

我们上面实际上是利用雅可比矩阵描述的关系，通过链式法则计算梯度，只不过矩阵运算让我们不必显式构造巨大的雅可比矩阵。

你之前最容易混淆的地方，其实就是三个不同的问题：对输入求导、对权重求导、对输出求导。 只要始终明确正在求谁的梯度，转置应该放在哪一边就容易理解了。

补充：权重梯度逐元素推导

记 $X\in {\mathbb{R}}^{m\times d}$、$W\in {\mathbb{R}}^{d\times r}$、$Y=XW\in {\mathbb{R}}^{m\times r}$，并令 $G_{ij}=\partial L/\partial Y_{ij}$。由 $Y_{ij}=\sum _k{X}_{ik}{W}_{kj}$，有

因此 ${\mathrm{\nabla }}_{X}L=G{W}^T$、${\mathrm{\nabla }}_{W}L=X^{T}G$。维度检查只能排错，不能替代这段链式法则证明。如果另有通往 $L$ 的依赖路径，还要累加各路径贡献。

用 Frobenius 内积 $⟨A,B{⟩}_F=\sum _{ij}{A}_{ij}{B}_{ij}=\mathrm{tr}(A^{T}B)$，同一关系也可写成

这个等式解释了梯度为何按照与原变量相同的形状表示：它是微分这个线性泛函在 Frobenius 内积下的代表。

对，完全正确。我们之前讨论的反向传播梯度，都是标量对矩阵求梯度，而不是矩阵对矩阵求导。

关键在于：损失函数 $L$ 最终是一个标量。

例如：

虽然 $H_1,H_2,W_2$ 都是矩阵，但最终的损失是：

因此，我们计算的是：

它们都是标量对矩阵的梯度。

那么矩阵对矩阵求导是什么？

例如：

如果直接计算：

由于 $Y$ 和 $X$ 都是矩阵，严格来说，我们需要描述 $Y$ 中每个元素对 $X$ 中每个元素的偏导数。

假设：

那么 $Y$ 有 8 个元素，$X$ 有 6 个元素。

因此，如果把两个矩阵分别展平成向量，它们之间的雅可比矩阵就是：

也可以不展平，使用四阶张量表示。

为什么 Transformer 不需要显式计算这种巨大的雅可比矩阵？

因为反向传播使用的是向量-雅可比积（Vector–Jacobian Product, VJP）。

例如：

虽然中间存在 $H_2$ 对 $H_1$ 的雅可比矩阵，但是我们真正需要的是：

这相当于将损失梯度与局部雅可比矩阵相乘，而不需要显式构建它。

所以你可以这样记忆：

• 前向传播：矩阵经过矩阵运算，得到新的矩阵。
• 反向传播：从标量损失 $L$ 出发，逐层计算 $L$ 对各个矩阵的梯度。
• 数学原理：矩阵之间的雅可比关系 + 链式法则。
• 计算实现：通常只计算向量-雅可比积，避免构造完整的雅可比矩阵。

这也是为什么深度学习中的自动微分能够高效地处理包含海量参数的神经网络。

对，这正是梯度下降（Gradient Descent）的核心要求：我们需要计算出一个与权重矩阵 $W$ 形状完全相同的梯度矩阵，才能逐元素更新参数。

假设权重矩阵是：

损失函数 $L$ 是一个标量，对 $W$ 求梯度：

然后梯度下降的更新公式就是：

其中 $\eta$ 是学习率（learning rate）。

展开到每一个参数：

也就是说，每个权重都有一个对应的偏导数，告诉我们应该朝哪个方向调整这个权重，才能在局部近似下使损失减小。

再联系之前的线性层：

反向传播会同时计算两种梯度：

这里有一个重要区别：

对 $W_2$ 求梯度，是为了更新这一层的参数；对 $H_1$ 求梯度，是为了继续反向传播。

所以，虽然反向传播会计算很多梯度矩阵，但真正用于梯度下降更新的，是损失函数对各个可训练参数矩阵的梯度。

你现在其实已经把 Transformer 训练过程的关键逻辑串起来了：

Transformer 中的 $W_Q,W_K,W_V,W_O$ 以及 MLP 层的权重矩阵，都是按照这个基本原理学习的。

对，$\eta$（希腊字母 eta）就是学习率（Learning Rate），在标准梯度下降中是一个标量（scalar）。

梯度下降公式：

其中：

• $W$：权重矩阵，例如 $3\times 2$。
• $\frac{\partial L}{\partial W}$：梯度矩阵，同样是 $3\times 2$。
• $\eta$：学习率，是一个标量，例如 $0.001$。

因此，$\eta$ 会乘以梯度矩阵中的每一个元素：

补充：矩阵到矩阵的导数没有消失

对映射 $F_W:{\mathbb{R}}^{m\times d}\to {\mathbb{R}}^{m\times r}$、$F_W(X)=XW$，导数是线性映射 $D{F}_W(X)[E]=EW$。按列展平后，Jacobian 的形状为 $mr\times md$，并可写为 $W^T\otimes I_m$。本版不需要计算 Kronecker 积；只需要分清它与同形梯度是不同对象。

“前向矩阵对矩阵、最终标量损失对参数求梯度”可以同时成立。采用列梯度约定，反传写成 $J^{T}g$；采用行协向量约定，写成 $g^{T}J$，这就是通常所说的 VJP。名称里的行列约定不应改变实际链式法则。

现代自适应优化器可保留标量基础学习率，同时逐参数缩放更新；这不改变本章对标准梯度下降的定义。

第 3 章：梯度为何是最速方向，以及它位于哪个空间

返回目录

对，梯度向量（Gradient Vector）指向函数值增长最快的方向，而梯度的模长表示该方向上的最大变化率。

不过需要区分两个概念：

• 梯度的方向：函数值上升最快的方向。
• 梯度的模长：沿该方向移动单位距离时，函数值的最大瞬时变化率。

假设有一个二元函数：

它的梯度为：

梯度位于输入变量构成的空间中，指向函数值增长最快的方向，并与等高线正交（梯度非零时）。

为什么梯度是变化率最大的方向？

考虑沿单位方向向量 $\mathbf{u}$ 移动，函数的方向导数为：

根据向量点积：

因为 $\Vert \mathbf{u}\Vert =1$，所以：

当 $\theta =0$ 时，变化率最大：

也就是沿梯度方向移动。

联系 Transformer 的梯度下降

Transformer 训练的目标是减小损失函数 $L$，而不是增大它。

因此，更新参数时沿着负梯度方向：

这里虽然 ${\mathrm{\nabla }}_{W}L$ 是矩阵，但我们可以把矩阵中的所有参数展开成一个高维向量。

例如，一个 $3\times 2$ 的权重矩阵实际上对应 6 个独立参数，因此损失函数可以理解为定义在六维参数空间上的函数：

梯度矩阵本质上就是这个六维梯度向量的另一种排列方式。

所以，梯度下降可以理解成：在模型参数构成的高维空间中，每一步都沿着损失函数局部下降最快的方向调整参数。

需要注意，这里的方向是在参数空间中，而不是三维曲面上的切线方向；它是损失函数在参数空间中的最陡上升方向。

补充：梯度为零时，以及有限步长的限制

方向导数公式要求 $f$ 在该点可微。若 $\mathrm{\nabla }f(p)=0$，所有单位方向的一阶方向导数都是零，此时不存在由非零梯度指定的唯一最陡方向。

对矩阵变量，在 $\Vert E{\Vert }_F=1$ 的约束下同样有

非零梯度时，取 $E=-{\mathrm{\nabla }}_{W}L/\Vert {\mathrm{\nabla }}_{W}L{\Vert }_F$ 达到最小值。这里“最快”依赖所选的欧氏/Frobenius 度量；若换度量，最陡方向的表示也可能变化。

若梯度非零，可微性给出

所以足够小的正步长会下降；任意步长则没有保证。对 $f(x)=x^2$，更新为 $x_{new}=(1-2\eta )x$，对非零 $x$ 仅当 $0<\eta <1$ 时一步严格下降。把局部最速方向直接解释成“大步也最优”，会遗漏高阶变化。

对图形 $z=f(x,y)$，$\mathrm{\nabla }f$ 是输入平面中的二维向量。曲面写成隐式方程 $F(x,y,z)=f(x,y)-z=0$ 时，其法向量为 $(f_x,f_y,-1)$，与二维梯度不是同一个对象。

第 4 章：内部极值为什么必须驻点，为什么还要看二阶

返回目录

4.1 定义与条件

设 $f:U\to \mathbb{R}$，$U\subseteq {\mathbb{R}}^n$ 为开集。若存在 $r>0$，对所有 $x\in B(p,r)$ 有 $f(x)\ge f(p)$，则 $p$ 为局部极小点；除 $p$ 外严格大于时为严格局部极小点。极大点反向定义。驻点指可微且 $\mathrm{\nabla }f(p)=0$。

“最高/最低”在本笔记的判别法中指局部极值，除非明确写全局。二阶信息只描述邻域，不能直接推出全局结论。

4.2 从一元费马定理到多元必要条件

若一元可微函数 $g$ 在内部点 $0$ 取局部极小值，则 $t>0$ 时 $(g(t)-g(0))/t\ge 0$，$t<0$ 时该商 $\le 0$。两侧极限存在且相等，只能都等于零。因此 $g^{\prime }(0)=0$。

对每个坐标单位向量 $e_i$，令 $g_i(t)=f(p+t{e}_i)$。内部点条件允许正、负小 $t$；局部极小条件使 $g_i$ 也在零处取极小值。因此

局部极大对 $-f$ 应用同一证明即可。$x^2+y^2$、$-x^2-y^2$、$x^2-y^2$ 在原点全是驻点，却分别为极小、极大、鞍点。这说明一阶条件不足以分类。

4.3 二阶量为何形成一个矩阵

当 $f\in C^2(U)$，定义 $H_{ij}(p)={\partial }_i{\partial }_{j}f(p)$。沿固定方向 $v$，置 $g(t)=f(p+tv)$，链式法则给出

Hessian 把所有方向的二阶变化率组织起来；只看坐标方向的 $f_{xx},f_{yy}$ 会漏掉交叉项。下一步要解释的正是：为什么这个二次型能由正交主方向描述，以及为什么“每个方向都正”能变成控制整个邻域的统一估计。

第 5 章：矩阵、特征向量与换坐标：看懂正交对角化

返回目录

你之前学 Transformer 时已经接触过矩阵乘法、转置和梯度，现在正好可以把线性代数中的几个核心概念重新串起来。

我们重点解释这个公式：

它叫做实对称矩阵的正交对角化（Orthogonal Diagonalization），也是谱定理（Spectral Theorem）的重要结论。

理解它需要依次掌握：矩阵乘法、转置、特征值、特征向量、正交矩阵，以及对角化。

一、先回顾：矩阵到底是什么？

最重要的理解是：矩阵可以表示一个线性变换。

例如：

对于一个二维向量：

矩阵乘法得到：

也就是说，这个矩阵将向量的横坐标放大 2 倍，纵坐标放大 3 倍。

但一般的矩阵并不是这么简单。

例如：

我们得到：

现在两个坐标相互混合了。

那么问题来了：

有没有办法换一个坐标系，让矩阵 $B$ 也变成像 $A$ 那样简单的对角矩阵？

答案就是特征值分解。

二、什么是特征值和特征向量？

英文分别是：

• Eigenvalue：特征值
• Eigenvector：特征向量

对于矩阵 $B$，如果存在非零向量 $\mathbf{v}$，使得：

那么：

• $\mathbf{v}$ 是特征向量。
• $\lambda$ 是对应的特征值。

这个公式的几何含义非常重要：

矩阵变换后，这个特殊向量的方向没有发生改变（允许反向），只是长度被缩放了 $|\lambda |$ 倍。

例如刚才的矩阵：

我们尝试向量：

计算：

因此：

这意味着 $(1,1)$ 方向上的向量经过变换后，仍然沿这个方向，但长度变为 4 倍。

再尝试：

得到：

所以：

我们已经找到了两组特征值和特征向量：

三、特征值到底怎么计算出来？

刚才是直接尝试，现在用标准方法。

由：

移项：

这里 $I$ 是单位矩阵：

因为我们希望找到非零向量 $\mathbf{v}$，所以系数矩阵必须不可逆，即：

这叫特征方程（Characteristic Equation）。

代入：

回顾一下，二阶行列式的计算是：

因此：

整理得到：

所以：

然后分别将 $\lambda =4$ 和 $\lambda =2$ 代入 $(B-\lambda I)\mathbf{v}=0$，就能求出对应的特征向量。

四、什么是正交矩阵 Q？

现在回到我们真正想理解的公式。

首先，把两个特征向量进行归一化，也就是让它们的长度变成 1。

因为：

所以第一个单位特征向量为：

第二个为：

你可以验证它们相互垂直：

现在把它们作为矩阵的两列：

这种列向量相互垂直、长度均为 1 的方阵，叫作正交矩阵（Orthogonal Matrix）。

正交矩阵具有一个非常重要的性质：

因此：

其中：

• $Q^T$：转置，即交换行和列。
• $Q^{-1}$：逆矩阵，即能够撤销原矩阵变换的矩阵。

这两者通常并不相同，只有正交矩阵等特殊情况，才可以直接用转置代替逆矩阵。

几何上，我们这个 $Q$ 对应平面内的逆时针旋转 45°，而 $Q^T$ 对应顺时针旋转 45°。

五、终于推导 H = QΛQᵀ

为了和之前的 Hessian 公式保持一致，现在将 $B$ 重新记作 $H$。

我们知道：

把两条等式合并：

右侧也可以写成矩阵乘法：

令：

那么：

在等式两边右乘 $Q^T$：

由于：

因此：

这就是特征值分解的来源！

这里的三个矩阵分别代表：

注意：这个 $Q$ 只是线性代数中的符号，与 Transformer Attention 中的 Query 矩阵 $Q$ 没有特殊关系。

六、从几何上理解这三个矩阵的作用

这可能是最值得理解的部分。

因为矩阵乘法从右往左作用，所以整个变换可以拆成三步：

第一步：$Q^T\mathbf{x}$

将向量转换到由特征向量构成的新坐标系

第二步：$\mathrm{\Lambda }(Q^T\mathbf{x})$

沿两个新坐标轴，分别放大 4 倍和 2 倍

第三步：$Q\mathrm{\Lambda }{Q}^T\mathbf{x}$

将变换后的向量重新表示在原来的坐标系中

换句话说，原来复杂的矩阵：

在特征向量构成的新坐标系中，就变成了：

对角化的本质，就是找到一个特殊的坐标系，让原本复杂的线性变换变成沿各坐标轴独立的缩放。

七、为什么 Hessian 一定可以这样分解？

严格来说，不是所有矩阵都可以进行这种正交对角化。

但实对称矩阵可以。这是实对称矩阵谱定理：

每个实对称矩阵都存在一组正交归一的特征向量，它们构成整个空间的一组基。因此，该矩阵可以被正交对角化。

Hessian 矩阵为：

只要函数二阶偏导连续，根据混合偏导数相等定理（Clairaut's Theorem）：

于是：

因此 Hessian 是实对称矩阵，可以使用谱定理得到：

顺便补充一个小证明：为什么不同特征值对应的特征向量垂直？

设：

因为 $H^T=H$，所以：

代入特征值关系：

于是：

只要 ${\lambda }_1\ne {\lambda }_2$，就得到：

即两个特征向量相互垂直。对于重复特征值的情况，也可以在对应的特征子空间内选取正交归一基。

补充：零特征值与顺序

当 $\lambda =0$ 时，非零特征向量被映到零向量；此时不能说像向量仍有原方向。统一的陈述是其一维张成空间在变换下不变。

$Q^{T}x$ 是旧坐标到特征基坐标，$Qu$ 是特征基坐标到旧坐标。列向量与对角元素必须配对，同时交换它们不改变 $Q\mathrm{\Lambda }{Q}^T$。若有重特征值，同一特征子空间中的正交基并不唯一。

第 6 章：正交矩阵为什么能选出，以及 Gram–Schmidt 如何操作

返回目录

关键在于：并不是我们随便构造一个 $Q$，它就一定是正交矩阵，而是因为 $A$ 是实对称矩阵，我们总能选出一组正交归一的特征向量来构造 $Q$。

这里需要证明两件事：

1. 不同特征值对应的特征向量相互正交。
2. 相同特征值对应的特征向量，也可以选成相互正交的。

一、先理解 Q 为什么与正交有关

假设：

矩阵 $Q$ 的两列分别是两个特征向量。

那么：

展开得到：

注意，每一个元素都是两个向量的内积。

如果两个向量长度均为 1，并且互相垂直：

于是：

这就是正交矩阵的定义。

所以问题变成了：为什么实对称矩阵的特征向量能够满足这些条件？

二、证明不同特征值对应的特征向量正交

假设：

有两个不同的特征值 ${\lambda }_1\ne {\lambda }_2$，对应特征向量：

考虑这个标量：

我们可以用两种方式计算它。

第一种：先计算 $A{\mathbf{q}}_2$

第二种：利用矩阵的对称性

由于 $A^T=A$：

所以：

两种计算结果必然相等：

移项：

因为：

所以只能是：

证毕：实对称矩阵不同特征值对应的特征向量一定相互正交。

三、如果两个特征值相同呢？

这是一个容易忽略的细节。

例如单位矩阵：

因为 $A\mathbf{x}=\mathbf{x}$，所以任何非零向量都是特征值为 1 的特征向量。

例如：

显然：

所以，相同特征值对应的特征向量，不一定天然正交。

但是，我们可以选择另一组：

它们同样都是特征向量，而且相互正交。

对于高维情况，可以通过 Gram–Schmidt 正交化，在同一特征值对应的特征子空间中选出正交归一基。

之所以这样操作不会破坏特征向量性质，是因为相同特征值对应的特征向量的线性组合，仍然是该特征值的特征向量。

Gram–Schmidt 正交化（Gram–Schmidt Orthogonalization） 的核心思想很简单：

从第二个向量中，减去它在第一个向量方向上的分量，剩下的向量就与第一个向量垂直了。

我们先用二维向量推导，再推广到任意维度，最后解释为什么它不会破坏特征向量的性质。

一、先看最简单的二维例子

假设有两个线性无关、但不垂直的向量：

显然，它们的内积：

所以它们不正交。

我们的目标是找到两个新向量 ${\mathbf{q}}_1,{\mathbf{q}}_2$，满足：

第一步：保留第一个向量，并归一化

定义：

本例中 $\Vert {\mathbf{v}}_1\Vert =1$，因此：

第二步：计算第二个向量在第一个方向上的投影

向量投影的公式是：

注意，这里 ${\mathbf{q}}_1$ 已经是单位向量。

代入：

所以投影为：

第三步：减去投影

代入：

检验：

所以它们已经正交。

最后再归一化：

最终：

我们成功把原本不正交的两个向量，转换成了一组正交归一向量。

二、为什么减去投影后，一定会垂直？

这是 Gram–Schmidt 最重要的数学原理。

假设 ${\mathbf{q}}_1$ 是单位向量，我们想从 ${\mathbf{v}}_2$ 中减去某个倍数的 ${\mathbf{q}}_1$：

现在要求 ${\mathbf{u}}_2$ 与 ${\mathbf{q}}_1$ 垂直，也就是：

将表达式代入：

展开：

因为 ${\mathbf{q}}_1$ 是单位向量：

所以：

这就严格推导出了投影公式。

因此，减去投影并不是一种经验技巧，而是直接根据「两个向量内积等于零」这个正交条件求出来的。

三、如果有三个向量怎么办？

假设有三个线性无关的向量：

处理流程如下。

首先：

然后：

到了第三个向量，关键来了。

${\mathbf{v}}_3$ 既要去掉沿 ${\mathbf{q}}_1$ 的分量，也要去掉沿 ${\mathbf{q}}_2$ 的分量。

因此：

再归一化：

这时候：

而前面已经有：

所以三个向量两两正交。

推广到第 $k$ 个向量：

前提是原始向量线性无关，这样每一步的 ${\mathbf{u}}_k$ 都不是零向量。

四、为什么对特征向量做这个操作，不会破坏特征向量性质？

这就回到了你上一条关于实对称矩阵的问题。

假设：

注意：这两个特征向量对应同一个特征值 $\lambda$。

通过 Gram–Schmidt 得到：

那么：

利用矩阵乘法的线性性质：

代入特征值关系：

提出 $\lambda$：

因此：

这证明了：对同一特征值对应的特征向量进行线性组合，得到的非零向量仍然是同一个特征值对应的特征向量。

归一化也只是乘一个非零标量，因此同样不会破坏特征向量性质。

但如果两个特征向量对应不同特征值，它们的线性组合通常就不再是特征向量。不过实对称矩阵的不同特征值对应的特征向量本来就正交，因此也不需要跨特征值进行 Gram–Schmidt。

五、最后把它和 Q 联系起来

对于实对称矩阵 $A$，我们可以在各个特征子空间中通过 Gram–Schmidt 选取正交归一基，再将它们组合起来：

就有：

并且：

最终：

所以，你可以把 Gram–Schmidt 理解为一个非常具体的操作：

每加入一个新向量，就把它与之前所有正交方向重叠的分量全部减掉，最后把剩余向量的长度调整为 1。

它不仅用于矩阵特征向量的正交化，也是线性代数中 QR 分解、最小二乘计算等方法的基础。

补充：非零性、张成空间和循环论证

第 $k$ 步若 $u_k=0$，则 $v_k$ 属于前 $k-1$ 个 $q_j$ 的张成空间。归纳可知它等于前 $k-1$ 个 $v_j$ 的张成空间，与原向量组线性无关矛盾。因此每一步可归一化，并保持前 $k$ 个向量的张成空间。

但 Gram–Schmidt 不能凭空补出缺失的特征向量。不同特征值的正交性，加上同一特征空间内的正交化，并没有单独证明特征向量总数达到 $n$。这项存在性要由第 9—10 章的谱定理证明完成，不能先假定可对角化再拿它证明可对角化。

例如对非对称矩阵 $\left[\begin{array}{cc}1& 1\\ 0& 1\end{array}\right]$，唯一特征值为 $1$，特征空间仅一维；再熟练的正交化也无法把它变成二维特征基。

第 7 章：紧致性、闭且有界和收敛子序列

返回目录

对，你现在问的是数学分析中非常重要的 Heine–Borel 定理（海涅–博雷尔定理）：

这个定理并不是紧集的定义，而是一个需要证明的结论。并且要特别注意：这个等价关系依赖于有限维欧氏空间的性质，在一般的无限维空间中不成立。

我们从紧集的原始定义开始，证明两个方向。

一、紧集的原始定义是什么？

紧集（Compact Set）最经典的定义来自开覆盖（Open Cover）。

假设有一个集合：

存在一族开集 $\{U_{\alpha }{\}}_{\alpha \in I}$，满足：

这意味着这些开集加起来，可以完全覆盖 $K$。

如果无论你怎样用开集覆盖 $K$，都能从中选出有限个开集，仍然覆盖整个 $K$，那么就称 $K$ 是紧集。

数学表达为：

这就是有限子覆盖性质（Finite Subcover Property）。

注意，不是要求每种覆盖本来就只有有限个开集，而是即使提供无限多个开集，也总能从里面挑出有限个来完成覆盖。

二、先证明：紧集一定有界

这个方向比较简单。

假设 $K$ 是紧集。

我们考虑以原点为圆心、半径不断增大的开球：

它们的并集能够覆盖整个 ${\mathbb{R}}^n$，当然也能覆盖 $K$：

由于 $K$ 是紧集，根据有限子覆盖性质，可以从这些开球中选出有限个，覆盖整个 $K$。

假设选中的最大半径为 $M$。

由于这些球都是同心的：

这说明 $K$ 中所有点到原点的距离都小于 $M$。

因此：

三、再证明：紧集一定是闭集

回忆闭集的一个等价定义：

集合 $K$ 是闭集，当且仅当它的补集 ${\mathbb{R}}^n\setminus K$ 是开集。

因此，我们只需要证明：对于任意一个不属于 $K$ 的点 $\mathbf{p}$，都能在它周围找到一个完全不与 $K$ 相交的小球。

取：

对于 $K$ 内每个点 $\mathbf{x}$，构造开球：

由于 $\mathbf{p}\ne \mathbf{x}$，每个球的半径都大于零。

这些球显然覆盖整个 $K$，因为每个点都是其对应球的球心。

由紧致性，存在有限个球：

仍然覆盖 $K$，其中：

令：

现在，对于任意 $\mathbf{z}\in K$，它必然属于某个选中的球，例如 $B({\mathbf{x}}_i,r_i)$。

根据三角不等式：

因为：

所以：

因此，开球 $B(\mathbf{p},\delta )$ 完全不与 $K$ 相交。

这意味着 $K$ 的补集是开集，所以：

至此，我们已经证明：

四、最关键的一步：为什么闭且有界一定紧致？

这才是 Heine–Borel 定理真正需要用到欧氏空间特殊性质的地方。

我们要证明：

也就是证明：对 $K$ 的任意开覆盖，一定存在有限子覆盖。

这里使用一个非常巧妙的方法：不断将空间分割成越来越小的立方体，并使用反证法。

第一步：假设结论不成立

假设 $K$ 是闭且有界的，但它不是紧集。

那么存在一种开覆盖：

无论选多少个有限的 $U_{\alpha }$，都无法覆盖整个 $K$。

由于 $K$ 有界，我们可以找到一个足够大的闭立方体 $C_0$，使得：

第二步：不断细分立方体

以二维为例，我们先把正方形分成 4 个小正方形。

由于 $K$ 不能被有限个开集覆盖，至少有一个小正方形与 $K$ 的交集，也不能被有限个开集覆盖。

否则，如果四个小正方形中的部分 $K$ 都可以被有限覆盖，那么把这四组有限覆盖合并起来，就得到整个 $K$ 的有限覆盖，与假设矛盾。

于是我们选择这个有问题的小正方形，继续分割。

最终得到一系列嵌套的闭立方体：

并且每个 $K\cap C_m$ 都无法被有限个开集覆盖。

同时，立方体直径不断缩小：

第三步：证明这些立方体最终收敛到一个点

在每个 $K\cap C_m$ 中选择一点 ${\mathbf{x}}_m$。

由于这些立方体不断嵌套，对于任意 $j,k\ge N$，都有：

所以：

而立方体直径趋于零，因此序列 $\{{\mathbf{x}}_m\}$ 是柯西序列（Cauchy Sequence）。

欧氏空间 ${\mathbb{R}}^n$ 是完备的，所以存在极限：

又因为 $K$ 是闭集，所有 ${\mathbf{x}}_m\in K$，因此：

而且，由于立方体嵌套且闭合，${\mathbf{x}}^{\ast }$ 属于每一个 $C_m$。

第四步：利用开集性质得到矛盾

这是整个证明最精彩的地方。

因为我们的开集族覆盖 $K$，所以必然有某一个开集 $U_{\beta }$ 包含 ${\mathbf{x}}^{\ast }$：

既然 $U_{\beta }$ 是开集，那么存在一个 $\epsilon >0$，使得：

但是，立方体 $C_m$ 的直径正在趋近零，而且每个都包含 ${\mathbf{x}}^{\ast }$。

因此，当 $m$ 足够大时：

于是：

也就是说，仅仅一个开集 $U_{\beta }$，就已经能够覆盖这个立方体内的全部 $K$！

但我们在构造立方体时，要求每个 $K\cap C_m$ 都不能被有限个开集覆盖。

矛盾！

因此，原来的假设不成立。

Heine–Borel 定理证毕。

五、为什么又可以用收敛子序列来理解紧致性？

现在回到你最开始关心的那个问题：

为什么闭且有界集合中的任意序列，都存在收敛到集合内部的子序列？

实际上，它与刚才的证明有相同的数学基础。

这里使用 Bolzano–Weierstrass 定理（博尔查诺–魏尔斯特拉斯定理）：

例如，假设有一个二维有界序列：

由于整个序列有界，坐标序列 $\{a_n\}$ 也有界。

根据一维 Bolzano–Weierstrass 定理，可以从中选出收敛子序列：

然后只考虑对应的 $\{b_{n_k}\}$。

它同样有界，因此可以继续选出一个子序列：

由于第二次选择的仍然是第一次收敛子序列的一部分，所以对应的 $a_{n_{k_j}}$ 也收敛到 $a$。

于是：

推广到有限维，只需要对每个坐标依次提取子序列。

如果原来的序列全部位于闭集 $K$，那么它的极限也必然属于 $K$。

因此：

这种性质叫作序列紧致性（Sequential Compactness）。

对于欧氏空间：

前面通过嵌套立方体的证明，展示了闭且有界为什么能推出开覆盖紧致；而序列紧致是理解这一结论的另一种方式。

六、为什么强调有限维？

这里还有一个很重要的数学事实。

在无限维空间，例如平方可和序列组成的 Hilbert 空间 ${\ell }^2$ 中，考虑单位向量：

它们都在闭单位球内，长度都等于 1。

但对于任意 $i\ne j$：

所以这些向量之间始终保持固定距离，根本无法找到收敛子序列。

因此，无限维空间的闭单位球虽然闭且有界，却并不紧致（相对于范数拓扑）。

这意味着：有限维不仅仅是证明中的技术限制，而是定理成立的重要条件。

对，开覆盖（Open Cover）完全不要求由小球组成，只要求每一个覆盖集合都是开集（Open Set）。

例如，在二维欧氏空间 ${\mathbb{R}}^2$ 中，以下都可以作为开覆盖的组成部分：

• 开圆盘：$\{(x,y):x^2+y^2<1\}$
• 开矩形：$\{(x,y):0<x<2,0<y<3\}$
• 开半平面：$\{(x,y):x>0\}$
• 不规则形状的开区域，甚至多个不相连开区域的并集

只要这些开集的并集包含目标集合 $K$，它们就构成 $K$ 的一个开覆盖：

那为什么证明中经常使用小球？

因为在欧氏空间中，开集的定义本身就可以通过开球来描述。

如果 $U$ 是开集，那么对其中任意一点 $\mathbf{x}\in U$，一定存在 $\epsilon >0$，满足：

这里的开球是：

这意味着，不管开集 $U$ 的形状多么复杂，只要一点位于它内部，就能在这个点周围找到一个完全包含在 $U$ 里面的小球。

所以，在刚才 Heine–Borel 定理的证明中，我们首先知道：

因为 $U_{\beta }$ 是开集，所以可以找到：

而随着嵌套立方体越来越小，最终整个立方体都会落入这个小球，也就落入 $U_{\beta }$，从而产生矛盾。

注意这里的逻辑：不是说开覆盖必须由小球组成，而是任何开集内部都可以找到适当的小球。

还有一个更深一层的结论：在欧氏空间中，所有开球构成拓扑的一个基（Basis）。因此，讨论开覆盖时，实际上也可以只检验由开球构成的覆盖是否存在有限子覆盖；如果这个性质对所有开球覆盖成立，那么它对任意开集覆盖也成立。

补充证明一：从实数完备性到一维 Bolzano–Weierstrass

设有界序列 $(x_j)$ 落在闭区间 $I_0$ 中。把区间对半分，至少一半包含无穷多个序列项的指标；选取它为 $I_1$。逐次重复，得到闭区间 $I_k$，长度为 $2^{-k}|I_0|$，每个都含无穷多个指标的序列项。

可依次选严格增加的指标 $j_k$，使 $x_{j_k}\in I_k$。当 $r,s\ge k$ 时，两项均落在 $I_k$，所以 $|x_{j_r}-x_{j_s}|\le |I_k|$。它是柯西序列，由实数完备性收敛。这就补上了原对话中直接引用的一维定理；有限维坐标提取在上文已经说明。

补充证明二：序列紧致也推出闭且有界

若 $K$ 序列紧致却无界，可选 $x_j\in K$ 满足 $\Vert x_j\Vert >j$。任何子序列都不可能收敛，矛盾。

若 $K$ 不闭，则存在 $p\notin K$，每个 $B(p,1/j)$ 都与 $K$ 相交。选择 $x_j\in K\cap B(p,1/j)$，则 $x_j\to p$。序列紧致给出一个极限在 $K$ 中的子序列；极限唯一性迫使该极限就是 $p$，矛盾。因此 $K$ 闭。