第 1 章：从矩阵梯度追到实数完备性的思考路线

返回目录

这份笔记的起点是：“Transformer 中那个梯度的矩阵是怎么来着？”之后的问题逐步变成：梯度为何同形、为何用负梯度、极值处为何梯度为零、Hessian 如何判别、为什么实对称矩阵能正交对角化、为什么单位球面上的连续函数能取到极值、紧致为什么等价于闭且有界。

后面的追问并没有偏离起点：我们想理解的是，局部下降方向、一阶驻点和二阶曲率之间，究竟有哪些可以证明的联系。

1.1 原来的追问链与本版阅读顺序

原对话不断向前追问前提；本版将补充知识放到首次需要它的证明之前。第 2—4 章建立优化问题；第 5—6 章复习矩阵语言；第 7—8 章补分析基础；第 9—10 章完成谱定理的两条路线；第 11—12 章回到 Hessian；第 13 章检验边界；第 14 章逐轮回查。

两条谱定理路线共享“正交补不变、限制仍对称、归纳降维”。它们只在第一个实特征向量的存在性证明上不同：一条引用代数基本定理，另一条使用紧致性与极值定理。对话里“球面构造太精巧”的疑惑保留在第 9—10 章的动机说明中。

1.2 符号与对象

符号	类型和含义
	实值标量损失
	线性层输入、参数、输出；原对话也记作
	与 同形的梯度矩阵
	标准梯度下降中的正实数学习率
	定义在开集 上的实值函数
	输入点、位移、方向向量；默认列向量
	本版的 Hessian；不要与线性层激活 混淆
	一般实对称矩阵
	正交特征向量矩阵、按相同次序排列特征值的对角矩阵
	转置、复共轭转置
	集合、单位球面

在这里表示正交矩阵，与 Attention 的 Query 矩阵没有特殊关系。大写 是字母 Lambda，在本笔记中被指定为对角矩阵；它不是“取对角矩阵”的运算符。

1.3 本文证明到哪里

本文证明线性层梯度、最速方向、内部极值必要条件、Gram–Schmidt、Heine–Borel 两个方向、有限维序列紧致等价、连续像紧致与极值定理、两条谱定理路线、正定性与特征值等价、统一二次下界和二阶判别法。

实数完备性（等价地可从上确界性质出发）作为分析基础使用；有限维线性代数中的行列式与可逆性、秩—零化度、矩阵乘法及一元微分法则作为基础使用。代数路线引用代数基本定理，其证明可回查项目里的代数基本定理笔记。球面路线独立于这个引用。

二阶泰勒公式与混合偏导相等在第 12 章给出推导。本文不证明训练一定收敛或能找到全局最优点；最后会明确这些结论与局部微分性质之间的差别。