第 13 章：具体例子、易错边界与回到训练问题

返回目录

13.1 一组贯穿例子：交叉项如何消失

取

$f(x,y)=\frac32x^2+xy+\frac32y^2,\qquad H=\begin{bmatrix}3&1\\1&3\end{bmatrix}.$

原点梯度为零。取 $q_1=(1,1)^T/\sqrt2$ 、 $q_2=(-1,1)^T/\sqrt2$ ，则特征值为 $4,2$ 。新坐标为

$u_1=(x+y)/\sqrt2,\qquad u_2=(-x+y)/\sqrt2, \qquad f=2u_1^2+u_2^2.$

因正交变换保长度， $f(x,y)\geq x^2+y^2$ ，所以原点是严格全局极小点。这里能说全局，是因为函数恰为正定二次型，不是因为一般二阶判别法自动给出全局结论。

13.2 二维判别式只是同一事实的简写

对实对称 $H=\begin{bmatrix}a&b\\b&c\end{bmatrix}$ ，令 $D=ac-b^2$ 。若 $a\ne0$ ，完成平方得

$ax^2+2bxy+cy^2 =a\left(x+\frac ba y\right)^2+\frac Da y^2.$

若 $D>0,a>0$ ，两项系数皆正，故正定； $D>0,a<0$ 则负定。若 $D<0$ ，两特征值乘积负，故一正一负，二次型不定。若 $D=0$ ，存在零特征值，通常要看高阶项。这个规则仍须搭配 $\nabla f(p)=0$ 才能作为驻点极值判别。

13.3 内部、可微、驻点和邻域条件都不可省

错误推断	反例及原因
极值处梯度总为零	$f(x)=x$ 在 $[0,1]$ 的最小点是边界点 $0$ ，导数为 $1$
极小处导数一定存在	$f(x)=\|x\|$ 在 $0$ 极小，但不可微
Hessian 正定处就是极小点	$f(x)=x+x^2$ 在 $0$ 二阶导为 $2$ ，一阶导为 $1$ ，并非极小点
梯度零就是极小点	$f(x,y)=x^2-y^2$ 在原点为鞍点
Hessian 半正定能确定极小	$f(x,y)=x^2-y^4$ 在原点半正定却为鞍点
局部极小必是全局极小	$f(x)=(x^2-1)^2+x$ 的两处局部极小值不同

最后一例的导数为 $4x^3-4x+1$ ，在 $(-2,-1)$ 、 $(0,1/2)$ 、 $(1/2,1)$ 各有一根；左右两根二阶导为正，中央根二阶导为负。左侧极小函数值小于 $-1$ （在 $x=-1$ 的值为 $-1$ 且该点非驻点），右侧极小点为正数且两项使函数值正，因此右侧局部极小不是全局极小。

13.4 从方向导数回到 Transformer

把全部可训练参数按固定顺序展平成 $\theta\in\mathbb R^N$ ，损失就成为 $L(\theta)$ 。梯度回答一阶局部变化；Hessian 回答梯度如何变化与二阶方向变化。对矩阵参数，二阶导数若展开为元素索引对，通常是四阶数组；展平后成为 $N\times N$ Hessian。它与本来同形的参数梯度不可混用。

即使全损失梯度在某处为零，各小批量梯度也未必为零；带动量或权重衰减的优化器也未必立即停止。高维 Hessian 可能出现零或负方向。这里证明的局部定理不承诺训练能到达该点，也不承诺找到全局最优。

13.5 可以独立复述的证明链

从矩阵链式法则得到同形参数梯度；用方向导数和 Cauchy–Schwarz 说明负梯度是一阶最速下降方向；用一元费马定理说明内部可微极值必须驻点；在驻点处，一阶项消失，二阶泰勒公式留下 Hessian 二次型与统一余项。

谱定理把实对称二次型化成 $\sum_i\lambda_i u_i^2$ ；正定给出全部 $\lambda_i>0$ ，有限个特征值有正的最小值。这个统一正下界压过小 $o$ 余项，于是得到整个邻域中的严格不等式，而非仅沿每条固定直线的判断。

追问谱定理时，先解决一个实特征向量的存在，再用正交补不变和归纳得到完整特征基。球面路线的存在性来自连续函数在非空紧集取极值；紧致性的欧氏空间刻画，又来自有限维和实数完备性。这些就是原来 20 轮问题之间的连接。

第 13 章：具体例子、易错边界与回到训练问题 ​

13.1 一组贯穿例子：交叉项如何消失 ​

13.2 二维判别式只是同一事实的简写 ​

13.3 内部、可微、驻点和邻域条件都不可省 ​

13.4 从方向导数回到 Transformer ​