Transformer架构与训练笔记

机器学习数学 · v3 · 2026-10-17

从输入与注意力，到反向传播、训练和生成。

离线 HTML · PDF · Markdown

阅读方式

网站按章阅读；整篇可下载为离线 HTML、PDF 或 Markdown。公开下载版已移除原始对话链接。

第三版 · 2026-10-17（北京时间）

这一版从原分享问答重组：保留原来讲得清楚的解释、例子、公式和推导，先补前置问题，再把相关追问接在一起。新增内容只为补足跳步和说明条件。

从第1章顺着读即可。第4章保留完整方差推导，第11章保留原来的单参数训练例子；第13章提供额外的完整数值核验，第15章供矩阵细节回查。它们不代替主线解释。

文中教学分词、注意力比例和参数数值均为示意，不是真实模型测量，也不是临床判断依据。

章节目录

历史版本

查看本主题的版本归档