Transformer 回顾

先看一个任务：语言建模（language modeling）——给定前文预测下一个 token（分词后的最小单位，可以是字、词或 subword）。用「我把昨天在图书馆借的那本书还了」走一遍：句首的"把"和句尾的"还"构成同一个"把…还了"结构，两者相隔 12 个字（"把"在第 2 位、"还"在第 14 位）——信息必须跨过这 12 个位置传过来。① 相隔任意远的两个位置必须能直接交换信息，即建模长距离依赖；② 不能按时间步串行计算，必须可并行。这两条就是我们要满足的任务约束。

先用 RNN（循环神经网络）撞一下墙。它的工作方式：从左到右，一个词接一个词地读。"我" → 更新隐藏状态 → "把" → 更新隐藏状态 → ...（隐藏状态 = RNN 用来记住"前面所有词"的那个向量。）RNN 的隐藏状态每步都被整体重写（像只用一张便签纸记笔记），读到句尾开头的信息早被擦没了；而且它必须按时间步一个个算。这两点正好同时踩中上面两条约束。在 2017 年之前，处理句子的主力就是 RNN 及其门控版本 LSTM。

打个比方：RNN 读句子像一个人只用一张便签纸做笔记——每读一个词就把便签擦掉重写，便签上只剩当前这一行；读到句尾，开头记的细节早被擦没了。后面所有"遗忘"和"消失"的毛病，都源于这一张便签。

RNN 的两个致命问题（一前一后）：

① 前向：hidden state 被反复覆盖，远处信息留不住。每读一个新词，整个隐藏向量就被重写一次——像一张便签纸擦了又写，读到句尾时开头的细节早被挤没了。这踩中了第一条约束（长距离依赖）。

② 反向：梯度消失，开头学不到。训练时要反向传播（把误差从输出端往回传、据此调参数）。梯度沿时间步往回传，每传一步就乘一个小于 1 的数，传到开头几乎为零——模型根本看不到句首在说什么。这进一步加剧了远距离遗忘：即便信息勉强传到句尾，梯度也回不到句首去调参数。

③ 串行慢。第 100 个词必须等前 99 个词全算完。GPU 有几千个核心，RNN 的时间步却只能一个一个来——并行度用不上。这踩中了第二条约束（必须可并行）。

上一张卡片看到 RNN 的 hidden state 每读一个词就被整体覆盖一次，开头的信息留不住。要解决它，最直接的做法是让每两个位置之间都算一个"像不像"的分数——n 个 token 就是 n×n 张分数表。

Self-Attention 的核心：让每个词都去"查"一遍所有其他词，看它们和自己有多相关。

用图书馆打个比方：Q 是你手里的索书号，K 是每本书书脊上的分类标签，V 是书页里的正文——拿 Q 去和每一张 K 比对，谁最像就把谁的 V 借走。句子里的每个词同时扮演这三种角色。

Q（Query） = "我在找什么？"  K（Key） = "我有什么可以提供？"  V（Value） = "如果选了我，我给你什么信息？"

为什么不直接用词向量本身两两算点积、非要投影出 Q、K？因为词向量的相似度是固定的——不管任务是翻译还是问答，「苹果」和「甜」的分数都一样，模型没法按任务调；投影成 Q、K 之后，同一对词的分数可以被训练成任意大小（本例 Q_我·K_吃 = 0.16 就是这样算出来的）。

关键洞察：所有词的计算是同时进行的——这就是为什么 Self-Attention 能并行：串行步数从 RNN 的 O(n) 降到 O(1)。总计算量并不一定更小——原论文 Table 1 给出每层复杂度，Self-Attention 是 O(n²·d)，RNN 是 O(n·d²)：n 小于 d 时前者更省，n 远大于 d 时反而更贵（例如 d=512：n=100 时前者约为后者的 0.2，n=1000 时约为 1.95 倍）。

上一张卡片算出了一张 n×n 的分数矩阵（attention 分数）。但生成有个前提：模型从左往右吐词，生成"我"的时候"爱"还不存在。所以矩阵里"列号大于行号"的格子（上三角）必须作废——填成 -∞，Softmax 之后自然是 0。

这就像闭卷考试：练习时若允许翻书（看到未来），上考场却只能凭记忆，成绩必然崩，所以练习就得按考场规则来。

训练一个"理解"任务时，双向注意力没问题——"苹果很甜"中，"甜"确认了"苹果"是水果。

但生成时完全不同。模型从左往右逐 token 生成，生成"我"的时候，"爱"还不存在。如果训练时允许模型"偷看"未来 token，因为整句话是并行喂进去的，每个位置都能直接读到自己要预测的答案，学到的只是照抄；上线做生成时，右边没有答案可抄，这个本事就用不上了。

上一张卡片看到：Causal Mask 在分数矩阵的上三角填 -∞，Softmax 之后变成 0——每个词只能看到自己和左边的词。这个"挡不挡未来"的选择，让同一个 Transformer 自然分成了两条路线：因为训练时能看到什么，决定了模型学会做什么，所以训练目标不同，擅长的任务就不同。

就像两种考生的分工：一个负责阅读理解（前后文一起看，判断"苹果很甜"是不是在说水果），一个负责续写作文（只能看已经写出来的部分）。前者对应 BERT，后者对应 GPT；真正的区别在下面这张表里的训练方式。

为什么 BERT 不适合直接生成？

BERT 训练时习惯看到整句再判断。让它生成，就只能从左往右逐 token 地来——而 BERT 从来没被训练过"在只知道前半句的情况下猜下一个词"。

GPT 从预训练第一天起就在做这件事：只看左边，猜右边。这不是能力高低，而是训练范式决定的分工。

上一张卡片看到 BERT 与 GPT 的差别在"能看到哪些位置"；但前几张卡片算的一直是单个头的注意力：一个词对其他词只有一组 attention 权重，所有关系被迫压进同一张矩阵。（BERT 与 GPT 的每一层其实都是多个头并行，本卡就来拆开看为什么。）"苹果"和"甜"（属性）、"苹果"和"买"（动作）、"苹果"和"斤"（数量）是三种异质关系，一组权重表达不了。

就像多个人同时读同一句话：一个人盯语法、一个人盯语义、一个人盯数量，最后把各自的笔记合并成一份更完整的理解。

"苹果很甜，我昨天买了三斤"——"苹果"既和"甜"有关（属性），又和"买"有关（动作），还和"斤"有关（数量）。一个头很难同时捕捉三种异质关系。

那能不能干脆不分组，只把单头加宽（每头维度由 64 提到 128）？不能——加宽只是把同一张打分表放大，Softmax 之后仍然只有一行权重；要同时表达「属性 / 动作 / 数量」三套彼此独立的分布，就必须真的开出三个头，让它们各持一张打分表。

上一张卡片看到每一层有多个 head、每个 head 一组 K/V。进入生成阶段后，每一步都要用到前面所有 token 的 K/V——如果每一步都从头算一遍，同样的 K/V 就被反复重算。

关键洞察：把已经算过的 Key 和 Value 存下来、下一步直接复用，这就是 KV Cache（Key-Value Cache，键值缓存）。每一步只需要为新 token 算一组新的 K/V，再和缓存里的旧 K/V 拼起来做注意力。打个比方，就像读书时在书页上做过的批注不用每翻一页都重做一遍；回到术语，缓存下来的就是前面所有 token 的 K 和 V。

它之所以成立，靠的是 Causal Mask：旧 token 看不到未来，所以新 token 的出现不会改变旧 token 的 K/V，缓存下来的值永远有效。如果像 BERT 那样双向可见，新增一个词会改变所有旧词的表示，缓存就失效了。