简介这份PPT围绕经典论文《Attention Is All You Need》梳理Transformer与Attention机制适合NLP初学者、研究生组会汇报者及需要快速掌握自注意力原理的读者。内容先解释为何要抛弃RNN与CNN——RNN难以并行、CNN受限于局部感受野随后拆解Transformer的核心组成包括Self-Attention、Multi-head Self-attention以及Scale Dot Product Attention、Multi-head Attention、Concat三个阶段的计算细节最后介绍其在机器翻译、文本分类、命名实体识别等NLP任务中的落地效果。资源包仅含1个pptx文件大小2.85MB页面按“背景—算法—应用”分节组织配有流程图与对比图便于直接用于学习或二次编辑成汇报材料。目前已有1995人浏览学习对于想从论文角度理解Transformer与注意力机制的人来说是一份高效、聚焦的导读PPT。1. Attention Is All You Need 到底在说什么为什么循环网络终于可以退场了我头一次把序列模型从循环结构换成 Attention Is All You Need 这套架构时印象最深的不是精度数字而是训练耗时直接从按天变成了按小时。标题背后的方案就是 Transformer完全丢掉循环和卷积只用自注意力建模序列依赖。核心收益是并行度一个句子里的词与词不再靠逐个时间步传播而是直接两两计算关联GPU 总算能吃饱了。适合正在做翻译、文本分类、时序预测这类任务的工程师想从循环模型迁移过来又不想踩一遍老坑按下面这套思路搭一个最小实现一天内能跑通。后面我把 QKV 原理、代码骨架、关键参数和排查记录一次说清楚。2. 自注意力不是黑匣子QKV、多头和位置编码的设计逻辑2.1 为什么用注意力替代循环并行计算与全局依赖循环网络处理序列时是严格串行的第 t 步的隐状态要等前一步算完才能往下走这让训练无法在显卡上吃满算力。句子一长梯度要沿着时间方向反向传播几十步非常容易衰减或爆炸。注意力机制换了一种思路不维护“过去的信息”而是让序列里每个位置都能直接看到所有其他位置。两个 token 之间的影响一步算完跟它们的距离无关。这让长距离依赖从“要跨很多步传递”变成“一步直达”语义相关性强的词即便隔得很远也能被模型捕捉到。代价是计算复杂度。自注意力的开销是 O(L²)L 是序列长度。L 在 512 左右时完全可接受到 2048 或更长就要考虑稀疏注意力、窗口注意力这些变体了。理解了这一点后面调参数时就不会盲目把序列拉长。我从这个标题里学到的最重要的一点是注意力机制不是“一种补充技巧”而是一个可以独立承担全部序列建模工作的完整框架。2.2 QKV 三层映射注意力分数是怎么算出来的每个输入 token 的向量会经过三个不同的线性映射得到 query、key、value。我习惯这样理解query 是“我想找什么”key 是“我能提供什么主题”value 是“我实际携带的内容”。一条序列里每个位置拿自己的 query 去跟所有位置的 key 做点积得到一个相似度分数再经过 softmax 变成权重最后用这个权重去加权所有位置的 value得到这个位置的输出。公式写出来就是Attention(Q, K, V) softmax(Q K^T / sqrt(d_k)) V。这里的 d_k 是每个注意力头的维度。为什么不直接除 d_k因为两个向量点积后的方差跟维度成正比维度越大点积结果分布越集中softmax 出来的分布越“尖”会让那些分数小的位置几乎拿不到梯度。除以 sqrt(d_k) 把方差拉回正常量级softmax 才能保持合理的温度。这一段是理解整套架构的核心。多头注意力后面会讲但 QKV 的分工在所有变体里都一样query 决定询问方向key 决定匹配维度value 决定实际携带的信息量。调参时如果发现某个注意力头不工作先检查 QKV 三个投影层是否被初始化太差或者梯度消失而不是急着改网络结构。2.3 多头注意力把语义空间拆成多个子空间单头注意力一次只能学一种关联模式这在实际语义里不够用。比如“苹果”既可能跟“红色”关联也可能跟“手机”关联这两种关系需要不同的匹配方式。多头注意力的做法是把嵌入维度切成 h 份每份独立做一次上面说的 QKV 注意力最后把所有头的输出拼起来再过一次线性层得到最终结果。这样设计的好处是计算量没有本质增加总维度是 d_model切成 h 个头之后每个头负责 d_model/h 维总参数和总计算量跟单头基本持平但表达能力多很多——每个头可以在不同子空间里学到不同模式的依赖。h 一般取 8d_model 取 512 时每个头 64 维。需要记的规则是d_model 必须能整除 h否则没法切分。我见过有人把 h 加到 16 想提升效果结果在小数据集上过拟合得更快注意力头不是越多越好得跟着数据量走。2.4 位置编码给无序的注意力补上顺序信息自注意力对输入顺序完全不敏感。把句子里的词换一下位置算出来的注意力分数不变这显然不符合语言建模的需求。要解决这个问题就得在输入向量里注入位置信息。经典做法是在词向量上叠加一个正弦余弦函数产生的位置向量偶数维用 sin奇数维用 cos频率随维度递减。这样做的好处是位置向量不需要训练参数而且模型有一定机会外推到训练时没见过的序列长度。我在实际中发现正弦位置编码在短序列上够用但在长序列上外推能力没有想象中好。如果业务里序列长度会经常变更稳的方案是现代常用的旋转位置编码RoPE它把位置信息编码进 Q 和 K 的相对旋转上外推表现更好。可学习位置嵌入则是最省事的方案直接开一个nn.Embedding(max_len, d_model)让网络自己学但训练时 max_len 设多长推理基本就锁在多长一超过就容易崩。选择哪类位置编码本质是看你的序列长度是固定还是动态变化。2.5 编码器与解码器的分工自注意力和交叉注意力的区别完整模型通常有编码器和解码器两块。编码器处理输入序列用的是自注意力每个位置可见整个输入解码器生成输出序列内部第一层用因果自注意力保证只能看到已经生成的部分第二层是交叉注意力query 来自解码器当前 tokenkey 和 value 来自编码器输出。这个分工对应机器翻译场景源语言信息在编码器里完整建模目标语言逐步生成时去源语言里查找对应内容。交叉注意力是容易被忽略的模块很多从预训练模型直接微调的人没意识到它承担了“两个序列之间对齐”的任务。在多模态或检索场景里改一改 query 的来源就可以实现跨序列对齐这也是注意力机制被广泛复用的原因。理解了这一层你就明白标题里“只需要注意力”这句话的底气在哪自注意力负责建模内部结构交叉注意力负责建模跨序列关系循环和卷积确实可以被完全替代。3. 从零搭建最小 Transformer一套可复现的代码骨架下面我给一个能直接跑的最小实现基于主流的深度学习框架 PyTorch。目标是让你看到 QKV 是怎么落到代码上的以及一个完整的编码层长什么样。我不是按底层算子去逐行重写而是用高层 API 组织逻辑保证可读性优先。3.1 多头自注意力模块PyTorch 实现与关键维度检查import torch import torch.nn as nn import torch.nn.functional as F class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_heads, dropout0.1): super().__init__() assert d_model % n_heads 0, d_model 必须能被 n_heads 整除 self.d_model d_model self.n_heads n_heads self.d_k d_model // n_heads # 一次投影出 Q、K、V比三个独立 Linear 更省参数开销 self.w_qkv nn.Linear(d_model, d_model * 3) self.out_proj nn.Linear(d_model, d_model) self.dropout nn.Dropout(dropout) def forward(self, x, maskNone): batch, seq_len, _ x.shape qkv self.w_qkv(x) # (batch, seq_len, 3 * d_model) qkv qkv.reshape(batch, seq_len, 3, self.n_heads, self.d_k) # permute 把 Q/K/V 维度放到最前unbind 拆成三个张量 q, k, v qkv.permute(2, 0, 3, 1, 4).unbind(0) # 此时 q/k/v 都是 (batch, n_heads, seq_len, d_k) scores q k.transpose(-2, -1) / (self.d_k ** 0.5) if mask is not None: # mask 形状一般是 (batch, 1, seq, seq)1 表示保留0 表示屏蔽 scores scores.masked_fill(mask 0, float(-inf)) attn F.softmax(scores, dim-1) attn self.dropout(attn) out attn v # (batch, n_heads, seq_len, d_k) out out.transpose(1, 2).reshape(batch, seq_len, self.d_model) return self.out_proj(out)这段代码里有几个维度处理值得单独解释。qkv.reshape后数据排列顺序是(batch, seq_len, 3, n_heads, d_k)我要的是(batch, n_heads, seq, d_k)而且 Q/K/V 分开所以用permute(2, 0, 3, 1, 4)把第 2 维的 3 提到最前面再用unbind(0)拆成三个张量。很多初学者直接 reshape 就报错多半是把 permute 和 reshape 的顺序搞反了。masked_fill(mask 0, float(-inf))是因果掩码的标准做法让某些位置在 softmax 前变成负无穷softmax 之后权重就是 0模型就看不到不该看的位置。训练时 mask 用来阻止解码器看到未来 token但编码器不需要。更快的替代方案是用框架自带的融合注意力算子提速明显但逻辑藏在底层先跑通再换不迟。用融合实现时注意算子接受的是布尔 mask跟这里的 0/1 数值 mask 转换不同。3.2 位置编码与编码层Pre-LN 结构的组合方式class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len512): super().__init__() pe torch.zeros(max_len, d_model) position torch.arange(0, max_len, dtypetorch.float).unsqueeze(1) div_term torch.exp( torch.arange(0, d_model, 2).float() * (-torch.log(torch.tensor(10000.0)) / d_model) ) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) self.register_buffer(pe, pe.unsqueeze(0)) def forward(self, x): # 训练时序列长度不能超过 max_len return x self.pe[:, :x.size(1)] class EncoderLayer(nn.Module): def __init__(self, d_model, n_heads, d_ff, dropout0.1): super().__init__() self.attn MultiHeadAttention(d_model, n_heads, dropout) self.ff nn.Sequential( nn.Linear(d_model, d_ff), nn.ReLU(), nn.Linear(d_ff, d_model), ) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x, maskNone): # Pre-LN先归一化再进子层训练比 Post-LN 更稳 x x self.dropout(self.attn(self.norm1(x), mask)) x x self.dropout(self.ff(self.norm2(x))) return x位置编码用register_buffer存成张量它不会参与梯度更新但会跟着模型参数一起在设备间搬运。pe[:, :x.size(1)]用切片方式取当前序列长度避免了手动改形状。这里有坑max_len 在初始化时就固定了训练时序列长度超过它切片会越界程序直接报错。所以训练前先确认训练数据的最大长度别随手设 512。提示先用小模型跑通数据管线再放大规模。很多新人一上来就 6 层 512 维loss 不降时根本不知道是模型问题还是数据问题。EncoderLayer 用的是 Pre-LN 结构LayerNorm 放在注意力层和前馈网络前面残差连接放在后面。Post-LN 是早期的标准结构但 Pre-LN 在训练稳定性上明显更好梯度在深层网络中想穿过多少层就穿过多少层不容易出 NaN。FFN 里两个 Linear 之间用 ReLU这是最普通的配置想提升效果可以换成 GELU 或 SiLU代价是多一点计算量。3.3 最小模型参数从 512 维到 6 层编码器的配置表参数值说明d_model512词嵌入与隐层维度越大表达能力越强n_heads8注意力头数d_model 必须能被 n_heads 整除d_ff2048FFN 中间维度一般取 d_model 的 4 倍num_layers6编码器层数小数据集可以降到 3 层max_len512最大序列长度按训练数据分布决定dropout0.1默认起步值过拟合时往上调vocab_size32000按词表大小来训练数据小就减小encoder_layer EncoderLayer( d_model512, n_heads8, d_ff2048, dropout0.1 ) transformer_encoder nn.TransformerEncoder(encoder_layer, num_layers6)nn.TransformerEncoder会按你传进去的单层结构重复堆叠内部自己处理层的顺序和残差不需要手动循环。这时候输入形状是(batch, seq_len, d_model)也就是每个 token 先查词向量得到 d_model 维再加位置编码最后进 encoder。如果你只用编码器做分类在输出上加一个语义池化和分类头就行做生成才需要解码器。一个经验不要一上来就跑 6 层 512 维。先用 3 层 128 维跑通数据管线确认 loss 在降再逐步放大。很多新人卡在“代码写完 loss 不降”根源不是模型写错而是一开始就把规模设大训练很久才看到效果问题没法尽早暴露。4. 训练 Transformer 必调的四个参数从学习率到标签平滑4.1 学习率预热与衰减前 4000 步决定成败Transformer 对学习率比传统序列模型敏感很多。直接用固定学习率早期参数还没收敛注意力分数的分布很乱梯度容易剧烈震荡。经典做法是先 warmup学习率从 0 先线性涨到峰值再按步数衰减。我常用的峰值系数是d_model^-0.5对应 512 维的峰值大约0.044配合 Adam 的 beta 设置会更稳。import math def lr_lambda(step, d_model512, warmup_steps4000): if step 0: step 1 factor d_model ** -0.5 return factor * min(step ** -0.5, step * (warmup_steps ** -1.5)) # 配合 Adam 使用epsilon 建议设小 optimizer torch.optim.Adam( model.parameters(), lr1.0, betas(0.9, 0.98), eps1e-9 ) scheduler torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda)注意optimizer的初始 lr 设成 1.0 只是个占位真正生效的学习率完全由lr_lambda计算这是这套方案里比较绕但常见的设计。每个 batch 训练完记得调用scheduler.step()。warmup_steps 越大学习率爬升越慢模型前期越稳但收敛会变慢数据量小时我习惯加大到 8000数据量大且有把握时 2000 都可以。如果训练前几千步 loss 就震荡不降第一个要查的就是 warmup。4.2 权重初始化默认初始化不一定够用Transformer 里的线性层很多如果用默认的均匀初始化深层的注意力输出方差会一层层累积最后导致 softmax 温度异常。我一般在模型构建后走一遍 Xavier 初始化至少能减少这种方差累积。这个过程不是必要但成本极低跑一遍只消耗几秒。def init_weights(module): if isinstance(module, nn.Linear): nn.init.xavier_uniform_(module.weight) if module.bias is not None: nn.init.zeros_(module.bias) model.apply(init_weights)这段初始化对 QKV 投影和前馈层都有效。嵌入层不一定要动PyTorch 的默认嵌入初始化通常够用。要强调的是初始化方案是“兜底”而不是“银弹”如果前面 warmup 没配好xavier 也救不了 NaN。所以排查顺序永远是学习率方案优先再谈初始化。4.3 dropout注意力权重和输出要分开设Transformer 里有两种 dropout作用完全不同。一种是注意力权重上的 dropout即MultiHeadAttention里 softmax 之后那个self.dropout(attn)它的作用是让模型不过度依赖某几个词的组合有点像注意力层面的正则。另一种是残差连接后的输出 dropout它负责整体隐层的随机失活更像传统 dropout。这两者的实际建议不同注意力 dropout 起步 0.1小数据集可以 0.3输出 dropout 起步也是 0.1但要小心残差网络本来训练稳定性就好dropout 太大会削弱有效参数导致欠拟合。我会在过拟合明显时优先调注意力 dropout而不是全局输出 dropout。调 dropout 时记得同时观察验证集不是训练 loss 降得慢就要降 dropout。4.4 标签平滑与填充掩码损失函数里的两个隐藏细节多分类任务里模型容易对训练数据的正确答案过度自信。标签平滑就是把原来的 one-hot 目标换成一部分概率分配给其他类防止 logits 被拉到极端。0.1 是常见平滑系数。第二个隐藏细节是 padding一个 batch 里序列长度不同短的会补 pad token这些位置不能参与 loss 计算否则模型会把大量梯度花在“学会忽略 pad”上。def label_smoothed_loss(logits, targets, eps0.1, pad_index0): log_probs F.log_softmax(logits, dim-1) n_classes logits.size(-1) # 平滑后的目标分布正确答案 1-eps其余类均分 eps smooth_dist torch.full_like(log_probs, eps / (n_classes - 1)) smooth_dist.scatter_(-1, targets.unsqueeze(-1), 1 - eps) loss -(smooth_dist * log_probs).sum(-1) mask targets ! pad_index return (loss * mask).sum() / mask.sum().clamp(min1)scatter_把目标 token 位置改成1 - eps其他位置保留eps / (n_classes - 1)这样构造出的分布才是合法的平滑标签。计算 loss 时用targets ! pad_index取出有效位置再对 loss 取均值。如果发现训练曲线在低处徘徊但验证集一直上不去先检查损失里是不是把 pad 也算了。5. Transformer 训练与推理避坑指南五个我踩过的技术坑5.1 训练第一步就 NaN先怀疑学习率再怀疑初始化现象训练没几步 loss 直接变 NaN或者某一步突然翻成几千。原因最常是学习率峰值过高参数一步跳出稳定区间其次是 warmup 没生效学习率一上来就是峰值最后才是初始化问题。很多教程把责任推给初始化我实测下来初始化排在最末。解决先把warmup_steps调大到 8000同时把梯度裁剪设成 1.0 兜底用torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)。如果 NaN 还出现再把峰值系数从d_model^-0.5缩小一半。这个过程很少需要动模型结构。注意梯度裁剪只是兜底它会掩盖学习率方案的问题稳定后要回头检查。5.2 推理文本不断重复同一句话检查因果掩码现象训练 loss 正常但生成阶段输出重复的短句比如“今天天气很好今天天气很好……”。原因推理是自回归每一步把上一步的输出喂回去误差会累积。但如果重复从第一步就开始更可能是训练时解码器的因果掩码漏了模型在训练时能看到未来 token学到的注意力分布是“作弊模式”。一到推理看不到未来注意力就乱了。解决检查训练时的 mask 是否设置为下三角矩阵且注意力层确实用它。我一般写一个显式的检查用例造两条序列打开注意力分数确认scores[i, j]在 j i 时全部是负无穷。这一步 10 分钟就能定位。确认 mask 没问题后再用降低温度或将贪婪解码换成采样减少重复。5.3 序列到 2048 显存直接爆掉自注意力是平方复杂度现象max_len 从 512 调到 2048显存需求肉眼可见地涨batch size 被迫缩到 1 甚至直接 OOM。原因自注意力分数矩阵是(batch, n_heads, seq_len, seq_len)序列翻四倍显存翻 16 倍。这是 O(L²) 的数学代价不是代码写错了。解决短序列训练加长序列推理是最省事的但要确认位置编码外推能力撑得住。靠谱点的做法是换融合注意力算子它内部做分块计算不需要物化完整矩阵。再不够就上梯度检查点用时间换显存。如果业务诉求是超长文本建模直接换窗口注意力或稀疏注意力路线更实际而不是硬撑全量自注意力。5.4 外推失效位置编码训练长度和推理长度差太远现象训练时 max_len 设 512推理推到 700 长度时效果明显变差甚至语法都不通。原因绝对位置编码如正弦余弦的形式虽然理论上有外推性但实际训练中模型只见过 512 以内的位置组合超出部分没有分布支撑。可学习位置嵌入则完全锁死超过直接崩。解决如果长度变化是常态把位置编码换成相对位置方案比如旋转位置编码或者 ALiBi。这类方案把位置建模为向量之间的相对关系天然不依赖绝对坐标。迁移代价是改一处编码层其他地方不用动。这是做长文本上线前最值得花时间的一项改造。5.5 验证集 loss 很低但业务效果差数据泄漏藏在切分方式里现象离线验证集分数好看新数据上一测就掉很多而且掉得稳定不是随机波动。原因序列建模任务里如果按行随机切分同一篇文档的内容可能一半进训练一半进验证模型等于见过验证集的下文。另一个常见来源是词表把训练和验证的文本混在一起统计验证集里的词在训练期就被提前接触过。解决切分必须按文档粒度保证同一文档的所有片段只出现在一边。词表只用训练集统计验证集碰到未登录词走 unk。这两条是数据管线里最容易忽略且最影响信任度的设计值得在项目初始化时就写进规范。6. 让注意力为你说话可视化诊断与 KV Cache 推理加速6.1 可视化注意力权重定位模型的盲区训练完不要只盯 loss 曲线把注意力矩阵画出来看。在MultiHeadAttention.forward里把 softmax 后的矩阵留一个引用用 matplotlib 存成热力图每个 head 一张旁边标上 token。能看到有些头关注相邻词有些头专注长距离语法。如果某个任务上几乎所有头都挤在同一个区域说明模型没有学到多样化的关联此时加大 d_model 或者调小 dropout 比单纯训练更久有意义。注意 attn 要 detach 再转 CPU 保存别让可视化占着反向传播的计算图。attn_weights attn.detach().cpu() # (batch, n_heads, seq, seq) plt.imshow(attn_weights[0, 0], cmapviridis) plt.savefig(head0.png)6.2 KV Cache解码推理由二次复杂度降到接近线性自回归解码时每一步生成新 token都需要让新 token 的 query 跟之前所有 token 的 key 和 value 算注意力。如果不做缓存每一步都要重新计算整段历史成本随着序列长度线性增长总成本变成 O(L²)跟训练时一样疼。KV Cache 的做法是把已经算过的 key、value 存起来后续步骤只计算新 token 的映射然后拼接旧缓存。代码上大致是如下思路cache 的维度始终比当前新 token 多一段历史。# 逐步解码时 k_new, v_new project_key_value(embed_new) # (1, n_heads, 1, d_k) cache_k torch.cat([cache_k, k_new], dim2) cache_v torch.cat([cache_v, v_new], dim2) scores q_new cache_k.transpose(-2, -1) / (d_k ** 0.5)别忘了跟因果掩码配合新 query 只能注意 cache 里已经存在的历史位置当前步位置对应在缓存最后一维。推理框架里的生成接口大多内置了这个机制自己手写解码器时最容易漏掉的是 cache 在换 batch 或清空一个对话时没有重置。我养成的习惯是每次模型调用前清一次 cache把它当成类似“临时会话变量”一样管理。希望帮到你。本文还有配套的精品资源点击获取