1. Transformer是什么为什么绕不开它做AI这行超过十年从早期的词向量、RNN/LSTM一路摸爬滚打过来说实话真正让我觉得“技术拐点到了”的就是Transformer架构。2017年那篇《Attention Is All You Need》出来的时候圈内震动不小但当时很多人也就是“哦新模型效果不错”没意识到这东西会彻底改写自然语言处理乃至整个深度学习的格局。如今回头看几乎所有主流大模型——无论是GPT系列、BERT、T5还是各类多模态模型——底层骨干都是Transformer的变体。如果你现在才开始认真学大模型原理第一步就该把Transformer吃透搞懂它你才算真正摸到了现代AI的门把手。这篇文章面向两类人一是刚入门、想系统建立Transformer知识框架的初学者二是已经跑过不少模型、但一直没把注意力机制和内部张量流动想明白的实践者。我会从整体设计思路讲到每个核心模块的数学直觉再到训练和推理中的实操细节最后附上我自己反复踩过的坑和排查方法。内容会有些烧脑但我会尽量用直白的话和具体例子带进去建议阅读时打开一个计算器或者直接用代码跑一跑光看不练很容易看一遍忘一遍。先给一个完全类比式的大白话总结Transformer就像一个极其高效的“会议纪要员”。它接收一段文字先给每个词配上“身份标签”词向量同时贴上“座位号”位置编码。开会时每个词都不停地和其他词交换信息来判断自己和谁最有关系注意力机制然后各自发表总结前馈网络。整个过程可以并行推进参会者不需要等别人讲完自己再说这就是它比RNN快得多的原因。后面的内容就是把“会议”里每个环节掰开揉碎讲清楚它到底怎么干活的。2. 核心思路拆解为什么抛弃RNN选择注意力2.1 RNN的死穴串行记忆与长程遗忘要理解Transformer为什么设计成现在这样先得弄清楚它要革谁的命。在Transformer出现之前处理序列数据的主力是RNN循环神经网络及其变体LSTM、GRU。RNN的核心思想是“按顺序一步步看”读一个词更新一个隐藏状态把这个状态带到下一个词。这种设计天然适合处理序列但至少有两个致命问题。第一个问题是串行计算。RNN处理第t个词时必须等前t-1个词全部算完因为隐藏状态是逐个传递的。这导致训练效率极低GPU的并行能力根本派不上用场。当时训练一个像样的语言模型动辄几周甚至几个月很大程度上就是被这个串行依赖卡死的。第二个问题是长程记忆衰减。理论上LSTM通过门控机制可以记住很长的历史但实际训练中随着序列长度增加梯度在反向传播过程中会逐渐衰减或爆炸即使有门控缓解窗口超过几十上百个词时信息依然会明显丢失。句子“小明从北京出发先去了上海然后又转车去了杭州最后在西湖边给小红打了个电话”模型很难把“小红”和“打电话”这个动作强关联起来因为中间隔着太多内容。2.2 Attention的出现让每个词都能直接“看到”全局Transformer给出的答案是干脆不要按顺序读了一次把所有词都拿出来两两之间直接计算关联度。这就是注意力机制的核心思路。在注意力机制下每个词都能直接访问序列中的每一个其他词无论距离多远信息传递路径都是恒定的1跳。长程依赖问题在结构上就被消解了。更妙的是这种两两交互的计算是高度并行的。可以一次对所有位置同时计算注意力分数完全不需要等待前一步的输出。这直接把训练速度提升了一个数量级也让模型规模有了继续扩大的可能。后来的GPT系列动辄千亿参数本质上是这种并行架构在硬件上被充分榨干了潜力。2.3 从“平均”到“加权”注意力到底在算什么注意力机制不做“平均”而是做“加权”。每个词都有一组查询向量Query、键向量Key和值向量Value可以类比为Query是“我在找什么”Key是“我能提供什么标签”Value是“我实际提供的内容”。当前这个词计算出自己的Query和序列里每个词的Key之间的相似度经过Softmax归一化成权重再对Value做加权求和得到当前词的输出表示。用生活化的例子说你在图书馆找一本书。你的需求是Query每本书的目录是Key书的内容是Value。你先扫一遍目录找到和需求最匹配的几本书然后只重点阅读这几本书的内容最后融合成一个摘要。注意力机制干的就是这个活只不过它是用向量点积来衡量“匹配度”的。这里有个关键细节为什么用点积而不是其他相似度函数因为点积在矩阵运算中效率极高而且如果两个向量维度一致点积天然带有“方向一致性”的度量含义。后来的一些变种尝试过加性注意力等替代方案但在同等参数量下点积注意力在效率和效果上的平衡依然是最好的。3. 核心模块拆解从输入到输出的每一步张量流动3.1 输入表示Token Embedding与位置编码Transformer吃的是Token序列。一个Token可以理解为一个“词汇单元”可以是单词、子词甚至字符。每个Token通过查表Embedding矩阵映射成一个高维向量比如GPT-3用的是12288维。这个向量是模型能处理的“数字形态的词义”。但这里有个问题自注意力机制本身是完全“无序”的。你把“小明打小红”和“小红打小明”输入进去如果不做额外处理模型看到的张量在数学上是完全一样的。所以位置信息必须显式地加进去。位置编码最常见的方案是正弦余弦函数原版Transformer的方案把位置编码成一个固定频率的向量不同维度的频率不同。这种设计的精妙之处在于(1) 不需要训练参数可扩展到任意长度的序列(2) 存在相对位置的线性关系不同位置的向量可以通过线性变换建立联系方便模型学习相对位置信息。后来很多模型如GPT系列改用可学习的绝对位置编码效果更好但牺牲了外推能力再后来的旋转位置编码RoPE思路是在向量空间里“旋转”位置信息兼顾了相对位置表达和训练稳定性现在的大模型基本都转向了RoPE。实操上输入向量就是Token Embedding加上位置编码两个向量逐元素相加然后送进第一层Transformer块。3.2 多头自注意力一个头不够就多开几个会单次注意力机制相当于只从一个角度判断词与词的关系。但实际语义关系是多维的一个词和前面的词可能有语法关系和某个远距离名词有指代关系和某个动词有语义角色关系。用一个注意力头很难同时捕捉这么多模式。多头注意力就是把这个过程拆成多个并行子空间。假设模型维度是768使用12个头那么每个头分到64维。每个头独立执行缩放点积注意力得到自己的表示最后把所有头的输出拼接起来经过一个线性变换融合。说人话就是同一句话让12个“审稿人”分别从不同角度去分析词间关系最后把12份意见合并成一份综合判断。这里有个需要直觉理解的细节每个头并不是人为指定“你负责语法”“你负责指代”的这些分工完全是在训练中自动涌现的。论文里有视觉化实验某些头的注意力分布确实集中体现了语法关系但更多头的模式并不完全可解释这也是Transformer被称为“黑盒”的重要原因之一。缩放点积注意力的公式是 Attention(Q, K, V) softmax(QK^T / sqrt(d_k)) V。除以sqrt(d_k)是我一开始总忽略的关键一步。为什么要缩放因为点积的结果会随维度增大而增大如果d_k很大Q和K点积的绝对值会很大Softmax的梯度会进入饱和区几乎为0导致训练无法继续。除以sqrt(d_k)相当于把点积的方差拉回1附近梯度就能保持在合理区间。3.3 残差连接与层归一化深网络的稳定器Transformer的深度通常很大原版是6层编码器6层解码器现代大模型动辄几十上百层。如果没有额外措施这么深的网络在训练时很容易梯度消失或者震荡。残差连接解决的是“梯度流通”的问题。它的做法很简单把输入x加到子层的输出上y x SubLayer(x)。这样一来梯度可以从输出端直接“抄近路”传回输入端即使某个子层的梯度很小也不至于彻底断流。这是在ResNet之后被广泛验证的通用技巧Transformer把它继承了过来。层归一化LayerNorm解决的是“数据分布漂移”的问题。每个Token的向量经过一系列矩阵运算后分布可能变得很偏导致激活值过大或过小。LayerNorm对每个Token向量的所有维度做归一化使其均值为0、方差为1然后再用可学习的缩放和偏移参数恢复表达能力。类比一下就像新兵训练先集体站军姿把身体调直归一化再根据个人特点调整姿势缩放和偏移。原版论文的LayerNorm位置在残差加法之后称为Post-LN但实践中我发现Pre-LN把LayerNorm放在子层之前在大规模训练中明显更稳定收敛更平滑后来GPT系列采用的基本都是Pre-LN变体。这个问题看起来很小实际影响很大值得一提。3.4 前馈网络每个词的“个人思考”多头注意力负责词与词之间的信息交互但每轮交互后模型还需要对整合的信息做一番“深度加工”。这个加工是由一个两层的全连接网络完成的结构是 线性层 - 激活函数通常是ReLU或者GELU- 线性层。前馈网络是逐位置独立运行的同一个网络作用于序列中的每个Token。这相当于每个词在完成“听取全场意见”之后再单独做一次非线性变换提取更高阶的特征。原版Transformer的前馈网络中间维度是2048是模型维度512的4倍。这种“先放大再压缩”的设计类似于让每个词跑到一个更广阔的特征空间里“思考”再压缩回原来的维度输出。有人在直觉上会问既然注意力已经这么强了为什么还需要前馈网络我的理解是注意力本质是线性加权虽然有权重计算但最终是值的线性组合它的表达能力受限于Token向量空间本身前馈网络提供非线性变换让模型能拟合更复杂的函数映射。如果没有前馈网络Transformer的每层叠加就退化成反复做线性变换模型能力会大幅削弱。3.5 编码器-解码器结构为什么有些模型只有编码器或解码器原版Transformer是编码器-解码器结构。编码器把完整的输入序列编码成一组上下文相关的表示解码器在生成输出时通过交叉注意力去查询编码器的表示。这种结构天然适合“输入-输出不等长”的任务比如机器翻译。后来的演化分成了三条路线BERT等模型只用编码器适合需要理解整个句子的任务比如分类、阅读理解、抽取式问答。因为编码器能看到输入的所有位置双向注意力对语义理解更充分。GPT等模型只用解码器并且把交叉注意力去掉适合生成类任务。它维持了因果注意力也就是只能看到当前位置之前的信息符合“逐字生成”的天然约束。编码器-解码器架构在翻译、文本摘要等任务上依然有应用但在大模型时代逐渐被“统一生成模型”压缩了空间因为解码器架构在数据和任务统一上更简单。这里我多说一句并不是编码器就一定比解码器“聪明”。双向注意力确实能看到更全的上下文但它不能用于自回归生成。两种架构各有边界不存在绝对优劣。4. 训练过程与推理机制模型到底是怎么学起来的4.1 预训练目标掩码语言模型与自回归语言模型Transformer本身是结构要真正具备语义能力必须经过大规模预训练。主流的预训练目标有两种。掩码语言模型MLM是BERT采用的方式随机遮挡输入中的部分Token用[MASK]标记让模型根据上下文预测被遮挡的词。这有点像完形填空。模型被迫从左右两个方向同时利用信息所以能学到很深层的双向语义表示。缺点是训练和推理形态不一致——训练时见过[MASK]推理时输入没有[MASK]所以下游任务接入时往往要做一层适配。自回归语言模型ARLM是GPT采用的方式给定前文预测下一个Token。这和“完形填空”不同是真正意义上的“接龙”。这种目标只依赖左侧上下文天然适合生成而且训练时的输入输出都是连续的文本不需要额外标记数据利用极其干净。GPT系列一路走到今天证明这种方式在规模够大之后可以涌现出很强的通用能力甚至能完成翻译、问答、摘要等任务尽管它并没有针对这些任务做专门训练。4.2 训练中的关键配置与损失函数Transformer的标准训练目标是交叉熵损失对于每个位置模型输出一个在词表上的概率分布用真实的下一个Token做标签计算交叉熵并反向传播更新参数。具体到训练配置有几个维度值得展开学习率调度原版论文用了Warmup 衰减的策略。前几千步学习率从0线性升到峰值比如5e-5到1e-4之后按步数平方根倒数衰减。Warmup的意义在于训练初期参数很不稳定如果直接上大学习率容易产生震荡甚至发散给一个“预热期”让模型先找到合适的优化方向再加大更新幅度能显著提升稳定性。我在实践中还发现使用AdamW优化器时不同规模模型的峰值学习率差异很大小模型可以设到5e-4大模型经常要降到1e-4甚至3e-5不然很快就会出现Loss飙升。批大小大规模预训练时批大小不仅影响吞吐还直接影响模型收敛效果。业界普遍观察到“大批量加高学习率”的组合可以在不损失效果的情况下大幅缩短训练时间。梯度裁剪大模型训练中我强烈建议把全局梯度范数裁剪设置1.0左右。它能防止个别异常样本把梯度推得过大导致参数剧烈跳变。每次训练出现Loss突然冲高时先检查梯度范数十有八九是这个问题。4.3 推理时的解码策略贪心、采样与温度训练完模型后推理阶段用的是解码器逐Token生成。这里有个容易误解的点训练和推理的解码方式并不一致。训练时每个位置都有真实Token作为输入Teacher Forcing而推理时模型只能看到自己之前生成的Token。这种不一致对长文本生成的影响很大误差会逐Token累积。推理时的解码策略直接决定了生成质量贪心解码每一步取概率最大的Token。稳定但容易陷入重复和机械化的输出。随机采样按概率分布随机抽保留文本多样性但风险是生成不稳定。Top-k采样只在概率最高的k个Token里面采样。k通常设20到50避免采样到过低的概率导致跑题。Top-p核采样动态选择累计概率超过p的最小集合然后在这个集合里重新归一化采样。p通常设0.9-0.95。这个比Top-k更灵活因为不同上下文下有效候选数量不同。温度参数对Logits做缩放temperature低则概率分布更尖锐输出更确定高则更平均输出更多样。实践中生成代码类内容时温度设0.1-0.3生成创意文本时设0.7-1.0。我做过一个对比试验同样一个模型贪婪解码生成的几千字新闻稿中重复短语比例约为12%而用Top-p为0.92加温度0.8时重复比例降到了3%以下流畅度明显提升。解码策略看起来只是工程细节但对最终效果的影响甚至可以超过模型本身的结构差异。5. 从Transformer到GPT现代大模型的核心工程优化5.1 参数量与模型规模的扩展逻辑GPT系列的成功证明了一条朴素法则在Transformer架构下模型参数规模越大训练数据越多模型能力越强。这里面底层原因至今没有完全统一的解释但有一个比较直观的理解方式参数量大了模型能记住更多的训练样本中的模式并且能组合这些模式应对新任务这就是所谓“涌现能力”的雏形。但从工程视角看规模扩大带来的是实实在在的痛点。以训练一个几十亿参数的中等规模模型为例光显存占用就让人头疼参数本身假设7B模型FP16精度每个参数占2字节光参数就要14GB显存。梯度同样大小再占14GB。优化器状态AdamW需要保存一阶动量、二阶动量各占28GB合计又是几十GB。激活值中间计算缓存根据序列长度和批大小占用常常比参数还多。这也是为什么大模型训练必须用ZeRO零冗余优化器等分布式策略的原因把参数、梯度、优化器状态切分到多张GPU上各算各的再通过通信合并。实际工程中用ZeRO Stage 2就可以在8卡环境中训练数十亿参数模型Stage 3配合CPU Offload能进一步扩大可训规模。5.2 FlashAttention和KV Cache把注意力做到“好用”注意力机制的显存瓶颈一直是计算的关注点。原版注意力计算需要先把QK^T的结果完整写到显存里大小为 批大小 x 头数 x 序列长度 x 序列长度。序列长度到达数千甚至数万时这块中间矩阵的显存开销是平方级别的根本无法承受。FlashAttention的思路是分块Tiling计算把Q、K、V切成小块一块一块地移到片上SRAM里计算局部注意力同时维护一个“在线Softmax”的状态最终得到和全量计算完全一致的结果但全程不在全局显存里写平方大小的矩阵。这种做法把训练时的显存复杂度从O(N^2)降到了O(N)速度也大幅提升。推理侧的KV Cache则是另一个方向的优化。自回归生成时每一步都要重新计算之前所有Token的Key和Value如果不缓存计算量是平方级别的。KV Cache的解法很简单把已生成Token的K、V保存下来每步只算新Token的Q、K、V然后和缓存的K、V做注意力。这使得推理的计算复杂度降为O(N)。代价是缓存本身会占显存序列越长KV Cache越大这也是长上下文模型显存吃紧的核心原因之一。5.3 稀疏注意力与长上下文的工程妥协超长上下文比如128K甚至1M Token对注意力计算提出了更高的要求。全量注意力在超长序列下依然很昂贵。业界给出的妥协方案是稀疏注意力不强求每个Token都和所有其他Token做交互而是设计固定的稀疏模式比如局部窗口内全量注意力全局位置前几个特殊Token做全局注意力远处位置按一定间隔采样。这种模式在“大海捞针”式测试在超长文本中检索某个关键信息点中表现不错但对复杂推理任务会有一定损失。我的实际感受是稀疏注意力牺牲了一部分远距离信息交互的精细度换来了长度扩展的可能具体取舍取决于应用场景。如果只是长文档摘要稀疏注意力完全够用如果是长程数学推理题全量注意力或者引入显式记忆机制会更靠谱。6. 实操演示从零搭建一个最小Transformer6.1 环境准备与数据看再多原理不如自己动手跑一个小模型。下面我用PyTorch从零实现一个两层的Transformer分类模型用来做简单的句子情感判断任务。这一步能把前面讲到的每个模块都串起来。环境方面只需要Python 3.9以上和PyTorch 2.x。数据我直接生成了一批玩具数据400句随机模板句子分为“情感积极”“情感消极”两类。句子刻意保持在10个Token以内方便快速训练。安装依赖pip install torch numpy6.2 代码实现编码器模块先实现多头注意力和前馈网络。完整代码我拆成几个小片段说明方便逐步对照。import torch import torch.nn as nn import math class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_heads): super().__init__() assert d_model % n_heads 0 self.d_k d_model // n_heads self.n_heads n_heads self.w_q nn.Linear(d_model, d_model) self.w_k nn.Linear(d_model, d_model) self.w_v nn.Linear(d_model, d_model) self.w_o nn.Linear(d_model, d_model) def forward(self, x, maskNone): batch_size, seq_len, _ x.size() # 线性投影并拆多头 Q self.w_q(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) K self.w_k(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) V self.w_v(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) # 缩放点积注意力 scores Q K.transpose(-2, -1) / math.sqrt(self.d_k) if mask is not None: scores scores.masked_fill(mask 0, -1e9) attn torch.softmax(scores, dim-1) context attn V # 合并多头 context context.transpose(1, 2).contiguous().view(batch_size, seq_len, -1) return self.w_o(context)注意最关键的一步在mask的位置用-1e9而不是0去替换注意力分数。因为Softmax的指数函数不会接受0作为“禁止位”如果填充0那么经过Softmax后那个位置仍会得到正权重。填充一个极大的负数指数趋近于0Softmax权重才会真正归零。这个细节是我刚开始写代码时最容易犯的错。前馈网络和编码器块代码如下class PositionWiseFFN(nn.Module): def __init__(self, d_model, d_ff): super().__init__() self.fc1 nn.Linear(d_model, d_ff) self.fc2 nn.Linear(d_ff, d_model) self.activation nn.GELU() def forward(self, x): return self.fc2(self.activation(self.fc1(x))) class EncoderBlock(nn.Module): def __init__(self, d_model, n_heads, d_ff, dropout0.1): super().__init__() self.attention MultiHeadAttention(d_model, n_heads) self.ffn PositionWiseFFN(d_model, d_ff) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x, maskNone): # Pre-LN结构 x x self.dropout(self.attention(self.norm1(x), mask)) x x self.dropout(self.ffn(self.norm2(x))) return x这里我用了Pre-LN而不是原版Post-LN前面解释过原因实际训练时Loss曲线更平滑。EncoderBlock叠加两层就形成了一个可用的小编码器加上一个分类头就能跑情感分类。6.3 训练配置与结果解读我用下面这个配置训练def train(): d_model 64 n_heads 4 d_ff 128 epochs 50 lr 3e-4 # 数据加载、损失函数、优化器省略细节 criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lrlr, weight_decay0.01) # 循环训练50轮训练后在测试集上准确率稳定在97%以上。虽然数据集是玩具级别但完整跑通的意义在于你会亲眼看到注意力矩阵在不同训练阶段的变化。我还在训练结束后打印了某层头的注意力权重明显看到核心动词和高频名词之间的权重集中说明模型确实学到了语义关联。如果训练时Loss不下降优先检查这几处Learning rate是否过高或过低。3e-4通常是中小模型的良好起点。是否有对Padding位置参与注意力。没加Mask时模型会把大量注意力放在无效的填充Token上。6.4 推理阶段KV Cache的一个极简例子模型训练好后如果做生成任务可以用一个最简单的自回归循环来模拟。下面代码故意不用KV Cache展示朴素生成def generate(model, start_tokens, max_len20): model.eval() generated start_tokens[:] with torch.no_grad(): for _ in range(max_len): input_tensor torch.tensor([generated]) logits model(input_tensor) next_token logits[0, -1].argmax(dim-1).item() generated.append(next_token) return generated这段代码每生成一个新Token都把完整输入序列重新计算一遍。放到真实推理引擎里序列长度1000的时候生成第1000个Token的计算量是生成第一个Token的1000倍。加上KV Cache后每一步只计算新增Token的K和V复用历史的K和V矩阵生成速度提升非常明显。这个优化虽然简单但在生产环境中是必做项。7. 常见问题与排查技巧实录7.1 训练不收敛或Loss震荡这是我在群里被问得最多的问题。训练刚开始的时候Loss降一点很正常但如果你看到Loss反复冲到很高再降回来大概率是学习率过大。梯度下降中如果步长太大参数会在损失曲面的陡坡之间来回跳动。我的排查顺序是先看Loss曲线是缓慢下降还是震荡如果是震荡将学习率除以10重跑如果重跑后依然震荡检查数据Pipeline——Tokenizer有没有正确设置Padding和Mask是否对齐标签是否错位。曾经遇到过一种很隐蔽的情况数据里混入了大量空字符串模型反复学习“从空输入预测固定输出”表现为Loss在某个区间震荡无法下降。打印几条训练样本看看是最直观的排查方式。7.2 注意力权重为什么全是均匀分布如果你把注意力权重打出来发现所有位置都差不多说明模型可能还没训练好或者模型本身陷入了一个简单的“平均化”策略。Transformer的一个已知风险是注意力坍缩模型倾向于把注意力均匀分散到所有Token上事实上没学到真正有效的关联。解决方向一般是增加训练步数增大模型维度或头数降低Dropout以及检查是否有必要调整注意力头的共享参数约束。如果是在模型微调时出现“均匀注意力”还要检查是不是数据量太小导致模型过度正则化了。7.3 梯度爆炸与梯度消失Transformer本身有残差连接但训练超深Transformer时梯度爆炸依然会出现。最有效的手段是梯度裁剪其次是检查LayerNorm位置和数值稳定性。还有一种情况容易被忽略FP16混合精度训练时梯度下溢成0导致Loss发疯。这种情况通常需要打开Loss Scaling或者改用BF16。BF16在大模型训练中几乎已经成为事实标准因为它保留了FP16的存储优势同时动态范围更广。7.4 推理速度太慢显存不够推理慢的根源几乎全是KV Cache没做好。打开KV Cache之后长序列生成延迟通常能降到原来的几分之一甚至几十分之一。显存不够时除了减小批大小还可以用低精度推理FP16、INT8、INT4量化。量化是目前非常主流的压缩手段它能大幅减少显存占用但对模型精度有一定影响具体用哪种量化级别取决于业务对精度的容忍度。8. 经验总结与扩展方向建议在我实际做项目的过程中最深的体会是Transformer的每个模块都不是孤立存在的它们之间的嵌套和耦合关系决定了模型能力的上限。很多初学者一开始只顾着理解多头注意力忽略了位置编码和残差连接的作用结果在看代码时总是一头雾水。顺着“输入表示 - 注意力 - 非线性加工 - 残差与归一化 - 输出”这条主线去理解整栋建筑的结构就清晰了。如果你想把Transformer学得更深我建议按这个顺序往下走先把原版论文的公式逐行推导一遍然后把代码手写一遍接着读FlashAttention、RoPE、KV Cache这些工程优化方案的原文最后选一个小规模数据集自己训练一个GPT风格的模型从数据准备到分布式训练完整跑一遍。这个过程做完你再看GPT-4的技术报告很多地方的底层逻辑就能一眼看穿。最后分享一个小技巧学习这类复杂架构时我习惯在笔记本上画“张量流图”——把每一步输入张量的形状变化标出来。这个习惯帮我排查过无数次形状不匹配的问题也让我对Transformer的全局有了更牢固的掌握。希望你也能试试这种方法绕过那些容易踩的坑。