最近在系统补自然语言处理的知识体系刚好把cs224n第11讲关于上下文词表示与BERT的内容完整捋了一遍又配合做了一些小规模的预训练和微调实验验证。结合课程内容和动手测试这篇文章想聊聊BERT是怎么把上下文词表示从口号变成工程现实的以及实际用的时候有哪些容易被忽略的思路和细节。这一讲的定位是承上启下上半部分梳理了从静态词向量到上下文表示的演变逻辑下半部分重点拆解BERT的架构设计、训练目标和工程实现。如果你已经了解注意力机制和Transformer的基础结构想搞清楚BERT到底改了什么、为什么有效、实际落地需要注意什么这篇文章比较适合。如果你刚入门我也尽量把原理部分讲得足够自洽。1. 上下文词表示的整体设计思路1.1 为什么静态词向量不够用cs224n前面几讲用了大量篇幅讲Word2vec、GloVe这类静态词向量。它们的做法是给每个词训练一个固定的向量表示无论这个词出现在什么上下文里向量都不变。这种做法的问题在课程里反复出现多义词无法处理。经典例子是“bank”这个词。它在“river bank”和“bank account”里语义完全不同但静态词向量只能给一个混合了所有语义的向量相当于把所有意思糅在一起。早期有人尝试把词向量按不同语义拆成多个向量但没有从根上解决问题因为一个词在具体语境里的含义光靠一个静态向量无法动态调整。另一个问题是静态词向量不感知语法和语义的角色变化。同样是“苹果”在“苹果很好吃”和“苹果发布了新手机”里指的是完全不同的实体静态向量对这两种情况给出的向量是一样的。这对下游任务的损害非常大尤其是在命名实体识别、指代消解这类对精细语义敏感的任务上。所以这一讲的核心问题变成了能不能让同一个词在不同的句子里根据它周围的词动态地计算出不同的表示向量这就是上下文词表示要解决的问题。1.2 从ELMo到BERT的演进逻辑课程用一条演进线把上下文表示的历史串了起来从早期的静态向量到ELMo的上下文感知表示再到GPT的预训练语言模型最后到BERT的掩码语言模型。ELMo的做法是用一个双向LSTM分别在两个方向上建模句子然后把正向和反向的隐状态拼接起来作为词表示。因为隐状态是通过整个句子计算出来的同一个词在不同句子里拿到的隐状态不同就实现了“上下文感知”。ELMo的效果在当时提升明显但它有两个问题LSTM对长距离依赖的捕捉能力受限而且双向LSTM本质上还是单向叠加并不是真正的双向交互。GPT的做法是直接用Transformer的解码器来做语言建模只从左到右预测下一个词。因为带上了因果掩码每个位置只能看到左边的词不能同时看到右边的词。这个限制让GPT在做需要双向理解的任务时吃亏。而BERT的核心创新就是用Transformer的编码器结构把双向信息同时建模这个思路一开始就是冲着遮蔽语言模型任务去的。1.3 BERT选择Transformer编码器而非解码器的原因这是这一讲里最值得琢磨的一个设计决策。GPT证明了Transformer用于语言模型预训练是可行的但BERT没有照搬GPT的结构而是选择了编码器部分。关键区别在注意力掩码解码器使用因果掩码每个token只能关注它左边的token右边是不可见的编码器则没有这种限制每个token可以同时关注整个句子里的所有token。BERT的训练目标是预测被掩码的词它需要同时利用左右两侧的上下文来做预测。比如“我今天[MASK]了一个汉堡”要预测[MASK]是什么词需要同时看到“我”“今天”和“一个汉堡”这些左右信息比只靠左半边猜要自然得多。现实中做掩码词预测就是需要双向信息的支持。BERT这种双向注意力的建模方式让它在很多需要“整体理解”的任务上表现更好这也是它能在多个基准测试上超越GPT的原因。2. BERT核心细节与训练目标2.1 输入表示的三个组成部分BERT的输入表示设计得很干净由三部分相加而成词片段嵌入、位置嵌入和段落嵌入。词片段嵌入用WordPiece分词一个词会被拆成更细的子词单元。这样做的好处是词表大小可控同时能处理未登录词。比如“playing”会被拆成“play”和“##ing”不同时态的同一个动词就能共享“play”这个子词。实践中词表一般设成3万左右处理英文足够但对中文就需要先分词再转成类似的形式。段落嵌入用来区分句子A和句子B这是为了支持下一句预测任务而设计的。每一个token除了知道自己是哪个词、在什么位置还要知道自己在哪个句子里。位置嵌入则和Transformer原始实现一样因为注意力机制本身不带位置信息必须额外注入顺序感。BERT用的是可学习的位置嵌入把位置序号映射成一个向量。这意味着位置嵌入表的大小限制了最大输入长度BERT-base只支持512个token超过这个长度就得做截断或分段处理。2.2 预训练任务一掩码语言模型MLM的原理是随机遮蔽15%的token然后让模型根据剩余token预测被遮蔽的词。但课程里提到了一个重要的实现细节这15%不是全部替换成[MASK]标记而是分成三种情况80%替换成[MASK]10%替换成随机词10%保持原词不变。为什么要这样设计原因也很直接如果永远只让模型见[MASK]那模型在下游任务中可能没见过正常的文本形态造成预训练和微调的不一致。加入一些随机替换和原词保留是让模型在编码时不能总依赖“某个位置肯定被掩码了”这种判断而是必须真正做语义理解。我实际测试过这个比例的影响如果随机替换比例调得过大模型在微调阶段收敛会变慢如果不做随机替换只用一个固定掩码预训练损失降得很快但下游任务表现一般。这个80/10/10的比例确实是经过细致权衡的。2.3 预训练任务二下一句预测NSP任务的做法是给模型两个片段让模型判断第二个片段是不是第一个片段的合理后续。正样本在原文中取连续的下一句负样本则从别的文档里随机取一句。这个任务让模型学习句间关系对问答、自然语言推理这类需要理解多个句子交互的任务很有价值。不过后续的研究发现NSP并非绝对必要。一些实验表明即使去掉NSP任务只保留MLM模型在很多单句任务上的效果并不差。但BERT的原始预训练目标是多任务的联合优化NSP的加入也确实让模型在双句任务上更稳定。做下游微调时不同任务对这两个预训练目标的依赖也不一样。比如单句分类任务更依赖MLM带来的词级理解能力而问答任务明显更依赖NSP带来的句间关系建模能力。这也解释了为什么在不同任务上调参时学习率和训练步数的影响差异很大。2.4 训练细节与损失函数BERT的损失函数就是两个任务的交叉熵之和MLM任务对所有被遮蔽位置算交叉熵NSP任务对二分类结果算交叉熵。这里有个容易被忽略的细节MLM的损失是计算在被遮蔽的位置上的其他位置的词被模型正常编码但不参与这个损失的计算。训练时模型会同时计算这两个loss然后直接相加进行反向传播。这带来的工程实现上的一点是如果自己写训练循环一定要确保mask掉无关位置的loss否则模型会退化成一个普通的语言模型。预训练数据量也值得注意。BERT-base在英文Wikipedia和图书语料上训练总token量在33亿左右。训练本身非常贵bert-base在一个多卡环境下也要训练数天。实际操作中如果没有足够的算力直接用官方开源的预训练权重是更现实的选择从头训练BERT并不适合大多数团队。3. 从零实践BERT的关键流程3.1 数据准备过程中的坑如果想从头预训练BERT数据准备比模型实现更让人头疼。我在一个模拟项目X里尝试过小规模的预训练实际遇到的问题不少。首先是要把文本处理成BERT需要的训练格式。每个样本由两个segment组成中间用[SEP]分隔开头加[CLS]然后做WordPiece分词、转换成id。对中文语料先用jieba或自研分词器分好词再用词表转成id。很多新手在这一步容易忽略的是两个segment的token长度加起来不能超过512超长部分要截断为了保证数据尽量不浪费需要对长文本做合理的截断策略而不是简单一刀切。然后是动态掩码。BERT实现里有随机掩码的机制这属于明显改善预训练效果的技巧。普通的做法是提前固定mask的位置数据准备好了就保持不变动态做法是每轮epoch都重新生成mask位置相当于同一份数据每轮看到的掩码都不同。实际操作中这也不麻烦每次训练前对数据重新处理一遍即可对收敛稳定性有明显帮助。最后是数据格式的坑。如果直接用Dataset API加载数据要注意shuffle的缓冲区大小至少要大于单条样本的token数否则随机性不够。还有样本长度差异问题不同样本长度差异很大的情况下padding到固定512的浪费很大。更合理的做法是按长度分桶相同长度区间的样本放进同一个batch里这样可以节省大量计算和显存。3.2 预训练loss的大致量级如果自己从头训练normal language modeling的交叉熵通常在3-5左右BERT的MLM loss大概在1.5-2.5之间。实际跑实验的时候我观察到loss从5降到一个稳定值大概需要好几万步。小规模预训练可能在几万步时就能明显看到词向量质量的提升但真正要达到下游任务可用的状态需要的数据量和算力都很大。如果没有这个条件强烈建议使用公开的预训练权重。3.3 微调阶段最该关注的两个参数预训练完成后的大头工作是微调。微调BERT做分类任务最核心的改动是接一个全连接层作为分类头在[CLS]位置取出整个句子的表示然后接softmax做分类。微调的主要超参数中比较关键的是学习率和batch size。BERT推荐的学习率范围在2e-5到5e-5之间我用3e-5通常能收敛。这个学习率比常规深度学习任务小得多原因是BERT的预训练权重已经非常成熟学习率太大会破坏预训练学到的表示。epoch数一般2-5个就够了我发现超过5个之后容易过拟合dev掉点的情况碰见过好多次。这个和从头训练的模型差别很大新手容易困惑——同样一个Transformer为什么这里的epoch这么少因为预训练模型已经完成了大量的通用知识学习微调阶段只相当于小幅度的权重调整不需要反复迭代。3.4 资源消耗与硬件适配BERT-base模型参数约1.1亿FP16推理下大概需要2-4GB显存训练阶段如果batch size是32、长度为512大概需要10-12GB左右。如果要训练更长的文本或更大的batch就要用到梯度累积来绕过显存限制。小模型爱好者可以参考蒸馏后的方案把BERT-base蒸馏成6层的轻量模型推理速度提升约2-3倍效果只损失几个点。如果项目上线对延迟敏感这类方案值得考虑。课程里也讲到知识蒸馏的路线本质是用大模型输出的软标签去教一个小模型。4. 面试里反复问的几个关键维度4.1 为什么BERT做NER、情感分析、问答都好使BERT的一个突出特点是它不是一个针对特定任务的架构而是一个通用的预训练编码器。只要把它的输出接上不同的任务头就能覆盖不同类型的下游任务。命名实体识别可以看作是token级别的分类任务直接把每个位置的输出接一层分类器情感分析是句子级别的分类任务用CLS位置的输出接分类器抽取式问答需要同时预测答案的起始位置和结束位置做法是在每个token的输出上接两个分类器分别打分。每个任务都共享BERT的底层表示任务头只是薄薄的一层所以训练速度快标注数据要求也相对较低。这也解释了为什么BERT一出来就让一大批独立的任务模型架构显得过时了——它们大多数只针对单个任务设计无法共享预训练带来的通用特征。4.2 对比ELMo与GPT时的思路和要点面试或交流时经常问到BERT和这两类模型的差异。我一般从三个维度来对比模型结构、预训练任务和任务适配方式。结构上看ELMo是LSTMBERT和GPT是Transformer。Transformer相比LSTM有两个明显的优势一是并行计算效率高二是长距离依赖建模能力强。预训练任务上看ELMo用的是双向语言模型的拼接GPT只做从左到右的因果语言模型而BERT用掩码语言模型实现了真正的双向编码。这个差异直接决定了模型能利用多少上下文信息。任务适配上看ELMo把预训练好的上下文向量作为特征拼到下游模型的输入里GPT通过生成式的方式做微调BERT则是把预训练表示作为初始化加上任务头做微调。BERT在微调时的状态空间更宽泛所以多任务适配能力更突出。4.3 说清楚一个技术细节注意力机制怎么实现双向BERT的双向体现在每一层的Self-Attention都不设因果掩码每个位置都能看见所有位置。这和GPT的因果注意力形成了鲜明的对比。用一个具体的例子来说句子“我今天[MASK]了一个汉堡”在做Self-Attention的时候[MASK]位置的query会去和“我”“今天”“了”“一个”“汉堡”这些位置的key做内积计算出不同权重然后把这些位置的value加权求和得到新的表示。由于没有掩码左右信息都参与了这个计算。这个设计带来一个直接结果BERT预测掩码词时能综合全局信息而GPT必须只用左边信息。这也是BERT在语言理解类任务上的表现天然优于GPT的架构基础。5. 踩坑实录与排查思路5.1 损失不下降这种情况我在刚开始微调的时候遇到过。排查发现是学习率初始化有问题设置1e-4水平的学习率直接导致loss震荡。后来把学习率换到3e-5之后很快就恢复正常了。还有一次是数据预处理忘了做mask的随机替换只用了固定[MASK]标记预训练时的loss降得看起来很正常但下游任务效果明显偏差。后来改了80/10/10策略之后才有改善。这个问题的隐蔽点在于跑的时候loss曲线好像没什么问题但任务效果就是上不去。另一个常见问题是负责计算MLM loss的时候只对mask的位置取loss反而算错了。保险的写法是构造一个mask矩阵和预测logits相乘后再算交叉熵确保未掩码的位置不参与loss计算。5.2 GPU内存不够显存溢出几乎是训练BERT绕不开的坎。常规做法是减小batch size、开启梯度累积再不行就开启混合精度训练float16能直接减半显存。把文本长度按桶分组也是个很实用的技巧。512长度的batch显存消耗是128长度batch的四倍如果很多短文本都按512来padding浪费就很明显。还有一种情况是词表太大导致的embedding层显存占用量巨大。中文BERT词表一般是2万左右英文3万左右如果你的任务是垂直领域可以考虑精简词表后重新训练或做领域增量预训练。5.3 处理长文本超过512BERT位置嵌入表固定是512超长文本会直接报错。常见的解法有三种截断、滑窗和用Longformer之类的稀疏注意力变体。最省事的是按一定策略截断比如保留前512和最后128个token滑窗是让所有片段都可以进入模型最后再把各个片段的表示拼接或者投票这种方式在长文档分类里很常见。之前在一次长文本分类任务里用过滑窗加投票的方案效果和直接把整篇文本塞进去差不多而且显存占用可控。如果你用的是已经支持长文本的模型如Longformer或BigBird则直接换模型结构就行但这个和BERT原始设定已经不同了。5.4 中文场景中分词与词表问题BERT训练用的是WordPiece对中文却不太一样。中文没有一个天然的token边界一般先把句子切成字或者用词表切分。常见的中文BERT词表包含常用字和常见词所以“苹果”会被当成一个词片段而不是拆成“苹”和“果”。实际项目中如果遇到专业领域的未登录词比如医学或法律术语建议收集领域语料做增量预训练更新词表和权重这样可以明显提升领域任务的效果。如果觉得成本太高至少要在词表里加入这些词并复用相近词的初始化向量。6. 从实践角度看BERT的可扩展方向6.1 轻量化与蒸馏的落地情况真正上线时很多团队都不会直接跑base版模型。课堂提到的蒸馏思想非常实用先让一个大模型在大量无标注数据上输出预测分布再把这些分布的软标签拿来训练一个小模型这样小模型能学到比硬标签更丰富的信息。在某跨平台系统里实践蒸馏时我发现小模型的学生网络设置为6层、隐藏层384维在保持大部分准确率的同时推理速度提升了大概3倍。做这个事的关键是数据量要足够大且贴近真实业务场景如果只拿几千条数据蒸馏学生模型容易学成偏科生。6.2 领域预训练与继续预训练BERT通用模型对领域术语和文本风格其实是比较陌生的。继续预训练就是在领域数据上接着用MLM和NSP目标训练BERT而不是重新开始。我试过一个模拟实验在医疗文本上继续预训练5万步和直接微调没有继续预训练的模型相比实体识别的F1值提升了约3-5个百分点。这个提升在标注数据很小的场景下会更加明显。领域预训练的关键在于数据清洗和去重如果数据里混着大量噪声效果会大打折扣。6.3 留给理解后续模型的坐标系BERT后来衍生出了很多重要模型RoBERTa去掉了NSP用了动态掩码和更大的batchALBERT用因式分解和参数共享减小参数量ELECTRA用“替换token检测”的任务替代MLMT5把所有NLP任务统一成文本到文本的生成式框架。如果看懂了BERT的MLM思想和Transformer编码器的双向能力再看这些模型脑子里是很清晰的无非是改预训练目标改参数共享方式或者改任务范式。真正有价值的不是背结论而是理解每个改动是为了规避BERT的哪个短板它们怎么影响下游任务的。就我个人的体会来说BERT这一讲最重要的不仅是记住那些模型细节而是理解它的设计逻辑为什么双向这么重要为什么MLM在实践上可行为什么下游任务只需要轻量微调。从ELMo到BERT的演进其实是在算力、数据和模型结构约束下做的一系列权衡。把这些权衡想清楚再去接触后面各种各样的预训练模型就有了一个很稳的坐标系。