大模型推理这条线上待久了你会发现一个挺有意思的现象很多人能把Transformer的注意力公式倒背如流却在被问到“为什么GPT生成一句话要一个一个蹦字而有些模型能一口气吐出整段”时卡壳。这个问题看着基础实际上牵扯到两类模型在训练目标、推理调度、误差传播上的根本分歧。我前后在几个文本生成和语音合成的项目里都踩过这条分界线上的坑有的场景用自回归跑得稳稳当当换个场景就慢到没法上线有的场景换成非自回归速度是上去了质量却塌得一塌糊涂。这篇就把这两类模型的本质区别掰开揉碎讲清楚从“串行”和“线程”这两个容易混淆的概念切入把自回归与非自回归的底层逻辑、选型依据和实操细节一次说透适合刚接触生成模型的同学也适合已经在做推理优化、想搞清楚取舍边界的老手。1. 先把“串行”和“线程”这两个词从误解里捞出来标题里用了“串行与线程”这个说法我第一眼看到时也愣了一下因为严格来说“线程”是操作系统调度的概念和自回归/非自回归并不是同一层的东西。但仔细想想这个类比其实抓到了要害自回归模型在时间维度上是串行的第t个输出依赖第t-1个输出像一条单车道依次放行而非自回归模型追求的是并行所有位置的输出同时算出来像多车道同时通车。标题里的“线程”更多是借“并行执行”的意象不是指真正的多线程编程。这个区分必须先讲清楚否则后面讨论推理加速时会一直绕在“到底开几个线程”这种表层问题上。1.1 自回归的本质条件概率的链式分解自回归AutoregressiveAR模型的核心思想可以用一句话概括把联合概率拆成一串条件概率的乘积。给定输出序列 $y (y_1, y_2, ..., y_T)$模型建模的是$$P(y) \prod_{t1}^{T} P(y_t \mid y_1, ..., y_{t-1})$$这个分解不是随便写的它来自概率论里的链式法则是恒等变形。也就是说自回归不是一种“近似”而是对序列联合分布的精确因子分解。GPT系列、大部分机器翻译模型、Tacotron这类语音合成模型走的都是这条路。落到推理上这个公式直接决定了执行方式你必须先算出 $y_1$才能算 $y_2$因为 $y_2$ 的条件里含着 $y_1$。这就是“串行”的根源不是工程实现偷懒而是数学结构决定的。我见过有同学试图通过加大batch或者多开进程来“并行化”自回归解码结果发现单条序列内部还是得一步步来能并行的只是不同样本之间。这个认知很关键后面讲优化手段时全都建立在这个前提上。1.2 非自回归的野心一次性预测整个序列非自回归Non-AutoregressiveNAR模型则试图打破这个链式依赖直接建模$$P(y) \prod_{t1}^{T} P(y_t \mid x)$$注意条件里只剩输入 $x$不再包含前面的输出。这样一来所有 $y_t$ 之间条件独立理论上可以一次性并行算出整个序列。这个改动带来的速度提升是数量级的自回归解码T步非自回归只要1步理想情况下。但代价也很明显条件独立假设丢掉了输出内部的依赖关系模型不知道“前一个词是什么”容易出现重复词、漏词、语序错乱。这就是为什么早期非自回归翻译模型BLEU掉点严重。所以非自回归从来不是“免费加速”而是拿质量换速度的一场交易交易划不划算取决于场景。1.3 一个容易混淆的点并行训练不等于并行推理这里必须插一句因为这是新手最容易栽的坑。自回归模型在训练时其实是高度并行的因为teacher forcing机制下所有位置的输入真实标签都是已知的一次前向就能算出所有位置的loss靠的是因果掩码causal mask保证每个位置只能看到左边。所以“自回归慢”这个说法只对推理成立训练阶段它并不慢。我当初就犯过这个错看到训练时GPU利用率很高就以为推理也能这么并行结果部署时发现延迟完全下不来。把“训练并行”和“推理并行”分开看是理解这两类模型的第一道门槛。2. 训练目标的分野决定了推理调度的形态理解了链式分解接下来要看训练目标怎么塑造了两种完全不同的推理调度方式。这一层是“为什么”的核心搞清楚它选型时就不会拍脑袋。2.1 自回归的teacher forcing与曝光偏差自回归训练用的是teacher forcing每个时间步喂给模型的是真实的前缀而不是模型自己上一步的预测。这样训练稳定、收敛快但埋下了一个隐患——曝光偏差exposure bias。训练时模型见到的前缀永远是对的推理时前缀是它自己生成的一旦早期出了错误差会沿着链式结构往后累积越滚越大。这个现象在长文本生成里特别明显。我做过一个对比实验让同一个自回归模型生成200字和800字的段落短文本流畅度很好长文本到后半段开始出现逻辑漂移甚至自相矛盾。根因就是每一步都有微小误差串行链条把它放大了。业界常用的缓解手段有scheduled sampling训练时按概率混入模型自己的预测、beam search推理时保留多条候选路径等但都只是缓解没法根除因为链式依赖是结构性的。2.2 非自回归的似然下界与多模态问题非自回归的训练目标通常是最大化条件独立假设下的似然但真实数据并不满足条件独立所以这个目标本质上是在优化一个下界。更麻烦的是多模态问题multimodality problem同一个输入可能对应多个合法输出比如“你好吗”可以翻译成多种表达自回归模型可以逐个分布地建模这种多样性非自回归在条件独立下会把多个合法输出的“平均”当成目标结果生成一个四不像。业界对付这个问题的经典思路是引入隐变量latent variable先预测一个全局的“规划”向量再基于它并行解码各个位置相当于用隐变量把输出内部依赖“压缩”进去。还有迭代式非自回归iterative NAR先粗解码一遍再迭代精修几轮用多轮并行换回一部分质量。这些方案我在实际项目里都试过效果因任务而异后面会具体讲。2.3 调度形态对比KV Cache与全序列一次前向从工程调度角度看两者的差异非常直观。自回归推理依赖KV Cache每生成一个token把它的Key和Value缓存下来下一步只算新token的注意力避免重复计算历史。这个机制让自回归的每步开销相对恒定但步数等于序列长度总延迟随长度线性增长。非自回归则是一次前向算出所有位置没有KV Cache的概念因为不需要增量计算单步开销大但步数固定为1或迭代轮数。下面这张表把关键差异列清楚维度自回归AR非自回归NAR推理步数等于输出长度T1步或固定迭代轮数单步计算增量计算依赖KV Cache全序列一次前向延迟随长度线性增长基本恒定输出依赖强链式条件弱条件独立典型质量问题误差累积、长文漂移重复、漏词、语序乱训练并行度高teacher forcing高推理并行度低序列内串行高这张表是我在多个项目里反复验证过的经验总结选型时对着它过一遍基本能判断方向。3. 推理加速的真实边界哪些优化动了本质哪些只是打补丁聊到这儿很多人会问既然自回归慢那用各种加速手段不就行了这里要区分清楚哪些优化是在自回归框架内“打补丁”哪些是真正换了范式。搞混这两者容易对效果产生不切实际的预期。3.1 自回归框架内的加速投机解码与量化投机解码speculative decoding是这几年很实用的手段用一个小模型快速草拟多个token再用大模型一次性验证验证通过的直接采纳。它的巧妙之处在于不改变输出分布理论上无损但把“串行步数”压缩了。我实测下来在草稿模型和目标模型分布接近时能有2到3倍加速但如果草稿质量差验证失败率高加速就打折扣。量化和KV Cache优化则是降低单步开销不改变串行结构。INT8量化能把显存和带宽压力降下来长序列场景收益明显。但这些手段的天花板很清楚步数还是T只是每步更快了。序列越长自回归的线性延迟劣势越难靠这些补丁抹平。3.2 非自回归的加速红利与质量补偿成本非自回归的加速是结构性的一步出结果延迟和长度基本解耦。但前面说的质量补偿不是免费的隐变量预测、迭代精修、长度预测每一个模块都增加额外计算和调参成本。我做过一个语音合成的对比纯非自回归单步推理确实快但为了把音质拉到可接受加了迭代精修后实际延迟优势从“十倍”缩到了“两三倍”而且调参周期明显变长。所以“非自回归一定快很多”是个过于乐观的判断。真实项目里要算的是端到端延迟包括质量补偿模块的开销而不是只看解码那一步。3.3 混合范式为什么很多落地系统两者都用实际落地时纯AR或纯NAR都不常见更多是混合。比如长文本生成用AR保证连贯短指令响应或草稿生成用NAR抢速度语音合成里用NAR做声学模型主干再用一个轻量AR模块做韵律微调。这种组合的思路是把对依赖关系敏感的部分交给AR把对延迟敏感、依赖较弱的部分交给NAR。我在一个对话系统项目里就这么干过意图识别和短回复走NAR需要多轮连贯的长回复走AR前端根据请求类型路由。这套架构的复杂度不低但确实在延迟和质量之间找到了平衡点。选型时不要陷入“二选一”的思维定式先问清楚业务对延迟和质量的容忍度再决定怎么组合。4. 踩过的坑从长度预测到评估指标的连环陷阱理论讲完说点实操里真正让人头疼的东西。这些坑在文档里基本看不到都是我在项目里一个个撞出来的。4.1 非自回归的长度预测一个被低估的难点非自回归要并行解码前提是知道输出长度T。但T在推理时是未知的得先预测。这个长度预测模块看着简单实际是个大坑预测短了内容被截断预测长了尾部全是填充或重复。我见过一个翻译项目长度预测偏差导致长句翻译质量断崖式下跌短句却看不出问题排查了很久才定位到长度模块。常见的补救是长度预测加beam或者用CTC式的对齐做动态长度。但每种方案都有代价长度beam会削弱并行优势CTC对齐对数据质量要求高。我的经验是如果任务输出长度方差大比如开放域生成非自回归要慎用如果长度相对可控比如固定格式的语音帧、结构化抽取非自回归才比较稳。4.2 评估指标的欺骗性BLEU高不等于能用非自回归模型在BLEU这类n-gram匹配指标上有时能追平甚至超过自回归但人工一看就露馅重复词、局部通顺整体不通。原因是BLEU只看局部n-gram重叠对全局连贯性不敏感。我吃过这个亏指标达标就上线结果用户反馈“读起来别扭”。后来我调整了评估流程除了自动指标必须加人工抽检和小样本的连贯性打分尤其是长输出场景。对于非自回归还要专门统计重复率、漏词率这些“结构性错误”指标它们比BLEU更能反映真实质量。4.3 误差累积的排查链路从现象到根因自回归的误差累积排查也有一套链路。现象通常是“越往后越差”但根因可能有好几层可能是训练数据长尾分布导致后半段没见过类似前缀可能是KV Cache精度损失尤其量化后也可能是解码策略如temperature、top-p放大了随机性。我的排查顺序是先固定解码策略用greedy看是否还漂移排除随机性再关掉量化看是否缓解排除数值精度最后查训练数据的长文本覆盖度。这个顺序能快速缩小范围避免一上来就怀疑模型结构。5. 选型决策把业务约束翻译成模型约束最后落到怎么选。我的经验是别从“哪个模型先进”出发而是从业务约束反推。5.1 延迟敏感度与质量容忍度的二维定位画一个二维坐标横轴是延迟敏感度纵轴是质量容忍度。延迟极敏感、质量容忍度较高的场景如实时字幕草稿、语音帧生成非自回归或混合方案更合适延迟不敏感、质量要求高的场景如长文创作、正式翻译自回归更稳。中间地带就看能不能接受混合架构的复杂度。5.2 输出长度分布一个被忽视的决策变量前面提过输出长度方差是选型的关键变量。长度稳定且可预测的任务非自回归的长度预测压力小优势明显长度方差大的任务非自回归要么加复杂长度建模要么质量不稳。这个变量在选型讨论里经常被忽略但它往往比模型结构更能决定成败。5.3 一个可复用的选型检查清单我把项目里用过的判断项整理成清单选型时逐条过输出长度是否可预测、方差是否小业务对端到端延迟的硬指标是多少质量评估是否有可靠的人工或结构性指标兜底是否接受混合架构带来的运维复杂度训练数据是否覆盖长输出场景针对AR是否有资源做非自回归的质量补偿模块调优这份清单不保证选对但能避免明显的方向性错误。我在几个项目里靠它提前排除了不合适的方案省下不少返工时间。说到底自回归和非自回归不是谁取代谁的关系而是两种在不同约束下各有胜场的建模范式。把链式依赖这个本质想透再对着延迟、长度、质量三个维度做权衡选型就不会跑偏。我个人在实际操作中的体会是先别急着追新范式把业务约束量化清楚答案往往自己就浮出来了。