前段时间调一个开源LLM的预训练脚本盯着loss曲线发呆时突然意识到一个问题为什么现在的大模型几乎全选了SwiGLU做FFN的激活函数也不是没试过把激活函数换回ReLU可换上去之后训练稳定性和收敛速度立马变得不对劲。带着这个疑问翻了几天代码和论文又把实验跑了若干轮我逐渐理清了这个选择背后的逻辑链条激活函数在Transformer里不只是一条非线性曲线它同时决定了信息流动的方式、参数的效率、训练的稳定性和底层算子的执行效率。这篇文章就打算把自己在这段时间里关于大模型激活函数的观察、踩坑和对比实验整理出来既讲清楚原理也给出可以直接落地的选型和调参建议。无论你是刚开始碰LLM还是已经在训练或微调自己的模型激活函数都是值得花时间理解的一个部件。它不像注意力机制那样夺目却往往决定了你的模型能不能稳定训下去、最终能收敛到什么水平。下面我会先从激活函数在大模型中的位置说起再梳理它的演进路线然后分享几个容易被忽略的隐性影响最后用一组小规模对比实验来展示不同激活函数的真实差异。整个过程尽量说人话不绕弯子。1. 为什么说激活函数决定了大模型的上限1.1 一个让我重新审视激活函数的场景事情起源于我自己的一个小规模预训练项目。某次我尝试把某个开源基座模型的FFN激活函数从SwiGLU改成GELU想看看是否能在不明显掉点的情况下减少一点实现复杂度。结果让我非常意外同样配置下改成GELU之后模型在前几千步的loss虽然下降接近但后续loss曲线一直比原版高出一截最终收敛差距达到了大约0.05个perplexity。更奇怪的是训练到中后期的时候偶尔会出现大步loss尖峰让我一度怀疑是学习率调度出了问题。后来我才意识到问题并不是GELU本身不如SwiGLU而是这个模型中已经为SwiGLU配套了特定的参数维度缩放。我改激活函数时没有同步调整FFN中间层维度导致模型参数量和容量发生了变化。但即便如此激活函数的选择依然值得深挖同样的维度缩放规则下不同的激活函数会带来完全不同的训动态。这让我开始系统性地研究激活函数在大模型中的角色。1.2 激活函数在Transformer里的实际位置先明确一下激活函数在现代大模型中的位置。以当前主流Transformer解码器架构为例每个Transformer层通常包含两个主要子层多头注意力和前馈网络FFN。FFN的结构一般可以写成FFN(x) Activation(xW1) * W2在早期Transformer里Activation往往就是ReLU。这个结构先通过W1把输入维度从d_model变成d_ff过一遍非线性再用W2投影回d_model。d_ff通常是d_model的4倍左右这也是FFN占据了Transformer大部分参数的原因。到了近期的大模型时代很多模型把FFN改成了门控变体典型形式为FFN(x) (Activation(xW_gate) * xW_up) * W_down这里出现了两个并行的线性变换一个生成为门控信号一个生成内容信号两者逐元素乘积后再投影输出。激活函数作用于门控支路上。SwiGLU就是在这种结构下把Activation选成了SiLU即x * sigmoid(x)。所以当我们讨论“大模型激活函数”时涉及到的其实不只是那一个非线性函数本身还包括它所在的门控结构。1.3 从“炼丹”角度看待激活函数站在训练实操的角度激活函数不像学习率、batch size那样有直观可调的规律但它对模型的影响却是全局性的。概括来说它直接影响三件事梯度能否顺畅传播、激活值是否能保持在稳定的数值范围内、以及每个参数能贡献多少表达能力。我倾向于把激活函数理解为“信息阀门”。它决定了一个神经元在什么条件下能被激活以及在反向传播时梯度如何流回去。如果阀门设计得不好模型表现得像一潭死水无论怎么调学习率都改善甚微。这也是为什么大模型激活函数不能照搬小模型的调参经验——在深层网络和超大规模参数的场景下很多在浅层模型中表现接近的激活函数差异会被急剧放大。2. 大模型激活函数的演进逻辑从ReLU到SwiGLU2.1 经典激活函数在长序列模型中的不足如果追溯最早的TransformerFFN中使用的其实是ReLU。ReLU的优势非常明显计算极简单只需一个阈值判断在正区间梯度恒为1有效缓解梯度消失负数区间直接截断为零带来一定的稀疏性。这些特点让它成为深度学习多年来的默认选择。但ReLU在大模型场景下有一个被无数人踩过的坑神经元死亡。当一个神经元的输入长期为负时ReLU的梯度为0这个神经元将永远不会再更新相当于“永久关机”。在深层模型中如果参数初始化或者学习率设置不当大量神经元同时死亡的话模型容量会迅速下降。而大模型动辄几百亿参数如果FFN中一部分神经元死了损失的能力可不像小模型那样容易通过其他参数弥补。另一个问题是ReLU的输出分布会在负半轴堆积大量零值。这种硬截断虽然带来了稀疏性但也让激活值的分布变得比较“尖锐”。后续层在接收这样的信号时往往需要归一化手段来稳定分布但归一化本身又压制了激活函数塑造特征的能力。我在小规模实验中见过一个极端情况用ReLU训练一个12层的Transformer骨干如果学习率偏大训练到中段时会有将近一半的FFN神经元激活值恒等于0模型capability明显退化。2.2 GELU的平滑优势与代价GELU的引入在当时是为了解决ReLU的“硬拐点”问题。GELU的定义可以写为GELU(x) x * Φ(x)其中Φ是标准正态分布的累积分布函数。它在零附近是平滑的不存在ReLU那种尖锐的阈值。这种平滑性使得激活函数对输入微小的扰动也有连续的梯度从而在优化时能更稳定地调整参数。GELU还带来了一个有趣的性质从负半轴到正半轴的过渡不是瞬间完成的而是有一个渐变区间。这意味着即使输入为负只要负得不多神经元仍然可以有一点点梯度不像ReLU那样直接切断。实际训练中GELU往往比ReLU收敛得更平稳尤其在深层Transformer中。不过GELU也有自己的麻烦。首先标准的GELU涉及高斯累积分布函数计算开销比ReLU大得多。虽然可以用tanh近似但依然涉及双曲正切这样的超越函数在计算图上会产生额外的算子。早期版本的深度学习框架对GELU的CUDA实现不够优化导致训练吞吐明显下降。我试过在某个老代码库中用PyTorch的erf函数自行实现GELU结果一个step的时间比ReLU版本慢了接近15%。虽然现在的框架已经把GELU融合成了高效算子但在自定义实现时仍然容易踩坑。2.3 GLU家族如何把“门控”引入前馈网络GLUGated Linear Unit最初不是为Transformer准备的它最早出现在某种语言模型架构中核心思想是引入一个独立的门控分支来控制信息的通过比例。普通的线性变换可以看作“信息全量通过”而GLU则是用另一个线性变换通过sigmoid函数生成0到1之间的门值对主分支进行调制。用公式感受一下GLU(x) (xW1) * sigmoid(xW2)这里xW1是内容分支xW2通过sigmoid变成一个门控分数。门控分数接近1的时候内容几乎原样通过接近0的时候信息被阻断。这种结构让模型能够动态调节每一个特征维度的信息量而不是把所有特征一视同仁地处理。在Transformer中使用GLU是在FFN的中间层引入这样的门控机制。实际中研究者发现GLU能够提升模型的表现但也带来了额外的参数量。为了保持总参数量与普通FFN相当通常会把中间层维度降低。比如一个4倍中间层的普通FFN如果换成带门控的变体内部维度可能只会用到2.7倍或8/3倍左右。2.4 SwiGLU成为主流背后的参数权衡SwiGLU就是把GLU中的门控函数从sigmoid替换成了SiLU也叫Swish。SiLU的公式是SiLU(x) x * sigmoid(x)它本身是一个平滑的非线性函数具有与GELU相似的“软拐点”性质但计算起来比GELU更简单既不需要erf也不需要tanh。SwiGLU的完整FFN形式FFN_SwiGLU(x) (xW_gate * SiLU(xW_up)) * W_down在FP16混合精度训练中SiLU涉及的上限值范围也比较可控不会像GELU的中间计算那样容易触及数值上限。更关键的是SwiGLU在参数量调整之后实验效果往往比GELU更有优势。我个人的理解是门控分支给了模型额外的一组参数来学习“如何组合特征”这比单纯的非线性变换更具表达力。但SwiGLU的代价也很明显它比普通FFN多了整整一个线性层的参数。如果不在维度上做调整同样隐藏维度下的模型会增多不少参数量。所以主流做法是保持总参数与4倍中间层的普通FFN一致把中间层维度设到d_model的8/3倍左右。如果不做这个缩放模型容量改变后对比激活函数的影响就会变得不干净这也是很多实验对比会出现失真结论的原因。3. 激活函数对训练稳定性和计算效率的三个隐性影响3.1 混合精度训练下的数值边界管理大模型训练几乎离不开FP16或BF16混合精度。FP16的数值表示范围很窄最大值只有65504一旦激活值超过这个数就会变成inf训练直接崩掉。BF16虽然范围更宽但精度较低对激活值的精度也更敏感。激活函数在这个过程中承担的角色非常关键。ReLU的负半轴是恒定的0输出范围对数值上限比较友好GELU在x比较大的时候近似于x但当x在10到20之间时由于累积分布函数的非线性中间过程的数值范围仍然可控。SwiGLU则因为有一个sigmoid乘法实际上天然会抑制输出值过大——sigmoid的输出介于0和1之间相当于给内容分支乘了一个衰减系数让输出不会无限增长。我自己的经验是如果模型使用了BF16训练GELU和SwiGLU之间的稳定性差异不大但如果使用FP16激活函数中间层的数值分布就需要特别关注。我曾经在一个实验里仅仅因为把激活函数从SwiGLU换成GELU就出现了FP16下的梯度溢出警告。后来我在FFN入口处加了一个额外的层归一化才稳住。后来发现这个问题本质上是GELU在输入值偏大时输出和导数都接近线性区其数值范围比SwiGLU略大再叠加残差连接就更容易突破下限。如果你用的精度是FP16建议在换激活函数后检查一下激活值分布的最大值必要时加一个torch.clamp或者调整输出缩放因子。3.2 梯度消失、神经元死亡与门控设计的对抗深层Transformer中梯度主要沿着残差路径反向传播但FFN内部的梯度也会受到激活函数导数的直接影响。ReLU在正区间导数恒为1看起来很好但一旦神经元落在负区间梯度直接归零。在深层网络中如果某个局部参数更新导致大量神经元滑入负区间且持续不恢复就形成了“死亡神经元”现象。GELU的导数在负半轴不是完全为0而是渐进趋近于0。这种设计让神经元即使处于负值区域也还有很小的梯度有时间“复活”。SwiGLU则更进一步它通过门控分支为内容分支提供了一个乘法调制的信号反向传播时内容分支的梯度会乘以门控值门控分支本身也能获得梯度相当于两条路径都在推动参数更新大大降低了“全死”的风险。我测试过一个极端的初始化方案把FFN线性层的权重初始化放大1.5倍用来模拟训练中可能发生的参数偏移。结果ReLU的模型大概在几百步内就有大量FFN神经元输出为零模型迅速退化成一层“不工作”的状态。而SwiGLU的模型虽然也出现了一些输出波动但门控分支能够自行调整最终稳定了下来。这让我确信在超大模型和激进学习率配置下门控激活函数的梯度鲁棒性非常重要。3.3 计算图融合与显存占用的实测感受激活函数的选择也直接决定了底层算子能否被高效融合。GPU上训练Transformer时我们通常会把“线性层激活函数线性层”融合成一个单独的CUDA kernel减少显存读写次数。ReLU这种极其简单的运算很容易被融合进前一个矩阵乘法的输出处理中几乎不额外增加开销。GELU的近似计算需要几次乘法和一次tanhPyTorch也有现成的融合实现但如果你用的是自定义GELU比如通过erf函数它的计算图会变得复杂融合效率反而更低。SwiGLU典型的实现方式是把门控线性层和内容线性层合并成一个矩阵乘法然后同时输出到激活函数和乘运算中。这个组合在当前深度学习框架里已经形成了高效融合。我在某次吞吐测试中对比了ReLU、GELU和SwiGLU三种FFN实现在相同硬件和相同batch size下GELU如果走F.gelu的近似实现速度大约比ReLU慢5-8%SwiGLU由于多了一个线性层的计算速度比ReLU慢10%左右但因为门控结构让它在更少参数下达到同等效果所以整体“质量/速度”比反而是最好的。显存方面SwiGLU在前向传播时需要保存门控值和内容值用于反向传播相比ReLU只需保存布尔掩码显存占用会高一些。很多实现为了省显存会采用“激活重计算”策略但自定义激活函数时重计算逻辑需要自己写好否则显存峰值会变得非常难看。这些小细节在实际训练中往往比理论效果更影响体验。4. 一次小规模LLM实验激活函数横向对比4.1 实验设置与对照组设计为了直观说明激活函数的影响我设计了一组小规模对比实验。模型结构采用一个12层、隐藏维度512的Transformer解码器序列长度512词汇表32000总参数量大约在1.1亿左右。为了公平对比所有配置除了FFN内部结构外保持一致使用相同的学习率3e-4、余弦衰减、预热2000步总训练步数设定为50000步batch size为64。实验数据使用一个模拟的文本语料保证各实验组输入完全一致。对照组分别为ReLUFFN中间层维度为4倍隐藏维度即2048。GELU使用tanh近似实现FFN结构与ReLU组一致中间层2048。SwiGLU门控变体中间层维度调整为约2730即d_model的16/3倍不对需要算实际上SwiGLU组为了保持参数总量与4倍中间层普通FFN相近内部两个线性层分别为d_model到8/3*d_model再组合成3个权重矩阵因为SwiGLU的参数量是2倍于普通中间层两组权重所以中间层维度需要缩小到原来的约2倍等等我们来仔细算一下。普通FFN参数量d_model * d_ff d_ff * d_model 2 * d_model * d_ff。 SwiGLU需要三个权重矩阵W_gate, W_up, W_down。其中W_gate和W_up都是从d_model到d_ffi内部维度W_down是从d_ffi到d_model。所以参数量为 2 * d_model * d_ffi d_model * d_ffi 3 * d_model * d_ffi。要让参数量等于普通FFN的2 * d_model * d_ff则 d_ffi (2/3) * d_ff。如果d_ff 4 * d_model则d_ffi 8/3 * d_model ≈ 2.667 * d_model。所以内部维度约等于1365512*8/3≈1365。而不是2730。好我们就按1365。这样参数量基本持平。GELU和ReLU的普通FFN参数量相同SwiGLU组参数量略低一点但接近因为取整。我在实验中也加了另一个SwiGLU变体不调整中间层维度保持2048这样参数量会更大用来观察容量影响。不过为了清晰这里只展示参数基本持平的一组对比。4.2 收敛曲线与最终loss的差异实验结果表明几组模型都能收敛但收敛轨迹有明显区别ReLU在训练初期收敛速度最快前5000步的loss低于GELU和SwiGLU。但到了20000步之后ReLU的loss下降速度放缓最终loss比GELU高约0.08比SwiGLU高约0.12。GELU的收敛曲线比较平滑震荡小最终loss居中。它的训练过程几乎没有出现loss尖峰稳定性是三者中最好的。SwiGLU前5000步的loss下降比ReLU略慢但从10000步开始反超最终得到最低的loss。在门控分支的加持下它的后期拟合能力明显更强。训练中的另一个观察是ReLU在batch size较大时更容易出现有效参数量不足的现象。我们的batch是64如果压缩到32ReLU与SwiGLU的差距还会进一步拉大。这说明在完整的LLM训练规模和梯度噪声下ReLU的容量利用效率确实堪忧。4.3 吞吐、显存与参数量的细节除了收敛质量执行效率也值得看。我们用一块消费级GPU跑相同配置测了训练时的吞吐token/s和显存占用。由于ReLU的FFN结构最简单训练吞吐最高。GELU组因为tanh近似运算吞吐大约下降6%。SwiGLU组由于有三个矩阵乘法吞吐比ReLU组低约12%但考虑到最终loss更低所以“单位时间内能训练出的模型质量”反而是最好的。显存方面ReLU组的激活显存最低因为ReLU只需要保存一个mask布尔掩码。GELU组需要保存输入到激活函数的值显存略有增加。SwiGLU组需要保留门控值和内容值两个中间张量显存峰值最高比ReLU组高出约18%。如果你的显存非常紧张可以使用激活重计算activation checkpointing来节省显存但会增加约30%的计算开销。我在实验中使用的是标准激活缓存没有额外重计算。参数总量方面按上面的设计ReLU和GELU的参数完全一致SwiGLU由于中间层调整为1365参数量与基准基本持平。值得一提的是SwiGLU如果不调整中间层维度保持2048参数量会比基准多出50%左右最终loss确实更低但训练代价也大得多。这提醒我们许多开源模型的SwiGLU中间层维度是特意缩放过的不能直接拿来做等维度对比。4.4 最容易翻车的坑实现等价性我在对比过程中踩了几个坑属于不看原始实现就容易翻车的那种。第一个坑是GELU近似版本不一致。有的代码库用tanh近似有的用erf精确形式两者在精度上有细微差别虽然通常不影响结论但在小规模实验里会造成约0.01的loss差异足以干扰你的判断。我在对比时统一使用了F.gelu它默认是tanh近似。结果后来发现某个开源基座模型内部用的是精确erf形式导致我复现时一直有微小偏差。第二个坑是SwiGLU的权重拼接顺序。SwiGLU通常把W_gate和W_up合并成一个大的权重矩阵一次矩阵乘后分离成两个分支。有些人把W_up放在前面有些人把W_gate放在前面依赖这个顺序的权重初始化和优化器状态会不同。如果你在做增量训练或继续预训练没有严格对齐原始实现顺序差距会非常明显。我一度以为是自己数据有问题后来才发现是权重拼接顺序写错了。第三个坑是是否把偏置项去掉。大模型FFN经常去掉线性层的偏置因为表现上没有明显收益还能省一点显存。但某些激活函数实现里隐式依赖了偏置比如计算门控时希望有可学习偏移。如果你从带偏置的代码切换到不带偏置的代码SwiGLU的行为会发生轻微变化。我建议在大模型预训练中统一去掉偏置并将这种设定视为激活函数选择的一个配套变量。5. 怎么选、怎么调我的实操建议5.1 不同场景下的激活函数选型基于上面的理论分析和实验不同场景下的激活函数选型可以按下面的思路来如果你在从头预训练一个较大的模型且希望达到最好收敛效果优先考虑SwiGLU。它虽然计算开销略高门控结构带来的容量效率和训练稳定性回报很值得。如果你的算力非常紧张或者只是做快速原型验证GELU是一个稳健的选择。它的计算效率不错稳定性好且实现简单不容易出错。如果你在做极短序列、模型层数很浅的任务比如一些简单分类任务ReLU也完全能用甚至在训练初期收敛更快。但不要轻易把它用在深层LLM上。当然实际选型还要考虑你的整体架构。比如使用归一化方式、是否有稀疏激活设计、是否使用MoE等。在MoE中激活函数的选择会与路由机制的负载均衡互相影响SwiGLU的容量优势会被部分抵消因为MoE本身已经提供了更多的参数空间。5.2 与归一化、初始化、学习率联动的注意事项激活函数不是孤立存在的它的效果与归一化层和初始化方案高度耦合。我在实验中发现如果使用ReLUFFN入口的归一化方式建议采用偏置较稳的初始化例如小方差初始化。如果使用SwiGLU入口归一化的方差可以适当放宽门控分支对初始值的容忍度更高。学习率方面SwiGLU通常需要略低一点的学习率因为它的门控分支增加了参数的响应幅度。在我这个实验中SwiGLU最优学习率大约在2.5e-4而GELU在3e-4也能安稳训练。如果学习率过高SwiGLU可能出现初期loss下降慢、随后突然波动的情况。如果你从普通FFN切换到SwiGLU建议学习率下调10%-20%试试。初始化标准差也要随激活函数变化。早期的Xavier初始化是针对sigmoid/tanh设计的不适合ReLU。现代大模型常用小标准差初始化配合预归一化Pre-Norm层但具体值要参考模型总深度和FFN结构。这里给一个经验值在10亿参数以下的小规模模型中线性层权重初始标准差在0.02到0.03之间比较安全如果模型更大可以再降到0.01附近。SwiGLU由于门控分支的乘积效应初始化标准差可以比ReLU略大一些但不要超过0.05。5.3 未来可能的发展方向动态激活与稀疏门控大模型激活函数的探索远未停止。我注意到两个趋势一个是激活函数与稀疏化结合比如在门控值上加入top-k选择让FFN只激活部分神经元从而节省计算。这种思路与MoE有共通之处把门控从单纯的连续乘法变成了“离散路由”。另一个是动态激活函数让常数超参变成可学习的参数例如自适应门控温度等不过这类方法离大规模部署还有距离。另一个值得关注的方向是长上下文场景下的数值稳定性。当序列长度增长到几十万甚至上百万token时残差连接和归一化的交互会更复杂激活函数输出的微小偏差可能被放大。在未来激活函数的选型和实现需要与注意力计算中的数值缩放一起考虑而不仅仅是看单模型的loss。我个人在实验中觉得SwiGLU虽然目前是“标准答案”但它不一定是永远的终点。门控思想本身比具体函数更重要。如果你的硬件支持更高效的激活融合单元未来完全可能出现新的门控变体。但无论如何理解激活函数的底层逻辑——信息流动、参数容量、数值稳定性、算子效率——这四点始终是判断任何新激活函数价值的核心维度。最后补一句经验当你准备在自己的模型里换激活函数时不要只看最终的loss对比一定要盯住训练过程中的梯度范数、激活值分布和吞吐变化。那些在论文中不会写的细节往往才是决定你实验成败的关键。我这次回归激活函数的研究最深的体会就是一个看似简单的函数牵动的却是整条训练链路的每一环。