从Dense到MoE大模型参数量提升秘籍小白也能轻松掌握并收藏本文详细解析了Mixture of Experts (MoE)架构从Dense模型升级到MoE的方法MoE指令微调技巧以及专家合并技术。实验证明MoE能大幅增加参数量而不显著提高推理成本经过大规模指令微调后可超越参数量更大的Dense模型为构建高效大模型提供了新思路。背景知识关于基础部分推荐阅读VerlocksssMixture of ExpertsMoE学习笔记 或 MoE(Mixture-of-Experts)大模型架构的优势是什么为什么(https://zhuanlan.zhihu.com/p/675216281)稍微概括如下23 年 12 月 Mixtral 发布的 7B x 8 的 MoE 模型在多项指标超越 Llama2而且它推理计算量只相当于 13B 模型MoE 架构的优势是可以快速堆参数量但是不显著增加推理成本。据说 GPT4 是 8 个 GPT3 级别的模型组成一个 220B x 8 的 MoE 模型。最近的 DeepSeekMoE 145B只需要 28.5% 的计算量匹配 67B dense 的性能。MoE 类似于将 Ensemble 方法多个的推理结果的平均改成加权平均Ensemble 可以结合不同的权重不同结构甚至不同方法的结果。13 年 12 月 Ilya 团队在神经网络上做了 Deep MoE每一层有多个权重矩阵通过一个独立的分配网络来给出平均的加权训练过程中约束单个权重被选中的概率不要过高。这篇做的模型参数量还比较小而且推理时所有专家都要参与。17 年 1 月Hinton 团队在机器翻译上做了 MoE 大模型137B在 Deep MoE 基础上把 LSTM 中的线性层做 MoE 扩展而且每层权重由门控网络分配给权重最高的 k4 个专家。门控网络通常是一个带有 softmax 函数的简单的网络它学习将输入发送给哪个 expert。训练时可以加 noise 为分配提供随机性还通过 importance loss 和 load loss 来给不同专家平均分配 logits 和训练样本数。因为实验发现分配机制具有马太效应某些专家可能一直分配不到训练 token。21 年 1 月Google Brain 的 William Fedus现在在 OpenAI将 T5 模型中的 FFNtransformer 中的某全连接层做 MoE 扩展提出 Switch Transformer特点是每个 token 只分配一个专家。以上两篇 paper 还着手解决一些工程问题因为我们希望集群利用率。Barret ZopnGoogle Brain - OpenAI的 ST-MoE 提出 z-loss要求路由的 logits 在绝对值上尽可能地小还用了一些 trick 来提高训练稳定性防止 loss 炸飞和泛化性给出了很多实践调试经验。Expert Choice Routing 谷歌发表于 2022 年的 NeurIPS提出让每个专家来选 k 个 token这样的好处主要是负载均衡收敛速度快但这种做法需要足够大的 batchsize。Switch Transformer 展示了用 MoE 方法堆参数量可以达到更低的测试损失和更高效的预训练以下讨论的 MoE指 Sparse Activated MoE和推荐系统的术语有所区别。一般认为 MoE 的优点是多任务学习能力强可能脑容量大相同参数推理成本低缺点是模型复杂性提高稳定训练的工艺更复杂训练需要额外通信而且下游任务微调手感和 dense 模型会有差异从 Dense 升级到 MoEICLR23 - Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints从头训一个 MoE 可能有更多的工程问题冷启动问题比如 warmup 的时候超参数要手工调整最麻烦的是训的好不好不能很快知道拿一个 dense 模型的参数来做初始化可以白嫖把 MLP 扩展 E 份参数组在一起加上 Router和之前讨论的 transformer MoE 是一个做法不同之处是每份参数是从训练好的 dense 模型中复制来的技术选择Expert Choice 路由容量为 2即每个专家选两个 token在 NLP 模型效果好Top-K 路由则在视觉模型效果好。在 NLP 任务中专家越多越好而视觉任务中存在饱和点。增加 MoE 层数也可以增加模型容量但视觉任务中同样存在饱和点。恢复优化器状态一些统计量和路由权重归一化可以提高视觉 MoE 模型的性能对 NLP 任务无效。对于视觉任务作者使用了 JFT300M 数据集进行预训练并使用 ImageNet 数据集进行微调。对于 NLP 任务作者使用了 C4 数据集进行预训练并使用 SuperGLUE 数据集进行微调。对于额外的预训练或者微调微调的图没贴在这差不多意思Upcycled MoE 模型比 Dense 模型更有性价比用 Upcycled MoE比起随机初始化好得很从头训 MoE 模型需要相当大的算力才能抹平起始差距在 NLP C4 数据集的预训练上用了 120% 的 dense 模型预训练算力才让随机初始化的 MoE 模型追上来。这里对比的是 Sparse upcycling从 dense 模型变成 MoE和 dense upcycling给原来 dense 模型加层前者的效果更好消融实验视觉任务以不同水平的 dense 模型作为起点Upcycling 有类似的提升幅度还有一些有意义的失败尝试比如直觉上我们在初始化每个专家的时候可以加一些 noise 使得它们的初值不太一样但是作者发现这样做没有任何收益。还有改变模型的学习率、为路由 softmax 增加改变温度探索路由的不同初始化方法等都没有明显提升。MoE 多少层也是一个可以调优的点改造的层太多会降低模型训练推理速度导致性价比下降。实验发现把最浅层转成 MoE 会有训练问题把 12 层网络的后 6 层转成 MoE 比较好。MoE 指令微调ICLR24 - Mixture-of-Experts Meets Instruction Tuning: A Winning Combination for Large Language Models这篇论文发现没有大规模指令微调时MoE 在下游任务的效果不如一般 dense 模型而经过 FLAN 的大规模指令微调后MoE 模型很强不管是 few-shot 还是 zero-shot这篇论文的训练集是 FLANFLAN 包含 1800 个指令微调任务Google 把它们微调进一个 T5 模型里参考阅读nghuyongFlan-T5: One Model for ALL Tasks测试集是 MMLUBBHReasoning 和 QA本文的 FLAN-ST32BMoE 超过了 PlaM 62B后者是前者三倍推理开销发现 Plam 62B 在指令微调前后的准确率是 51% - 57.6%而 ST32B 从 18.4% 提升到 63.6%在指令微调时MoE 会受益更多专家数量加到 32 以后模型的整体能力会下降从下图上看作者说单项任务可能在专家多到一定数量后饱和。但是这个图特别怪左边蓝色橙色的图例不见了我看 review 也有审稿人问而且 BBH 也还没见到饱和。所以我不太确定这一段的结论在训练时的路由策略上FLAN-Switch每个 token 分给一个专家 FLAN-GS每个 token 分给俩专家 FLAN-EC每个专家选两个 token。不过 ST-MoE 论文说用更先进的辅助 loss 能让 -GS 和 -EC 差不多为了做个大实验作者选了 ST32B。这一点从 paper 上看很奇怪因为 ST32B 起始点很低但是从 rebuttal 看他们没有算力从头训一个 32B-MoE只能这么选了。在微调时 balance-loss 适用 FLAN-EC 而 Z-loss 适用 FLAN-ST推测说明微调时的约束要和预训练接近比较好。微调时冻结门控会稍微提升性能再冻结其它部分参数则不好。当只有一个下游任务时以 FLAN-MoE 为起点比预训练 MoE 起点显著好说明大规模的指令微调的重要性。随着 MoE 模型变大专家的专业化程度提升我的理解是对于一类数据激活的专家数会更少但是没说指标具体怎么算的rebuttal 作者说在之后版本补充不知道打算什么时候更新出来FLAN-MoE 在英语以外的语言表现不好可能说明在预训练和微调时需要纳入更多其他语言的数据。MoE 合并XFT: Unlocking the Power of Code Instruction Tuning by Simply Merging Upcycled Mixture-of-Experts论文先说 Sparse UpcyclingDense-MoE有两个缺点1. 要比较大的算力才能看到相对 Dense 模型的提升 2. 推理开销会增加。而这篇论文做了一个新的训练框架在微调阶段后借鉴 Model Soup把多个专家的参数进行合并Upcycling相比于 dense 模型来说在微调阶段每个专家分到的数据会变少采用类似 Deepseek 的方案固定选择一个专家共享专家而且注意在整个 MoE 扩展过程中要让输出的数值尺度和原来对齐。每一层总共有八个专家训练的时候对于每个 token 激活其中六个。这里我感觉有点奇怪如果随机 dropout最后合并会怎么样Merging在训练过程中为每个专家设置一个可学习参数最后把各个专家的网络权重进行参数加权合并这里的工艺是把共享专家的权重定为 0.75其它专家的参数和为 0.25。论文发现如果不做这样的设定在训练过程中共享专家的权重会不断上升。实验结果 XFT 比 MoE 略好而且只要 1/8 的参数量。如果没有共享专家或者为共享专家设置的权重太小都会让模型性能下降这两个图一个是说提出的方法对于不同的基座都是适用的另一个是因为 XFT 引入了额外训练开销所以在相似训练开销下和 SFT 进行对比最后近期科技圈传来重磅消息行业巨头英特尔宣布大规模裁员2万人传统技术岗位持续萎缩的同时另一番景象却在AI领域上演——AI相关技术岗正开启“疯狂扩招”模式据行业招聘数据显示具备3-5年大模型相关经验的开发者在大厂就能拿到50K×20薪的高薪待遇薪资差距肉眼可见业内资深HR预判不出1年“具备AI项目实战经验”将正式成为技术岗投递的硬性门槛。在行业迭代加速的当下“温水煮青蛙”式的等待只会让自己逐渐被淘汰与其被动应对不如主动出击抢先掌握AI大模型核心原理落地应用技术项目实操经验借行业风口实现职业翻盘深知技术人入门大模型时容易走弯路我特意整理了一套全网最全最细的大模型零基础学习礼包涵盖入门思维导图、经典书籍手册、从入门到进阶的实战视频、可直接运行的项目源码等核心内容。这份资料无需付费免费分享给所有想入局AI大模型的朋友扫码免费领取全部内容部分资料展示1、 AI大模型学习路线图2、 全套AI大模型应用开发视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 大模型学习书籍文档4、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、大模型大厂面试真题整理了百度、阿里、字节等企业近三年的AI大模型岗位面试题涵盖基础理论、技术实操、项目经验等维度每道题都配有详细解析和答题思路帮你针对性提升面试竞争力。6、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。学会后的收获• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。扫码免费领取全部内容这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】