那天技术群里有人丢出一句“Moe模型了解吗FPGA实现难度高吗”群里安静了几秒然后话题一下子全变成大模型、算力、GPU集群了。我回了一句如果你说的是大模型里那个结构通常写作 MoE不是 Moe。它是 Mixture of Experts 的缩写混合专家模型。真正让这个问题有意思的是后半句——FPGA 实现。说实话两年前听到“MoE FPGA”这个组合大部分人会觉得挺拧巴MoE 是标准的大模型稀疏化玩法通常跑在 GPU 集群上FPGA 呢日常活在高速接口、图像处理、工业控制、电机驱动这些场景里。但现在确实有越来越多边缘端、定制化推理团队开始研究把 MoE 结构搬上 FPGA我手头也刚好做了一个相关的小型评估项目。这篇文章就站在一个常年写 RTL、也折腾过图像处理和硬件加速的 FPGA 开发者的角度把 Moe 模型是什么、它在 FPGA 上实现到底要拆成哪几块、资源瓶颈在哪里、我会怎么一步步验证完整梳理一遍。适合两类人看一类是还没搞懂 MoE 是什么的 FPGA 工程师另一类是心里已有算法、想评估“FPGA 到底能不能接这活”的软硬件协同团队。1. 搞清楚 Moe 模型到底是什么1.1 一句话理解MoE的结构如果你查 Moe 模型网上九成资料都会跳到一个概念MoEMixed/Mixture of Experts。这东西不是新出现的Yann LeCun 早在 1991 年就做过相关研究后来 Shazeer 团队 2017 年用稀疏门控把它搬进深度学习再到 Switch Transformer、Mixtral 这批模型把它推向大众视野。结构本身不复杂。一个普通的 Transformer 层里面除了自注意力之外还有一个 FFN 前馈网络它的作用是把每个 token 的特征向量做两次线性变换中间插一个非线性激活。MoE 做的事情很直接不再用一个 FFN而是复制出 N 份结构相同但参数各异的 FFN 子网络这些子网络就是“专家”。那问题来了输入 x 到底该找哪个专家所以前面必须加一个门控网络Gate/Router。门控本质上就是一个线性层输入特征 x输出 N 个分数表示 x 和每个专家的匹配程度。得到分数之后做两件事选出分数最高的 K 个专家K 常见取 1 或者 2让这 K 个专家真正参与计算把它们的输出按权重加权求和。用公式表示可以写成score_i softmax(x · W_g)_i 选 TopK(score_i)得到专家编号 idx_j 和归一化权重 w_j y Σ_j w_j · Expert_idx_j(x)这里的 K 非常关键。Switch Transformer 用 Top-1 路由也就是每个 token 只激活一个专家Mixtral 开头那批模型用 Top-2 路由。K 越大参与计算的专家越多计算量也越大模型对输入的表达能力会好一些但路由“选错专家”的风险也会被摊薄。K 一般不会超过 4不然就丧失了“稀疏激活”的初衷。1.2 MoE 解决了什么问题传统的 Dense 模型比如普通 Transformer模型容量的提升靠加大隐藏层维度和层数每个 token 进来所有参数都要参与计算。假设一个模型从 7B 扩到 70B参数量变成 10 倍单次推理的计算量基本也跟着涨 10 倍。这在工程上非常痛苦参数多了内存带宽、计算量、功耗全世界都在涨。MoE 的核心价值是把参数量增长和计算量增长解耦。拿 8 个专家的稀疏模型来说总参数量差不多是单个 Dense 模型的 8 倍但一次推理只激活 K 个专家。如果 K2实际计算量只相当于原来的 2/8也就是四分之一。看起来占了“显存/权重存储”的大头但实际算力成本相对可控。这种“账面上很大实际算力不那么大”的特征决定了为什么 MoE 一直受大模型圈子的偏爱。如果你是一个做硬件加速的人这里已经藏了第一个重要信息MoE 推理瓶颈并不在“专家算不出来”而在“怎么快速决定去哪个专家”和“把权重搬运到位”。后面所有硬件设计思路都逃不开这两件事。1.3 一个常见的误区很多人以为 MoE 是替代整个 Transformer 的独立架构。不是。绝大多数 MoE 模型只是在 Transformer 的 FFN 位置做了替换注意力机制还是原来的。真正工作的结构是输入 token → Attention → MoE FFNRouter N个Expert → 输出这也就意味着如果你想用 FPGA 实现一个 MoE 模型注意力部分和 MoE 部分是两套独立的工作。注意力权重小、算力密度不算太高但它是所有 token 都需要的全局计算MoE 部分则明显不同它是参数特化、动态路由、稀疏参与的。硬件上通常需要分模块设计而不是一个大矩阵猛算。2. FPGA 和 MoE 结合之前先把边界划清楚2.1 GPU、ASIC、FPGA在MoE上的分工做 MoE 模型加速主战场肯定还是 GPU。CUDA 生态里有极成熟的框架TensorRT、vLLM 这些工具能把张量并行、专家并行、量化都安排得明明白白。MoE 的推理优化在 GPU 上已经是一门大学问核心在于减少“All-to-All”通信开销、提高专家利用率。ASIC 则是另一条路专门针对稀疏路由设计硬逻辑效率和功耗都能压到很低但开发和流片成本极其高昂只有产品量足够大才划算。FPGA 的定位恰好夹在中间。它没有 GPU 那么高的通用算力也没有 ASIC 那么极致的专用效率但它胜在“设计可以在几周内改算力结构可以跟着算法变”。如果你的模型还没完全定版、专家数量或数据通路需要频繁迭代FPGA 做原型验证和中小批量部署非常合适。早期很多做 AI 加速器的创业公司第一轮原型拿的都是 FPGA 平台。2.2 FPGA现实能做的事情我必须直接说不要把“把几百B参数的大MoE模型完整塞进FPGA跑起来”当成目标那不是一个合理工程能短期内完成的事。以现在的 FPGA 资源容量就算大芯片也只装得下小模型。现实里拿到 FPGA 上做的 MoE 工作主要是这么几类训练或推理侧的自定义算子验证。比如你设计了新的路由规则、新的稀疏度分配策略先用 FPGA 搭一个加速原型去验证比 GPU 更高能效的路径。边缘端小模型部署。例如图像分类、语音唤醒这种量级的模型其中某些层用 MoE 替代FPGA 能扛下来。低时延特定场景。例如要求单次推理延迟在微秒级、并且功耗有严格上限的工业/嵌入式任务FPGA 的确定性时序反而比 GPU 有优势。做“半软半硬”研究比如把某几个核心模块Router、TopK、专家权重的预取调度做成 FPGA 加速器配合 CPU 端跑其余部分。我见过不少失败项目共同点是他们一开始想“全都要”。真正合理的方式是先框定一个子问题把最经典的 MoE 层做透再考虑扩展。2.3 别被“稀疏”两个字迷惑MoE 被称为稀疏激活模型听起来像是“每次只用一点点资源”但对硬件来说稀疏不一定是福音。算法层面的稀疏是运算量的稀疏因为只算 K 个专家可一旦到了存储层面权重是分散在 N 个专家里的。片上放不下时这些权重存在外部 DRAM 里而路由结果又随 token 动态变化导致你很难像普通 Transformer 那样预知下一段该读哪块权重。硬件上最擅长的是“有规律的大量连续读”最怕的是“无规律的小粒度随机读”。MoE 正好踩在后者的痛点上。所以做 FPGA MoE 加速你真正卖力要解决的往往不是乘法器而是数据流调度。3. 从原理到模块FPGA 上到底要做哪几块电路3.1 门控路由从矩阵乘到 TopK 排序MoE 层的第一段流水线是门控网络。它接收特征向量 x做一次矩阵向量乘得到 N 个专家分数然后选出 TopK 的专家 ID。这一步 FPGA 实现有几个层次第一层是矩阵乘。如果 D特征维度是 256N 是 8那门控矩阵的形状是 256×8计算量只有几千个乘法。这个规模相对专家 FFN 来说非常小用一个小的乘累加阵列就能完成不构成瓶颈。第二层是 Softmax。注意很多模型在路由时只对 logits 做排序不一定会输出完整归一化概率但后续加权求和仍需要概率。硬件上做 Softmax核心是两点算 exp 和做归一