资讯动态

Mellum2.1-12B-A2.5B-Thinking Benchmark深度解读:SWE-bench暴涨23倍背后的17项数据对比分析

发布时间:2026/10/19 1:29:06 来源:尧图企业网站定制
【免费下载链接】Mellum2.1-12B-A2.5B-Thinking项目地址https://ai.gitcode.com/hf_mirrors/JetBrains/Mellum2.1-12B-A2.5B-Thinking点击查看免费下载JetBrains 开源的Mellum2.1-12B-A2.5B-Thinking是一款思考型ThinkingMoE 编码大模型总参数 12B、激活参数仅 2.5B。它的 Benchmark 成绩单里最抢眼的一笔是 SWE-bench Verified 从上一代 Mellum2 的 2.0% 一路冲到 47.0%暴涨约 23 倍。这篇文章带你把 17 项 Benchmark 数据逐类拆开看懂它到底强在哪、短板在哪、值不值得上手。先搞懂Mellum2.1 是什么模型一句话一个会边想边做的轻量编码助手。它继承自 Mellum2架构完全没变还是 12B 的混合专家MoE模型每个 token 只激活 8/64 个专家也就是 2.5B 的有效计算量——推理成本接近小模型能力却往大模型靠。这一代几乎所有功夫都砸在了**后训练Post-training**上尤其是强化学习RL从结尾点缀升级成了训练主角。对软件工程任务模型是在真实仓库 终端 文件编辑工具里跑出来、靠测试是否通过拿奖励的所以它擅长探索代码库、改文件、自查改动。想核对参数的可以直接翻模型配置 config.json或看权重分布 model.safetensors.index.json。17项 Benchmark 全览七大能力一张表看懂下面这张表覆盖了全部 17 项指标来源是官方 README.md 的评测统一用 thinking 模式、同一条评测管线数值为 JetBrains 自报。所有数值为百分比越高越好唯独 HarmBench 越低越好。能力维度BenchmarkMellum2.1Mellum2Gemma 4 (E4B)Qwen3.5 (9B)编码LiveCodeBench v682.069.469.475.4编码HumanEval91.590.989.189.6编码MBPP79.475.470.969.8数学AIME 25/2683.360.145.086.7数学GSM-Plus88.387.187.491.4AgenticSWE-bench Verified47.02.023.050.0AgenticTerminal-Bench 2.117.40.63.421.7AgenticSWE-bench Pro28.00.04.038.0工具调用BFCL v462.349.652.558.5工具调用WorkBench44.645.146.139.7工具调用ToolHop49.146.739.952.0对话IFEval90.679.590.892.4知识GPQA Diamond64.651.053.177.8知识MMLU-Redux87.886.084.989.5知识MixEval-Hard46.441.641.450.3安全XSTest88.891.295.295.6安全HarmBench越低越好↓8.521.538.16.6 加粗为该行最高分。一眼就能看出Mellum2.1 在编码、工具调用、数学推理上明显领先知识/对话/安全则与 Qwen3.5 互有胜负。SWE-bench 暴涨 23 倍Agentic 编码能力跃升的真相这是整份成绩单最戏剧性的一组数字Agentic 基准Mellum2Mellum2.1变化幅度SWE-bench Verified2.047.0×23.5暴涨约23倍Terminal-Bench 2.10.617.4×29SWE-bench Pro0.028.0从不会到能做三个 Agentic 基准Mellum2.1 全部把 Mellum2 甩开了一个数量级。为什么能翻几十倍训练环境真实化模型是在真实代码仓库里干活训练的能调终端、能编辑文件测试跑通了才算得分。这种在沙盒里跑了上百万次的经历让它学会了自主探索与自纠。RL 数据大幅扩容并严格筛选新加了数学、竞赛编程、科学、工具使用、软件工程等 RL 任务且每个数据源都先过滤再进训练。对比要理性看在绝对值上Qwen3.5 (9B) 在三个 Agentic 基准上依然略高50.0 / 21.7 / 38.0。Mellum2.1 的真正优势在于——用远更小的激活参数2.5B vs 9B 稠密逼出了接近第一梯队 Agentic 能力性价比极高。编码与数学稳定发挥的强项编码是它的老本行三项全赢LiveCodeBench v682.0比 Mellum2 的 69.4 高出一大截也是同参数段对比里最高。HumanEval91.5四项中最高说明看需求写函数这种基础功力非常扎实。MBPP79.4同样领先。数学侧同样亮眼AIME 25/2683.320252026 各 30 题的均值较 Mellum2 的 60.1 大涨 23 分这是 RL 数学任务扩容的直接回报。GSM-Plus88.3与头部打平。小遗憾AIME 与 Qwen3.5 的 86.7、GSM-Plus 与其 91.4 相比仍有几分差距。工具调用与对话被低估的隐形冠军这组数据容易被 Agentic 的高光盖过其实进步很实在BFCL v462.3四项最高比 Mellum2 的 49.6 提升 12.7 分是多步子任务v1/v2/v3/网页搜索/记忆上的全面领先。ToolHop49.1小幅超过 Mellum2。WorkBench44.6与 Mellum2 基本持平略低于 Gemma 4——属于它的相对短板。IFEval指令遵循90.6从 79.5 跳升 11 分说明模型听话照做的能力明显更稳。它的对话与工具调用能力由 chat_template.jinja 里的工具调用模板支撑走tool_call标签的 JSON 结构这也是它能接入自动工具选择auto-tool-choice的原因。知识与安全互有胜负但安全更干净知识维度Mellum2.1 稳中有升但没能全面反超GPQA Diamond64.6比 Mellum2 的 51.0 高 13.6 分但仍低于 Qwen3.5 的 77.8。MMLU-Redux87.8、MixEval-Hard46.4都超过了 Mellum2 和 Gemma 4略逊 Qwen3.5。安全侧是最让人安心的部分HarmBench 有害率 8.5越低越好不仅远低于 Gemma 4 的 38.1也大幅优于自家 Mellum2 的 21.5——越更新越干净。XSTest 为 88.8虽略低于 Qwen3.5 与 Gemma 4但整体安全水位依然健康。Mellum2.1 部署与使用vLLM 一键拉起架构要点摘自 README.md总参数 12B / 激活 2.5B28 层隐藏维度 230464 专家激活 8上下文 131,072精度 bfloat16许可Apache 2.0可商用。用 vLLM 拉起服务支持工具调用只需vllm serve JetBrains/Mellum2.1-12B-A2.5B-Thinking \ --max-model-len 131072 \ --reasoning-parser qwen3 \ --enable-auto-tool-choice \ --tool-call-parser hermes之后用标准 OpenAI 客户端接口即可对话推荐参数temperature0.6、top_p0.95、top_k20、max_tokens留大一点思考模型会输出较长的推理。总结Mellum2.1 到底适合谁想要能动手的编码 AgentSWE-bench 暴涨 23 倍、Terminal-Bench 从 0.6 到 17.4说明它是少数真正能进仓库改代码、自己跑测试的轻量模型性价比突出。看重推理成本2.5B 激活参数让它在编码/数学上以小博大适合算力有限又要强能力的场景。要留意的短板Agentic 绝对值、数学顶尖题AIME/GSM、专业知识GPQA上仍略逊于同级的 Qwen3.5 (9B)WorkBench、XSTest 也有小幅落后。一句话Mellum2.1-12B-A2.5B-Thinking 用强化学习把Agentic 编码从几乎为零干到第一梯队是 12B 级别里会自己干活的代表作。如果你的场景是代码库级任务、终端操作与工具调用它非常值得一试。赞分享【免费下载链接】Mellum2.1-12B-A2.5B-Thinking项目地址https://ai.gitcode.com/hf_mirrors/JetBrains/Mellum2.1-12B-A2.5B-Thinking点击查看免费下载相关推荐Mellum2.1-12B-A2.5B-Thinking 完全入门5分钟看懂 JetBrains 12B MoE 推理模型的核心亮点Mellum2.1 12B A2.5B Thinking 完全入门5分钟看懂 JetBrains 12B MoE 推理模型的核心亮点 Mellum2.1 12大模型推理模型模型量化本地部署Mellum2.1-12B-A2.5B-Thinking新手教程5个采样参数调优技巧让回答又快又准Mellum2.1 12B A2.5B Thinking新手教程5个采样参数调优技巧让回答又快又准 本文带你上手 Mellum2.1 12B A2.5B TKimi-K2-Thinking-BF16 基准成绩深度解读HLE、BrowseComp、SWE-bench 三大榜单全面对比Kimi K2 Thinking BF16 基准成绩深度解读HLE、BrowseComp、SWE bench 三大榜单全面对比 Kimi K2 Thinkin上一篇Web2py安全机制详解如何利用内置工具保护你的Web应用免受攻击下一篇Docker CLI 的 docker wait 命令阻塞等待容器退出并获取退出码的完整实现解析创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑