【免费下载链接】Spark-X2.6-4B-FP8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.6-4B-FP8点击查看免费下载Spark-X2.6-4B 是一款面向端侧on-device部署的 4B 参数开源大模型本仓库提供其 FP8 量化权重与配置文件。本文基于官方基准测试数据从 Agent、代码、数学、长上下文、端侧推理速度五个维度解读这个 4B 小模型凭什么在多项评测上追平甚至反超 Qwen3.5-9B 等 9B 级竞品。一、Spark-X2.6-4B 基准测试总览平均分 63.3 力压全场先看核心结论。Spark-X2.6-4B 与上一代 Spark-X2.5-4B架构完全相同36 层 Transformer、hidden_size 2560支持 1M 上下文见 config.json能力提升完全来自后训练post-training改进。官方基准测试覆盖了 Agent、代码、数学、通用与知识共 30 项任务六款主流端侧模型同场竞技模型参数量平均分Spark-X2.6-4B4B63.3Spark-X2.5-4B4B52.1Qwen3.5-9B9B49.1Gemma4-12B12B47.0Qwen3.5-4B4B43.2Gemma4-E4B4B29.7三个值得注意的点相比自家上一代平均分从 52.1 提升到 63.3涨幅超过 11 分4B 的 Spark-X2.6-4B 平均分反超 9B 的 Qwen3.5-9B49.1和 12B 的 Gemma4-12B47.0这是标题中追平 9B 级竞品的直接证据所有评测均在**思考模式thinking mode**下进行Spark-X2.6-4B 使用high思考档位采样参数为temperature1.0, top_p0.95, top_k-1与 generation_config.json 保持一致。二、Agent 基准测试逐项对比BFCL-V4 领先 9B 超 21 分Agent 能力是本代模型的主攻方向改进集中在复杂工具调用、多步规划与软件工程工作流。以下是 Agent 类基准测试的逐项对比带*为公开资料转引Agent 基准测试Spark-X2.6-4BSpark-X2.5-4BQwen3.5-9BQwen3.5-4BGemma4-12BGemma4-E4BBFCL-V4函数调用71.865.166.1*50.3*37.447.0*τ³-bench通用 Agent34.730.49.36.713.310.1MCP-AtlasMCP 工具使用62.454.647.4*40.8*30.5*15.0*SWebBench网页浏览/检索71.746.333.236.332.019.3PAgentBench个人助理74.159.453.851.451.837.0BrowseComp网页浏览53.140.98.314.310.0-几个越级亮点τ³-bench 34.7 vs Qwen3.5-9B 的 9.3——4B 模型领先 9B 近 4 倍是全场差距最悬殊的一项SWebBench 71.7比自家上一代46.3几乎翻了 1.5 倍网页浏览与信息检索能力是端侧 Agent 落地的关键一环BFCL-V4 函数调用得分 71.8比 9B 的 66.1 高出 5 分以上比 4B 同级的 Qwen3.5-4B 高出一倍多。三、代码能力基准测试SWE Pro 上 54.3 对 29.4软件工程师场景是小模型追平大模型最硬核的检验场代码基准测试Spark-X2.6-4BSpark-X2.5-4BQwen3.5-9BQwen3.5-4BGemma4-12BGemma4-E4BSWE Pro软件工程54.344.433.8*29.4*21.9*4.0*SWE Verified62.841.653.1*38.8*44.2*14.0*SciCode科学编程36.832.7*24.039.827.5-SWE Pro 上 54.3 对 29.4领先 9B 级竞品 25 分SWE Verified 上也以 62.8 领先 Qwen3.5-9B 近 10 分。SciCode 上 Qwen3.5-4B 略胜39.8 对 36.8说明全面碾压并不成立——这正是看基准测试时该有的分寸感。四、数学与长上下文基准测试竞赛数学 91.2 分基准测试Spark-X2.6-4BSpark-X2.5-4BQwen3.5-9BQwen3.5-4BGemma4-12BAIME 2026竞赛数学91.290.788.283.082.1*HMMT Feb 2026数学联赛81.381.270.869.765.6Gaokao 2026高考数学满分 150134.9133.4135.5130.3130.6AA-LCRv1.1长上下文推理67.370.0*63.0*63.7*32.0*Graphwalks 256K F1图遍历92.247.188.479.068.6GPQA研究生级问答67.477.267.272.854.5数学AIME 2026 拿到 91.2领先 9B 的 88.2唯一没占优的是高考数学134.9 对 9B 的 135.5基本打平长上下文模型支持最高1,048,576 tokens1M上下文Graphwalks 256K 上 92.2 的成绩全场最高长文本大海捞针能力显著专家知识HLE带工具36.9 对 Qwen3.5-9B 的 20.2接近翻倍——给小模型配上工具后知识获取能力被大幅放大。五、端侧推理速度对比Prefill 18,156 tokens/s 全场最快能力追平 9B只是故事的一半端侧模型的另一半是速度。官方在 RTX 4090llama.cpp · Q4_K_M 量化与 Mac M5 Pro 两组硬件上做了 4K~256K 上下文的全程吞吐测试硬件/量化上下文Spark-X2.6-4BQwen3.5-4BGemma4-E4BRTX 4090 · llama.cpp Q4_K_MPrefill 4K18,156 tokens/s14,107 tokens/s14,668 tokens/sRTX 4090 · llama.cpp Q4_K_MDecode 4K219.3 tokens/s210.5 tokens/s179.6 tokens/sMac M5 Pro · llama.cppPrefill 4K1,858 tokens/s1,631 tokens/s1,699 tokens/sMac M5 Pro · llama.cppDecode 4K76.1 tokens/s65.8 tokens/s62.1 tokens/s结论同等量化下 Prefill 与 Decode 全面领先同尺寸竞品约 10%~28%即使拉到 256K 超长上下文仍保持速度优势RTX 4090 上 256K Decode 仍有 67.9 tokens/s接近实时对话体验。更强 更快这才是端侧选型真正看重的组合。六、部署指南5 分钟跑起来的端侧大模型本仓库FP8 版可直接用 Transformers 加载模型架构定义在 modeling_spark.py 与 configuration_spark.py对话模板见 chat_template.jinja。按易用程度从高到低支持以下部署方式部署方式适用人群一句话上手Ollama新手首选安装 v0.34.1 后执行ollama run SparkLLM/Spark-X2.6-4BLM Studio图形界面党搜索 Spark-X2.6 下载后用lms chat spark-x2.6对话TransformersPython 开发者pip install transformers4.57.1加载时记得trust_remote_codeTrueSGLang / vLLM生产服务Docker 镜像启动 OpenAI 兼容 API支持 NVIDIA GPU 与 Ascend NPUllama.cpp / MLX极致端侧llama cli -m /path/to/Spark-X2.6-4B-GGUF或 MLX 在 Apple 芯片本地推理 可配置思考预算用enable_thinking调节速度Spark-X2.6-4B 提供none / low / high 三档思考预算这是端侧场景的实用特性——简单问答关掉思考换低延迟复杂推理切到 high 换质量。在请求中设置chat_template_kwargs: {enable_thinking: false}即可关闭思考。七、相关文件资料文件说明README.md完整基准测试数据、部署命令与快速上手config.json模型结构36 层、1M 上下文、FP8 量化配置modeling_spark.pySpark2_5 架构的 Transformers 建模源码generation_config.json官方推荐采样参数temperature1.0, top_p0.95chat_template.jinja对话模板内置思考模式开关tokenizer.json / vocab.json分词器词表model.safetensorsFP8 量化模型权重总结4B 追平 9B靠的不是参数堆料回到标题的问题——凭什么答案可以浓缩成三句话后训练打深架构不变靠更强的 SFT 多专家路由强化学习 多教师蒸馏流水线把平均分从 52.1 推到 63.3Agent 场景做透在 τ³-bench、SWebBench、SWE Pro 等真实任务型评测上4B 反超 9B 级竞品最高 25 分效率不掉队同量化下推理速度还领先同级 10%~28%1M 长上下文 三档思考预算让能力、延迟、成本第一次可以在端侧同时兼得。对于想在手机、笔记本或边缘设备上跑一个够用且快速的 Agent 模型的开发者来说Spark-X2.6-4B 的这份基准测试答卷值得一试。赞分享【免费下载链接】Spark-X2.6-4B-FP8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.6-4B-FP8点击查看免费下载相关推荐Spark-X2.6-4B 完整概览4B端侧小模型凭什么比肩9B性能Spark X2.6 4B 完整概览4B端侧小模型凭什么比肩9B性能 Spark X2.6 4B 是一款面向端侧部署的 4B 参数紧凑型大语言模型其 IN大模型人工智能本地部署模型量化NVIDIA-Nemotron-3-Nano-4B-GGUF基准实测解读4B模型AIME25得78.5分意味着什么NVIDIA Nemotron 3 Nano 4B GGUF基准实测解读4B模型AIME25得78.5分意味着什么 NVIDIA Nemotron 3Spark-X2.6-4B-Base凭什么以小博大编码、Agent与长上下文三大核心能力实测揭秘Spark X2.6 4B Base凭什么以小博大编码、Agent与长上下文三大核心能力实测揭秘 Spark X2.6 4B Base 是 SparkLLM人工智能大模型基础模型本地部署AI Agent上一篇VoltAgent 接入 Poe 模型网关通过 poe/model 模型字符串调用 OpenAI 兼容 API下一篇ESP32 深度睡眠模式功耗测试RTC GPIO 与 TouchPad 唤醒电流实测指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考