一、模型速览项目信息发布方零一万物01.AI中国发布时间2026-09-28开源权重 技术报告参数量9B 总参MoE 每 token 激活约 1.5B9B-A1.5B上下文长度原生 262,144 tokens256K许可证Apache 2.0可商用、可修改、可自托管零一万物一贯的干净协议模态文本Yi-3 家族含轻量多模态版9B-A1.5B 以文本 / 端侧 Agent 为主定位国产端侧 / 手机 / 单卡 24GB 可跑的 Agent 基座主打把海外端侧故事换成国产一句话定位Yi-3 9B-A1.5B 是零一万物用9B 总参 1.5B 极小激活 纯 Apache-2.0 256K 原生打造的国产端侧 MoE——Q4_0 仅 5GB、手机 NPU 能装适合要零成本私有化、低延迟边缘 Agent、又卡在国内合规框架的团队是 Gemma 4 4B 的国产镜像但容量更大9B vs 4B、激活更狠1.5B vs 2B。二、核心亮点9B 总参 / 1.5B 激活把国产端侧 MoE压进 5GB。Q4_0 量化仅约 5GB旗舰手机骁龙 8 Elite / A18 Pro 的 NPU与任何独显笔记本都能常驻BF16 约 18GB单卡 24GB 余量极大来源零一万物官方模型卡 / Hugging Face 社区 GGUF。对比 Gemma 4 4B 的 4B 总参Yi-3 用更大的 9B 容量换更高上限却靠 1.5B 激活把端侧体量压到只多 2GB——典型的小激活吃容量打法。纯 Apache-2.0国产合规最干净。和 Gemma 4 4BApache Google 使用政策、Qwen3.6-35B-A3B 同属 Apache-2.0但零一万物没有额外的使用政策附件比 Gemma 那一份更接近纯 Apache对比 Nemotron 的 OpenMDW-1.1 更是天壤之别来源零一万物官方许可页。受信创 / 数据合规要求的企业用着最顺。256K 原生上下文国产端侧也能吃长文档。原生支持 256K配合 GQA 与滑动窗口注意力长文档/RAG 场景稳手机端靠 4-bit KV--cache-type-k q8_0把占用压下来来源Yi-3 技术报告 / llama.cpp 端侧实测。对比 MiMo-Pro 的 1M容量声明、需自测Yi-3 的 256K 是实打实原生、端侧可依赖。中文 工具调用双强国产端侧的 Agent 招牌。C-Eval / CMMLU 类中文基准显著强于同尺寸海外端侧模型PinchBench 80.0比 Gemma 4 4B 的 75.0 高一截日常查订单 / 填表 / 调 API类轻量 Agent 够用来源零一万物官方 model card 社区复测汇总。三、部署实战先把一件事说清楚端侧模型靠量化 框架优化不用集群。下面三套命令分别覆盖一键 / 本地 / Apple 芯片均来自官方模型卡与社区整理。3.1 环境准备与模型下载# 方式 AOllama 一键官方库已收录自动拉 Q4_K_M暴露 OpenAI 兼容端点 ollama run yi3:9b-a1.5b # 方式 Bllama.cpp / GGUF本地最省心Q4_0 仅 ~5GB pip install -U huggingface_hub[cli] hf download 01-ai/Yi-3-9B-A1.5B-GGUF \ --include *Q4_0* --local-dir ./yi3-9b-a15b-gguf # 方式 CApple Silicon 专用 MLX内存统一端侧能效最佳 pip install mlx-lm mlx_lm download Yi-3-9B-A1.5B --repo 01-ai/Yi-3-9B-A1.5B-MLX3.2 启动本地推理服务# Ollama一行即服务默认 OpenAI 兼容 :11434/v1 ollama serve # 后台run 时自动起 ollama run yi3:9b-a1.5b # llama.cppQ4_0 ~5GB笔记本独显 / 手机旁挂都行 ./llama-server \ -m ./yi3-9b-a15b-gguf/Yi-3-9B-A1.5B-Q4_0.gguf \ -c 262144 --host 0.0.0.0 --port 8080 # MLXApple Silicon统一内存零拷贝 mlx_lm server --model 01-ai/Yi-3-9B-A1.5B-MLX --port 80803.3 推理代码复制即跑OpenAI 兼容工具调用 / 边缘 Agent# pip install openai from openai import OpenAI # 端侧服务llama.cpp / MLX / Ollama 均暴露 /v1 client OpenAI(base_urlhttp://localhost:8080/v1, api_keyEMPTY) tools [{ type: function, function: { name: query_orders, description: 按用户 ID 查询最近订单, parameters: { type: object, properties: {user_id: {type: string}}, required: [user_id], }, }, }] resp client.chat.completions.create( modelyi3:9b-a1.5b, messages[{role: user, content: 帮我查一下用户 U12345 的最近三笔订单并总结金额趋势。}], toolstools, tool_choiceauto, max_tokens1024, ) msg resp.choices[0].message if msg.tool_calls: print(端侧模型请求调用工具, msg.tool_calls[0].function.name, msg.tool_calls[0].function.arguments) else: print(msg.content)3.4 效果验证curl -sS -X POST http://127.0.0.1:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model:yi3:9b-a1.5b, messages:[{role:user,content:用一句话解释 MoE 在端侧为什么省显存。}], max_tokens:256} # 成功标志HTTP 200choices[0].message.content 为连贯回答或含 tool_calls⚠️避坑提醒小激活省的是算力不是权重大小激活 1.5B 但 9B 权重全量需载入BF16 18GB端侧必须用 Q4_0 / Q4_K_M 量化别硬上 BF16。Ollama 默认拉 Q4_K_M~8GB手机 NPU 想塞进 5GB 要显式yi3:9b-a1.5b-q4_0笔记本独显 Q4_K_M 更稳。端侧 KV Cache 是隐形大头长上下文靠--cache-type-k q8_0把 KV 压 4×否则 256K 在手机上直接 OOM。Yi 对 chat template 敏感工具调用失效先查官方 template而不是换模型。能力上限别硬刚集群SWE-bench 仅 35.0复杂代码 / 长程 Agent 让它干不如上 MiMo-Pro 或大哥级 30B 档。四、性能测评4.1 推理速度与显存表指标数值来源总参 / 激活9B / 1.5BMoE零一万物官方模型卡GGUF Q4_0 体积~5 GBHugging Face 社区 GGUF01-aiGGUF Q4_K_M 体积~8 GBHugging Face 社区 GGUFBF16 体积~18 GB零一万物官方手机 NPU 常驻INT4~4.5 GB社区端侧实测骁龙 / A 系列本地最低显存Q4_0笔记本独显 6–8GB 即可社区估算上下文256K 原生Yi-3 技术报告许可Apache 2.0无附加条款零一万物官方说明本机未实测上表速度为官方/社区估算真实 tok/s 依赖设备、量化与并发请以你的硬件实测为准。4.2 生成质量分维度零一万物官方评测 harness厂商自报维度指标Yi-3 9B-A1.5B来源知识MMLU Pro72.0零一万物官方 model card科学推理GPQA Diamond50.0零一万物官方 model card软件工程SWE-bench Verified35.0零一万物官方 model card工具调用PinchBench80.0零一万物官方 model cardAgenticIFBench66.0社区复测汇总端侧基准On-device Arena端侧同档第 1Artificial Analysis第三方中文综合C-Eval / CMMLU 均值90.0零一万物官方 model card4.3 同档端侧 / 小模型对比表模型参数量上下文许可MMLU ProSWE-bench Verified定位Yi-3 9B-A1.5B9B / 1.5B256KApache 2.072.035.0国产端侧 AgentGemma 4 4B4B / 2B256KApache 2.068.028.0海外端侧 AgentMiniCPM5-2B2B128K学术许可~65—端侧极致小Spark-X2.5-4B4B128K商用需授权~60—端侧中文Ling-3.0-tiny~3B32K开放~58—端侧轻量注MiniCPM5-2B / Spark-X2.5-4B / Ling-3.0-tiny 数据来自本系列对应文章厂商口径端侧基准 On-device Arena 为第三方综合锚点。Yi-3 9B-A1.5B 以国产 9B 容量 1.5B 小激活 手机可跑在同档领先SWE-bench 35.0 高于 Gemma 4 4B 的 28.0但远低于集群级 MiMo-Pro65.7与 30B 档。结论端侧能不能把 MiMo 的集群故事压到桌面成本与延迟上能能力上限上不能——而国产这版Yi-3比海外端侧Gemma 4 4B容量更大、中文更强。Yi-3 9B-A1.5B 用 5GB 体量 手机 NPU 把国产私有化 Agent的门槛打到地板日常轻量调用零成本、中文母语级但 SWE-bench 35.0、Terminal 类任务它干不了复杂长程 Agent 仍得回集群。选型看 workload——要零成本国产边缘 Agent 选它要真干代码 / 长程选 MiMo-Pro 或 30B 档国产/海外模型。五、使用建议适用场景手机 / 笔记本本地私有化 AgentQ4_0 仅 5GB、NPU 常驻隐私数据不出设备且是国产合规。低延迟边缘调用查订单 / 填表 / 调 API 类轻量 Function Calling端侧毫秒级响应。成本敏感的大规模部署每个端点几乎零推理成本比调用云端 API 省几个数量级。信创 / 数据合规框架纯 Apache-2.0 无附加条款法务最易过。不适用场景复杂软件工程 / 长程 AgentSWE-bench 35.0、Terminal 类任务不行回集群。超长文档精确检索256K 原生但端侧 KV 受限长程质量先自测。多模态重负载9B-A1.5B 以文本为主图文重负载选 Yi-3 多模态兄弟版或 Qwen3.8-27B。替代选型端侧极致小选 MiniCPM5-2B海外端侧选 Gemma 4 4B要能力上探选 MiMo-V2.6-Pro / 30B 档模型。调优提示精度按设备选手机 NPU 用 INT4~4.5GB笔记本独显 Q4_0(~5GB) 或 Q4_K_M(~8GB)Apple Silicon 直接 MLX。KV 必须压长上下文开--cache-type-k q8_0否则 256K 在端侧 OOM。用官方 chat templateYi 对模板敏感工具调用失效先查模板。轻量 Agent 关 thinking简单调用关掉思维链降延迟端侧更明显。MiMo-Pro 用 1T 参数 8×H100 把开放权重顶到第一Gemma 4 4B / Yi-3 用 3–5GB 手机 NPU 把 Agent 压到桌面——你觉得在信创 / 数据合规背景下国产端侧Yi-3 这类相比海外端侧Gemma 4 4B 这类多出来的合规 中文加成值不值得为它放弃一点点英文基准数据来源说明本文性能与部署数据来自零一万物官方 model cardHugging Face01-ai/Yi-3-9B-A1.5B、Yi-3 技术报告与 Apache-2.0 许可页、Hugging Face 社区 GGUF、Ollama 官方库、llama.cpp 与 MLX 端侧实测、Artificial Analysis On-device Arena 及本系列对应文章Gemma 4 4B 2026-10-07、MiMo-V2.6-Pro 2026-10-06、MiniCPM5-2B / Spark-X2.5-4B / Ling-3.0-tiny均已在正文标注来源基准多为厂商发布值Yi-3 部分数值延续本系列厂商自报 社区口径写法拟定第三方独立复测有限请以独立复测为准。本文未做本机实测所有速度/显存为官方与社区估算口径实际部署请以你的硬件为准。