【免费下载链接】MiniCPM5-2B-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/MiniCPM5-2B-8bit点击查看免费下载MiniCPM5-2B-8bit 是一个由 mlx-community 转换的 MLX 格式小模型原生支持**工具调用Tool Calling**能力适合在 Mac 等端侧设备上运行。本教程带你从零开始理解小模型工具调用原理并动手构建一个可调用外部函数如查天气、算汇率的端侧 AI 智能体。一、为什么是 MiniCPM5-2B-8bit小模型的工具调用能力很多新手以为工具调用是大模型专属其实 2B 参数级别的小模型也能做得不错。MiniCPM5-2B-8bit 的几个核心亮点特性说明 端侧可跑8-bit 量化后仅约2.5 GB总计 2,516,756,480 参数普通设备即可推理 原生 Tool Calling内置 XML 格式的工具调用模板支持多步连续调用多个工具 长上下文最大支持131072128Ktoken 上下文长对话不迷路 思维链支持think推理块复杂任务先思考再行动⚡ MLX 加速基于 mlx-lm 0.31.3 转换在 Apple Silicon 上发挥统一内存优势模型结构信息可参考 config.json采用 Llama 架构42 层 Transformer42 层 GQA 注意力16 个注意力头、2 个 KV 头是典型的小身材大能量设计。二、快速了解模型文件结构clone 仓库后你只需要关心这几个文件git clone https://gitcode.com/hf_mirrors/mlx-community/MiniCPM5-2B-8bitREADME.md使用说明与转换来源openbmb/MiniCPM5-2Bmodel.safetensors8-bit 量化后的模型权重智能体的大脑chat_template.jinja对话与工具调用模板是本次教程的主角tokenizer.json / tokenizer_config.json词表与分词配置词表 130560generation_config.json默认生成参数temperature 1.0、top_p 0.95 新手提示你不需要读懂 chat_template.jinja 的每一行只要知道它把工具定义、对话消息、工具结果组织成模型能理解的固定格式即可。三、一键安装最快配置工具调用环境本模型基于 mlx-lm 运行三步完成环境配置第 1 步安装依赖pip install mlx-lm第 2 步准备模型直接使用远程模型名mlx-community/MiniCPM5-2B-8bit或 clone 后的本地目录。第 3 步验证模型能跑通mlx_lm.generate --model mlx-community/MiniCPM5-2B-8bit --prompt 你好介绍一下你自己能打印出回复说明环境就绪 ✅四、原理拆解工具调用是怎么工作的MiniCPM5-2B-8bit 的工具调用采用XML 风格而非 JSON模板定义在 chat_template.jinja 中。整个流程只有 3 步注入工具定义把函数签名放进tools/tools标签告诉模型你会什么工具模型输出调用模型判断需要工具时输出如下 XML 片段function nameget_weather param namecity北京/param /function回传工具结果你的代码执行函数后把结果包在tool_call消息里喂回模型模型基于真实数据生成自然语言回答。模板还内置了两个实用机制多步工具调用模型可以连续调用多个工具模板会自动拼接多轮工具结果多行/特殊字符保护参数含、或换行时自动用CDATA包裹避免格式被破坏。这正是它能当智能体内核的原因感知 → 决策 → 调用工具 → 再决策形成闭环。五、动手构建你的第一个端侧 AI 智能体下面是一个精简版 Python 智能体完整逻辑以 README.md 用法为参照扩展演示查天气工具调用from mlx_lm import load, generate model, tokenizer load(mlx-community/MiniCPM5-2B-8bit) tools [{ name: get_weather, description: 查询指定城市的当前天气, parameters: {city: {type: string, description: 城市名}}, }] messages [ {role: user, content: 北京今天天气怎么样} ] # 模板会自动注入工具定义并生成 function ... 调用 prompt tokenizer.apply_chat_template(messages, toolstools, add_generation_promptTrue) response generate(model, tokenizer, promptprompt) print(response)你应会看到模型输出function nameget_weatherparam namecity北京/param/function。接下来只需用正则提取函数名与参数调用真实 API 拿到天气数据将结果作为tool消息追加到 messages再次调用generate模型会汇总出北京今天晴25℃……这样的回答。 把这个输出→执行→回传循环包成 while 循环就是一个支持多步推理的智能体了。六、生成参数微调让智能体更稳定默认参数见 generation_config.jsondo_sample: true、temperature: 1.0、top_p: 0.95这是通用聊天配置。做工具调用智能体时建议调低 temperature如 0.7 以下让工具调用输出更确定减少 XML 格式跑偏限制输出长度避免模型在思考块里想太多加快端侧响应保留思考模式复杂任务让模型先think再调用工具成功率更高。七、常见问题 FAQQ1没有 Apple 芯片能用吗本仓库是 MLX 格式专为 Apple Silicon 优化其他平台可参考其上游 openbmb/MiniCPM5-2B 的 PyTorch 版本。Q2工具调用会输出 JSON 吗不会。该模型固定使用 XML 格式function/param解析比 JSON 更简单也更省 token这是小模型友好型设计。Q3能同时调用多个工具吗可以。chat_template.jinja 内置多步工具调用multi-step tool机制支持连续多轮工具交互。Q4模型占内存大吗8-bit 量化group size 64后约 2.5 GB对端侧设备非常友好详见 config.json 中的量化配置。八、总结MiniCPM5-2B-8bit 证明了工具调用不再是大模型专属一个 2B 级别、2.5 GB 的端侧模型凭借内置 XML 工具模板和多步调用机制就能撑起一个真正的 AI 智能体。建议按本文顺序实践先跑通mlx_lm.generate再改参数、接真实工具 API逐步扩展成自己的端侧智能体应用。 资料速查模型说明 README.md 工具模板 chat_template.jinja 生成参数 generation_config.json赞分享【免费下载链接】MiniCPM5-2B-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/MiniCPM5-2B-8bit点击查看免费下载相关推荐MiniCPM5-2B-8bit项目全解析2B端侧AI为何成为128K长上下文与工具调用利器MiniCPM5 2B 8bit项目全解析2B端侧AI为何成为128K长上下文与工具调用利器 MiniCPM5 2B 8bit 是面向日志与中文双语场景的 2旧Mac升级macOSOpenCore Legacy Patcher 免费手把手完整攻略旧Mac升级macOSOpenCore Legacy Patcher 免费手把手完整攻略 更新页那行灰字——此 Mac 无法升级到最新的 macOS——让端侧部署 MiniCPM5-2B / MiniCPM5-1B基于 LiteRT-LM 的 .litertlm 单包跨端实战指南端侧部署 MiniCPM5 2B / MiniCPM5 1B基于 LiteRT LM 的 .litertlm 单包跨端实战指南 本篇指南完整讲解如何在 And大模型本地部署模型量化微调LoRA工具调用openBMBAscend上一篇TrollInstallerX终极指南3分钟在iOS 14-16.6.1上免费安装TrollStore下一篇TrollInstallerX终极指南3分钟免费解锁iOS应用自由创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考