本文介绍了如何通过使用小模型来优化大模型在AI Agent中的应用降低成本并提升效率。核心思想是将智能体决策中的选择题部分交给小模型处理而将大模型用于处理小模型不确定的情况。文章详细阐述了决策模型的训练方法、部署策略以及在不同场景下的效果评估展示了通过这种方式可以显著降低成本便宜86%并提高速度快2.5倍。此外文章还讨论了决策模型的局限性及安全注意事项为开发者提供了一套可行的优化方案。一句话概括智能体每一步都在做选择题论文作者认为这些题不该每次都问大模型——但要“只在有把握时接管”并且要在智能体自己踩过的状态上训练那个负责答题的小模型。一、先看两个价格标签智能体变强了但没变便宜。论文开篇给了一组很有冲击力的对照一个智能体在长任务上慢且贵因为大多数 harness运行智能体的那层程序比如 Claude Code、Codex、OpenHands在每一步都要调用一次大模型。作者提到为了一次公开榜单评测成本大约 4 万美元。而在一次被记录下来的 episode 里调用决策模型 Jev 只花了大模型一次调用时间的 28%大模型一次调用价格的 2.6%图 1直觉版示意。过去每一步都问大模型大多数步骤其实是选择题可以由一个小的决策模型来答大模型只在决策模型不确定时出手。这就是整篇论文的起点智能体的调用里绝大多数并不是“写文章”而是“选一个”——调哪个工具、传什么参数、要不要停、要不要写记忆、要不要反思、要不要把这一步路由给更便宜的模型。决策模型decision model正是为这种题型设计的给它任务、历史和一个多选题它直接返回每个选项的概率不生成文本。论文把它类比成卡尼曼的“系统 1”——快、直觉、便宜对应的“系统 2”是慢而深思的大模型。二、为什么“接管”没有听起来那么简单如果只是把选择题丢给小模型这件事早就该被做完了。作者指出了三个被忽略的坑第一决策模型是在固定题目上训练和评测的不会适应它所服务的那个智能体。BFCL 上的准确率再高也不代表它在某个具体 agent 的循环里做得好。第二智能体里的错误会级联。孤立题目答错只是丢一分在 agent 循环里答错一次下一步看到的世界就变了一个错误会改变后面所有选择。第三决策模型会遇到“智能体自己犯错之后”的状态而这类状态在固定题库里几乎不存在同时每次向它提问都要付出延迟。于是论文提出的问题是一个 harness 要怎样把routine 的选择交给快速、便宜的决策模型且只在它可靠的时候交从而让任务更快更便宜、成功率几乎不掉作者的假设可以拆成三句话在智能体内部测试它、只在它自信时使用它、在智能体自己到达的状态上训练它。三条假设对应三个产出物。三、拆解8 个决策点5 种接管方式论文先给“决策”这件事建立了坐标系。图 3左图a是智能体一步循环里的 8 个决策点实心框决定“智能体做什么”空心框控制“循环怎么跑”右图b是 5 种接管模式。8 个决策点分成两类。决定动作的三个调用哪个工具、工具的参数、以及在无工具环境文本游戏里的下一个动作。控制循环的五个是否写记忆、失败后是否反思、是否停止、是否把这一步路由给更便宜的模型、以及读哪段记忆。5 种接管方式决定“谁提案、谁拍板”Replace决策模型永远说了算不再调用大模型Cascade有把握时它决定没把握时交还大模型Assist它给出候选或建议大模型来选Guard大模型提案它来批准或打回Trigger它只决定某个可选项比如反思要不要跑8 个点 × 5 种模式论文实现了全部 40 种组合。一个决策点加上模式和阈值就叫一次 delegation委托。关键机制在这里阈值。作者给出的直觉很朴素——把选择交给决策模型能省一次大模型调用但可能选错。如果它的置信度等于它答对的概率那么“值得交出去”的条件是置信度高到足以让省下的钱覆盖选错的代价。于是每个决策点都有一个最优阈值在这个阈值之上接管才划算。阈值怎么来不是拍的。他们先让智能体在另一批任务上正常运行每家大模型 150 个任务决策模型在旁边“影子模式”下把每道题都答一遍但不影响流程从这些轨迹里估计三件事大模型在这个点上有多大概率答对、一次调用多少钱、一次错选会让任务成功率掉多少按“每解决一个任务值 1 美元”折算。然后取“高于它就划算”的最低置信度。用 Jev 和 Gemini 3.5 Flash 拟合出来的阈值是工具选择 1.00参数选择 0.99。也就是说——只有近乎确定的答案才被采纳剩下的全部还给大模型。图 6一条真实轨迹。第 3 步 Jev 在 ask_user0.62和 cancel_order 之间没把握低于阈值于是由大模型决定第 4 步置信度到 1.00工具直接执行省掉一次大模型调用。图下方是账单一次大模型调用 $0.0042、809 毫秒一次决策模型调用 $0.00011、223 毫秒。四、三件套一把尺子、一个壳、一个学生论文的三个产出物分工非常清楚。第一件AgentDecisionBench一把三级台阶的尺子。它把评测分成由远及近的三级L1 孤立题没有智能体在场只答单题。题目来自 BFCL v4 的 1,114 道工具选择、1,949 道参数题以及 928 道 When2Call。L2 步骤级在录好的智能体轨迹的每一步答题但答案只被打分、不被执行——所以一次错误不会引发下一次错误类似“在录好的驾驶数据上测策略”。所有模型回答同一批状态200 个新任务的 5,314 个“公共状态”。L3 任务级决策模型真的控制智能体做全部工具选择答案会被执行。这是最难、也最接近部署的一级。为了让 L2/L3 可判分他们自己造了一个环境 DecisionGym一家小店的客服台每个任务提供同样的 68 个工具加一个 finish顺序打乱其中 7 个核心工具、1 个“问客户”、31 个核心工具的近义干扰项、29 个完全无关的工具。因为任务来自脚本化的计划环境可以为每个可达状态推导出“可接受的下一步”答案键——包括智能体自己走偏之后的状态。第二件JevAgentHarness一个薄壳。它做三件事把每个选择变成 typed 多选题工具是一个选择每个可枚举参数各是一个选择自由文本仍交给大模型写给每个决策点配上从轨迹拟合的阈值以及提供适配器让 mini-SWE-agent、pi、Codex CLI、Claude Code 这些现成 harness 通过 hook 接入且适配器挂掉时退回原流程。第三件AgentDecision-4B一个学生。基座是 Qwen3-4BLoRA 微调。训练数据不是公开题库而是这个 harness 自己走过的 587 个任务、15,694 个决策状态其中 30.9% 的状态出现在一次错误之后用脚本策略刻意复现开发期见过的错误把智能体带到“犯错后的世界”。目标函数分两段先 SFT标签在教师Jev把正确答案排第一时混入教师概率做软标签损失是交叉熵加上一个平方误差Brier项用来保持概率校准——因为下游要用置信度当阈值概率必须“说的是真话”。然后是把模型放进 agent 循环里做 GRPO成功给奖励按用掉的大模型调用次数打折对不可逆的错误调用额外罚分。图 2整体流水线。第一阶段逐个测试每一种委托是否“同样好且更便宜”通过的才冻结第二阶段把通过的组合放到新任务上一起测。值得注意的是实验协议他们预注册了模型、任务与检验并且在读任何第一阶段结果之前就注册了第二阶段的组合方案。判据是“非劣性”——单向检验任务成功率下降不超过 3 个百分点τ²-bench 上 5 个百分点才算通过11 个注册检验用 Holm 校正控制整体错误率。在一个靠调参刷榜的领域这套流程本身就是信号。五、发现一孤立题上的准确率会骗人图 4左图是 L1 孤立题上的“准确率—成本”前沿右图是同一批模型放进智能体后的 L1/L2/L3 三级成绩。这是全文最值得记住的一张图。在孤立题上这些模型的准确率挤在一个很窄的区间里跨度 5.1 个百分点一旦进入智能体三级成绩的跨度放大到 19.7 和 57.5 个百分点。排序也变了。StartLux-9B 在 BFCL 工具选择上最准92.2%但真正跑任务只解出 69.5%AgentDecision-4B 在 BFCL 上只有 89.3%跑任务却解出 91.5%Jev 在孤立题上 89.9%跑任务是 82.0%Intern-Decision-4B 孤立题 88.2%任务级只有 34.0%差距主要出在 must-ask 状态——也就是“正确答案是去问客户”的那些步AgentDecision-4B 答对 67.4%Jev 只有 58.3%。这类状态在固定题库里几乎不会被考到却是客服类任务的分水岭。论文的结论很直接孤立分数无法给决策模型排序。六、发现二有阈值和没阈值是两个世界第一阶段逐个测试每种委托图 5 是完整的模块地图结果相当整齐图 5每种决策点 × 每种模式的“成功率变化百分点| 省下的成本%”。绿色是“保住成功率且更便宜”黄色是“小损失或没省到”红色是“掉了 3 分以上”。Cascade 工具选择Jev 接手了 27.2% 的工具选择和 20.8% 的参数选择成本降 14.2%500 个任务里没有一个结果发生变化固定阈值 0.5成本省 84.5%但成功率掉 21.5 个百分点Replace永远接管工具选择掉 19.0 个百分点省 67%Assist 三选一掉 7.8 个百分点省 53.7%——虽然远好于关键词短名单92.0% 对 18.8%但仍然是掉分Guard 停止保住了成功率但成本反而高 6.2%路由把 Flash-Lite 的步骤送去 Flash成本比单用 Flash-Lite 高 36.2%成功率没有明确收益一句话阈值是这套系统的安全气囊。同一个模型、同样的题有没有拟合出来的阈值决定了它是“省 14% 不掉一分”还是“省 84% 掉 21 分”。七、发现三把学生放到智能体的脚印上训练图 8JevAgentHarness 的架构。reference loop 或现成 harness 的 hook 发出 typed question进入“决策点 →模式、阈值、System-1 后端”的组合由模式执行、收窄、审核或交还一个账本记录每次调用的点数、token、美元和毫秒。训练效果用“分布偏移”的任务来检验——DecisionGym-Shift 重命名了工具、改了请求的措辞和类型属于训练时没见过的世界Qwen3-4B 原始任务成功率 13.5%SFT96.0%GRPO96.0%没有可测量的增益StartLux-4B49.0% → 用同一套配方 98.0%StartLux-0.8B → AgentDecision-0.8B13.0% → 82.0%注意投入产出SFT 只花了 2.2 GPU 小时GRPO 又花了 4.5 GPU 小时和 26.53 美元的调用费却没测出增益。作者也老实写了不做 SFT 直接 GRPO模型几乎不进步11.5% 对 13.5%。这套配方里真正干活的是“在 agent 自己的状态上做监督微调”。部署端的账也清楚。在 500 个新任务上AgentDecision-4B 接手了 99.9% 的工具选择和 75.0% 的参数选择平均每个任务省下 4.5 次大模型调用在一块 L4 上它的中位延迟是 31 毫秒而 Flash 一次调用要 809 毫秒。场景成功率变化成本时间DecisionGym4B 独占 GPU0.5 分省 86.3%快 2.5 倍ALFWorld4B 在本地状态上训练91.4% → 95.0%省 89.0%约快 2 倍ALFWorld 未见过的房间88.8% → 89.6%省 92.0%快 35.1%0.8B 学习型“推迟”头0.5 分省 89.3%快 77.9%编码 agentmini-SWE-agent-1.0 分省 10.5%略快硬任务12 个客户 新规则保持或略升只省 4.6%反而更慢八、发现四它在哪里失效论文没有回避失败而且失败模式很有信息量。第一不可逆动作上的一次自信错误直接终结任务。 Jev 失败的 34 个任务全部都始于一次不可逆的错误工具选择——通常是在该问客户的时候直接取消了订单。而在智能体状态上训练过的模型没有犯这类错误。第二遇到新规则时会崩。 在“10 个客户 新的取消/发货规则”的硬任务上没训练过这条规则的 AgentDecision-4B 把大部分取消/发货判断都做了但只对了 81.6%结果整个智能体只解出 3.0% 的任务而单用大模型是 88.0%。重新拟合阈值Jev能恢复成功率在这条规则上重训后留出集准确率从 76.5% 升到 95.3%。第三动作是自由文本时收益很小。 编码智能体里决策模型只能决定“哪一步交给哪个模型”省钱只有 7.0%–10.5%把“只读文件”的步骤送给快模型并没有可靠收益因为决策模型分不出这些步骤和其他步骤。大模型的知识又多又杂到底怎么学做这行久了被问最多的问题就一个大模型的知识又多又杂我到底先学啥翻了一堆资料看啥都像重点结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍零基础、应届生、转行的都适用。跟着走至少方向不乱、不瞎忙学完拿得出手。第一阶段10天初阶应用这一阶段就一个目标把大模型真正玩明白不是只会聊天那种而是能调教它、能用代码把大模型和业务接起来。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用这阶段正式进实战目标很实在做出两个能拿出手的东西——一个私有知识库一个 agent 对话机器人。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…走完这 30 天Python 或 JavaScript 背景的基本能独立做一套 RAG 应用简历上也敢写大模型应用开发了。第三阶段约20天动手微调学到这你已经开始 “造” 模型了 —— 通过微调搞出垂直领域的专用小模型。为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料第四阶段20天商业闭环部署落地技术学完落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…想要入坑大模型的朋友给大家准备了一份2026 年最新 AI 大模型全套学习资料1、大模型系统化学习路线2、大模型学习视频教程3、大模型学习书籍电子文档4、AI大模型最新行业报告5、大模型项目实战配套源码6、2026大模型大厂面试真题7、为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。8、适合谁学传统后端 / Java / 前端开发想转型 AI 应用大学生、应届生想拿更好的 offer产品经理、运营想武装职业竞争力技术负责人想给团队落地提效学习是反人性的但回报是真金白银。技术会更新赛道会切换但只要你先动手机会就永远站在你这边。9、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料好了就写到这。路线是死的人是活的卡住了随时来问我。觉得有用就点个收藏别让它进收藏夹吃灰——动起来比啥都强。