作者澄潭一项 Agent 任务从查资料、读代码到做设计、修问题每一步对模型能力的要求并不一样。一直用主力模型常规工作也在消耗宝贵的订阅额度换成经济模型又担心卡在关键判断和疑难问题上。手里有多个 Agent、几份订阅和不同厂商的 API如何组合使用也成了一项额外工作。为此Higress 团队打造了 HiRoute一个运行在本地的 Agent 智能路由与协作引擎。继续使用你熟悉的 Agent让经济模型承担常规工作让主力模型处理关键阶段需要分工时还可以把独立任务交给其他 Agent。我们希望让你已有的工具与算力配合起来在把工作做好的同时减少不必要的开销和手动接力。HiRoute 此前在 AGNTCon MCPCon China 的 Keynote 演讲中预告开源并在云栖大会宣布开源。现在你可以下载使用也可以参与共建。项目地址https://github.com/higress-group/HiRoute图 1 任务路由与模型路由可以独立启用也可以组合使用。为什么要做 HiRoute做 HiRoute源于我们每天都在面对的三种碎片化。模型碎片化模型各有所长资料归纳、复杂推理、编码、长上下文处理对能力和成本的要求不同。Agent 碎片化Agent 也各有工作方式有人习惯 Codex 的执行流程有人更熟悉 Claude Code也会为研究或特定工程任务使用其他工具。算力碎片化算力则分散在订阅、不同厂商的 API Key 和本地服务中。已经购买、已经配置好的能力往往很难组合起来使用。图 2 Agent 应用、框架与运行基础设施持续分化用户需要更简单的组合方式。长程任务又为这些选择增加了时间维度的计算参数。一项工作可能从调研开始经过设计、实现、验证最后进入疑难修复。整理资料时合适的模型到了架构判断时未必足够难点解决以后后续步骤也未必还需要持续消耗最昂贵的能力。用户开始关心整项任务的代价主力模型是否用在关键处订阅额度能否留给难题失败时能否按规则接续以及下次选模型时有什么事实可参考。HiRoute 希望把这些选择变成可以配置、复用和检查的日常能力。我们选择开源也希望开发者能够审查路由行为、接入自己的工作流并用真实任务检验和改进这套机制。配置、执行与观测在本地运行模型推理由所连接的服务完成个人开发者和自建 Agent 的团队都可以从已有工具开始。让已有的 Agent 和算力更好用让订阅更耐用 把主力能力留给关键工作HiRoute 最直接的价值是把主力能力留给真正需要它的工作。如果你已经购买 Codex 等受支持的订阅又配置了价格更低的 APIHiRoute 可以通过 CLIProxyAPICPA接入受支持的订阅把这些来源放进同一份路由计划。让经济 API 承担资料整理、常规修改把订阅中的主力模型用于复杂分析与关键修复就有机会减少高价调用也让订阅额度用得更久。比如将 Qwen3.8 Flash 放进省钱组主力组则选择适合自己任务的强模型。HiRoute × Jev 让决策模型负责选择随着 Agent 工作越来越长专门承担快速判断的 System One 模型开始进入开发者视野。Jev 就是其中一个代表它擅长输出类别、概率与评分适合用来判断下一步该如何执行。HiRoute 已将 Jev 纳入内置决策模型体系。在“模型 → 决策模型”中可以连接百炼或 TypeSafe 提供的 Jev 等决策模型无需自行部署决策服务。决策模型判断当前任务的类别和程度并可评价上一实际执行阶段HiRoute 根据你设定的阈值、模型组和候选顺序执行选择。任务简单时使用省钱组任务复杂或上一阶段未达到胜任标准时使用主力组。你可以修改判断条件和评分提示词让“简单”、“复杂”、“做得好”符合自己的业务。这也适用于编码之外的工作。写一篇文章可以给“写稿”和“审稿”配置不同分支写稿侧重结构、表达和素材组织审稿侧重论证、事实与遗漏再为每类任务设置常规与主力模型。类别由你定义标准由你掌握。一次写稿阶段的评分归属于那次实际执行不会被随意套用到审稿任务上。上下文保持兼顾智能换模与 KV Cache 高命中Agent 完成一项工作往往需要反复调用工具、读取结果、继续推理前面的上下文会不断积累。保持 KV Cache 高命中能够降低输入成本与响应等待。HiRoute 通过“上下文保持”ContextHold识别同一轮中历史连续的调用沿用已有路由决策并尽量继续使用当前模型让不断增长的上下文前缀持续复用缓存。当上下文压缩或重建导致旧的完整前缀断裂、原有决策无法续用时HiRoute 会在这一边界重新判断模型。此时无论继续原模型还是选择新模型后续都沿着新的上下文保持连续执行持续积累缓存命中。新用户请求也会触发重新决策。不过仅追加新消息时原有前缀未必失效继续原模型仍可能复用已有缓存。图 3 连续上下文内保持模型稳定旧完整前缀断裂后重新选模再沿新前缀持续复用 KV Cache。保留熟悉的工作方式 用不同 Agent 分工Agent 的选择同样可以围绕工作展开。你保留惯用的主 Agent把研究、实现或测试等独立任务委派给已配置的 Worker再继续整合结果。任务路由回答“交给谁做”模型路由负责“这个阶段用什么能力”两层能力可以分别使用也可以组合起来。减少手动接力 让每次选择都有迹可循遇到限流或候选不可用HiRoute 会在计划允许的范围内有序接力候选耗尽时明确停止。每段工作实际用了哪个模型、发生了怎样的选择、消耗多少用量以及是否获得阶段评分都能在会话和模型表现中核对。这样调整下一份路由计划时用户可以依据自己的执行记录而不只依赖通用榜单。图 4 会话中的模型表现按执行阶段呈现可继续查看评分依据和执行过程。两项实战检验成本与持续交付消息系统调研达标运行的 API 等价成本降低超过 90%第一项实战是专门设计的工程调研任务研究六种消息系统每种完成 60 张资料核验卡最后交付一份 Kafka 与 SQL 一致性决策备忘录。前面的工作需要仔细查证官方资料最后则要回答更难的问题系统故障并重试时方案能否避免业务重复处理或遗漏发现某个组件“支持事务”还需要进一步判断这项保证能否覆盖整个业务流程。大量资料整理最终服务于少数关键判断这也是技术选型和系统迁移中常见的工作结构。我们让三种模式处理相同任务固定使用 GPT-6 Astra、由 HiRoute 混合路由以及固定使用 Qwen-3.8 Flash。混合模式中六份资料整理由 Qwen 完成关键决策备忘录交给 Astra。结果显示在双方均通过原定整单验收的两次配对运行中混合模式相较全 Astra 的 API 等价成本分别降低 92.01% 和 91.39%。在这两次达标运行中混合模式和全 Astra 的资料核验平均正确率分别为 99.03% 和 99.72%关键决策均通过验收。三次关键决策审查更能说明分工的价值混合模式与全 Astra 都是 3/3 无重大错误全 Qwen Flash 为 1/3。经济模型能够承担大量资料工作关键判断仍需要足够的推理能力。把能力分配到合适环节才有机会同时守住交付标准和成本。图 5 成本图比较两次达标运行的平均成本正文百分比是各次降幅。统计包含受试尝试与路由评估按冻结价格折算 API 等价成本不代表订阅账单节省比例。完整过程与实验记录入口见HiRoute 官网实战详解[1]。HTTPX 长任务三次自动切换完成 343 项独立验收第二项实战关注持续交付。任务要求在 HTTPX 中增加同步与异步 JSON 流式迭代支持不同流格式、处理编码和消费状态并在后续数据尚未到达时就产出已经解析的值。我们只向原生 Codex 下达一次任务让它持续执行。这次采用经济模型优先的计划实际经过Qwen → Astra → Qwen → Astra四个连续阶段。Qwen 先阅读源码和测试第一次切到 Astra 时处理的是上下文摘要随后按当时的策略回到 Qwen。继续执行后工作仍主要停留在研究和探查。第二次上下文交接时记录的阶段胜任度为 0.485低于 0.5 下限HiRoute 再次选择 Astra。这次接手之后Astra 写入流式解析实现运行测试并继续修复异步迭代器关闭、编码边界与类型检查等问题。整项任务耗时 31 分 36 秒中途没有人工追加提示也没有人工代码补丁。最终独立验收的 108 项功能、229 项回归与 6 项增量性断言合计 343 项全部通过。这项实战让阶段反馈的价值变得具体经济模型先承担工作在可以重新判断的交接点检查进展让主力模型接续实现与验证。执行记录同时保留了摘要、研究和真正写入代码的区别方便用户回看每次切换究竟带来了什么。图 6 一次任务经历四个模型阶段在执行反馈后接续实现与验证。图 7 历史实验的原生会话记录。首轮 Astra 只生成摘要最终实现阶段尚未评分不同阶段分数不构成模型排名。该任务保留当时配置且没有全 Astra 成本对照不作降本结论。接力过程与验收记录[2]已公开。三步接入继续使用熟悉的 AgentHiRoute 提供 macOS Desktop以及面向 Linux 的无界面 CLI 和后台服务。你可以在桌面上完成配置也可以把同一套能力接入服务器和自动化流程。第一次使用从一份简单的“智能省钱”计划开始即可。第一步接入已有模型在“模型”页添加 API、受支持的订阅或本地模型服务。例如用 Qwen3.8 Flash 作为省钱模型Qwen3.8 Max 作为主力模型也可以把经济型 API 与已有 Codex 订阅组合起来。模型来源统一管理一次接入后可用于多份路由计划。第二步创建并发布路由在“智能路由”中选择“智能省钱”分别加入省钱和主力模型再选择决策模型。百炼、OpenRouter Jev 等内置接入只需配置连接无需自行部署扩展服务。判断阈值、评分标准等进阶设置默认收起先选好两组模型就能开始需要精细控制时再展开调整。发布后这份计划就成为可以重复使用的模型入口。第三步连接 Agent查看实际执行在“Agent”页启用模型路由选择刚发布的计划然后继续用熟悉的 Agent 下达任务。进入“会话”可以看到真正执行的模型、用量和成本进入“模型表现”还可以沿具体阶段查看胜任评分与执行证据为下一次调整组合提供依据。图 8 选择省钱与主力模型即可配置组合判断阈值与进阶设置按需展开。把 Higress 的网关工程经验带到开发者本机HiRoute 采用本地优先的架构配置管理、路由执行和观测记录都在本机运行无需部署 HiRoute 云端中转服务。Agent 的模型请求先进入本地网关再前往你选择的模型服务。选择云端执行模型或决策模型时完成推理或判断所需的请求会发送到相应服务选择本地模型时也可以复用自己的本地算力。HiRoute Gateway 使用 Rust 构建将 Higress AI Gateway[3]积累的网关工程经验用于本地 Agent 工作流统一处理协议适配、模型能力与资格检查、有边界的候选接力、流式交付和执行观测。Desktop 基于 TauriCLI 与桌面端共享同一套核心让可视化操作与自动化调用遵循一致的执行规则。图 9 配置、路由与执行记录保留在本机模型推理和决策由所连接的服务完成也可以接入本地模型。这些工程能力最终服务于四个产品原则。任务与模型分层计划可以审阅和复用任务路由安排由哪个 Agent 承担工作模型路由安排每个阶段使用什么能力。模型组、候选顺序、任务条件和评分标准都可以在计划中明确表达发布时保存确定的配置快照。后续修改草稿不会悄悄改变已发布计划也不会改写历史记录让一次有效的组合能够复用到后续任务。决策模型负责判断HiRoute 负责执行决策模型判断当前任务类别、处理难度并在证据充分时评价上一阶段。HiRoute 根据你设定的阈值选择模型组再检查候选是否满足请求要求、按顺序调用并在可用性故障时进行有限接力。候选耗尽就明确失败判断结果不会绕过已发布计划的执行边界。上下文保持与重新决策各有边界ContextHold上下文保持识别同轮历史续接在授权、计划和候选仍适用时沿用已有决策并尽量保持当前模型。每条新用户消息都会触发重新判断历史重建导致原有决策无法复用时也会重新判断。一次模型升级不会永久锁住后续轮次。根据实际执行反馈调整把依据留给用户上一阶段的有效低分可以触发主力保护缺少证据时明确保留未评分状态。评分绑定实际执行的任务与模型可以回到具体过程核对新一轮仍会重新决策一次升级不会永久锁住后续选择。需要自己的判断算法时开发者还可以通过开放的 HTTP 决策扩展协议接入服务。扩展负责对接自己的决策服务并实现判断与评分HiRoute 保留阈值策略与执行控制。项目提供 OpenAPI 文档和可部署的 Jev 参考实现[4]方便把领域经验接入同一条路由流程。连接企业网关 扩大 Agent 与模型生态HiRoute 已适配Codex、Claude Code、Qoder、Pi、DeepSeek Harness 五类 Agent内置模型目录覆盖100 多家服务商、700 多种模型配置包括 GPT、Claude、Qwen、DeepSeek、Kimi、GLM 等模型家族同时提供7 款免费额度模型接入可以与已有订阅、API 和本地模型组合使用。接下来HiRoute 将沿两条路线继续演进。一条是连接企业 AI 基础设施。通过对接 Higress 等企业 AI Gateway让团队集中管理授权与凭据、统一发布智能路由计划并形成可追踪的成本治理。员工仍从自己熟悉的本地 Agent 发起工作团队验证有效的模型组合则可以共享给更多成员。另一条是持续扩大开放生态。继续接入更多 Agent、模型、订阅与决策服务推进 OpenCode、Hermes、OpenClaw 等后续方向让开发者能够随任务和模型能力的变化调整组合也让社区贡献的决策算法与集成能力获得共同的运行基础。HiRoute 以Apache 2.0协议开源。欢迎从自己的第一份路由计划开始把已有 Agent、模型和订阅用得更好也欢迎带着真实工作流参与共建。与我们交流钉群群号186730010226。相关资料[1] HiRoute 官网实战详解https://hiroute.ai/news/astra-qwen-smart-routing/[2] 接力过程与验收记录https://hiroute.ai/news/astra-qwen-smart-routing/[3] Higress AI Gatewayhttps://github.com/higress-group/higress[4] OpenAPI 文档和可部署的 Jev 参考实现https://hiroute.ai/docs/decision-api/