KnowGPO：面向搜索智能体的知识分组策略优化框架原文网页：https://arxiv.org/html/2610.22331v1PDF链接：https://arxiv.org/pdf/2610.22331v1arXiv编号：arXiv:2610.22331v1 [cs.AI]，提交日期：2026‑10‑15开源仓库：https://github.com/ZJU‑REAL/KnowGPO许可证：arXiv永久非独占许可作者：Siqi Chen、Zhengxi Lu、Yuchen Yan、Xingyu Wu、Qipeng Chen、Xin Zhang、Aiting Liu、Chao Deng、Jie Liu、Jin Ma、Weiming Lu、Jun Xiao、Yongliang Shen（浙江大学、腾讯）摘要深度搜索智能体通过长视界多轮交互完成知识密集型任务，如何对每一次搜索决策分配信用是一个根本性难题。基于最终结果的强化学习只能向整条轨迹广播单一的回合末端奖励；现有的过程监督方法虽然尝试更细粒度的信用分配，但通常把信用绑定在表层轨迹状态或者模型内部信号。在深度搜索场景，观测结果异构、检索上下文冗长嘈杂，上述两类信号并不可靠。本文提出KnowGPO知识分组策略优化框架。该框架不再依据表层观测对齐轨迹，而是依据轨迹已经获取到的任务相关知识做对齐。针对每一条查询，将推导答案所需要的信息拆解为多条原子知识条件；轨迹每一步使用知识状态表征，即该轨迹至此已经满足的知识条件子集。共享相同知识状态的轨迹步骤划分为同一分组进行组内对比；将相邻步骤之间的增量知识增益作为环境可验证的过程奖励。在Xbench、BrowseComp‑ZH、GAIA数据集开展实验，KnowGPO相比仅基于结果的GRPO、GiGPO、IGPO等过程监督基线，性能稳定提升3.8‑4.2个百分点；8B规模模型效果可以匹敌甚至超过多数32B开源搜索智能体。全部代码开源发布。关键词搜索智能体；深度搜索；强化学习；信用分配；知识状态；过程监督；策略优化目录引言相关工作KnowGPO方法框架3.1 问题形式化3.2 知识状态构建3.3 知识分组策略优化实验设置实验结果5.1 主实验整体性能5.2 消融实验5.3 分组锚点质量对比5.4 搜索行为与训练开销分析讨论与局限性结论附录简要说明1 引言基于大模型的深度搜索智能体，通过多轮搜索、证据核验、查询改写、终止判断完成知识密集任务。和传统一次性检索增强生成RAG不同，深度搜索智能体迭代构造查询、检验证据、更新内部认知、自主决定何时停止搜索，属于长视界序列决策问题。监督微调SFT只能模仿表层行为，很难优化策略层面的搜索决策；强化学习成为训练高性能深度搜索智能体的主流手段。现有强化学习方案存在三类信用分配难题：回合级奖励（GRPO）：仅使用任务最终成败的终端奖励，把奖励均匀广播给轨迹内全部动作；无法区分中间步骤哪些决策是有效、冗余、有害的。GiGPO这类状态分组过程监督：依赖轨迹可以复现相同的表层环境状态；但深度搜索检索内容、推理文本开放多变，很难复现完全一致观测，造成状态碎片化。IGPO等模型内部信号过程奖励：依靠模型预测答案概率变化、学习得到的评判模型；信号来源于模型内部置信度，容易被冗长嘈杂检索上下文干扰，不是外部可核验的客观信号。核心洞察：不同搜索轨迹查询、网页、推理文本千差万别，但会收敛到同一个事实集合——即解答问题需要获取的任务相关知识。知识本身，而非表层观测、模型置信度，是长视界搜索任务信用分配的天然信号。KnowGPO核心思路：针对每个查询，把解答答案拆解成若干原子知识条件；轨迹每一步用知识状态表征：该步已经满足的原子知识条件子集；将拥有相同知识状态的步骤划分为分组，做组内对比；相邻步骤之间增量知识增益作为过程奖励；将回合级优势、步骤级优势通过混合系数加权，完成PPO策略更新。本文主要贡献提出KnowGPO强化学习框架，在查询专属的知识状态空间完成信用分配，而非表层观测空间，实现语义等价轨迹之间的组内对比。提出增量知识增益，一种基于外部环境可核验的过程奖励；不需要观测状态匹配、不需要训练评判网络、不依赖模型内部概率。在Xbench、BrowseComp‑ZH、GAIA三套深度搜索基准，相比结果型、过程监督基线平均提升3.8‑4.2个百分点；8B基座模型性能可以匹敌多数32B开源搜索系统。2 相关工作2.1 面向搜索智能体的强化学习GRPO等分组相对优化方法，在多轮工具调用场景不需要价值网络即可完成训练，被广泛用于搜索智能体。现有多数方案仍然只使用轨迹末端二元奖励，长视界轨迹内部各搜索动作的贡献无法被区分。后续工作主要从数据扩充、奖励塑形、提升梯度稳定性方向优化，但信用分配依旧是瓶颈。2.2 搜索智能体的信用分配GiGPO：基于表层环境状态做轨迹分组，需要相同状态重复出现；深度搜索观测异构，该条件很难满足。IGPO：使用模型自身预测正确答案的概率变化作为稠密步骤奖励，信号受模型内部置信度影响。学习型奖励模型：依靠外部训练评判器给出奖励，但评判器本身的校准是难题，并且无法实现跨轨迹的语义等价步骤对比。KnowGPO将信用分配锚定在可外部核验的知识条件集合；同时把该表征既用作分组依据，也作为环境原生过程奖励来源。3 KnowGPO方法框架3.1 问题形式化深度搜索建模为多轮序列决策过程。给定查询Q QQ与标准答案y ∗ y^*y∗，智能体与检索环境交互，KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲t=1,...,T\)。每一步智能体根据策略π θ ( ⋅ ∣ h t , Q ) \pi_\theta(\cdot|h_t,Q)πθ​(⋅∣ht​,Q)输出推理以及动作a t ∈ { search , answer } a_t\in\{\text{search},\text{answer}\}at​∈{search,answer}。交互历史h t = ( a 1 , o 1 , . . . , a t − 1 , o t − 1 ) h_t=(a_1,o_1,...,a_{t-1},o_{t-1})ht​=(a1​,o1​,...,at−1​,ot−1​)；o t o_tot​为环境返回观测（检索文档 / 终止信号）。完整轨迹τ = ( a 1 , o 1 , . . . , a T , o T ) \tau=(a_1,o_1,...,a_T,o_T)τ=(a1​,o1​,...,aT​,oT​)；回合二元结果奖励：R ( τ ) = I ( a n s ( τ ) = y ∗ ) R(\tau)=\mathbb{I}\big(ans(\tau)=y^{*}\big)R(τ)=