AgentTrace面向多智能体系统的统一轨迹表示与评测套件原文网页https://arxiv.org/html/2610.18780v1PDF链接https://arxiv.org/pdf/2610.18780v1arXiv编号arXiv:2610.18780v1 [cs.AI]摘要多智能体系统的研究蓬勃发展但不同框架输出的执行轨迹格式互不兼容造成数据集复用困难、评测工具难以跨框架迁移。现有轨迹格式大多绑定特定编排框架缺少统一抽象定义调试、评测、诊断工具被限制在单一系统不同多智能体平台之间轨迹无法互通。本文提出AgentTrace一套面向多智能体的标准化统一轨迹表示定义与框架无关的本体数据模型对智能体、消息、工具调用、工件、子任务、事件流做抽象建模。配套开源Python套件提供轨迹读写、格式转换器、分析工具、评测指标实现。基于AgentTrace将6套主流多智能体基准数据集统一转换为标准格式构建聚合多智能体轨迹数据集。开展两类验证实验①把原有诊断、根因定位工具迁移到AgentTrace标准接口②实现一套跨框架统一评测流水线。实验表明AgentTrace可以低成本完成不同框架轨迹格式迁移基于统一接口的工具可直接在异构来源轨迹上运行不需要针对每个框架单独适配。全部本体定义、转换脚本、数据集、工具库开源发布。关键词多智能体执行轨迹数据本体标准化轨迹分析数据集互操作评测套件目录引言相关工作AgentTrace本体与数据模型3.1 核心实体定义3.2 关系与依赖建模3.3 序列化SchemaAgentTrace工具套件4.1 读写与校验库4.2 多框架格式转换器4.3 内置分析与评测组件数据集构建实验验证6.1 工具迁移验证故障诊断工具AgentSight6.2 跨框架统一评测流水线6.3 转换开销与正确性讨论与局限性结论附录简要说明1 引言多智能体系统依靠多个子智能体分工、消息通信、工具调用、子任务分解完成复杂任务。不同开源框架AgentScope、AutoGen、MetaGPT等各自定义私有轨迹日志格式。由此带来现实痛点格式孤岛各个框架输出轨迹schema不统一实体命名、消息结构、工具调用记录、工件存储方式差异巨大。工具绑定框架调试器、故障根因定位、可视化、评测脚本高度耦合原始框架更换多智能体系统就需要重写分析代码。数据集复用困难不同基准产出的轨迹不能直接合并跨数据集开展联合研究成本高。复现门槛高复现论文实验往往需要完整部署原智能体框架仅仅拿到日志文件无法复用分析工具。现有单智能体轨迹格式SWE‑bench、GAIA无法表达多智能体特有的实体跨智能体消息、角色、子任务委派、广播、工件在多个智能体之间流转。本文贡献提出AgentTrace与框架无关的多智能体轨迹本体模型抽象智能体实例、消息、工具调用、工件、子任务、事件、因果依赖关系定义JSON序列化schema。实现Python开源套件包含schema校验、IO读写、多框架转换器、分析算子、评测指标API。将6套主流多智能体基准统一转换为AgentTrace格式构建聚合轨迹数据集。两组验证实验将AgentSight故障诊断工具迁移至AgentTrace接口搭建跨框架统一评测流水线证实异构框架轨迹可被同一套工具直接处理转换开销低、语义信息保留完整。本文主要贡献设计框架无关的多智能体轨迹本体AgentTrace完整建模多智能体特有实体与因果依赖提供JSON序列化规范。发布配套Python工具套件支持读写、校验、多源格式转换、轨迹分析、评测指标。转换6个公开基准得到聚合多智能体轨迹数据集并开源。实验验证分析工具可低成本迁移实现真正跨框架轨迹复用无需为每个系统单独开发适配代码。2 相关工作2.1 智能体轨迹与日志格式单智能体基准SWE‑bench、GAIA、BrowseComp‑Plus定义的轨迹schema聚焦单智能体步骤、工具调用缺少多智能体的消息广播、子任务委派、多参与者工件流转等抽象。多智能体框架AutoGen、AgentScope、MetaGPT、ChatMultiAgent各有私有日志输出只适配自家框架不对外提供通用交换格式。2.2 多智能体分析、调试、诊断工具AgentSight、OnTrack等工具原本强绑定特定内部日志结构输入格式一变解析层就需要大规模改写。缺少通用交换层工具很难在多个多智能体系统复用。2.3 数据本体与互操作在机器人、仿真领域标准化本体用于数据交换大模型智能体领域缺少面向多智能体完整执行轨迹的公开本体。AgentTrace定位为交换中间格式不要求各个框架修改内部运行时只需要输出转换器读取原有日志转成AgentTrace。3 AgentTrace本体与数据模型AgentTrace定位交换层中间格式。不需要修改各个多智能体框架内部实现每个框架只需要实现转换器把私有日志映射到AgentTrace本体。3.1 核心实体定义每条完整记录为Trace对象包含全局元数据与事件序列核心实体实体说明AgentInstance智能体实例全局唯一ID角色描述、配置、生命周期标记Message智能体之间通信消息发送方ID、接收方ID列表、消息体、元数据支持广播接收方列表ToolCall工具调用记录调用发起智能体ID工具名入参返回结果状态成功/失败/异常Artifact工件/中间产出文档、表格、代码片段、子任务输出全局ID内容、类型、来源事件IDSubtask子任务父任务ID分配给的智能体ID目标描述状态产出工件ID列表Event事件单元每条事件只能属于一类消息、工具调用、工件生成、子任务状态变更带时间戳全局事件IDTraceMeta轨迹全局元数据任务ID环境版本框架名称数据集来源任务最终成功/失败标签设计原则实体尽量做最小必要抽象框架特有字段放入extra扩展字典不破坏标准schema。3.2 关系与依赖建模使用DependencyLink表达事件之间因果依赖字段source_event_id、target_event_id、dep_type。dep_type枚举reads读取工件、receives_msg接收消息、spawn_subtask派生子任务、trigger_toolcall触发工具调用。一条Event可以拥有多条入依赖、多条出依赖。如果原始日志自带depends_on元数据转换器直接映射没有显式元数据则转换器可以通过内容相似度时序推断生成依赖链接。3.3 序列化Schema完整JSON‑Schema定义在附录。顶层结构{trace_id:str,meta:{...TraceMeta...},agent_instances:[...],events:[...Event...],dependency_links:[...DependencyLink...],extra:{}}agent_instances数组全部智能体实例定义events数组按时间序排列全部事件dependency_links全部因果依赖边extra存放框架私有附加信息不参与标准工具处理。4 AgentTrace工具套件4.1 读写与校验库加载/保存JSON读写支持批量数据集文件夹Schema校验jsonschema校验识别缺失必填字段、枚举非法值查询API按智能体ID、事件类型、子任务状态做过滤查询图导出API导出NetworkX DAG图用于因果分析工具。4.2 多框架格式转换器内置转换器AutoGen、AgentScope、MetaGPT、Multi‑Agent‑Bench、MAMU、自定义JSON日志。转换器职责读取原框架日志将框架内部对象映射到AgentTrace实体生成事件、智能体实例、工件、子任务生成dependency_links依赖优先读取显式元数据无元数据时相似度推断输出符合schema的AgentTrace JSON。扩展新框架只需要新增一个转换器模块上层分析、评测代码完全不用改动。4.3 内置分析与评测组件内置常用算子API统计算子智能体数量、消息统计、工具调用统计、子任务完成率图算子构建事件DAG反向回溯上游节点评测指标API多智能体任务成功率、子任务完成统计、消息冗余度导出工具导出CSV、导出Mermaid时序图。5 数据集构建使用转换器对6套公开多智能体基准做批量转换得到统一格式聚合数据集Multi‑Agent‑BenchMAMU内部收集AutoGen实验轨迹集AgentScope样例轨迹集合MetaGPT公开样例轨迹论文AgentSight原始测试轨迹数据集统计总轨迹数量412条总事件数24896条事件智能体实例总数量1173个消息5427条工具调用8912条工件4641条子任务2037条。数据集全部托管在HuggingFace。6 实验验证6.1 工具迁移验证故障诊断工具AgentSight原始AgentSight强绑定自家私有日志格式原始解析层需要重写。迁移方案只替换日志读取解析层接入AgentTrace套件API核心MCIG图构建、反向回溯、反事实仿真逻辑完全不用修改。项目原始实现基于AgentTrace迁移后代码行数解析模块847行112行主算法核心代码2142行2142行无改动在原测试集F184.4%84.1%结论解析模块代码量从847行缩减到112行核心算法完全不用修改。在原有测试集F1几乎不变语义信息损失很小。迁移之后AgentSight可直接处理其余5个基准转换之后的轨迹不需要再写各个框架解析器。6.2 跨框架统一评测流水线实现统一评测流水线输入AgentTrace格式轨迹统一计算多智能体评测指标子任务完成率、消息冗余、工具调用统计、任务成功率。在来自6个不同源的412条轨迹运行全部可以正常产出指标不需要为每个数据源单独写解析逻辑。统计示例输出跨数据集聚合统计平均每个轨迹3.8智能体每条轨迹平均60.4事件子任务完成率62.1%消息冗余度0.27。6.3 转换开销与正确性时间开销单条轨迹转换p5012msp9587ms适合批量离线数据集转换。正确性校验抽样100条轨迹人工比对原日志与AgentTrace输出实体映射正确率96.0%依赖链接有显式元数据样本正确率98.2%依靠相似度推断依赖的样本正确率87.3%。提示如果原始日志缺少显式depends_on元数据依赖链接会由相似度推断会引入少量噪声追求高可靠性应当让原框架输出显式依赖元数据。7 讨论与局限性优势AgentTrace作为中间交换格式不强制修改各个多智能体框架内部实现只需要转换器降低跨框架复用门槛。分析、诊断、评测工具只需要对接一套AgentTrace API不再需要每个框架写一套解析代码。方便聚合不同来源轨迹构建混合数据集开展跨框架统计研究。局限性只面向离线事后轨迹交换不是运行时线上协议不用于智能体之间实时通信。依赖转换器映射质量无显式依赖元数据时依赖链接只能靠相似度推断会带来噪声。本体覆盖主流多智能体模式极特殊自定义交互范式需要使用extra字段扩展。不解决轨迹生成本身的质量问题只解决日志互操作。使用建议做严谨实验优先尽量保留原框架输出显式依赖元数据减少推断带来噪声extra字段存放框架特有信息标准工具不会解析extra。8 结论本文提出AgentTrace面向多智能体系统的框架无关统一轨迹本体与序列化schema抽象智能体实例、消息、工具调用、工件、子任务、因果依赖关系。配套Python工具套件实现IO校验、多框架转换器、分析算子、评测指标。将6套公开多智能体基准批量转换构建412条轨迹的聚合开源数据集。实验验证故障诊断工具AgentSight可以低成本迁移核心算法完全保留仅替换解析层可以搭建跨框架统一评测流水线异构来源轨迹直接复用同一套分析代码。AgentTrace旨在缓解多智能体领域轨迹格式孤岛降低工具开发、数据集复用、论文复现的成本。全部本体定义、转换脚本、数据集、工具库开源。附录简要说明附录A完整JSON‑Schema本体全部字段、枚举定义。附录B各个转换器映射规则实体映射对照表。附录C人工正确性校验协议抽样统计详情。附录DAgentSight迁移完整改动样例代码。附录E聚合数据集完整统计表格。