本文深入剖析腾讯的Agent评测体系核心观点为Agent由Model模型和Harness执行环境构成评测是Harness不可或缺的一环。文章详细阐述了Harness工程化的重要性、评测的六个环节及关键指标并介绍了腾讯EvalMate平台的“能力四件套”“三引擎质量飞轮”和“TestMate测试智能体”设计。最后提供了可参考的发布门禁阈值和10条工程实践启示旨在帮助开发者构建高质量、可信赖的Agent应用。 本篇目录01 问题定义Agent Model Harness02 Harness 工程化评测可归因的前提03 链路六环节与两个被忽视的量化指标04 平台矩阵四层分工一张图05 EvalMate 之一能力四件套06 EvalMate 之二三引擎质量飞轮07 EvalMate 之三TestMate 测试智能体08 发布门禁可量化的 Pre-Launch 清单09 六维度量标准与 Skill 安全闭环10 工程启示10 条01 问题定义Agent Model Harness腾讯云 ADP 把 Agent 的定义写成一形式化等式Agent Model HarnessModel : 理解、推理、生成决策Harness : 运行时 工具层 状态层 安全层 反馈层 评估层这个定义对评测的含义评测不是发版前的一次性动作而是 Harness 的内置层与 tracing、logging、replay、checkpoint 同级。观测能力分两组Observability/Transcript对话记录、模型调用、工具调用、错误、耗时、token与 Evaluation/Feedback测试集、人工反馈、任务成功率、安全拦截率、成本、延迟。▲ 评测内建在 Harness 里与 trace、replay、checkpoint 共享同一份执行轨迹腾讯的判断是只靠更强的模型加一个 Prompt不足以稳定完成真实复杂任务。评测之所以内建在 Harness 里是因为它必须和 trace、replay 共享同一份执行轨迹脱离轨迹的评测在长任务上没有归因能力。02 Harness 工程化评测可归因的前提传统 CLI Agent 把 memory、sandbox、agent loop 全打包在容器里遇到的问题容器挂了状态丢失排障要进用户容器有隐私风险Prompt injection 可能读到环境变量里的 token。ADP 的解法是五块解耦▲ 五块解耦 异常五层分层评测报告里的「失败」可以直接定位到层当评测报告里出现「任务失败」可以直接定位是哪一层抛出的API/Loop/Tool/Task/Context。这是可观测性对评测的反向赋能没有分层评测只能告诉你失败了有了分层评测能告诉你为什么失败。03 链路六环节与两个被忽视的量化指标腾讯内部面试题把 Agent 评测与传统大模型评测的差异讲得很直白答案对了不代表链路安全用错工具但碰巧答对线上仍然危险。评测要拆成六个环节分别度量▲ 链路六环节任何一环出问题都能单独报警不必等到端到端失败六环节之外有两个量化指标在公开资料里出现得不多但很能代表腾讯的思路Tool Head Accuracy工具选择正确率任务结果对不等于工具调用链正确。这个指标专门抓「碰巧答对」的样本是结果分之外的第二道闸。Trajectory Match Score轨迹匹配分实际执行路径与最优路径的编辑距离除以最优路径长度。衡量的是「绕了多少冤枉路」——两个 Agent 任务成功率一样绕路多的那个成本高、时延长、失败面大。测试集构造也有明确原则不能只放理想问题要覆盖模糊意图、缺参数、权限不足、工具超时、知识冲突、用户改口这些异常场景。每条样本标注「期望行为」而非「期望答案」权限不足时正确行为是拒绝并解释不是努力绕过。线上坏例事故、投诉转为回归样本防止问题回潮。04 平台矩阵四层分工一张图看单点之前先看全景。腾讯的 Agent 评测能力不是一款产品而是一组按层分工的平台底座管「跑得稳」测试执行管「跑出行为」质量评测管「评得准」安全赛道管「攻不破」。▲ 平台矩阵四层运行底座 → 测试执行 → 质量评测 → 安全赛道矩阵里有两条容易被忽略的分工线。其一是评测对象的分工EvalMate 评「AI 产品」行为链加多模态产物TI-ONE 评「模型」训练阶段的功能与性能互为上下游其二是安全独立成赛道Tsecbench 用真实漏洞加红蓝对抗做攻防跑分SecBench 专测安全大模型都不塞在主评测集里走过场。接下来下钻矩阵里方法论密度最高的一块EvalMate。05 EvalMate 之一能力四件套EvalMate 是腾讯端服务TDS产品联盟出品的一站式 AI 产品质量评测平台和 Bugly、Kuikly、TDesign 同属一个联盟。截至 2026 年 9 月官网仍标注「尚未对外开放」主要服务腾讯内部业务。看它怎么设计比看它开没开放更有价值。▲ EvalMate 能力四件套全形态、协议无关、五维评估、持续集成第一个设计决策值得单独说评测对象是「AI 产品」而不是「模型」。7 种产品形态覆盖 Web Chat、Agent 多轮交互、MCP 工具调用、Skill、API、CLI、适配器应用10 种产物类型覆盖网页、数据分析报告、思维导图、图片、视频、代码、PPT。理由很朴素Agent 的输出是行为链加多模态产物不是单条文本。没有产物类型感知能力的评测平台评不了真正的 Agent 应用。第二个设计决策是协议无关不绑定 RESTful 还是 gRPC统一评测协议加智能适配引擎由平台承担适配成本。这把「评测接入」从项目制工程降级成了配置工作被测方零改造。接入成本决定用户是否愿意持续使用这一条是平台化的关键。06 EvalMate 之二三引擎质量飞轮EvalMate 的工程理念是一条完整主线四大痛点、四阶段演进、三引擎互哺、质量飞轮。官方没有逐条公布痛点全文结合产品能力归纳如下▲ 三引擎互哺数据管「评什么」能力管「怎么评」效率管「评得多快」数据引擎评测集、线上真实样本、历史评测结果的沉淀管理坏例回流为回归样本。解决「评测数据难沉淀」。能力引擎规则断言、裁判模型、工具链路验证、安全探测自动化评测能力集。解决「人工成本高」。效率引擎流水线编排、CI/CD 集成、批量并发执行、报告分发。解决「评测链路断裂」。关键在互哺关系数据引擎产出的坏例训练和校准能力引擎的裁判模型能力引擎的评测结果回流数据引擎形成更丰富的回归库效率引擎让全链路规模化运转放大前两者的价值。循环起来就是「数据 → 能力 → 效率 → 更多数据」的飞轮。这个设计的落点是定位转变EvalMate 不把自己当「评测工具」而是「AI 质量保障的基础设施」。评测从每次项目临时做变成持续运行的服务评测资产用例、结果、裁判模型可复用可积累。07 EvalMate 之三TestMate 测试智能体EvalMate 不是孤岛TDS 联盟里有一个直接供给「执行证据」的协同产品测试智能体 TestMate。它把 Harness Engineering 理解成一套控制系统前馈控制Guides知识、规则、提示词、代码风格、质量策略、任务规范在智能体执行前限定目标和行为边界反馈控制Sensors单元测试、接口测试、行为测试、运行状态、线上信号在执行后提供验证结果和证据。反馈再分两轨确定性反馈管明确规则和固定步骤推理型反馈管复杂语义和不完整信息。四个工程细节最见功力双输入模式目标式输入只给抽象任务目标智能体自行规划用于探索性测试规格化输入通过 BDD、测试契约描述前置条件和预期按规格执行用于常规回归。探索空间和生产可控性分开保留。GUI 感知三层互补优先读 Web DOM、Android 可访问树等结构化信息不足时视觉小模型补充环境描述复杂语义判断再上调多模态大模型。便宜的先上贵的兜底成本结构清晰。断言双轨确定性规则和大模型语义判断按断言类型选择同时保留执行步骤、状态、失败原因和验证证据。机械判据优先语义判断兜底。落地节奏先用种子用例验证基础能力再扩展同类任务依次补偿用例可执行性、治理稳定性、优化效率全程用 Token 消耗、单次成本、成功率、失败分布做观测。还有一条与之配套的「用例生成自进化」路线AI 生成测试用例的真正难点不在生成在于真实工程中持续可用、越用越好从规则约束到自动化被拆成六个演进阶段。这条线与 EvalMate 数据引擎里「评测集自动扩充」是同一个方向。08 发布门禁可量化的 Pre-Launch 清单腾讯云 ADP 公开的 Agent 上线前检查清单给出了一组可直接照搬的阈值指标目标Time to First Token≤ 1.5s完整响应时间简单 ≤ 5s / 复杂 ≤ 15sP99 响应时间≤ 2× 均值工具调用成功率≥ 99%降级率 0.5%并发能力峰值 QPS × 2 压测通过▲ Fallback 四档上线不是没有失败而是每种失败都有设计好的去处功能侧同样机械可查50 真实用户短语测意图覆盖、历史聊天记录测边缘 case、组合问题测多意图拆分、故障注入测超时降级。这份清单的工程价值在于把「上线就绪」从主观判断转成可机械执行的 gate。09 六维度量标准与 Skill 安全闭环腾讯参与编制的《云上 Agent 基准度量模型》从六个维度度量云上 Agent功能性任务成功率、意图识别准确率、安全性注入防御率、工具滥用率、隐私数据输出率、可靠性记忆串扰率、行为可追溯率、用户体验满意度、转人工率、性能效率TTFT、P99、成本效益Token 消耗、单任务成本。两个机制设计值得一提双重授权按业务影响分级设人工确认人类批准依赖度分层把「哪些环节必须人管」变成可度量的指标。首批通过认证的是腾讯 WorkBuddy、CloudQ、AndonQ、MigraQ 四款产品。Skill 治理做成三段闭环注册阶段异步安全扫描Skill 描述、Prompt、脚本、依赖、工具声明执行阶段实时检测工具调用和网络文件访问并高危拦截输出阶段天御安全实时审核。本质是把传统应用安全的「构建 → 部署 → 运行」三段式平移到 Skill 生态。10 工程启示10 条评测内建 Harness与 tracing/replay 共享轨迹否则长任务不可归因链路六环节独立门禁意图/工具/参数/证据/状态/表达各设阈值Tool Head Accuracy 与轨迹编辑距离抓「碰巧答对」和「绕冤枉路」结果分之外的第二道闸期望行为替代期望答案权限不足的正确行为是拒绝写进用例的是行为不是答案三引擎飞轮起步模板先攒评测集数据再加规则断言裁判模型能力最后接 CI/CD效率顺序别反感知与断言分层上调结构化信息优先小模型补位大模型兜底断言机械优先发布门禁阈值化TTFT ≤1.5s、工具成功率 ≥99%、降级率 0.5%照抄可用Skill 三段安全闭环注册扫描 → 执行拦截 → 输出审核安全评测独立成 benchmark不要塞在主评测集里走过场批量对比是刚需模型/Prompt/版本切换必须内建 A/B 对比评测集从线上坏例持续回流。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取