Demo演示惊艳上线后却回答漂移、工具死循环、TTFT飙升——这是许多业务Agent团队的真实写照。货拉拉在其技术博客中系统披露了业务Agent评测平台的工程实践核心结论很直接Agent能跑不代表能用单次回答惊艳不代表生产稳定可靠。为什么传统测试在Agent面前失效传统测试依赖确定性断言equals或正则无法判断一段语义表述是否准确、是否有幻觉、是否遵守业务红线。更麻烦的是业务Agent的执行不是一问一答而是多轮迭代的动态决策链路意图理解、计划生成、步骤选择、工具调用、结果处理再根据中间结果修正规划或重试。错误可能发生在任意节点且具有传导性——上游的理解偏差会被下游工具调用逐级放大。性能度量维度也发生了跃迁。Agent场景下不再只看QPS首字生成时间TTFT、总生成时间TTLT、Token吞吐速率TPS直接决定真实用户的交互体验。评测范式的三个阶段货拉拉将评测体系演进划分为三代第一代是人工盲测与单点Prompt打分覆盖度极低、主观性强第二代引入离线数据集与单一LLM-as-a-Judge但裁判模型存在幻觉与自评偏见且脱离发布流水线第三代是全生命周期自动化评测平台把业务规则、智能裁判、拦截隔离、CI/CD门禁、性能压测、线上巡检整合为闭环。六大工程支柱拆解平台整体架构分为五大核心分层与六大工程支柱其中几个机制值得重点参考。资产治理与链路拓扑。平台通过评测实验室实现多租户隔离统一纳管自研工作流/模型平台及自定义HTTP服务并关联Agent代码版本、Prompt版本、知识库切片与运行环境保证评测结果可复现。参数映射上设计了三级切点拦截器TASKBEFORE、SESSIONBEFORE、REQUEST_BEFORE支持用例数据集动态注入与脚本动态引用将计算产物强类型映射后注入请求报文。测试数据合规校验。平台推行“非合规测试数据一票否决”。在发起评测的第0毫秒系统对所选数据集执行全量扫描校验测试环境标识、Headers/Params/Body是否符合入参Schema、必填字段完整性、字段类型与JSON格式合法性。一旦发现哪怕1条用例不合规直接阻断评测调度禁止生成评测Job。多模复合智能裁判。这是评测准确性的核心。平台内置五类确定性规则结构化校验、正则匹配、硬匹配、关键词匹配、语义相似度。对于订单号、金额、JSON结构等强确定性事实由计算型引擎执行提供毫秒级、零幻觉的客观评分。裁判Prompt采用三维动态组合平台级模板沉淀全局打分尺度与幻觉判定准则Agent维度模板注入业务角色定位与专业规范用例维度模板绑定单条用例的意图判定要点与期望参数。三层解耦维护避免每个用例重复编写冗长背景。针对LLM裁判自身的打分漂移平台实现抗波动评判引擎并发多次采样、离群过滤与均值聚合若多次采样方差超过阈值自动推入人工复核池。Session级综合评分。孤立地对每一轮打分再算术平均会掩盖关键阶段的业务崩溃。平台引入红线与短板穿透原则任意一轮触发超级红线违规或核心步骤严重错误扣分直接穿透至整个Session最终总分。同时采用前轻后重的渐进权重曲线对话越靠后权重越高考验长程交互中的记忆与逻辑韧性。人工校准闭环。客观评测守底线主观评测拉上限人工复核做放大。业务专家对争议用例、红线样本进行人工打分修正样本自动沉淀为黄金对齐数据集反哺裁判Prompt与评分规则。CI/CD门禁与性能压测。准入评测在合并代码或变更Prompt时触发核心冒烟用例集准出评测在发布前执行全量基准测试分数不达标流水线直接返回FAIL并阻断发布。性能侧自研LLM压测引擎支持固定并发、线性爬坡精确捕捉SSE流式响应的TTFT与TTLT。可复用的架构参考从工程视角看这套平台有几个可迁移的设计取舍一是把确定性规则与LLM裁判分层硬事实走规则引擎开放语义走裁判模型二是裁判本身也要做抗波动多次采样加方差熔断三是Session级评分必须支持红线穿透否则多轮对话的平均分会掩盖致命错误四是评测必须嵌入CI/CD否则再好的基准集也会被绕过。官方披露的规模化数据也印证了闭环价值平台接入智能体114个沉淀黄金评测集16337个功能评测执行11063次前置拦截缺陷669个。版本回归评测从人工天级缩短到小时级全自动回归上线质量合格率从约78%提升至98.5%。缺陷分布上意图与指令理解占33.84%智能体与工具执行占31.12%回答准确性占25.38%——这三类正是传统测试最难覆盖的区域。业务Agent评测的难点本质在于非确定性输出、复杂工具链路与性能体验三者叠加。货拉拉的实践给出了一条路径用规则守住硬底线用抗波动裁判覆盖语义用Session级穿透防止长对话崩溃最后用CI/CD门禁把评测变成发布流程的强制环节。