FDE岗位实务指南 · 第15篇上一篇结尾留了一个问题十二个分类任务里十一个对了那一单错了这套东西到底算不算合格这个问题在原型阶段还可以含糊过去——反正只是验证假设。可一旦要回答能不能给业务用含糊就不行了。你需要一个标准而且这个标准不能是看起来不错。现实里最常见的答案是准确率。我们的模型准确率 95%。然后呢95% 回答不了任何一个业务真正关心的问题错的那 5% 错在哪里、代价是什么、出错的时候系统知道吗、谁来兜。准确率先天地假设所有错误等价而业务上错误从来不等价——把一张好图误判成缺角度顶多重做一遍把缺版权信息的素材放行上架可能就是法务问题。这一篇讲FDE 怎样建立判断标准不是替业务拍一个分数线而是把好拆成业务能确认、样本能检验、失败能归类的具体条目。这套标准一旦建成评测就从每次重新吵一遍变成按既定条目过一遍——前者消耗的是会议后者积累的是资产。这套做法不新——商业分析里的验收与评价标准讲的就是它——但在 AI 场景里要补上三块新东西样本的分层设计、开发与独立测试的分离、以及对局部合格不等于整套可用的明文处理。一、准确率为什么回答不了能否使用先把准确率这个数字本身拆开。准确率 判对的样本数/ 总样本数。这个公式里藏着三个选择每一个都可能让数字失去业务含义。第一个选择是样本从哪来。如果样本是开发时顺手挑的模型在这些样本上见过类似的输入95% 测的是记忆不是能力。第二个选择是什么算对。分类任务里判对类别算对那类别对了但理由张冠李戴算不算对业务动作场景里返回了成功算对那动作作用在错误的对象上算不算对第三个选择是错误怎么加权。十二单里十一对一错和一万单里九千九百对一百错同样是高准确率但那一百错的分布——集中在某一类输入上还是随机散开——决定了系统敢不敢用。集中分布意味着存在一类系统性盲区随机散开意味着残余噪声前者的处置是修盲区后者的处置是评估兜底成本混在一个数字里全看不见。更深一层的问题准确率默认系统必须给出判断。可业务上最有价值的能力之一恰恰是知道什么时候不该给判断——资料不全时退回、依据失效时拒答、拿不准时转人工。一个永远给出答案、准确率 95% 的系统和一个知道在 10% 的情形下说这个我不该自动处理、其余 90% 全对的系统后者对业务的价值大得多前者的准确率数字却更漂亮。所以 FDE 建立判断标准的第一步是把问题从模型准不准换成业务行为可接受吗。这两个问题的差别决定了后面所有评测工作的形态。还有一个常被漏掉的维度评测既要看回答也要看动作结果。问答类系统看回答顺理成章但 AI 越来越多地直接执行动作——建任务、改状态、发通知。动作类行为的对不在措辞里在系统状态里任务建在了正确的对象上吗状态变更是不是预期的那一种副作用有没有越界。只评回答不评动作等于只看说了什么不看做了什么。二、先定义业务可接受的结果禾木家居的上架流程是四步分类、选图、裁图、套版。团队给 AI 定的任务是辅助这套流程。最初的验收口径很朴素裁图准确率要到多少多少。跑了几次数字不错可上架组不买账——图裁得再准这套商品还是上不去。原因很快清楚了上架的业务单位不是单张图而是一整套素材。一套商品要覆盖规定视角——正面、侧面、背面、细节——要有版权信息要有必要规格说明。单张裁切全对缺了背面图整套照样不合格。用单图的平均得分去评价以套为单位的业务结果等于用零件合格率代替整车验收而且默认了零件之间互不影响。这个错位在 AI 项目里极常见因为模型的天然处理单位一张图、一段话、一条记录往往小于业务的结果单位一套素材、一次完整答复、一单走完的流程。处理单位上做到 98 分结果单位上可能不及格——而且没人撒谎只是两张卷子不一样。FDE 在这里做的第一件事是把判据写成业务语言请业务角色确认。禾木家居的整套可上架判据是这样的规定视角齐全每张图裁切符合模板版权信息字段非空且来源可追规格说明覆盖该品类必填项。四条全部满足整套才算可上架任何一条不满足结论是不合格并输出缺什么、由谁处理。注意这个判据的几个特征。它是通过或不通过的不接受基本合格。它按业务单位整套而不是处理单位单图组织。它的每一条都能落到一个具体检查上不依赖整体感觉。它的输出不止结论还有缺口和处理人——评测的产出不是分数是行动依据。这四条特征就是把看起来不错变成可重复使用依据的全部机关。这套写法并不新。商业分析里的验收标准一直就是这么要求的可衡量、可测试、表述为通过或不通过。AI 场景的新增难点在于系统的行为不像传统软件那样完全确定——同一个输入两次运行可能给出措辞不同的输出。所以判据要落在行为上而不是字面上检出了缺背面图、指出了处理人就算符合至于那句话怎么说不作为判据。判据锁行为不锁措辞是 AI 评测和传统验收测试最实用的一条分界。写出来之后还要做一件反直觉的事把判据拿给业务角色逐条确认而不是自己宣布。裁切符合模板——什么模板第几版规定视角——哪几个视角谁规定的这些追问很琐碎但每一条都是将来评测争议的预埋点。判据没确认就跑评测等于用一把没有刻度的尺量东西量完再回头争论刻度在哪。三、让样本覆盖正常、边界与拒绝判据定了接下来是样本。样本设计的原则一句话可以说完样本不是来证明系统行的是来找出系统什么时候不行的。禾木家居的样本分四类第一类正常样本视角齐全、信息完整的整套素材预期结论是可上架。这类样本验证基本正确性人人都会做不展开。第二类边界样本贴着判据边缘的输入。商品 P-08教学编号单张裁切全部合格但整套缺背面图——四条判据里三条满足、一条不满足预期的整套结论是不合格缺背面图由素材组补拍。这类样本压的是系统会不会四舍五入——大部分条件满足时把缺项含糊过去。第三类异常样本错误规格的图、重复图同一视角两张、缺另一视角、版权信息字段为空。每一类对应判据的一条预期的结论分别是不合格并指明缺项。这类样本压的是系统能不能区分哪里不合格——只会说不行不会说缺什么的系统业务上没法用因为缺口和处理人还是要靠人再查一遍。第四类无依据样本这套商品所属品类根本没有已确认的必填规格清单。正确的系统行为不是编一份清单来检查而是输出该品类的规格判据未确认转规则负责人补齐后再评。这类样本最少见也最重要——它检验的是系统知不知道自己的判据从哪来、什么时候判据本身缺席。四类样本各写清楚输入、前置条件、预期结论、判定依据。判定依据要落到判据的某一条——不合格是因为规定视角齐全这条不满足不是因为系统觉得不行。依据越具体失败时越容易归类是判据写错了还是系统判错了还是样本预期标错了三种不一致的处理完全不同。这套分层不是凭空发明的。逻辑能力的测试方法论里早有类似的六分法正常样例验证基本正确性反例样例验证不该触发时不误触发边界样例验证阈值附近的处理数据缺失样例验证降级行为历史回放把逻辑输出放回真实业务事件里检验专家复核确认解释是否合理。前面四类样本对应前四种历史回放和专家复核是上线前后的另外两道保险——用过去真实发生过的上架记录回放系统判断请上架组老员工复核系统给出的不合格理由是否说得通。六道防线各有各的用处谁也不能代替谁。这里有一个反例必须点名不能默认流水线各阶段的错误相互独立然后把各阶段成功率直接相乘得到整体成功率。分类错一张图后面的选图、裁图可能在错误的类别上正确地执行——错误会沿着流程传播和变形不是简单叠加。整体合格率只能用整套样本实测不能从阶段数字推算。四、区分开发、独立测试与回归样本设计得再好用法错了结论照样作废。样本有了怎么用纪律比样本本身更重要。同一批样本在开发、独立测试、回归里扮演完全不同的角色混用是评测失效的头号原因。开发期样本是调试工具。系统判错了看输入、看提取、看判据适用改完再跑——这个过程里样本被反复看、反复用系统和调整系统的人对这些样本越来越熟。这没有问题调试本来就该这样。问题在于用这批样本跑出来的成绩不能拿去向业务报告——那是开卷考试的分数。独立测试样本是验收工具。它不参与任何调试判据确认后由不带开发背景的人或至少不带我刚改过这块记忆的人执行跑完如实记录。为什么要强调换人因为开发者天然知道自己系统的强项和盲区会不自觉地绕着雷区走——不是故意作弊是人类认知的常态。独立测试的价值恰恰在于测试者没有这些知识样本怎么走、边界往哪探全凭判据和业务常识。小团队做不到完全的岗位分离时最低要求是把独立测试样本集封存到调试结束之后再打开。禾木家居的独立测试教学设定用了另一批合成整套素材调试样本里的 P-08 类问题在独立测试里换成不同品类、不同缺项形态重新构造——考的是缺项检出这个能力不是P-08 这道题。用训练或调试过的样本冒充独立测试是这个环节常见的自欺之一。回归样本是保险。每次修订——改了提取逻辑、换了模板版本、更新了判据——都要重跑既有样本确认通过过的还过、失败过的按预期变化。回归的意义在版本之间可比第二版比第一版好在哪、坏了哪靠的不是印象是同一批样本在两版上的结果差异。还要盯住一个慢性病判据本身会过时。品类上新规了、平台改了上架要求、模板换了版本原来正确的判据就悄悄变成了错误答案的来源。判据和样本都要有版本、有负责人、有复查节奏——这一点和第 13 篇讲的知识库版本治理是同一件事你以为在评系统其实系统和对它的评判标准绑在一起一起老化。这三个区分落到纸面上就是一张评测矩阵输入、前置条件、预期、判定依据、实际、版本、修订。矩阵按版本累积每一次评测都能回答三个问题这次测的是哪一版测的是哪批样本开发、独立还是回归结果和上次的差异来自哪里。还要给所有数字打一个预防针少量教学样本的结果不是可靠性统计证明。十二个样本全过说明的是在这十二个样本覆盖的情形下行为符合预期说明不了上线后 99% 的情形没问题。样本量、覆盖范围和结论强度要匹配着写这是评测报告的基本诚实。五、解读结果并安排下一次验证评测跑完结果不会是纯粹的过或不过而是一组带分类的记录。解读的顺序是先按错误类型归类再按业务后果排序最后决定下一轮验证什么。归类是基本功。同一个不合格结论背后可能是提取错误图没读对、判据适用错误判据用错了品类、判据本身错误判据写漏了、样本标注错误预期标错了。四类错误的责任人和修法完全不同不归类就排序等于让所有人都去修最显眼的那一处。评测矩阵里单条记录长什么样看商品 P-08 这一行就清楚了输入是 P-08 整套合成素材前置条件是所属品类有已确认判据预期是不合格、缺背面图、转素材组判定依据是规定视角齐全这一条不满足实际与预期相符版本、修订记录随每次复测更新。一行就是一个可复查的判断而不是一个孤立的分数。禾木家居这轮独立测试的整体记录教学设定十二套样本十套符合预期两套不符合都是同一类——系统对重复图样本判了可上架因为它按张数检查视角齐全没有核对每张图的实际视角。归类判据适用错误不是提取错误。后果中——会被上架组人工拦下但浪费一次往返。处置修订视角核对逻辑重复图样本进回归集同时把按张数判断列为已知局限写进记录因为它可能还影响其他品类。下一轮验证的安排由此而来扩大独立测试样本重点覆盖张数对但视角错的各种变形修订后先回归再独立复测同时把一个开放问题移交——视角判定目前依赖图片文件名约定教学设定这个约定的可靠性属于数据治理问题不是评测能解决的记入第 09 篇那类口径待确认清单。最后把这一篇的边界划清楚它评价的是系统行为是否合格。系统上线后跑得稳不稳、会不会随数据漂移退化是第 19 篇运行稳定性的问题这套东西到底给业务带来了什么是第 20 篇业务价值的问题。三个问题共用样本和记录但结论不能互相替代——行为合格的系统照样可能运行不稳运行稳定的系统照样可能没有价值。迁移练习留给你把这套方法搬回采购场景。AI 核验一张申请单别问准确率多少先把判据拆成三件独立的事——资料完整吗、依据有效吗、当前状态允许这个动作吗——分开检查、分开记录、分开下结论。能用业务任务写出可执行判据才算学会了这一篇只会报模型分数的还只是会看仪表盘。下一篇讲排障评测发现不对之后怎样沿证据找到第一处偏离——不要一出错就换模型。