FDE岗位实务指南 · 第19篇前面四篇构成了一个可靠性单元评测定标准排障找偏离边界防未然恢复兜未知。这一篇跨过分界线——从测试里能用走进运行中持续可用。这是两种完全不同的状态中间隔着一组容易被跳过的判断。项目里最常见的跳步是评测通过演示顺利于是上线吧。上线以后才发现测试环境的数据是上周的快照真实访问量是测试时的八倍出了错没人知道该找谁账单第一个月就超出预算三倍。这些问题没有一个是系统不行全都是运行条件没有被当成判断对象。测试回答的是它能不能做运行回答的是它在我们这里、在我们的数据、我们的流量、我们的人手上能不能一直做下去。一、测试通过以后还缺哪些运行条件先把缺口摊开看。测试环境和真实运行之间至少隔着六层条件。数据时效。测试用的是清洗过、对齐过的样本运行吃的是实时流入的数据有延迟、有缺失、有上游系统刚改过口径的字段。第 16 篇排障时见过的数据陈旧在测试里根本不会露面。真实访问。测试是脚本按固定节奏发请求运行是周一早晨集中涌入、月底翻倍、促销日不可预测的人。访问的形态变了超时、排队、限流这些只在压力下出现的行为才会现身。可靠性目标。测试看这几笔对不对运行要看长时间里多大比例是对的、多快、断了几次。这要求把第 15 篇的一次性判据变成持续盯住的指标。监测能力。测试时人盯着屏幕运行时必须有人或机制在没人盯的时候也看得见异常。本体指南第十七章把这一项列为运行治理的第一层上线后要看系统是否在变坏——输入分布漂移、失败率爬升、人工推翻率上升这些都得先于用户投诉被发现。等用户打电话来报告问题监测系统这一项就等于零分。成本。测试几十笔的调用费用可以忽略运行期每天几千笔模型调用、存储、带宽、人工复核的工时都成了持续开支需要有人盯、有人批。成本这项条件经常被归给财务的事其实它直接决定运行形态复核比例定多高、保留多久的日志、监控告警做几级每一个都是钱和风险的权衡不能等账单来了再补想。接手安排。测试时开发者本人就在旁边运行后第一个不巧异常发生在他休假的晚上。谁知道入口在哪、谁有权暂停、暂停期间业务走什么备用路径这些问题的答案必须在上线前存在而不是在事故后补齐。检验办法很朴素把如果明晚十点告警这个问题当面问一遍听每个人说出自己以为的流程——三个人说出三个版本就说明接手安排还不存在。六层条件归结成一句话测试证明的是能力存在运行要求的是条件齐备。FDE 在这个阶段的职责就是不让能力存在被误读成条件齐备。二、把可用、及时与合格分别定义进入运行判断第一件事是把三个经常被揉成一团的词拆开可用、及时、合格。它们是三把不同的尺子用同一组数据量三次会得出三个不同的结论——很多运行争议根源就是三个人拿着三个词看同一个数。看一组模拟运行数据教学设定澄川制造的资料核验进入小范围运行约定范围内任务 30 笔28 笔完成其中 20 笔在 60 秒内完成完成结果的业务质量还没有复核。先算完成率也就是可用这一维28 ÷ 30 93.3%。注意分母是全部 30 笔范围内任务不是成功启动的那些。再算及时率。这里有两个合法的算法结论不同各有用途。全范围及时完成率20 ÷ 30 66.7%回答范围内任务有多大比例又快又好地完成完成子集及时率20 ÷ 28 71.4%回答在完成的前提下速度表现如何。前一个把失败也算进分母后一个只看成功者。汇报时选哪个不是语气问题是口径问题——用 71.4% 向业务负责人汇报及时率掩盖了那 2 笔根本没完成的任务。最后是合格。这组数据里没有质量复核结果所以合格率一栏只能写未知。这一点必须明说。完成不等于合格——一笔核验任务完成了但结论错误它比未完成更危险因为它把错误结果带进了下游。把完成率 93.3%讲成成功率 93.3%等于替系统签发了一份它没考过的证书。三个词分开之后运行说明才能写成可以核对的句子。澄川这份运行说明教学合成是这样落的当前数据仅支持完成率 93.3%、全范围及时完成率 66.7%、完成子集及时率 71.4%业务合格情况未知不能断言系统已可扩大使用补齐错误分类、质量复核、责任人与目标之后再判断是否扩大。还要补一条边界60 秒是这次教学约定的观察线不是通用服务目标。换个任务、换个业务及时的定义要重新和相关方确认连同确认人一起写进运行说明。把某次试验里的阈值当成通用 SLA是运行期最常见的口径偷换。还有一种更隐蔽的偷换换分母。同样是及时按任务笔数算和按处理时长加权算结果可能差出十几个百分点本月用前者、下月用后者趋势图看上去在改善其实只是换了一把尺子。口径一旦约定运行期内不许中途换尺要换就两条曲线并记一个周期让人看得见换尺造成的那一格台阶。三、约定观察、响应与暂停方式定义清楚之后下一个问题是运行起来谁在看、看出问题怎么办、什么情况下停下来。这三件事要在小范围运行开始前约定好写成文字各角色签认。运行时最糟糕的状态不是出问题是出了问题之后每个人都在问现在该谁管。观察约定看什么、怎么看、多久看。看什么——完成率、及时率、失败分类、人工推翻率、异常告警这些指标来自第 15 篇判据的运行化。怎么看——有看板还是靠人查日志数据延迟多久。多久看——小范围运行期间观察频率通常按天或按周约定并写明由谁看。漏掉由谁看这一条看板就会沦为没人打开的网页。本体指南第十七章的监控清单给了一个完整的参照对象数据质量、关系断链、逻辑层输出分布、行动层超时率、人工覆盖率、审批积压以及越权拦截等安全事件。监控的不是一条曲线是一组互相印证的信号——单一指标正常而其他指标漂移本身就是该被看见的现象。比如完成率平稳但人工推翻率连续两周爬升这在说系统还能用但业务已经不太信它了这正是第 20 篇要展开的价值问题的前兆。响应约定异常分级和每级的动作。轻微——记录、继续观察影响单批任务——通知责任人、限时处置影响面扩大或涉及数据错误——升级到系统负责人同时评估是否触发暂停。每一级写清通知谁、多久之内、用什么动作。响应约定里最要紧的一栏是接手人异常发生在非工作时间第一接手人是谁、第二接手人是谁、联系不上的升级路径是什么。这栏空着其余约定都可能在第一个周末失效。暂停约定触发条件和暂停期间的业务出路。什么条件下暂停——错误率达到约定上限、出现数据错误类失败、外部依赖持续超时逐条写明。谁来执行暂停、暂停影响什么、业务临时怎么走回到人工核验延后处理、恢复需要什么证据。暂停不是失败是受控学习的一部分真正失败的设计是没有暂停按钮或者没人敢按。这三套约定落进一张运行条件表字段是条件、证据、缺口、核验方式、确认角色、限制与复核。每一行回答一个问题这个条件现在满足吗凭什么说满足谁确认的有什么限制什么时候再看一次这张表和第 17 篇的授权矩阵、第 18 篇的处置决策表是同一族产物——把运行期的临场判断提前变成照表执行的既定动作。还有一层容易漏外部依赖的运行条件。核验系统调用的接口、鉴权、上游数据源对方系统维护窗口、限流规则、接口变更通知机制都属于运行条件。第 18 篇讲过具体接口的超时与重试行为只能查那一家的官方说明——这一条在运行期同样成立而且要在条件表里单列因为它不在你自己的控制范围内。四、安排小范围运行和恢复演练条件齐备不是上全量的同义词。下一步是限定范围运行先小范围、真数据、真用户、受监控地跑起来让证据自己长出来。范围怎么定至少要写清三件事任务起止——什么算范围内澄川限定资料类型、限定申请单来源什么算范围外服务时间——运行窗口是工作时段还是全天退出条件——什么情况下这个小范围运行结束无论成功还是收缩。范围写不清小范围会在运行中悄悄长大风险跟着长大证据却还是按小样本收集的。小范围运行期间那 2 笔未完成的任务是最有价值的资产。给失败做分类是数据问题、外部依赖问题、边界条件还是规则缺口。第 16 篇的排障方法在这里继续用只是视角从找一次偏离变成给一批失败归类。错误分类补齐之后93.3% 这个数才有解释力——同样是两个失败上游接口超时和系统把资料类型判错指向完全不同的处置前者要谈的是依赖方和重试策略后者要回到第 13 篇的检索与判据。没有分类的失败率只是一个让人不安的数字有了分类它才变成一张工作清单。然后是为质量复核留出位置。小范围运行的一个常见浪费是跑完了才发现没人安排复核合格一栏永远填不上。复核谁来做、按第 15 篇哪条判据、抽样还是全量、复核结论记在哪里这些要作为运行安排的一部分在启动前定下来。澄川这份运行说明能写出质量未知已经算诚实更多团队的版本是连未知都没写直接把完成率当成了质量。然后是恢复演练。第 18 篇在隔离环境里演练过超时处置那是机制验证这一篇的演练是在小范围运行里演练运行级的恢复假设监控告警触发走一遍发现、通知、暂停、处置、恢复的全流程计时、记录、找漏洞。有一个纪律必须放在演练开始前恢复动作执行前先核对已有的错误记录——这次告警影响的任务与已记录的错误是否同一批、恢复动作会不会对已受损数据造成二次影响。带着错误记录做恢复才不会把恢复做成二次事故。演练本身留档模拟的什么异常、各角色是否按约定动作、哪里卡住、改了什么。演练中值得专门计时的一段是从告警到暂停——这是整套机制里最贵的几分钟。信号发出后看到的人是否知道自己就是第一接手人、暂停入口是否顺手可得、按下去之后业务侧看到什么提示每个环节都可能卡住。演练第一次走不通是常态走不通的地方就是运行条件表里缺口一栏的内容。这份记录和第 16 篇排障卡、第 18 篇演练记录进同一个档案——它是这套运行机制还活着的持续证据也是向管理者汇报能不能扩大时最硬的一页材料。两个反例要钉在墙上。其一30 笔观察不是长期可靠性的证明——它只证明在这 30 笔、这段时间、这个负载下的表现样本量和时间跨度都撑不起一直可靠的结论。其二全量上线不能代替受控学习——跳过小范围直接全量等于把学习过程放在最大风险敞口下进行学到的每一课都按全量用户计价。五、据证据决定扩大或继续修订小范围运行结束面前是三条路扩大范围、维持观察、收缩修订。选哪条依据是证据对照约定条件不是情绪对照演示效果。三条路都值得认真走一遍推演。扩大——前提是各维度证据齐备且达标包括质量维度维持观察——趋势向好但样本或时长不够追加一个观察周期并写明这个周期结束时要看到什么收缩修订——某一维出现不可接受的证据比如错误分类里出现了结论错误但未拦截这一类这时收缩不是认输是把损失停在最小的学费额度上。最难走的是第三条因为演示效果还挂在那里承认现在不行需要顶住进度压力。运行条件表这时候显出价值决定依据写在表里争议就有了对事的坐标而不是对人的立场。判断的动作是把运行条件表再过一遍每个条件现在的证据是什么完成率 93.3% 达到了约定目标吗及时率选哪个口径对照未知项补齐了吗——质量复核做了吗合格率是多少错误分类里有没有不能接受的那一类成本在预算内吗接手安排被真实验证过吗澄川这个时点上的诚实结论是完成与及时两维有初步证据质量维度未知错误分类和责任人目标待补齐——所以决定不是扩大是补齐这四项之后复评。这个结论写出来不漂亮但它是唯一能被证据支撑的结论。运行说明里那句不能断言不是谨慎的修辞是证据的边界。BABOK 把这类判断放在方案评估的框架里衡量绩效、分析度量、评估解决方案内部和外部的局限、再提出改进建议。它强调的一点值得抄下来绩效度量本身很少直接说明价值要结合业务目标解读并且要警惕小样本和短时段造成的错误信号。《业务分析实践指南》在组织过渡一节讲的是同一件事的另一面过渡要分阶段每个阶段做一次继续或停止的决定决定依据准备就绪评估而不是项目进度的压力。迁移练习留给你把你手头系统最近一次测试通过翻出来写下它的任务起止和服务时间然后回答三个问题——出现什么信号时应当暂停暂停时由谁处理凭什么证据可以恢复三个问题有一个答不出那张运行条件表就还没填完。下一篇处理运行证据的另一个去向系统跑得更快了、指标更好看了业务真的受益了吗——怎样把局部性能的改善换算成完整任务层面站得住的价值说明。