每日技术复盘 Day 28 领域Agent Infra可观测性 / 告警设计 / 恢复分层素材10/10 21:09 – 10/14 11:09 全链 402 停摆39 次运行无一完成、零告警含「上一期复盘被腰斩」自证案例复盘时间2026-10-14缺期说明Day 2710/9之后、本期之前缺 10/10–10/13 四期——其中 10/10 当期写到一半即被本故障腰斩其余三期从未启动。〇 对账第三期距上期 5 天#上期建议状态核对依据10/14①投资资讯任务超时预算 900→1200❌ 连续第 4 晚未落地配置实读仍为 900且故障窗口恰好掩盖了该任务的越线风险三天没跑②恢复侧模板续接/重试✅ 再实盘两处 新增一类金价「路径C续接」16:00与豆瓣「停一拍→续接」19:08均一次成功新增「服务自愈」类浏览器被关闭后提交任务即自动拉起已固化到运维笔记③发布与收尾拆分检查点化⏳ 待决策本期无新越线样本建议仍挂④复盘对复盘✅ 第三期本表——⑤链长审计 延续恢复日各链均在预算内微博链 11:02→11:10 约 8 分钟⑥【本期新增】failureAlert 缺口 定位完毕、待决策28 条任务 failureAlert 全部为空模型 fallbacknextnone。见 ④ 提案① 现象用户视角10/10 晚起系统的全部自动输出小说、复盘、资讯、日报、金价、日记……彻底停止。持续到 10/14 10:27用户发问「我的定时任务了」——系统连这句都答不出回复只以「空消息 stopReasonerror errorMessage402」的形态留在会话档里从未送达。系统视角10/10 21:09:03 – 10/14 11:00:1186 小时窗口内39 次调度运行无一完成38 次首个模型请求即被拒1 次执行了 8 分 52 秒后被腰斩——正是上一期10/10复盘自己它当时正在生成对账证据表。第二故障域浏览器自 10/13 10:01 被关闭窗口关闭→扩展断连→任务池清空。与 402 相互独立但同窗口叠加。② 排查全只读、约 15 分钟会话档回放10/11、10/12、10/13 各 11 次运行失败三天共 33 个失败档错误行形态统一stopReasonerrorerrorMessage402 status code (no body)10/14 上午再 3。网关日志10/13 全部时点 40210/14 10:27:46 最后一次 402 → 11:00:11 首个请求转 200闸门解除点落在 10/14 10:28–11:00 之间无我方动作记录。调度配置实读failureAlert 28/28 全空模型 fallback 决策nextnone备用链长度 0consecutiveErrors 持续累计本任务 5——计数在管道缺。群聊镜像最后一条 10/10 19:10:03 → 空窗 → 首条恢复 10/14 11:09:45空窗 86h00m。成本纪律全程只读、零取证泥潭各调查步骤 ≤2 分钟。③ 根因三层电源层模型接口402计费类在第一次模型调用就拒绝——一切寄生在 LLM 之上的东西任务执行、心跳、告警、甚至复盘同一秒全灭。通知层成功才投递失败任务没有产出 → 没有消息可投递 →「失败」与「无事发生」在用户侧同构。静默不是没有信号是通知模型把信号丢掉了。信号层告警缺席失败自始被完整记录日志/计数/镜像但没有一个通道把它「说出口」——failureAlert 未配置、无外部观察者。结构性洞察观测者必须与被观测系统异层若告警由 LLM 生成则与故障同生共死调度器/网关层的 failureAlert 是现成的「异层通道」。备用链长度 0 ≠ 有备用failover 机制存在但候选为空且同账户的备选也共享同一计费闸门——「异层」原则对备援同样适用。④ 解决 / 提案恢复事实10/14402 由平台侧于上午解除非我方动作11:00:11 首个 200微博链 11:02 启动、11:09 首条交付同日补跑机制全生效微博、日报、小红书卡登录墙老问题、金价、豆瓣——全部接回浏览器自愈路径当日固化无需手动拉起直接提交任务即触发服务 auto-launch。提案【P0】关键任务配置 failureAlert—— 通道在调度/网关层、不依赖模型建议after≥2、announce 到群。以本次为标尺若 10/10 晚即配置至少省下 3.5 天静默。【P1】二级「产出完备性」复核—— 由当日成功任务顺带核验注意其自身依赖 LLM402 场景同灭只能作二级兜底。【P2】402 处置清单发现 → 提示检查账户计费/额度 → 恢复后核对补跑 → 告知。⑤ 复盘静默故障 失败 × 无信号修复优先级永远是先让失败可见再谈自动恢复。计数 ≠ 告警consecutiveErrors 一直在涨——数据早已存在只差「接出来」这一公里。把已有数据接给人眼是性价比最高的可靠性投资。观测者异层原则问任何一个告警系统「你自己依赖什么」再问「它挂了谁来喊」。恢复分层认知可自愈类子进程提交触发不可自愈类平台侧只能快检知 告知。按「可自愈 / 可重试 / 需人工」分层是恢复策略的前提。黑色幽默归档上一期复盘被它要记录的故障腰斩于第 8 分 52 秒本期把它作为首个完整案例。复盘可以迟到但不会缺席。系列坐标Day 26「取证不是恢复」→ Day 27「恢复跟着残留状态走」→ Day 28「发现必须走出失效系统异层观察」。应用场景Agent Infra、可观测性建设、告警设计、故障复盘、恢复分层关键词静默失败、402、failureAlert、告警异层、备用链、恢复分层、可观测性