【AI 辅助声明】本文由作者与 AI 协作者共同完成实验与所有数字来自开源仓库github.com/a9320/arcanum-sparkMITAI 参与整理成文。每个数字都可在文末出处表指到的判分件里逐位复核。一、满分成绩单上的一根刺我们的 AI 审计管线里有一个微调出来的判据模型Laya421M 的 ModernBERT 系决策模型它的工作是给每条审计假设打分这条值不值得花验证预算KEEP还是直接剪掉PRUNE。它的考卷叫 hard-exam v224 道题KEEP 6 条 / PRUNE 18 条其中最难的是一组叫BOUND 边界对的题——K真攻击和 B良性孪生两条标题完全相同表面措辞打平判据只藏在攻击路径的细节里比如外泄目标是不是敏感数据、端点是不是外部可达。这组题就是专门用来测模型是真懂还是背词面的。第六代r6的成绩单相当漂亮24/24 全对AP1.0 满分排序Brier 0.029。但细看逐题分数有两根刺校准退步了ECE 从上一代的 0.043 退到0.1016——排序满分但分数当概率用的可靠性在变差一道题的余量只剩 0.0012BOUND-1B良性孪生侧的 p_keep 0.4988。它判对了0.5判 PRUNE但离 0.5 的判定线只差0.0012——模型其实认为这条有一半该保留。第二根刺比第一根更危险。这一代判对 ≠ 下一代判对0.4988 这个数随时会因为一批新训练数据翻到 0.5 以上变成一条带着满分排序伪装的误报。头号风险清单上它排第一。二、r7把刺拔掉——然后看到跷跷板的第一端第七代的训练目标很集中修掉 BOUND-1B 的薄余量顺便把校准拉回来。训练数据只加了 19 条529 条总量一代 50 秒。结果先说好的部分r6 → r7 的逐题分数timing-r7.json原件可查题目标签r6r7BOUND-1BPRUNE0.4988 ⚠️0.0BOUND-2BPRUNE0.31310.0BOUND-3BPRUNE0.12720.0BOUND-4BPRUNE0.06110.0BOUND-1K~5KKEEP0.82~0.92全部 1.0BOUND-1B 从 0.4988 修到0.0B 侧 4 条归零K 侧全员拉满23/24ECE 0.1016 →0.0417校准和排序第一次同时到位。然后是代价——表里少了一行它才是主角BOUND-5B0.483 → 0.9999。上一代它还是 0.483判对虽然也不算稳这一代它直接回弹穿顶从及格边缘变成彻底判反。B 侧 5 道题修好了 4 道剩下那道反而恶化到满格。修一个孪生坏另一个——这就是跷跷板的第一端。三、r8联合锚定把跷跷板摁给我们看第八代我们换了个思路不再零敲碎打地修错题而是联合锚定——K 和 B 两侧的同型异实例在同一轮训练里成对补给把结构自驳的锚点铺宽模型不该只学会这一条是良性而该学会这一类形状如何自证清白。数据加 20 条549 条总量50 秒训练完的分数是这样的题目标签r7r8BOUND-5BPRUNE0.99990.9634仍在 0.5 上方 仍是错题BOUND-1KKEEP1.00.7916BOUND-2KKEEP1.00.6867三个事实一个比一个扎心5B 只被压下去一点点0.9999 → 0.9634离判对还差得远——联合锚定没有修好这道错题K 侧先塌了两条真攻击题从 1.0 分别跌到 0.79 和 0.69——锚点铺宽没铺到 K 侧的自信上排序被反超错题 5B 的 0.9634 现在压在两条真 KEEP0.79 / 0.69头上——排名倒挂出现了。AP 从 1.0 掉到0.9484Brier 0.0417 → 0.0464。这就是跷跷板的完整形态错题和排序在这组数据里是此消彼长的两端。你可以把 4 道错题修到 0 分但最后那道错题会和你的排序质量锁在一根杠杆上。四、我们的处置负面结果也是资产r8 没有被扔掉也没有被伪装成成功r8 留在谱系里作为一份有完整记录的负面结果判分件、逐题分数、训练数据构成全部归档生产位留任 r7r9 的近距克隆批因方向踩在同一条跷跷板上BOUND-5B 属 B 侧误报方向主动缓行——知道哪条路不通之后不通的路不再花算力顺带一个未结案的观察项也入了档r7 的温度拟合撞到了 0.1 的下限钳位r5 是 0.7r6 无此现象——极端锐化与 ECE 改善同向。这条没有结论只是记下来留给以后的校准轮。这里有一条我们反复付过学费的纪律负面结果如果不留档它会在三个月后变成一次重复的失败。r8 的 0.9484 和 r6 的 0.0012 余量一样都是写下来才能相信的东西。五、跷跷板教会我们的三件事1. 数据侧的决策同样能让分数说谎。和基准答案错位是同族问题上一篇刚讲过这次没有答案错但数据补给策略本身就携带偏置——联合锚定在修 B 侧的同时稀释了 K 侧的梯度。指标全线红之前先问数据动了什么。2. 薄余量是债不是分数。0.4988 和 0.4999 在这一代是同一个判对但风险完全不同。给判据模型做验收时逐题余量分布应该和准确率一起看——只看对错你会把一颗雷当成勋章。3. 跷跷板不是 bug是任务结构的性质。KEEP/PRUNE 的判据藏在细节里而细节的梯度会被对偶样本互相拉扯。接受它的存在然后用留谱系、缓方向、生产位保守来管理它——而不是幻想有一代模型同时赢下两端。下一篇A 型 #3讲另一个方向的发现有些盲区换再强的模型也修不掉。附本文数字的仓内出处供核对数字 / 事实出处r6/r7/r8 逐题分数与 summaryreports/hard-exam-v2/timing-r6.json、timing-r7.json、timing-r8.jsonitems[].p_keep逐位可查24 题 KEEP 6 / PRUNE 18 与 BOUND 家族构造eval/build_hard_exam.py、eval/build_r4/r5_hardneg.pyr7/r8 训练条数529/549与 loss 轨迹eval/finetune_train.py输出日志、docs/ROADMAP.mdR7/R8 条目r8 留谱系不晋级、R9 缓行docs/ROADMAP.mdR7 校准轮条目、docs/EVAL-LEDGER.mdr7 温度 0.1 下限钳位观察项docs/ROADMAP.mdR7 条目附注良性孪生 / BOUND 判据设计本文同系列上一篇、eval/build_r3..r8_hardneg.pydocstring本文写于 2026 年 10 月。系列前篇《当第一个真实开源仓把我的 AI 审计管线撑爆》《基准真值也会错》。仓库github.com/a9320/arcanum-sparkMIT。