Loss曲线在夜里忽高忽低确实容易让人给它安排一个故事学习率太激进数据正在发生相变或者模型终于“悟了”。但一条曲线能容纳的解释太多先缩小实验往往比先扩大叙事更有帮助。我会先问这次改了几个变量比较的窗口一样长吗同一个种子有没有重跑日志里有没有记录失败和提前终止这些问题不浪漫却能减少把偶然现象写成规律的冲动。先列搜索表别用回忆挑胜者下面只是实验组合与数据切分校验。它不训练模型也不模拟一组“看起来真实”的Loss。固定候选集合、保留全部种子并明确训练和评估样本不重叠至少能避免在记录层面偷换条件。from itertools import product learning_rates [1e-4, 3e-4] seeds [7, 17, 27] runs [{lr: lr, seed: seed, status: not_run, loss: None} for lr, seed in product(learning_rates, seeds)] assert len(runs) 6 assert len({(r[lr], r[seed]) for r in runs}) 6 train_ids {sample-1, sample-2, sample-3} eval_ids {sample-4, sample-5} assert train_ids.isdisjoint(eval_ids) assert all(r[loss] is None for r in runs) print(six planned runs; split disjoint; no fabricated loss values: PASS)成功一次和稳定成功是两种问题IBM Research的10月20日文章区分平均成功率与四次尝试全部成功的Pass^4。它们回答的问题不同不能把一次成功当作稳定性的证据也不能把论文的分数借给自己的小实验。研究原文对超参数实验也一样。若一个配置只在某个种子上最好可以保留这个观察但结论应限于这次比较。还要看方差、失败率和预算必要时用新的评估样本确认避免反复看同一测试集直到挑出满意答案。上面的标准库例子已在本地验证组合数量与切分不重叠没有训练、GPU或真实模型测试。图中的研究者与表格是情境示意格子不是运行成绩。我仍然愿意叫这个过程“炼丹”因为它包含等待和手感。但手感可以帮助提出假设不能替代记录。天亮以后如果还说不清哪次改动对应哪条曲线先补那一格记录不必急着给模型写一篇悟道传。