ICLR 2020 | NAS‑Bench‑201拓展可复现神经架构搜索的研究范围01 论文信息02 论文主要贡献03 基准设计详解3.1 搜索空间架构宏观网络骨架待搜索 Cell 单元3.2 数据集与划分3.3 训练配置与评测指标3.4 诊断信息04 实验分析4.1 搜索空间系统性分析架构整体性能概览跨数据集架构排序验证精度与测试精度相关性动态排序行为4.2 十类 NAS 算法基准测试4.3 关键实验发现4.4 与现有基准的对比05 个人声明01 论文信息论文题目NAS‑Bench‑201: Extending the Scope of Reproducible Neural Architecture Search论文作者Xuanyi Dong, Yi Yang发表会议ICLR 2020代码链接https://github.com/D‑X‑Y/NAS‑Bench‑20102 论文主要贡献提出统一评测基准 NAS‑Bench‑201在 NAS‑Bench‑101 基础上扩展拥有全新搜索空间、多数据集实验结果以及更丰富的诊断信息为几乎所有主流 NAS 算法提供公平可比的实验平台。构建算法无关的固定搜索空间将 Cell 建模为4 节点、5 种候选算子的有向无环图DAG总计生成5 6 15625 5^6156255615625个候选神经单元无拓扑边数约束适配强化学习、进化算法、可微搜索等全部主流 NAS 范式。公开全量架构训练日志提供全部15625 1562515625个架构在 CIFAR‑10、CIFAR‑100、ImageNet‑16‑120 三个数据集上、统一训练配置下的完整训练日志与性能指标研究者无需重复训练即可聚焦搜索算法本身极大降低 NAS 研究的算力门槛。系统性分析与大规模基准测试从架构性能分布、跨数据集排序相关性、动态收敛行为等多个角度分析搜索空间并对 10 种主流 NAS 算法完成标准化基准测试为后续算法设计提供实证参考。03 基准设计详解3.1 搜索空间架构宏观网络骨架NAS‑Bench‑201 沿用主流Cell‑based NAS的网络范式整体宏观骨架固定仅搜索内部 Cell 结构。网络开头为输出通道数 16 的3 × 3 3\times33×3卷积 BN 层主体分为 3 个 Stage每个 Stage 堆叠N 5 N5N5个搜索得到的 Cell三个 Stage 的通道数分别为 16、32、64。Stage 之间使用步长为 2 的残差模块完成下采样与通道翻倍其捷径分支由步长 2 的2 × 2 2\times22×2平均池化 1 × 1 1\times11×1卷积构成。网络末尾接全局平均池化最后通过全连接层 Softmax 输出分类结果。待搜索 Cell 单元Cell 被建模为稠密连接的有向无环图DAG。设 DAG 包含V VV个节点规定边仅从序号更小的节点指向序号更大的节点i j ijij因此边的总数为E ( V 2 ) V ( V − 1 ) 2 E \binom{V}{2} \frac{V(V-1)}{2}E(2V​)2V(V−1)​每条边绑定一个算子对源节点特征做变换后传入目标节点目标节点接收所有入边变换后的特征图做逐元素求和运算。当V 4 V4V4时边数E 6 E6E6。算子集合一共 5 种零化操作zeroize直接丢弃该边的特征跳跃连接skip connection恒等映射1 × 1 1\times11×1卷积ReLU → Conv → BN3 × 3 3\times33×3卷积ReLU → Conv → BN3 × 3 3\times33×3平均池化。由于 zeroize 算子可以丢弃任意一条边虽然定义为稠密完全图实际搜索出的 Cell 可以是任意稀疏拓扑。本基准不对边的数量做强制约束因此适配绝大多数 NAS 算法包括全部 Cell‑based NAS 方法。搜索空间总规模为∣ Ω ∣ 5 6 15625 |\Omega| 5^6 15625∣Ω∣56156253.2 数据集与划分使用CIFAR‑10、CIFAR‑100、ImageNet‑16‑120三个图像分类数据集全部统一划分训练集、验证集、测试集消除不同论文划分不一致带来的不公平对比数据集训练集验证集测试集CIFAR‑10原始训练集前 25000 张原始训练集后 25000 张原始测试集 10000 张CIFAR‑100原始训练集 50000 张原始测试集前 5000 张原始测试集后 5000 张ImageNet‑16‑120151700 张3000 张3000 张其中 ImageNet‑16‑120 基于16 × 16 16\times1616×16降采样版 ImageNet选取标签 1~120 共 120 个类别。3.3 训练配置与评测指标所有候选架构采用完全统一的训练超参数标准配置记为H † H^\daggerH†参数取值参数取值优化器SGD Nesterov 动量初始学习率0.1动量0.9终止学习率0权重衰减0.0005学习率调度余弦退火总 epoch200batch size256初始通道数16Cell 节点数V VV4每 Stage Cell 数N NN5数据增强随机翻转 随机裁剪此外针对 CIFAR‑10 提供另一套超参集合H ‡ H^\ddaggerH‡仅训练 12 个 epoch为 Bandit 类算法提供短训练预算。每个架构使用不同随机种子重复训练记录每一个 epoch 下训练/验证/测试的损失与精度。通过 API 可以几乎零开销查询任意架构任意一轮实验的全部指标。3.4 诊断信息NAS 算法通常只使用验证集精度作为监督信号但该信号十分稀疏。NAS‑Bench‑201 额外提供三类训练过程统计量架构计算开销指标每个架构给出参数量、FLOPs、GPU 推理延迟面向边缘设备、带算力约束的 NAS 算法可直接读取。细粒度训练评测信息完整记录每个 epoch 的损失、精度变化可分析收敛速度、模型稳定性、过拟合程度支持基于早期 epoch 预测最终精度的研究。训练完成的网络权重参数公开全部架构训练后的权重为超网络 NAS 提供真值标签方便研究架构之间的参数迁移。04 实验分析4.1 搜索空间系统性分析架构整体性能概览参数量会影响模型性能但参数量相同的架构性能差异依旧很大说明算子的连接方式拓扑结构对效果至关重要。ResNet 在三个数据集上表现具备竞争力但仍存在性能更高的架构在 CIFAR‑100、ImageNet‑16‑120 上相比最优架构低约 2%同等参数量条件下低约 1%。跨数据集架构排序架构在不同数据集上的性能排序大体保持一致但存在一定差异。这一特性可用于检验 NAS 算法搜索结果的泛化能力。验证精度与测试精度相关性同一数据集内部验证集与测试集相关性高跨数据集相关性偏低。直接将 A 数据集搜出的最优架构迁移到 B 数据集不一定能得到好效果说明需要研究具备迁移能力的 NAS 算法。当只看性能靠前的一批架构时相关系数会显著下降。动态排序行为随着训练轮数增加基于验证集得到的架构排名会逐步逼近最终测试集的真实排名。4.2 十类 NAS 算法基准测试本文在 NAS‑Bench‑201 上评测 10 种主流 NAS 算法作为基线包括随机搜索RS、带参数共享的随机搜索RSPS、进化算法REA、强化学习REINFORCE、ENAS、可微方法DARTS‑V1/V2、GDAS、SETN、超参优化BOHB。全部实验在单张 GTX 1080Ti GPU 上完成。不带参数共享的 NASREA、RS、REINFORCE、BOHB借助基准查表搜索评估流程可压缩到数秒参数共享类方法的搜索阶段仍需 GPU 小时级运算但省去了选出架构后的重训步骤。4.3 关键实验发现无参数共享的 NAS 整体优于参数共享类方法。使用短 epoch 训练H ‡ H^\ddaggerH‡即可得到比较可靠的架构相对排序。DARTS 系列容易退化。DARTS‑V1、DARTS‑V2 容易搜索出全部边都是 skip‑connection 的 Cell推测原因是 DARTS 原始超参是为自身搜索空间调优并不适配 NAS‑Bench‑201 搜索空间。BN 层处理方式对参数共享 NAS 影响巨大。使用 Batch 内部统计量不用运行时累计均值方差效果明显更好。搜索过程曲线分析DARTS‑V1 会逐步过拟合到全跳跃连接结构DARTS‑V2 可一定程度缓解但迭代多轮后依旧过拟合切换 BN 使用 batch 统计量可进一步缓解。RSPS、GDAS、SETN、ENAS 每一步只优化 1/5 的共享参数因此训练轮次需设置为 DARTS 的 5 倍。4.4 与现有基准的对比基准架构总数数据集数量算子数量拓扑约束支持算法范围诊断信息NAS‑Bench‑101~510k15限制最大边数部分支持无NAS‑Bench‑2011562535无约束全部支持细粒度训练信息、参数量等NAS‑Bench‑101 将算子定义在节点上且强制限制 DAG 边的上限很多参数共享的 NAS 难以兼容NAS‑Bench‑201 将算子定义在边上符合 DARTS、GDAS 等主流算法范式且放开全部边的约束做到算法无关。05 个人声明本文为作者对原论文的学习笔记与心得分享受个人学识与理解所限文中对论文内容的解读或有不够周全之处一切以原论文正式表述为准。本文仅用于学术交流与传播内容均由作者独立整理完成不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议请及时与作者联系作者将在第一时间核实并妥善处理。