# Distilling Long-tailed Datasets 复现说明 ## 当前状态 - 官方代码已克隆到 LTDD_official/。 - 使用本机 PyCharm 已配置环境 C:\ProgramData\miniconda3\envs\pytorch-gpu\python.exe - 该环境已有 torch 2.8.0cu128、torchvision 0.23.0、CUDA 可用未重复安装 PyTorch。 - CIFAR-10 数据集已复用本机已有副本通过目录联接放在 LTDD_official/dataset/cifar-10-batches-py。 - 已跑通 CIFAR-10-LT 的冒烟流程一阶段专家轨迹 - 二阶段专家轨迹 - DAM-ED 蒸馏。 ## 兼容性修改 为避免向现有环境重复安装依赖做了少量本地代码兼容 - utils/zca_compat.py用 PyTorch 实现 ZCA替换 kornia.enhance.ZCAWhitening。 - utils/utils_gsam.py、utils/utils_baseline.py、utils/utils_arch.py改用本地 ZCA。 - utils/cfg.py用 YAML 配置类替换 yacs。 - distill/DAM-ED_tesla.py、distill/baseline.py、distill/distill_arch.pywandb 改为可选缺失时使用 utils/wandb_stub.py。 - utils/utils_baseline.py移除缺失的 dataset_cifar10imbalance_testset.py 导入该文件只影响 CIFAR10_LT_testset不影响论文主实验。 ## 冒烟实验结果 - 一阶段num_experts1, train_epochs1成功生成 replay_buffer_0.pt。 - 二阶段num_experts1, train_epochs1成功生成 replay_buffer_0.pt。 - 蒸馏Iteration2, epoch_eval_train10完整跑通。 - 冒烟最终测试准确率约 25.76%仅用于验证链路不代表论文结果。 ## 正式复现命令CIFAR-10-LT, imbalance0.005, IPC10 在 PowerShell 中执行 powershell cd 1Zhao_Distilling_Long-tailed_Datasets_CVPR_2025_paper\LTDD_official\buffer C:\ProgramData\miniconda3\envs\pytorch-gpu\python.exe buffer_FTD.py --cfg ../configs/buffer/CIFAR10_LT/imbrate_0005/first_stage_weight_balance.yaml C:\ProgramData\miniconda3\envs\pytorch-gpu\python.exe buffer_FTD.py --cfg ../configs/buffer/CIFAR10_LT/imbrate_0005/second_stage_weight_balance.yaml cd ..\distill C:\ProgramData\miniconda3\envs\pytorch-gpu\python.exe DAM-ED_tesla.py --cfg ../configs/CIFAR-10/ConvIN/imbrate_0005/local_full_ipc10.yaml ## 其他实验 - CIFAR-10-LT 其他 imbalance替换配置目录中的 imbrate_0005 为 imbrate_001、imbrate_002、imbrate_01。 - CIFAR-100-LT、TinyImageNet-LT使用 configs/buffer 和 configs/CIFAR-100、configs/TinyImageNet 下对应配置。 - ImageNet-LT需要先准备 ImageNet 数据集并修改 data_path官方仓库中相关配置未包含完整 ImageNet-LT 蒸馏配置需按论文补充。 - 本地完整配置已把多卡 device 改成单卡 [0] configs/CIFAR-10/ConvIN/imbrate_0005/local_full_ipc10.yaml。 ## 时间与资源提示 正式配置为 100 个一阶段专家、100 个二阶段专家蒸馏 10000 次单张 RTX 5060 8GB 预计需要数小时到更久完整复现建议使用多卡或按需减小 num_experts、train_epochs、Iteration。 ## 中等规模实验结果2026-10-18 - 配置configs/CIFAR-10/ConvIN/imbrate_0005/medium_ipc10.yaml - 一阶段5 个专家每个 20 epochs二阶段5 个专家每个 5 epochs。 - DAM-ED 蒸馏100 iterations每 25 iterations 评估一次评估 50 epochs。 - 评估准确率序列32.28% - 34.02% - 34.53% - 32.52% - 37.23%。 - 该结果是缩减版用于验证训练趋势不是论文正式结果。