Scan2CAD15 分钟把扫描场景自动套上可编辑 CAD 家具【免费下载链接】Scan2CAD[CVPR19] Dataset and code used in the research project Scan2CAD: Learning CAD Model Alignment in RGB-D Scans项目地址: https://gitcode.com/gh_mirrors/sc/Scan2CAD你用 RGB-D 相机扫了一间会议室得到的是一堆没法直接拖进 CAD 软件编辑的点云想给里面每件椅子、桌子标上参数化模型靠手动一件件比对着摆一坐就是几个小时。Scan2CAD 是 CVPR 2019 的开源项目用三维卷积神经网络把形状数据库里的 CAD 模型自动对齐到三维扫描这件事自动化点云与模型之间的对应点和位姿由网络预测优化后直接给出对齐结果。它正适合点云对齐、BIM 数字化和 AI 逆向工程这类工作流。从扫描到可编辑模型Scan2CAD 能力速览项目内容输入RGB-D 扫描点云/网格 家具 CAD 形状数据库输出与扫描对齐的 CAD 模型含 9DoF 位姿平移、旋转、缩放耗时论文报告约 15 分钟/场景替代数小时人工精度特征匹配置信准确率 92%误差控制在 ±2mm数据规模1506 个扫描、14225 个物体、97607 组扫描-CAD 关键点对应第一次跑出对齐结果Scan2CAD 推理步骤先克隆仓库并装好 Python 依赖git clone https://gitcode.com/gh_mirrors/sc/Scan2CAD cd Scan2CAD pip install -r Routines/Script/requirements.txt按顺序做六件事备数据项目依赖 ScanNet 扫描、ShapeNet CAD 模型和 Scan2CAD 标注三套数据按 README 说明申请后把内容拷进Routines/Script/。仓库已带Assets/scannet-sample/、Assets/shapenet-sample/等样例目录够你先跑通流程。编译 C 工具依次进入Routines/Vox2Mesh/、Routines/DFGen/、Routines/CropCentered/执行make。体素化运行python3 ./Routines/Script/CADVoxelization.py把 CAD 转成距离场体素网格。生成训练样本运行python3 ./Routines/Script/GenerateCorrespondences.py产出扫描中心裁剪、CAD 热力图、缩放标签与匹配标签完整数据约 500GB。训练与推理训练完成后跑 9DoF 对齐并导出网格查看cd Network/pytorch ./run.sh python3 ../Routines/Script/Alignment9DoF.py --projectdir ./output/dummy python3 ../Routines/Script/Alignment2Mesh.py --alignment ./tmp/alignments/dummy/scene0470_00.csv --out ./原理通俗版三步在扫描里找到家具 体素化把场景切成魔方格子点云和网格不好直接喂给网络Scan2CAD 先把三维空间切成边长 3cm 的格子每个格子记录到最近表面的有符号距离——像给魔方每个小格贴上离表面还有多远的标签正值在物体外、负值在内。扫描用 SDF、CAD 用 DF 表示两边统一成网格后才可比。这一步由 体素化模块 完成。特征匹配让 CNN 找哪个点对哪个点网络输入一块扫描中心裁剪 一个 CAD 体素输出三样东西一张热力图标出扫描点在 CAD 上落在哪相当于给模型贴坐标贴纸、CAD 的三个轴向缩放、以及两者语义是否匹配。粗略对应关系到这里就定了。姿态优化9 个自由度把家具塞进扫描以热力图结果为初值优化器再调 9 个参数——3 个平移、3 个旋转、3 个缩放——让 CAD 表面尽可能贴住点云。相关实现在 姿态优化源码。 常见卡点与解决办法数据集下不到完整标注需按 README 申请zip 约 8MB生成后的训练数据约 500GB磁盘紧张就先用Assets/下的样例。对齐错位、匹配不上先检查扫描有无遮挡和噪声把体素尺寸降到 2cm 以下或增加优化迭代次数。训练慢、显存爆batch_size降到 4数据加载线程数设为 CPU 核数的 80% 左右模型不复杂时把特征维度从 128 降到 64。参数建议范围影响voxel_size0.02–0.05 m越小越精细但计算与存储同步上涨batch_size4–8大则训练快吃显存特征维度64–256几何复杂的 CAD 建议 128 以上数据集、样例与贡献入口跑通流程的样例Assets/scannet-sample/扫描、Assets/shapenet-sample/CAD、Assets/scannet-voxelized-sdf-sample/与Assets/shapenet-voxelized-df-sample/体素化结果。训练配置Assets/training-data/trainset.json是网络的训练列表。贡献入口网络结构在Network/pytorch/model.py损失函数在losses.py修 bug、加新数据格式或新评测指标都可以直接提 PR。【免费下载链接】Scan2CAD[CVPR19] Dataset and code used in the research project Scan2CAD: Learning CAD Model Alignment in RGB-D Scans项目地址: https://gitcode.com/gh_mirrors/sc/Scan2CAD创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考