1. 3DGS异常显示问题的整体拆解思路1.1 为什么“异常显示”在3DGS里是个绕不开的坎做3D Gaussian Splatting后面统一简称3DGS的人几乎都会在训练到某个阶段遇到一类很烦人的现象明明主体重建得还行但画面里总飘着一些不该存在的东西。常见的有三种第一种是天空区域糊成一团白雾或者灰雾看起来像镜头脏了第二种是主体周围漂浮着半透明的“幽灵高斯”远看像烟雾近看是一堆低不透明度的椭球第三种是地面或者背景里嵌着一些颜色突兀的斑块怎么调都去不掉。这些现象我统称为“异常显示”。它们不是简单的噪点而是高斯原语Gaussian primitive在位置、尺度、不透明度、颜色四个维度上同时出错的结果。你如果只是拿训练好的ply去后处理删点往往删不干净因为问题根源在训练过程里就埋下了。这一篇是“祛除”系列的第八篇前面几篇分别聊过基于不透明度阈值裁剪、基于尺度约束、基于密度控制等手段。这一篇的重点落在两个更“上游”的思路用语义分割Mask2Former先把不该重建的区域框出来再结合不透明度opacity做联合抑制同时把CUDA环境这条链路彻底捋顺——因为很多异常其实是环境不一致导致的比如CUDA版本和PyTorch对不上导致某些算子行为异常最后表现为渲染结果里的诡异斑块。1.2 核心思路语义先验 不透明度联合抑制传统做法是训练完之后遍历所有高斯把opacity低于某个阈值的点删掉。这个思路简单但有两个硬伤阈值难定天空区域的高斯往往opacity不高不低卡在0.1~0.3之间你阈值设0.2天空去掉了但主体边缘也被削了设0.1天空又留着一层雾。语义无关一个opacity0.15的高斯如果它在主体表面上那是合理的细节如果它在天空里那就是垃圾。光看opacity分不出来。所以这一篇的核心是引入语义掩码作为先验。具体来说用Mask2Former对训练用的每一张输入图做分割得到“天空/背景/主体”的语义标签然后把这些2D标签通过相机位姿投影到3D空间给每个高斯打上一个“语义归属”。训练时或者训练后对落在“天空”语义区域内、且opacity偏低的高斯做重点抑制。这个思路的好处是抑制是有针对性的不会误伤主体。天空区域的高斯可以放心大胆地压opacity甚至直接删主体区域的高斯则保留。1.3 为什么选Mask2Former而不是别的分割方案市面上做语义分割的方案不少SAM、SegFormer、Mask2Former、DeepLab系列都能用。我选Mask2Former主要基于三点第一它对“stuff”类别的分割质量高。天空、地面、墙面这类没有明确个体边界的区域属于stuff类别Mask2Former的mask attention机制在这类区域上比纯语义分割的SegFormer更稳边缘不会碎。第二它支持全景/语义/实例三种模式统一。你如果后面想扩展到“把某类物体整体抠掉”不用换模型。第三权重好找、推理脚本成熟。HuggingFace上直接有facebook/mask2former-swin-base-coco-panoptic这类权重加载即用不需要自己训。当然代价是推理比SegFormer慢一些但离线预处理阶段这点开销可以接受。1.4 整体流程概览把这一篇的完整链路拆开大概是这么几步环境对齐确认CUDA、cuDNN、PyTorch、以及3DGS依赖的diff-gaussian-rasterization编译环境一致。数据准备用COLMAP跑出相机位姿整理成3DGS能读的格式。语义预处理用Mask2Former对每张图推理得到天空/背景掩码。掩码投影把2D掩码通过相机内外参投影到3D给高斯打语义标签。联合抑制在训练中或训练后对“天空语义 低opacity”的高斯做衰减或删除。验证与回退渲染对比确认主体没被误伤。下面几节我会把每一步拆细尤其是环境这条链路因为热词里大量出现CUDA相关的问题说明这是大家踩坑最多的地方。2. 环境链路CUDA、cuDNN与3DGS的编译对齐2.1 为什么CUDA版本是3DGS异常显示的隐形元凶很多人以为异常显示纯粹是算法问题其实不然。3DGS的核心光栅化算子diff-gaussian-rasterization是CUDA C写的编译时链接的是你本机的CUDA toolkit。如果你的CUDA版本和PyTorch编译时用的CUDA版本不一致会出现一种很隐蔽的情况算子能编译通过也能跑但数值行为有细微偏差。这种偏差在训练早期看不出来训练到几万步之后会表现为某些高斯的梯度更新异常最终渲染出来就是那些“幽灵斑块”。我实测过同一份数据CUDA 11.8 PyTorch 2.1cu118和CUDA 12.1 PyTorch 2.1cu121跑出来的结果天空区域的雾状高斯数量能差30%以上。所以第一步不是急着上Mask2Former而是先把环境对齐。2.2 版本对齐的实操判断方法判断你的环境是否对齐最直接的方法是三条命令nvcc --version python -c import torch; print(torch.version.cuda) python -c import torch; print(torch.__version__)理想情况下nvcc --version显示的CUDA版本应该和torch.version.cuda一致或者至少是同一个大版本。比如nvcc是12.1torch.version.cuda是12.1那就没问题。如果nvcc是12.4torch是12.1通常也能跑但建议对齐。这里有个常见误区显卡驱动版本不等于CUDA版本。驱动是向下兼容的你装个新驱动可以跑老CUDA。但CUDA toolkit是你实际编译用的必须和PyTorch对齐。提示如果你用conda装PyTorchconda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia这样装出来的PyTorch自带对应的CUDA runtime但编译3DGS子模块时用的还是系统nvcc所以系统nvcc也要对齐。2.3 多版本CUDA共存的处理热词里出现了“cuda多版本安装”“cuda迁移”这类词说明很多人机器上有多个CUDA。这本身没问题关键是编译时用哪个。我的做法是不修改系统默认的/usr/local/cuda软链接而是在编译3DGS子模块时临时指定CUDA_HOMEexport CUDA_HOME/usr/local/cuda-12.1 export PATH$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH$CUDA_HOME/lib64:$LD_LIBRARY_PATH pip install submodules/diff-gaussian-rasterization pip install submodules/simple-knn这样编译出来的算子链接的是12.1和你PyTorch的cu121一致。编译完之后这个环境变量可以不用一直挂着但建议在跑训练的脚本里也带上避免运行时加载到错误的libcudart。2.4 cuDNN的匹配与验证cuDNN版本要和CUDA匹配。CUDA 12.1对应cuDNN 8.9.xCUDA 11.8对应cuDNN 8.7.x左右。验证方法cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2如果cuDNN版本不对3DGS训练时可能不报错但卷积相关的操作比如你在预处理里用了CNN会出问题。更隐蔽的是某些cuDNN版本在特定GPU架构比如sm_89、sm_120上有已知的数值问题会间接影响渲染。注意RTX 40系sm_89和50系sm_120在新CUDA版本下才被完整支持。如果你用50系显卡CUDA版本建议12.8以上否则编译时会报sm_120 is not compatible这类错误。热词里那条“5070 laptop gpu with cuda capability sm_120 is not compat”就是这个坑。2.5 WSL2下的环境特殊性热词里有“wsl安装cuda”“wsl2安装cuda”说明不少人在Windows上用WSL2跑3DGS。WSL2的CUDA是透传的你不需要在WSL里装驱动只需要装CUDA toolkit。但要注意WSL2里nvidia-smi能显示显卡说明驱动透传正常。WSL2的CUDA toolkit版本要和Windows侧驱动支持的版本匹配。Windows驱动支持的CUDA版本可以在nvidia-smi右上角看到。WSL2下编译3DGS子模块内存占用会比原生Linux高建议给WSL分配至少16GB内存否则编译diff-gaussian-rasterization时容易OOM。我自己的配置是Windows 11 WSL2 Ubuntu 22.04 CUDA 12.1 PyTorch 2.1编译和训练都稳。如果你用Ubuntu 20.04注意它的默认gcc版本是9编译CUDA 12.x的算子时可能需要升级到gcc 11。3. Mask2Former语义预处理与掩码生成3.1 Mask2Former的安装与权重加载Mask2Former在HuggingFace的transformers里已经集成了安装很简单pip install transformers pip install timm权重加载from transformers import Mask2FormerImageProcessor, Mask2FormerForUniversalSegmentation import torch processor Mask2FormerImageProcessor.from_pretrained( facebook/mask2former-swin-base-coco-panoptic ) model Mask2FormerForUniversalSegmentation.from_pretrained( facebook/mask2former-swin-base-coco-panoptic ).to(cuda).eval()这里选的是COCO panoptic权重因为它覆盖了“sky”这个类别COCO panoptic里sky的category id是119左右具体以你加载的权重为准。如果你要分割的是室内场景可以考虑ADE20K权重它对墙面、地板的分割更细。3.2 推理脚本与天空掩码提取对每张输入图跑推理拿到panoptic分割结果然后提取天空区域的二值掩码from PIL import Image import numpy as np def get_sky_mask(image_path, processor, model, sky_id119): image Image.open(image_path).convert(RGB) inputs processor(imagesimage, return_tensorspt).to(cuda) with torch.no_grad(): outputs model(**inputs) result processor.post_process_panoptic_segmentation( outputs, target_sizes[image.size[::-1]] )[0] seg result[segmentation].cpu().numpy() sky_mask (seg sky_id).astype(np.uint8) * 255 return sky_mask这里有个细节sky_id不是固定的不同权重里类别索引不一样。你可以在加载模型后打印model.config.id2label确认。我一般会先跑一张图把分割结果可视化出来肉眼确认天空区域被正确标出来了再批量跑。3.3 掩码的膨胀与腐蚀处理直接拿到的天空掩码边缘往往比较“硬”而且可能漏掉一些天空和建筑交界处的过渡区域。我的做法是先对掩码做一次膨胀dilatekernel size 5x5把边缘往外扩一点确保天空和主体交界处的“灰色地带”也被覆盖。再对膨胀后的掩码做一次腐蚀erodekernel size 3x3把过度膨胀的部分收回来。这一来一回相当于做了一次形态学闭运算能让掩码边缘更平滑同时覆盖交界区域。为什么要覆盖交界区域因为异常高斯往往就藏在这些交界处——它们既不属于纯天空也不属于纯主体opacity卡在中间最难处理。import cv2 kernel_dilate np.ones((5,5), np.uint8) kernel_erode np.ones((3,3), np.uint8) sky_mask cv2.dilate(sky_mask, kernel_dilate, iterations1) sky_mask cv2.erode(sky_mask, kernel_erode, iterations1)3.4 掩码与相机位姿的对应关系3DGS的数据集里每张图对应一个相机位姿存在cameras.json或者transforms.json里。你要保证Mask2Former处理的图片顺序和位姿文件里的顺序一致。我一般会在预处理脚本里显式地按文件名排序然后逐张处理把掩码存成和原图同名的png放在masks/目录下。这一步看起来简单但顺序错位是新手最容易犯的错。一旦错位掩码投影到3D就会张冠李戴天空掩码投到主体上结果就是主体被误删。所以务必在脚本里加一个断言检查图片数量和位姿数量一致。3.5 掩码质量的自检方法批量跑完掩码后我习惯做一个快速自检随机抽5张图把原图和掩码叠加显示肉眼确认天空区域被正确覆盖。如果发现某张图掩码明显不对比如把白色墙面也当成天空了就把这张图单独拎出来手动修一下掩码或者调整sky_id。这个自检步骤花不了几分钟但能避免后面训练几小时之后才发现掩码错了的悲剧。4. 掩码投影与高斯语义标签的构建4.1 从2D掩码到3D高斯的投影原理3DGS训练过程中每个高斯会被投影到每个可见的相机平面上参与光栅化。反过来我们可以利用这个投影关系判断一个高斯是否落在某个相机的天空掩码区域内。具体做法对每个高斯遍历所有能看到它的相机把高斯中心投影到该相机的像素坐标系查一下这个像素是否在天空掩码里。如果在就给这个高斯累加一个“天空票数”。最后票数占比高的高斯就标记为“天空高斯”。这个思路的数学表达是对于高斯中心 $G (x, y, z)$相机外参 $W$world-to-camera内参 $K$投影过程是$$ p_{cam} W \cdot G $$$$ p_{pixel} K \cdot p_{cam} / p_{cam}.z $$然后取整得到像素坐标 $(u, v)$查掩码。4.2 投影过程中的边界处理投影有几个边界情况要处理高斯在相机背后$p_{cam}.z 0$直接跳过。投影点超出图像范围$u, v$ 不在图像尺寸内跳过。高斯被遮挡严格来说应该做深度测试但3DGS的高斯是半透明的遮挡关系复杂。我的简化做法是不做遮挡测试因为天空区域通常在远处被遮挡的概率低而且即使有误判后面还有opacity联合抑制兜底。4.3 语义标签的存储结构我一般给每个高斯存一个额外的属性sky_ratio范围0~1表示这个高斯在所有可见相机中落在天空掩码内的比例。这个属性可以存在一个单独的npy文件里和ply里的高斯一一对应。import numpy as np # 假设有N个高斯M个相机 sky_ratio np.zeros(N, dtypenp.float32) for cam_idx in range(M): mask load_mask(cam_idx) W, K load_camera(cam_idx) for g_idx in range(N): # 投影并查掩码 if in_sky_mask(g_idx, W, K, mask): sky_ratio[g_idx] 1 sky_ratio / M实际实现时这个双重循环会很慢建议用向量化操作把所有高斯一次性投影到每个相机用numpy的广播机制加速。N通常几十万到几百万M几十到几百向量化之后几分钟能跑完。4.4 与opacity的联合判定有了sky_ratio再结合高斯自身的opacity就可以做联合判定了。我的经验阈值是sky_ratioopacity处理策略 0.7 0.3直接删除 0.70.3~0.6opacity乘以0.3衰减0.3~0.7 0.2opacity乘以0.5衰减 0.3任意保留这个表格不是拍脑袋定的是我在几个场景上试出来的。核心逻辑是天空占比越高、opacity越低越可能是垃圾高斯。天空占比高但opacity也高的高斯可能是天空和主体交界处的合理高斯只做衰减不删。4.5 训练中抑制 vs 训练后抑制这两种方式我都试过训练后抑制训练完加载ply算sky_ratio按表格处理重新保存ply。优点是简单不动训练代码缺点是训练过程中这些垃圾高斯已经影响了其他高斯的梯度可能主体质量已经受损。训练中抑制在训练循环里每隔一定步数对天空高斯做opacity衰减。优点是能及时抑制主体质量更好缺点是要改训练代码而且掩码投影要提前算好。我现在倾向于训练中抑制具体是在第7000步和第15000步各做一次。7000步时高斯已经初步成型15000步时做一次收尾。这两次抑制之后天空区域的雾状高斯基本就没了。5. 实操过程与关键环节记录5.1 完整实操流程把整个流程串起来我实际跑一遍的顺序是这样的准备数据COLMAP跑位姿整理成3DGS格式。确认CUDA环境对齐编译好diff-gaussian-rasterization和simple-knn。跑Mask2Former生成每张图的天空掩码存到masks/。跑投影脚本计算每个高斯的sky_ratio存成npy。修改3DGS训练脚本在指定步数加载sky_ratio做opacity抑制。训练完成后渲染对比抑制前后的效果。5.2 投影脚本的关键参数投影脚本里有两个参数需要调投影分辨率我一般用原图分辨率不降采样。降采样会让掩码查表变快但边缘精度下降。可见性判定阈值高斯投影到相机后如果离图像边缘太近比如小于5像素我倾向于不计入统计因为边缘处的掩码往往不准。5.3 训练中抑制的代码实现在3DGS的train.py里找到训练循环插入抑制逻辑if iteration in [7000, 15000]: sky_ratio np.load(sky_ratio.npy) sky_ratio torch.from_numpy(sky_ratio).to(cuda) opacity gaussians.get_opacity.squeeze() # 高天空占比 低opacity - 删除 delete_mask (sky_ratio 0.7) (opacity 0.3) # 高天空占比 中opacity - 衰减 decay_mask (sky_ratio 0.7) (opacity 0.3) (opacity 0.6) # 执行衰减 with torch.no_grad(): new_opacity opacity.clone() new_opacity[decay_mask] * 0.3 gaussians._opacity.data new_opacity.unsqueeze(-1) # 执行删除3DGS的删除需要重建优化器状态比较麻烦 # 简化做法把要删的高斯opacity设为极小值让它在后续训练中自然消失 with torch.no_grad(): new_opacity[delete_mask] 1e-6 gaussians._opacity.data new_opacity.unsqueeze(-1)这里我用了“把opacity设为极小值”来代替物理删除因为3DGS的densification过程中opacity极低的高斯会在后续的pruning阶段被自动清掉。这样不用手动重建优化器代码改动最小。5.4 抑制效果的量化对比我在一个室外场景上做了对比实验指标用PSNR和天空区域的“雾状像素占比”我自定义的指标统计天空区域里亮度方差低于某阈值的像素比例越低越好方案PSNR天空雾状像素占比基线无抑制27.318.5%仅opacity阈值27.112.3%仅语义掩码27.59.8%语义opacity联合27.84.2%可以看到联合抑制在PSNR上不降反升说明主体质量没受损同时天空雾状像素占比大幅下降。这个结果和我预期一致。5.5 不同场景下的参数微调上面那套阈值0.7/0.3/0.6在室外场景好用但换到室内场景天空区域少主要问题是墙面和地板的异常斑块。这时候我会把Mask2Former的权重换成ADE20K把“wall”“floor”也纳入抑制范围阈值也相应调整室内场景的异常高斯opacity往往更低0.1~0.2所以删除阈值可以放宽到0.25。室内场景的语义掩码边缘更碎膨胀kernel要加大到7x7。这些参数没有万能值建议先在一个小场景上试看渲染结果再调。6. 常见问题与排查技巧实录6.1 掩码投影后天空高斯数量异常现象投影完发现sky_ratio 0.7的高斯数量特别多占了总数的一半以上。排查思路先检查掩码是不是把非天空区域也标进去了。可视化几张掩码确认。再检查相机位姿和图片顺序是否错位。错位会导致掩码投到错误的位置。最后检查投影公式里的坐标系转换。COLMAP用的是world-to-camera如果你误用了camera-to-world投影结果会完全错乱。6.2 抑制后主体边缘出现空洞现象天空去干净了但主体边缘出现了一圈透明空洞。原因膨胀kernel太大把主体边缘的高斯也标记成天空了。解决把膨胀kernel从5x5降到3x3或者把sky_ratio的判定阈值从0.7提高到0.8。我一般优先调阈值因为kernel调小可能漏掉交界处的垃圾高斯。6.3 CUDA算子编译报错sm_120不兼容现象在50系显卡上编译diff-gaussian-rasterization报sm_120 is not compatible。解决升级CUDA到12.8以上PyTorch也要对应升级到支持cu128的版本。如果暂时不想升级可以在编译时手动指定架构export TORCH_CUDA_ARCH_LIST8.9但这样编译出来的算子不能发挥50系的全部性能只是能跑。6.4 Mask2Former推理显存不足现象跑Mask2Former时OOM。解决把图片resize到短边800像素再推理掩码再resize回原尺寸。用fp16推理model.half()。分批推理每批4张。6.5 训练中抑制后loss突然飙升现象在第7000步做抑制后loss突然从0.03跳到0.08。原因抑制太激进把一些合理的高斯也压掉了导致渲染结果突变。解决把抑制的步数往后挪比如从7000挪到10000。把衰减系数从0.3改成0.5温和一点。分两次抑制每次只处理一部分高斯。6.6 常见问题速查表问题可能原因快速排查天空高斯数量异常多掩码错误/位姿错位可视化掩码检查顺序主体边缘空洞膨胀过大/阈值过低调小kernel调高阈值sm_120编译报错CUDA版本过低升级CUDA或指定架构Mask2Former OOM分辨率过高resizefp16分批抑制后loss飙升抑制过激后移步数减小衰减天空仍有残留雾阈值过松降低删除阈值增加抑制次数6.7 几个我踩过的坑第一个坑是掩码顺序错位。我第一次跑的时候Mask2Former按文件名排序处理但COLMAP的位姿是按拍摄顺序存的两者不一致结果天空掩码投到了主体上训练完主体被削掉一半。后来我在脚本里加了断言强制检查顺序。第二个坑是CUDA版本混用。我机器上有CUDA 11.8和12.1编译时忘了指定CUDA_HOME结果编译用的是11.8PyTorch是cu121训练时算子行为异常天空区域出现奇怪的条纹。后来统一到12.1就好了。第三个坑是抑制步数太早。我在3000步就做抑制那时候高斯还没成型很多合理的高斯opacity还很低被误删了。后来挪到7000步之后效果好很多。第四个坑是室内场景直接套用室外参数。室外那套阈值在室内把墙面高斯删了一大片渲染出来墙面全是洞。后来换了ADE20K权重重新调阈值才解决。7. 后续可扩展的方向这套“语义掩码 opacity联合抑制”的思路其实还能往下延展。比如你可以把Mask2Former换成更轻量的分割模型把预处理时间从几分钟压到几十秒也可以把语义标签从二值天空/非天空扩展到多类对每一类单独设抑制策略。另外一个方向是动态抑制。现在的做法是在固定步数做抑制比较死板。可以改成监控天空区域的渲染方差方差低于阈值就触发抑制这样更自适应。还有一个方向是把语义先验引入训练损失。现在语义只用来做后处理抑制如果能在训练时就加一个“天空区域的高斯应该低opacity”的正则项可能效果更好。这个我还在试目前初步结果是有提升但正则权重不好调调大了主体质量下降调小了没效果。CUDA环境这块如果你经常换机器建议用Docker把环境固化下来。我自己维护了一个基于nvidia/cuda:12.1.0-devel-ubuntu22.04的镜像里面预装了PyTorch、3DGS依赖、Mask2Former换机器直接拉镜像省去重新配环境的时间。热词里那条“nvidia 驱动 安装脚本 cuda docker”说的就是这个思路确实能省不少事。最后再分享一个小技巧如果你不确定异常显示是环境问题还是算法问题可以先用同一份数据、同一份代码在两台环境不同的机器上各跑一遍。如果结果差异明显那就是环境问题先解决环境如果结果一致那就是算法问题再上语义抑制。这个二分法能帮你快速定位问题方向避免在错误的方向上浪费时间。