如何让3D高斯贴合物体表面SuGaR面向网格重建与网格渲染表面对齐高斯泼溅方案 计算机视觉技术原理本博客由计算机视觉实践撰写是面向技术从业者的一篇计算机视觉技术原理深度解读。本博客较长建议收藏后分次阅读。前言本博客解读的SuGaR在原生3DGS渲染损失之外增加表面对齐正则约束引导三维高斯贴合场景表面分布基于对齐后的高斯集合采样点云执行泊松重建得到三角网格还支持把高斯绑定到网格表面做联合优化打通3DGS到可编辑三角网格的链路兼顾新视角渲染与传统三维编辑能力。【Figure 1 SuGaR完整管线示意图】3D Gaussian Splatting在新视角合成任务上的优势已经在大量数据集与落地项目中得到验证显式基元表征搭配可微分光栅化管线可以在较短训练周期内生成具备照片级观感的渲染结果渲染阶段也能维持较高帧率。计算机视觉实践在持续跟进各类3DGS衍生方案的过程中持续观察到原生3DGS存在一个很难回避的短板原生优化目标只由光度损失主导优化过程不会强制约束高斯的空间分布贴合物体真实表面。原生3DGS的高斯会为了拟合不同视角下的色彩观测在物体表面两侧、空间空隙中散布大量高斯基元。部分高斯悬浮在物体表层之外部分高斯重叠堆叠在表面内部高斯集合整体是松散无组织的只服务像素色彩拟合不具备清晰的表面几何定义。这种特性在只做渲染的场景下不会暴露明显缺陷但是当业务需要拿到三角网格资产开展模型雕刻、材质修改、重光照、动画绑定、传统DCC软件编辑的时候松散无序的高斯集合就很难直接使用。在SuGaR出现之前从辐射场表征提取网格的主流路径大多依托神经SDF方案。神经SDF依靠隐式符号距离场表达表面使用Marching Cubes提取等值面得到三角网格。这套流程的问题集中在训练耗时很长大规模场景下训练周期可达数小时Marching Cubes提取过程容易丢失细小几何细节网格拓扑容易出现破碎、孔洞隐式场本身的渲染速度也弱于3DGS光栅化渲染。同时SDF和3DGS属于两套完全不同的表征体系很难直接复用3DGS已经训练好的场景资源。计算机视觉实践认为SuGaR的核心定位不是替换原生3DGS的渲染管线而是给3DGS增加几何表面约束能力在保留3DGS高速渲染优势的前提下构建一条从多视图图像输入到可编辑三角网格的短链路。整套方案可以在分钟级时长内输出网格资产网格提取依托泊松重建相比Marching Cubes对细节保留能力更强可选的网格-高斯联合精化阶段还可以让网格几何和高斯外观互相适配最终得到既能用传统网格工具编辑又可以用3DGS光栅化做高质量渲染的混合表征。本博客会沿着应用场景拆解现存业务痛点、梳理SuGaR对应的解决思路之后逐层拆解表面对齐正则损失、泊松网格提取流程、高斯-网格绑定联合精化这三大核心模块解释每一项设计背后的几何逻辑说明为什么这套正则约束可以改变高斯的分布形态以及泊松重建相比Marching Cubes在这套输入条件下具备的适配优势。本博客还会区分SuGaR和同期2DGS、SDF重建方案的边界差异梳理这套方案适合和不适合的业务场景。一、应用场景3DGS几何表征缺陷与SuGaR的解决思路1.1 问题描述SuGaR面向的应用场景集中在三维数字资产生产管线、AR/VR交互式内容制作、扫描重建后的模型编辑、重光照内容生成。这类业务的共同特征是最终产出不能只停留在可渲染的高斯文件必须输出符合工业标准的三角网格资产接入成熟的图形编辑工具链。这类业务对重建方案提出多层约束。第一资产编辑需求。艺术家需要对扫描得到的物体模型做雕刻、局部形变、拓扑调整、骨骼绑定、UV展开。原生3DGS没有显式表面拓扑编辑只能逐个调整百万级高斯参数操作成本极高无法适配常规DCC工作流。三角网格是工业界通用表征所有主流三维编辑软件原生支持网格操作因此需要从高斯集合反推连续、干净的三角表面。第二兼顾渲染质量。很多网格重建方案在提取网格之后只能使用传统纹理贴图渲染纹理烘焙过程会丢失视角相关的视差、高光变化最终渲染观感弱于3DGS原生渲染。业务希望编辑主体依托网格但是渲染阶段依旧可以复用3DGS的照片级外观能力。第三控制重建时间成本。神经SDF方案训练周期长单一场景经常需要数小时资产迭代调试效率很低原生3DGS训练很快但是缺少表面约束直接提取网格的结果不可用。业务需要把3DGS训练的高效性继承下来再用轻量化的后处理流程得到网格。第四几何细节保真。物体边缘、细小凸起、薄结构是资产价值的关键部分。Marching Cubes在隐式场采样密度不足的时候会平滑掉细小结构输出网格丢失细节不能满足高精度扫描资产的需求。计算机视觉实践在这里拆解原生光度损失主导下高斯分布失控的底层原因。光度损失只衡量渲染像素和真值像素的颜色差异优化器只需要找到一组高斯在各个训练视图上投影混合之后匹配色彩。满足这个目标的高斯分布不是唯一的。优化器倾向于在深度方向堆叠多层高斯用多层高斯的透明度叠加拟合视角依赖的外观这个过程不会区分高斯落在物体表面内侧还是外侧也不会约束高斯法向和表面法向对齐。当高斯大量悬浮、多层堆叠之后从高斯密度场中采样点云会混入大量游离的离群点。离群点进入重建流程之后泊松重建或者Marching Cubes都会生成错误的等值面出现多余的漂浮面片、内外翻转、孔洞也就是直接从原生3DGS提取网格效果普遍很差的根源。同期其他面向表面重建的3DGS方案一部分思路是直接限制高斯沿视线方向的尺度强制高斯变薄也就是2DGS的平面高斯思路。这类方案改变高斯椭球的形态约束把高斯限制在近似二维薄片SuGaR的思路和它存在区分SuGaR的约束目标不是强制高斯本身变成薄片而是约束高斯整体分布贴合连续表面高斯本身依旧保留三维椭球自由度只是分布被表面正则拉向物体表层。神经SDF方案的另外一层短板在于表征割裂。SDF训练和3DGS训练是两套独立管线输入同样的多视图图像需要重新完整训练隐式场已经训练完成的3DGS场景无法复用。SuGaR是在3DGS原有训练循环内增加正则项属于对3DGS优化流程的改造不需要切换到隐式场范式。1.2 解决问题的思路SuGaR整体管线分成三个递进阶段带表面对齐正则的高斯优化阶段、泊松网格提取阶段、高斯绑定网格的联合精化阶段。第一阶段在原生光度损失之外引入基于高斯密度场推导的SDF一致性正则损失。该损失引导高斯的密度分布形成一个连续、光滑的表面等值面高斯倾向于集中分布在物体表层减少表面内外的多层堆叠与游离高斯让高斯集合的密度场可以可靠表达物体表面位置。这个阶段依旧保留光度损失新视角渲染质量不会出现明显下滑。第二阶段利用经过正则对齐后的高斯密度场在空间中采样大量落在表面附近的点同时估计点的法向信息把点和法向输入泊松表面重建算法直接输出三角网格。泊松重建本身对带法向的点云输入适配性更好相比Marching Cubes不需要构建规则体素网格更容易保留局部细节同时处理速度更快。第三阶段属于可选精化流程。把高斯基元绑定到上一步输出的三角网格面片之上高斯的位置、法向跟随网格表面之后联合优化网格顶点坐标和绑定在网格上的高斯参数优化监督信号依旧是3DGS的光度渲染损失。这个阶段让网格几何和高斯外观互相校准网格拓扑更加贴合真实几何高斯外观也适配网格表面经过绑定之后用户编辑网格顶点、形变网格的时候附着在面片上的高斯会同步跟随网格变化实现基于网格的高斯场景编辑。整套管线的正交性很强。第一阶段只是给3DGS增加损失项光栅化内核、渲染逻辑没有改动训练完成之后既可以像普通3DGS一样直接做新视角渲染也可以走后续网格提取流程。用户可以按需选择是否执行网格提取与精化不需要网格的场景可以直接只使用带正则的高斯渲染结果。计算机视觉实践在这里明确SuGaR的取舍。这套方案优先打通“3DGS→可编辑网格”链路它不追求SDF那种极致封闭水密网格泊松重建输出网格在部分复杂遮挡、薄结构区域依旧会存在边界缺陷但它的优势在于训练速度、渲染质量、编辑能力三者同时兼顾填补原生3DGS和隐式SDF重建之间的空白。二、核心技术创新详解2.1 基于高斯密度场的SDF一致性正则损失SuGaR最核心的创新模块就是表面对齐正则项。原生3DGS只优化光度损失L p h o t o L_{photo}Lphoto​SuGaR在优化目标中叠加L s u r f a c e L_{surface}Lsurface​总损失为光度损失加上表面正则损失两个损失同步参与梯度回传共同约束高斯参数更新。SuGaR从高斯混合密度场出发推导近似符号距离函数。每一个三维高斯具备均值位置、协方差矩阵、透明度参数空间任意查询点的密度由所有高斯在该点的密度累加得到。在理想的物体表面位置密度场会形成一个清晰的分界表面一侧属于物体内部另一侧属于外部。SuGaR构造正则损失让从高斯密度场估算出来的符号距离和理论上的表面距离保持一致推动密度场形成单薄层的表面分布抑制多层堆叠的高斯结构。这个正则约束的几何含义可以拆解为两层。第一层抑制同一根视线上出现多层高斯。多层高斯会让密度沿着视线方向出现多个峰值对应的SDF会出现多组零等值面也就是多个虚假表面正则损失会惩罚这类多峰密度分布让视线方向上只有一个主要密度峰值对应唯一的物体表面。第二层推动高斯的中心落在零等值面附近也就是物体表层减少大量高斯悬浮在表面之外或者堆积在内部。计算机视觉实践需要区分SuGaR正则和2DGS尺度正则的差异。2DGS直接约束高斯三个缩放分量的比例强制高斯在一个维度上压缩变成薄片形态是对单个高斯本身形状的强约束SuGaR的正则不直接限制高斯椭球的长宽高比例它约束的是全体高斯叠加形成的全局密度场的分布形态高斯个体依旧可以保留三维椭球形态只是整体聚集在表面等值面附近。这个正则在实现上不需要额外的深度真值、法线真值只依靠高斯自身的密度场做自监督约束不需要引入外部传感器观测输入和原生3DGS保持一致只需要多视图彩色图像与初始稀疏点云。这个自监督属性是SuGaR可以广泛适配普通多视图数据集的重要原因。在优化调度层面正则损失的权重是可调超参。权重过高的时候表面约束会压倒光度损失渲染画质下降权重过低高斯堆叠、游离的问题无法得到改善。论文在实验中设置了稳定的权重调度策略训练前期以光度损失为主逐步提升正则损失权重先保证基础渲染效果收敛再逐步引导高斯贴合表面。2.2 基于泊松重建的网格提取流程在高斯经过表面对齐正则优化收敛之后密度场已经形成干净连续的表面零等值面SuGaR在这个密度场上执行点采样得到带法向的点云送入泊松重建算法输出三角网格。采样阶段算法在空间中寻找密度场零等值面附近的采样点同时利用密度场梯度计算该点对应的表面法向。密度梯度方向就是表面法向方向梯度指向密度升高的一侧以此区分内外保证所有采样点的法向具备统一朝向不会出现大量法向翻转。带一致法向的点云是泊松重建的理想输入。泊松重建的底层逻辑是求解一个指示函数指示函数在物体内部取1外部取0点云及其法向作为约束条件拟合该函数之后提取指示函数的等值面作为网格。对比Marching CubesMarching Cubes依赖规则三维体素网格体素分辨率固定细小几何结构如果小于体素尺寸就会被平滑抹除泊松重建不需要规则网格它基于点云的局部法向拟合隐式函数在点云采样充足的区域可以保留更高的几何细节。同时泊松重建的计算开销可控在SuGaR的场景规模下网格提取只需要数分钟完成和神经SDF数小时的训练周期形成明显差距。计算机视觉实践在这里说明一个关键前提泊松重建的效果高度依赖输入点云质量。原生3DGS的密度场混杂大量游离高斯采样点云离群点多法向混乱泊松重建输出网格质量很差经过SuGaR表面正则之后密度场等值面干净采样点集中在真实表面法向一致性高泊松重建才能发挥优势。网格提取阶段是后处理步骤不会修改已经优化完成的高斯参数。高斯集合和网格在这个阶段是两套独立表征高斯负责渲染网格负责编辑直到进入可选绑定精化阶段二者才建立强耦合关系。2.3 高斯绑定网格与联合优化精化策略网格提取之后SuGaR提供可选的绑定精化流程这个阶段的目标是把高斯附着在三角网格面片之上建立高斯和网格拓扑之间的绑定关系之后联合优化网格顶点坐标与高斯参数。绑定操作的具体逻辑是在每一个三角面片表面采样位置放置高斯高斯的局部坐标系对齐面片的法向。高斯不再自由漂浮在空间中它的基础位置由所属面片决定当面片顶点移动、网格发生形变的时候附着在面片上的高斯会跟随面片同步变换。这个绑定关系是SuGaR支持网格驱动高斯编辑的核心。联合优化阶段可优化变量分为两类网格顶点的三维坐标、绑定在面片上的高斯参数包括高斯的缩放、旋转、透明度、球谐颜色。优化的监督信号依旧是多视图光度损失没有新增其他外部损失。优化器会调整顶点位置修正泊松重建带来的微小几何偏差同时调整高斯的外观参数让附着在网格表面的高斯可以在各个训练视图上还原照片级渲染效果。计算机视觉实践梳理这个阶段带来的两层收益。第一几何自校准。泊松重建输出的网格会存在局部微小偏移联合优化依靠渲染光度约束反向微调顶点让网格表面和真实场景几何贴合度进一步提升。第二编辑链路打通。用户不需要操作数百万高斯只需要在常规网格编辑软件中拖动顶点、雕刻面片、做形变高斯跟随网格同步变化形变之后依旧可以使用3DGS光栅化渲染保留高质量的视角相关外观这是传统纹理网格渲染很难实现的效果。需要注意精化阶段属于可选分支。如果业务只需要快速拿到网格资产不需要后续形变编辑可以直接在泊松重建之后停止管线跳过绑定与联合优化节省计算时间。2.4 两套表征模式的切换能力SuGaR产出包含两种可用表征模式模式之间可以按需切换。第一种模式是非绑定模式也就是经过表面正则优化后的自由高斯集合。高斯分布贴合表面但是高斯和网格之间没有绑定关系网格只是从高斯密度场提取出来的副产品。这个模式适合只需要导出网格做资产交付后续编辑不修改高斯渲染内容的场景。第二种模式是绑定模式高斯附着在网格面片上网格是主控表征高斯作为附着在表面的外观载体。这个模式面向交互式编辑、动画、形变业务。两种模式都可以使用原生3DGS光栅化管线渲染渲染速度和普通3DGS保持同一水平不会引入隐式场渲染的性能开销。这个特性让SuGaR可以同时服务离线资产生产和实时渲染两条链路。2.5 和其他几何重建方案的边界区分计算机视觉实践在这里把SuGaR和两条主流路线做清晰区分方便业务选型。第一条路线是神经SDF重建。SDF以隐式距离场为主表征网格是等值面提取结果渲染一般依靠体积渲染速度慢训练周期长但是更容易得到水密封闭网格SuGaR以3DGS高斯为主表征网格是后处理产物渲染依靠光栅化速度快训练短水密性弱于SDF。第二条路线是2DGS平面高斯。2DGS在训练阶段强制高斯变成二维薄片直接限制高斯尺度本身也可以做表面重建SuGaR不强制高斯为薄片约束全局密度场形成表面等值面高斯保留三维自由度二者正则对象不一样在薄结构、厚实体场景上具备不同适配特性。SuGaR还可以和很多其他3DGS优化方案叠加。高斯剪枝、量化、LOD这类优化作用在高斯数量和存储层面和SuGaR的表面正则不存在冲突带SuGaR正则训练之后依旧可以执行PUP这类不确定性剪枝在保留表面几何的同时压缩高斯规模。三、实验验证略写论文在标准多视图重建数据集上开展对照对比基线包含原生3DGS、神经SDF重建、同期网格渲染方案。计算机视觉实践不在本博客罗列全部指标表格与消融实验细节。实验结果验证SuGaR可以在远短于SDF方案的时间内输出三角网格网格细节保留能力优于Marching Cubes提取结果绑定网格之后的渲染指标优于传统纹理网格新视角渲染方案。四、技术贡献与技术局限略写技术贡献层面SuGaR设计自监督SDF一致性正则引导3D高斯集合贴合场景表面建立从对齐高斯到泊松网格提取的快速管线提出高斯绑定网格的联合精化方案实现依托网格拓扑编辑高斯场景兼顾3DGS渲染质量和三角网格编辑能力。局限层面计算机视觉实践严格依托论文公开内容表述不主观扩充缺陷。这套方案依赖多视图充足的彩色观测在遮挡严重、视图稀疏场景下表面对齐效果下降泊松重建不一定生成水密网格绑定精化阶段会增加优化开销正则超参需要根据场景调整权重不合适会造成渲染质量或者几何质量下滑。总结原生3DGS仅依靠光度损失优化高斯基元高斯容易多层堆叠、悬浮游离密度场缺少清晰的表面定义很难直接提取可用三角网格而传统神经SDF网格重建方案训练耗时久、渲染速度偏低。SuGaR在3DGS训练流程内加入SDF一致性表面正则引导高斯聚集在物体表层构造干净连续的密度等值面基于该密度场采样带法向点云通过泊松重建快速输出三角网格还支持把高斯绑定到网格面片上联合优化网格顶点与高斯参数构建网格驱动的编辑链路。整套方案保留3DGS高速光栅化渲染的优势同时输出兼容通用图形管线的三角网格资产在数字扫描资产制作领域具备明确落地价值。换一个角度概括这套工作的核心创新SuGaR借助作用于全局密度场的自监督正则约束改造原生3DGS的高斯分布形态使之贴合物体表面搭配泊松重建实现快速网格提取并且通过高斯-网格绑定联合优化打通网格编辑与高斯渲染的链路解决原生3DGS缺少可编辑显式几何、SDF重建效率低下的矛盾。参考SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh RenderingURLhttps://arxiv.org/abs/2311.12775本博客是对上述作者原创的技术解读仅供学习交流不代表原作者观点。 本博客部分示意图来源于上述作者论文版权归原作者所有。本博客由计算机视觉实践撰写的博客。若本博客对你有帮助欢迎收藏、转发、点赞也欢迎在评论区与我们一起探讨计算机视觉-语言预训练的更多可能。计算机视觉应用实践软件产品V1.0大中专院校的低成本视觉应用实践教学实施方案如何在一分钟以内完成 3DGS 训练LiteGS面向 3D 高斯泼溅的系统与算法协同高性能框架 计算机视觉技术原理VoteNet点云里物体的中心往往“悬在空中”三维目标检测如何让表面点学会投票——深度霍夫投票把“由点到中心”的投票装进端到端网络计算机视觉技术原理