论文名片项目内容论文名​Corners for Layout: End-to-End Layout Recovery from 360 Images作者​Clara Fernandez-Labrador、José M. Fácil、Alejandro Pérez-Yus、Cédric Demonceaux、Javier Civera、José J. Guerrero发表​arXiv 2019.03 →IEEE RA-L 2020机器人与自动化快报DOI: 10.1109/LRA.2020.2967274一句话贡献​第一个端到端的全景布局恢复模型网络直接输出墙角在哪连起来就是房间不需要任何前后处理江湖地位​把全景布局重建从几何优化流水线时代推进到纯深度学习端到端时代它提出的EquiConvs球面卷积​ 成了全景视觉的通用工具一、它要解决什么问题作者开篇点名了当时这个领域的三大顽疾顽疾 1假设太重大部分现有方法都对场景做了或明或暗的假设——比如盒子形状、曼哈顿布局。翻译成人话PanoContext房间必须是长方体LayoutNet默认长方体L 形房间直接崩DuLa-Net虽然不再预设角点数但仍要求曼哈顿墙必须互相垂直。真实世界里斜墙、圆弧墙、不规则房间比比皆是。假设越重能用的场景越少。顽疾 2太慢上不了机器人当时的流程是三段式预处理消失点检测 / 对齐 → 网络预测 → 后处理几何优化拟合 ↑ 这一动辄几十秒机器人导航、AR/VR 都要求实时几十秒一张图根本没法用。顽疾 3全景图的变形没人认真处理360° 全景图摊平后等距柱状投影靠近天花板/地板的区域被拉伸得极其夸张。标准卷积StdConvs是为平面照片设计的它在全景图上一把尺子量到底不知道自己正在被拉伸——学到的特征是畸变的。二、核心思路别绕弯了直接预测墙角这是整篇论文最漂亮的一招也是End-to-End的底气所在。前人的弯路预测边界/分割图 → 提取几何元素 → 按规则拟合 3D 盒子 → 优化求解 ↑ 中间每一步都可能出错、都要时间CFL 的直路网络输出墙角概率图 → 取最大值 → 连起来 → 完事类比别人画房间是先画墙线、再找交点、再量角度、再调整CFL 是直接在图上点几个点——这几个就是墙角然后把点连起来。为什么敢这么干​ 因为房间的形状本质上就由它的角点决定。给了所有角点房间就唯一确定了。所以预测角点是最短路径。三、技术拆解 ①网络结构整体架构输入256×128 RGB 全景图 ↓ ResNet-50 编码器ImageNet 预训练 ↓ 解码器skip connections 多分辨率初步预测 ↓ 输出两张图各 128×64 ├─ 边界图 m^eedge map—— 房间结构线在哪 └─ 角点图 m^ccorner map—— 墙角在哪 ← 只有这张真正用来出结果三个关键设计① 骨干用 ResNet-50ImageNet 预训练论文特意说明ResNet 能在不增加参数量的前提下加深网络而且 ImageNet 预训练带来的通用底层特征让收敛更快。ResNet-50 的感受野达 483×483 像素对 256×128 的输入绰绰有余——每一层都能看到整个房间。② 解码器融合两种技巧跳跃连接skip connections把编码器各层的特征上卷积后拼到解码器对应层保留细节多分辨率初步预测在中间层就先做一次粗预测再把这个粗预测拼回去喂给网络类似深度监督思路。③ 激活函数中间层用 ReLU预测层用 Sigmoid——因为输出的是概率图值要在 0~1 之间。一个巧妙的副任务网络同时预测边界图和角点图但最终只用角点图。为什么要多此一举论文指出预测边界图是个辅助任务auxiliary task相当于一种正则化——逼网络先理解墙的结构再去定位角在哪。消融实验证实加了边界图两张图的质量都提升了。四、技术拆解 ②标签怎么造线加粗 高斯模糊Ground Truth 的形式每张全景图配两张图m^e边界图属于房间结构边的像素 1其余 0m^c角点图属于墙角的像素 1其余 0。关键一招线加粗 高斯模糊原始的标签是一条细线、一个孤立点——非 0 即 1非常硬。作者做了两步软化线加粗line thickening把单像素宽的线加粗成一條带高斯模糊Gaussian blur让边缘平滑过渡。为什么​ 论文本人的解释非常实在这让损失函数的下降变成连续的而不是二值的。类比你让学员打靶如果只看中/不中他得不到任何改进方向如果告诉他离靶心还有 3 厘米、偏左上他才知道怎么调整。模糊后的标签就是后者——离角点近的像素给 0.7稍远给 0.3网络有了梯度方向。五、技术拆解 ③损失函数对付95% 都是 0这是和 HorizonNet 同一个敌人但用了不同的武器。问题角点图/边界图里约 95% 的像素都是 0。网络只要一律答 0正确率就有 95%损失还很低——它会直接躺平。解法加权交叉熵N 总像素数N_t 该类别0 或 1的像素数少数类值为 1 的墙角权重极大多数类值为 0 的背景权重极小。单像素损失深度监督4 个分辨率同时算损失不仅在网络最终输出k4算损失还在3 个中间层k1,2,3各算一次。好处浅层也要对答案负责梯度能直接传回网络前部训练更稳、收敛更快。对比一下 HorizonNet 的解法两者面对同一个95% 是 0的问题走的是两条路CFLHorizonNet思路加权给少数类加大权重换表示改成 1D 回归根本不产生 0比喻考试里给难题加分直接换一张没有送分题的卷子六、技术拆解 ④从角点到 3D 房间快到离谱的一步这是 CFL 快 100 倍 的秘密所在——它几乎没有后处理。完整四步第 1 步取最大值在角点概率图上直接取激活值最大的那些坐标就是墙角的 2D 位置。第 2 步单位球上连线把这些角点投影到单位球面上按从左到右的顺序依次连接再重投影回全景图平面 → 得到 2D 布局。为什么要在球面上连而不是图上连因为球面才是真实几何——在摊平的图上连直线回到 3D 就歪了。第 3 步只做一个假设推断 3D 布局时只假设天花板与地板平行。注意这句话的分量它不强制墙与墙垂直不要求曼哈顿。斜着相交的墙CFL 照样能表达。第 4 步单位相机高度把角点投影到地板平面和天花板平面给定单位相机高度 1因为单张图本来就测不出真实尺度结果都是按比例的up-to-scale。整个过程没有优化迭代、没有拟合、没有搜索——所以快。七、技术拆解 ⑤EquiConvs球面卷积——论文的第二个核心贡献这是 CFL 里最学术、也最有迁移价值的部分。问题标准卷积不懂全景图的拉伸标准卷积的卷积核是固定大小的方格子比如 3×3。但在等距柱状投影里靠近赤道画面中间水平线拉伸小一个像素代表的实际角度小靠近两极天花板、地板拉伸极大一个像素代表的实际角度很大。同一个 3×3 的核在赤道看到的是一小片真实世界在两极看到的却是一大片被压扁的世界。网络学到的特征因此跟位置绑死了——图一旋转、相机一平移它就不认识了。EquiConv 的做法让卷积核随纬度变形核心定义卷积核不再是方格子而是球面上的一块曲面片spherical surface patch。它由两组参数定义参数含义角大小​ α_w × α_h这个核在球面上覆盖多大的角度范围分辨率​ r_w × r_h在这个范围内采样多少个点位置​ (φ, θ)核中心的球面坐标经纬度关键性质核的形状由球面几何决定不是学出来的论文明确说 offsets 是 fixed不是 learned这一点和可变形卷积deformable convolution很像但偏移是几何驱动的固定值而非网络学习。一个特别优雅的细节边框不用 padding标准卷积在图像左右边缘要补零zero-padding——但全景图的左右边缘其实是同一条线360° 绕回来了补零等于告诉网络这里是一片黑。EquiConv 的处理偏移会自动把采样点带到图像的另一侧天然实现绕回wrap-around。效果论文官网专门放了个演示视频把全景图从 0° 转到 360°EquiConvs 的预测始终一致StdConvs 则会在两端各预测一次同一个墙角因为它不知道左边缘和右边缘是同一个地方。代价版本单张耗时CFL StdConvs0.46 秒​CFL EquiConvs3.47 秒​慢了约 7.5 倍——但换来的是鲁棒性。八、实验设置数据集数据集用法细节SUN360​训练 测试约500 张卧室与客厅全景图Stanford 2D-3D-S​只测试跨数据集更难的实验室、走廊等杂乱场景一个负责任的细节SUN360 原本把所有房间都标成了盒子形但真实房间不都是盒子。作者手工重新标注了 35 张让它们的形状更贴近真实——这样才真正测得出能不能处理非长方体。训练细节设置值骨干ResNet-50ImageNet 预训练输入分辨率256×128输出分辨率128×64两张图优化器Adam初始学习率2.5e-4每轮指数衰减 ×0.995正则L2 权重衰减 Dropout 0.3​Batch size16数据增强随机擦除random erasing、水平镜像、0°~360° 水平旋转​实现TensorFlow注意随机擦除这个增强很对症它随机挖掉图像的一块——正好模拟家具遮挡逼网络学会脑补。九、实验结果主结果SUN360训练也在这里方法3D IoU ↑CE ↓PE^SS ↓PE^CS ↓PanoContext67.221.604.5510.34Fernandez et al.———7.26LayoutNet74.481.063.34—DuLa-Net77.42———CFL StdConvs​78.79​0.792.49​3.33CFL EquiConvs​77.630.78​2.643.03​说明PE^SSSimple Segmentation只区分天花板/地板/墙三类PE^CSComplete Segmentation把每一面墙分开算——能反映墙与墙的分界对不对是更严格的指标。CFL 自己提出了后者。跨数据集Stanford 2D-3D-S只在 SUN360 上训练方法3D IoU ↑CE ↓PE^SS ↓PE^CS ↓Fernandez et al.———12.1LayoutNet64.561.445.16—CFL StdConvs​65.131.444.75​6.05​CFL EquiConvs​65.23​1.645.527.11注意 Stanford 2D-3D-S 是完全没训练过的跨数据集测试分数普遍下降——这很正常也说明跨数据集泛化仍是难题。速度快 100 倍以上方法单张耗时PanoContext 300 秒​LayoutNet44.73 秒DuLa-Net13.43 秒CFL EquiConvs​3.47 秒​CFL StdConvs​0.46 秒​统一在 NVIDIA Titan X Intel Xeon 3.5GHz 上测DuLa-Net 在 1080Ti 上测CFL StdConvs 比 LayoutNet 快约 97 倍比 PanoContext 快 650 倍以上。​ 这就是端到端、无后处理的直接收益。鲁棒性实验EquiConvs 的主场作者做了两组压力测试相机平移-0.3h ~ 0.3hh 为相机高度和相机旋转-30° ~ 30°。扰动版本F1Acc / IoU平移​EquiConvs64.25 ± 2.36​90.16 ± 0.8 / 47.37 ± 2.57平移StdConvs63.00 ± 5.8589.70 ± 1.89 / 89.70 ± 1.89旋转​EquiConvs59.51 ± 9.2​88.64 ± 3.5 / 42.97 ± 9.4旋转StdConvs54.99 ± 11.886.83 ± 4.7 / 38.88 ± 11.7怎么读这张表​ 两个数都要看均值更高旋转下 EquiConvs 59.51 vs StdConvs 54.994.5标准差更小±9.2 vs ±11.8——表现更稳定不会因为相机歪一点就大幅波动。结论EquiConvs 在手持相机拍的、歪歪扭扭的全景图上显著更可靠。所以论文给了个很实用的建议用三脚架拍的、角度正的图 → 用StdConvs快 7.5 倍手持拍的、角度乱的图 → 用EquiConvs更稳。消融结论EquiConvs 整体优于 StdConvs在鲁棒性和多数指标上加边界图辅助任务能提升性能两张图的质量都变好。十、局限性作者很坦诚局限 1凸性假设 —— 从左到右连会出问题这是最大的坑。论文的原文我们直接把角点从左到右连接这意味着如果因为场景的凸性导致某面墙被遮挡我们的端到端模型就会失效。通俗解释想象一个L 形房间你站在短边上往里看。这时凹进去的那个角可能被前面的墙挡住看不见。而从左到右连线这个规则默认所有角都可见、且顺序就是空间顺序——一旦有角被挡连出来的形状就错了。作者给的补救方案可以加上他们之前工作 [fernandez2018layouts] 的几何后处理但——代价高而且需要曼哈顿世界假设。等于把端到端的优势又还回去了。这是个真实的取舍困境。局限 2结果是按比例的up-to-scale只给单位相机高度意味着输出的是相对尺寸。要知道房间真实是几米宽得额外给相机高度。局限 3EquiConvs 慢3.47 秒 vs 0.46 秒慢 7.5 倍。虽然仍比前辈快十几倍但对严格实时场景还是偏慢。局限 4跨数据集泛化仍不理想Stanford 2D-3D-S 上分数从 78 掉到 65说明在 SUN360卧室客厅上学到的东西搬到实验室走廊就打折。局限 5只预测有几个角没有显式墙结构不强制曼哈顿是优点更灵活但也意味着没有几何约束兜底——预测的角点如果有噪声会直接影响最终形状不像曼哈顿方法那样能自动掰正。自身局限依然假设墙面竖直、地板天花板平行无法处理斜顶、曲面墙、弧形房间角点预测是核心瓶颈如果某个墙角被家具完全遮挡、预测漏检会导致整个布局轮廓出错输入分辨率较低256×128布局细节精度有上限。和同期经典方法的横向对比维度PanoContextLayoutNetHorizonNetCFL发表年份2014201820192019核心思路传统几何 假设排序CNN 2D 密集预测 复杂后处理1D 向量预测 RNN角点预测 极简后处理曼哈顿假设严格严格严格放松Soft Manhattan速度几十秒秒级20ms 级15ms 级3D IoU标准长方体集67.23%75.12%84.23%78%最大亮点开创领域布局任务深度学习化极致轻量化长方体精度最高端到端 支持复杂户型简单总结HorizonNet 走的是 “1D 极致压缩” 路线在标准长方体房间上精度最高、速度最快CFL 走的是 “低假设 端到端” 路线速度同样达到毫秒级还能处理斜墙、多边形等非标准户型通用性更强。十一、历史定位与影响它改变了什么维度CFL 之前CFL 之后流程预处理 网络 后处理三段式纯网络端到端​速度十几秒 ~ 几分钟亚秒级StdConvs 0.46s​几何假设长方体 / 曼哈顿只假设天花板-地板平行​对全景变形基本不管或用圆形 padding 应付EquiConvs 从几何上解决​对后续的影响EquiConvs / 球面卷积成了全景视觉的通用工具被深度估计、语义分割等任务广泛借鉴它证明了直接预测角点这条路走得通——后来的 Single-Shot Cuboids 等也沿用角点回归思路它与同期2019 上半年的 HorizonNet、DuLa-Net 一起构成了全景布局重建的深度学习第一波浪潮。三篇论文几乎同时出现各有侧重DuLa-Net双投影看天花板解决复杂房型HorizonNet1D 表示 LSTM精度最高CFL端到端最快假设最松最照顾机器人实时性。一个有意思的对比后来的综述论文 [3D Scene Geometry Estimation from 360 Imagery: A Survey] 对 CFL 有一句很中肯的评价CFL 的 SDNN球面卷积版对相机对齐引起的畸变更鲁棒但如果输入全景图已经做了重力对齐标准卷积的竞争力也不差。这其实和论文自己的建议一致对齐做得好 → StdConvs 够用且快对不齐 → EquiConvs 更稳。十二、一句话总结 四条可迁移的思路CFL 用一句话概括就是与其绕一大圈去拟合几何不如让网络直接告诉你墙角在哪然后把点连起来。它砍掉了前后处理快了 100 倍砍掉了曼哈顿假设能处理斜墙还发明了 EquiConvs让卷积真正懂全景图的球面变形。代价是一旦有墙角被挡住它的从左到右连线就会出错。四条可以带走的思路最短路径往往藏在重新定义输出里。​ 别人输出边界图、分割图、1D 曲线CFL 问了一个更根本的问题决定房间形状的最小信息是什么——答案是角点。找到那个最小充分表示中间步骤就全都可以砍掉。给网络一个副任务比加正则项更有效。​ 边界图最终根本没被使用但预测它的过程显著提升了角点图的质量。多学一件事能把主任务学得更好——这是深度学习里最划算的免费午餐之一。当你的数据有内在几何结构时把结构焊进算子里。​ EquiConvs 的偏移量不是学出来的是按球面几何算出来的固定值。这意味着它不需要数据去学哪里被拉伸了——先验知识直接内置。能用公式写清楚的先验别让网络去猜。更快和更稳常常不可兼得那就做两个版本让用户选。​ 论文没有强行选一个而是给出 StdConvs快 7.5 倍适合三脚架和 EquiConvs稳适合手持两个版本并明确说明各自适用场景。诚实呈现取舍比强推一个最优解更有价值。核心贡献总结首个端到端全景布局方案首次实现了从全景图到 3D 布局的近乎端到端推理后处理极简速度提升两个数量级推开了实时布局估计的大门。提出 EquiConvs 球面卷积解决了等距柱状全景图的固有畸变问题提出了一种通用的全景图像卷积方案被后续大量全景视觉工作沿用。放松曼哈顿假设提出 Soft Manhattan 软约束在保留合理几何假设的同时支持非直角、多边形房间拓展了布局估计的适用范围。精度与速度双突破在比之前方法快百倍的同时精度还实现了明显提升。 名词小抄名词大白话CFL​Corners for Layout本文方法名端到端end-to-end输入图像直接出结果中间不插手、不后处理角点图 m^c​网络输出的图每个像素表示这里是墙角的概率边界图 m^e辅助输出标出房间的结构线只用于训练不用于出结果线加粗 高斯模糊把非 0 即 1的硬标签软化成连续值让网络知道离得多远加权交叉熵给稀有的1墙角加大权重治95% 都是 0的偷懒病深度监督不止在最后一层算损失中间层也算梯度传得更顺凸性假设默认所有墙角都可见、且从左到右有序——有遮挡就失效EquiConvs​球面卷积核的形状随纬度自动变形适应全景图的拉伸StdConvs标准卷积固定方格核不懂全景变形wrap-around全景图左右边缘本是一条线EquiConvs 自动绕回不用补零up-to-scale只有相对尺寸没有真实米数单张图测不出绝对尺度PE^SS / PE^CS简单像素误差天花板/地板/墙三类/ 完整像素误差每面墙分开算更严格CFL 自己提出Random Erasing训练时随机挖掉图像一块模拟家具遮挡逼网络脑补3D IoU / CE立体重叠比例越大越好/ 角点误差越小越好