前阵子一份160页的论文在我们这个圈子里彻底炸开了锅。一位深耕图机器学习多年的研究者试图用几何学这把“旧尺子”把深度学习这几年冒出来的各路模型量一遍最后给出一套统一框架。几何深度学习、图机器学习、统一框架这几个词连在一起吸引力太强了。读完之后我的感受是它不是出来教一个具体新模型而是试图给所有模型立一套共同的“语法”告诉你为什么卷积、注意力、消息传递本质上都在做同一件事以及下一步该怎么设计更聪明的结构。这份内容适合谁看如果你平时写模型只知道大概套路说不清为什么有效如果你正在图神经网络、Transformer或者点云任务里挣扎想知道背后有没有更底层的规律又或者你只是好奇“对称性”“流形”这些数学概念怎么变成工程武器我建议你花点时间把这篇长文看完。虽然原论文有160页但真正值钱的核心思想其实用几页就能讲明白后面我会把最关键的几个点拆开该避的坑也一并列出来。1. 这篇论文到底在回答什么问题深度学习这几年有点像“门派林立的江湖”卷积神经网络守着视觉地盘Transformer在文本和序列领域称霸图神经网络在社交网络、分子预测上迅速崛起。看起来各打各的实际上大家心里都犯嘀咕为什么换个领域就要重新设计一套网络有没有一条更底层的规律能让这些模型之间的差异变小甚至变成某一套原理的特例这篇论文要回答的正是这个命题。作者给了一个非常“几何”的回答任何神经网络本质上都在处理“带结构的数据”而结构可以用空间、距离、对称性、变换这些几何语言来描述。图像是定义在二维网格上的信号适合平移、旋转等几何操作文本序列是一维线性结构适合顺序上的各种变换图则是不规则的离散结构天然带有节点置换的对称性。模型怎么设计不应该靠拍脑袋而应该由数据空间的几何性质推导出来。这种思路真正打动我的地方在于它把“为什么”从经验层面拉到了推导层面。以前我们解释卷积为什么有效会说“卷积有局部性、能共享参数”但这个解释其实不够深。用几何语言来看卷积之所以有效是因为图像存在平移对称性而你希望网络在图像平移后给出等价的预测所以底层特征提取器必须是平移等变的。卷积只是满足这种等变约束的众多选择之一而不仅仅是某个经验上好用的操作。论文里反复强调一个观念数据先于模型。不是你随便定义一个网络再去适配数据而是先研究数据集本身的空间几何再把你需要的对称性、不变性、等变性写进网络结构里网络只是几何性质的“具象化”。这种视角一旦转过来很多模型之间的神秘感就消失了。1.1 深度学习“门派林立”带来的困惑说个很现实的场景。我们的团队之前同时在搞两个项目一个做图像识别一个做社交网络里的节点分类。图像那边直接用卷积网络跑得很顺网络那边换了个图神经网络刚开始怎么调都别扭。开会的时候有人随口问了一句“为什么图像用卷积图就不能直接上卷积”答案是卷积定义在规则网格上图没有规则的临域结构所以要用消息传递来代替。这听起来合理但并没有触及本质——为什么规则网格上就能卷积不规则图上就不行从几何角度理解答案变得特别干净规则网格具有平移对称性卷积操作和这种对称性刚好“配对”你不需要为每个位置单独学习一套权重而不规则图没有平移对称性只有置换对称性即你换一个节点编号顺序模型的输出不能变。所以消息传递里聚合邻居特征那一步必须对节点顺序不敏感。均值、求和、最大值这些操作都是置换等变的所以它们成了图神经网络里最常见的聚合函数。这不是谁脑子一拍定下来的设计而是几何性质逼出来的必然选择。这种“门派林立”的局面本质上不是因为问题太多样而是因为我们缺少统一语言。一旦你用群、对称性、空间变换去重新描述问题卷积、注意力、消息传递这些看起来八竿子打不着的东西会慢慢被归到同一条线上。1.2 为什么偏偏是几何学而不是别的学科有人可能会问你说统一那为什么非要用几何学用概率论、代数或者信息论不行吗概率论当然也能解释很多现象比如为什么某个损失函数有效、为什么梯度下降能收敛代数也能描述运算结构。但几何有一个不可替代的优势它天然带着“空间感”和“方向感”能让我们把抽象的网络结构想象成一个曲面上的运动把训练过程想象成在曲面上找最短路径。这种直观性在工程上非常值钱因为你很难通过直觉去改进一串抽象的代数公式但你可以很容易地直觉到“这条路径太绕了应该走测地线”。更关键的是几何学提供了几个现成的工具箱群论负责描述对称性流形与度量负责描述数据空间测地线与曲率负责描述优化过程。这三样东西组合起来几乎覆盖了从数据到模型再到训练的完整链条。论文里就大量使用了这套工具箱把不同网络架构统一成“在特定几何空间上做特定等变操作”的形式。换一个数据集本质上就是换一个几何空间再加一组对称性约束。所以说几何学不是唯一的答案但它是最适合做“统一工作”的语言。论文选择这个视角来串联深度学习并不是为了炫技而是因为它在解释力和工程可用性之间取得了不错的平衡。我自己的体会是如果你能先用几何语言把一个已经跑通的网络“翻译”一遍再回头去设计新网络思路会清晰很多。1.3 整篇论文的叙事逻辑其实就三步160页听起来吓人拆开看作者无非在做三件事第一步从数据出发描述不同类型数据所在的空间以及这些空间上的对称性第二步由对称性推导出网络的约束条件也就是等变性要求然后看当前主流网络各自满足哪些条件第三步从网络回到数据用流形和曲率解释为什么某些网络能够泛化为什么梯度下降能找到全局最优附近的解。这三步构成了一个闭环数据定义几何几何定义网络网络反过来验证几何。我觉得这个叙事非常值得借鉴哪怕你完全不采用几何深度学习的任何一个具体方法它也是一种极好的“建模方法论”。我以前设计网络结构基本靠“参考别人开源代码试错”换成这套思路之后会先问自己这个任务到底有哪些不变的对称性思路马上就不一样了。2. 绕不开的几个底层概念我掰开揉碎讲如果要读者不看那160页也能抓住核心那这四个概念你必须搞明白流形、测地线、群作用、等变映射。它们不复杂但不是那种看一遍就懂的数学名词我尽量用工程场景去对照着讲。2.1 流形假设高维数据其实活在低维曲面里先说说流形。这个概念可以说是几何深度学习的基石。它可以通俗地理解为数据虽然用很长的向量表示但真正的自由度很小所以它们其实是躺在一个低维曲面上的。就像地球用三维坐标都能表示但它本质上是一个二维曲面。图像的像素动辄上万维但一张人脸照片真正能变化的自由度无非就是五官位置、肤色、光照这些维度撑死几十个。大量数据点不会均匀散落在整个高维空间里而是密集地聚集在一个低维流形上。这个假设对深度学习意味着什么意味着你不需要在高维空间里硬学一个万能函数你只需要在低维流形上找到一个好的映射。卷积网络之所以参数比全连接少还能表现更好本质上就是因为它利用了图像流形的局部和平移结构。全连接网络没有利用这个几何先验所以参数多、易过拟合。几何深度学习里的很多设计说白了就是想办法让网络的结构匹配数据流形的结构。实际操作层面流形假设还能指导数据增强。我之前做一个图像分类项目一开始只在原始图像上做随机裁剪和翻转效果提升有限。后来意识到流形上允许的微小形变小角度旋转、轻微透视、光照扰动才是更贴近真实分布的变换把这些加进增强策略之后模型在测试集上的鲁棒性明显提升。这就是先想“数据生活在什么空间”再想“哪些变换是合法移动”带来的效果。2.2 测地线与损失景观优化过程不是“直线冲刺”第二个概念是测地线。在平直空间里两点之间直线最短但在弯曲空间里最短路径是沿着曲面走的“测地线”。深度学习里的损失函数可以看作一个高维曲面梯度下降就是在这个曲面上移动。但你写代码时用的普通梯度下降每步其实都在用当前梯度方向做直线近似并没有考虑这个曲面的弯曲程度。这就是为什么碰到曲率很大的区域优化会震荡学习率调不好训练就发飘。几何视角给了几个很实用的启发一是设计优化器时可以考虑二阶信息用曲率修正每一步的方向实现上类似自适应学习率二是理解损失景观的几何结构可以帮助判断一个网络是不是容易训练。论文里分析了不同网络结构下损失景观的“弯曲程度”发现一些结构会让损失面相对平滑规则化程度更高泛化也就更好。我在实际训练里验证过一个相关的点用带动量的优化器本质上就是在测地线方向上做“小步幅惯性滑行”它能绕过一些尖锐的局部极小点而用带动量的 Adam 在大曲率区域的表现也要比纯 SGD 稳得多。理解了测地线之后你就不会再天真地以为梯度方向就是“最佳前进方向”——那是平直空间的直觉在弯曲的损失面上并不成立。2.3 群作用与等变映射对称性如何写进网络“群”这个词听起来吓人其实就是一堆变换的集合并且这些变换可以复合。比如旋转集合转10度再转20度等价于直接转30度旋转群就有了。图神经网络里的置换群就是对节点重新编号的变换集合。关键点在于很多数据天然在某个群作用下保持性质不变一只猫不管在图片左边还是右边都是一只猫这是平移群作用下的“不变性”社交网络里节点标号怎么打乱社区结构不会变这是置换群作用下的“不变性”。和“不变性”相近但更精细的概念是“等变性”。一个映射如果是等变的那么你先对输入做变换再做映射和先做映射再对输出做变换结果应该一样。写成公式就是 f(g·x) g·f(x)。卷积神经网络对平移等变就是这个意思图像平移了卷积特征图也跟着平移但特征内容不变。这一点对网络设计极其重要因为等变性直接决定了网络“用不用得动”数据的对称性。为什么等变设计能提高泛化打个比方如果网络对某种变换是等变的那变换前后的输入在它眼里属于同一个模式它不需要用额外的训练样本去学习“哦原来平移一下还是同一个东西”。自由度少了假设空间小了过拟合风险自然就降下来。这也解释了为什么在数据量不太够的时候把适当等变性写进网络往往比堆数据更管用。2.4 度量与曲率数据之间的“远近”其实是个选择流形上怎么算两个点之间的距离由度量决定。深度学习中这个问题常常被忽略。你在训练时用均方误差还是交叉熵本质上是在给数据空间选度量你在做特征表示时用余弦相似度还是欧氏距离也是一种度量选择。度量选错了学出来的表示空间就会“变形”你以为是相近的样本在真实几何里可能隔得很远。论文里专门讨论了度量学习在几何框架下的意义理想的特征空间应该能让同类样本之间的距离很近异类样本之间很远并且这种远近关系符合数据流形的内在几何。之前做推荐系统里用户向量的时候我们试过在欧氏空间里直接比对后来用了基于正定矩阵的双线性度量效果明显更好。回头想其实就是先承认“欧氏距离并不适合这个数据”然后换了一把几何上更合适的尺子。曲率就更微妙了。不同流形的曲率不同有的数据适合用正曲率球面来描述有的适合用负曲率双曲空间有的近似零曲率欧氏空间。词嵌入这类数据在双曲空间里表现出极好的层级结构就是因为它本质上有树状语义结构双曲空间的负曲率正好匹配这种结构。几何深度学习的一个研究方向就是自动估计数据流形的曲率再据此选择网络结构或者空间类型这一点后面实操部分会展开说。3. 怎么把几何视角落到自己的模型里附论文阅读路线理论看了很多大家最关心的肯定还是我能拿来干什么我结合自己团队的实践给你一套可以“抄作业”的流程。虽然不需要把160页全背下来但有几个动作是你拿到新任务时可以直接做的。3.1 拿到一个新任务先问三个几何问题第一个问题数据生活在什么空间里是规则的网格图像、一维序列文本、离散图社交网络还是三维点云、网格曲面这个问题的答案直接决定基础架构选型。规则网格优先选卷积类序列结构优先选卷积或注意力无序图只能选消息传递类或图Transformer点云这种非欧空间要选专门的等变网络。第二个问题数据所在空间有哪些对称性图像有平移、旋转、翻转文本有顺序的平移和某种概率下的置换图有点置换分子有旋转和平移点云有整体旋转。把对称性列出来别贪多列出任务里真正重要的三五个就行。比如手写数字识别里旋转对称性未必重要但遥感图像里就重要。第三个问题我希望网络对哪些变换保持等变或者不变图像分类的最终输出必须对平移、翻转不变但中间特征可以对平移等变分子性质预测必须对整体旋转不变但原子之间的相对信息要保持所以内部模块应该是等变的。把等变需求写清楚网络结构自然就有了约束方向。带着这三个问题去对照论文里的设计你会发现作者做的工作就是把每个任务的几何需求罗列出来再找能满足这些需求的最小网络结构。如果你以前总是纠结ResNet换成Transformer行不行、GNN该用几层不妨先停一下从这三个问题出发很多选择会变得自然起来。3.2 用“等变性”重新审视自己的模型我以前总觉得GNN的聚合函数“差不多得了”反正均值、求和、最大池化都不错。后来才发现等变性视角能帮你看得更细。比如说你在聚合时如果拼接了“目标节点自身特征”和“邻居聚合特征”再过一个线性层这个操作对邻居顺序仍然是置换等变的操作本身没问题。但如果你在拼接时把邻居特征按某个固定顺序排好那就破坏了置换等变性网络会学会去利用顺序信息这可能导致在节点重新编号时预测不稳定。再举个例子。Transformer里如果不加位置编码它对输入序列的任意置换都是等变的这既是它的优势长距离信息更容易传播也是它的缺陷完全丢失顺序信息。加了绝对位置编码之后等变性被破坏模型变成了对“带位置信息的序列”建模加了相对位置编码模型在整体平移上有更好的等变性。这些选择不是工程调参的运气问题而是你在有意地控制模型对什么变换敏感、对什么变换不敏感。如果你也想检查自己模型是否满足等变性最直接的方法就是构造一个变换测试集对输入做合法变换看输出是否按照预期变化。我在做点云分割时把整个点云旋转30度再送进网络结果分割结果完全变化差点暴走。后来发现是我在预处理阶段用了带绝对坐标的归一化破坏了旋转等变。把归一化改成相对对齐之后情况立刻好转。这一招建议每一个准备上几何方法的人都先做一遍能揪出很多隐蔽bug。3.3 160页论文到底怎么读我给你一份阅读路线不瞒你说我第一次拿到PDF想着从头到尾啃一遍结果看到第三章就有点晕。后来换了策略效率高多了。第一步只看摘要、引言和结论搞清楚论文到底解决了什么问题、核心主张是什么——这大概花半小时能让你掌握整篇的地图。第二步跳到你正在做的任务对应章节比如你搞图神经网络就细读图结构对称性的部分搞图像就细读群卷积部分别贪多。第三步对照附录里的符号表把核心公式用快速验证的方式翻译成“人话”。第四步动手复现一个最小等变模块不需要完整跑通所有实验只是把概念变成代码。具体来说我建议的核心章节优先度大概是介绍论述部分必读流形与测地线的科普段落必读群与等变映射的定义必读具体应用章节按需选读数学证明和大量实验部分第一遍完全可以跳过。下表是我自己整理的一个阅读路线你们可以按这个进度来阅读阶段重点内容产出目标第一遍1小时摘要、引言、结论、图表用三句话概括论文核心思路第二遍半天群、流形、等变映射相关章节能解释卷积、注意力、消息传递的统一性第三遍1天你所在方向的具体应用章节写下自己任务对应的三个几何问题第四遍2-3天核心公式、算法实现部分跑通一个最小等变模块实验这个路线图适合所有人尤其是准备做研究的人。别想着一次全读透几何深度学习本来就是一个体系分轮次逐步加深消化效果远比一口气完读要好。4. 常见误区和踩过的坑都给你列出来这一节算是我个人的“付费内容”了。受这篇论文影响我们团队过去几个月里把好几个项目用几何视角重新过了一遍有收获也踩了不少坑。下面这些误区如果你不打算花几个月去试错最好提前看。4.1 误区一几何深度学习等于图神经网络很多人看到论文作者研究图机器学习就以为几何深度学习只是把图神经网络换个名字讨论得更数学一点。这是最大的误读。图神经网络本质上只是“定义在离散图结构上的等变网络”而几何深度学习关心的是所有带有结构特征的数据从图像到文本到三维几何再到物理场覆盖面宽得多。把两者等同起来会错过很多可以迁移到图像和NLP任务上的思想。举个直观的例子图像分类用到的数据增强旋转、翻转、平移放在几何深度学习的语言里就是“给网络注入对旋转群和平移群的等变性”。这跟图神经网络有什么关系没有直接关系但它依然是几何深度学习框架下的典型应用。搞清楚这个边界你才能知道哪些经验可以跨领域迁移哪些不行。4.2 误区二流形学习就是降维我早就会了流形学习和降维确实关系很近早期的等距映射、局部线性嵌入都是做降维的。但几何深度学习中的流形思想远超降维降维只是“把高维数据压到低维”而流形视角强调的是“数据本身就生活在一个低维几何结构上”。这两者的差别是哲学性的。降维是你对一个高维数据做的后处理而流形视角是你对数据性质做的先验假设。实操中的区别在于降维工具比如PCA、t-SNE、UMAP通常只在可视化阶段用而流形先验可以融入网络设计的每一个环节。比如设计损失函数时你可以加一项“同类样本在表示空间的距离要小”前提是默认表示空间符合数据的流形结构设计卷积核时如果你知道数据在球面上均均匀分布你会设计球面卷积而不是平面卷积。这些不是降维能覆盖的。4.3 误区三等变性越强越好模型一定更牛刚接触等变性的人容易有一个错觉觉得只要把模型设计成对更多变换等变泛化能力就一定更强。现实没这么美好。等变性本质上是给模型加约束约束越多模型假设空间越小拟合复杂模式的能力也会下降。如果任务本身并不真正需要那么多对称性强行加入只会让网络表达能力受限训练也变得更加困难。我们做过一次对比实验在一个相对简单的图分类数据集上把一个强等变模型和一个普通GNN放在一起跑。强等变模型在训练集上迟迟上不去验证集上的表现也只是打平。后来分析发现这个任务里不同类别之间的差异恰恰依赖于某些非对称的结构信息过度强调置换等变把这些信息给“抹平”了。正确做法是分析任务需要哪些等变而不是把各种对称性一股脑全塞进去。4.4 实操中的硬骨头曲率、可视化与复现下面这三类问题是我觉得在实际用几何方法时最常遇到的硬骨头逐个说过。曲率估计对噪声非常敏感尤其是用K近邻图去估计每个点所在流形的局部曲率时K太小会捕捉噪点K太大又会把不同流形片段的曲率平均掉。建议从多个K值交叉验证结果再选择稳定区间别指望一次估准。高维流形可视化特别容易骗人。很多人用PCA或者UMAP把表示空间压到二维看到“同类聚在一起”就以为学到了好的结构。但二维投影可能损失掉大量几何信息看起来聚在一起的点在高维原空间里可能隔得很远。一定要结合定量指标比如同类样本间的平均距离、类间距离比来判断而不是光看图片。复现论文里的等变网络时默认初始化方式往往是大坑。很多等变层对权重的对称性有要求直接用常用框架的默认初始化可能破坏等变性质。如果训练时损失下降异常缓慢要么是学习率不合适要么就是初始化没匹配层的对称结构可以尝试换成论文作者提供的初始化策略或者对权重做一次对称性投影往往能解决。把这些问题先摆出来你后面读论文、做实验时能少走很多弯路。症状可能原因处理方案等变层训练损失不降初始化破坏等变性/学习率不适合换对称初始化调低学习率试跑几十步点云、3D任务旋转后效果崩预处理里用了绝对坐标统一去中心化避免绝对位置进入特征验证集表现好但测试集泛化差用几何先验过度模型容量不足适当释放部分等变约束增加可学习参数数据可视化看似完美但精度没提升低维投影掩盖真实距离用类间/类内距离比做定量评估5. 这套框架可能会影响到的几个大方向论文除了把现有模型统一起来其实还指了一些未来的路。这一节更像是我个人的延伸思考谈不上预测对错但我觉得几个方向很值得关注。5.1 从图像到语言几何先验正在跨界渗透图像方面的应用最直接。三维重建、点云分割、机器人抓取这些任务涉及到的数据都定义在三维欧氏空间里整体旋转等变性几乎是一种硬需求。传统做法是把点云转成正则体积再去用三维卷积这不仅浪费算力还引入了不必要的各向异性。几何深度学习的做法是在点云本来的流形上直接定义卷积让网络自然具备旋转等变性数据效率显著提升。我在一个点云分类的小实验上试过类似思路同样的数据量等变模型比普通基线高出好几个点。语言方向也在悄悄变化。词向量表示经常被假设为分布在某个低维流形上但要描述词义之间的层级关系欧氏空间的表达能力是受限的。双曲空间由于自带负曲率可以天然形成树状结构用来做词嵌入和句法树编码很有潜力。相对位置编码思想也已经在主流Transformer里服役了仔细看它依然是一种对称性设计让模型在局部平移下更稳定。5.2 给基础模型设计带来的核心启示基础模型目前的一个问题是“一套架构打天下”不管什么数据都往Transformer里面灌。几何视角提醒我们完全无差别的注意力结构其实忽略了数据本身的几何结构。给Transformer引入结构化先验、或者给视觉模型引入对称性先验本质上是同一个原则——模型结构应该匹配数据空间的几何。这个启示还直接关系到参数效率和算力成本。当前大模型靠海量数据和巨大算力把模型“喂”成泛化高手但如果我们能在架构层面就先注入正确的先验也许不需要那么大的规模就能达到同等效果。我现在做小规模实验时已经习惯先思考“这个数据最基本的对称性是什么”再决定模型架构而不再迷信“模型越大越好”。5.3 后续可能的发展方向动态度量与几何预训练顺着论文的思路我比较看好两个后续方向。一是动态度量学习不再固定一个距离度量而是让网络在学习过程中根据任务自动调整数据空间的几何这可能表现为可学习的距离函数或者可学习的曲率。二是几何预训练用等变约束作为预训练任务让模型在未标注数据上先学会“理解”数据的几何结构再迁移到下游任务。这类做法目前在点云和分子数据上已经有一些初步结果未来大概率会向更多领域扩散。如果你问我个人接下来会做什么我大概会在自己的项目里先做两件事把所有数据增强操作从“经验列表”升级成“按对称性分类的清单”把模型结构里那些隐藏的、破坏等变性的预处理步骤全部梳理一遍。仅这两项已经足够忙一阵了。最后再分享一点实际感受。读完这份160页论文我最大的收获并不是掌握了一套新工具而是多了一种思考习惯遇到一个新任务先不急着选模型先问数据长在什么空间、空间允许哪些变换、模型应该对什么保持等变。这三大问题一问很多纠结自动消失。如果你也想试试就从自己手头那个总也调不好的模型开始画一遍它的“几何自画像”再回来对照大概率会有新的想法。