1. 这个项目到底在研究什么从“规范等变”到“涌现环几何”先说一个我在实验里看到的实况一批定义在二维环面网格上的切向量场经过一个规范等变图神经网络Gauge-Equivariant GNN训练后把中间层的节点特征收集起来做PCA散点图居然绕出了一个闭合的环。这不是数据增强加的也不是手工特征注入的而是网络自己在梯度下降过程中长出来的结构。这个现象就是标题里的 Emergent Loop Geometry——涌现环几何。这个项目看起来是纯理论方向的题目实际上做的是“拆神经网络”的工作训练一个分类网络把数据从网格节点上的向量场喂进去让模型去区分不同方向的局部模式等模型训练好之后不只看准确率而是回头观察网络内部每一层的特征表示。结果发现在网络没有接触任何显式拓扑信息的情况下隐空间里的节点嵌入自动排列成一个环而且这个环的方向和底流形上非平凡的绕环方向严格对应。如果你正在做几何深度学习、规范等变网络、或者对神经网络内部表示的可解释性感兴趣这篇文章会很有用。我会把整个项目拆成几个层次来聊先讲清楚为什么曲面上的方向性任务需要规范等变再讲这类网络的核心机制然后重点展示“环几何”是怎么被观察、被量化、被复现的最后给出一份可以照着跑的参数配置和调参记录。2. 项目背景与动机为什么曲面上的“方向”这么难处理2.1 曲面数据与“方向”的坐标依赖先想一个很常见的场景脑皮层表面、三维形状表面或气象球面上每个位置都有一个“方向”信息比如白质纤维的走向、皮肤表面的纹理方向、风场的风向。这种数据和普通图像不同图像上的“朝上”是全局统一的但在曲面上“朝上”这个概念只能在每个点周围的局部切平面里定义。这里就出现了一个绕不开的问题同一个向量场我可以用一套局部坐标系描述也可以把每个点的坐标系整体旋转30度来重新描述两种描述代表的是同一个物理对象。如果神经网络对这两种描述给出不同的输出那它学到的就不是数据本身而是坐标系选择的伪影。传统图神经网络处理这类数据时大多把节点特征当成普通标量即便某个特征在逻辑上应该是一个向量也直接拆成两个标量通道去学。这么做不是不行但网络必须额外浪费大量容量去消除坐标随意性而且一旦训练数据没有覆盖足够多的坐标变换模型就会学会一个脆弱的局部解。2.2 现有方案的短板在规范等变网络之前有两条常见路线。一条是把方向信息全部转成旋转不变特征模长、夹角、相对朝向的对称组合这些东西无论在哪个坐标系下都一样非常安全但代价是丢掉了方向之间的相对关系很多分类任务恰恰需要这种关系才能区分。另一条路线是把卷积搬到球面上去做通过旋转群上的卷积让网络天然具有旋转等变性。球面上这套非常优雅但它只适合球面这种简单拓扑。一旦换成环面、双曲曲面、或者任意带孔的形状球面卷积的全局结构就失效了。规范等变图神经网络走的是第三条路与其想尽办法去掉局部坐标系的影响不如把“坐标系可以任意变换”当成网络必须遵守的对称性直接在卷积运算上做约束。这样既保留方向的丰富信息又保证输出与坐标选择无关。这就是“规范等变”的含义其中“规范”这个词从物理里借来指的就是局部坐标选择的自由度。2.3 “涌现”在这里到底意味着什么“涌现”这个词在机器学习里经常被滥用但这个项目里的确配得上。我先说清楚客观事实网络结构中没有加入任何环形的偏置损失函数不包含拓扑正则项训练数据里的标签也只是“是A类还是B类”而不是“请给出一个绕环的角度值”。然而训练完成后隐空间却出现了完整的闭环结构。这说明模型的优化过程自己发现了某种高效的编码方式为了把曲面上的位置信息组织起来环形的周期表示是一个自然的、极小化的几何结构。相比直接看分类准确率这种结构上的观察更能反映网络到底学到了什么也是我在这个项目里最有兴趣的地方。3. 规范等变图神经网络的核心机制3.1 从三角网格到携带平行移动的图要把规范等变网络落到实际数据上第一步是把光滑曲面离散成三角网格。一个三角网格里顶点是图节点边是图的连边但和普通图不同每条边还附带一个额外的几何信息两个顶点各自切平面之间的平行移动算符。具体解释一下平行移动。想象你在曲面上某个顶点放了一个切向量然后沿着一条边把这个向量挪到相邻顶点去。因为在弯曲曲面上两个顶点的切平面方向不一样所以这个向量“搬运”过去之后相对于新顶点的坐标系会有一个旋转角度。这个旋转角度就是边的平行移动角它记录了网格的局部几何连接关系。在实现上这个角度可以这样计算对每条有向边把边向量投影到起点切平面得到一个二维方向角再投影到终点切平面得到另一个方向角两者相减就是搬运需要旋转的角度。等变网络的所有后续运算都依赖这个角度所以网格的质量直接影响训练效果。我在实践中的体会是这个步骤宁可花一天时间好好做也不要为了省事丢给网络去猜。3.2 等变卷积核的旋转约束有了带平行移动的图下一步定义卷积。每个节点上的特征是一个或多个切向量可以用复数表示一个二维向量 (x, y) 就对应一个复数 x iy。这样做的最大好处是旋转一个切向量就是乘以一个单位复数SO(2) 的表示在复数域里变得特别干净。消息传递的过程是对于中心节点 i把每个邻居节点 j 的特征先用边的平行移动角旋转到 i 的局部坐标系里再进行加权求和。这个加权系数不是随便设的它必须满足一个关键约束——当所有局部坐标系同时旋转时卷积的输出要跟着旋转相同的角度。满足这个约束的最简单办法是把核函数按照角度的傅里叶模式分解每一层有若干频道的复数权重再配合节点特征自身的频道数做内积。用稍微数学一点的方式描述核函数在边两端坐标同时变换时保持不变所以每个核频道都带有一个固定的旋转阶数 k消息传递里的项就写成权重乘上 e^{ikθ} 再乘上邻居特征。这样网络每一层都严格满足规范等变性不管每个顶点选什么参考方向最终输出的相对关系都不会变。3.3 核心公式与实现要点一段形式上非常简化的核心计算可以写成z_i σ( Σ_{j ∈ N(i)} g(z_j) ⊙ W_k e^{ikθ_{ij}} )这里 z_i 是节点特征θ_{ij} 是边上的平行移动角W_k 是第 k 个傅里叶模式对应的权重⊙ 是按频道作用σ 是非线性激活。实际项目里还会有多个傅里叶模式叠加以及对相邻节点特征先做一次线性混合。实现时我有几个强烈建议。第一特征通道全部用复数张量存储不要拆成两个实数通道拆开之后旋转实现很容易在反向传播时产生误差。第二旋转操作直接用复数乘法即乘以单位复数 e^{ikθ}避免构造二维旋转矩阵再矩阵乘法速度更快且梯度稳定。第三对角线权重和非对角线权重分开初始化规范等变网络对初始化比普通GNN敏感很多。3.4 为什么最终会“长成”一个环这里说一个比较直观的解释。假设网络需要在环面上编码每个节点的位置尤其要区分沿环方向的次序。由于环方向上坐标是周期性的走完一圈回到原点时编码必须首尾相接。最自然的高维连续表示就是把角度映射到一条闭合曲线上这条曲线在二维投影里看起来就是一个环。更微妙的是规范等变性会把“因坐标系选择导致的旋转”隔离开来。网络如果想用某个方向特征信息来完成任务它必须把这个信息编码成坐标变换下行为一致的量。而环面上真正“绕一圈”的路径恰好构成一个坐标无关的整体结构所以梯度下降很容易涌现出这种闭环编码。这是我理解中 Emergent Loop Geometry 的成因。4. 实验设计与现象观察4.1 任务设计为什么偏要选二维环面实验选的数据载体是二维环面网格。原因很简单环面有非平凡的绕环方向也就是第一同调群是 Z不像球面任何闭环都可缩成一个点。如果训练结束后隐特征能够出现一个对应非平凡同调的环那就有明确的拓扑意义去分析和验证。生成环面的方法是参数化采样用两个周期参数 u、v 分别控制环的大圆方向和小圆方向坐标用常见的 P(u,v) ((R r cos u) cos v, (R r cos u) sin v, r sin u) 生成再做一个 Delaunay 三角化得到一个质量可控的网格。我用的是 128×128 的采样分辨率大约 3.2 万个三角形。任务本身设计成二分类在节点切平面上分别构造两类向量场。A 类是沿 u 方向的均匀向量场B 类是角度随 v 方向周期性调制的向量场。这两种模式从整体统计上看很接近网络必须利用局部方向之间的相对关系才能区分它们这就迫使模型真的去学习切向量场的结构而不是只抓模长之类的标量特征。4.2 网络结构与训练配置网络主体是四层规范等变卷积层每层 64 个复数通道卷积核半径取 2傅里叶模式取 −3 到 3总共 7 个模式。每层之间用带残差的 GELU 激活。最后一层把节点特征做全局池化池化可以用等变池化先对每个频道的输出取模再做平均保证最终分类结果不依赖任何坐标系选择。训练配置我用的是 Adam 优化器学习率 2e-4批大小 32训练 2000 轮。损失函数是带标签平滑的交叉熵。训练结束后验证集上的准确率在 98% 到 99.5% 之间不同随机种子下的波动很小。这个准确率不是项目重点但它证明了网络确实学好了任务后面的结构分析才有意义。训练过程中的一个关键操作是保存检查点每训练 50 轮就把整个网络和中间层特征存一份快照。这样可以在训练完成之后回放“环几何”到底是在哪一轮开始出现的而不是只能看到最终结果。4.3 中间特征的PCA亲眼看到那个环训练完成后我提取了第三层卷积输出的节点特征得到的是一个 [节点数, 复数通道数] 的矩阵。把这个矩阵按实部和虚部展开成实数特征然后用 PCA 降到二维画出散点图。结果非常醒目散点沿着第一、第二主成分展开成一个窄带这个窄带弯成一个近似圆形的闭合曲线第三主成分对应的厚度很小。更妙的是如果按照每个节点在环面上的 u 参数从 0 到 2π 做渐变着色颜色会沿着这个环的方向连续变化一圈。这意味着网络内部确实形成了一个和底流形绕环方向同步的周期编码。作为对照我在同样的数据上训练了一个普通的图卷积网络只是把每个节点的切向量直接当成两个标量特征输入。它的特征点云完全不一样只有几个分离的簇没有闭合环。这个对照实验说明环的出现不是分类任务本身的附带品而是规范等变结构带来的独特行为。5. 量化“涌现”从持久同调到拓扑核对5.1 为什么要让“环”变得可以测量肉眼看 PCA 散点图很容易被误导因为不同的降维方式会产生各种假结构。要证明这里的环具有真正的拓扑意义必须要用不依赖坐标选择的定量工具。我选择的是持久同调具体来说是计算特征点云的一维持续条形码。操作流程是把某一层的节点特征看作高维空间里的点云构造 Vietoris-Rips 复形然后计算 H1 群在不同尺度下的存活区间。如果一个结构是真实存在的拓扑环它会反映为一条存活区间特别长的条形码如果是噪声或者数据分布的偶然聚集条形码很快就会消失。5.2 训练过程中的条形码变化同一个随机种子下我把三轮训练阶段的点云分别做持久同调结果整理成了下面的表格训练阶段最大H1存活区间长度是否有持久环散点图状态第100轮0.02否一坨弥散点第500轮0.09否变成细长的管状第1500轮0.74是清晰的闭环也就是说在前几百轮特征空间里没有长寿命的环到训练后期长寿命的 H1 条形码稳定出现存活区间长度比所有短条大一个数量级以上。这个存活区间在 5 个不同随机种子下都能复现说明它不是某个初始化碰巧产生的偶然现象。5.3 同调类核对环是不是真的“绕了一圈”持久同调只告诉我们“有一个圈”但没有告诉我们这个圈对应底流形上的哪个方向。还要再做一步核对。我从持久环对应的环上均匀取 24 个点记录它们欧氏距离相近的顺序然后查这些点对应到网格上的 u 参数计算 u 方向上的前进量。结果表明绕特征空间环一圈u 参数正好增加 2π而 v 参数的净变化几乎为零。这直接证明了特征空间里的环与底流形上绕小圆方向的那条非平凡 1 循环同伦等价。网络绕出来的就是环面真正意义上的“洞”。这一步是整个项目里最有说服力的部分不仅知道出现了环还精确知道它绕的是哪个洞、方向如何、和底流形几何的对应关系是什么。6. 复现路径与调参经验6.1 可复现的最小配置如果只想快速看到“涌现环”现象建议先用小规模配置跑一遍参数可以照下面这张表设置参数项推荐值网格采样48×48约 4600 个三角形网络层数3 层每层通道数32 个复数通道核半径2傅里叶模式−2 到 2训练轮数800批次大小16学习率1e-3Adam配合余弦退火小配置下最后准确率也能到 96% 左右特征点云里的环已经很明显。这种规模在单张普通GPU上几分钟就能跑完适合先验证自己的代码实现是否正确再放大到 128×128 的完整实验。6.2 工程实现里的四个关键点第一平行移动角一定要在数据预处理阶段算好并固定下来不要在训练时动态计算。角度数值误差虽然小但在深层网络里会逐层累积最终破坏等变性。第二整个网络的线性层和卷积层全部保持复数形式。PyTorch 官方原生复数支持已经足够用但注意某些激活函数没有复数版本我一般把复数的实部和虚部当成二维空间去构造非线性。第三保存检查点时要把“用于计算平行移动角度的网格坐标”也一起存下来因为后续做同调核对时需要把特征空间里的点映射回底流形的几何坐标没有网格信息这一步就做不了。第四分布式训练或者混合精度训练会引入很微小的旋转误差在别的任务里无所谓但会干扰持久同调的条形码长度。我在最终分析结构时统一用单精度推理不做混合精度。6.3 什么配置会让环消失通过扫参对比我发现两种常见配置会直接破坏环结构。第一种是通道数过少比如每层 8 个复数通道网络容量不足以支撑一个全局一致的周期编码特征空间只能形成松散的团簇。第二种是核半径过大比如取 5 或更大消息聚合会把较远区域的节点信息混在一起环被局部平均抹平变成类似椭圆的扁环甚至直线。正则化强度也要小心。加入过强的 L2 正则化比如权重衰减设到 0.1会把特征系数整体压低点云的动态范围变小拓扑环变得很难识别。在我的配置里权重衰减设在 1e-4 到 5e-5 之间最理想。7. 踩坑记录训练途中容易翻车的几个点7.1 特征点云不是环而是两团有一次跑了 1000 轮准确率已经到 97%但 PCA 散点图是明显的两团点完全看不到环结构。排查后发现问题出在最后一层的池化方式上我把复数特征的实部和虚部分别平均等效于先丢弃了方向信息再做全局池化网络因此不需要在中间层保存任何周期结构。解决方法是改成先按复数取模再池化或者用等变池化把每个频道独立处理。修改之后同样训练轮数下环就出现了。这个坑提醒我几何深度学习里的每个模块设计都会影响内部表示不只是最终评判指标。7.2 环出现了但有几处明显的断口还有一次环的形状接近闭合但在某个角度区域里点云密度特别低看起来像断了一截。主要原因是网格采样不均匀。虽然整体用了参数化采样但 Delaunay 三角化在参数域边缘会产生不规则的区域导致各有少量节点覆盖缺失。这个问题的排查并不难把节点的实际网格坐标按照 PCA 结果着色一眼就能看出断口是否和采样稀疏区域重合。解决方式是重新用更均匀的采样方法生成网格比如用 Fibonacci 球面映射的思路推广到环面而不是简单地在矩形参数域上均匀取点。7.3 每次训练的环方向不一样不同随机种子跑出来的环都是闭环但互相之间往往差一个整体旋转角度。乍看像是不稳定其实不是问题这是规范自由度的正常表现环的整体朝向由训练过程中的初始化和数据顺序决定不影响它是否闭环也不影响它对应底流形上的哪一个同调类。在做跨种子对比分析时我会先用最优旋转对齐两个点云的 PCA 轴再计算环的相似度。如果不做对齐就直接算点云距离会得到非常不合理的低相似度误导后续结论。7.4 混合精度训练下的条形码漂移这是实验后期才遇到的问题。放大器训练用自动混合精度加速稳定跑完没有问题但导出检查点做持久同调时发现环的存活区间普遍比单精度训练短一些有的种子直接测不到长寿 H1 条。对比测试之后确认混合精度在复数旋转乘法上产生微小误差累积后干扰了高维点云中两两距离的排序导致拓扑结构对尺度更敏感。最终我在所有可复现实验里都用单精度训练虽然慢一些但结果的可信度明显提升。7.5 问题速查表这颗表是我在实际操作中总结的适合作为复现时的第一排查参考症状可能原因快速排查方法特征点云只有团簇没有环池化方式丢掉了方向相位检查最后一层是否先取模再池化环上有明显断口网格采样不均匀对节点坐标着色查看密度分布环整体方向变换剧烈规范自由度正常现象分析时做旋转对齐条形码寿命明显缩短混合精度带来的数值误差改用单精度训练推理训练不收敛loss震荡傅里叶模式过少或学习率过高扩大模式范围降低学习率8. 一点个人体会做这个项目之前我对“可解释性”这个词其实有点警惕因为很多时候可解释性分析只是给已经训练好的模型强行套一个叙事。但这套实验做完之后我的想法有些变化如果网络在一个有明确非平凡拓扑的流形上自发形成了和底层流形同调结构对应的表示那这个现象本身是数学上可以验证的事实不是谁的脑补。工具方面我的推荐组合是用某个熟悉的网格处理库生成高质量三角网格用支持复数张量的深度学习框架搭网络用持久同调库做拓扑分析最后用科学计算库做 PCA 和可视化。这四样放在一起整个“观察环”的流程其实很快。如果你也想复现这个现象我会建议从更小的网格开始让网络把分类任务做过拟合再去观察中间特征。这个项目里最快乐的部分从来不是把准确率刷到多少而是在某个检查点文件里突然看到那些点缓慢地弯成一个圈而且你明确知道它绕的是哪一个洞。那种感觉是看一眼损失曲线永远体会不到的。