机器学习里面有一个很容易被忽略但非常核心的问题同样的训练数据、同一个模型结构为什么换一个随机种子、加一个正则项、或者把训练样本的分布重心移动一下最后学到的函数会完全不同答案并不在“优化是否成功”上而在模型到底从哪些候选函数里做选择。模型最终只会在所有与训练样本一致的“可接受假设”组成的集合中选定一个点而这个选定过程受两类因素决定训练分布定义了样本限制落在什么地方归纳偏置定义了在多个可接受假设之间如何取舍。标题 Learning the Geometry of Admissible Hypotheses through Inductive Bias in Training Distributions 想要研究的正是这个选择背后的几何结构。这篇文章会先拆解标题中的四个关键概念再通过多项式回归和一个小型神经网络实验观察可接受假设集合的形状如何随训练分布和归纳偏置变化最后讨论这类理论研究对真实模型训练、数据构造和泛化问题排查有什么参考价值。1. 先拆开标题Admissible Hypotheses 与 Inductive Bias 到底指什么这个标题看起来是纯理论问题但里面的概念并不抽象。真正理解后你会发现它能解释很多工程中“训练能跑通但模型不够稳”“换数据版本模型行为突变”“测试分布一偏移就崩”的现象。1.1 Hypothesis、Inductive Bias、Training Distribution 三者的定位先给出一组便于后续讨论的定义。假设空间 H 是模型能够表达的所有函数的集合。一个逻辑回归模型表达的是线性决策边界一个两层 MLP 表达的是另一个函数子集。真实目标函数 f* 不一定在 H 里但学习过程只能在 H 中选择结果。训练分布 D 定义了输入 x 从哪个概率空间采样。实际训练时看到的是从 D 中独立采样得到的有限样本集合 S {(x_1, y_1), ..., (x_m, y_m)}。训练分布决定了约束被施加在输入空间的哪些位置、密度如何、边缘区域是否被覆盖。归纳偏置 Inductive Bias 是模型在多个可行解之间进行选择的倾向。它不只包含 L1、L2 之类的显式正则还包括网络结构、激活函数、初始化方式、优化器偏好、数据增强、标签平滑甚至 batch 顺序。这些因素共同决定了最终解在假设空间中的位置。“可接受假设”Admissible Hypothesis 是指与训练样本一致的那些假设。在典型设置中可以写成 version spaceV(S) { h ∈ H | L_S(h) ≤ ε }当 ε 足够小时等价于“在训练样本上误差可接受的一族函数”。注意这里不是指单个函数。只要训练样本数量小于模型自由度V(S) 通常包含无穷多个元素。即便样本数量足够多在函数空间里仍然可能存在多个参数区域都能把训练误差压到接近零。需要理解的是训练只能观测到有限样本上的约束。即使 D 能很好地代表目标概念“可接受”也只代表模型在这 m 个点上的输出符合要求不代表模型在整条函数曲线上都正确。这一点是后面所有几何分析的起点。1.2 几何在这个问题里指什么这里的“几何”可以从三个互相嵌套的层面理解。第一个层面是参数空间的形状。如果参数 θ 落在低维流形上那么可接受解的集合可能是一条曲线或一个子空间。在线性模型中当设计矩阵不可逆时满足插值条件的参数解构成一个仿射子空间可以直接通过 SVD 求出来。这是几何分析最容易入手的地方。第二个层面是函数空间的几何。参数空间接近的两个解函数可能完全不同参数空间相距很远的解也可能在输入分布覆盖范围内行为完全一致。真正影响泛化的是函数输出在测试区域上的分布而不是参数点之间的欧氏距离。第三个层面是损失曲面和优化轨迹的几何。可接受解区域内的每个点都能让训练损失很小但区域内不同点的局部曲率、平坦程度、对输入扰动的鲁棒性差别很大。哪种点会被优化器选中取决于归纳偏置和训练分布形成的“势场”。把这三个层面统一起来就能看到标题的问题结构训练分布决定了在假设空间上建立一个什么样约束归纳偏置决定了在这些约束允许的区域内最终走向哪里而几何研究关心的是这个区域的维数、大小、方向、曲率以及区域内部的点的行为差异。2. 最小可实验从多项式拟合观察 Admissible Set 的形状理论概念讲得再多不如一个能运行的最小实验实在。这里用多项式回归演示可接受假设集合的几何因为多项式模型对参数是线性的所有几何量都能用线性代数精确算出来。2.1 为什么选多项式模型作为第一个实验对象深度模型参数太多很难把可接受解集合完整刻画出来。但多项式模型可以做到这点假设用 d 次多项式拟合 n 个样本多项式有 d1 个系数。当 d1 n 时插值问题的解不唯一所有同时满足训练残差为零的系数向量构成一个仿射集合。通过 SVD 可以求出这个集合的零空间从而观察到可接受解集合的维度是多少沿不同零空间方向移动参数训练误差是否保持为零不同解在训练区域之外输出差异有多大正则化、训练分布如何改变解的选择位置。这个模型虽然简单但清楚地展示了“训练约束不足以确定唯一函数”这一核心现象。把多项式换成神经网络问题本质相同只是无法这么容易求出完整的解集合。2.2 环境准备与依赖实验只需要标准科学计算环境。建议使用 Python 3.9 以上版本安装 numpy 和 matplotlib。第三部分的小型神经网络演示需要 PyTorch如果只想先跑通本节可以暂时不装。python -m venv venv source venv/bin/activate # Windows 下为 venv\Scripts\activate pip install numpy matplotlib如果继续运行第三部分的 MLP 实验再补充安装 PyTorch。需要注意不同平台的 PyTorch 安装命令不完全相同落地前先到官方网站确认自己机器对应的安装命令。2.3 生成训练分布并求一个可接受解下面代码构造目标函数 f(x) sin(2πx)并分别从三种训练分布中采样均匀分布、右端集中分布、两端聚簇分布。设定多项式次数为 12样本数只有 10因此系数数量大于约束数量系统必然欠定。import numpy as np def target(x: np.ndarray) - np.ndarray: return np.sin(2.0 * np.pi * x) def sample_inputs(mode: str, n: int, seed: int) - np.ndarray: rng np.random.default_rng(seed) if mode uniform: x rng.uniform(0.0, 1.0, n) elif mode right: x rng.uniform(0.7, 1.0, n) elif mode two_clusters: x np.concatenate([ rng.uniform(0.0, 0.1, n // 2), rng.uniform(0.9, 1.0, n // 2), ]) else: raise ValueError(funknown mode: {mode}) return np.sort(x) def poly_features(x: np.ndarray, degree: int) - np.ndarray: return np.vander(x, degree 1, increasingTrue) mode right n 10 degree 12 x sample_inputs(mode, n, seed0) y target(x) X poly_features(x, degree) # 最小范数意义下的一个可接受解 theta_min, *_ np.linalg.lstsq(X, y, rcondNone) # 检查训练残差 print(train residual norm:, np.linalg.norm(X theta_min - y))代码中调用np.linalg.lstsq求出的不是随便一个解而是在所有插值解里二范数最小的那一个。训练残差应当接近机器精度。这个解已经体现了一种隐式归纳偏置即“最小范数解”只是它不作为显式正则可选项出现。2.4 构造并测量 Admissible Set 的几何为了看到完整的可接受解集合需要计算设计矩阵的零空间。任何零空间向量加到某个合法解上都不会改变训练输出因此会得到另一个同样满足插值的解。U, S, Vt np.linalg.svd(X, full_matricesTrue) rank np.sum(S 1e-10) null_basis Vt[rank:].T # 每列是零空间的一个基向量 print(singular values:, S) print(null space dim:, null_basis.shape[1]) rng np.random.default_rng(1) alpha rng.normal(sizenull_basis.shape[1]) theta_alt theta_min null_basis alpha x_eval np.linspace(-0.2, 1.2, 1001) X_eval poly_features(x_eval, degree) y_min X_eval theta_min y_alt X_eval theta_alt print(alt train residual norm:, np.linalg.norm(X theta_alt - y)) outside (x_eval 0.7) | (x_eval 1.05) print(function L2 diff outside train region:, np.sqrt(np.mean((y_min[outside] - y_alt[outside]) ** 2)))按这段代码的设定零空间维度应该为 3因为 13 个系数、10 个插值约束秩通常为 10。theta_alt与theta_min在训练点上都保持零残差但在训练区域外部两个函数输出可以相差很大。这里要特别注意零空间方向并不是抽象的数学游戏。它代表模型真正“看不见”的方向。如果训练数据只来自 x ∈ [0.7, 1]那么样本点在高次幂方向上的约束非常弱零空间向量可以携带大量高频振荡而这些振荡不会体现在训练误差里。这正是几何视角的价值所在它告诉你模型在哪里有自由度以及自由度沿着哪个方向存在。2.5 不同训练分布如何改变几何与泛化接下来比较三种采样模式下设计矩阵的条件数和最小范数解在均匀测试网格上的误差。for mode in [uniform, right, two_clusters]: xs sample_inputs(mode, n, seed0) Xs poly_features(xs, degree) ys target(xs) theta, *_ np.linalg.lstsq(Xs, ys, rcondNone) cond np.linalg.cond(Xs) test_grid np.linspace(0.0, 1.0, 501) X_test poly_features(test_grid, degree) if mode right: # 训练分布完全覆盖 [0.7,1]评估仍按整个 [0,1] 进行 train_mask test_grid 0.7 test_err_left np.sqrt(np.mean((X_test[~train_mask] theta - target(test_grid[~train_mask])) ** 2)) print(mode, cond, cond, left_test_rmse, test_err_left) else: test_err np.sqrt(np.mean((X_test theta - target(test_grid)) ** 2)) print(mode, cond, cond, rmse, test_err)在这个实验中能观察到的典型现象是均匀采样时约束分布在 0 到 1 之间条件数相对可控模型在整段区间都受到约束右端集中采样时条件数明显变大且模型在 [0, 0.7) 区域基本没有约束测试误差主要集中在训练分布未覆盖的一侧两端聚簇采样时中心区域 [0.1, 0.9] 存在大段无监督区间高次多项式可能在那里出现明显摆动。这个现象很容易被误解成“数据不够多”。实际上样本数量一样多不同的是约束在设计矩阵中的几何排布。同一个模型、同样数量的样本仅仅因为 x 的分布不同可接受解集合的延伸方向就完全不同。用一句话概括训练分布不只决定数据从哪里来还决定假设空间中哪些方向是自由的。只比较训练准确率看不出这种差异必须比较模型在评估区域上的行为。3. 把几何观测迁移到神经网络多项式实验的好处是精确坏处是太理想。真实深度网络可接受解集合无法用零空间直接求出但核心逻辑依然成立网络参数数量远超样本约束数量满足训练误差为零的参数点非常多归纳偏置决定模型进入哪个点。3.1 参数空间的解集与函数空间的差异神经网络中最常见的误区是用参数的 L2 距离衡量两个模型是否“接近”。两个模型参数相差很大但如果它们在测试分布覆盖的区域输出几乎一致那么在应用层面它们行为上是同一个函数反过来参数只差了一点也可能因为网络非线性而在某个窄区间产生完全不同输出。因此度量可接受解集合时优先采用函数空间距离。给定一组评估点 x_eval可以用输出向量的均方距离作为两个解之间差距的度量。这个度量比参数距离更贴近实际风险。3.2 用 MLP 验证不同归纳偏置选中可接受区域的不同位置下面用 PyTorch 实现一个小型 MLP在固定训练集上以不同随机种子训练并对比是否加 L2 正则对函数行为的影响。这里的“不同归纳偏置”至少包括随机初始化带来的隐式偏置和显式 L2 惩罚。import torch from torch import nn class MLP(nn.Module): def __init__(self, width: int 24): super().__init__() self.net nn.Sequential( nn.Linear(1, width), nn.Tanh(), nn.Linear(width, width), nn.Tanh(), nn.Linear(width, 1), ) def forward(self, x): return self.net(x)训练函数接收训练输入、目标、L2 系数和随机种子。优化器采用 Adam学习率固定为 0.003训练 2000 步。对每批数据计算均方误差如果有显式正则则在 loss 中加上所有权重的平方和乘以系数。def train_mlp(x_train, y_train, alpha_l20.0, seed0): torch.manual_seed(seed) model MLP(width24) optimizer torch.optim.Adam(model.parameters(), lr0.003) x_t torch.tensor(x_train, dtypetorch.float32).reshape(-1, 1) y_t torch.tensor(y_train, dtypetorch.float32).reshape(-1, 1) for step in range(2000): optimizer.zero_grad() pred model(x_t) loss ((pred - y_t) ** 2).mean() if alpha_l2 0: l2 sum((p ** 2).sum() for p in model.parameters()) loss loss alpha_l2 * l2 loss.backward() optimizer.step() if step % 500 0: print(fseed{seed} step{step} loss{loss.item():.4e}) return model再看如何比较多个模型在函数空间中的分布。这里选择一组密集评估点把每个模型在评估点上的输出存成向量计算输出向量之间的标准差。标准差越大说明不同归纳偏置得到的可接受解在函数空间分散得越开。def functional_spread(models, x_min0.0, x_max1.0, grid501): xs torch.linspace(x_min, x_max, grid).reshape(-1, 1) preds [m(xs).detach().reshape(-1) for m in models] stacked torch.stack(preds, dim0) mean stacked.mean(dim0) spread ((stacked - mean) ** 2).mean().item() return spread使用一个区间边缘更稀疏的训练集来体现差异。对每一种配置训练 5 个模型然后比较函数输出标准差。rng np.random.default_rng(7) x_train np.sort(rng.uniform(0.05, 0.95, 12)) y_train target(x_train)以第 0 号种子为例训练时会在终端看到 loss 逐步下降。2000 步之后无正则模型在训练点上的误差通常能降到 1e-5 以下说明这些模型确实都属于可接受解集合。但不同 seed 得到的模型在边缘区域可能差异更大。no_reg_models [train_mlp(x_train, y_train, alpha_l20.0, seedi) for i in range(5)] reg_models [train_mlp(x_train, y_train, alpha_l21e-4, seedi) for i in range(5)] print(no reg functional spread:, functional_spread(no_reg_models)) print(with l2 functional spread:, functional_spread(reg_models))这个实验在生产环境里值得反复运行。普通日志只记录每个 seed 的最终 test loss很难看出不同解在哪些输入区间发生分歧而按评估网格输出的函数分布能直接暴露模型的可信区域和不可信区域。3.3 参数说明与误差分析下表整理了 MLP 实验中需要关注的关键参数及其影响。参数常见取值作用调大后果调小后果width16 到 128控制网络假设空间容量可表达函数更多可接受解集合更复杂表达能力受限训练误差可能降不下去alpha_l20 到 1e-3显式归纳偏置抑制大权重解更平滑但可能欠拟合训练点接近无约束时解集合扩散lr1e-4 到 1e-2控制参数更新步长训练快但容易振荡训练慢可能停在早期解seed不同整数改变初始化和数据顺序对应不同隐式偏置无训练步数1000 到 10000决定优化器是否收敛到可接受解过大会让模型记住更多噪声训练不足时解可能不在可接受集合内当模型训练结束时不仅要检查训练损失还要检查它是否“真的”进入可接受解集合。最简单的做法是重新计算训练集上的预测误差确认与日志中的 loss 一致。很多时候人们看到 loss 降到很低就停止分析但低 loss 并不说明解的唯一性或稳定性。需要注意的是L2 惩罚并不是唯一能改变函数行为的正则项。数据增强改变的是训练分布而不是显式损失函数但它同样会影响模型最终落在可接受区域的位置。随机初始化顺序、批量大小、学习率调度也会带来隐式偏置。因此做实验对比时不要只标注“是否加正则”而要完整记录所用 seed、优化器、学习率、每一步的 loss否则很难判断两个模型函数行为差异来自哪种偏置。4. 结果怎么看指标、预期输出与异常现象几何实验能不能支持结论关键在于选择正确的指标。只看训练 loss 会得出“所有解都一样好”的错误判断而正确指标要能区分解集合内部的不同行为。4.1 一组实用的几何诊断指标不同实验环节适合不同指标实际工作中建议至少同时记录以下几组。指标计算公式或含义解决什么问题训练残差‖Xθ - y‖ 或 MSE判断解是否真的可接受零空间维度N - rank(X)判断解集合是否唯一设计矩阵条件数cond(X)判断训练分布约束的稳定性训练区域外函数误差在非采样区域的 RMSE暴露几何方向上的自由度函数空间离散度多个模型输出标准差量化 inductive bias 的约束效果参数空间距离‖θ_i - θ_j‖判断优化终点是否重合需辅以函数距离多项式实验中零空间维度和训练残差是最直接的证据。MLP 实验中函数空间离散度更重要因为它能显示不同 seed 的解是否只是在参数空间分散、还是在输出上真的分歧。4.2 期望结果与解释在第二部分的右端集中采样实验中会看到以下几条典型结果。训练残差始终接近零说明每个解都满足可接受条件。零空间维度为 3说明参数解并不唯一。训练区域外部函数误差远大于训练区域内部误差说明模型自由度主要在分布未覆盖的方向上发挥作用。L2 正则化后的解在训练区域的拟合精度可能略下降但在测试分布与训练分布一致的条件下通常表现出更好的可预测性。这些结果指向的结论是正则化并不总是“减少模型的 valid 能力”它是在多个同等可接受的解中做出选择。正则化强度偏低时模型仍有足够自由度去拟合样本只有正则化过强、把可接受解集合压得小于真实所需的表达能力时才会出现系统性欠拟合。4.3 异常结果排查实验中如果发现结果与预期不符按以下顺序排查原因。异常现象首要检查点处理建议训练残差不收敛为零模型容量是否足够、学习率是否合适、是否还有噪声提高容量、增大训练步数、检查数据标签噪声零空间维度为 0样本数是否大于等于参数数、设计矩阵是否满秩减少样本或增大模型参数维度重新设计条件数极端巨大特征是否未中心化、采样区间是否过窄对特征做平移缩放重新设计采样范围不同 seed 输出几乎一样训练分布是否已经覆盖评估区间、模型容量是否太小扩大评估范围或增大模型容量重试L2 让训练误差明显上升正则系数是否过大缩小 alpha_l2 并观察训练误差变化排查顺序上先确认数据生成和切分逻辑没有写错再检查设计矩阵的构造是否正确然后看模型是否进入可接受集合最后才怀疑优化器或环境问题。大部分异常不是几何理论错了而是实验代码在抽样、矩阵构造或 loss 计算上存在细节偏差。5. 常见误区与可复用清单写这类实验时最怕的不是理论复杂而是把理论术语用在错误的对象上导致结论失真。5.1 三个高频误区误区一把训练误差为零当成找到了唯一正确的假设。可接受解集合往往包含大量函数这些函数在样本点相同在训练分布覆盖较弱的区域可能完全分歧。验证方法是在训练分布覆盖区和覆盖区外各取一组评估点分别计算不同模型的输出差异。只要覆盖区外差异明显就说明解集合内部存在结构。误区二用参数空间 L2 距离判断两个解是否接近。神经网络具有大量重参数化对称性两个参数差异很大的网络可能表达同一个函数反过来参数只差一点点的网络也可能在某个局部区域剧烈分歧。应该在固定评估网格上比较函数输出而不是直接比较权重向量的数值。误区三把所有归纳偏置都理解为显式正则。网络初始化、优化器、训练顺序、数据增强都会造成偏置。如果实验只控制 L2 系数而不固定 seed多个模型之间的差异会把初始化带来的偏置和正则带来的偏置混在一起结果无法解读。规范做法是每个种子都跑一组对照并报告函数空间离散度。还有一个容易忽略的实践问题训练分布往往在实验设计之初就被固化成一套随机切分代码之后被当作静态数据使用。事实上数据来源变化、预处理去重、采样权重调整、训练集扩充都会改变隐含的训练分布进而改变模型最终选中的可接受点。排查线上模型行为变化时应把训练分布变化纳入第一优先级的怀疑对象。5.2 可复用检查清单以下清单可以直接用于线性模型或小型深度学习实验关键是把“几何视角”变成每次实验后的固定检查动作。1. 数据与模型维度 [] 记录训练样本数 m、模型参数量 p、输出维度 [] 检查 p 是否大于 m若是则解集合天然不唯一 2. 可接受性验证 [] 确认训练集上的最终 MSE/残差是否达到预设阈值 [] 确认日志中的 loss 与重新前向计算的结果一致 3. 约束几何检查 [] 线性模型计算设计矩阵的秩、奇异值、条件数 [] 神经网络记录初始化 seed、学习率、训练步数 4. 解集合采样式验证 [] 至少用 5 个不同 seed 重复同一训练配置 [] 在固定评估网格上保存各模型的函数输出 5. 函数级指标 [] 计算函数输出均值、方差、最大偏差 [] 分别统计训练分布覆盖区和非覆盖区的偏差 6. 归纳偏置控制 [] 对比显式正则时固定 seed [] 对比隐式偏置时固定正则与优化器 [] 记录数据增强、采样权重、批量顺序等元信息这套清单适合研究阶段也适合线上模型回归测试。遇到模型行为异常时先按清单把数据分布、训练可复现性和函数输出方差三部分跑一遍通常能定位问题源头是在数据侧还是模型侧。6. 从研究问题到工程实践理解了可接受解集合的几何之后很多看起来不相关的工程策略可以统一解释。6.1 数据构建不能只看训练损失训练数据分布的核心价值不是增加样本数量而是约束模型在假设空间中那些原本自由的方向。数据增强也是一种对训练分布的修正。例如在图像任务中做随机裁剪、翻转、色彩抖动本质上是在告诉模型这些变换不应该改变输出标签。这改变了模型在可接受解区域中的选择趋势而不只是增加训练示例。实际工程中常见做法是直接合并所有来源的数据然后随机切分训练集验证集。如果不同来源数据在特征空间分布差别很大合并后的样本会被某些来源主导模型可接受解集合会偏向主导来源方向。建议先对特征做分布统计在训练日志中记录每个来源的样本数量和采样权重再决定是均衡采样还是分层采样。6.2 生产环境下的落地建议生产模型与学习实验有一个关键差异生产环境无法控制未来的测试分布。训练时模型只在历史数据分布上受到约束线上用户行为一旦偏移模型就会走到可接受解集合中“从未被约束检查过的方向”。降低这种风险需要多种手段配合。第一保留一个刻意覆盖边界情况的验证集。验证集不能只与训练集来自同一随机切分还要包含训练分布稀疏区域的样本。例如训练数据集中在工作日上午验证集就应加入夜间和周末样本。第二用多个 seed 或多次重复训练产生一个“函数输出区间”而不是只保留一次训练结果。即使生产最终只能部署一个模型重复训练得到的输出方差也能用于识别哪些输入区域的预测不可信。第三对高自由度模型设置温和的显式正则并在验证阶段同时观察训练分布覆盖区内外两个指标。适度正则通常会让模型在训练点上损失略微上升但能够缩小可接受解集合在函数空间中的扩散范围。第四模型监控不能只看总体准确率还要监控预测在特征分桶上的稳定性。一旦某个分桶输出方差变大或分布偏移就要考虑重新采集数据或调整采样权重。6.3 后续学习路径理解这个研究命题后可以根据自己的方向选择继续深入。如果对理论框架更感兴趣可以关注 PAC 学习理论、版本空间分析、函数空间复杂度上限这些内容为“可接受假设集合大小如何影响泛化误差”提供了形式化工具。如果对深度网络更感兴趣可以研究 loss landscape、模式连通性、flat minima 和 sharpness-aware 优化。它们的共同点都是在讨论损失曲面和可接受解区域内的局部几何。如果更偏工程可以重点研究不确定性量化和分布外检测。模型在训练分布未覆盖区域的输出差异正是不确定性的一种自然表达。把多个 seed 的函数输出分布收集起来就能构造出一个无需贝叶斯近似的不确定性估计器。无论从哪条路线进入核心认知都是一致的训练不等于“逼近唯一真函数”而是在训练分布约束出的可接受区域中用归纳偏置挑选一个代表性答案。理解这个区域的几何结构比单纯追求更低的训练损失更接近深度学习的本质问题。