1. 从“距离”说起为什么我们需要范数很多人第一次接触“范数”这个词是在线性代数或者数值计算的课堂上。老师写下一个公式说“这就是向量的2-范数”然后底下一片茫然。其实范数这个概念一点都不神秘它本质上就是在回答一个非常朴素的问题怎么衡量一个东西有多大。你想想平时我们说一个数有多大直接看绝对值就行了。但如果是多个数组成的一个向量呢比如一个三维向量 (3, 4, 0)它“有多大”你可以说它三个分量加起来是7也可以说它最大的分量是4还可以说它的欧几里得长度是5。这三种说法都没错但它们衡量的方式不同得到的结果也不同。范数就是把这些不同的衡量方式统一起来的一个数学框架。那矩阵范数又是什么矩阵本质上是一个线性变换它把一个向量映射成另一个向量。矩阵范数衡量的是这个变换的“放大能力”——也就是说一个矩阵最多能把一个向量拉长多少倍。这个在数值分析里极其重要因为它直接关系到误差会不会被放大、算法会不会失稳。我做了这么多年和数值计算、机器学习相关的工作可以很负责任地说范数是理解很多高级算法的基石。正则化里的L1、L2、谱范数、核范数深度学习里的梯度裁剪推荐系统里的矩阵补全信号处理里的压缩感知背后全都是范数在起作用。你不理解范数看这些论文就是看天书。这篇文章我会从向量范数讲到矩阵范数把常见的几种范数逐一拆解给出计算公式、几何直觉、代码实现和实际应用场景。不管你是刚学线代的学生还是做算法工程的从业者应该都能从中找到对自己有用的东西。2. 向量范数三种最常用的度量方式2.1 范数的数学定义与三个核心条件在正式介绍具体的范数之前我们先把定义说清楚。一个函数要从向量空间映射到非负实数并且被称为“范数”它必须满足三个条件非负性对任意向量 x都有 ||x|| ≥ 0且 ||x|| 0 当且仅当 x 是零向量。齐次性对任意标量 α 和向量 x都有 ||αx|| |α| · ||x||。也就是说缩放向量范数同比例缩放。三角不等式对任意向量 x 和 y都有 ||x y|| ≤ ||x|| ||y||。这条的直观含义是“绕路不会更短”。这三条看起来抽象但其实非常符合直觉。非负性说的是“大小不能是负的”齐次性说的是“放大两倍大小也放大两倍”三角不等式说的是“两点之间直线最短”。任何满足这三条的度量方式都可以叫范数。注意很多初学者会混淆“范数”和“距离”。范数是衡量单个向量大小的而距离是衡量两个向量之间差距的。不过两者有联系——如果你把两个向量的差取范数就得到了它们之间的距离这叫“由范数诱导的距离”。2.2 L1范数绝对值之和稀疏性的推手L1范数的定义非常直接就是把向量所有分量的绝对值加起来||x||₁ |x₁| |x₂| ... |xₙ|在二维平面上所有L1范数等于1的向量构成一个菱形旋转了45度的正方形。这个几何形状很关键因为它有“尖角”而尖角正好落在坐标轴上。这个特性直接导致了L1正则化会产生稀疏解——最优解倾向于落在坐标轴上也就是某些分量为零。我在做特征选择的时候经常用L1正则化也就是Lasso原因就在这里。当你有一千个特征但样本只有几百个的时候L1能帮你自动把不重要的特征系数压到零相当于内置了特征选择。这比先做特征工程再训练模型要省事得多。计算L1范数的代码非常简单import numpy as np x np.array([3, -4, 1]) l1_norm np.sum(np.abs(x)) print(l1_norm) # 输出 8手动算一下|3| |-4| |1| 3 4 1 8没错。2.3 L2范数欧几里得长度最熟悉的陌生人L2范数就是我们中学学的“距离公式”的推广||x||₂ √(x₁² x₂² ... xₙ²)二维平面上L2范数等于1的向量构成一个单位圆。三维空间中就是一个单位球面。L2范数是最符合我们直觉的“长度”概念也是物理里最常用的度量。L2范数有个非常重要的性质它对旋转不变。也就是说你把坐标系旋转一下向量的L2范数不变。这个性质在信号处理和机器学习里非常有用因为它意味着L2范数不依赖于坐标系的选择。在正则化中L2正则化Ridge回归会让系数尽量小但不为零产生的是“平滑”的解而不是稀疏解。这和L1形成鲜明对比。实际工作中怎么选如果你觉得所有特征都有点用只是不想让任何一个太大用L2如果你觉得大部分特征都是噪声只有少数真正重要用L1。l2_norm np.sqrt(np.sum(x**2)) # 或者直接用 numpy 内置函数 l2_norm np.linalg.norm(x, ord2) print(l2_norm) # 输出 5.099...对于 x [3, -4, 1]L2范数 √(9 16 1) √26 ≈ 5.099。2.4 L∞范数最大分量极端情况下的度量L∞范数也叫最大范数或切比雪夫范数定义是取所有分量绝对值的最大值||x||∞ max(|x₁|, |x₂|, ..., |xₙ|)对于 x [3, -4, 1]L∞范数 max(3, 4, 1) 4。L∞范数的几何形状在二维平面上是一个正方形边平行于坐标轴。它衡量的是“最坏情况”下的分量大小。在控制理论中L∞范数常用来衡量信号的最大幅值在误差分析中它给出的是最大偏差。linf_norm np.linalg.norm(x, ordnp.inf) print(linf_norm) # 输出 4.02.5 p-范数家族一个公式统一三种范数其实L1、L2、L∞并不是孤立的它们都是p-范数的特例||x||ₚ (|x₁|ᵖ |x₂|ᵖ ... |xₙ|ᵖ)^(1/p)当 p1 时就是L1范数p2 时就是L2范数。那L∞呢它是p趋向于无穷大时的极限。你可以这样理解当p很大的时候最大的那个分量在求和里占绝对主导地位其他分量的贡献可以忽略不计所以极限情况下就变成了取最大值。这个统一公式的好处是你可以通过调节p来连续地在“稀疏”p小和“平滑”p大之间过渡。实际工作中p1和p2是最常用的偶尔会用到p0.5比L1更稀疏或者p3比L2更平滑但后者比较少见。范数类型公式几何形状二维典型应用L1Σ|xᵢ|菱形Lasso回归、稀疏编码L2√(Σxᵢ²)圆形Ridge回归、距离度量L∞max(|xᵢ|)正方形误差上界、控制理论Lp(Σ|xᵢ|ᵖ)^(1/p)超椭圆通用框架实操心得在数值计算中直接按定义计算p-范数可能会遇到溢出或下溢的问题。比如当分量非常大时xᵢᵖ可能超出浮点数范围。一个常用的技巧是先把向量除以它的最大分量算完范数后再乘回去。这个技巧在实现softmax和log-sum-exp时也经常用到。3. 矩阵范数衡量线性变换的放大能力3.1 从向量范数到矩阵范数诱导范数的思想矩阵范数的定义比向量范数复杂一些因为矩阵不是一个简单的“一维列表”而是一个二维数组。那怎么衡量一个矩阵的“大小”呢最自然的想法是把矩阵看作一个线性变换看它能把向量“拉长”多少倍。这就是诱导范数也叫算子范数的核心思想||A|| max (||Ax|| / ||x||)其中 x ≠ 0也就是说在所有非零向量中找那个被矩阵A放大倍数最大的这个最大放大倍数就是矩阵的范数。等价的定义是 ||A|| max ||Ax||其中 ||x|| 1。因为齐次性我们只需要在单位向量上考虑就行了。这个定义非常直观矩阵范数就是矩阵的“最大放大率”。你给它一个单位向量它最多能给你输出多长的向量这个最长长度就是范数。诱导范数的一个重要性质是它和向量范数是“兼容”的||Ax|| ≤ ||A|| · ||x||。这个不等式在误差分析里到处都在用。3.2 矩阵1-范数最大列和矩阵的1-范数诱导自向量L1范数的计算非常简单取所有列向量的L1范数中的最大值。||A||₁ max_j Σᵢ |aᵢⱼ|也就是说先把每一列的绝对值加起来然后取最大的那个和。举个例子A [[1, -2], [3, 4]]第一列的绝对值之和 |1| |3| 4 第二列的绝对值之和 |-2| |4| 6 所以 ||A||₁ max(4, 6) 6。为什么是最大列和因为当你用L1范数衡量输入和输出向量时矩阵对向量的放大效果主要取决于“哪一列贡献最大”。这个推导过程涉及一些不等式技巧但结论很好记。A np.array([[1, -2], [3, 4]]) norm_1 np.linalg.norm(A, ord1) print(norm_1) # 输出 6.03.3 矩阵∞-范数最大行和矩阵的∞-范数诱导自向量L∞范数和1-范数是对称的取所有行向量的L1范数中的最大值。||A||∞ max_i Σⱼ |aᵢⱼ|对于上面的矩阵A 第一行的绝对值之和 |1| |-2| 3 第二行的绝对值之和 |3| |4| 7 所以 ||A||∞ max(3, 7) 7。norm_inf np.linalg.norm(A, ordnp.inf) print(norm_inf) # 输出 7.0你会发现一个有趣的现象矩阵的1-范数是最大列和∞-范数是最大行和。这个“转置对称性”不是巧合——矩阵A的1-范数等于A的转置的∞-范数反之亦然。3.4 矩阵2-范数最大奇异值谱范数的真面目矩阵的2-范数诱导自向量L2范数是最重要但也最难算的一个。它的定义是||A||₂ max (||Ax||₂ / ||x||₂)这个最大值等于矩阵A的最大奇异值也就是AᵀA的最大特征值的平方根。为什么是最大奇异值这涉及到奇异值分解SVD。任何矩阵都可以分解为 A UΣVᵀ其中U和V是正交矩阵Σ是对角矩阵对角线上的元素就是奇异值。当你用A去乘一个单位向量x时Vᵀx还是一个单位向量因为V是正交的然后Σ把它各个分量按奇异值缩放最后U再旋转一下不改变长度。所以最大放大倍数就是最大的奇异值。norm_2 np.linalg.norm(A, ord2) print(norm_2) # 输出 5.465...手动验证一下AᵀA [[10, 10], [10, 20]]特征值是 15 ± 5√5最大特征值约 26.18开根号约 5.117。等等让我重新算一下。A [[1, -2], [3, 4]] AᵀA [[1, 3], [-2, 4]] · [[1, -2], [3, 4]] [[19, -212], [-212, 416]] [[10, 10], [10, 20]]特征方程det([[10-λ, 10], [10, 20-λ]]) (10-λ)(20-λ) - 100 λ² - 30λ 100 0 λ (30 ± √(900-400))/2 (30 ± √500)/2 15 ± 5√5最大特征值 15 5√5 ≈ 15 11.18 26.18 开根号 ≈ 5.117所以 ||A||₂ ≈ 5.117。刚才numpy输出5.465可能是我的矩阵记错了让我重新确认。实际上numpy的默认ordNone是Frobenius范数ord2才是谱范数。我上面写的ord2是对的但输出值需要实际运行确认。这里我用手算结果为准约5.117。注意矩阵的2-范数计算成本较高因为需要做SVD。在实际工程中如果矩阵很大通常会用到幂迭代法来近似估计最大奇异值而不是完整做SVD。这个技巧在Google的PageRank算法里也用过——PageRank本质上就是在找转移矩阵的主特征向量。3.5 Frobenius范数最像向量L2的矩阵范数Frobenius范数不是诱导范数而是直接把矩阵“拉直”成向量后取L2范数||A||_F √(Σᵢ Σⱼ |aᵢⱼ|²)对于上面的矩阵A√(1 4 9 16) √30 ≈ 5.477。fro_norm np.linalg.norm(A, ordfro) print(fro_norm) # 输出 5.477...Frobenius范数计算简单不需要SVD而且有很多好性质比如对正交变换不变||UAV||_F ||A||_F。它在矩阵补全、推荐系统、深度学习权重衰减里用得非常多。Frobenius范数和矩阵2-范数的关系是||A||₂ ≤ ||A||_F ≤ √r · ||A||₂其中r是矩阵的秩。这个不等式在误差分析里经常用来做界估计。矩阵范数计算公式计算复杂度典型应用1-范数最大列和O(mn)稀疏矩阵分析∞-范数最大行和O(mn)误差上界2-范数最大奇异值O(min(mn², m²n))谱分析、稳定性Frobenius所有元素平方和开根O(mn)矩阵补全、正则化4. 范数的实际应用从正则化到深度学习4.1 L1 vs L2正则化稀疏与平滑的抉择正则化是范数最经典的应用场景。在机器学习中我们经常在损失函数后面加一项“正则项”用来防止过拟合。这个正则项就是模型参数的范数。L1正则化Lasso损失函数 λ·||w||₁ L2正则化Ridge损失函数 λ·||w||₂²为什么L1产生稀疏解从几何角度理解L1的约束区域是菱形菱形的尖角在坐标轴上。当你用损失函数的等高线去“碰”这个菱形时最容易碰到的就是尖角位置而尖角意味着某些参数为零。L2的约束区域是圆形没有尖角所以碰到的位置通常不在坐标轴上参数就不为零。从优化角度理解L1的梯度是符号函数±1在零点处不可导但有次梯度。L2的梯度是2w在零点处梯度为零。这意味着L2会把参数往零拉但不会真正拉到零因为越接近零拉力越小而L1的拉力是恒定的所以能把参数直接拉到零。我在实际项目中的经验是特征维度远大于样本量时优先用L1特征都有一定相关性且都需要保留时用L2两者都想要用弹性网络Elastic Net它是L1和L2的组合。4.2 谱范数在GAN训练中的稳定作用生成对抗网络GAN的训练稳定性一直是个大问题。后来有人提出谱归一化Spectral Normalization核心思想就是用谱范数矩阵2-范数来约束判别器的每一层权重矩阵。具体做法是把每一层的权重矩阵除以其谱范数使得||W||₂ 1。这样判别器就变成了一个1-Lipschitz函数梯度不会爆炸。这个技巧极大地提升了GAN的训练稳定性现在几乎是标配。为什么是谱范数而不是Frobenius范数因为谱范数衡量的是“最大放大率”控制住它就能控制住梯度的最大变化率。Frobenius范数控制的是“平均放大率”对最坏情况没有保证。4.3 核范数矩阵补全的低秩魔法核范数Nuclear Norm是矩阵奇异值之和||A||_* Σ σᵢ它是矩阵秩的凸松弛。什么意思呢矩阵的秩是非凸的、难以优化的但核范数是凸的、容易优化的。所以当我们想找一个“低秩矩阵”来拟合观测数据时就把秩最小化换成核范数最小化。这个在推荐系统里用得特别多。用户-物品评分矩阵通常是低秩的因为用户偏好可以用少数几个潜在因子解释但有很多缺失值。矩阵补全问题就是已知部分评分怎么填满整个矩阵答案就是最小化核范数。# 核范数计算 U, S, Vt np.linalg.svd(A) nuclear_norm np.sum(S) print(nuclear_norm)4.4 梯度裁剪用范数控制训练稳定性深度学习训练中梯度爆炸是个常见问题。解决方法之一就是梯度裁剪如果梯度的范数超过某个阈值就把它缩放到阈值以内。grad_norm np.linalg.norm(gradients) if grad_norm threshold: gradients gradients * (threshold / grad_norm)这里通常用L2范数全局梯度裁剪或者L∞范数逐元素裁剪。L2裁剪保持梯度方向不变只改变大小L∞裁剪则可能改变方向。实践中L2裁剪更常用因为它更“温和”。实操心得梯度裁剪的阈值选择很关键。太小会导致训练缓慢太大会失去裁剪的意义。我的经验是先用默认值比如1.0或5.0跑一下观察梯度范数的分布然后选一个略大于中位数的值。如果梯度范数经常超过阈值说明学习率可能太大了。5. 常见问题与排查技巧实录5.1 范数计算中的数值稳定性问题问题一大数溢出。当向量分量很大时直接计算L2范数会溢出。比如x [1e200, 1e200]x² 1e400超出浮点数范围。解决方法先除以最大分量算完再乘回去。def stable_l2_norm(x): max_val np.max(np.abs(x)) if max_val 0: return 0 return max_val * np.linalg.norm(x / max_val)问题二小数下溢。当分量很小时平方后可能变成零导致范数计算不准确。同样的技巧也适用。问题三矩阵2-范数的迭代计算。对于大矩阵完整SVD太慢。可以用幂迭代法估计最大奇异值反复用AᵀA乘一个随机向量归一化直到收敛。收敛速度取决于最大和次大奇异值的比值。5.2 范数选择中的常见误区误区一认为所有范数都差不多。实际上在高维空间中不同范数的差异非常大。比如在100维空间中L1范数和L2范数的比值可以差到√100 10倍。这个差异会直接影响正则化的效果。误区二忘记开根号。L2范数的定义里有平方根但L2正则化通常用的是平方形式不带根号。这是因为平方形式求导更方便导数是2w而不是w/||w||而且优化效果等价因为平方是单调函数。但如果你在计算距离或相似度就必须开根号。误区三混淆矩阵范数和向量范数。矩阵的Frobenius范数等于把它拉直后的向量L2范数但矩阵的2-范数不等于拉直后的L2范数。这两个经常被搞混。5.3 范数相关问题的速查表问题现象可能原因排查方法解决方案正则化后参数全为零L1正则化系数λ太大检查λ值观察参数分布减小λ或改用L2训练梯度爆炸权重矩阵谱范数过大打印每层权重范数谱归一化或梯度裁剪矩阵补全效果差核范数最小化不适用检查矩阵是否真的低秩改用其他低秩近似方法范数计算结果为NaN数值溢出或下溢检查输入数据范围使用稳定计算技巧L1和L2结果差异大数据特征相关性高计算特征相关矩阵用弹性网络折中5.4 独家避坑技巧技巧一用对数域计算范数。当分量跨越多个数量级时可以在对数域计算。比如log-sum-exp技巧log(Σexp(xᵢ)) max(x) log(Σexp(xᵢ - max(x)))。这个在计算softmax和L∞范数时很有用。技巧二利用范数的对偶性。L1范数的对偶是L∞范数L2范数的对偶是它自己。这意味着||x||₁ max_{||y||∞≤1} yᵀx。这个对偶关系在推导优化算法的对偶问题时非常有用。技巧三矩阵范数的子乘法性。||AB|| ≤ ||A|| · ||B||。这个性质在分析多层神经网络时很有用——你可以用每层范数的乘积来估计整个网络的Lipschitz常数。技巧四不要迷信默认参数。numpy的np.linalg.norm默认是Frobenius范数对矩阵或L2范数对向量但很多库的默认值不同。PyTorch的torch.norm默认是L2但torch.linalg.norm需要显式指定ord。用之前一定查文档。6. 从公式到代码完整实现与验证6.1 手写向量范数计算函数import numpy as np def vector_norm(x, p2): 计算向量的p-范数 x np.asarray(x, dtypefloat) if p np.inf: return np.max(np.abs(x)) if p 1: return np.sum(np.abs(x)) # 通用p-范数使用稳定计算 max_val np.max(np.abs(x)) if max_val 0: return 0.0 return max_val * (np.sum((np.abs(x) / max_val) ** p)) ** (1/p) # 测试 x np.array([3, -4, 1]) print(fL1: {vector_norm(x, 1)}) # 8.0 print(fL2: {vector_norm(x, 2)}) # 5.099 print(fLinf: {vector_norm(x, np.inf)}) # 4.06.2 手写矩阵范数计算函数def matrix_norm(A, ordfro): 计算矩阵范数 A np.asarray(A, dtypefloat) if ord fro: return np.sqrt(np.sum(A ** 2)) if ord 1: return np.max(np.sum(np.abs(A), axis0)) if ord np.inf: return np.max(np.sum(np.abs(A), axis1)) if ord 2: # 谱范数最大奇异值 U, S, Vt np.linalg.svd(A, full_matricesFalse) return S[0] if ord nuc: U, S, Vt np.linalg.svd(A, full_matricesFalse) return np.sum(S) raise ValueError(f不支持的范数类型: {ord}) # 测试 A np.array([[1, -2], [3, 4]]) print(f1-范数: {matrix_norm(A, 1)}) # 6.0 print(finf-范数: {matrix_norm(A, np.inf)}) # 7.0 print(f2-范数: {matrix_norm(A, 2):.4f}) # 约5.117 print(fFrobenius: {matrix_norm(A, fro):.4f}) # 约5.477 print(f核范数: {matrix_norm(A, nuc):.4f}) # 奇异值之和6.3 验证范数性质的实验# 验证三角不等式 x np.random.randn(10) y np.random.randn(10) for p in [1, 2, np.inf]: lhs vector_norm(x y, p) rhs vector_norm(x, p) vector_norm(y, p) print(fp{p}: ||xy||{lhs:.4f} ||x||||y||{rhs:.4f} - {lhs rhs}) # 验证齐次性 alpha 3.5 for p in [1, 2, np.inf]: lhs vector_norm(alpha * x, p) rhs abs(alpha) * vector_norm(x, p) print(fp{p}: ||αx||{lhs:.4f} |α|·||x||{rhs:.4f} - {np.isclose(lhs, rhs)}) # 验证矩阵范数的子乘法性 B np.random.randn(10, 5) C np.random.randn(5, 8) for ord_val in [1, 2, np.inf, fro]: lhs matrix_norm(B C, ord_val) rhs matrix_norm(B, ord_val) * matrix_norm(C, ord_val) print(ford{ord_val}: ||BC||{lhs:.4f} ||B||·||C||{rhs:.4f} - {lhs rhs 1e-10})这些验证实验看起来简单但它们是理解范数性质的最好方式。我建议每个学范数的人都亲手跑一遍比看十遍公式都管用。6.4 范数在优化中的实际案例假设我们要解一个Lasso问题min ||Ax - b||₂² λ||x||₁这个问题的难点在于L1项不可导。常用的解法是坐标下降法或近端梯度法。近端梯度法的核心是软阈值算子def soft_threshold(x, threshold): 软阈值算子L1近端算子的核心 return np.sign(x) * np.maximum(np.abs(x) - threshold, 0) def lasso_proximal_gradient(A, b, lam, max_iter1000, tol1e-6): 用近端梯度法解Lasso m, n A.shape x np.zeros(n) L np.linalg.norm(A, 2) ** 2 # Lipschitz常数 step 1.0 / L for i in range(max_iter): grad A.T (A x - b) x_new soft_threshold(x - step * grad, lam * step) if np.linalg.norm(x_new - x) tol: break x x_new return x这个代码展示了范数如何直接嵌入优化算法。Lipschitz常数用谱范数计算软阈值算子来自L1范数的近端算子。理解这些你就能自己推导和实现各种正则化算法。7. 范数在深度学习中的进阶应用7.1 权重衰减与L2正则化的微妙区别很多人以为权重衰减就是L2正则化其实在自适应优化器如Adam中这两者不等价。L2正则化是把正则项加到损失函数里梯度里会多出λw这一项。而权重衰减是直接在参数更新时乘以一个衰减因子。在SGD中两者等价。但在Adam中因为Adam会对梯度做自适应缩放L2正则化的效果会被缩放影响而权重衰减不会。这就是为什么AdamW要把权重衰减从梯度计算中分离出来。这个区别在实际训练中影响很大。如果你用Adam加L2正则化正则化效果可能比你预期的弱很多。换成AdamW或者显式权重衰减效果会明显不同。7.2 谱归一化在生成模型中的实现class SpectralNorm: 谱归一化的简化实现 def __init__(self, module, nameweight, n_power_iterations1): self.module module self.name name self.n_power_iterations n_power_iterations # 初始化u和v向量用于幂迭代 w getattr(module, name) h, w_dim w.shape[0], w.shape[1] self.u np.random.randn(h) self.u self.u / np.linalg.norm(self.u) self.v np.random.randn(w_dim) self.v self.v / np.linalg.norm(self.v) def compute_weight(self): w getattr(self.module, self.name) # 幂迭代估计最大奇异值 for _ in range(self.n_power_iterations): self.v w.T self.u self.v self.v / np.linalg.norm(self.v) self.u w self.v self.u self.u / np.linalg.norm(self.u) sigma self.u w self.v return w / sigma谱归一化的核心就是幂迭代而幂迭代本质上是在估计矩阵的谱范数。这个技巧在StyleGAN等生成模型里是标配。7.3 范数在对抗攻击中的角色对抗攻击的核心是找一个小扰动δ使得模型分类错误。这个“小”就是用范数来衡量的。常见的攻击方法FGSM用L∞范数约束扰动δ ε·sign(∇L)PGD迭代版FGSM每步投影到L∞球内CW攻击用L2范数约束优化扰动大小防御方法也离不开范数。比如对抗训练就是把这些扰动样本加入训练集而对抗样本的生成和约束都依赖范数。理解范数你才能理解对抗攻击和防御的本质。8. 写在最后一些个人体会范数这个东西刚学的时候觉得就是几个公式没什么大不了的。但越往后做越发现它无处不在。你做正则化要用它做误差分析要用它做优化算法的收敛性证明要用它做深度学习的稳定性分析还是要用它。我个人最大的体会是不要死记公式要理解几何意义和物理直觉。L1的菱形、L2的圆形、L∞的正方形这些几何图像比公式好记一百倍。当你看到一个新范数时先想想它的单位球长什么样很多性质就一目了然了。另一个体会是范数的选择往往决定了算法的行为。同样的优化问题用L1和用L2得到的解可能完全不同。L1给稀疏解L2给平滑解核范数给低秩解。你选什么范数就相当于告诉算法你想要什么样的解。这个“先验知识”的注入是范数最强大的地方。最后分享一个实用建议如果你在实现一个涉及范数的算法先用小规模数据手动验证。比如用2x2矩阵验证矩阵范数用3维向量验证向量范数。手算一遍再用代码跑一遍对比结果。这个习惯帮我抓出了无数bug尤其是那些因为范数定义搞混而导致的隐蔽错误。