你可能也刷到了这条消息继一位重量级研究者公开表达对规模扩展的怀疑之后KAN 论文的作者也明确抛出了类似论断——Scaling规模扩展终将撞上铁壁。这句话在我所在的几个技术讨论群里来回转了好几轮有人觉得是泼冷水有人觉得是风向标还有人直接搬出过去几年的大模型进展来反驳如果规模扩展行不通那前几年的性能跃升又怎么解释这确实不是一个能靠一两句话下结论的话题。作为从深度学习时代一路跟过来的从业者我自己也经历了从“网络越大越好”到“开始怀疑边际收益”的心态转变。这些年我做过不少模型训练和推理优化的项目眼看着训练集群从单机走向大规模并行也亲身体会过数据、算力、能源这三座大山压在工程头上是什么感觉。这篇文章不打算站队而是想把这个争论本身拆开来看Scaling 到底在扩展什么KAN 这种“换架构”的思路凭什么让行业震动所谓“铁壁”如果真的存在它到底长什么样以及最重要的一点——这场争论对普通开发者、算法工程师和技术决策者来说意味着什么。1. 信“规模越大越强”的过去十年是怎么被验证的在讨论“撞墙”之前得先搞清楚一件事Scaling 这套信仰到底是怎么建立起来的。它不是某个人拍脑袋想出来的口号而是过去十多年被大量实验结果反复验证过的一条经验规律。1.1 幂律曲线背后的工程直觉Scaling laws 的核心表述其实很朴素当模型的参数量、训练数据量和计算量同步提升时模型在任务上的表现会按照幂律关系稳定提升。用大白话说就是你喂给模型更多参数、更多数据、更多算力它的能力就会跟着涨——不是线性涨而是在对数坐标下呈一条近似直线的上涨曲线。这条规律之所以让人信服是因为它在多个尺度上都站得住脚。从小规模实验到大集群训练从语言模型到多模态模型很多团队都观察到了类似的趋势。我自己印象最深的一件事是早期在某图像任务上做实验把模型参数从几百万涨到几千万时效果提升非常明显等到了上亿参数量提升斜率虽然放缓但依然存在。这种“规律稳定、可预测”的特性非常诱人因为它给了工程一个明确的方向想要更好的效果就按比例放大。这也是为什么行业会把大量资源砸向模型堆叠、数据采集和算力建设。在相当长一段时间里这是一种风险极低、收益确定的投资策略——你不需要搞出什么惊天动地的算法创新只需把规模做上去性能就会跟着上去。这种确定性在充满不确定性的研究领域里显得极其珍贵。1.2 从预训练扩展到后训练扩展但严格来说行业对 Scaling 的理解也在不断变化。早期大家主要盯着预训练阶段的模型参数量和训练数据量即“预训练扩展”。到后来人们发现单纯扩大预训练规模的边际收益开始下滑于是把目光转向了推理阶段——让模型在回答问题时消耗更多计算量比如多步推理、自我校验、思维链等机制。这个方向被形象地称为“后训练扩展”或“推理时扩展”。我特别想强调这个转变因为它是理解“Scaling 撞墙”争论的关键背景。当预训练规模的增长变得越来越昂贵、越来越难以持续时行业自然会去寻找新的“扩展维度”。后训练扩展就是这样一个新维度它不需要无限堆参数而是通过让模型“思考更久”来换取更强的能力。这种思路的应用场景已经很常见了——很多智能问答、复杂任务处理系统里模型都会内部生成多轮中间步骤再给出最终答案。所以你看Scaling 并不是一个固定不变的概念它本身就在演化。而正是因为每个阶段都能找到新的扩展维度人们对“规模信仰”的坚持才如此牢固。可问题也恰恰出在这里如果有一天所有已知维度的边际收益都趋近于零呢那堵墙就是标题里说的“铁壁”。2. KAN 论文最大冲击不是效果而是“换个变量”的思路KAN 论文之所以能在行业里引起巨大讨论绝不仅仅是因为它宣称看到了 Scaling 的边界更关键的是它提出了一个截然不同的技术方向——与其继续堆规模不如重构网络的基本构件。这种“换变量”的思路在大家习惯性想着“继续加大”的行业氛围里确实像一记惊雷。2.1 KAN 在改什么从固定激活到可学习激活KAN 的全称是 Kolmogorov-Arnold Networks它的理论根基是数学里的一个经典结论——多元函数可以分解为若干单变量函数的叠加。这个结论听起来很抽象但落到神经网络上它的含义非常直接传统网络结构比如 MLP是把每个神经元上的激活函数固定死的训练过程中只调整层与层之间的权重矩阵而 KAN 的思路是把激活函数本身也变成可以学习的参数让网络在训练中自动找到最适合当前任务的非线性变换。打个生活化的比方传统 MLP 像是给你一套固定形状的乐高积木你只能通过不同的拼法去搭出各种结构KAN 则像是把积木的形状也变成了可调参数每块积木可以自动弯曲、拉伸成最合适的样子。从理论上说这种设计在表达能力上更灵活在小规模问题上也可能用更少的参数达到与传统结构相近的效果。当然KAN 背后涉及的数学机理和实现细节要深得多这里不展开。重点在于它给了行业一个非常明确的信号在我们埋头堆了这么多年参数之后网络骨架本身的可塑性可能被严重低估了。传统结构的表达能力真的要靠宽度和深度硬扛吗有没有可能改变激活函数的组织方式就能以更小的代价获得更强的智能2.2 这场争论真正有价值的地方在哪KAN 的论文发出后讨论的热度极高。支持者认为这是对主流范式的一次正面挑战反对者则指出它在超大模型上的表现还缺乏充分验证很难立刻撼动现有工程体系。这两种声音放在一起恰恰暴露出一个问题行业对“继续扩大规模”这件事的依赖已经深入到了骨髓。我个人的看法是KAN 的价值不在于它能否立刻取代现有架构而在于它把“是否还有其他路可走”这个问题摆到了台面上。过去这些年大部分团队的技术路线几乎是被 Scaling 信仰统一塑造的有算力就堆算力有数据就堆数据效果不好就继续加码。这种路径依赖让整个行业变成了一个巨大的“规模竞赛”。可一旦有人指出我们也许可以在结构本质上做文章这个看似铁板一块的共识就出现了裂缝。这不是说 Scaling 一定是错的而是说它不再被理所当然地视为唯一解。KAN 作者选择在这个时间点抛出“撞铁壁”的论断本质上是在提醒大家如果所有公司都在同一条道路上血拼资源那当这条路走到尽头时整个行业都会同时撞墙。提前思考替代路径是必要的风险对冲。3. 数据墙、算力墙与能耗墙把“铁壁”翻译成工程问题“Scaling 撞墙”这种说法听起来有点哲学但如果把它翻译成工程问题其实非常具体数据不够用了算力贵得离谱了电费扛不住了。这三堵墙是我在实际项目中每天都能感知到的东西。3.1 数据墙高质量文本并非取之不尽大模型的第一口粮是数据。尤其是语言模型每一代更强的模型都意味着更大规模、更高质量的训练语料。可问题在于互联网上真实存在的高质量文本总归是有限的。行业里早就有估算按当前训练数据的消耗速度高质量文本数据在数年内就可能被集中采尽。这个说法到底准不准确不好说但趋势是明确的数据采集的成本在上升新数据的边际价值在下降。当真实人类数据开始枯竭行业转向了两个方向一是用合成数据自我迭代——让模型生成训练语料再拿这些语料训练下一代模型二是探索更多元的数据形态比如图像、视频、音频、传感器数据。合成数据的思路有得通但存在风险包括内容质量不稳定、多样性不足乃至在迭代中放大模型自身的偏见和错误。我自己在做数据工程时也经常遇到类似问题——模型生成的数据看起来流畅但细看会发现逻辑漏洞和事实错误远不如精心整理的真实语料可靠。数据墙的可怕之处在于它不是一堵突然出现的墙而是一条缓缓逼近的地平线。你总觉得还有距离但每推进一代模型距离就缩短一截。当数据增长的速度跟不上模型规模增长的速度Scaling 的根基就已经开始松动。3.2 算力墙规模翻倍的边际成本正在上扬再来看算力墙。过去这些年训练集群的规模从几十块卡扩展到几千块甚至更多通信开销、故障恢复、分布式调度这些问题让训练一个超大模型的工程复杂度呈指数级上升。简单地说从单机训练到集群训练你需要处理的不只是“更多计算”而是“更复杂的协作”。我自己在做分布式训练时最深的体会是当你把集群规模扩大一倍训练吞吐量往往达不到两倍中间会有大量算力消耗在节点通信、数据同步、等待慢节点这件事情上。集群越大木桶效应越明显某个节点的故障可能让整轮训练功亏一篑。这意味着算力成本不是线性增长的它是向上弯曲的曲线——越往上堆每一分新算力换来的实际收益就越薄。更现实的问题在于算力本身的获取也在变难。高端芯片的供给、集群建设的周期、散热和运维的复杂度这些都构成了隐形的天花板。当行业里几乎每家头部团队都在同时抢购算力资源时价格会被推高交付周期会被拉长。一个技术团队即便有钱也很难在短时间内把算力规模再翻一番。3.3 能耗墙电力供给开始影响发展节奏算力墙和能耗墙其实是一对双胞胎。更大的集群意味着更多的电力消耗而电力供给早就不是“交钱就有电”那么简单的事情了。大规模训练集群的能耗水平已经达到了足以影响地区电网负载的程度。有几家大型数据中心在选址时首要考虑因素已经从“网络便利性”变成了“电力冗余度”。能耗问题对行业的影响是结构性的。它推高了训练成本压缩了创业团队的生存空间也迫使很多团队去探索高效训练、模型压缩、推理加速等省电方案。讽刺的是这些“省电方案”本质上也能提升模型效率但它们最初的动机往往不是因为对 Scaling 的怀疑而是因为电费真的扛不住了。这三堵墙合在一起构成了“铁壁”的物理含义。它不是某一项技术无法突破而是数据、算力、能源三个维度同时逼近物理与经济的极限。你可以暂时绕过其中一堵但三堵墙同时逼近时继续沿着老路走成本会越来越高收益会越来越低。下面这个表可以更直观地看出三堵墙的工程影响维度 | 具体表现 | 对工程团队的影响 数据墙 | 真实高质量数据增速放缓合成数据成熟度有限 | 数据清洗、语料治理、多模态数据采集成为主战场 算力墙 | 集群扩大带来通信、故障、调度等非计算开销 | 训练框架优化、容灾设计、资源调度的权重显著上升 能耗墙 | 电力供给与散热成本成为硬约束 | 成本模型不再只是算力租金更要考虑能耗与碳排放4. 行业里的三种立场信仰派、转向派与并行派“Scaling 会不会撞墙”这个问题在行业里分成三派各有拥趸。我把这三派的逻辑梳理一遍你会发现它的指向比表面看起来要复杂得多。4.1 信仰派挡板与铁壁是两回事信仰派的观点很直接过去十几年每一次有人喊“模型到头了”最后都被更大的模型打脸。他们承认数据、算力和能耗确实在收紧但不认为这会从根本上终结规模扩展。理由也很现实我们还没用尽所有可用的扩展维度。多模态数据还没有被完全挖掘合成数据的质量还在快速提升模型架构和训练算法也远没到没有优化空间的地步。在信仰派看来现在撞的顶多是一块挡板而不是铁壁。只要改造输入信号、优化训练方式、提高数据利用效率规模扩展就还能再走很远。他们往往比较乐观地认为Scaling 的终点只取决于人类的工程创造力和资源投入而不是某种先验的“极限”。4.2 转向派架构创新的窗口正在打开转向派则从另一条逻辑出发。他们认为既然数据、算力、能耗都有物理上限那么解决行业瓶颈的关键就不可能在“更大”上而应该在“不同”上。KAN 这类研究的意义正在于打开了“不同”这扇窗。转向派并不是说传统架构已经失败了而是说当规模扩展的边际收益变平之后投入产出比会逼迫行业去重估架构创新的价值。过去一个架构上的改良可能因为效果差异不够明显而被忽略但当大家都卷不动规模时任何一点结构上的效率提升都会变得极具竞争力。转向派相信接下来的大突破不太可能来自“把模型再放大一倍”而更可能来自“用更聪明的方式组织参数和计算”。4.3 并行派规模与架构会相互牵引并行派的态度相对折中也是我私下比较认可的一种判断。他们认为规模和架构并不是对立关系而是相互牵引的关系。更好的架构可以让同样规模的模型变得更强更强的模型又会在更大规模上释放新的能力。换句话说架构创新的价值恰恰需要通过规模扩展来放大。在这个视角下Scaling 撞不撞墙根本不是关键问题。关键是你手里有没有足够强的架构杠杆。如果 KAN 这类方向在更大规模上被验证有效那它就意味着新的扩展空间如果它在超大参数场景下失效那我们大概率就只能继续在现有结构上修修补补。行业真正需要担心的是没有备选方案的单一依赖而不是某一条路本身的长短。这场争论最有价值的贡献是把三种立场都摆在了明面上。不管是信仰派、转向派还是并行派其实都已经承认了同一个事实单纯堆规模的路线已经不再像几年前那样是最优策略。这个共识本身就是最近行业里最值得关注的思想变化。5. 我不建议普通从业者站队但建议做这几件事作为一个不算一线的算法从业者我没有资格给整个行业指方向。但要说这场争论对个人和中小团队有什么启示我还是有点实打实的体会的。我的建议很简单别急着站队但一定要调整自己做事的优先级。5.1 从“跟热点”调整为“跟指标”我见过太多团队热点一出来就急着往上扑——今天换新模型明天改新架构后天再追新算法。但真正能把业务做起来的往往是那些盯着自家核心指标死磕的团队。在 Scaling 争论的背景之下这一点变得更加重要。你要做的第一件事是画一画你自己任务上的收益曲线模型参数量从一千万涨到一亿再从一亿涨到十亿你的关键指标到底涨了多少如果斜率已经很平那就说明在这个任务上继续堆规模不是你该走的路。如果斜率还很陡那说明规模红利还在你完全没必要被“撞墙”的说法带偏节奏。5.2 把数据工程放在比调参更高的优先级很多人沉迷于调整模型结构、精调训练超参却对数据本身没有足够的敬畏。根据我自己踩过的坑绝大多数模型效果不佳的根源其实都是数据问题——噪声太多、分布不均、样本重复、标签错误。你把模型从千万参数换到亿级参数都不如把数据集里的三成垃圾数据清掉收获大。在数据墙逼近的当下这一点尤其重要。既然新数据越来越难找那我们能做的就是把手头的数据用尽用透。我通常会先做一轮全面的数据审计统计类别分布、长度分布、重复度、噪声率再决定清洗策略。这一步看似不性感但回报率极高。如果你有富余的资源不妨也试试少量合成数据与真实数据混合训练的实验这能帮你提前判断未来如何应对真实语料枯竭的问题。5.3 保持对推理成本的敏感训练成本是显性成本大家都看得见推理成本却是隐性成本很容易被忽视。但一个模型真正规模化落地后推理成本往往是长期运营里的大头。很多团队在做技术选型时只看训练效果忽略了对推理阶段计算量的约束结果上线后发现成本远超预期不得不中途返工。所以我建议在做模型选型或自研架构时把“推理时计算开销”作为一个明确指标来跟踪。KAN 这类方向的吸引力之一就在于它有可能用更少参数达到同等效果这意味着推理成本可能更低。当然这还处在早期探索阶段但提前在架构层面关注这类收益长期来看不会吃亏。5.4 为架构变化留好接口最后一条是我经历过不少痛苦教训后总结出来的代码和系统架构的抽象能力决定了你是否能被新思路接住。如果你把所有模块都硬编码成某个具体模型专用那么当新架构出现时你的迁移成本会高到让人放弃尝试。我在自己的项目里会刻意把数据处理、模型层、推理服务设计成可插拔的接口。哪怕暂时用不到 KAN也会在模型注册层留好位置哪怕暂时不做推理时扩展也会在请求链路里预留控制开关。这个习惯帮我节省过非常多的返工时间。当前模型还能打不代表未来永远是它一旦架构创新成熟能最快接住新范式的人一定是早早在代码里留好余地的团队。说到底 Scaling 这场争论最大的意义不是告诉我们哪条路会死而是提醒每个人技术世界随时可能变轨而准备永远在机会到来之前更值钱。