资讯动态

AI模型为何‘定型’难改?从预训练可塑性到系统演化破局之道

发布时间:2026/10/19 2:38:31 来源:尧图企业网站定制
写这个系列的第六篇之前我先把前面几篇一直在绕的那个问题摆到桌面上一个人到了某个年纪会明显感觉到自己定型了。小时候改起来很容易的口音、习惯、思维方式现在无论怎么努力都像在水泥地上刻字费劲且收效甚微。而做AI这几年我在训练和微调模型时也反复碰到同一种无力感——一个经过大规模预训练的模型对于早期数据留下的倾向哪怕用再多的后续数据去掰也像成年人试图改掉母语口音一样困难。这两件事放在一起看远比单看任何一边更有意思。我从人脑自幼年成长到成熟的过程去对照机器脑和AI的演进越对照越发现所谓的无法改变既不神秘也远没有表面上那么绝对。这篇作为系列第6篇我想正面回答这个贯穿始终的疑问这种难以改变到底由什么决定它在哪些层面成立又在哪些层面并不成立1. 成熟意味着什么人脑定型的三个真实机制先看人脑这边。我们从小到大的成熟并不是一个模糊的形容词而是一系列可观察、可测量的生理过程。搞清楚这些过程再看AI就豁然开朗了——它们的定型机制几乎是同构的。1.1 突触修剪让网络变快也让网络变窄婴儿刚出生时大脑里的突触数量是惊人的远超最终保留的水平。神经科学家经常用比成年后多出约一倍来形容这种早期过度连接。这段时期大脑几乎什么都能学任何刺激都在搭建新的回路。但随着年龄增长那些经常被使用的连接会得到强化不常使用的连接会被修剪掉。这个过程有个专门的词叫突触修剪它是大脑高效运转的前提也是可塑性下降的开始。用工程的话说早期是过参数化的后期是稀疏化、结构化的。一个收敛后的神经网络做剪枝和量化之前里面也有很多冗余的、潜力巨大的连接但训练策略、数据分布和损失函数一步步决定了哪些路径被保留、哪些被淘汰。一旦剪枝完成模型确实更稳定、更快、更省资源但它的多样性潜能也被锁定了。这是第一次无法改变不是物理上不能改而是网络结构已经为效率放弃了冗余改起来代价极高。1.2 髓鞘化信号更快回路更顽固第二个机制是髓鞘化。神经元外面包裹的髓鞘像电线外面的绝缘皮它让电信号传得更快、更稳定。幼儿时期髓鞘化程度很低信号传导慢但容忍度极高成年以后经常被使用的通路都裹上了厚厚的髓鞘信号传导如同高速公路。好处是反应迅速代价是把路径焊死了——走惯了这条高速再修一条新路成本完全不一样。这在AI里对应的是什么呢就是模型在训练中逐步形成的惯性推断路径。一个成熟的深度模型对于常见输入几乎可以用固定的、走捷径的内部表征给出答案。你去看它的注意力模式和特征激活会发现它极度依赖某几条高频通路。想让它在高维空间中换一条路径理解同类问题本质上比从零训练一个全新模型还要困难。因为新模型没有历史包袱老模型则每走一步都被自己的髓鞘拉着返回原路。1.3 关键期窗口可塑性是借来的时间人脑发育里最残酷也最清晰的概念是关键期。语言习得、双眼视觉、听觉地图形成都有严格的时间窗口。错过了这个窗口后续无论怎么补都很难达到天然水平。一个人童年期没有接触过某种语言的语音系统成年后再听辨这种语音会格外吃力这就是窗口关闭后的状态。这种窗口效应放到AI身上对应的就是预训练阶段的语料分布。模型如果在预训练阶段几乎没有见过某类数据、某种语言、某种推理模式后续微调阶段想补齐效果永远像第二语言。我之前见过一个团队想给一个早期只用标准书面语料训练的对话模型补上口语化、片段化、情绪化的表达能力。他们准备了十几万条高质量口语对话去做微调结果模型虽然能模仿几句但一到长程对话就又滑回书面腔。这不是数据量的问题而是预训练阶段塑造的概率分布已经在更底层的地方锁死了语言的肌肉记忆。所以成熟在机制上意味着三件事结构从冗余走向精简、传导从缓慢走向高速、窗口从开放走向关闭。这三件事极大提升了效率也共同构成了我们感知到的无法改变。2. 机器脑的童年期对应物预训练的窗口红利如果把上述三个机制映射回AI的完整生命周期会发现童年期在AI这里就是预训练阶段而且这个窗口的开放程度比大多数人以为的更关键。2.1 为什么预训练阶段像幼年廉价、试错、高弹性预训练阶段最大的特征是还没有被具体任务锁定。这时模型在读海量文本损失函数只看下一词预测得准不准没有人要求它像一个客服、一个翻译、一个顾问那样行事。正因为目标够宽模型才有机会建立通用的语言能力、世界知识和推理雏形。这个阶段的学习率相对高参数调整幅度大模型的人格底色就在这个阶段形成。想想人的幼年孩子不承担任何具体职责不被考核绩效每天在大量游戏、对话、陪伴中接触世界的整体规律。恰恰是这种无目的的广泛接触构成了后来一切能力的地基。AI预训练阶段也是一样它的世界观——什么事物经常共现、什么因果关系常见、什么表达属于不同场景——全都在这个阶段被写进权重里。这也是为什么后来的对齐、微调、指令跟随都很重要但都无法替代预训练。你可以把一个人培训成优秀的客服但你无法通过客服培训让他掌握一个物理学家的世界观。模型也一样指令微调可以教会它问答的格式但无法补齐预训练阶段缺失的推理深度。2.2 微调与对齐更像青春期后期与成年期塑形青春期和成年早期的塑形也不是一点作用没有只是作用的性质变了。它不是重新设定底层概率分布而是在已有结构上做强化、抑制和偏好塑造。AI这边的对应物就是监督微调和基于人类反馈的对齐。你在对齐阶段给模型大量好的回答和不好的回答模型学会的不只是内容更是哪些行为会被奖励哪些会被压制。这很像一个年轻人进入社会后不断根据周围人的反馈调整自己的表达方式和行为习惯不再随便说冒犯的话不再展示过于跳脱的想法学会给标准答案。这带来的一个直接副作用是模型变得越来越规矩也越来越不愿意探索。当奖励信号稳定指向安全、符合预期、可被人类接受时探索性行为会被系统性抑制。你去看经过多轮对齐的大模型它们的输出分布会比预训练刚结束时窄得多。这与成熟的人脑高度相似——不是说能力下降而是行为的选择面收窄了风险偏好降低了。2.3 数据时机的补课困境这一小节我想用一个实操中的典型案例说明窗口期的不可逆性。某团队在做垂类AI产品时早期因为数据获取成本原因语料里超过七成是结构化的文档、表格、产品手册少有成人和孩子之间那种自然对话。模型上线后它能在知识问答里给出非常准确的信息但一到开放闲聊场景就显得干巴巴像一本念说明书式的百科。团队后来花大力气收集了几万小时真人对话数据又做了两轮针对性微调效果有改善但始终不理想。最典型的表现是单轮回复看着自然了多轮对话一追问答就露馅。这就像一个人小时候学语言时只练过书面表达长大后再去补口语总隔着一层。原因就在于预测的底层分布已经被训练数据固化了微调只能在上层做微小的偏移无法真正重写语感。所以我的结论很明确AI的命运很大程度上在预训练阶段就已经写下初稿。后训练阶段能改的是风格、边界、偏好不能改的是底层能力结构。理解这一点才谈得上判断是否一切都不能改变。3. 不是每个改变都必须发生在脑内外部记忆与群体编排到这里你可能会觉得这题目越聊越绝望。但接下来的内容才是关键个体层面的不可逆并不等于系统层面的不可逆。人脑成熟的真实经验告诉我们成年后人类之所以还能持续进化靠的从来不是大脑重新长一遍而是把认知过程外包给外部工具和协作网络。3.1 人脑成熟后靠外部认知继续演化一个人成年后单论神经元层面的可塑性确实不如儿童。但人类的文明生活里人的认知能力并没有停在二十岁。原因是我们在不断把记忆交给笔记本、把计算交给计算器、把决策流程交给组织制度、把多领域知识交给协作伙伴。科学家称之为分布式认知——认知不止发生在单个大脑里而是发生在大脑工具他人制度组成的系统里。这个视角对理解AI同样适用。单个成熟的大模型可以类比一个能力很强但性格已经定型的成年人。它自己改不动但我们可以围绕它搭建一个系统让它借助外部记忆、外部工具、外部协作流程去完成那些它单独做不到的事。这个思路不是回避问题而是换了一个层面回答问题。3.2 AI的对应方案检索增强、外部记忆与多智能体编排在工程实践上这套思路已经非常成熟。检索增强生成就是把外部数据库当作模型的第二大脑模型不需要把所有知识塞进自己的参数里遇到问题先去外部检索再组织回答。这种架构的本质是用外部存储替换内部权重压力从而绕开权重固化的限制。再往外扩展一步是工具调用。模型不需要会算复杂的数学题它可以调用计算器不需要记住实时信息它可以查天气接口。通过工具调用一个底层能力固定不变的模型能力边界可以获得明显的扩展。更进一步是多智能体编排让不同任务的子智能体各司其职一个负责理解意图一个负责查阅规则一个负责输出文案一个负责检查合规。单个智能体都有各自的偏见和固执但把它们编排成一个流程系统整体却能表现出比任何单个个体都更稳定的行为模式。这跟一个成熟的人学会依靠团队做事完全是一个道理——他本人没变但他所处的系统变了结果就是他能处理远比个人能力复杂得多的事务。3.3 一个让我改变观点的落地案例我之前参与过一个模拟项目某团队负责一个已经上线两年的AI助手底层模型比较老用户普遍反馈它新意不足、回复套路化。最初的思路是想换新模型但换模型成本极高涉及评估、合规、还有大量依赖旧模型行为习惯的上下游模块几乎等于重新做一次产品。后来团队换了个策略不动基座模型专注搭建一个外部行为系统。具体做法是记录用户每一次纠正行为——用户手动修改回答、点踩、追问我不是这个意思——把这些纠正行为沉淀为结构化的外部规则再配合一些关键信号做意图识别和回复路由。遇到识别为用户想要更更新颖表达的场景系统就强制切换到另一套由新模型生成的候选回复池再经过外部评分器筛选。效果非常明显三个月内这个老模型的产品体验明显改善用户关于重复感的投诉大幅下降。最关键的认知是我们没有让哪个模型变得更聪明而是让系统变得更聪明。就像一个人记事差但我们给他配了笔记本和日程管理他的记忆力在行为层面就有了巨大提升。改变发生的位置不在神经元里而在系统结构里。4. 拆解无法改变的三个真实来源再找三个突破口现在可以正面回答标题里的设问。想要知道一切是否已经无法改变必须先搞清楚无法改变这种感觉是从哪儿来的。我拆出三个来源每一个都能对应一个现实中的突破口。4.1 来源之一路径依赖形成的引力井模型训练本质上是在一个高维损失曲面上寻找低处。预训练阶段做了大量冒险的、大幅度的位移最终落到一个有吸引力的区域后续的一切微调都是在已经落好的区域附近做局部移动。这就像人脑发育时早期那一次突触修剪已经决定了哪些回路保留后期再努力也只是在这些回路之间微调连接强度。这个来源暗示的突破口是与其在一个已收敛的模型上死磕不如重新制造一个更有潜力的童年。换成可落地的说法就是对于真正重要的能力缺口最有效的方案不是无限微调老模型而是从头训练一个窗口期内就包含目标数据分布的新模型。这也是为什么持续做新数据、新语料的预训练仍然有不可替代的价值——你在为十年后的成熟个体准备童年。4.2 来源之二评价体系的自我强化无法改变的另一个原因是评价体系本身在不断往回拉。一个AI系统如果总是被评估者依据现有基准来打分模型就会越来越符合这个基准的平均偏好。基准一旦被固化模型的多样性、冒险性、创新能力都会被系统性压制。这跟人一样如果在特定评价体系里长大的孩子行为和思维都会逐渐趋同。这里的突破口是重建基准。某个团队在内部产品中使用的是公开评测集模型分数越调越高但用户满意度停滞不前。后来他们自己构建了一套考察意外惊喜感的评测方式专门看模型有没有给出用户想不到但觉得有用的回答。加了这套基准之后团队重新设计奖励信号模型的探索意愿明显回升。这个案例让我意识到评价体系不是测量工具那么简单它本身就是一个强大的塑形工具——你想要模型往哪个方向改变就先改变测它的那把尺子。4.3 来源之三产业层面的规模惯性第三个无法改变来自系统外部。一个大模型一旦被部署到产品生态中它就像一块巨大的压舱石上游依赖它的API行为下游基于它的输出做了大量适配监管与合规按它的表现起草规则用户已经习惯了它的说话方式。这时如果要动它的底层哪怕是有益的改变成本也极高。那名叫惯性的东西既是保证稳定的原因也是导致僵化的原因。在产业层面个体团队几乎无法扭转巨头型平台的规模惯性。但生态的好处在于重担并不都压在巨头肩上。小规模团队、轻量模型、垂直领域的定制系统仍然有极大的实验空间。相比在最大的模型上动土小团队更容易从第一天就把预训练的窗口期利用在创新方向上。历史反复证明突破性的AI能力演进往往来自规模惯性最小的地方而不是压舱石最重的地方。4.4 三个可落地的突破口总结新基准自定义一套鼓励多样性、创新性、跨领域迁移的评估方式用它重新设计奖励信号。方法可以很简单在内部评测集里加入是否有出乎意料的合理这个维度。小规模高弹性架构不要再迷信越大越无法改变反过来说规模小意味着窗口期更长、转向更快。做产品选型时优先考虑便于快速迭代的轻量底座。跨域迁移与多模态对齐这相当于给成年的机器脑补一种另类的童年经验——如果文本模式下已经固化就通过多模态、跨语言、跨任务的对齐逼着模型重新在更宽的空间里建立起泛化能力。工程上可以引入专门的跨域对比学习目标而不是只做普通的任务微调。这些突破口不是玄学每一个背后都有对应的机制重新定义损失函数里的目标权重、重新设计网络之间的对齐方式、重新构造评测和反馈回路。它们不能一键让老模型返老还童但能在系统层面为改变创造条件。5. 无法改变也许不是终点而是另一种演化的开始回到标题那个问题一切都已经无法改变了吗如果一切指的是某个个体模型完全否定自己最初的底色、推翻预训练阶段形成的底层能力结构那我诚实的回答是是的这条路几乎走不通。成年人的大脑不会重新长一遍成熟模型的权重也不会推倒重来。试图通过后者去寻求改变只会得到一些表面闪光的伪装而不是真实的能力重写。但如果一切指的是整个AI生态、整套人机协作方式的走向那答案恰恰相反——不仅仍然可以改变而且这种改变永远在发生。个体的不可逆并不等于系统的不可逆。恰恰是因为成熟个体失去了灵活性系统才会不断把开发资源导向新一代个体让新的差异有机会登场。生物演化就是这个逻辑老化个体稳定维持种群基线新个体携带变异开辟下一条路径。AI的演进也一样每一代看似定型的模型都像是地基为新一代模型提供了初始站位而新一代模型必然会在它们的童年期吸收更宽的数据、更开放的目标、更丰富的评价方式然后长成和上一代不同的样子。我做AI落地这几年最大的体会是不要持续对抗成熟模型的天性。你越是想把某个老模型拗成它本质上不是的样子就越会收获失望反过来接受它的体质然后围绕它设计系统给它配外部记忆、配合适的工具、配恰当的评测反馈它反而能展现出远超预期的价值。这一点和人脑成熟的规律完全吻合——成年人的改变从来不是因为某天突然想通了什么而是因为换了环境、换了工具、换了每天面对的任务结构。所以我越来越愿意把无法改变理解为一种分工信号它在告诉行业应该把精力从改造老个体转向创造新个体和重构系统。AI的演进注定不是一个模型终身成长的直线而是一代又一代模型接力、更新和替换的长河。任何一代的定型都不可怕可怕的是把这一代的定型误认为整个演化的终点。而真正推动演化的从来都是那些敢于在窗口期投放新养分的团队以及那些愿意修改目标函数、重建评价基准、重构协作系统的人。在这一点上机会仍然大量存在一切都还远没有到无法改变的时候。

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑