资讯动态

AI进入瓶颈期:从模型规模到场景落地的关键转向

发布时间:2026/10/20 14:05:12 来源:尧图企业网站定制
最近和几个圈内朋友聊天聊到最后大家不约而同冒出一句话AI这波浪潮好像肉眼可见地进入瓶颈期了。说这话的有做算法的有做产品落地的也有在甲方做数字化规划的人。大家不是唱衰而是看着这两年从模型能力到应用落地确实跟几年前完全不是一个节奏。作为身在这个行当里的从业者我自己的体感也很明显AI正在经历从“奇迹感”到“新常态”的转变。这篇就来聊聊我自己看到的瓶颈信号、背后的原因以及我们这些每天干具体活儿的人还能怎么应对。1. 瓶颈期的几个直观信号1.1 模型能力提升开始出现“高原效应”前两年那个阶段几乎每隔一两个月就能看到一次让人“哇塞”的模型更新从写代码到画图再到多模态理解每一次都能拉高大家对技术上限的想象。但最近这大半年明显不是这个节奏了。不是说模型没有进步而是进步的速度和幅度都在变慢。我见过一个团队做内部评估把参数规模翻了三倍算力投入涨了四倍结果在一个综合能力测试上只涨了0.7个百分点。这点提升放在真实业务里用户几乎感知不到。这种收益递减就是最典型的瓶颈信号。更麻烦的是通用能力的提升已经很难直接转化为业务指标。以前你说模型变聪明了客户愿意为Demo买单现在客户会问这个能力在我的业务场景里能不能稳定跑通。一旦问到这个问题大家很快就发现通用模型在长尾场景上的表现并没有想象中那么好。参数继续膨胀但那些边角料任务该翻车还是翻车。你可以让它把一份合同摘要写得又工整又漂亮但一碰到行业里那些特殊的简称、嵌套的表格或者带歧义的数字它可能就给你编出一个看起来合理但实际错误的结果。另一个特征是各家模型之间的差距越来越小。几个月前我做过一次匿名盲测把几个主流模型放在同一批任务上跑除了极少数需要复杂推理的题目大多数结果已经很难拉开明显差异。你可以用评测集的零点几分排出个一二三名但真实用户根本感受不到。这说明通用能力的天花板正在变得可视化大家不是在突破极限而是在彼此趋同。1.2 数据红利正在见底大模型训练这个行业流行一句话只要规模够大效果就够好。但规模要起作用前提是有足够多的高质量数据喂进去。问题是互联网上的公开文本、图片、代码基本都被那些大团队爬了一遍又一遍。公开数据集的重复率越来越高模型吐出来的内容也开始有些“千篇一律”的味道。更尴尬的是用模型合成数据去补贴训练数据短期内看着可行时间长了会出现内容趋同、错误叠加的问题也就是行内常说的“近亲繁殖”模型在自我重复中逐渐丢掉原本的多样性遇到真正新一些的问题反而更容易懵。另一个现实是真正有价值的私域数据都在企业手里但数据格式脏、标准不一很多还牵涉权益和保密问题想直接用也未必能用。数据工程师每天都在跟这些烂摊子较劲字段缺失、同名不同义、历史版本混在一起。整理出来能用的量跟预训练时动辄几千亿Token的规模相比完全不是一个量级。对绝大多数做落地的团队来说这个落差直接限制了项目的上限。数据层面的瓶颈还体现在标注成本上。早年做模型微调人工标注一批高质量指令数据就能显著提升效果。现在要想靠标注数据撬动模型能力需要的量级越来越大。而人工标注的速度是固定的质量也参差不齐。我见过不少项目因为标注标准前后不一致模型学了一堆互相矛盾的模式效果反而不如不微调。数据不再是一块可以无限开采的富矿它已经变成了需要精耕细作的农田。1.3 评测分数很好看实际落地却露馅现在的公开评测集已经陷入了一种“刷榜饱和”的状态。你去看那些排行榜分数差距有时只有零点几个百分点但榜单之外的真实表现可能天差地别。我见过最典型的例子在公开基准上排名前几的一个模型拿到一个具体的客服工单场景里做测试同一批问题答不对的比例高达四成。为什么因为公开评测集里全是那些被反复刷过的题目模型在训练时早就“见过”类似答案了。评测集被过度学习之后分数已经不代表真实能力。这也是为什么越来越多团队开始在内部建立私有评测集用自己业务里的真实数据去验证模型。一旦用真实数据去测很多模型的光环都会消失。比如一个法律领域的检索问答任务模型可能把法条背得滚瓜烂熟但面对一个实际合同条款的语义歧义它给出的解释往往缺乏可执行性。又比如制造业的故障排查模型看过大量的说明书但到现场数据有噪声、传感器读数缺失时它就不会转弯了。这种落差带来的直接影响是客户对AI的信任度在变化。早期大家愿意为了“未来可能性”买单现在客户越来越精明了要求你先做试点、看效果、再谈规模化。这不是坏事但从行业节奏上看确实让AI从一波流的爆发行情进入到了需要苦熬细节的阵地战阶段。2. 为什么会出现瓶颈不只是一句“遇上墙了”2.1 Scaling Law的边界规模化收益递减过去几年这个行业的核心逻辑就是Scaling Law更多的参数、更多的数据、更多的计算模型能力就往上走。这个逻辑在前期是成立的但它不是一条永远向上的直线而是会逼近某种天花板。打个比方就像用水杯往水池里倒水前面倒几杯水面明显上升到了一定高度之后再倒水也只是溢出边缘水面并不见得更高。具体到工程上你会发现大模型的训练曲线已经变得非常平。同样的损失下降需要消耗的算力是以往的好几倍。集群规模越大通信开销、故障恢复、能耗管理全都跟着上去。很多时候团队从两千张卡扩到八千张卡获得的提升根本无法覆盖成本。单纯堆规模已经不是一门好生意。这里还牵扯到推理成本的问题。模型越大在线服务的单次调用成本越高。即便可以通过分布式推理和缓存来摊薄但面对海量请求时成本依然是线性上升的。我见过一些做SaaS的团队为了保持响应速度把大模型换成小模型结果效果掉得厉害换回大模型成本又扛不住。最后只能做模型路由用分类器把简单请求交给小模型复杂请求才交给大模型。这说明规模化带来的边际效益正在被工程成本一点点吃掉。2.2 技术范式没有下一个跳跃点瓶颈的另一种来源在架构层面。现在的主流模型基本都在同一个范式框架里做文章自监督、注意力机制、下一项预测。你说它是生成器也好、概率模型也好本质上没有跳出这个框架。大家都等着新的范式带行业突破但直到现在我们看到的大多还是在原有框架下做修补改进注意力算子、优化推理流程、设计更好的采样策略。这些东西有价值但要靠它们打开一个新的能力维度明显还不够。最直接的表现是模型在复杂推理、长期规划、记忆一致性这些方面进步非常缓慢。你让它写一段宣传文案它行云流水你让它连续执行一个包含十几个步骤、并且需要不断修正中间结果的任务它经常走一半就迷路了。这个问题不解决很多高端应用场景就始终只能停留在Demo阶段。往深一层说现在的模型本质上是“高维模糊检索”它擅长从训练数据中找出和问题相关的模式但真要让它在脑子里构建一个世界模型并且基于这个世界模型去推演未来目前还看不到可靠路径。这也是为什么做智能体的人都会有一种感觉单步调用模型没问题多步决策一旦出错错误会被不断放大就像接力赛中一个人跑错方向全队都跟着乱套。我不是说模型架构没有改进空间只是说这个行业已经度过了靠小改动就能获得大提升的窗口期。接下来需要的不只是“继续做”而是“换一种做法”但在新范式出现之前大家只能围绕着旧框架修修补补瓶颈期自然会显得很长。2.3 商业闭环还撑不起高昂的研发成本大模型从训练到部署都是烧钱的事。训练一次大模型算力、电费、人工成本加起来就是一个天文数字。可问题在于当前真正愿意持续为之付费的场景并不多。C端用户习惯了免费或极低价格B端客户则是对效果极挑剔且每家的环境都不一样。很多项目看起来签了合同实际上都是定制化开发毛利很低做完一单也不一定能复制到下一单。更现实的是靠模型能力本身形成差异化越来越难。当几个主流产品都能做到差不多的问答、摘要、写作能力时用户凭什么叫出更高的价格最后只能打价格战而价格战的终点就是研发投入被压缩。我见过一些做模型服务的厂商API报价已经降到几乎贴地飞行的水平但依然很难靠规模盈利。这带来的结果是资本对于大模型基础设施层面的热情开始降下来了。前两年遍地都是“要做基础大模型”的创业项目现在再聊更多人问的是你的模型到底能在哪个行业里做出别人做不出的东西回答不上来基本就融不到下一轮了。这不是某个团队的运气问题是整个商业模式还没有跑通。3. 瓶颈期先影响的是人从业者和行业都在被重塑3.1 岗位需求变了从“会调参”到“懂业务”我认识不少算法工程师前两年靠几篇热门领域经验就能拿高薪今年明显感觉到面试官的关注点变了。比起你训练过多大的模型他们更关心你有没有在真实业务环境里把模型用好、调试好、降本增效过。会写模型代码只是入场券能理解业务流程、能定义正确的优化目标才是真正的分水岭。有个很典型的例子某团队原本做通用的对话模型后来转向做企业内部的知识库问答。他们发现最难的不是模型而是把散落在一堆文档里的知识整理成模型可以理解的形式。光是文档解析、表格抽取、术语对齐这三件事就占了整个项目百分之七十的精力。会做这件事的人比只会微调模型的人更值钱。这也说明行业正在从“技术驱动”转向“工程与业务驱动”。岗位结构也在变化。过去AI团队里算法工程师的比例最高现在数据工程师、提示词工程师、评测工程师、运维工程师的比例在上升。那些只会按着开源代码微调、跑个评测、写个报告的人处境会越来越尴尬。因为工具越来越成熟这些操作已经在被平台化和自动化。但这对于真正理解业务的人来说反倒是好消息。3.2 投资和研发方向开始收缩资金面最敏感。之前大家讲的是“未来空间”现在资方要求的是“当下落地节奏”。一大批纯算法研究的岗转向了应用工程、数据工程和产品化方向。某创业团队前年拿到一笔不小的融资想做全自主的通用智能体今年已经悄悄把目标改成先解决某个行业的知识检索问题。这是务实也是被环境逼的。大公司也一样内部项目开始做减法。那些特别前瞻、短期看不到收益路径的项目被暂停或边缘化资源往能够写进财报的方向集中。这本身不是坏事但确实会让整个行业短期看起来缺少“大新闻”。媒体报道当然愿意追热点但热点变少之后大众自然会觉得AI好像不热了。其实不是不热了是热的方式变了从天上飞的概念变成了地上跑的项目。不过收缩不等于消失。很多研发资源开始转向工程效率、模型压缩、推理优化、可解释性、数据安全这些方向。这些领域不如通用大模型性感但它们才是让AI真正进入生产环境的基础。瓶颈期最需要的不是百米冲刺选手而是能做基础设施的人。3.3 焦虑与机会并存的结构性调整瓶颈期最让人难受的不是没活干而是不确定感。有人担心自己的技能被淘汰有人担心公司裁掉整个AI实验组。我个人的观察是AI不会消失它只是在挤泡沫。挤泡沫的过程里短期有些岗位会减少但行业整体对AI能力的依赖其实还在加深。关键是你要站在那棵值得长期生长的树上。比如前两年做“通用大模型”的项目特别多现在倒掉一批剩下的人会流向更难但更实的赛道比如机器人控制、文档智能、工业视觉、医疗辅助。技术在应用里沉淀下来比在发布会上炫技更有价值。对从业者个人来说这时候反而应该慢下来想清楚自己到底在哪个领域积累得最深然后把这口井挖到足够深。行业的情绪也在经历周期。前几年是“AI替代人类”的恐慌今年变成了“AI能不能落地”的怀疑两种声音都很极端。真实情况大概率在中间AI确实能替代一些重复性劳动但在复杂、不确定、需要担责任的场景里它还需要人扛住最后一环。这种“人机协同”的状态才是未来很长一段时间的常态。4. 瓶颈期里我们这些干活的还能做什么4.1 别追参数去追场景里的刚需别总盯着模型排行榜了。对绝大多数团队来说与其训练一个通用大模型不如把一个开源模型吃透在你的行业场景里做出一个真正稳定可用的方案。我见过一个偏传统的制造团队用开源模型做设备故障诊断模型本身并不大但他们把设备数据梳理得非常好再加上一套精心设计的提示词模板和人工反馈机制最终准确率比通用大模型还高。这就是场景的壁垒。怎么做我建议分三步走。第一找业务里最痛、最重复、最消耗人力的环节比如客服、工单分类、文档信息抽取、代码注释生成第二用现有模型快速搭一个原型拿真实业务数据去测发现问题再迭代第三人工审核和模型输出形成闭环错误的样本沉淀下来定期重新训练或微调。模型可以是行业里已经被验证过无数次的不用追求新关键是你能不能围绕它把数据闭环跑起来。很多人会陷入一个误区觉得必须先有大模型才能做AI。其实不少场景里一个几十亿参数的小模型加一套实用工作流已经能解决百分之八十的问题。你会发现门槛不在模型而在你怎么定义问题、拆解任务、组织数据。这些事情想清楚了模型反而成了最后一环。4.2 把模型变小、变快、变便宜瓶颈期拼的不是谁的模型最大而是谁的推理成本最低。蒸馏、量化、剪枝这些技术过去是学术圈的水土现在是工程团队的标配。能跑在消费级硬件上的小模型配合合理的模型路由既能覆盖大多数常见需求又能把成本压到原来的十分之一。具体操作上我会建议你在业务入口加一层意图识别和任务路由。简单问题走小模型复杂问题才上大模型。配合缓存策略重复问题直接返回历史结果。这一套组合拳打下来整体成本能降很多效果反而更稳定。我试过在一个问答系统里加路由层原本百分之六十的流量可以落到小模型上月成本直接降了近一半响应时间也从几秒缩短到几百毫秒。模型部署也不能粗枝大叶。要做压测搞清楚在并发请求下模型服务的响应曲线和显存占用别等到线上翻了车才去救火。还要考虑升级和回滚机制模型版本可以预发一小部分流量观察关键指标后再全量上线。这些工程细节才是把AI用起来的真正壁垒。4.3 数据工作是永远绕不开的基本功数据质量比模型参数更重要这个观点我在不同场合强调过很多次。瓶颈期尤其要做三件事。第一梳理清楚你的业务里到底有哪些高频问题、哪些长尾问题把语料分类建库第二建立一套持续的数据标注和质量审核流程别让脏数据继续流进模型第三对线上模型做定期抽样评估及时发现数据分布漂移。数据清洗里面有很多容易被忽视的细节。比如文本里重复的抬头页脚、换行符、特殊符号、繁体简体的混用都会影响模型理解。又比如标签体系的统一很多公司不同部门对同一个业务概念的说法都不一样模型看到“用户”“客户”“会员”三种说法可能就需要你统一成一种。数据管道搭建比较繁琐但它决定的是模型能力的上限。我还建议每个项目都建立一个“badcase库”专门收集模型在线上答错或答得不够好的例子。这个库的价值体现在两个方面一是用来做回归测试避免模型迭代后以前能解决的又不行了二是用来指导数据补充的方向缺哪块补哪块。别指望一次性把数据做到完美先把回流机制跑通让数据越滚越干净。4.4 重新认真做评测和效果衡量既然公开榜单已经不太能说明问题那就回到业务本身建立评测体系。我通常建议团队维护一个“业务黄金集”每个月从真实流量中抽取有代表性的样本标注标准答案每次模型迭代都用它做回归测试。黄金集不用很大几百条就好但一定要覆盖业务的典型场景和边缘情况。与此同时还要做一定量的人工盲测让业务方参与打分。分数是手段不是终点最终要回答的问题只有一个用户对你的模型输出满意吗评测指标也得挑着用。有些场景看重准确率有些场景更看重召回率有些场景宁愿不做回答也不该给错答案那就要注意怎么设置拒答机制降低误导风险。我见过一个医疗咨询项目模型遇到不确定的问题时会直接给出标准化的免责提示反而比强行回答更让用户放心。评测体系不是越复杂越好而是要跟你的业务风险、用户期望对齐。另外模型迭代不能只盯着效果指标还要看成本和延迟。同样效果下一个更快更便宜的方案就是更好的方案。我会建议团队在每次迭代时都做一个“效果-成本-延迟”三张表的对比让决策更理性。这也能减少团队内部因为“我用的模型更高级”这样的理由而产生的分歧。5. 写在最后我的几点个人体会与实操建议5.1 降低预期但不放弃深耕在瓶颈期里我学到最多的就是预期管理。对自己的预期、对客户的预期、对行业新闻的预期都要从“一夜颠覆”调整成“长期演进”。这不代表躺平而是把精力从追逐热点挪到做好手上的事。能在一个领域里持续深耕大概率比频繁追风口的人走得更远。我也见过不少同行因为焦虑而频繁换方向今天觉得大模型火就做大模型明天觉得智能体火就做智能体过两天又开始看具身智能。结果每一个方向都只摸着皮毛简历上看起来热闹实际没有积累。反倒是那些认准一个行业、一个场景、一个具体问题踏踏实实做上两三年的人现在已经有拿得出手的项目和经验。5.2 给团队和业务留出冗余做AI项目一定要有Plan B。尤其在做一些非决策型场景时可以设计人工兜底流程防止模型抽风造成业务事故。所谓兜底包括设置置信度阈值低置信度的问题自动转人工也包括人工审核队列让模型输出先经过一道“确认”再对外发布。很多时候模型并不能百分百保证正确那我们就用流程去兜住它。技术上的冗余也一样。关键模块要有降级方案模型服务挂掉时系统能平滑切换到备用方案。这些都是被真实事故教育出来的经验。曾经遇到过模型服务因为上游接口超时导致整个问答流程僵在那里用户以为系统坏了。后来给服务加了一级本地缓存和超时熔断哪怕模型回答不了也能返回一个友好的提示体验立刻好了很多。5.3 保持学习节奏更警惕热点泡沫最后想说的是别因为行业进入瓶颈期就停止学习也别因为各类新闻标题而焦虑。保持一个稳定、持续的学习节奏比如每周读几篇技术文章、每季度自己做一个小项目比盯着热点风向靠谱得多。AI仍然是一把好用的工具只是它不再是一个能让人一夜暴富的童话。真正能长期获益的永远是那些愿意踏踏实实做事情、持续解决问题的人。我也越来越觉得瓶颈期其实是好事。它把那些光靠PPT讲故事的人筛出去把资源留给真正做事的团队和个人。对普通开发者来说少一点对“下一个大新闻”的期待多一点对当前业务和基本功的关注反而更容易在行业里站稳脚跟。与其焦虑AI还能不能再进一步不如先把眼前的问题解决好。它能帮你写一段代码、整理一篇文章、总结一堆数据这已经是很实在的价值了。把这份价值用好、用透、用得接地气才是我们在瓶颈期里最值得做的事。

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑