半年前身边同行聚在一起聊得最多的还是同一个问题下一个更强的底座模型会是谁。这半年答案来了很多次多到让人有点麻木。各家厂商像商量好了一样按下加速键模型更新速度、参数规模、能力边界都在暴涨但真正让我意外的不是模型本身而是老板们愿意掏钱的对象悄悄变了——连接底座与业务之间的那层东西也就是中间层。模型暴涨的半年中间层反而更值钱了这背后不是一个卖铲子的简单逻辑能解释的。这篇文章不打算做大事记就想着把我这半年看到的信号、想通的逻辑、还有自己踩过的坑摊开讲一遍给正在纠结该往哪个方向下注的朋友一些参考。1. 从模型军备竞赛说起这半年究竟暴涨了什么1.1 发布节奏与能力指标半年赶上了过去三年如果把这半年各家底座模型的更新拉成一条时间轴你会发现它密得不像话。我有一段时间为了给客户做选型对比专门维护了一张更新表格结果每两周就要整体刷新一次。参数规模、上下文长度、多模态能力、指令遵循、复杂推理几乎每一项都在肉眼可见地刷新天花板。一个很直观的例子半年前我们帮客户做长文档问答还需要小心翼翼地把几万字拆成若干个切片再设计父子块索引来提升召回效果现在的新模型可以直接把整本几十页的文档塞进输入里回答效果反而更稳。这种变化放在三年前是不可想象的但在过去半年里它几乎成了默认节奏。这种密度给应用团队带来的第一感受其实不是纯粹的更强了而是跟不上了。你上周刚基于某个底座确认的技术方案下周就可能不再是最优解。很多团队这半年基本处于重构—上线—再重构的循环里每个版本发布都像一次小型迁移。但与此同时一个更微妙的信号也在出现大家开始意识到底座强不强是一回事底座能不能被稳定地用起来是另一回事。1.2 两个信号能力趋同与调用成本下探第一个信号是能力趋同。在通用任务上头部底座模型之间的体验差距正在快速缩小。我们内部做过一批盲测把同一组客服问题分别丢给三家模型让非技术背景的人去判断答案质量结果几乎很难分清答案分别来自谁。对普通用户来说这是好事对做底座的公司来说这意味着差异化空间在被压缩。第二个信号是调用成本在快速下探。一方面不少厂商在打价格战另一方面开源底座的能力追得很紧本地部署的边际成本已经趋近于零。半年前我们为一个项目做成本测算token费用还是主要开销现在同样规模的项目token占比已经很小人力集成成本反而成了大头。这两个信号叠加起来得出了一个看起来很矛盾但越来越清晰的结论底座模型作为一种资源正在变得又强、又便宜、又同质化。单独看这似乎是底座最不值钱的时刻但恰恰是这种时刻底座之上那层东西的估值逻辑开始改变。1.3 暴涨带来的隐性风险底座变成高波动公用资源底座模型越来越强但它的角色正在从产品滑向公用资源。公用资源的特点是便宜、量大但波动不由你控制——今天接口返回超时明天某家大版本变更了输出格式后天某个模型直接从市场上移除旧版本开始强制升级。对于个人开发者来说这不是大事换一个模型就行可对企业客户来说这几乎等于把核心业务命脉交到一个不受自己掌控的供应商手上。今年我不止一次遇到这种场景客户在晚上突然来电说某个底座侧的服务变更导致第二天要上线的活动方案全乱了。问题不在于模型能力不够恰恰是因为它能力太强、更新太频繁稳定性和兼容性跟不上。企业客户在那个瞬间真正需要的其实不是一个更强大的底座而是能帮他们隔离开底座的波动、把不确定性挡在门外的那一层东西。这一层东西就是我们要聊的中间层。2. 先给中间层做个精准画像它不是传统中间件2.1 中间层的构成清单很多人一听中间层就想到传统的中间件但这个概念的边界其实要宽得多。它不是单纯在网络层做代理而是从底座模型的API到最终业务功能之间所有用于降低集成复杂度、保证运行稳定性的工程系统我习惯把它叫做AI原生中间层。按我这半年的观察它至少包括下面这几块职能做的事为什么底座越强反而越需要模型路由与网关按任务类型、成本、时延把请求分发到不同模型底座选择太多人工判断不过来应用编排与Agent运行时把单次问答变成多步任务流程管理工具调用模型能力越强业务对自动化期望越复杂知识数据管线文档接入、切片、向量化、重排、记忆管理企业私有数据与通用模型之间永远有缝隙评测与回归体系自动化评估、用例集管理、版本回归门禁模型更新太快没有评测就无法安全升级安全与合规护栏内容过滤、提示注入防护、脱敏、审计日志能力越强出错和被滥用的后果越严重微调与模型资产管理低秩微调、蒸馏、版本管理、A/B实验需要把通用底座改造成业务专属底座可观测与成本治理链路追踪、用量计量、成本预估、质量看板模型输出不可枚举成本和稳定性都成了黑盒这张表列出来你大概也发现了这些工作没有一件是应用本身但没有它们应用基本跑不起来。它们藏在水面之下却是企业真正离不开的那层骨架。2.2 为什么传统平台的标准答案在这里失效了做传统中间件出身的人一开始往往会低估这件事的难度。过去我们面对的是HTTP、SQL、消息队列这类标准统一的协议中间层做的是转发、缓存、限流规则清晰输出可控。大模型底座完全不是这样各家有各家的输入输出格式有各自的计费方式有的支持流式返回有的不支持更麻烦的是所有模型都可能输出错误、幻觉、不符合格式的内容而且每次输出都不一样。所以AI原生中间层的核心工作不是转发而是翻译、补偿、担保。它要把格式不一的底座接口统一成团队内部的稳定契约要在一个模型输出不符合预期时触发重试、改写或者降级还要在出问题的时候拿出完整的链路日志告诉业务方到底是模型的锅、数据的锅还是链路的锅。这种从确定性世界到概率性世界的跨越直接把传统中间件的那套方法论打碎了。2.3 关键分野会被模型吞噬的中间层 vs 借模型成长的中间层理解中间层的价值首先得承认它并不是铁板一块。有一类中间层的价值会被模型能力暴涨直接抹掉还有一类会跟着模型上涨越来越值钱。容易被模型吞噬的中间层会被长期需要的中间层简单Prompt模板与话术封装跨底座迁移与统一接口管理基础长文本切片优化企业私有数据深度接入与治理固定话术的客服自动回复套件长链路任务编排与操作审计依赖单一模型的套壳应用评测、回滚、成本治理体系简单参数自动调优合规、安全、操作留痕体系判断标准其实很直接你的价值到底建立在模型做不好还是业务做不到上。前者随时可能被更新一版的能力覆盖后者则扎根在企业复杂现实的土壤里。这个分野不是静态的每隔几个月就要重新评估一次后面我还会展开讲。3. 模型暴涨反而放大中间层议价权四个逻辑3.1 底座同质化让选型与切换成为刚需当底座模型都强到90分以上时大家最容易忽略一件事选型成本和切换成本反而变高了。以前只有一两个选项的时候不存在选型现在每家有每家的报价、上下文长度、回答风格、合规方案客户根本比不过来。我见过一个很真实的场景某客户为了验证哪家模型最适合自己的客服场景自己团队试了一个月结论是都行——但都行恰恰是最难决策的局面因为没人能说清楚选A不选B的依据是什么。这时候一个能提供可复现评测、中立对比、并且能在两三天内完成底层切换的中间层就成了决策的关键工具。换句话说模型越同质化决定用哪个这件事越需要专业能力而专业能力的重心正在从底座厂商手里转移到中间层团队手里。这半年主动找我们做模型中立评测的客户比过去两年加起来都多。3.2 应用层把确定性诉求前置了这半年我感受最直观的变化是企业客户问问题的方式变了。半年前他们问的是AI能不能做这个现在他们问的是能不能稳定地做、合规地做、出问题谁负责。模型能力暴涨把可行性问题基本解决了但把可靠性问题放大了。大模型的一个本质特征是输出不可枚举同样的输入每次返回的内容都可能不同。这在闲聊场景无伤大雅在金融、政务、医疗这类关键业务里就几乎不可接受。中间层要做的事情是把模型的也许翻译成业务的如果失败那么这样兜底。看上去不性感却是企业愿意付费的最大公约数。这半年我见过很多中间层产品功能堆得很满但商业回报最好的往往是那些把确定性落到实处的模块版本回滚、审计留痕、异常兜底、评测门禁。3.3 降价与暴涨并存价值被迫外溢底座的整体降价在给整个行业做一次价值重分配。你可以把大模型想象成一台发电能力暴涨的发电机电变得又多又便宜但用户真正用上电还需要电网、配电、稳压、计量这些环节的建设难度和维护成本反而成了大头。模型能力越强、调用越便宜靠卖电赚的钱就越少资金和注意力都被挤到了保证供电质量的那一层。我经常用这个逻辑给自己做判断当一个技术环节的边际成本快速趋近于零时它上下游的连接、编排、治理环节就会变得更值钱。这不是谁设计出来的只是价值被物理规律推着往外走。中间层吃的不是模型的红利而是模型红利被摊薄之后产生的重组成本。或者说模型能力的每一次暴涨都在给中间层创造更多需要被打理的新问题。3.4 中间层卖的不是工具是转换成本跟投资圈的朋友聊项目多了你会发现一个好问题的杀伤力非常大如果明天底座免费且稳定你的产品还有必要存在吗大部分做中间层失败的项目在这个问题下会直接露馅。真正扛得住这一问的中间层核心资产不是某个算法、某个平台而是客户已经跑在它上面这件事本身。数据管线迁移一次需要重做索引、重做评测、重写业务逻辑评测基准一旦沉淀了业务先验换一套方案就要重新证明自己的价值合规链路和审计体系更是和业务流程长在一起的。这些都不是一个模型API更新就能抹掉的。所以中间层的商业模式与其说是卖软件不如说是经营转换成本。做得好客户因为信任而留下做得一般客户因为切换成本而留下。当然更健康的状态是前者因为只有信任才能经得起底座不断变局的考验。4. 价值重估的三个一线信号钱、人和开源生态4.1 资本的口径变了从押注模型到押注模型之间的缝隙我接触的不少投资团队这半年话术变得非常一致通用底座项目基本不看了转而看两类东西一类是模型无关的AI基建另一类是真正在垂直场景里跑通业务闭环的应用。A同学在投资机构做技术尽调他跟我说现在看项目先问一句你的方案是不是换一家底座也能转如果答案是不行估值基本聊不下去。这个变化很符合逻辑。通用底座已经是高投入、高不确定性的战场不是谁都能烧得起的。反过来中间层项目往往现金流更好、离业务更近、能看到真实客户的付费意愿。资本天然流向确定性和现金流而确定性恰好是中间层这一轮最稀缺的卖点。所以你会看到这半年能拿融资的AI创业团队里做中间层的比例比半年前明显高了一截。4.2 人才流向工程架构岗开始比算法岗值钱招聘市场是另一个很敏感的指标。半年前AI方向最热的职位还是训练模型相关的算法岗现在打开招聘平台看趋势涨得最快的反而是熟悉多种模型接入懂LLM可观测和评测能设计Agent稳定链路这类偏工程的岗位。薪资曲线也在悄悄变化算法科学家的高位震荡而能把模型用好、用稳的系统工程师议价能力在明显提升。我自己带团队的一个体感是最难招的人已经不是谁会训练模型而是谁能把模型接进企业复杂系统并且保证不出错。前者可以通过开源方案快速入门后者需要踩过足够多的坑知道prompt为什么会漂移、评测集为什么会过拟合、链路里哪一环最可能拖垮整体延迟。这种模型能力边界感知加系统设计的复合能力其实就是中间层价值在人才市场里的映射。4.3 开源社区的重心转移高关注度项目从模型变成了工具链开源生态的变化也很能说明问题。早半年社区里最热闹的是谁又放出了一个新底座模型大家刷跑分、看榜单、比参数。最近几个月风向明显变了高关注度的项目开始转向怎么把已有模型用起来的工具比如统一的模型接入框架、自动化评测工具、Agent编排方案等。我关注的一个开源路由项目三个月前几乎无人问津最近已经被不少内部系统引用原因很简单模型多得用不过来大家缺的是管理这一切的抓手。开源社区是技术需求的晴雨表。当一个东西的基础设施价值被普遍认可时开放式的共建项目就会快速涌现。这半年冒出来的中间层类开源项目质量普遍比半年前高了一个档次因为它们不是在真空里写出来的而是在真实应用场景里被逼出来的。这个信号比任何榜单都真实。5. 并不是所有中间层都值钱陷阱与边界5.1 一夜归零的典型被底座原生能力覆盖的功能先说一个我们真实踩过的坑。半年前我们在做长文档问答系统花了不少精力在文档切片上设计了一套父子块索引还做了各种重叠策略来避免上下文断裂。结果新底座把上下文窗口一下子拉大了一个数量级测试下来直接把整本几十页的文档放进去效果反而更好——我们精心设计的切片逻辑瞬间变成了一套解释成本很高、收益为负的东西。那个模块最后虽然没有彻底删除但价值基本归零。类似的情况也出现在提示词工程的一些环节。底座指令遵循能力变强之后很多复杂的少样本技巧不再必要固定的话术模板、简单的格式校正类中间逻辑也会很快被原生能力覆盖。这类中间层有个共同特点它们解决的问题完全来自模型的能力不足一旦模型把这部分补上市场就会瞬间蒸发。所以做完一个中间层功能后要常问自己一句如果底座明天学会了这个你靠什么继续活5.2 伪中间层的识别方法去掉AI标签还剩下什么这半年我见过不少自称中间层平台的项目点开一看本质是调API加套个后台加做了个界面。这种伪中间层在底座价格战里受伤最重因为它们的核心卖点便宜、方便被大幅降价直接击穿了。判断一个产品是真实中间层还是伪中间层有一个很直接的测试把AI标签全部摘掉再看它还剩下什么。如果剩下的只是一个普通的管理后台、一套CRUD接口那它没有任何长期价值如果剩下的是一套深度的业务数据管线、一套多年沉淀的评测基准、一套和客户流程长在一起的合规审计体系那AI只是它的放大器不是它的本体。底座涨价或降价会影响它的成本但不会动摇它的根基。这个测试我建议每个做中间层的团队每季度做一次防止在虚假繁荣里自我感动。5.3 值钱的统一判据掌握底座做不到的确定性把前面这些都收拢起来中间层值不值钱其实只有一个判据你是否掌握了底座做不到的确定性。这里我可以列出三个具体问题供大家做完一个中间层模块之后自我审视。第一关键路径能不能完全可控比如业务要求某些请求必须接近100%成功你的系统能不能通过重试、降级、人工兜底把成功率真的拉到目标值而不是把锅甩给模型。第二成本和性能是不是透明的你能不能准确说出每个业务流程花了多少钱、延迟预算还剩多少并在月底给出一份可解释的成本报告。第三底座变更时能不能无缝迁移如果某家底座明天推出一个大版本你能不能做到客户无感知切换而不需要业务方重新测试全部场景。这三个问题都指向同一个方向把模型的不确定性变成业务的确定性。谁能做到谁就处在价值链里相对安全的位置。6. 两个亲历项目的得失复盘我眼中的中间层打法6.1 模拟项目X把资源从路由切到了评测与回滚过去半年我直接参与了一个内部代号叫模拟项目X的中间层平台给某中型企业做统一的AI服务中台。最初产品团队按直觉堆了一堆功能多模型路由、提示词模板、成本控制、用量看板觉得只要功能多客户就会买账。结果上线第一个月客户反馈最多的不是路由不够聪明而是出了问题我该怎么办。客户最关心的只有两件事。第一如果新模型上线后效果变差了能不能一键回滚到上一个稳定版本并且不影响线上第二一个复杂请求走完整个链路后能不能追溯到是哪个prompt、哪一段上下文、哪个模型版本产出了这个结果。我们随后把研发资源从路由优化转向评测与回滚体系花了两个月把关键路径的回归门禁和全链路审计做扎实。效果非常直接客户的续约理由从功能丰富变成了在这上面改东西我们放心。这个经历让我定下一条团队原则中间层产品先回答失败了怎么办再回答效率怎么提升。模型越强出问题时的危害越大兜底机制远比锦上添花的功能重要。6.2 模拟项目Y从模型能力路由转向业务SLA路由模拟项目Y是我们做的另一个轻量级模型网关早期的核心逻辑是按任务复杂度分配模型简单问答走便宜的小模型复杂推理走昂贵的强模型。这套策略在底座能力差距还很明显的时候效果不错确实帮客户省了不少钱。转折发生在某底座发布了一个大版本升级之后中端模型的能力一夜之间覆盖了我们路由规则里一大半原本需要强模型的场景原有的能力分层策略瞬间失效。自救的过程是把路由的核心维度从模型能力换成了业务SLA。新的配置不再问这个任务有多难而是问这个业务有哪些硬性约束。下面是一个简化示意route: default_provider: provider_a rules: - name: finance_audit match: industry: finance need_audit: true priority: 0 providers: - provider_b - name: cost_optimized match: latency_budget: 2s cost_budget: 0.001 priority: 1 providers: - provider_c改成这种模式之后客户关心的问题从你帮我选了个好模型变成了你保证我不管换哪家底座业务指标都不会塌。后者的价值明显更稳定因为系统绑定的是业务规则本身而不是某个模型的瞬时能力。底座可以继续暴涨但只要业务约束不变中间层的存在感就还在。6.3 用半年踩坑换来的三条方法论如果把两个项目的经验压缩成几句话我大概能提炼出三条方法论现在它们基本成了我们做事前的内审清单。第一条模型中立是底线。所有系统内部只认自己定义的统一契约所有底座都通过适配器接入绝不因为某一家的接口顺手就在代码里写死。这条听起来简单执行中特别容易破功尤其是赶时间的时候抄了一段示例代码后面就慢慢被焊死在系统里。第二条可观测优先。任何新的中间层功能第一版必须带上的不是花哨的界面而是完整的日志、链路追踪和评测指标。没有可观测性的AI系统等于定时炸弹因为模型输出不可穷举你永远不会知道哪一刻会炸直到它真的炸了。第三条把失败做成收益。模型的不稳定不是中间层的敌人而是中间层的商业模式本身。我们后来甚至会在售前主动演示切换底座不中断和故障自动降级让客户直观感受到他买的不是一个工具而是一份对冲底座波动的保险。这比任何PPT都管用。回到最开始的问题模型暴涨的半年中间层为什么反而更值钱了我的答案其实很朴素——模型涨的每一分能力都在把不确定性从底座往外推而谁接住了这份不确定性谁就站在了价值重新分配后的新节点上。这件事不要求你写多高深的代码它要求你想清楚一个更本质的问题当底座越来越强、越来越便宜、越来越同质化的时候你手里还能剩下哪块是客户离不开的确定性。想明白了方向就不太容易跑偏。