模型做完了只是上半场真正决定AI产品好不好用、贵不贵的反而是推理这一环。最近AI基础设施圈子里最让我意外的一条消息不是某个大模型版本又刷新了榜单而是vLLM核心团队出来创业成立了一家叫Inferact的公司首轮就拿了1.5亿美元融资估值直接冲到8亿美元。一个做开源推理框架的团队从“给社区写代码”转向“成立公司拿大钱”这个转变本身比融资金额更有意思。1.5亿美元放在大模型公司里不算夸张但放在一个刚起步的AI基础设施公司身上信号意义非常强。这篇文章我会从技术底子、商业逻辑、赛道格局、选型实操这几个角度把我看到的东西掰开揉碎讲清楚可能有点主观但都是这行里实打实的判断。如果你是做推理服务选型的工程师或者在看AI Infra方向的投资机会这篇应该对你有用。1. 这轮融资真正值钱的地方在哪里1.1 从开源工具到商业公司的身份切换先说一个很多人没意识到的事实vLLM原本是一个开源项目它的价值在开发者社区里被验证过但“开源项目好用”和“公司能赚钱”是两码事。这次核心团队拉出来单独成立Inferact本质上是在做一次身份切换——从一个依附于社区生态的工具项目变成一个要独立承担商业化目标的实体公司。这件事放到AI基础设施的大背景里看一点都不意外。过去两年大家拼命训练大模型但模型训练完之后真正要面对的是怎么把推理成本和延迟压下来。谁能把推理效率做上去谁就能在模型服务这一层建立话语权。vLLM团队在开源阶段积累了大量用户和部署案例这些案例就是商业化的最好背书。不是说他们零起步而是带着数千个生产环境的验证数据来创业的。值得玩味的是估值模型。1.5亿美元融资估值8亿美元意味着投资方用接近两成的股权换了一个“推理基础设施团队”。这给整个赛道定了一个非常实际的锚开源推理引擎的头部团队市场愿意给出接近十亿美元的初期定价。这个定价不是在买代码而是在买三样东西——已知的工程能力、已验证的社区影响力、以及一个还没完全展开的企业级市场。提示看AI Infra领域的融资不能只用“技术含量”来衡量更要看团队有没有在真实生产环境里证明过自己。vLLM这类项目恰恰是“从生产中来”的典型这也是它能拿到高估值的前提。1.2 投资方在赌什么投资方愿意掏出1.5亿美元绝对不是赌“vLLM框架继续开源能火”。他们赌的是三件事。第一推理将成为长期、大规模、持续增长的算力消耗场景。一个大模型训练完可能在集群上跑几个月但部署之后推理是7x24小时在跑的。训练是一次性成本推理是持续成本而且随着用户量增长推理成本会线性甚至超线性上涨。这个商业模型和云计算非常像属于“收租型生意”。第二独立基础设施厂商有机会在模型厂商和云厂商之间找到生态位。模型厂商自己有推理栈但他们的服务通常绑定自家模型云厂商有GPU资源但不像专用推理团队那样深入优化细节。夹在中间的独立厂商可以做到“模型无关”不管底层跑的是哪个开源模型都能提供统一的高性能推理服务这对企业用户非常有吸引力。简单类比就是油田不用自己造炼油厂但炼油厂可以同时服务多个油田。第三也是最重要的工程团队的迭代速度。推理优化本质上是一场工程竞赛。显存怎么省、调度怎么排、算子怎么融合没有那么多“一招鲜”全是一点一点抠出来的。vLLM团队在过去两年一直保持着非常快的发布节奏这种执行力放到商业战场上比某一个单独的技术亮点值钱得多。2. vLLM的技术底子为什么能撑起这个估值2.1 从KV Cache痛点说起想理解vLLM的价值必须先理解大模型在推理阶段遇到的最具体问题——KV Cache的显存占用。大模型推理时每生成一个token都需要把历史上所有token计算出来的Key和Value缓存下来用于后续计算attention。这个缓存叫KV Cache。它的大小非常惊人我直接算给你看。以现在常见的7B参数量模型为例假设有32层Transformer、32个KV头、每个头128维用FP16存储。每个token需要的KV Cache大小是每个token2Key和Value两个副本× 2字节FP16× 32层 × 32头 × 128维 512KB支持2048个token的上下文512KB × 2048 1GB如果同时服务100路请求1GB × 100 100GB注意7B模型本身加载权重也就14GB左右FP16但仅仅100路并发KV Cache就要吃掉100GB。这还是在没有算上模型权重、没有预留计算临时显存的情况下。跑过推理服务的人看到这个数字应该不会陌生——真正限制我们部署并发量的不是GPU算力而是显存被KV Cache占满了。这就是PagedAttention出现之前推理框架面对的最大瓶颈KV Cache是连续分配的但不同请求的长度不同导致显存碎片化严重利用率很低。打个比方就像你去餐馆点菜厨房按“每桌最多10个菜”准备食材但有的桌只点了两个菜剩下的食材就浪费掉了。请求长短不一显存碎片越来越多真正能用的反而变少了。2.2 PagedAttention做了什么vLLM的核心贡献是借鉴操作系统内存管理里的“分页”思想把原本连续的KV Cache拆成固定大小的块block按需分配不需要全部连续。这个设计带来的直接收益非常直观显存利用率大幅提升。块可以分散在显存的不同区域不要求连续几乎消灭了碎片化浪费。动态内存管理。请求结束立刻释放块新请求马上就能用不需要等待大块连续显存合并。共享缓存成为可能。多个请求如果共享相同的前缀中间的KV Cache块可以直接复用这对多轮对话、少数热门prompt反复请求的场景帮助非常明显。之前有个观点说PagedAttention是“用工程手段解决了算法问题”我不完全同意。更准确的说法是它把操作系统的成熟经验迁移到了GPU推理场景本质上是一种系统级创新。正因为这个迁移做得到位vLLM才能在同样一块GPU上把吞吐量做到比很多早期框架高出数倍而且越是在长上下文、高并发的场景下优势越明显。2.3 不只是显存优化如果vLLM只有PagedAttention它不会走到今天这个位置。真正让它拉开差距的是围绕推理性能做的一整套工程优化组合。连续批处理Continuous Batching是我觉得技术含量同样高的一环。传统批处理是这样的一批请求同时开始、同时结束如果某个请求先生成完了也得等整批全部跑完才释放资源。vLLM改成了每次迭代动态决定哪些请求进批处理、哪些请求退出让GPU在每一时刻都保持尽可能高的利用率。这个优化效果极其显著尤其面对真实场景里长短请求混合的情况吞吐量提升往往是以“倍”为单位计算的。还有集群级优化。Tensor并行、Pipeline并行、Prefix Cache命中、量化支持这些都是深入到部署细节的能力不是套一层壳就行的。投资方给的估值本质上是为这套“从单卡到集群、从内存管理到调度策略”的完整工程能力买单。因为这套能力带来的不只是性能还有可复制性——换一个模型、换一个GPU型号优化框架依然能发挥作用。3. 推理基础设施赛道当前的牌局3.1 推理正在从“成本中心”变成“竞争力中心”前两年大家聊推理关注的是“能不能跑起来”现在聊推理谈的是“每百万token的成本能不能降下来”。这个变化很关键。当一个行业还在初期时只要能跑通就是胜利没人抠成本。但当模型能力逐渐同质化产品和产品之间的差距很大程度就取决于谁能用更低的成本提供更快的响应。那个“更快更便宜”的底座就是推理基础设施。这轮融资背后其实是在告诉市场推理已经开始进入精细化运营阶段。企业不再满足于“把模型部署上去”而是要求“在同等硬件条件下服务更多用户、延迟更低、成本更可控”。谁能提供这种能力谁就能在这个产业链条上拿到利润。3.2 几个玩家类型的生态位分析现在的推理基础设施领域主要有几类参与者在抢同一个市场。第一类是云厂商。他们的优势是GPU资源充足、网络和存储等周边设施完善但短板是推理优化通常不是他们的核心专注点。云厂商更愿意卖算力资源整体方案而不是为一个具体模型做极致抠显存的优化。第二类是模型厂商自己。他们掌握模型架构的最深层细节可以从模型和推理两层一起做协同优化。问题是他们的能力通常绑定自家产品对想要同时跑多个开源模型的企业来说可能并不适配。第三类就是Inferact这类独立基础设施公司。他们的特点是有深刻的开源社区积累、有可移植的推理优化方案、模型无关服务方式也比较灵活既可以通过开源社区建立信任也可以提供企业级服务和商业版功能。从牌面来看三类玩家各有强项但独立厂商的位置其实最微妙——他们夹在云厂商和模型厂商之间必须靠“技术深度服务灵活性”才能拿到自己的份额。vLLM团队选择在这个时间点独立创业说明他们已经想清楚了这条路。3.3 开源是信任入口也是商业化需要跨越的门槛做开源项目的团队出来开公司绕不开一个经典难题怎么在保持开源社区信任的同时把一部分能力转化成收入vLLM走的是比较务实的路径——核心引擎继续开源吸引开发者和企业试用商业化的点放在企业级功能上比如更精细的权限管理、集群可视化管理、多租户隔离、企业级SLA保障等。这些功能不是每个人都需要但对于中大型企业是刚需。这个思路和很多成功的开源商业化公司一致社区版解决“从0到1”的信任问题企业版解决“从1到100”的合规和稳定性问题。难点在于平衡。商业功能做多了社区觉得项目变成“阉割版”贡献者离场商业功能做少了收入撑不起估值。Inferact的目标大概率是在社区的“开源光环”和市场的“付费意愿”之间找到精准的分界线。注意任何开源基础设施项目一旦团队开始公司化运营社区贡献者的心理预期就会变化。这是项目长期健康发展的关键变量我在评估这类公司时会重点看他们在这条线上的处理方式而不是只看融资数字。4. 独立推理基础设施厂商的三种赚钱路径4.1 企业级部署服务很多企业对数据隐私有严格要求模型和推理不要让第三方经手。这种情况下本地化私有部署成了刚需。独立基础厂商可以卖软件授权、卖部署支持、卖调优服务帮企业把推理引擎跑在自己的机房或私有云上。这块利润比较厚但交付也很重。每个客户的GPU型号不一样、网络环境不一样、业务流量模型不一样需要大量现场调优和经验积累。这种“重服务”模式发展速度不会太快但客户粘性极高——调好的系统一般不会轻易换掉。4.2 推理云服务另一条路径是自己运营现成的推理服务面向企业和开发者按调用量收费。这条路径的挑战是必须和云厂商正面竞争因为云厂商本身也在提供“API调用式”的模型服务。独立厂商在这里的差异化优势是多模型支持、更细粒度的性能优化、以及模型切换时不需要重建整套系统。从长期看推理云服务是一个很有想象空间的收入来源。一旦企业把核心推理任务跑在一个独立平台上了后续的模型升级、服务扩容、性能监控都会沉淀在这个平台上切换成本会越来越高。这比一次性的授权费更符合资本市场的偏好。4.3 技术和生态变现还有一条更轻的路是通过技术授权和生态合作变现。自己做底层推理优化把能力输出给其他云服务商或行业解决方案商让他们集成到自己的产品里然后按license或者分成收费。这条路不需要自建大规模GPU集群也不需要直接面对终端用户但比较考验团队的产品化能力——怎么把技术能力封装成别人能方便调用的SDK或接口是很细的活。我判断Inferact最终会三条线同时铺企业部署先打好现金流基础推理云服务做长期增长曲线技术生态授权作为和平台型公司合作的切入点。具体哪条线能跑出来现在下结论太早但方向已经比较清晰了。5. 给正在做推理服务选型团队的几条实操清单5.1 先算显存账再谈框架选型很多团队上推理框架的姿势是听说某个框架快直接部署然后发现并发一上来就OOM。我建议所有人在选型前先把自己场景里的显存账算清楚。最简化的计算公式是这样的预估KV Cache大小 最大并发数 × 平均上下文长度 × 单token KV Cache字节数单token KV Cache字节数 2 × 精度字节数 × 模型层数 × KV头数 × 注意力头维度把模型权重、KV Cache、以及推理过程中临时张量的开销都加在一起再对照你手头GPU的显存总容量得出的结论往往会让很多团队意外瓶颈真的不在算力而在显存。这一步做完之后再去比较不同框架的优化思路块大小能不能配置、是否支持Prefix Cache、量化支持度如何、多卡并行怎么组织。带着这些问题去选型事半功倍。5.2 上线前必须做的压测项目清单我之前帮几个团队做过推理框架迁移总结了一份压测清单计算的关键数据项包括吞吐量Tokens/s单位时间总生成token数。注意要区分首token延迟和生成阶段吞吐不能混为一谈。首token延迟TTFTTime To First Token用户发出请求到收到第一个token的时间。这个指标决定“体感快不快”要求高时目标通常控制在毫秒级到一两秒。端到端延迟分位数p50/p95/p99真实场景中长尾延迟比平均延迟更重要。很多框架在压测时平均延迟很好但p99会突然飙高就是因为批处理调度和显存管理在极端情况下的表现不够稳。长上下文表现把上下文长度从2K拉到8K、32K甚至更长观察吞吐量和延迟的变化曲线。显存优化做得好的框架长上下文涨幅会更平缓。并发请求下的显存波动观察KV Cache分配和释放的稳定性有没有随时间推移的显存泄漏或碎片化增长。这些数据全部拉出来之后再结合你自己的业务模型做决策。不要只看benchmark报告里的一个“平均吞吐”那个数字在真实负载下参考价值非常有限。5.3 长期运维里容易忽视的坑框架选型和上线只是开始长期运维里还有几个坑特别值得说。一是版本升级。开源推理框架迭代很快但“新版本功能更强”和“新版本稳定可跑”是两回事。我的习惯是先在测试环境跑一两个星期的混合流量确认各项指标没有回退再切生产。千万不要因为新版本发布日志写得诱人就贸然升级。二是量化带来的精度损失。很多团队依赖量化来省显存、提吞吐但量化对不同模型的影响差异很大。上线之前必须做精度评测用你自己业务的评测集来验证不能只看复现报告。有些场景比如数学推理、代码生成对精度非常敏感量化完之后效果掉得很厉害这种情况就得在“省显存”和“保证准确率”之间做权衡。三是监控的可观测性。推理服务像一座桥每天有无数的请求从上面过。一定要建立细粒度的指标监控——按模型、按API版本、按客户端来源拆分延迟和失败率这样出问题时才能快速定位。没有可观测性推理集群就是一个黑盒出了问题只能靠“重启大法”。6. 这个事件对开发者社区的连锁影响6.1 开源项目的治理走向会更受关注之前大家用开源项目主要看两条代码质量如何、版本活跃度如何。vLLM团队成立公司之后社区对项目的关注维度会发生明显变化——开源许可证、商业功能边界、社区贡献者协议、核心维护团队的精力分配这些问题以前不太被重视现在都成了敏感话题。对使用者来说这是一个提醒选择开源基础设施不仅是选技术也是选择它的长期治理路径。一个项目背后的治理结构是否健康直接决定它能不能在激烈的市场竞争中持续迭代。以后技术review里治理评估的比重应该会越来越大。6.2 人才和团队流动的风向标这次融资还有一个容易被忽略的信号它证明了从事AI工程基础设施的团队是有巨大商业价值的。过去几年行业里最被追捧的是做算法、做模型的科学家但基础设施方向的工程师价值被严重低估。现在不一样了。一个推理框架团队能拿到8亿美元估值意味着整个基础设施赛道的薪酬水平、人才吸引力、职业路径都会被重新定价。我身边已经有不少做推理优化、算子开发、异构计算的朋友在讨论要不要投身这个方向这绝对是接下来一两年人才市场的风向标。6.3 普通工程师可以从中学到什么如果你不做基础设施这件事对你也有参考意义。它让我想到一个比较深的点在一个高速变化的行业里最能穿越周期的其实是非常具体的工程能力。模型架构会变、训练范式会变、但“怎么在有限资源下把系统性能压榨到极致”这套方法论几乎永远有用。vLLM团队做的很多工作本质上就是系统调优这门手艺在AI场景下的延伸。哪怕你不在这个赛道花时间理解显存管理、调度优化、性能剖析这些底层能力回报都不会差。我在实际工作中也有同感。很多线上问题表面看是框架不行深挖下去都是资源管理、调度机制这类基础问题。能把基础打扎实遇到再复杂的新技术心里也不慌。另外想说一个比较实在的观察vLLM之前很多人觉得推理优化是“锦上添花”模型好就够了现在应该没有人再这么想了。推理基础设施已经从幕后走到台前成为AI产业里一个独立、有硬价值的赛道。Inferact拿到的8亿美元估值是这个共识最直接的价格体现。至于这家公司未来能不能撑起这个估值就得看他们能不能在商业化的路上拿出和开源时代同样优秀的执行力了。