从GPT-5.6 Sol每秒750个token、提速14倍看大模型速度的数学吞吐量、延迟与排队论8月13日OpenAI预览了GPT-5.6 Sol的Ultrafast模式最高每秒输出750个token约合每秒560个词相比常规模式提速14倍由Cerebras晶圆级芯片驱动目前仅限受邀客户测试。新闻里每秒750个token和提速14倍这两个数字读起来很爽但它们是哪来的对参赛学生来说这背后是一整套可以原样搬进赛题的速度建模框架吞吐量怎么定义、加速比怎么算、延迟与吞吐量如何此消彼长、排队论如何预测系统忙不忙。本文把大模型速度的数学一次讲透。一、新闻回放750个token/秒是什么概念先建立直观感觉。一个token可以粗略理解为大模型的最小文字单元中文大约一个字对应一到两个token英文一个词约一个token多一点。750个token每秒意味着读一篇500字左右的短文模型大约1秒生成完写满一屏公众号文章约3000字4到5秒完成。对比人类打字约每秒1到2个字这个速度接近阅读速度级生成这也是Ultrafast这个名字的由来。任务内容量约常规模式耗时示意Ultrafast模式耗时一段摘要200字约8秒约0.5秒一篇短文1000字约40秒约3秒一篇文章正文3000字约2分钟约8秒一本200页书约10万字约1小时约4分钟二、14倍是怎么算出来的加速比的建模口径提速14倍听起来直接但加速比的定义有很多种口径建模时最容易翻车的就是口径不一致。最常见的口径是峰值吞吐加速比拿Ultrafast模式的峰值输出速率除以基线模式的峰值输出速率14倍就是这么来的。但实际使用中感知到的提速往往不到14倍原因有三第一峰值不等于均值。峰值速率是理想状态下测的真实场景有网络传输、前缀缓存命中率、输入输出交错等因素实际吞吐通常打七到八折。第二生成速度只占端到端延迟的一部分一次对话的总延迟等于排队等待加输入处理加生成生成快了排队和输入处理的时间还在。第三任务结构不同短任务受启动开销影响大长任务才吃得到吞吐红利写一句话可能只快2倍写长文才接近14倍。环节含义提速能否覆盖排队等待请求排队等服务器空出不能与生成速度无关输入处理读入并理解你的指令部分覆盖生成过程逐token输出回答完全覆盖主要提速来源网络传输结果传回你屏幕不能建模时建议采用端到端延迟加速比口径先分别测量四个环节的时间再算总延迟的比值。这个分环节拆解总量比值的做法和国赛里总成本分解后看增速贡献是完全同一套逻辑。三、吞吐量的核心公式速率乘时间大模型服务吞吐量建模本质就是一道小学应用题吞吐量等于生成速率乘有效工作时间。用符号化语言说一个推理服务器在一段时间内生成的token总数等于每秒生成的token数乘以该时间段内实际用于生成的秒数。看起来简单真正要建模的是两个折扣一是并发折扣——同时服务的请求多了单请求分到的生成速率下降二是利用率折扣——服务器不是24小时满负荷空闲时段等于把有效时间打折。场景生成速率token/秒有效工作时间占比单机日吞吐token低负载75030%约1944万中等负载60070%约3629万满载45095%约3694万上表是示意算例负载上去后单请求速率下降但服务器更忙总吞吐反而上升。这就是吞吐建模的第一个结论衡量系统能力看总吞吐衡量用户体验看单请求速率两者不能混用。四、排队论系统到底忙不忙预测请求要等多久排队论是最标准的工具。把每个请求看作顾客把推理服务器看作服务台请求到达是随机的平均每分钟λ个服务时间也随机平均每请求服务时间1/μ。最简单的单服务台模型里系统稳定运行的条件是到达率小于服务率即λ小于μ。这时有两个关键公式平均排队等待时间等于利用率除以服务率乘一减利用率平均总响应时间等于一除以服务率减到达率。利用率越接近100%等待时间越是指数级爆炸——这是排队论最重要的直觉系统不要设计在满载点要留缓冲。到达率λ请求/分钟服务率μ请求/分钟利用率ρ平均等待时间秒41040%4秒71070%15.6秒91090%81秒9.91099%891秒看这张表到达率从7提到9只增加了不到三成压力平均等待时间却从15.6秒跳到81秒翻了5倍。这就是满载诅咒——系统越接近饱和每增加一点流量体验崩塌得越快。大模型厂商给Ultrafast模式限量邀请制开放本质就是在控制到达率λ保证μ的服务能力下系统不进入排队爆炸区。五、硬件提速14倍的建模逻辑算力、存储与带宽Ultrafast模式为什么能快14倍新闻点出了核心Cerebras晶圆级芯片。普通GPU是巴掌大的一块晶圆级芯片把整个晶圆直接做成一块大芯片片上集成的计算单元和存储远超常规产品。模型推理的速度瓶颈通常不在计算而在内存带宽——权重要从芯片外的显存搬到计算单元搬得越快生成越快。晶圆级芯片把权重放在片上省掉了大量搬运时间生成速率因此大幅提升。建模时可以用一个简化框架推理吞吐量与芯片内存带宽近似成正比与模型规模成反比。同样的模型带宽翻倍峰值吞吐近似翻倍同样的芯片模型参数翻倍吞吐近似减半。这个带宽换速度、规模吃速度的框架可以拿来写推理成本与吞吐量预测类赛题给定芯片规格与模型规模预测吞吐和单位token成本。六、速度与成本快是要花钱的提速14倍不是免费的午餐。从建模视角推理成本可以分解为三块硬件成本分摊、电力成本、服务与运维成本。晶圆级芯片算力密度高、单次推理耗电未必更高但采购成本与定制化投入巨大厂商必须靠高价值场景优先来摊薄成本——这也解释了为什么Ultrafast模式先给受邀客户而不是全量放开。对使用者来说速度与成本是同一枚硬币的两面一个请求快14倍意味着同样的预算下单位时间能处理14倍的任务量或者同样的任务量只花十四分之一的时间。建模时通常做单位token成本比较把总成本除以总生成token数再乘上各自的使用量就能算出快模型到底贵不贵。成本构成与速度的关系建模处理方式硬件分摊快硬件单价高按寿命与利用率分摊到每token电力与算力负载相关按功耗乘运行时长运维服务相对固定平摊到总吞吐七、给参赛学生的三个落点这套素材在国赛里至少有三个落点。第一排队论与系统容量规划给一个AI服务的到达率、服务率数据求最优服务台数量对应排队论经典赛题。第二吞吐量预测与硬件选型用带宽近似正比、规模近似反比框架估算不同硬件方案的吞吐与成本对应优化类赛题。第三加速比口径辨析把新闻里的14倍拆成端到端口径与峰值口径的差异考的是对指标定义的理解——这种挑指标毛病的能力在国赛论文里是明显的加分项。最后记住三句话速率是峰值、体验是端到端吞吐看总量、延迟看单请求系统别满载、留缓冲。下次再看到提速N倍的新闻先问一句这个N倍是什么口径的N倍