资讯动态

智谱 GLM-5.3 高速版内测曝光:输出近 500 tokens/s,大模型开始卷推理速度

发布时间:2026/10/14 6:33:59 来源:尧图企业网站定制
据智东西 10 月 12 日报道智谱在其 AI 编程工具ZCode里灰度测试了一款新模型GLM-5.3 HighSpeed有博主实测输出速度超过490 tokens/s。目前这款模型只对 ZCode 订阅用户随机开放没有公开的申请入口。490 tokens/s 是个什么水平据大模型 API 评测平台 AI Ping 的数据DeepSeek V4.1 Flash 官方 API 的输出速度是 121.34 tokens/s智谱自家 GLM-5.3 标准 API 是 70.84 tokens/s。也就是说高速版把输出速度拉高了好几倍。提速靠的是什么先说明白一点这不是把模型做小了而是推理基础设施的优化。模型的基本信息没变——GLM-5.3 HighSpeed 依然拥有 100 万 token 的上下文窗口单次最多可输出 131072 个 token和 GLM-5.3 保持一致。那速度是怎么提上来的据此前公开信息智谱的高速版 API 是和 TileRT 团队联合打造的主要在三个层面下功夫推理引擎层针对模型架构重写核心推理路径提升单卡吞吐调度系统层用动态批处理、请求合并、KV 缓存调度压低高并发下的尾延迟基础设施层围绕推理集群部署、网络链路、负载均衡做协同优化。TileRT 的核心思路是放弃传统 Runtime 层那种动态算子调度把整个推理计算图在编译期就静态编排成一个常驻 GPU 的 persistent Engine Kernel从而把调度、访存、同步的开销压到最低。所以这更像是一件工程活而不是换了个模型。为什么厂商突然都开始卷速度因为对 Agent 类应用来说速度就是实打实的体验。据智谱此前的说法一个 Coding Agent 任务往往要经历数十轮模型调用单轮响应只要慢上几秒整体耗时就可能被拉长十几分钟。模型能一边理解工程上下文、一边持续生成代码和修改方案迭代才顺得起来。变的是延迟和吞吐没变的是模型能力本身。上下文窗口、输出上限这些指标和标准版一致能力上限大概率也接近高速版解决的是等得起等不起的问题。据今年 5 月的公开信息智谱就推出过输出速度 400 tokens/s 的 GLM-5.1-highspeed这次算是又把量级顶高了一截。对普通开发者意味着什么如果想直观感受快的差别可以拿自己项目的调用链测一下总耗时。下面这段 Python 是个最小示例把端点换成你自己的服务即可importtimeimportrequests# pip install requestsdefcall_model(prompt:str)-str:# 替换成你自己的模型 API 端点resprequests.post(http://localhost:8000/v1/completions,json{prompt:prompt,max_tokens:200},timeout60,)returnresp.json()[choices][0][text]starttime.perf_counter()foriinrange(20):# 模拟 Agent 的 20 轮调用call_model(f第{i}步根据上一步结果继续)print(f20 轮总耗时{time.perf_counter()-start:.2f}s) 跑一遍你就会发现单轮响应差的那几百毫秒乘以几十轮会变成很明显的体感差距。选型时可以参考几点1.**先分清场景要延迟还是要质量。**实时补全、对话、Agent 循环对速度敏感一次性批处理、离线分析更看重结果质量。2.2.**别全信内测速度。**灰度测试的并发低、集群空速度通常偏乐观。对外规模化服务后大概率会打折最终以实际上线的公测数据为准。3.3.**关注价格。**GLM-5.3HighSpeed 的输入输出定价尚未披露速度上去了但成本未知量大的场景要自己算账。4.4.**注意可用性。**目前它只对 ZCode 订阅用户随机开放普通 API 用户还用不上。 推理速度正在成为继能力、价格之后的又一个竞争维度对天天等模型吐字的开发者来说算是好事。你会为速度买单吗评论区聊聊。

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑