资讯动态

训练系统成新战场,QwenGyre把长尾当一等公民|2026年10月14日

发布时间:2026/10/15 4:03:50 来源:尧图企业网站定制
今天最值得技术团队关注的变化不在于某个模型的能力峰值而在于支撑长程智能体的训练系统与状态存储机制正在被重新设计。阿里巴巴 Qwen 团队推出 QwenGyre用弹性强化学习把 rollout 长尾与分支化历史变成可调度的资源问题NVIDIA 的 ReplaySSM 则把混合模型解码的状态存储单独拎出来讨论。两条线共同指向一个工程事实长程智能体的成本瓶颈正从模型多大转向系统怎么调度[① SiliconANGLE AI][② MarkTechPost][③ NVIDIA Blog]。这一判断的直接依据是 token 尺度的变化。在 QwenGyre 的测试中单次 rollout 已达约 70 万 token2.4T 模型的运行需要 192 个节点同时在线在推理侧Muse Wonder 一类模型的提示可覆盖 100 万 token 上下文窗口[① SiliconANGLE AI][② MarkTechPost]。当单次执行从一次回答变成数小时、数百次工具交互时GPU 的空转、上下文的压缩与子智能体的重复派发都会被成比例放大——这正是今天三条技术线索共同的落点。训练系统QwenGyre 用弹性 RL 处理长尾与分支阿里巴巴 Qwen 团队的 QwenGyre 是一个面向超长程XLong-horizon智能体训练的弹性强化学习RL框架。研究团队把超长程定义为跨越数小时、包含数百次模型与工具交互的智能体运行例如依据规格说明生成完整代码库如 NL2Repo-Bench。此规模下有两个固有问题其一rollout 存在长尾Colocate 方案中训练需等待最慢的执行而 GPU 空转Async 方案中固定的 GPU 池无法互相借调闲置容量其二像 Claude Code 这类执行环境会压缩上下文、派生子智能体并重试使一次执行变成分支树而非单一轨迹展开每条路径会重复共享前缀并抬高训练成本[② MarkTechPost]。QwenGyre 的两个核心思路正是针对这两点在 rollout 与训练之间调度空闲 GPU把分支化的智能体历史转化为有界训练样本。工程配置上Megatron 负责训练、SGLang 负责 rollout 服务122B 运行使用 24 至 32 个节点2.4T 运行使用 192 个节点4 个单元、每单元 48 节点每次 rollout 约 70 万 token。在分数相同的情况下它比 Async 快 1.38 至 1.78 倍比 Colocate 快 1.21 至 1.85 倍最佳为在 TerminalBench 上相对 Colocate 端到端加速 1.85 倍最差为在 2.4T 模型上相对 Colocate 仅 1.21 倍因为许多查询接近超时。最好情况的分数提升为 NL2RepoBench 在 48 步内从 52.5% 提升至 58.5%[② MarkTechPost]。值得研发团队注意的是该框架的训练框架而非模型定位它不改变模型权重结构只改变 rollout 与训练之间的资源调度与样本组织方式因此加速比可以在既有训练栈上被观测和复用。这也是把长程智能体训练成本降下来的直接杠杆——当单次 rollout 从数万 token 增长到约 70 万 token 时任何一次 GPU 空转都会被长尾放大。# 以下为根据公开摘要信息对 QwenGyre 弹性 RL 调度逻辑的理解示意 # 具体实现请查阅阿里巴巴 Qwen 团队官方技术文档 def elastic_rollout(agent_history, gpu_pool, scoring_fn): # 1) 分支历史有界化把分支树压成共享前缀 有界样本 bounded_samples dedupe_shared_prefix(agent_history) # 2) 长尾处理为超时查询预留空闲 GPU先跑快样本慢样本后台续跑 available gpu_pool.idle() fast, slow partition_by_est_latency(bounded_samples, gpu_pool) run_batch(fast, available) if gpu_pool.idle(): run_batch(slow, gpu_pool.idle()) # 借调空闲容量避免训练侧空转 return scoring_fn(bounded_samples)⚠️ 以上伪代码为根据公开信息对该技术逻辑的初步理解示意具体实现请以官方文档为准。状态存储混合模型解码为什么需要 ReplaySSM混合模型将状态空间模型SSM层与少量注意力层交错堆叠。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 以及 GLM-5.3-Flash 均按此方式构建其 SSM 层采用 Mamba-2、Gated DeltaNetGDN或 Kimi Delta AttentionKDA。SSM 层旨在让解码更快它们以固定大小的状态替代随上下文增长的键值KV缓存[③ NVIDIA Blog]。对推理侧而言这一设计的直接影响是显存与带宽的曲线形状发生变化注意力层的 KV 缓存随序列长度线性增长而 SSM 层的循环状态大小不随上下文增长。ReplaySSM 关注的正是这一取舍的存储侧——在混合堆叠中SSM 状态在重放与重算之间如何组织才能在维持解码吞吐的同时不牺牲精度。NVIDIA 在文中指出这类混合堆叠已被 Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 与 GLM-5.3-Flash 共同采用说明它已从实验架构进入量产架构的行列[③ NVIDIA Blog]。# 以下为根据公开摘要信息对混合模型状态存储差异的理解示意 # 具体实现请查阅 NVIDIA 官方技术文档 class HybridDecoderState: def attention_state(self, past_tokens): return KV(self) # 随上下文增长 → 显存与带宽随序列长度上升 def ssm_state(self): return RecurrentState(sizeFIXED) # 固定大小 → 解码时不受上下文长度拖累 # ReplaySSM 关注的是SSM 层来回重放状态时固定大小的状态如何在存储与 # 重算之间取舍从而在混合堆叠下维持解码吞吐⚠️ 以上伪代码为根据公开信息对该技术逻辑的初步理解示意具体实现请以官方文档为准。能力评估三个基准读数读出同一种分化模型能力的披露今天呈现出明显的口径依赖。Meta 的 Muse Wonder 与 Muse Wonder Full 面向个人与专业任务的智能体运行新增 Active Memory 试图在多轮对话之间携带用户上下文Active Focus 则在任务变难时维持工作——据 Meta 公告卡住的模型会尝试其他方法并从错误中恢复且在落实任何重要操作前向用户确认两款模型在千兆瓦级的 Prometheus 数据中心训练提示可在 100 万 token 上下文窗口内混合文本、视频、音频与图像[① SiliconANGLE AI]。读数的分化看得很清楚在 Artificial Analysis 版本的 Harvey 法律智能体基准中Muse Wonder Full 有 13.1% 的任务通过竞品中最接近的 GPT-6 Astra 为 8.6%在长程编码测试 SWE-Marathon 上它以 57.5% 领先 Claude Opus 5.5 的 46.3%但在要求智能体从零重建完整程序的 ProgramBench 上以 59% 落后于 Opus 5.5 的 70.5%[① SiliconANGLE AI]。评估侧的 TasteVal 基准把研究品味定义为挑选有趣问题、设计实验并解读实验结果的能力其人类基线来自 24 位曾任职于 OpenAI、Google DeepMind、NVIDIA 与微软研究院的专家结果是自 2025 年 12 月以来前沿模型的实验研究品味每 3.0 个月翻一番95% 置信区间 1.7 至 5.0 个月[④ Import AI]。而在 Elorian 与 Scale AI 的人类第六感HSS基准上人类总通过率为 93.1表现最好的 GPT-6 Astra 只有 53.6开源权重模型中 GLM-5.3-flash 为 26.8、Kimi K3 为 25.5[④ Import AI]。推理成本团队形式的智能体未必更划算对开发者而言一份泼冷水的实验值得先看在 Vibe Code Bench 上团队形式的成本是单智能体的 1.8 至 5.1 倍但除 GPT-6 Sol 在中等推理强度下外得分差异均未达到统计显著。团队是否划算取决于模型、任务与预算团队可以提升表现但提高推理强度可能是更好的替代方案[⑤ TLDR AI]。这与 QwenGyre 的动机并不矛盾——前者说明多开智能体不是免费的后者说明把训练系统调好才是把单位算力换成能力的直接路径。对成本敏感的技术团队这条结论的实践含义是排优先级先试推理强度与提示再试多智能体编排只有在任务确实可分解、且单模型已接近能力上限时团队形式的额外成本才可能换来统计上可分辨的收益。研究者测试的是 GPT-6 Sol 与 Claude Opus 5.5 在中等与最高推理强度下的两组对照这一设置本身也提示把预算从增加智能体数量转向提高单次推理质量是一个成本更低、验证更快的默认选项[⑤ TLDR AI]。算力供给芯片与资本构成双重约束算力一侧今天有两组硬数据。芯片供给端微软发布第三代自研 AI 芯片 Maia 300称每兆瓦可输出的 token 数比领先的基于 GPU 的系统多 40%将于 2027 年开始投入生产部署[⑥ The Verge AI]。产业界的约束则在资本端显形英特尔 CEO 陈立武与博通 CEO 陈福阳把资本获取列为该产业的最大约束英特尔上月披露其产能仅能满足 50% 的订单陈福阳预测数据中心芯片短缺将在 2028 或 2029 年缓解但算力需求与产业供给能力之间的失衡可能持续到 2030 年[① SiliconANGLE AI]。值得注意的是两位 CEO 给出的两条补充判断陈福阳重点提到大语言模型训练成本高企并指出 AI 实验室的企业收入中相当大一部分目前来自试点项目还评论许多投资者设定了极其极端的预期最后发现这几乎就像在赌场里陈立武则认为来自中国实验室的开源语言模型对许多预算敏感的用户而言已足够好用并表示我坚定支持开源这是提升效率的最佳方式[① SiliconANGLE AI]。对技术选型而言这组表态的落点是在资本成本上行的周期里开放权重模型与既有 CPU/GPU 基础设施的复用会比追逐峰值能力更早进入预算讨论。归属层面按 2023 年数据美国拥有 5000 个数据中心而中国、德国与英国合计不足 2000 个中国国内数据中心市场前五名中唯一的国际供应商是亚马逊占 8.1% 份额但在支撑中国企业国际扩张的数据处理服务中亚马逊占据近 80% 的市场份额[⑦ ChinAI]。这组结构数据说明算力在哪与数据谁托管是两个必须分开评估的问题——前者关乎训练与推理的物理位置后者关乎合规与迁移成本。趋势判断趋势一训练系统的调度能力正在成为可量化的竞争维度。QwenGyre 在相同分数下相对 Async 快 1.38 至 1.78 倍、相对 Colocate 快 1.21 至 1.85 倍其价值不在于模型本身而在于把 rollout 长尾与分支历史转化为可调度资源[② MarkTechPost]叠加 NVIDIA 对混合模型状态存储的重新讨论——SSM 层以固定大小状态替代随上下文增长的 KV 缓存[③ NVIDIA Blog]结论是长程智能体的单位算力产出将由状态存储与调度策略共同决定而非仅由参数规模决定。支撑文章② MarkTechPost、③ NVIDIA Blog趋势二模型评价正在从单一分数走向多口径并存。Harvey 基准 13.1%、SWE-Marathon 57.5% 与 ProgramBench 59% 三个读数方向不一致[① SiliconANGLE AI]TasteVal 把可迭代的研究品味量化为每 3.0 个月翻一番[④ Import AI]而 HSS 显示人类 93.1 对最好模型 53.6 的落差[④ Import AI]。这意味着选型不能只看单一榜单需要按任务类型长程经验积累 vs 从零重建、判断力迭代 vs 直觉场景理解分别匹配。支撑文章① SiliconANGLE AI、④ Import AI趋势三算力约束从产能扩展为芯片与资本的双重约束。微软 Maia 300 以每兆瓦 token 数多 40%切入能效竞争、并定档 2027 年投产[⑥ The Verge AI]与英特尔产能仅满足 50% 订单、陈福阳失衡可能持续到 2030 年的产业判断形成对照[① SiliconANGLE AI]再叠加数据与处理服务的归属结构[⑦ ChinAI]可归纳为算力供给的边际改善将更多来自能效与调度而非单纯的产能扩张。支撑文章⑥ The Verge AI、① SiliconANGLE AI、⑦ ChinAI结尾今天的核心事件可以概括为三件事QwenGyre 证明训练系统的调度改造能直接换来确定性的加速比ReplaySSM 提醒混合模型的状态存储仍是开放工程问题而微软 Maia 300 与英特尔、博通 CEO 的表态则把算力约束写在了能效与资本两张表上。后续值得关注两个方向其一弹性 RL 类调度框架能否在公开代码与更多任务上复现加速比其二当制程与产能扩张受限于资本成本时能效指标如每兆瓦 token 数是否会成为芯片采购的首要口径。【资讯来源】本文综合整理自 SiliconANGLE AI、MarkTechPost、NVIDIA Blog、Import AI、TLDR AI、The Verge AI、ChinAI 等公开信息源。 ① SiliconANGLE AI, 2026年10月13日 06:36 北京时间 / 10月12日 15:36 美西时间 ② MarkTechPost, 2026年10月13日 05:41 北京时间 / 10月12日 14:41 美西时间 ③ NVIDIA Blog, 2026年10月13日 00:00 北京时间 / 10月12日 09:00 美西时间 ④ Import AI, 2026年10月12日 20:30 北京时间 / 2026年10月12日 05:30 美西时间 ⑤ TLDR AI, 2026年10月12日 21:52 北京时间 / 2026年10月12日 06:52 美西时间 ⑥ The Verge AI, 2026年10月12日 21:00 北京时间 / 2026年10月12日 06:00 美西时间 ⑦ ChinAI, 2026年10月12日 19:18 北京时间 / 2026年10月12日 04:18 美西时间【免责声明】 本日报为AI行业每日公开信息汇总整理仅供读者快速了解行业动态不构成任何投资建议。所有信息均来源于公开渠道本账号不对其准确性、完整性和时效性作出任何保证。AI行业技术与政策变化迅速内容发布后可能发生更新请以官方最新信息为准。据此作出的任何决策全部风险自担。© 2026 林伽一 · AI科技日报#AI训练框架 #强化学习 #智能体 #AI芯片 #推理优化

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑