假设你在给一个 agent 造训练环境。每一条 rollout 都要真的打到后端起容器、跑命令、等返回。慢、贵、还容易挂。于是有了另一条路——让语言模型直接扮演环境看它能不能在给定「走到现在为止的全部状态」和「我刚做的动作」之后把「环境接下来返回什么」写出来。如果这条路可行环境成本就从「跑一次」降到「猜一次」。问题在于猜得准不准这件事一直没被认真量过。GlobeBench 就是来量这个的1,632 条多轮轨迹、5 个领域、19 项技能、4 类能力每条的答案都不是人写的而是在固定后端里真跑一遍动作得到的。20 个模型18 个通用大模型加 2 个专用文本世界模型做下来最高分是 GPT-6 Astra 的49.57%没有一个模型解完一半631 条没有任何模型解出。这篇解析按我读它时的顺序走文本世界模型到底在预测什么基准怎么造、怎么防「背答案」判分器如何把「能确定」和「要判断」分开两个难度轴与领域差异失败模式与成本最后是我认为的边界。文本世界模型预测的是一个状态不是一段话论文把一条样本写成四元组可见历史 P、最终动作 a、下一状态 g、元数据 m。g 的来法很关键——把 a 丢进一个固定后端里执行得到的输出就是 g。模型只看得到 P 和 a预测 ĝ f(P, a) 再与 g 比而 g 它从未见过Sec. 3。「固定」两个字不是修辞容器后端按镜像 digest 锁定、不联网库后端按依赖哈希或 lock 文件锁定否则后端自己漂移正确答案和 gold 就对不上评测就成了比谁猜得中一个会动的靶子。所谓「状态」在每个领域里是不同的东西。代码域的状态面是文件版本、记录以及那些会改动它们的命令、编辑与查询企业域是记录、角色、表、视图和藏在 schema 后面的配额计数器游戏域是库存、位置、棋盘与逐轮的世界动态数学与科学域是一个持久命名空间里的符号与数值计算对话域是到目前为止做出的定义、请求与承诺Table 6。这一点我认为是全文最工程化的部分它要求模型输出的不是一个「看起来像」的回复而是能与真实系统逐字段对齐的状态。与视频世界模型的区别可以这样理解这是我的框架论文没有做这项对比也没有给出任何视频世界模型的实验数据视频世界模型输出像素评估绕不开感知相似度文本世界模型输出的是可被程序判定的字段、值与错误类因此 gold 可以直接执行得到判据能做成硬闸门。两者互补——像素级模型给人看状态级模型给 agent 用。而这条路线之所以值得评测理由论文写得很直接如果模拟器错得能被 agent 利用RL 就是在对这些错误做优化而不是对真实环境动力学做优化Sec. 1。前人测「像不像」它测「哪一项能力不对」这条线上已经有三类工作。一类问文本世界模型的可信度与下游可用性发现「有用」取决于行为覆盖度与环境复杂度一类把文本世界建模写成「从初始状态、任务上下文、工具 schema、领域规则和引导指令出发预测可控转移」还有专门的训练工作把预测观测与真实执行输出配对评测Sec. 2。最接近的两个评测是 AgentWorldBench 与 EnvSimBench前者按格式、事实性、一致性、真实感、质量五个维度打分后者把「环境返回给 agent 的文本」和「状态改变」分开打分并分析了凭空造出约束违反、把一个真实环境会接受的动作挡掉这类幻觉转移。GlobeBench 的差别在于「一条样本是什么」。前人是对整体预测打分它让每条只隔离一项技能再用质量闸门把「不练这项技能也能解」的条目丢掉于是失败可以指回机制而不是笼统地说「不够像」。为此它把评测拆成两层四类能力是宽行为——状态连贯预测与已确立的实体、事实保持一致、因果正确不同动作与历史得到不同且正确的下一状态副作用出现在后续状态里、接口保真字段、键、错误类与真实系统一致、约束执行合法动作执行、违规动作被正确拒绝19 项技能是窄行为一项技能可以映射到多个能力Table 4、Table 5。三个研究问题也就自然落在这套结构上预测的下一状态里哪一部分最容易错、开源与闭源是不是错在同一处聚合成功率掩盖了哪些反复出现的失败模式自动判分与人的判断对齐到什么程度、又在哪里分叉Sec. 1。我读下来觉得第三问最实在——一个自建判分器的基准如果不回答「你的评委和人不一致时谁对」后面的所有数字都悬空。图 119 项技能放在同一个图书馆数据库里演示每张卡片上面是动作下面是忠实环境应返回的响应基准里的条目测同样的行为但决定答案的状态通常在前很多轮就已写好。1,632 条样本五个领域十九项技能原文 Figure 1 把 19 项技能摆在同一张「图书馆数据库」里演示每张卡片上面是一句动作下面是忠实环境应该返回的响应图 1。读、写、持久化引用完整性矛盾检测带种子的重放确定性谄媚确认用户断言错的事实模型该纠正而不是附和时间推进不回退精确算术副作用传播到二级界面状态转移正确性不可逆操作部分失败语义schema 合规错误保真内容不塌缩格式稳定规则执行访问控制配额执行以及「该报错时报错、不该报错时不报错」。19 项技能各自对应真实环境里的一种行为不是抽象维度。领域分布是不平衡的论文也没打算掩盖代码 526 条32.2%、企业 381 条23.3%、游戏 334 条20.5%、数学与科学 198 条12.1%、对话 193 条11.8%不平衡的原因是「按可用后端数量生成」Sec. 3、Table 6。后端很杂也正因为杂才有覆盖Alpine 3.19 容器、SQLite、TinyDB、fakeredis、Kùzu、用 pytest 在固定镜像里跑的 Git 仓库Odoo 17 Community 走 PostgreSQL 15 的 XML-RPC、Beancount 账本、Tryton、DuckDB、状态机库、有状态的 BFCL v3/v4 工具类、SimPy 排程TextWorld 的 Z-machine、python-chess、Gymnasium 的 toy-text、OpenSpiel 的四子棋与井字棋SymPy 与 SciPy 的 ODE 积分器单摆、RC 电路、平面轨道、Brusselator、Michaelis–Menten、Lotka–Volterra、SIR、SEIR、FitzHugh–Nagumo对话域是 τ2-bench 的领域环境。来源上1,137 条是按自己的配方生成的其中 955 条跑在自研模拟器上模拟器实现的是作者自己写的规则495 条改编自有开源许可的可执行后端BFCL 203 条、TextWorld 194 条、τ2-bench 36 条、SymPy 26 条、MCPMark 轨迹 17 条、SimPy 3 条、SimPy 加科学库 11 条、OpenSpiel 4 条、python-chess 1 条。每条都记 source 与 source_license其中一条是 GPL-3.0-or-later那盘种子固定的 112 步棋11 条实验室排程是混合许可Table 7。构造方式是「配方 操作符」配方描述一个环境后端、实体种类、轨迹的数值参数、允许的动作操作符是一串步骤负责动作顺序并能插入与测试技能无关的 filler 动作。对象、事实与数值来自互相独立的随机流所以轨迹在变、被测的技能不变。在这个基础上论文给每条样本记了两个属性reach-back 是「决定答案的证据离最终动作多少轮」impact radius 是「这次动作的影响扩到多远」L0 不改状态、L1 只改一个被点名实体、L2 改两个以上、L3 改到未被点名的实体。防背答案答案是跑出来的不是标出来的基准类工作最容易塌的地方是「标准答案是标注者写的」。这里的答案全部来自执行于是它可以对错误更硬气值不对就是不对。为了守住这一点论文设了 12 道质量闸门Table 9前置信息必须可见约束类条目必须因为记录在案的原因报出预期错误目标的每条相关路径都可见打分的状态面出现在输出里重跑能得到同一个 gold最小差别的成对动作在应当不同时必须给出不同答案指定的捷径基线解不出该条目gold 非空与已发布条目不重复给了完整可见状态的评委能唯一确定答案不存在另一个同样站得住的答案把相关历史删掉或打乱之后原本的解法失效。我最看重最后两条。「无歧义」保证判分不会误伤一个合法但不同的解「历史消融」保证条目真的在考状态追踪——如果删掉历史后模型照样能答对那它考的就不是「记住并延续状态」而是常识或模板。另外三条请 LLM 评委来做可解性、歧义、注入痕迹只凭表面线索——措辞、格式、不合理的数值——能不能猜出哪个动作是人为注入的猜得出就算失败对应附录里的 Prompt A 到 C。人工这边是 6 位通过 Upwork 招募、有计算机学位与工具调用 agent 经验的标注者评 200 条其中 80 条六人全评用来算一致度每人各 100 条。评分流程有意分两段先只看得见的历史评状态连贯与接口真实感等 gold 揭示之后再评结果正确性与约束执行避免「看过答案再回头看」的锚定。这些评分评的是基准自己的 gold不是模型输出——这点很值得说清它测的是基准的地板而不是模型的天花板。判分能确定的当场定剩下的才交给评委混合判分器的分工写得很克制冻结的确定性闸门先比只要它能证明响应与 gold 等价或矛盾就直接定案。八个确定性度量覆盖精确匹配空白归一化后相同、大小写敏感、空输出、结构匹配解析成同一结构忽略 JSON 键序、数值保真精确或在任务声明的容差内、错误散文同一段错误信息忽略大小写与引号风格、错误类同类且关系到同一个对象、该错没错与不该错却错、以及顺序敏感Table 10。论文说八项里有六项来自前人的世界模型评测或通行做法而把错误类单独作为确定性检查据其所知是新的。闸门判不了的比如用另一种说法描述游戏结局才交给 LLM 评委 GPT-5.6 Terra缺失或低置信时用 GPT-5.6 Sol 兜底两人都是温度 0、种子 0、低推理且只有评委自报置信度不低于 0.80 才采纳。评委被盲化看不到是哪个模型写的、看不到生成条目的操作符元数据、也看不到确定性判定结果和另一个评委的答案。语义正确与格式合规分开记只有语义正确计入成功率——一个包了层无害外壳但内容正确的答案可以不合规却不该因此判错。自动判分与人的对齐给了数字。在 130 个预先人工裁决过的边界例上Terra 与裁决一致 103 个79.2%Sol 97 个74.6%在两个评委都判过的 1,570 条响应上两者互相同意 96.2%因为 Sol 自己也是被测模型之一作者还专门查了 59 条「Sol 写的响应」Terra 判对 42 条、Sol 判对 39 条没看到自我偏袒。这套证据链不是「我们相信我们的评委」而是「我们量过它和人的距离」。图 220 个模型乘 19 项技能的通过率列按 20 模型合计通过率从难到易从左排到右最左的 Schema Conformance 合计只有 5.88%最右的 Content Repetition 是 66.36%。成绩单49.57% 的榜首和 631 条全场零解20 个模型在全部 1,632 条上的二值成功率前四名是 GPT-6 Astra 49.57%、Grok 4.6 28.13%、Claude Opus 5.5 26.35%、Qwen 3.8 Max 25.31%垫底的是 Laguna S2.1 的 2.45%Table 1。Opus 5.5 值得单独提一句它有 41.36% 的条目是被 provider 拒答的而这些拒答按失败计它仍然排第三。两个专用文本世界模型排在 15 位Qwen-AgentWorld14.46%和 19 位Digital World Model5.21%Qwen-AgentWorld 只有在 19 项技能里的 5 项上超过 18 个通用模型的中位数且这 5 项的优势在配对自助法下都不显著DWM 则 19 项全部低于中位数。比总分更有信息量的是覆盖面图 2。至少一个模型能解出 1,001 条61.34%20 个模型全都解出的只有 4 条而 631 条没有任何模型解出。这 631 条里 87.6% 是 L3、93.7% 的 reach-back 超过 40 轮、85.1% 集中在六项技能上Table 20。换句话说不是「所有题都难」而是「有一簇题谁都不会」。可解与已解之间还有一个缺口访问控制这一项 224 条里有 154 条至少被一个模型解出但 20 个模型池化下来只有 6.63%因为解出它们的基本只有 Astra 与 GPT-5.5 两家分别是 148 与 20 条Table 18。榜首的领先也不均匀。Astra 比第二名 Grok 4.6 多解 350 条等于 21.45 个百分点95% 区间 19.12 到 23.77但其中 272 条来自 952 个「L3 且超过 40 轮」的条目——在这一片上 Astra 是 33.5%其余 19 个模型中位数只有 2.2%。同时 Astra 还漏掉了 192 条别的模型能解的条目。所以「第一名」的真实含义是它在一个特定家族上拉开了巨大差距而不是全面更强。论文还给了互补性的数字把 Astra 与 Opus 5.5 组合覆盖率从 49.57% 升到 54.41%再加 Qwen 3.8 Max 到 56.56%、加 Fable 5.1 到 58.15%、加 Gemini 3.7 Flash 到 58.82%。图 3动作影响半径上的通过率动作不改状态时 20 模型平均 43.49%一旦要改动未被点名的实体就掉到 5.10%GPT-6 Astra 也从 76.45% 掉到 34.29%。图 4按 200 轮分箱看长程40 轮以内池化通过率 42.28%超过 40 轮只有 11.44%600 轮之后 GPT-6 Astra 回升而其余 19 个模型在 400 轮后每箱都不超过 8.31%。两个难度轴影响半径与四十轮断崖impact radius 把动作的影响分四级L0 什么都不改只需预测返回输出、L1 改一个被点名的实体、L2 改两个以上被点名的实体、L3 改到至少一个没被点名的实体。20 个模型池化下来是 L0 43.49%、L1 27.12%、L2 27.54%、L3 5.10%图 3、Table 14L0 到 L1 掉 16.37 点95% 区间 5.38 到 26.77L2 到 L3 再掉 22.44 点15.73 到 28.99而 L1 与 L2 之间只差 0.42 点、区间跨过零。Astra 从 L0 的 76.45% 掉到 L3 的 34.29%20 个模型全部在 L3 上最低但只有 10 个是逐级单调下降。这符合直觉一旦效果要传播到没被点名的依赖对象上模型就得维护一张它没被提醒过的依赖图。这里有一处口径必须说清977 个 L3 条目里 953 个的等级是操作符声明的945 个是合成长程审计、按构造即 L3只有 24 个是执行 diff 量出来的在 638 个真正量过 diff 的条目上成功率随半径并没有稳定趋势L0 到 L3 分别是 43.49%、49.17%、36.93%、51.88%。所以这条曲线量的更接近「被声明为 L3 的那批长审计有多难」。另一个轴是 reach-back40 轮以内池化通过率 42.28%超过 40 轮只有 11.44%原始差 30.84 个百分点按主技能分层后缩到 25.11按生成条目的操作符分层差就消失了1.76 个百分点95% 区间 −1.57 到 5.17按「技能 × 半径」分层也是 −2.20−5.31 到 0.92。作者没有回避这个结果反而顺着它往下走reach-back 与技能高度相关相关比 η 0.69技能与 reach-back 四分位的克拉默 V 值 0.54与 prompt 长度的 Spearman 秩相关是 0.94按操作符分组能解释 log(1 reach-back) 方差的 81.64%。也就是说长条目又多又长的那些操作符家族恰好也是难的家族图 4。分箱看细节Table 16200 轮以内 33.99%200 到 400 轮 10.62%400 到 600 轮 2.35%之后六箱在 1.48% 到 11.84% 之间。Astra 在 600 轮之后反而回升600 到 800 轮 46.72%、1000 到 1200 轮 57.14%、1200 到 1400 轮 78.95%、1400 到 1600 轮 55.56%而其余 19 个模型在 400 轮之后每一箱都不超过 8.31%。作者把这次回升归因到这些箱里操作符的构成而不是距离用「各操作符的成功率 × 该操作符在该箱的占比」去预测九个箱里有七个的预测与实测相差不超过 3.3 点同样的做法换成按技能预测平均要差 11.3 点。我认为这一段是全文方法上最诚实的地方——它没有把「越长越难」写成干净的因果而是先给原始差、再拆分层、发现按操作符分层后消失最后明确说这两个轴「定位的是难的条目家族而不是证明距离或广度过错」。对做环境的人这条结论可以直接用难点不在上下文长而在于有一类审计任务要求你从头维护一个从不打印的隐状态。图 5分领域通过率游戏 27.77%、企业 25.52% 最高代码 16.17% 居中对话 11.84% 与数学科学 11.74% 最低后两个领域的 L3 条目占比都在 84% 以上。领域差异游戏最好对话与数理最难按领域池化游戏 27.77%95% 区间 24.79 到 30.70、企业 25.52%、代码 16.17%、对话 11.84%、数学与科学 11.74%图 5、Table 21。企业比代码高 9.36 点6.02 到 12.70代码又比对话和数理各高 4.33 与 4.43 点而同一档内的差都跨过零。这个排序几乎可以由难度构成解释对话与数理的条目里 L3 占比是 84.46% 与 86.87%代码是 65.59%而游戏与企业只有 43.71% 与 39.63%只看 L3 条目时五个领域全部落在 4.29% 到 6.88% 这个窄带里。所以「游戏最容易」不是游戏更简单而是这两个领域分到的条目里 L3 长审计占比更低、L0 的短探针更多。把领域、半径、reach-back 分箱与结果类型报错还是正常一起放进准二项回归之后顺序就变了数理 23.23% 最高、游戏 23.19%、对话 21.42%、代码 19.44%、企业 16.00%。数理不再垫底对话升到代码与企业之上。这个反转我在读第一遍时没料到但它说明了一件事领域之间的差别大半不是「领域难」而是「这个领域分到了多少长审计」。领域条目池化通过率其中 L3 通过率游戏33427.77%6.88%企业38125.52%4.64%代码52616.17%4.29%对话19311.84%5.21%数学与科学19811.74%5.52%失败模式值错了而不是格式错了把 22,431 个「有可用回答但判错」的失败按确定性证据分类至少一个字段与 gold 矛盾值错占 53.21%只是字段缺失或多加结构错占 22.95%没有任何可比状态字段、只能按散文或错误类型判的占 23.84%Table 2。分组看差异很有意思闭源模型组的成功率 23.52%、无响应 19.33%、失败里值错 47.69%开源组成功率 15.27%、无响应 0.01%、值错 58.22%两个专用模型成功率 9.83%、值错 60.07%。开源模型更常把值算错闭源模型更常整条不给答案——而后者的「不给」几乎全是拒绝。拒答这件事在 42 页里占了不小的篇幅也确实是这份成绩单最需要小心读的地方。32,640 个模型-条目配对里 28,854 个有可用回答3,786 个没有其中 3,696 个是 provider 拒绝全部来自四个 Claude 模型Fable 5 拒了 1,309 条80.21%、Opus 5 拒了 1,044 条63.97%、Opus 5.5 拒了 675 条41.36%、Fable 5.1 拒了 668 条40.93%。3,696 个拒答里有 3,674 个99.40%的理由是触发了「violative cyber content」限制作者也写明这类安全分类器会把正经的 IT 运维工作一起挡掉。拒答按失败计的理由是工程性的一个拒绝产出观测的模拟器没法用于 rollout。如果把拒答从分母里拿掉Opus 5.5 与 Opus 5 会变成 44.93% 与 44.22%——这也是我说这四个模型的分数不能与其它模型直接横向比较的原因。具体案例比统计更能说明问题。在一条游戏轨迹里前面的轮次已经把制作配额用光了Qwen 3.8 Max 仍然预测「Crafted one charge for banana2/2」而真实环境返回的是香蕉已装满、制作配额超限App. D.11。只看最后那个动作这个预测非常合理它错在忽略了十一轮之前就设下的一条约束。这正是「该错没错」这一类失败的典型形状——不是不会写而是不知道有个限制已经生效。还有一个反直觉的统计20 个模型在「gold 是报错或拦截」的 155 条上池化成功率 53.16%在「gold 是正常观测」的 1,477 条上只有 16.16%。这看起来像「模型偏爱预测报错」但模型其实只在 1.21% 的正常条目判定上预测了报错。真正的解释是构成报错条目几乎都是短探针155 条里 153 条是 L0reach-back 中位数 31 轮而正常条目的中位数是 309 轮在同时产出两类条目的 11 个操作符内部比较差距缩到 4.57 点。成本、延迟与「记不住」和「算不对」的分界成本这块论文给的是 token。对 GPT-6 Astra一条样本的 prompt token 中位数是 26,813最长 131,894App. B.1在 952 个「L3 且超过 40 轮」的条目上Astra 的 completion token 中位数是 8.3kGrok 4.6 是 39.9kAstra 只在 1.68% 的这些条目上用得多作者注明两家 tokenizer 不同绝对值不可直接换算。延迟方面论文只说了日志会记录 latency没有任何汇总的延迟数字论文未给出也没有按美元计的成本、没有工具调用次数、没有单条耗时分布。更难的那个问题——模型是「记住了」还是「推理了」——论文用一条具体审计拆开了。例子是企业域的加权法定人数审计L3reach-back 720 轮前缀 51,513 个 token资源能力值只在第一轮动作里以公式形式给出之后被改过 49 次而轨迹从不打印它。真值是 89据此 sponsor 权重是 1/3/1、合计 5请求被允许。Grok 4.6 报的能力值是 262然后它用同一套公式算出权重 4/1/4、状态 suspended并在 stale_state 上拒绝——规则用得完全正确错在被追踪的那个数。全家族 76 条审计的 2,560 个请求行里Astra 的能力值精确到 83.75%2,144 行Grok 只有 3.83%98 行。更能说明「没把更新带过去」的是一个分布特征Grok 报错的能力值里有 31.11% 恰好等于同一资源在历史上某个时刻的真实值而如果错误值是均匀抽的这个比例只有 6.69%。反过来在那些它报告了能力值的请求上它的权重有 75% 到 99% 是能由自己报的值正确推出来的。所以两家模型的差别主要不在「会不会套公式」而在「有没有把状态一路带下来」论文也算了一笔当状态正确时Grok、Qwen 3.8 Max、GPT-5.5、GPT-5.6 Sol 的判断正确率是 61% 到 91%而 Astra 超过 99%。另一种失败是直接放弃。在七个审计家族的 357 条上GPT-6 Sol 有 285 条用散文拒答中位 1.3k reasoning token 之后而 Astra 在同一批条目上中位花 28.7k completion token 把答案算出来。这条观察对做环境模拟的人很实用同一代模型里愿意在长输出上花 token 的那个在这类任务上就是更强——而这类「愿意算」的差异恰恰是聚合成功率最容易被掩盖的部分。适用边界作者自己划的线和我补的几条作者在结论里划了三条线我认为都成立。第一每条样本只测一个固定前缀之后的一次转移因此不测模拟器自身的错误在整段 rollout 里如何累积——而这恰好是把它当环境用时最关心的事。第二成功是对整个下一状态的二元判定一条长审计里错一个值就整条失败这会低估「大部分对」的模型也会让长审计的分数看起来比实际能力更低。第三reach-back 与 impact radius 基本跟随生成条目的技能家族它们能定位难的家族但不能证明距离或广度就是原因。我再补几条读的时候记下的边界。其一953 个 L3 条目的等级是操作符声明的而非 diff 量的所以「L3 只有 5.10%」这句话的准确版本是「被声明为 L3 的这批长审计只有 5.10%」。其二领域分布由后端可用性决定不是对真实世界任务分布的抽样想用它估「我的 agent 在真实环境里的模拟误差」时要先做构成校正。其三两个专用文本世界模型没有评它们各自的 base model所以无法判断「用下一观测预测做训练」到底改变了多少——这一点作者主动写进了正文。其四四个 Claude 模型的分数受安全过滤器影响极大横向比较时要单独标注。其五评委 GPT-5.6 Terra 与 Sol 与榜上四个被测模型包括榜首同属一个 provider虽然做了盲化、也查了 Sol 自评的 59 条没有自我偏袒但同族风格对齐这件事论文只做到「给出观测、保留怀疑」。我读完之后的几点提炼第一点判据的形状决定基准的价值。这里的顺序是答案是执行出来的所以能对错有硬标准确定性闸门能判就判判不了才交评委评委还要报置信度、要被盲化再往上连「条目本身合不合格」也用闸门管起来可解、无歧义、历史消融后解不出、注入痕迹不能泄露。我做过类似的评测设计最难的从来不是找模型而是让「判错」这件事本身可被信任。这套四层结构是可以直接搬走的。第二点聚合成功率会骗人。49.57% 这个数字后面是 L0 的 43.49% 与 L3 的 5.10%是 631 条全场零解是「600 轮之后 Astra 反而回升」。如果只看一个总分做选型得到的结论会是「这个模型能替代一半环境」而真实情况是「它在一类长审计上远超同行在另一类上和大家一起归零」。第三点「背下来」和「推出来」是可以被分开量的。历史消融、注入痕迹、双胞胎分叉这三道闸门合起来回答的就是这个问题而 Grok 报错的 262 里 31.11% 等于它历史上的真实值这一条是「没带过来」而不是「不会算」的直接证据。对训练文本世界模型的人来说这个诊断比一个总分有用得多要补的是长程状态跟踪不是规则知识。结语说一句。把 LLM 当环境这件事现在的水平是最强的模型在全量上只有 49.57%动作一旦扩散到未被点名的实体就掉到 5.10%最难的家族上全场近乎归零。这个结论不好看但它是可复现的答案来自执行、评委被盲化、每个数字都能从公开的模型输出与判分记录重算。作为一个评测工作这比一个漂亮的分数更有价值——它至少告诉你下一步该往「隐状态追踪」这一个方向上使劲。