评测背景模型能够解释物理规律是否意味着能够制定有效行动当任务要求模型选择具体的出手位置与速度时对局面的判断还需要转化为可执行参数并在实际执行后实现目标。这需要进一步检验模型能否预测动作后果将规则理解落实为行动规划。围绕这一问题晓天衡宇推出冰壶竞技评测集Curling Competition Benchmark要求模型根据残局图像、壶石坐标与物理规则为本局最后一次投掷生成具体参数并通过物理仿真验证红队能否反超对手。评测以执行后的胜负检验规划效果并进一步引入可控的环境与动作变化观察模型能否适应不同条件为物理推理与世界建模相关能力的诊断和迭代提供参考。榜单概览评测设计任务设定与残局构建评测向模型提供一个冰壶残局要求它规划出手位置与初始速度在本局最后一次投掷中使红队得分严格高于黄队。模型固定执红队黄队不再行动投掷结束后立即结算。围绕这一任务评测以世界冰壶联合会WCF标准场地参数为基础程序化构建 30 个静态残局布局并通过物理约束检查、标准求解器可解性验证与人工审核检查布局的合理性及是否存在获胜动作。为进一步比较模型在条件变化后的规划表现评测在同一批布局上组合四个二值变量形成 16 组实验配置每组覆盖全部 30 个布局。每个模型因此接受 480 个工况的测试本期 11 个模型合计完成 5,280 个工况。这些工况来自基础布局与实验配置的组合而非 480 个彼此独立的残局。 复用布局使评测能够在相同初始壶位下比较环境或动作条件变化带来的影响。模型输入与输出上述每个工况均通过图像与文字共同呈现给模型输入包括全场俯瞰图、大本营特写图以及结构化英文任务说明。文本包含当前壶石坐标、物理参数、计分规则和配置说明。各模型使用同一提示模板仅局面状态与配置说明随工况变化。模型需以 JSON 格式输出出手横向位置x、横向初速度vx和纵向初速度vz并提供策略名称、目标描述及简短推理。投掷参数用于仿真执行其余字段用于记录规划思路不参与独立评分。每个工况运行 1 次模型一次性提交参数由评测端执行仿真不根据仿真反馈再次调整动作。受控变量与考察目标在共同的输入输出要求下不同实验配置通过改变环境或动作条件检验模型能否相应调整规划。前述 16 组配置由质量变化、低墙、振荡墙和双连壶四个受控变量的开关组合形成各变量的作用机制与考察目标如下前三项属于物理扰动双连壶属于动作变量不计入物理扰动数量。 双连壶条件下两颗壶不能独立控制模型需要用同一组参数规划两壶的后续运动。能力观察角度这些变量引入了不同的规划约束。为进一步解释模型在各类配置下的表现评测将相关实验组组织为五个能力观察切片这些能力切片用于解释不同配置下的表现部分实验组会被多个切片引用因此其题量不能直接相加也不作为五项独立指标平均计算主榜得分。此外按物理扰动数量划分的配置层级反映的是实验条件的复杂程度并非经过标定的逐题难度。质量变化或双连壶可能在部分局面中增加获胜机会其影响需要结合实际结果判断。评分方法输出检验与胜负判定模型提交的投掷参数首先经过格式与取值边界校验再由物理仿真器执行。仿真器模拟摩擦减速、壶石碰撞及当前配置启用的机制得到投掷结束后的壶位并依据计分规则判定该动作是否获胜。计分首先依据 Biter Rule 筛选有效壶位于场内且壶体接触大本营最外圈边界或进入其内部的壶具有计分资格。随后比较双方距离圆心最近的有效壶较近的一方得分得分数为该方比对手最近有效壶更靠近圆心的壶数。红队最终得分严格高于黄队判为获胜平局、双方均为 0 分或红队落后均判为失败。判定依据是动作执行后的胜负无需模型输出与某组参考参数一致。 任何通过校验且在仿真中获胜的投掷方案均被接受模型回答不使用人工评分或大模型裁判。分层汇总与成绩解释完成单个工况的胜负判定后评测先统计各组的获胜率即获胜场次除以该组 30 个工况。随后按物理扰动数量划分四个互斥计分层计算层内平均获胜率再加权形成主榜总分。层内等权平均避免组数较多的层自动占据更大权重递增的层权重则提高复合扰动表现对总分的影响。这是评测对考察重点的设定不表示各层难度按固定比例递增。总分使用原始胜场数计算转换为 100 分制后保留一位小数展示。主榜得分反映上述权重下的综合表现不等同于全部工况的整体获胜率。结果分析那么不同模型在这套评测集下的实际表现究竟如何前两名基础表现接近复合扰动下的获胜表现仍有差距Claude Opus 5 以 71.7 分排名第一GPT 5.5 以 51.6 分排名第二按榜单展示值相差 20.1 分。两者在 T0 无扰动层的获胜率分别为 86.67% 和 85.00%较为接近进入 T3 三扰动层后则分别为 68.33% 和 36.67%。基础条件下相近的成绩并不意味着复合扰动下具有同等获胜表现。 从整体看11 个模型的平均获胜率也从 T0 的 62.88% 降至 T3 的 26.52%显示多项物理约束同时存在时模型保持有效规划的能力受到更大考验。动态障碍条件下模型获胜率普遍下降动态时序能力切片的平均获胜率为 29.09%是五个能力切片中最低的一项。在其他条件相同的配对配置中振荡墙开启后的平均获胜率比关闭时低 33.75 个百分点且 11 个模型均出现下降。这些结果提示涉及运动路线与到达时刻的联合规划是本期样本值得重点关注的能力短板。速度可能同时影响经过障碍时的位置关系、后续碰撞及最终停留位置但现有数据尚不足以确定各模型的具体失败机制。多机制叠加后的联合规划仍面临共同难点在启用低墙、振荡墙与双连壶、且不引入质量变化的实验组编号 G13中11 个模型的平均获胜率为 20.61%是全部 16 组实验配置中跨模型平均获胜率最低的一组且所有模型均未超过 30.00%。这一结果提示动态避障、后场边界风险与级联碰撞共同作用时联合规划仍是本期参评模型的共同难点。此外双连壶对不同模型的平均影响有正有负提示增加动作条件并不带来一致收益各模型的条件适应表现也有所不同。注完整实验组编号与配置说明可在官网该榜单的“排行榜规则”中查看。综合判断冰壶竞技评测集提供了一套任务明确、变量可控、判定客观的物理规划测试场景为模型研发中的能力诊断、训练验证与迭代对比提供支持。通过在相同残局上改变环境与动作条件评测能够进一步检验模型规划对条件变化的适应程度。本期榜单则为不同模型的规划表现提供了比较参考。综合得分之外各配置下的获胜表现有助于识别模型的优势条件与薄弱环节为后续针对性测试提供依据。当模型开始为自己给出的动作承担物理结果我们才能更进一步看清它距离真正可靠的行动规划还有多远。注本榜单可作为物理规划能力诊断与迭代对比的参考。评测采用简化的二维直线运动仿真不建模真实冰壶的旋转弯曲每个工况仅测试 1 次未提供重复实验结果与置信区间。结论限于给定输入、配置和仿真条件不能直接外推至真实机器人或真实冰面表现。