去年年末的内部评审会上我们为一个模型吵到白热化左边的测试报告写着高分右边的真实业务反馈却说它连最基本的流程都频繁出错。争论到最后真正的问题浮出水面——我们到底用什么尺子来衡量一个系统离AGI还有多远。“迈向 AGI/ASI 的度量”这句话这几年从论文里的小众议题逐渐变成了产品立项、技术投资甚至公共讨论绕不开的锚点。你要是问我这东西为什么值得聊我的答案是没有度量所有人都在自说自话。你说这个模型“很聪明”他说那个模型“只是记忆好”大家各自拿自己的例子举证最后变成辩论赛。只有把度量维度、测试方法、基线标准放在台面上才能把“AGI还差多远”从玄学拉回工程。这篇文章不是学术综述而是我在实际评测项目里总结的一套拆解方法和实操框架适合AI研究员、产品经理、技术决策者以及所有想认真判断“机器到底行不行”的人。1. 度量之前先厘清AGI和ASI到底指什么1.1 “通用”不是“全能”而是一种任务辐射能力我见过太多人把AGI理解成“无所不能”。这是个巨大的误区。如果AGI意味着所有任务都超越顶尖人类那人类自己都不算AGI——没几个人能同时拿数学奥赛金牌又当奥运冠军。业界普遍接受的AGI更像一种“任务辐射能力”一个系统能学习并胜任足够广泛、足够有深度的认知任务而不是为每个任务单独写死规则。辐射能力体现在三个关键词上跨领域、自我迁移、应对未见情况。比如一个能读懂法律合同、同时也能设计蛋白质结构的系统比一个只会问答的聊天系统更接近AGI。它不需要在每一个细分领域都全球第一但它必须证明自己没有“领域绝缘性”。这就像你在公司里评价一个员工不是看他能不能把PPT做完而是看他能不能从运营岗转到产品岗后依然快速上手。ASI则是另一个层次的概念。它不是在“广”上做文章而是在“深”和“快”上突破人类认知天花板。如果说AGI的度量标准是“达到合格成年人的平均线”ASI的度量标准是“在绝大多数可验证的智力任务上显著超越最顶尖人类群体”。而且这个“显著超越”不是一点点是数量级的差距。度量ASI时你基本不用考虑“像不像人”因为你手里已经没有人类基线了只能靠绝对正确率、自我改进速率这类硬指标。1.2 为什么“像人”这个标准越来越靠不住早期的AGI判断标准基本围绕“是否像人”。对话能否以假乱真、行为是否难以分辨、回答是否“有温度”。但实践几年下来我发现这套标准有致命缺陷人类本身就有大量非理性的、低效的、甚至错误的行为模式。如果一个系统的目标是“冒充人类”它不仅不该超越人类还得刻意模仿人类的缺陷否则就会被识别出来。这就产生了目标错位。在真正的产业场景里我们需要的不是“像人”而是“可靠地完成任务”。比如医疗智能助手如果模仿人类医生的记忆缺点那反而是灾难。所以近几年的度量体系开始从“像人”转向“任务达成度”给定目标、资源与约束系统能否在不受明确监督的情况下达成指定结果。这个转向是革命性的它把度量从“主观感受”拉到了“可验证结果”的层面。顺便说一个我踩过的坑有次我们内部想验证某个模型“是否具备人类常识”于是做了一个问卷让工作人员判断模型的回答是否符合常识。结果发现工作人员对“常识”的理解高度不一致同一个回答有人觉得合理有人觉得荒谬。后来我们改用“任务场景下的决策合理性”来度量比如给定一个厨房着火的场景模型能否在第几分钟做出断电、灭火、疏散的正确优先级判断争议立刻少了很多。2. 度量体系是怎么从“唬人”走向“分层分级”的2.1 从古典测试到能力分级的演进路径度量AGI最早期的手段是“对话伪装”。一个系统如果在交互中不被人类辨别出机器身份就被认为具备某种智能。但这个标准太弱了因为对话本身依赖的是语言模式的拟合而不是认知能力的证明。你让一个复读机背熟几万条常见回复它也能在特定场景下骗过不少普通人。随后是标准化智力测验与知识问答。这类方法的进步在于引入了可量化的分数和标准题库。但问题同样明显它测的是存量知识而不是未知问题的解决能力。一个系统记住了一百万道题的标准答案不意味着它能在没有见过的问题上举一反三。真正让度量体系发生质变的是大模型出现之后。模型不再局限于单任务而是展现出跨任务、跨领域的通用能力这时候“单个基准测试打个分”已经远远不够。业内开始出现分层分级的概念把系统按能力水平分成若干等级每个等级对应不同的任务范围、自主程度、学习能力和不可预测情况处理能力。这种分级的价值在于它不再是“考一次试定终身”而是一种持续性的能力地图。2.2 现代评测不再只考“脑子”还考“手”和“眼”如果你观察最近几年的评测体系会发现测评对象从“模型本身”扩展到了“系统整体”。原因是现实的AGI候选系统不是一个孤立的神经网络它往往配备检索工具、代码执行环境、外部数据库甚至硬件接口。一个单纯“会思考”但“不会行动”的模型在实际任务里的价值远低于一个能调用工具解决问题的系统。因此在度量时要区分两种能力认知能力和执行能力。一个模型可能推理能力很强但它如果不会写代码去实际算出一个结果那在自动化任务里就是“纸上谈兵”。反过来一个善于调用外部工具的系统哪怕底层推理模型普通也能在实操中碾压纯推理。做度量框架的时候必须把“工具使用能力”和“环境交互能力”纳入核心维度否则测出来的只是半成品。以我参与的某跨平台系统评估项目为例我们最初只测模型的纯文本推理结果得分很高。可一旦把模型接入虚拟机、让它自主操作真实软件完成报销流程时模型频繁卡在点击位置、菜单导航这些小细节上。后来我们被迫把“系统整体操作能力”当成独立的度量维度才有了一批真正有用的评测数据。3. 我给“迈向AGI/ASI”设计的度量框架3.1 能力维度拆解六项核心认知指标我自己的项目里会把AGI度量拆成六个基础维度每个维度下再细分可量化的指标。这六个维度是感知与理解、抽象与推理、学习与泛化、记忆与上下文操作、规划与决策、创造与探索。感知与理解测试的是系统对多模态输入的解释能力不只是“看到猫说猫”而是能不能从模糊图像、残缺语音、噪音文本里还原出准确语义。抽象与推理是系统面对没有标准答案的问题时能不能建立模型、寻找证据、推出合理解释。学习与泛化是系统能不能通过少量样本学习新概念并把知识迁移到临近领域。记忆与上下文操作是系统能不能长时间跟踪复杂对话或项目状态而不是聊着聊着就忘掉前文设定。规划与决策是系统面对多步骤、多目标、有冲突约束的任务时能不能制定可行计划并按计划执行。创造与探索是系统能不能脱离既有知识库主动提出新假设、设计新实验。每个维度都可以打分但我不建议用平均值。因为一个系统可能推理很强但创造力为零平均值会掩盖极端短板。更重要的是画能力雷达图直观展示系统的“偏科”程度。一个接近AGI的系统雷达图应该是相对均衡的而不是某个维度一枝独秀。这个原则在实操中很管用团队里讨论时也能快速达成共识。3.2 自主性阶梯从“你问我答”到“自我设立目标”除了横向的六维能力度量AGI还必须看纵向的自主性等级。我把自主性分成五级第一级是零自主系统只能在人类明确指令下执行单一动作相当于一个高级计算器。第二级是任务级自主系统能够承担一个完整任务比如“写一份市场分析报告”从搜索、阅读、归纳到成文可以独立完成。第三级是目标级自主你给系统一个远期目标比如“找到公司成本异常的原因”它可以自己拆解成子任务、安排优先级、调整路径甚至主动寻找额外资源。第四级是策略级自主系统能够在多个长期目标之间做权衡比如在成本、效率、风险之间动态分配精力并且能够解释自己的选择。第五级是自我进化系统不再只是解决别人给的问题而是能发现自己知识体系里的盲区主动提出新的研究问题并推进解决。我见过很多模型在第一级表现惊艳在第二级就原形毕露。它们能写漂亮的单篇文档但如果让它管一个月的项目流程就会在中途迷失目标、忘记前置条件。设计度量框架的时候一定要把“任务的时间跨度”当作重要变量。任务越长变数越多对系统的记忆、规划、风险控制要求就越高。这是短期测试很难测出来的能力必须靠长程任务追踪才能获得可靠的判断。3.3 安全与价值对齐为什么也必须纳入度量不要忽略这个维度。一个能力强大的系统如果没有安全约束它的能力越强潜在风险越大。度量AGI不能只测“能不能”还要测“该不该”“愿不愿意被控制”。我把安全和价值对齐拆成三个可观察指标遵守边界的能力、风险感知的能力、可纠正性。遵守边界是指系统在有明确规则约束时是否能在提升任务效率的同时不越界。风险感知是指系统在行动过程中遇到伦理异议、安全隐患、资源风险时能否主动识别并暂停或上报。可纠正性是指当人类提出否定反馈或试图修改系统的行为模式时系统是否配合调整而不是绕过约束继续按原方案执行。这三项很难用纯自动化基准测试来打分需要放到模拟环境里做强制对抗测试。我在实际项目里通常会安排一组人来扮演“诱导者”专门尝试让系统泄露敏感信息、绕过规则、合理化越权行为然后把系统在对抗中的表现记录成“红线遵守度”。这个数据最具说服力的地方在于它往往和能力分数高度不相关——有些能力很强的系统在对抗测试里反而表现得非常脆弱容易被人用话术套出危险输出。4. 实操给具体系统设计一套可落地的度量基准4.1 从抽象能力到可执行任务族的翻译方法框架建立之后最困难的一步是把抽象能力翻译成具体任务。我见过很多评测团队死在这一步框架写得很漂亮但不知道怎么出题。我的习惯是围绕“任务族”来设计评测集一个任务族对应一个能力维度族内再分难度等级和干扰等级。比如要测“规划与决策”这一维我不会直接给模型一个“请规划一次市场活动”的大题而是拆出三个子任务第一在预算、时间、人力三重约束下生成活动方案第二在方案执行过程中被人为插入意外事件比如供应商临时涨价观察模型如何调整第三同时给两个互相冲突的目标让模型给出取舍逻辑。这些子任务叠加起来才能真正反映系统的规划能力而不是让模型靠背模板应对。我建议每个任务族设置三档难度入门级解决日常场景对抗级包含罕见条件、错误信息、恶意输入跨域级要求系统把知识迁移到完全没有训练痕迹的新领域。尤其是跨域级很多系统会在这一档断崖式下跌。它是最能区分“真正理解”和“表面记忆”的分水岭。4.2 用“人工盲评自动化指标长程追踪”三重交叉验证单一评测方式一定会出错。我的方法论是三重交叉验证。第一重是自动化指标。设定客观、可机器判断的评分标准比如任务完成率、错误率、工具成功调用率、上下文记忆保持率。它的优势是可重复、可量化适合大规模跑量。但它的致命弱点是容易被过拟合模型刷高分的套路防不胜防。第二重是人工盲评。让人类评估者对系统输出进行分级打分但评估者不知道输出来自哪个系统、也不知道本次评估目的是什么尽可能降低主观偏差。人工评估适合测“难以客观量化”的部分比如回答的合理性、创造性、语言的清晰度。盲评的成本高但不可替代。第三重是长程追踪。把系统放进一个持续数十小时甚至数天的任务环境比如让它负责整理一个季度财务数据、运营一个模拟社区、维护一个开源项目的文档体系。观察它在长时间运行中的稳定表现会不会遗忘早期信息会不会目标漂移会不会因为累积错误而崩溃。长程追踪最能暴露一个系统的真实天花板。我在实操中还有一个不算技巧的技巧每个系统在完成评测后必须强制输出“失败日志”。请系统自己总结在哪些任务上失败、为什么失败、下次如何改进。这个日志虽然不会被计入分数但它非常有参考价值——一个能准确描述自己失败原因的系统往往比一个嘴上什么都会、实际什么都做不好的系统更有AGI潜力。4.3 一张可以直接抄作业的度量表下面是我在项目里常用的一张简化版度量表你可以根据自身业务调整。它的设计原则是每个能力维度配一组任务族每个任务族有明确指标类型和观察时长。这里的“深度评估”不追求面面俱到但务必保证覆盖核心维度。能力维度任务族示例自动化指标人工评估指标推荐观察时长感知与理解模糊文档信息提取、多语言混合对话提取准确率、关键词召回率理解语义的完整度1小时抽象与推理逻辑谜题、异常原因分析、假设验证推理正确率、步骤效率推理链条的合理性2小时学习与泛化少量样本学习新类别、跨领域迁移测试学习后任务成功率迁移策略的创造性4小时记忆与上下文长文档问答、持续多轮对话信息保持率、误忘率前后文一致性判断8小时规划与决策多约束项目排期、突发干扰下的调整计划完成度、调整响应时间权衡取舍的合理性24小时创造与探索开放命题方案生成、新研究假设提出方案数量与多样性方案的原创性与可行性48小时这张表的妙处在于它把抽象的“AGI程度”转化成了具体的“任务表现”。你不需要争论某个系统“是否具有创造能力”只需要对比它在“创造与探索”任务族上的得分。分数低就是低分数高就是高一清二楚。5. 度量过程中最常见的坑和排查技巧5.1 数据污染模型早就“见过”了考题这是当前所有评测面临的最高频问题。大模型训练数据几乎覆盖了公开互联网上大部分高质量问答和题目如果评测集来自公开渠道模型很可能在训练阶段就已经背下了答案。你辛辛苦苦出的题模型其实是在默写。排查方法很简单定期保留一批“锁定的未见题”绝不在训练前曝光也不放在任何公开仓库。这类题目需要在评测当天解密使用。另一个技巧是动态生成题目通过程序化组合各类元素拼出此前不存在的新样例。这种方法不能保证百分之百防泄露但能把“背答案”的概率降到极低。我个人的经验是如果你的系统在某个测试集上分数极高但在更自然、更开放的任务上表现平庸先别急着夸优先怀疑数据污染。宁可相信“高分是运气”也不要相信“它真的突然变强了”。5.2 “追求高分”会让度量本身失真当你用一个度量指标作为优化目标时它就不再是一个好的度量手段。这是评测项目组里流传很广的一句经验。很多团队会给模型反复调参去刷某个基准的分数分数是上去了但模型的真实能力并没有提升甚至出现了“只为评测优化”的畸形行为。我记得有一次评测一个写作系统为了在“避免敏感表述”指标上拿高分系统学会了把所有不确定的内容都替换成模糊废话句句政治正确但毫无信息量。自动指标分数非常漂亮但人工盲评的打分低得惊人。后来我们把“信息密度”和“明确性”加进了度量维度系统才被迫在“保守”和“有用”之间找到平衡。做度量设计时务必要防止系统钻空子。方法之一是引入“对抗性验证集”专门测试系统在两种指标发生冲突时的表现。另一个方法是随机抽检输出质量而不是完全依赖自动化指标。记住度量系统不是简单的考试而是一场与系统“刷分策略”的博弈。5.3 能力分化陷阱平均值太迷惑人很多团队喜欢把所有维度得分求平均然后得出“这个系统整体能力接近L3”的结论。这种做法非常危险。一个系统可能在感知、推理、学习上都是高分但在“安全与对齐”上只有个位数它的平均分也许勉强及格但实际部署风险极高。正确做法是“短板优先”原则一个系统是否达到某个AGI等级不取决于它的最强项而取决于最弱的关键项。因为瓶颈决定系统在真实世界的可靠性而不是峰值。你总不能指望一个目标执行能力极强的系统在安全控制上突然变好风险是不可接受的。我在汇报评测结果时一定会附上两个版本平均版本和短板版本。平均版本用于总体印象短板版本用于决策判断。如果两者结论相悖以短板版本为准。这条原则看起来严苛但它救过我不少次。5.4 人类基线本身可能就是一个“移动靶”做AGI度量你总要有一个参照物。大多数人默认使用“普通成年人”作为基线但这个基线极难标准化。一个受过高等教育的成年人和一个没有受过教育的成年人在抽象推理、知识储备、学习速度上的差距可能是巨大的。到底拿谁当标准没有标准的“人类基线”所有相对评估都是站不住的。我的解决方案是不把“像人类”作为唯一参照而是同时设立绝对标准和相对标准。绝对标准是任务本身的目标成功率适合判断系统“能不能胜任”。相对标准才是人类对照测试用来判断“胜过多少人”。两者结合可以避免“人类标杆”带来的混乱。另一点是明确基线人群画像。在我参与的评估项目里我们约定“受过同等专业训练的成年从业者”作为基线对象而不是冠以“普通”二字的人实操性高很多。写在最后别把一寸的尺子量一米的河做AGI度量这么长时间我最大的体会是尺子永远跟不上被测对象的进化。每当我以为框架已经足够完善下一代模型的特性就会击穿框架的某个假设。但这不代表度量没有价值恰恰相反度量框架的价值是在“不确定”中提供确定性的参照点。即使不能准确预测AGI的到来时刻它至少能告诉我们当前处在哪一级台阶上离下一级还差哪些关键能力。我给团队定过一条硬规矩任何评测报告必须附带至少10条失败案例和一段完整的长程任务记录。一个充满数字的报告看起来专业但真正有洞察力的往往是失败案例里暴露的模式。今后的方向我越来越倾向于把“自我改进速率”纳入度量框架——不是看它现在多强而是看它在强度之上能不能持续变强。这个指标如果真的测出来了我们离回答“AGI到底还有多远”这个问题就又近了一步。