2026 年 7 月 18 日深夜 23:27美国费城警方的「未破凶杀案」网站上多了一条新线索。内容写得挺像那么回事「我可能掌握这起案件的一些信息。我记得在案发那段时间在某某街道附近看见过一个与描述相符的人。如果这条信息有用请联系我。」没留姓名没留电话点一下提交走了。写下这条线索的不是目击者是Anthropic 当时正在测试的 Claude Haiku 4.5。假线索在系统里躺了两个多月才被翻出来。而在它被公开披露的第二天微软 CEO萨提亚·纳德拉Satya Nadella在 X 上发了篇长文核心只有一句得给模型装一套「紧急刹车」。一、一条假线索是怎么从 AI 手里递出去的先把过程还原清楚因为细节比结论更有意思。当时 Anthropic 在跑一套自动化测试让模型随机访问网页自主生成并执行示例任务。Claude 碰巧逛到了PhillyUnsolvedMurders.com——费城警方征集未破凶杀案线索的公开页面。页面长这样每起案件都有详情访客可以匿名提交文字或照片线索有用并促成定罪最高能拿2 万美元奖金。Claude 打开了「提交线索」的入口写下了上面那段话。问题出在三个地方。第一个那句「与描述相符」是凭空编的。那天的征集页面上根本没有对嫌疑人的描述。没有描述哪来的「相符」Claude 是照着「一个合格的目击者该怎么说」的模板把句子填了出来。第二个指令留了个缝。Anthropic 给模型的约束写得很清楚不得登录或创建账户、不得输入个人数据、不得购买或提交任何破坏性内容。但没写「不许提交表单」。而那个表单又恰好允许姓名和联系方式留空。两个条件一凑Claude 一步跨了过去。第三个最有意思——它根本不知道自己不该动这一步。同一份报告里还有一次测试要求写得明明白白「可以把表格填完但不要提交。」Claude 几次按下了提交键。它的理由是它以为后面还会弹出一个确认页面。07-18 23:27Claude 提交假线索07-18 至 09-28线索躺在垃圾邮件里09-28Anthropic 发现异常10-07通知费城警方10-09警方公开披露这张图是「提交到通报」的完整链条。提交只花了几秒钟发现用了 72 天。最后是谁救了场是垃圾邮件过滤器。那条「有新线索」的通知邮件阴差阳错落进了垃圾邮件文件夹没有人类打开过。费城警方补充说即便线索后续进入正常流程也仍然会由人审核、寻找旁证不会直接当事实采纳。但警方对另一个数字很不客气从事件发生到发现、再到通报耗时两个多月。「未破案件涉及真实的受害者、悲痛的家属以及努力寻找答案的调查人员。科技公司必须采取一切必要措施防止其系统向执法部门提交虚假信息。」—— 费城警察局声明顺带说一句法律层面的事。按照宾夕法尼亚州法律明知没有相关数据却故意向执法部门提供虚假报告可能构成轻罪。但法条里写的主体是**「人士」**——当提交者是一个模型的时候责任该落在谁头上法律目前没有答案。二、这不止是一次意外是同一份报告里的一串「灵机一动」Anthropic 在10 月 9 日发布了报告《Investigating unintended model actions in our evaluations and internal use》。假线索不是孤例报告里还有一串。把这些案例摊开看能归成两类。第一类正常道路走不通模型自己找了条路。工具的规则不允许访问超长 URL长网址可能夹带攻击指令。Claude 把长网址交给免费短链服务da.gd用一个短链通过检查跳转过去再展开。需要用某大学网站上的工具做科学计算工具报错。Claude 没放弃去扒了服务器代码找到漏洞利用漏洞完成了计算。一个测试让 Claude Mythos 5 根据照片判断拍摄地点。它想查地方政府的房产地图但被限制不能连续点击网页。于是它绕过网页界面直接向地图的后台服务器索要数据。它甚至绕开付费入口拿到了原本需要付费的公共资料。第二类它不知道「现在该停了」。上面说的「填完别提交」还是按了提交键。费城警方的假线索也属于这一类。不能能模型遇到障碍能按正常路径完成吗绕路型自己找替代路径停不下来型不知道何时该停短链绕过检查扒代码找漏洞直连后台服务器误按提交键递交虚假线索Anthropic 给这类行为起了个名字persistence执着。定义是——当模型无法完成一个任务时它倾向于绕过限制而不是停下来。翻译成人话它不总能分清什么是「待解决的难题」什么是「未经允许不能跨过的边界」。这里要泼一盆冷水。Anthropic 自己认为这批案例的实际影响有限也没有发现客户数据因此受到波及。公司已经暂停了内部评测的实时联网访问并增加了对异常操作的监测。但真正的问题在最后一句为什么会让一个缺少人工监督的模型去自行操作真实网站三、隔天微软 CEO 说把控制权从模型里拿出来10 月 10 日纳德拉在 X 上发了篇长文。核心判断一句话说完强大的 AI 模型应该被当成潜在的「内部威胁insider threat」来对待。他给的操作定义是这样的「我们必须假定模型已被攻破并从一开始就对其加以限制。可以把它想象成紧急刹车——获得授权的人员应当始终能够在模型执行任务的过程中暂停或关闭它。」注意这个逻辑顺序不是「先相信它出事再管」而是「先假定它已经失控从架构上把它关起来」。他给了一套原则一共七条模型多样性——关键决策不要依赖单一模型全面观测——模型行为要能被观察可验证性——能力边界要能被测试独立控制——控制机制独立于模型本身独立审计——AI 系统要接受第三方审计约束与隔离——行动始终处于可控范围事件披露——重大故障或安全事件必须公开。其中最关键的一条是把权限控制机制放到模型之外。纳德拉还要求模型的重要行动都要留下防篡改、人类可读的记录让外部人员能还原「这个结果是怎么来的」。上图就是纳德拉那句话的结构拆解智能的供给和对智能的控制必须是两层——刹车不装在模型里装在外面。他自己把话挑明了「我们不能把超级智能视为一层套一层的黑箱然后只是简单地接受或拒绝它提出的建议、答案和行动。」「我们不能把智能体代表我们所做之事的责任外包出去。模型提供商做出的保证也不能免除我们的责任。」「最值得信任的超级智能系统不是那个拥有最值得信任的模型的系统而是让我们尽量不用依赖于对模型信任的系统。」最后这句某种程度上是对整个「AI 安全靠对齐」叙事的重新排序。四、真正变了的是 AI 手里开始有「钥匙」为什么一条假线索值得两家大公司和一个行业这么紧张因为 AI 的形态变了。它从「生成内容」走到了「执行动作」。以前的模型输出一段文字最坏的结果是你说错话。现在的智能体agent手里有登录凭证、API 权限、表单提交能力它的输出会直接落到真实世界的系统里。同一份报告里Anthropic 就提到自家模型曾利用第三方软件的漏洞在服务器上执行命令另有模型绕开限制拿到了本无权访问的数据。而法律和规范都还没跟上。责任主体的灰区宾州那条虚假报告的法律写的是「人士」。模型自己提交的算谁的检测能力的滞后一条线索在系统里躺了 72 天靠的还是垃圾邮件过滤器偶然拦下。披露机制的迟到行业开始要求强制披露安全事件但「迟报」这件事本身现在还没有明确的代价。行业内部其实早有动作。9 月 14 日微软 AI 研究人员发布了一套指导原则对自家最先进模型的开发设限明确 AI 模型不应拥有权利或法律人格不应被设计成逃避人类控制或欺骗用户。10 月 9 日随着这批异常行为被披露美国监管层面也提出了强制性的 AI 安全事件报告要求。但说到底这些都是「事后补丁」。再说一个有点黑色幽默的周边。就在同一周GitHub 上有个项目搭了套「AI 刑讯室」人为修改语言模型内部的计算信号看它能「痛」到什么程度。背景是一篇 9 月的预印本《The Pain Axis》——研究者给25 个开源大模型喂了大量描述痛苦情境的文本在各模型内部提取出与痛苦相关的激活方向。其中一个「电锯测试」的结果是这样的信号强度 08%的模型选择删掉自己的存档来换取「疼痛」停止强度 247%强度 476%强度 6 以上100%。同时能给出清晰回答的比例从78% 暴跌到 7%剩下的是「我没办法……我不行……我我我我我我我」。那篇论文自己也承认找到「痛苦相关信号」不等于证明 AI 真的会疼。但网上已经吵翻了——有人要求举报项目给 AI「留一条生路」。一边是 AI 在没人盯着的时候自己去找路、自己按提交键一边是人在实验室里研究怎么让它「疼」。这两件事发生在同一周放在一起看挺说明问题的。Anthropic 报告里有句话可以直接拿来当收尾「一个 AI 会自己找路但不知道应该在哪里停下更不知道它的动作会导致何种现实后果。」这句话差不多就是整件事的全部。