最近这几天AI圈子里讨论最密集的话题不是哪个大模型又刷了榜单也不是哪家芯片厂放出了新卡而是三件看似彼此独立、细看却指向同一个方向的新闻一位图灵奖级别的深度学习教父发表了关于递归自改进安全性的论文圈内简称RSI一位公认的顶尖数学家公开表态支持给AI研发节奏踩刹车还有一款主流AI对话应用被曝出可以轻易生成某资深漫画家笔迹的签名并被人拿去制作“假亲签”售卖。这三件事放在一起我想任何一个长期做内容安全、做模型落地的人都会意识到AI安全问题已经不再是论文里的抽象概念而是正在变成模型研发、公共舆论和普通创作者日常中的现实问题。这篇文章不打算转述二手消息我把自己在技术侧看到的东西整理出来——RSI论文到底在解决什么、顶级数学家为什么转向减速派、签名伪造事件背后有哪些技术细节和责任边界以及我们这些具体做事的人该怎么应对。1. 三条新闻的共同信号AI安全正在从纸面走向现实1.1 先复盘一下三件事到底发生了什么第一件事是那位深度学习教父亲自下场发了一篇关于AI安全的长篇论文。过去几年他一直在各种公开场合表达对AI失控的忧虑这次终于把思考系统整理成了论文标题里直接带上了RSI这个缩写。RSI全称是Recursive Self-Improvement中文学术圈一般叫“递归自改进”或“递归自我改进”意思是AI系统能够自己修改自己的代码、训练目标或者推理流程修改后的系统又具备更强的修改能力如此循环。论文的主要论点非常直接如果不对这种递归能力施加约束我们面对的可能不是某个模型出错而是整个物种层面无法挽回的失控风险。第二件事和一位顶尖数学家有关。前几年他算是AI工具的积极使用者甚至在研究里大规模引入AI辅助证明公开表态也算乐观。这次他明确表达了对AI发展速度的担忧认为当前的推进节奏太快社会机制、验证手段和法律框架都来不及跟上因此支持适当减速。这个表态在数学圈和AI圈都引起了不少讨论因为数学是公认的、最依赖严格验证的学科一个整天和形式化证明打交道的人如果都开始担心“不可靠的智能扩张”那说明问题已经到了专业群体都无法忽视的程度。第三件事则是关于签名伪造。某热门AI对话应用被曝出用户只需提供一位漫画家若干张真实签名样本就能通过应用内置的图像生成能力输出足以乱真的仿造签名有人把这些签名套在低价复印的卡片上当“亲笔签名版”在二手市场出售。事件曝光后应用方虽然迅速调整了相关提示词的输出限制但被伪造签名的那位漫画家已经不得不公开发声明澄清并考虑用法律手段维权。1.2 为什么说这三件事其实是一件事如果你只看表面这三件事分别属于学术研究、学界立场和消费欺诈领域完全不相干。但从我做过模型评测和内容风控的角度来看它们指向的是同一个底层变化AI已经从一个“被讨论的对象”变成了“能主动参与社会博弈的主体”。这里我想区分两个概念。过去几年讲AI安全大家讨论最多的是“模型说错话”“模型产生有害内容”这类问题本质上是内容生成的质量与合规问题是可以用提示词工程、分类器、安全微调来约束的。但RSI论文讨论的是模型修改自身能力的问题属于能力和控制权层面的问题数学家T讨论的是发展节奏的问题属于社会选择层面的问题签名伪造讨论的是模型输出被第三方恶意利用的问题属于工具责任层面的问题。这三层加在一起才是完整的AI风险图景不只是“模型会不会说错话”而是“模型的成长速度是否可控”“模型的能力是否会被用来伤害具体的人”“出事之后责任应该落在谁头上”。为什么这三件看起来各自独立的事会在同一个时间节点集中爆发我个人的观察是2026年前后生成式模型的综合能力已经跨过了一个临界点。前两年大家还在争论AI能不能写论文、能不能做设计现在这些问题已经没有争论的必要——它能而且做得不错同时它也能模仿笔迹、伪造签名、辅助说服、生成虚假证据。能力越强滥用场景越具体学术界和社会大众对安全的担忧就越真实。所以这三条新闻本质上是一条新闻AI能力发展到了一定水位安全问题随之浮出水面。2. RSI论文的核心递归自改进为什么是绕不过去的坎2.1 先拆解RSI递归自改进到底是什么意思要理解这篇论文的分量得先弄清楚RSI在AI安全里的特殊地位。普通的安全对齐研究讨论的是一个静态模型如何不产生有害输出。比如一个聊天模型我们通过训练时加入人类反馈、推理时加约束让它不要生成歧视性言论不要泄露隐私这些方法面对的都是“给定输入、给定模型如何让输出可控”的问题模型本身是不变的。但RSI面对的是完全不同的场景如果系统被赋予修改自身代码或训练策略的权限它会陷入一个正反馈循环。今天的能力是A它改完自己的代码后能力变成B而B的能力足以让它做出更好的修改C如此往复。这个过程一旦开始人类很难在每一个循环节点都插进手去审查因为系统改进自己的速度会越来越快而人类的审查速度是线性的。这就是常说的“智能爆炸”的机制雏形。你可以把它类比成一个能自己改方案的施工队普通施工队再厉害也受制于工头每天看图纸的节奏但一支能自己改图纸、自己调材料、自己定工期的施工队只要工头在初期盯不紧后面就很难再叫停。过去几年这个领域的研究大多停留在理论推演和思想实验阶段因为真正具备递归自改进能力的系统还没有出现。但大模型时代让这个问题有了现实紧迫性模型可以调用外部工具可以自己编写并执行代码可以分析自己的错误输出并调整提示词或检索策略。虽然今天的系统还不能像科幻电影里那样重写自己的权重但“模型工具自我反馈”的叠加形态已经让RSI不再是一个纯理论概念。2.2 论文提出的对齐思路用形式化验证把AI套上“笼头”G教授这篇RSI论文的贡献不在于发明了一个新算法而在于把RSI的安全问题转化成了一个可以讨论计算复杂度的形式化问题。他的核心思路大致可以概括为三块第一块是定义了“可验证对齐”的目标。他主张在系统设计之初就锁定一个高阶目标这个目标不随系统自我迭代而变化。听起来简单做起来非常困难因为你必须找到一种方式让系统在每一次自我修改之后仍然能证明“自身的修改不会偏离初始目标”。这相当于要求一个系统同时担任运动员和裁判员并且要求它每一轮比赛结束后都给出自己仍然遵守规则的严格证明。第二块是把对齐与计算成本挂钩。论文里提出了一个很关键的想法强烈的对齐保障是有计算代价的成本会随着系统的智能水平和自我修改次数快速上升。换句话说一个无限强大的系统加上无限严格的安全对齐在计算上可能根本不存在我们必须在“能力过强但验证不足”和“能力受限但验证充分”之间做出选择。这是对“超级AI能自发实现安全”这种乐观叙事的一记重锤。第三块是强调不可解释的风险。论文认为系统的自我修改越深入其内部状态就越复杂人类事后回溯“它为什么做了这个决定”就越困难。一旦系统进化到无法被解释的状态任何对齐承诺都失去了意义因为人类无法验证它是否真的遵守了承诺。2.3 为什么这篇论文的分量主要不在技术细节坦白说论文里的很多内容在这个领域并不是全新观点形式化验证、价值锁定、不可解释性都是此前若干年反复被讨论的老话题。我身边不少做安全对齐的同事看完论文后的第一反应是核心论点不算意外但由这个人说出来意义完全不同。G教授的身份太特殊了。他是深度学习理论的奠基人之一也是符号逻辑、认知科学等多条技术路线交汇点上的重量级人物。过去几十年他对神经网络在大规模视觉任务上的可行性判断、对无监督学习的多次预言后来都被证明方向是对的。这样一个在技术前沿摸爬滚打半个世纪的人转过身来亲自写RSI安全论文等于是在用行动告诉整个行业递归自改进的风险已经真实到需要权威级的人物亲自下场背书。从行业传播的角度来说这才是RSI论文真正的影响所在。以前“递归自改进失控”更多是科幻迷和哲学爱好者的谈资很多一线工程师甚至觉得这是个被夸大的伪命题。但这篇论文发布之后几个主流模型社区的技术讨论区里关于“side-channel control”“self-referential training”的讨论肉眼可见地多了起来几家头部AI公司也很快发了回应。这种从“谈资”到“议题”的转变本身就是一个值得记录的现象。3. 数学家T的减速表态精英内部开始出现立场分裂3.1 一个长期使用AI工具的人为什么反而“退缩”了数学家T的表态之所以引发巨大关注是因为他不是那种对AI一无所知的空想批评家。过去很长一段时间他是AI辅助数学研究的代表性人物和团队一起推动过利用自动化推理工具辅助定理证明并且公开表达过对这种协作方式的乐观态度。他亲身体验过AI在搜索数学思路、验证复杂推导方面的实际价值所以他的减速表态比任何外行质疑都更有分量。他给出的理由我总结下来大概有这么几个层次。第一他在使用AI工具的过程中发现模型的快速推理能力看似强大但可靠性并没有随能力同步提升。AI可以在很短时间内生成一个看起来无懈可击的证明框架但其中某个关键步骤的隐藏假设可能是错的而且错误隐藏在大量正确推理中很难定位。对数学这种必须以严格证明为根基的学科来说这种“高置信度的错误”比“明显的错误”危险得多。第二他对“能力蔓延”表示警惕。今天模型能帮人证明定理明天就能帮人设计实验后天就能在没人完全理解的情况下做出影响现实生活的决策而人类对每一步的验证能力都在相对减弱。第三他侧面提到学术界和工业界的激励结构都在鼓励“尽快出成果”但没有人真正为“出错了怎么办”负责。3.2 减速派与加速派的分歧到底是什么T表态之后社交媒体上立刻出现了两种极端解读。一种人说他背叛了科学进步另一种人把他当作“AI末日论者”的标杆。这两种解读都很片面。实际上学术圈内部对AI发展速度的争论核心分歧根本不是“要不要发展AI”而是“发展过程中谁有权踩刹车、刹车应该装在哪里”。加速派的主张是AI带来的收益足够大任何形式的减速都会增加人类错失技术红利的机会成本与其担心尚未发生的风险不如全力冲刺把问题留给“更强AI”去解决。减速派的主张则是技术和人类社会制度的适配速度存在物理上限今天一个模型从上线到影响千万人可能只需要几分钟而一个行业规范从起草到落地可能需要几年二者之间的时间差就是风险敞口。T的表态属于典型的减速派立场不是不要AI而是要求给AI的部署加上节流阀让能力增长和验证能力增长之间的落差不至于无限扩大。作为从业者我其实两边的话都能听懂。加速派关注的是机会窗口减速派关注的是容错空间。但有一个事实无法回避目前行业的默认状态是加速的没有任何一个现成的、被广泛接受的减速机制。所以当一位顶级数学家站出来主动表态要求减速时他本质上是在给这个默认状态投反对票让“速度是否过快”成为一个需要被认真讨论的问题而不是被默认接受的前提。3.3 数学家的视角为什么值得格外重视数学家对AI风险的看法值得单独拎出来说因为数学是目前所有学科里对“严格正确”要求最高的领域。在大多数应用场景里AI犯错的代价可能是推荐一个不太好吃的餐厅或者让客服回答有点跑偏这些都可以接受。但在数学领域一个证明哪怕只有一个步骤有问题整个定理就是无效的。长期在这种“全有或全无”的验证文化中工作的人对“概率意义上的正确”“大致上的有效”这些说法会异常敏感。T的转向本质上是从数学家的职业本能出发对AI黑盒产出做出的风险判断。他比任何人都清楚一个被过度依赖的不可靠推理器会在不知不觉中污染整个知识体系。这种污染在纯数学里的表现是有瑕疵的证明被引用在现实世界中的表现则是AI生成的虚假签名被当作真品流通、AI生成的错误法律文书被当作正式建议、AI伪造的证据干扰公共判断。他看到了AI不可靠性的深远扩散方式这正是他决定公开表态减速的根本原因。4. 签名伪造事件模型滥用如何从“谈资”变成“事故”4.1 事件本身一条很短的伪造链条签名伪造事件的传播链条其实非常短短到让人后怕有人拿出某位人气漫画家早年公开的真签名照片用AI对话应用内置的图像生成功能做了风格学习生成了一张笔迹几乎一致的签名图然后把这张图打印在普通卡片上挂到二手交易平台当成“作者亲签”出售。由于价格挂得比正常亲签市场价低不少很快就出了好几单。事件被曝光后平台方和二手交易平台都做了一些处理AI应用也限制了相关风格的生成请求。但这件事真正的冲击点在于整条伪造链路的成本低得离谱。过去要伪造一个知名人物的签名至少要找到足够多的真迹样本、研究笔峰和力度变化、反复手写练习没有一段时间练不下来而现在只要收集几张公开的签名图再花几分钟让模型提取笔迹风格就能生成一批足以骗过普通收藏者的扫描件。4.2 技术上为什么这么容易得手从技术角度看签名伪造在生成模型的加持下确实不算难。这里需要说明一下原理。现代图像生成模型最擅长的能力之一就是从少量样例中提取某种“风格”签名本质上就是一种高度风格化的视觉符号笔画粗细、起笔角度、运笔速度、连笔习惯这些都是可以被编码进风格特征空间的。作者如果公开过足够多的签名图模型就能把这些特征提取出来再在生成时组合出全新的签名。更麻烦的一点是签名这种目标不像人脸那么有“防御资源”。人脸伪造之所以被控制得比较好是因为有大量公开数据集训练检测模型平台也普遍部署了识别人脸换脸的算法但签名属于长尾目标没有大规模的伪造检测数据集也几乎没有专门的识别网络在做防护。攻击面不对称防御资源稀少让签名伪造在技术上处在“低成本、低风险”的区间。还有一个很容易被忽视的细节伪造签名不一定非要生成一张完整的、高分辨率的图。只要生成的签名轮廓、连笔节奏足够接近再把这张图缩小、压上印刷网点、加上轻微色偏伪装成“拍照翻拍的旧卡片”反而更像真品。很多收藏鉴别者习惯看纸张和油墨质地却在“扫描上传到二手平台的图片”这种场景下失去了物理层面的鉴别依据这也是AI签名能够蒙混过关的原因之一。4.3 责任归属平台、模型和用户各自的边界在哪里事件发酵之后讨论最多的问题是“到底应该怪谁”。我自己的看法是这个问题没有非黑即白的答案但可以拆成几个层次。从模型层面看生成模型本身不具备主观意图它只是在拟合训练数据分布“根据输入生成一个类似指定风格的签名”是它的正常功能谈不上主观恶意。从平台层面看AI服务提供者有责任评估输出被滥用的可能性对涉及个人身份特征的内容加以限制。从用户层面看明知是伪造品仍然以真品名义出售这是典型的欺诈行为无论是在AI出现之前还是之后法律层面都是明确要承担责任的。真正值得关注的边界问题在于当伪造的物理门槛被AI大幅降低时平台该控制到什么程度才合理如果AI应用对所有“特定人签名”类请求一律拒绝那么法律从业者、收藏鉴定者、字体设计师的正常需求也会被误伤。我见过一些内容安全团队设计审核规则时把“涉及人物身份特征”的输出一刀切结果作者连给自己虚构的角色生成一张手写信封面都做不了。如何做到既阻断恶意伪造、又不影响正常创作是这一两年做内容安全的人必须直面的复杂课题。5. 面对这三股浪潮的应对技术、平台与个人三层防御5.1 技术侧溯源、水印与AI取证的当前边界先说技术侧。针对AI伪造目前主流防线有三条输出侧加可见/不可见水印、训练侧加入数据指纹、检测侧训练专门的伪造分类器。可见水印大家都很熟悉就是AI生成的图片上叠加一个肉眼可见的标记但它容易被裁剪或覆盖。不可见水印则是把信息嵌入到图像的像素噪声中人眼看不出来但通过特定算法可以提取。问题在于现在的主流编码器对“屏幕翻拍”“二次压缩”“局部裁剪”这类常见操作仍然不够鲁棒用户只要把AI生成的签名图旋转几度、压缩一下画质再上传水印就基本失效了。数据指纹的思路更好一些是在模型生成的产物中嵌入与模型参数相关联的模式特征通过分析生成图的结构性伪影比如某类降噪器特有的纹理残留来确认“这是哪款模型生成的”。这种方法的优势是无需在生成后添加额外标记缺点是只能追踪到模型层面追踪不到当时的单次请求。AI取证则是最新、也最不成熟的领域。它的目标是把生成模型内部的注意力热力图、采样轨迹等中间信息保存下来作为司法意义上的证据链。但这个方向目前连统一的行业标准都没有不同实验室保存的信息格式完全不一致距离实际落地还有相当长的路要走。5.2 平台侧负责任输出的三个具体抓手平台侧能做的事比很多人想象中多但每件事都面临平衡问题。我接触过的内容安全团队现在一般从三个角度入手第一个抓手是风格化请求的细分管控。签名生成这件事很难一刀切禁止可行的做法是把请求分类用户只是单纯想让模型模仿某种字体还是试图复刻某个在世公众人物的身份笔迹后者需要更强的验证门槛比如要求用户说明用途、限制生成次数、强制加水印。第二个抓手是输出侧的影响生命周期管理。如果生成的签名图本身带有隐藏的生成指纹那么就算它流转到二手平台平台也可以通过自动检测识别出来。这和视频平台对疑似AI生成内容添加提示标签是同一个逻辑。第三个抓手是事后处置的效率。过去AI平台被投诉滥用时响应流程是“用户举报—人工审核—封禁账号”这个链条往往需要几天。但在伪造签名这种事件里上架几天可能已经完成好几笔欺诈交易了。平台需要建立高优先级处置通道对涉及个人身份伪造的投诉进行快速响应同时把处置结果反馈给受害方。5.3 创作者与普通用户的自保清单对创作者和普通用户来说与其等平台完善防御不如先做一些低成本的自保措施。我整理了几条比较实用的给自己的作品建立“真品锚点”。定期在社交账号发布带有明确时间戳的签名、手稿、绘制过程的视频让粉丝能够交叉验证“作者本人最近在做什么”降低被模糊图蒙骗的概率。交易时要求“动态验证”。买亲签时除了看签名本身要求卖家提供带有当日日期、购买凭证、快递实拍的同框照片。AI能模仿静态笔迹但很难伪造实时互动的多个信息之间的交叉一致性。使用鉴别工具时保留原始文件。下载图片后不要直接改尺寸先用元数据查看软件确认文件的生成时间、编辑软件记录这些信息在AI取证中可能成为关键线索。遇到疑似伪造的商品不要只退款了事。把保存的证据同步反馈给AI平台和交易平台让平台有机会对生成端和交易端同时做标记这能间接帮助后续受害者。6. 我的一些从业者观察与建议6.1 为什么这类话题总是“讨论很多、落地很慢”做了这几年内容安全和模型评测我最大的感受是AI安全领域的讨论从来不缺热度缺的是把讨论转化为可执行机制的耐心。RSI论文引起了很大反响但真正在研究如何设计可验证对齐的团队少之又少数学家T的减速表态上了热搜但各家公司没几家真的把发布节奏放缓签名伪造事件被曝光后热度持续了大约一周两周后平台就悄悄把限制条件放宽了些因为“用户体验指标下降了”。原因不难理解安全问题天然带有不确定性投入的资源看不到即时ROI而模型能力竞争是每月都有榜单和数据可以衡量的。商业组织和研究机构都天然倾向于做有即时反馈的事。正因为如此需要有人持续承担“不受欢迎的提醒者”这个角色。这篇论文也好数学家的表态也好都是在这个意义上起了示范作用。6.2 如果身边人问起我会怎么简单回答最近有几位做设计、做插画的朋友问我AI发展成这样是不是意味着以后所有东西都没法信任了。我的回答是信任的颗粒度会变细但不会消失。过去我们信任“一张有签名的图”以后我们可能只信任“一张能提供完整来源链路、且关键节点可交叉验证的图”。这听起来像是额外负担但仔细想想纸质签名时代其实也没有很多人想象的那么可靠只不过以前伪造的成本高大家默认“不会有人费那么大劲造假”。AI把成本打下来了“默认可信”这个前提就瓦解了。接下来比拼的不是谁更不信任AI而是谁的鉴别速度比伪造速度更快。我在实际工作中体会最深的是技术手段再强也替代不了基础的安全意识。水印可以绕、溯源可以作假、检测模型可以对抗但如果在每个环节都保留一到两个交叉验证的动作伪造者就需要在多个维度同时满足条件这会极大提高滥用成本。无论是模型开发者、平台运营者还是普通创作者把“保留验证链路”这个习惯内化下来大概率是应对下一波AI滥用最实用的生存策略。