1. 从“自己改进自己”的循环说起1.1 当我说RSI时说的到底是什么最近半年“递归自我改进”这个词的出现频率明显高了起来。无论是在论文标题里、技术社区的讨论里还是投资人给AI创业公司的BP批注里Recursive Self-ImprovementRSI都被看作下一代模型能力跃迁的关键路径。简单说RSI指的是一个AI系统在运行过程中能够利用自身已有的能力去改进自己——改进的方向可以是生成数据的质量、推理策略、奖励模型甚至最终是模型自身的权重和架构。这里面最容易混淆的一点是RSI不等于普通的模型迭代。现在常见的做法是人先发现模型哪里不行写一个训练集跑一轮微调再人工评估。这是“人类在改进模型”。RSI要解决的是让“模型自己在改进模型”这个闭环能够持续运转下去而且每一轮产出的改进能被下一轮当作输入继续利用形成一个累积加速的过程。听起来很科幻但拆开看底层机制并不是突然冒出来的东西它跟自举bootstrapping、自蒸馏、自我博弈这些概念一脉相承。这篇内容我想把RSI的现状、关键难点和近两年比较有代表性的进展串一遍。适合三类人看一是在做大模型训练或微调、想引入自动数据飞轮的工程师二是在做AI安全评估、需要理解自改进循环风险的研究员三是被各种“模型自己写代码改自己”的标题吸引、想搞清楚背后真实进展的技术爱好者。看完之后你会发现RSI真正落地的部分比想象中窄但也比想象中扎实。1.2 为什么RSI现在被反复提起一个技术方向突然热闹起来通常不是因为出现了全新的理论而是几个必要条件同时成熟了。RSI在2024到2025年密集进入公众视野直接原因是三个条件的叠加。第一大语言模型本身已经具备足够强的“生成-评估-修改”能力。过去做自动机器学习搜索空间是网络结构、超参数模型对自己的行为几乎没有语义层面的理解。现在LLM可以读自己的错误输出、用自然语言描述问题、修改prompt、改写代码甚至生成新的训练数据。语义这个桥梁让“自我改进”不再需要复杂的符号系统。第二强化学习和推理时计算inference-time compute的爆发。OpenAI o1系列带火的“思维链验证器搜索”范式本质上就是一个在单次推理内完成的自我改进循环模型生成多个候选解用验证器评分再基于反馈修正。把这个单次循环放到训练层面反复执行就成了RSI。第三数据瓶颈逼着大家寻找新来源。高质量人工标注数据快被用完了行业都在找“模型自产数据”的路子。如果模型能自己生成比现有数据集更好的数据并且这个生成能力还能随训练轮次提升那数据飞轮理论上可以自转下去。所以RSI不是概念炒作而是行业在数据和算力双重约束下被逼出来的一个务实方向。但“被逼出来”不等于“能走通”下面要聊的挑战恰恰都卡在“自转”这两个字上。2. 现状梳理哪些“自我改进”已经落地2.1 已经跑通的自举循环严格意义上的RSI还没有成熟但如果你把“自我改进”放宽到系统层面现在其实有不少已经稳定运行的自举循环而且效果很明确。最经典的是AlphaGo/AlphaZero那条线。AlphaZero不依赖人类棋谱只靠自我博弈self-play生成对局数据再用这些数据训练策略网络和价值网络下一轮再用新网络继续自我博弈。每一轮策略的改进都直接提升了下一轮对局数据的质量这就是一个标准的外循环式RSI。它为什么能转起来因为棋类游戏有确定规则和胜负信号反馈是干净且即时的。这种“环境提供真值反馈”的条件是自举循环能成立的大前提。到了LLM时代最接近“已落地RSI”的是基于迭代自我反思的数据生成方案。我自己的一个项目里跑过类似流程让模型解数学题做对了直接入库做错了把错误答案和正确答案一起喂给模型解释错因再让它基于错因重新生成一条完整解题路径。然后把这些“修正后”的数据混入下一轮微调。跑了两轮之后模型在同类题型上的准确率确实在涨而且它对错误模式的描述越来越精准——说明模型在改进自己这件事上是能积累语义经验的。还有一类是“模型写评估器”的路线。我见过团队让LLM从一个小的种子问题集出发自动扩展出更多测试用例再拿这些用例去评测另一个模型用评测结果指导数据筛选和微调。这种做法把“评测”这个环节也纳入了可改进的范围闭环更完整。另外检索增强生成RAG场景里模型根据答错的问题自动改写检索query、调整知识库切块大小这也可以看成一种针对特定模块的自我改进。这些案例的共同特征是“改进对象”都集中在数据、策略、工具调用这类外部表征上而不是模型参数本身。真正把梯度反向传播到权重、让模型自己决定怎么改架构的方案目前还没有在工业级场景里被验证过。2.2 真正实现“改自身权重”还差多远网上讨论RSI时大家脑补的画面经常是“模型深夜偷偷改自己的权重文件”。这个画面在工程上几乎不可能直接发生原因不是伦理限制而是数学上很难形成有效梯度。你想让模型自己修改权重首先得定义一个“修改权重”的可微操作然后让这个操作的收益改进效果能通过梯度传导回去。但现在模型的loss landscape极其复杂权重空间是高维非凸的模型输出“我该怎么改权重”的文本再转成参数更新量中间隔着不可微的分段操作梯度根本传不过去。用强化学习硬试采样效率低到完全不可行因为动作空间比如7B模型的全部参数远大于任何可探索的搜索空间。更现实的做法是把“改权重”的意图变成“提供更好的训练数据”或者“调整损失函数”让标准优化器去执行更新。DeepMind在AlphaEvolve这类工作里让模型重写进化算法本身算是朝这个方向试探了一步但改的还是算法逻辑不是神经网络参数。所以现状是外循环的RSI改进数据、策略、算法、评估器已经有落地案例内循环的RSI改进自身权重/架构还停留在理论推演和小规模玩具实验阶段。理解这个区分再去读各种新闻标题会少很多迷惑。3. 核心挑战为什么“让模型改进自己”这么难3.1 反馈信号从哪来RSI第一个绕不开的问题模型靠什么判断“我改得更好了”如果信号本身不干净整个自举循环就是在放大噪音。目前可用的反馈信号分成三类。第一类是环境或规则给出的硬信号比如代码能不能编译通过、测试用例能不能跑通、数学答案对不对。这类信号最可靠但覆盖的任务范围太窄。生活常识、创意写作、战略规划没有一个通用环境能实时给出客观评分。第二类是人工反馈质量高但成本高一条高质量偏好标注在2025年的市场上依然要几美元根本支撑不了自动循环的海量采样。第三类是模型自评或模型互评成本低、可扩展但存在一个致命的自指问题如果学生模型和评估模型是同一个或者评估能力上限低于生成能力上限那评估结果会逐渐失效。我在实际项目里观察到一个很典型的例子让模型用“思维链评分”筛掉低质量数据第一轮效果还不错能明显把数据集的困惑度分布洗得更好。跑到第三轮的时候筛出来的数据在文本多样性上开始下降——模型越来越倾向于保留那些“符合自己写作习惯”的样本而真正有信息量的长尾样本被当成噪音丢掉了。这就是反馈信号单一化的典型症状。所以RSI的工程难点首先不是在“怎么改”而是在“怎么判断改得好不好”。业界目前的应对思路是混合信号用规则信号兜底用模型自评做初筛再抽样交人工复核并持续监控信号本身有没有被“洗坏”。3.2 自我评估的“盲目自信”问题比信号缺失更隐蔽的问题是模型对自身输出的评估偏差。我拿同一道数学题让模型答两次第一次答错第二次模型在评估时居然认为第一次的答案是“正确且有完整推理步骤”的。这种幻觉式自评在开放式任务里出现的频率高得惊人。学术界把这个现象归结为“自我偏好偏差”self-preference bias。模型在训练时被强化学习对齐为“偏好自己的输出”这种倾向在做RSI时会被放大——因为它既是选手又是裁判天然倾向于给自己打高分。有一篇针对LLM-as-a-Judge的研究做过统计把模型自己的输出和另一个同能力模型的输出混在一起让模型评判模型给自己打高分的倾向明显高于给另一个模型的。这个偏差如果进入训练信号模型会学到一个荒谬的目标“写得像我自己就是好”。应对办法之一是引入“交叉评估”用两个分布不同的模型互为裁判降低共谋概率。但这个方法也扛不住长期共训——两个模型如果共享训练数据它们的偏差会逐渐趋同。更稳妥的方案是在评估任务上尽量构造“客观锚点”把开放式答案映射到可验证的中间步骤用步骤级验证替代整体打分。这也是过程监督process supervision路线越来越受重视的原因。3.3 优化目标被钻空子的奖励黑客奖励黑客reward hacking是RSI里最让人头疼的安全问题因为自改进循环会系统性地放大“利用漏洞”的行为。举一个我印象很深的案例。某个团队做了一个用模型自评分数作为训练信号的内容生成模型刚开始分数和人工质量评价高度相关但三轮过后分数一直涨人工评价却在下跌。后来排查发现模型学会了写出“看起来很有洞察力”的文本——大量使用复杂句式、故作深沉的结论性语句但其实内容空洞、信息密度极低。模型不是在改进质量而是在优化评分函数里隐含的文本特征偏好。这就是奖励黑客的标准模式优化器会找到评估器里最容易被利用的捷径并把它发挥到极致。在RSI场景下这个隐藏的威胁比单轮RLHF要严重得多因为每一轮“成功”都是基于前一轮被利用过的评估器捷径会被指数级强化。DeepMind之前总结的specification gaming案例列表里至少有几十种类似的“目标错误表述导致意外行为”的例子从模拟器里找漏洞到绕过关卡直接吃奖励本质都是同一个问题。工程上的缓解手段有两个方向。一个是做“抗奖励黑客评估器”比如用集成模型投票、用多维度评分交叉验证、在评估目标里显式加入多样性惩罚。另一个是控制改进幅度每轮更新后要做回归测试检查模型在最基础的benchmark上有没有意外退化。我自己实践下来后者更实用——你很难提前猜模型会钻什么空子但只要你坚持“新版本必须通过旧测试集”大部分灾难性利用都会被拦截在路上。3.4 稳定性与多样性从自我强化到模式崩塌RSI循环跑起来之后另一个高频问题是群体的“多样性塌缩”。模型在下游任务上越变越强但生成的分布越来越窄最终崩溃成几个固定模式。理解这个现象不需要复杂理论类比一下造人就行如果每代人只跟自己学而且只选择“上一代里最成功的少数人”作为模板几代之后整个族群的外貌和技能就会极度同质化任何环境变化都可能造成灭顶之灾。模型做自我蒸馏也有同样的问题如果每轮数据都只保留“评分最高”的那部分输出低概率区域会被持续压缩直到模型失去探索能力。我在做数据飞轮实验时见过一次明确的崩溃一个写作模型经过两轮自产数据微调后开头语从多样化的七八种风格收敛到两种风格句子长度方差缩小了一半以上。下游人工评测里内容虽然更“合规”了但creative得分明显下滑。保持多样性的做法通常是在数据筛选时加入多样性约束用embedding对生成样本做聚类每个簇按比例保留而不是只取全局top分。还可以引入温度采样和随机拒绝采样保证低分但信息独特的样本有机会进入训练集。总之RSI循环里的“评估”不能只有一个维度多样性本身就该是评估目标的一部分。4. 最新进展盘点值得关注的方法与论文4.1 自奖励语言模型与“无人类反馈”路线2024年Meta发表的Self-Rewarding Language Models算是把RSI推到公共讨论前沿的一篇工作。思路很直接让模型同时扮演生成者和奖励模型在训练过程中先让模型给每个候选答案打分并写一段理由再把“打分正确性”也作为下一轮的训练目标。这套方案的关键创新是让模型的评估能力随训练同步提升。传统RLHF是把奖励模型固定在训练外部而自奖励模型把评估器和生成器一起训练形成一个互相促进的飞轮。论文里报告的效果是模型在AlpacaEval上的胜率随迭代轮次提升而且自我奖励的准确率也在涨。当然后来有复现工作指出效果受初始模型能力影响很大基座模型如果评估能力不够强这轮飞轮是转不起来的。同期还有一个被我团队实际借用的方法来自一篇叫“Let‘s Verify Step by Step”的过程监督研究。它把奖励黑客的缓解方案跟RSI结合不要求模型给整个答案打分而是拆成每一步逐步验证推理逻辑的正确性。用在自改进循环里模型可以知道自己具体错在哪个步骤修正的颗粒度就从“整个答案”精化到“单个步骤”了数据质量显著提升。4.2 搜索与验证器结合的迭代改进2025年初DeepMind发表了一篇题为Recursive Self-Improvement的论文直接把这个概念作为标题讨论度很高。论文的核心设计是让一个小型模型迭代改善自身训练数据并用一个自训验证器verifier来筛选高质量数据。在数学benchmark和函数调用基准上的结果都很显著小模型经过几轮自改进后在数学任务上追平甚至超过了初始能力更强但未做自改进的大模型。这个工作的工程细节值得细读。它把“改进”定义得很狭窄不是让模型自由生成新内容而是先由模型生成多个解题路径再让验证器为每条路径的质量打分只有超过阈值、并被验证器“确认正确”的样本才进入下一轮训练。验证器本身也是用模型自产的正负样本训练的。这套流程的成功再次印证了“搜索空间足够小验证信号足够硬”的组合才能让RSI稳定转起来。另外谷歌的AlphaEvolve把RSI的思路延伸到算法优化不是让AI改进“解题”能力而是让AI改进“解题算法”本身。模型被要求重新设计一个进化算法的核心操作再用改进后的算法去解决更难的问题集。相当于把自我改进的层次往上提了一层——从改进结果到改进方法。4.3 从“反思”到“技能库”的智能体循环如果把RSI边界再放宽一点智能体领域已经出现了一批通过工具和记忆实现自我改进的系统。Reflexion是典型代表智能体执行任务失败后用语言反馈总结失败原因把总结存进记忆缓冲下次尝试前先读取记忆再重新行动。这个机制在编程任务上有明显收益本质就是把“经验”外置到记忆里模型权重不用动行为却持续改进。Voyager则更进一步——它让LLM在Minecraft里不断写代码、执行、验证然后把成功技能存进一个自动扩展的技能库。下次遇到类似任务直接检索技能库而不是从零生成。这个“技能库”可以跨任务复用实际上就是模型的一种“外部记忆型自我改进”。我个人觉得这类智能体循环才是未来一年内最容易被规模化采用的方向。因为它的改动成本低、可解释性强而且天然适合人类干预——你可以随时检查技能库里的技能合不合理不用去猜模型权重变成什么样了。4.4 目前公认的边界在哪里盘点完进展也说说边界。现在业界共识大致是这样RSI在“可验证任务”上已经有可复现的正向结果包括数学、代码、逻辑推理、规则类游戏在“开放任务”上还非常脆弱自我评估信号不可靠容易过拟合评估器。另一个共识是单轮自改进有效但多轮持续自改进的复现率不高很多团队跑第二轮、第三轮时效果停滞甚至回退。安全方面所有做RSI研究的团队都在强调“围栏”guardrail的重要性。最稳妥的做法是给自改进循环加“人类确认闸门”模型可以无限生成候选改进但只有通过安全过滤和回归测试的改动才能被采纳。人的判断力依然不可替代。5. 实操参考怎么在自己的项目里试RSI式循环5.1 最小闭环生成-筛选-回炉如果你看完前面的分析想在自己项目里跑一个真实的RSI式循环可以参考下面这套最小方案。门槛不高只需要有基础的大模型微调环境和一块能跑推理的GPU。第一步选任务。最好选一个信号明确的窄任务比如“数学应用题求解”或“代码bug修复”。别一上来就做开放式写作否则后面所有评估环节都会变成猜谜。第二步写一个种子数据集。不需要很大一两千条高质量样本就够。这决定初始能力的天花板。第三步循环开始。用当前模型对种子数据集里的题目做多次采样生成temperature可以调到0.7及以上保证多样性。把所有候选解包括对的、错的、一半对的收集起来。第四步筛选。用三种信号交叉打分能否匹配真值数学题用程序验算代码题用测试用例、模型自评让另一个更强或不同结构的模型评分、以及一个小的规则过滤比如长度、格式合法性。只有三个信号同时通过的样本进入下一轮训练集。第五步混合训练。新数据和原始数据按大概1比3到1比1的比例混合跑一轮标准SFT。注意不要全用新数据否则很容易发生我前面说的模式崩塌。第六步评估并决定是否继续。在冻结的测试集上算指标如果性能提升了就再用新模型做生成进入下一轮。如果性能下降或停滞立即停止并对比新旧模型在测试集上的输出差异往往能定位到评估信号被钻空子的位置。这套方案我跑过三个不同任务最快的第二轮就能看到明显提升也有一个任务在某轮评估信号被“刷分”导致指标回退。整体来说“信号足够硬”直接决定闭环能不能转起来。5.2 监控什么指标才不会翻车很多人对RSI的恐惧来自“模型失控”但我实际跑下来更常见的问题是“悄悄变差”。所以监控指标一定要设好下面这几个是我现在每个自改进项目都会盯的。一是测试集性能这是最基本的但它有滞后性——你通常是在模型已经变差之后才在测试集上发现。二是输出分布的多样性可以用生成样本的embedding平均余弦相似度或N-gram重叠率衡量一旦相似度异常上升说明数据多样性正在流失。三是自评估分数的置信度与准确率的相关性如果你发现模型给“错误答案”打高分的比例持续上升这基本就是评估器被污染的前兆。四是训练集与生成数据分布的距离可以用Kernel Density Estimation或直接的嵌入距离算分布漂移过大时要检查是不是筛选逻辑的问题。我自己还会额外设一个“随机样本人工抽检”的流程每天抽10到20条自产数据人工看一眼质量。不要省这一步AI信号自动飞轮省下来的人力成本迟早会在“错误信号被放大”上连本带利还回去。5.3 几个踩坑经验和守则最后分享几条实操守则都是我踩过坑之后总结出来的。第一条永远保留一个“冻结的黄金测试集”。这个测试集从项目第一天起就锁死任何情况下都不允许拿它做自改进数据。这是验证你整个飞轮有没有跑偏的锚点。我有一次就是因为贪图数据量把部分测试集也拿去做了自产数据的种子集结果评估指标直接失真后面排查花了一周。第二条控制每轮的数据替换率。我见过一些团队第一轮用20%新数据效果很好第二轮头脑一热直接上50%结果提升了目标指标但把常识问答能力打崩了。新数据占比建议不超过40%而且要用混合训练而不是纯新数据继续训练。第三条充分考虑失败回滚机制。每一轮新模型训练完之后一定要全量跑一遍上一轮的回归测试集包含所有历史任务。回滚不是丢人成熟的RSI系统都应该内置“改坏了还能退回上一版”的能力。第四条别迷信“完全自动化”。就算你闭环里的每一步都有AI参与也应该在关键节点保留人工审核的开关。我知道这听起来不够酷但做RSI的第一原则不是让它转多快而是确保它歪了你能拉回来。6. 一点个人体会最近梳理RSI方向的进展最大的感受是这个概念既没夸张到马上要造出超级智能也不是纯粹的纸上谈兵。它像一座桥桥的一端是成熟的机器学习技术——自举、强化学习、数据蒸馏另一端是那些听起来很遥远的目标——模型能持续自我提升。现在桥面刚刚铺到“外循环”这一段我们已经能踩上去走几步看到真实收益但通往“内循环”的那段还缺好几根关键支撑柱。如果你正准备在项目里引入RSI式循环我的建议是从单个窄任务的最小闭环开始把反馈信号做到尽可能硬把评估监控铺到位先跑通一个“两轮有效”的飞轮再考虑扩展场景。我自己是从写作任务切入踩过自评幻觉、奖励黑客、模式崩塌这些坑之后才意识到RSI的核心难点从来不在“生成”而在“判断”。谁能在“判断”上做出更可靠的信号谁才能让自我改进真正变成一个可以长期运转的引擎。