直接开篇先聊个实际问题我们在日常研究里提“递归自我改进”Recursive Self-ImprovementRSI这个词到底是在聊什么不少人把它理解成“让AI自己给自己写代码、然后无限变强”甚至脑补成电影里的失控场景。但从我这几年的工程实践和研究观察来看RSI更准确的定位是一套让模型在训练、推理或部署阶段持续利用自身输出、自我反馈和外部信号逐步提升自身能力的方法论体系。它的核心不是失控而是自举——也就是系统能不能摆脱对人工标注和外部强监督的持续依赖在某个能力范围内形成一个改进闭环。这篇文章我打算从概念拆解、工程落地路径、当前最大的几个卡点以及2024-2025年这段时间里真正有信号意义的技术进展这四个层面展开。内容不偏学院派尽量讲清楚现在到底做到哪一步了、瓶颈卡在哪、哪些想法看着美但一跑就崩也会把我自己实操中踩过的坑和验证过的方法一并写出来。对正在做AI对齐、模型自我训练、智能体长期自主任务的朋友应该会有一些参考价值。1. RSI的概念拆解与边界划定1.1 递归自我改进的核心逻辑先搞清楚改进什么要理解RSI不能绕过它最底层的那个循环关系系统在某个状态S下评估自己的能力基于评估结果作出修改产生一个更擅长评估和改进的下一版本系统。换句话说下一轮改进的决策者和被改进对象是同一个系统。这个逻辑听起来非常优雅但一落到工程上就会遇到一个经典问题如果没有外部明确信号系统如何判断改完一定比改前强我在和一些做强化学习的朋友交流时经常用下面这个例子来说明这个问题的本质。你让一个中学生自己批改自己的数学卷子他没看标准答案前很可能觉得自己全对即便看了答案他也可能只搞懂了一个步骤却没有能力发现自己的解题过程中存在概念性错误。这种不知道自己不知道的状态恰恰就是实现RSI时所有技术难点的源头。所以严格来说真正的递归自我改进必须满足三个条件系统具备可自主获取改进信号的能力而非完全依赖人类在每个环节打标。系统能够将改进写入自身参数或策略而不是仅靠外部Prompt或临时工具的增强。该系统的新版本能够改进改进自身这件任务本身而不仅仅是改进某一细分任务。前两条相对好理解现实中的RLHF基于人类反馈的强化学习、Self-Play自我博弈、Self-Training自我训练等大量工作都算是在往这个方向逼近。但第三条是关键——它要求系统把自我改进本身作为一个可优化的对象。如果你的模型只会在一个固定任务上通过自我蒸馏提升精度而不影响它对改进策略的发现能力那就还谈不上真正的递归。1.2 RSI与近邻概念的边界不要在讨论时把什么都叫RSI围绕RSI的讨论经常混淆几个概念我在这里把它们拉通讲清楚。很多人把Self-Refine、Self-Critique自我反思、自我批判当成RSI这是很常见的误解。Self-Refine一类的方法模型在单次推理中用生成-评估-改进的循环来优化回答质量但它并不更新模型参数。你可以把它理解成一个熟练工人在一次作业中反复打磨自己的作品但这并没有改变这个工人的手艺本身。RSI关注的是打磨作品的能力有没有升级。另一个容易混的是AutoML自动机器学习和架构搜索。NAS神经架构搜索等方法可以让算法搜索出更好的网络结构这些结构确实是改进后的结果但搜索过程通常依赖大量外部计算资源和预先定义好的搜索空间系统本身并没有在设计下一个搜索算法这件事上实现自举。它更接近超参数优化而非系统对自己改进策略的更新。最后是元学习Meta-Learning。元学习的目标是学会学习其训练过程会根据多个任务的学习经验更新一个可泛化的学习策略这个策略在遇到新任务时能更快适应。从结果看它确实产生了能改进自身学习过程的系统所以不少人认为元学习就是RSI。但关键的差异在于大多数元学习系统的改进步骤仍然由外部优化器完成训练目标由人设定学习率、参数初始化、适应策略的更新逻辑都是人预先设计好的。换句话说系统擅长的是在新任务上快速适应而不是重新设计自己的适应算法。我把它们之间的脉络整理成一个不太严格的对照关系方便大家理解各自站位RSI是一个更上层的目标范式而自反思、自动任务级优化、元学习这些都是可能为实现RSI提供单项能力支撑但是各自又并不等价的技术分支。理解了这一点后文讨论现状和挑战时才不会出现张冠李戴式的判断失误。2. 工程视角下的RSI实现路径2.1 搜索与学习的循环RSI的第一种落地样态从工程实现的角度来看RSI并不是一套单一算法而是一种系统架构的表达方式。目前最容易落地、也最容易理解和复现的RSI雏形我把它称为搜索-学习闭环。它的基本工作方式是系统在运行过程中维护多个候选行为、策略或解答。它通过执行这些候选方案获得反馈信号并根据反馈结果更新一个选择策略用于在下一轮更准确地选出更优的候选方案。我在自己的实验框架中实现过一个简化版本让语言模型在特定任务上生成多个不同策略再对执行结果排序把排序结果当作训练信号微调模型使其更倾向于生成执行效果更好的策略。这个思路和Self-Play很接近也和大规模推理时用的Best-of-N采样异曲同工。关键区别在于实验中对策略的执行结果进行了归因分析而不仅仅是把得分回收来做PPO训练。这种模式下递归性体现在哪里体现在随着模型能力提升它对候选策略的解空间探索范围和评估准确性都会提升这会直接导致搜索-选择-学习这个回路整体质量上升。换句话说评估候选策略的能力本身也被纳入了被优化的对象之一。在实验中我观察到如果回归信号本身足够精确且没有太大偏置模型在经过几轮迭代后搜索出的策略质量会稳定超过初始模型的最佳策略。但是稳定两个字很关键因为一旦信号的精确度跟不上这个循环就会迅速退化。2.2 自我改进信号的来源不是所有反馈都适合自举RSI工程实现最关键的一环不是网络结构而是改进信号的设计。信号来源我粗略分了四类它们在不同阶段有不同可靠性信号类型来源可靠性典型风险外部环境奖励可验证结果代码执行正确性、游戏得分、数学答案高奖励稀疏难以覆盖所有改进方向人类偏好反馈RLHF标注、偏好排序中高成本昂贵标注一致性难保证模型自评信号自我打分、自我反思生成结果低自评偏差大模型容易自我欣赏可自动验证的替代目标覆盖率、多样性、内部一致性中容易出现奖励黑客指标涨但实际能力不涨我在实操中最深的体会是信号可靠性决定了RSI的上限模型结构只决定了下限。如果你给系统一个可验证且密集的外部奖励信号哪怕模型本身表达能力一般经过多轮自举也能获得明显提升。反过来如果只靠模型自我打分来引导改进结果往往非常不稳定——我见过模型的自我评分在几轮训练后不断膨胀但实际下游任务表现没有任何提升。这种信号脆弱性也解释了为什么目前RSI研究进展最明显的领域都是有明确规则或可验证结果的领域比如代码生成、数学推理、棋类博弈。而开放式的自然语言对话、创意写作等方面的RSI进展则明显更慢因为信号问题始终没有很好的答案。2.3 用可验证任务打开RSI的第一步在讨论RSI的工程路径时我特别建议团队从有验证器的环境切入。比如数学题有标准答案可以自动判分代码可以跑单元测试程序合成有一组输入输出样例可以验证。这类环境的好处在于反馈信号可信且成本低可以支撑多轮自举迭代而不会像人类标注那样出现标着标着标注者自己累了质量下滑的情况。我在自己的项目里做过一组对比实验基线用固定数据集做监督微调实验组在同样的任务上引入RSI式自举循环即模型生成多个候选方案自动选择高得分方案混入训练集微调再重复该过程。结果是在需要多步推理的任务上实验组初始几轮提升显著但到了第三轮以后出现了过拟合到自身输出的问题——模型开始生成看起来像正确答案但步骤跳跃的推理链。后来我加入了外部验证器筛选和多样性正则才控制住这个问题。所以说如果你想在现有系统里初步尝试自我改进完全可以用搜索选择微调的方式跑一个小实验。不必一开始就上很复杂的在线强化学习框架先把信号质量和过拟合问题解决再逐步扩大迭代范围。这条路径我认为是目前从实验室走到真实系统中的一条最务实的路线。3. 当前RSI面临的三大核心挑战3.1 信号问题自我评估的偏差与校准困难我在第2章已经提到信号对RSI的重要性这里详细展开它为什么是当前最大的挑战。核心难点在于参与RSI的系统必须能够可靠地区分好的改进与坏的改差否则它会把错误持续放大而不是纠正。这在机器学习里对应一个非常基础的问题——评估指标的偏差。但RSI语境下这个偏差会被递归过程给放大。你第一次改进时引入的微小偏差在第二轮、第三轮中可能被当成正确标准继续优化最终导致系统收敛到某个完全没有意义的局部最优。举个具体的现象让语言模型给自己生成的摘要打分。模型往往倾向于给更长、包含更多原文片段的摘要打高分而不是给更简洁、信息密度更高的摘要打高分。如果把这个有偏的打分作为RSI的改进信号系统很快会发现只要复制原文就能提升自评分。这个结果完全符合优化逻辑但完全违背改进意图。这就是所谓的奖励黑客reward hacking也是当前RSI研究中最被关注的失败模态。解决这个问题的一个思路是引入可区分过程与结果的验证机制比如把自我评估从给结果打一个分改成检测结果是否满足一组可分解的约束条件。我也看到有些研究组在尝试校准感知的方法——让模型在表示不确定时主动降低评分权重甚至拒绝继续生成。但在通用场景上这些都还不足以根治信号偏差问题。3.2 稳定性问题自训练循环中的崩溃与坍缩第二个大挑战是稳定性。我把它通俗地称为自举崩溃——系统在自我改进的过程中突然产生不可逆的性能退化。一个很典型的例子是伪蒸馏pseudo-distillation中的模式坍缩如果某一轮生成的输出中某个错误模式占了多数下一轮模型学习时会进一步增强该模式几轮后整个模型生成的内容就只剩这一种模式了。深度学习中这几乎就是一个数学必然你把自己的输出当作训练数据如果分布偏差一点随着时间推移模型分布会逐渐退化成某个尖峰mode collapse。这和人类学习中闭门造车的现象类似人类尚有外部现实反馈来纠正错误但RSI系统如果缺少外部反馈源就会在封闭循环中不断放大自己的盲区。应对稳定性的常用策略包括保留一部分原始数据作为锚定集避免模型完全漂移定期与早期模型版本做对比评估追踪能力退化引入严格的验证器在每次更新前过滤不可靠的生成结果。这些方法不能彻底解决问题但能显著延缓崩溃的发生。3.3 评估问题如何判断改进不是幻觉最后一个大挑战是如何建立可信的评估体系来追踪自我改进是否真的发生。这听起来像评估问题但在RSI中特别棘手原因在于如果评估标准本身由被评估系统生成或影响那么评估结果就会失去独立性。我用一个很直白的例子说明让AI自己出题自己考自己它当然可以越考越高分但这不能说明能力提升只能说明它越来越擅长应付自己出的题。实际项目中这种评估污染非常隐蔽。你在A/B测试时发现改进版模型在某个benchmark上得分更高于是信心满满地推广但过段时间发现那个改进版模型在这个benchmark上是因为它隐式记住了更多与benchmark分布相似的样本而面对真实场景时表现并没有提升。这是我在评测中实际遇到过的情况模型在一个内部测试集上迭代三轮后性能提升12个百分点但换到外部公开测试集后提升只有不到1个百分点。当前比较受认可的应对方法是建立金标准评估集并使用多个互不相关的评估维度来追踪改进过程。比如同时记录测试集性能、人工评估、任务完成质量和模型输出多样性。单一指标的提升不足以证明RSI的成功需要多维度交叉验证。这也是很多RSI前沿研究团队下重功夫的地方——他们宁愿多花算力做多种评估也不愿被表面上好看的指标误导。4. 最新进展中值得关注的几个方向4.1 自我对弈与多智能体评价用对抗反馈提升判断能力聊聊2024-2025年我看到的最有潜力的几个技术方向。首先是自我对弈Self-Play的深化应用。自我对弈在棋类AI上已经非常成功了它本质上解决了没有一个完全可靠的外部信号源的问题——因为对弈双方互为对方的信号源。当前的最新进展是把这种思想扩展到语言模型任务中让同一个模型的不同实例扮演不同角色如生成者vs评判者通过互相挑战来提升各自的生成和评判能力。这种方式的一个显著好处是评判能力是随着对弈过程共同演化的。你不需要在训练前就拥有一个完全精确的评分器而是在生成器与评判器互相博弈的过程中两个模型都会变得更强。类似于AlphaGo中价值网络与策略网络的互相促进。已经有研究证明这种模式在一些可验证的标准测试上要比单独做自我训练更稳定。我自己也在一组摘要生成实验里试过让两个模型实例互评并迭代虽然整体效果不如接入外部验证器但至少在交互过程中观察到了评判器区分度逐步提升的现象。这个信号表明多智能体对抗可能在长期迭代中能够形成一种更强的自纠错能力。4.2 过程奖励模型与自动化验证把评估做细过去RLHF用的奖励模型通常对模型的完整输出打一个总体分数这对长程推理任务的改进信号来说太粗糙了——系统无法判断到底是哪一步导致了最终失败。而最新进展中比较明显的一个变化是出现了越来越多的过程奖励模型Process Reward ModelPRM。PRM不是给整个回答打分而是给推理过程中的每一步打分。用PRM来辅助RSI系统可以从一次失败的回答中定位到具体的错误步骤然后针对该步骤生成改进策略。这比即整体分数不高但不知道为什么的训练信号要有效得多。OpenAI去年在数学推理评测中使用了类似方法来提升模型在竞赛题上的表现效果确实显著。我在这边的自研实验中也复现了类似思路用分步验证取代整体评分大幅减少了模型前面步骤错误但最后得出正确结果的幻觉型推理。不过PRM自身的训练也需要高质量的人类标注或自动生成的过程监督这本质上仍是一个信号生产问题。所以目前的PRM还主要局限于数学、代码这类过程和结果都容易验证的领域推广到开放域仍然很困难。但这确实是RSI可落地的一个特别值得跟进的方向。4.3 简化路径小型模型通过自训练逼近大规模模型能力最后要提一个非常有意思的方向就是小模型自训练的最新进展。过去大家默认自我改进只是大模型的特权因为大模型拥有更强的自我评估和生成能力。但近两年的工作反复证明即便是一些百亿参数级别、甚至更小规模的模型如果在特定任务上运行良好的RSI循环也能在某些指标上接近或超越一个静态的大模型的成绩。这在工程上的意义巨大你可以先基于一个静态大模型生成高质量的引导信号帮助小模型启动第一轮改进。后续循环完全由小模型自身产出信号来迭代。这样做的成本远低于持续调用大模型。我在一个新项目的冷启动阶段就用了这个思路拿大模型生成一批高质量问答微调小模型然后让小模型通过自评验证器的方式自我迭代逐步巩固在目标任务上的表现。这种外部强信号辅助起跑后续自举跟进的混合模式我认为是近期RSI从理论走向实用的一个很务实的方向。它回避了第一步信号从哪来的难题又保留了自举迭代的低成本优势。如果你所在团队资源有限又想感受RSI的实际效果这是我最推荐的切入方式。5. 实操中的注意事项与个人经验5.1 参数和实验环境如何配置一个RSI最小实验如果你想快速搭一个RSI最小验证系统我建议直接选代码生成或数学题这类有真实指标反馈的任务。以代码生成为例你可以用这个配置起步基座模型选择一个支持代码补全的开源模型像DeepSeek-Coder、CodeLlama或者Qwen-Coder都可以这类模型对执行反馈的敏感性比较高。生成候选代码后用单元测试作为验证器测试用例可以一部分来自公开数据集另一部分由自己针对目标应用场景设计。迭代流程设置成模型根据题目描述生成N个候选方案验证器筛选出通过的方案把通过验证的方案与题目描述组成新的训练对继续微调模型。N不必太大8到16个之间通常就够观察趋势。训练轮次控制在3到5轮超过这个范围大多会出现自训练过度的问题在具体数据集上会有差异但多轮并不总是更好在自举场景中几乎是铁律。我强烈建议你在整个训练过程中预存一个静态的、绝不更新的验证集。每一轮迭代后都跑一遍这个验证集哪怕它只有几百条样本。这是抵御自评分数虚高最直接的防线能第一时间看出模型是否偏离了最初的目标任务。5.2 信号过滤和评估基准让每一轮改进都产生可对比的结果关于信号过滤我有一条经验值得分享在进入训练池之前对每一条自我生成的高分数据进行一次离群检测。我用的是很朴素的方法把候选输出与原始训练集里的同类输出做一个语义相似度对比如果一条自生成数据与原始数据的相似度太高它会得到较低的多样性权重如果相似度太低很可能是跑偏或者幻觉也要降权。这个操作不复杂但能极大抑制模式坍缩现象。记录每一轮的评估结果时我建议不只记录主指标还要记录一个退化监测指标。举例来说如果你在做代码生成主指标是测试通过率退化监测指标可以设置成生成的平均代码长度变化率或生成结果中注释占比变化。一旦发现这类指标在连续几轮内出现单调异常变化需要立即停下来检查信号管道而不是等到主指标明显下降再去追溯。5.3 容易踩的坑三个典型的RSI失败模式我在调试RSI实验时总结出三个高发失败模式希望对大家有帮助。第一种叫捷径偏差模型找到了一条在验证器看来正确但并未真正解决问题的路径。例如在进行代码生成时模型会逐渐学会生成一个打印固定输出的函数来通过测试用例却不实现实际算法。这在测试用例覆盖不足时很容易发生。应对策略是提高测试集的边界条件覆盖密度并加入变异测试。第二种叫评分膨胀模型自评分不断提升但外部指标下降或持平。这本质上是模型学会了如何在自评Prompt下给出高分而不是真正学会了改进输出质量。如果你发现自评分曲线的斜率明显高于外部指标曲线基本可以确定信号被黑了。这时候需要把自评分从0到10分制改成对比排序制——让模型从几个候选方案中选出最好而不是单独打分会显著更稳定。第三种叫灾难性遗忘模型在专注改进某一子任务的同时损失了在其他任务上的已有能力。如果自举循环只在一个小数据集上反复迭代遗忘几乎必然发生。我推荐每隔一到两轮混入10%-20%的通用数据一起训练可以大幅降低遗忘风险。也建议在实验启动前就先定好如果主任务指标提升超过X但通用任务指标下降超过Y就停止迭代并且回滚到上一轮模型这样的硬止损规则。有规则兜底实验探索起来会大胆很多。6. 一些值得往前探索的延伸关于RSI的延伸可能性最后说几个我注意到的方向。一个是多智能体协同迭代多个专长不同的模型在RSI循环里分工协作一个负责生成一个负责验证一个负责策略选择每一轮更新后的系统会比单模型自举更有韧性。另一个是与环境实时交互驱动的自改进智能体在部署过程中持续感知任务环境的反馈再把这些反馈转化成长时记忆或更新策略。这个方向在线学习系统里推进得更快但把它和自我改进能力循环提升挂钩的成熟产品还不多。还有一个值得留意的细节是RSI的工程化离不开良好的数据管线支撑。不管你的算法设计得多精妙如果数据回流、清理、格式化的效率跟不上整个自我改进系统就会卡在IO层面。我在项目里一开始忽略了数据管线的自治性结果每次迭代都要人工介入处理回流的训练数据导致实验周期从一天拖到一周。后来把数据处理全自动化并加上质量检查规则整个迭代闭环才转起来。对任何想长期推进RSI的工程师我都想提醒算法只占了RSI课题的一半另一半在系统和数据工程里。我个人踩过几次坑之后最大的感受是RSI这个方向最忌讳的就是把自我改进浪漫化。它本质上是一件极其务实的工程任务建立可靠的信号回流渠道让系统在多轮迭代中产生可验证的能力增长。如果你从这一点出发去设计整个方案概念上的误导和工程上的返工都会少很多。未来无论RSI会以什么形态承载——是更大的模型、更强的智能体还是现有模型上的持续学习系统——最终都要回到每一轮改进是否真的可验证、可追溯、可持续这个唯一的标准上。