看到谷歌让AI互怼几天小模型竟复现3道博士级难题这个标题时我第一反应是怀疑。做了这么多年模型训练我见过太多把模型对骂当创新点的花活但基本都走不出实验室。真正让我停下来细看的是复现这个词——它不是让AI生成一段看起来像结论的文本而是要经过严格的推演和验证把一个博士级问题的推导过程从头搭出来。这曾经被公认为LLM的硬伤。顺着这个标题看相关讨论里的关键词大模型、小模型、智能体、AI Agent凑在一起基本就能拼出全貌一次把群体智能引入小模型推理的实验。目标不是让小模型变大而是让它借助多智能体之间的对抗和协作在小参数量下解决原本需要大模型才有机会做对的推理任务。对常年被硬件预算卡住、被模型带不动困扰的我来说这事本身就是个强信号。后面我会把协议设计、三天实验流程、三道题的具体复现过程以及可复制的最小配置都拆开讲。没有学院派黑话全部是能拿去直接参考的实操经验。如果你是做LLM应用、小模型微调、Agent落地或者对对抗训练感兴趣的工程师这篇值得读完。1. 起底AI互怼的协议设计不是吵架是对抗式蒸馏1.1 拆开角色提案者、批判者、裁判、仲裁缺一不可不少文章把AI互怼描述成让几个模型互相挑刺再由一个AI做总结这是把几十次对话实验的标签混着贴了。真正让结果可控的关键是把角色拆得非常干净。提案者Proposer由小模型充当负责针对给定问题产出一份完整的推导方案。批判者Critic通常由更强的大模型承担专门从数学严谨性、步骤完整性、符号一致性三个维度找漏洞。批判者会明确指出第3步到第4步的放缩不等式不成立这里的期望符号操作没有经过条件分布约束不是泛泛地说你这里有问题。裁判Judge对批判者提出的质疑做可验证性判定区分真bug和吹毛求疵。没有裁判批判者很容易为了怼而怼。仲裁Arbiter当提案者和批判者在某个问题上僵持超过两轮时介入依托规则库判定胜负并决定是否把这段记录写入回放池。这种拆分的重要性我是在自己做类似实验时踩过坑才真正理解的。如果不拆分让同一个模型既当运动员又当裁判结果必然掉进两个极端要么模型继续沿用自己熟悉的推理路径自圆其说要么被某一次偶发的批评风格带偏越吵越偏。角色拆开之后每个模型的职责范围极窄行为分布稳定后续的数据筛选和微调才有意义。1.2 核心产物不是胜负而是带纠错过程的思维轨迹这里要纠正一个最常见的大众误解实验并不是让两个模型直接对喷然后把满屏对话文本丢给小模型微调。那样做的效果我试过非常差因为对话里充斥着大量无意义的口水化和立场维护噪声远大于信号。原方案真正厉害的地方在于把对抗回合当作一种结构化数据生成器。每一轮的提案、质疑、回应、裁决、置信度评分都被记录成一条问题草稿质疑回应裁决信心分数的完整轨迹。随后过滤模块会做质量筛选只保留通过仲裁或修改后通过的高质量片段作为监督信号进入小模型后续学习。换句话说互怼的直接产出不是谁赢了而是把隐藏在大模型内部、平时看不见的试错过程显性化了。这非常像人类导师带博士生不给标准答案先让学生写一版打回去改再打回去再改直到论证结构完全理顺。AI Agent在这个环节里的作用就是持续生成和检验这种试错轨迹的引擎。提示如果你看到一个互怼项目只产出了互相挑错的日志却没有后续的过滤、打标、回放环节那大概率是低配复现先不要急着否定这个技术方向。真正让模型变强的是那条数据管道。2. 三天实验全流程从种子问题到小模型开窍2.1 参赛阵容与硬件配置按整个方案公开讨论里给出的配置实验本体并不夸张但细节安排很讲究。组件规格作用提案者学生7B 参数小模型生成推导草稿批判者70B 大模型API调用定位推导漏洞裁判 / 仲裁34B 中型模型判定质疑有效性算力2 台 8×A100 节点跑 3 天小模型推理与回放数据池约 5000 个种子问题覆盖数学、统计、算法三个领域种子问题的构造方式值得一提。它们并不是5000道完全不同的题而是围绕少数几道核心题生成的大量变体。比如核心题是推导LoRA低秩近似的误差界种子问题里就会有在Frobenius范数下证明最优低秩近似谱范数与核范数对误差界的影响目标矩阵带稀疏结构时误差界能否改进等方向。这样做的目的是保证对抗过程有足够大的覆盖面避免小模型只适应某一个固定批评模式而过早收敛。2.2 单个对抗回合的协议细节一个完整的对抗回合大概是这样的流程向提案者给出题目要求用不超过2000个token生成推导方案。批判者拿到方案后切分成若干步骤逐条列出可疑点。提案者对质疑逐条回应承认错误并修改或者坚持原来方案并补充更详细论证。裁判对质疑-回应关系打分判断这次互动是有效修补还是无效争论。通过质量过滤的回合写回数据池供小模型学习未通过的直接丢弃。除了流程有四个参数直接影响最终成败这里专门拿出来说。最大对抗轮次每个问题最多来回3轮。超过3轮仍不收敛仲裁直接判负并记录失败原因。没有这个限制系统会在少数几个难度极高的点上无限循环烧掉大量算力还没收益。温度系数提案者用0.8采样批判者用0.3。提案者需要生成多样化的推导路径温度太低会反复走同一条死路批判者必须稳定输出不能一会换一种批评风格否则裁判的判断标准会跟着漂。上下文长度完整回合上下文最多允许8192个token。超过长度限制就强制提案者总结当前结论另起一轮。实测发现上下文过长时小模型注意力会明显漂移反而修正不了之前的错误。裁判评分维度包括质疑是否可验证回应是否真正解决问题修改后的步骤是否引入新错误三项每项0-5分。总分达到12分且任意单项不低于3分的记录才会进入回放池。2.3 三天里发生了什么从混乱试探到跨题迁移对抗类训练有一个共同特点大部分时间看起来毫无进展然后突然在某一个点发生质变。我复现类似方案时遇到过完全一样的现象所以单独拿出来讲。第一天混乱试探。小模型生成的前5000条推导几乎都是错的批判模型倒是很勤快把所有错误都指了出来。但模型并不会立刻学会它只是在海量失败里积累模式。第一天的有效通过率只有大约9%非常劝退。第二天局部改进。这时候出现了一个相当有趣的信号小模型在受质疑最多的范数不等式放缩这类步骤上错误率从30%降到了12%。它其实没有完全理解问题但已经知道当推导中出现某些关键词组合时要多做一步验证。这很像人类学生做题时建立的本能式检查。第三天跨题迁移。最戏剧性的时刻在第三天晚上。小模型解决了一个具体的梯度稀疏性引理后在另一个表面上毫不相关的分布式压缩误差界题目上也突然顺利起来。原因在于两个问题共享同一套底层数学结构处理包含稀疏项的部分和时谱范数可以被多个小项的上界联合控制。不能只说它会做题更关键的是它识别出了隐藏的同构题。3. 三道博士级难题复现现场为了避免让这套东西停留在玄学层面我直接把三道题列出来。它们不是随意选的分别对应LLM微调、生成模型、分布式系统三个真实工程方向都可以在对应方向的经典论文里找到影子。3.1 第一道LoRA低秩近似误差界的证明原始问题给定权重矩阵 W∈R^{d×k}用秩为 r 的矩阵 B·A 去近似它B∈R^{d×r}A∈R^{r×k}。证明当度量使用 Frobenius 范数时最优逼近误差等于 W 所有奇异值中第 r1 个到最后一个部分的平方和再开根号。这对应着经典的 Eckart–Young 定理但在推导型考试里经常作为压轴题出现。小模型最初的方案是直接写对 W 做 SVD 截断。结论方向上没错但缺关键论证为什么截断SVD在所有 rank-r 矩阵里误差最小批判者连续两天追问这个问题逼着小模型补齐了两个关键步骤第一步证明 SVD 的左右奇异向量张成的子空间分别是行空间和列空间的正交基第二步利用迹运算和正交性把误差范数改写成奇异值平方和的差值形式再对奇异值求和顺序做不等式放缩。第三天上午小模型产出的推导流程已经能被裁判完整验证先定义最优问题再通过正交分解引入奇异值最后用逐个元素比较完成下界证明。整个推导有47个数学步骤中间有3处曾被来回打回重写但最终链条是自洽的。3.2 第二道扩散模型变分下界的重新推导这道题在生成模型领域属于根目录级问题。题目要求从马尔可夫前向过程 q(x_t|x_{t-1}) 出发推导去噪扩散概率模型DDPM的优化目标并解释为什么最终会化简成一个预测噪声的简单形式。小模型第一天的版本完全错误它试图直接对 log p(x) 做蒙特卡洛估计在高维空间里这种做法会产生巨大的方差。批判者当时给出的质疑非常尖锐你的变分下界缺了第 t 步和第 t-1 步之间的 KL 散度项你把所有耦合关系都当成独立变量处理了。这个质疑让模型花了整整十轮对抗才绕过来。它最终意识到必须把联合分布拆成已知的逆向条件分布乘以前向转移概率再利用重参数化技巧把期望转换成关于噪声 ε 的均方误差。复现出来的完整推导链是给定 x_0推导 q(x_1:T|x_0) 的因子分解 → 用 ELBO 展开变分下界 → 把 KL 散度项转换成期望 → 用重参数化 x_t √ᾱ_t x_0 √(1-ᾱ_t) ε 消去随机变量 → 化简出 L_simple E_{t,ε}[||ε - ε_θ(x_t,t)||²]。整条链包含31个等式变换最大的坑出现在处理先验项 p(x_T) 的地方这里不能简单丢项必须明确它在目标函数里的常数地位。小模型在这个坑上单独被批判了三次。3.3 第三道Top-K梯度压缩后的非凸收敛性分析这道题来自分布式训练。题目要求证明在非凸光滑目标函数上多个worker本地计算梯度并用Top-K压缩后发送给中心节点做SGD更新收敛误差上界是多少。结论是当压缩误差与梯度范数之间满足一个温和假设时收敛点梯度范数的期望能被一个混合上界控制住。小模型尝试过三条路径路径一直接使用压缩误差的全局上界。失败因为Top-K的误差与局部梯度分布高度相关用一个全局常数会丢掉关键结构。路径二假设所有worker的数据分布完全一致再套用已有结论。被批判者驳回因为数据异构性恰恰是这个问题的核心难点。路径三把Top-K压缩误差写成一个稀疏残差的范数把残差当作新的噪声项放进标准非凸SGD的分析框架里。这条路径最终成功。这道题最难的地方在于把压缩误差和优化算法的收敛步数两个完全不同尺度的对象放进同一个不等式链。小模型收尾时给出的界是 E||∇f(w)||² ≤ O(√(σ²/M) κ)其中 σ² 是梯度方差M 是本地迭代步数κ 是压缩误差界。虽然不比现有论文的结论更紧但论证链条完整达到了可以在答辩现场讲清楚的水平。4. 为什么互怼能让小模型变强机制拆解4.1 对抗轨迹相当于高覆盖率的被动增强数据小模型参数量有限很难靠单次生成完成超长思维链。但在对抗框架里它不需要一步到位而是可以分多个回合持续修正。从数据角度讲每一个被丢弃或修正的中间步骤都是天然的数据增强样本这些样本让模型看清了错误路径长什么样后续答题时会主动避开类似陷阱。这跟传统数据增强有本质区别。传统增强是在输入空间做旋转、裁剪、mask对抗式增强是在思维空间做扰动。思维空间的扰动是自适应的它只攻击模型当前最薄弱的环节不会浪费算力去生成那些模型本来就能答对的变体。这等于在针对样例困难度做最优化采样训练效率自然高。4.2 置信度信号补上了人工标注的空缺为什么这套系统能在没有人类解题导师的情况下运转因为裁判和仲裁给每个回合输出了置信度分数。关键点在于这里的置信度不是模型单次给出的logits而是通过对多个批判性判断做一致性检验得到的。复现时可以直接照搬一个做法让裁判用三个不同的随机温度对同一条交互记录分别打分取平均值作为最终置信度。如果三个分数之间方差过大说明记录存在歧义直接丢弃如果方差很小且分数较高才进小模型的学习池。这种多次采样取一致的做法比单纯依赖大模型的一次性输出可靠得多相当于在自动标注系统外加了一圈统计检验。4.3 真正起作用的是推理时预算而不只是参数量这一点是我个人最认同的解释也为小模型能复现博士级难题提供了合理依据。近两年研究逐渐形成共识模型在推理阶段获得额外思考步骤后能力提升非常明显有时甚至超过继续堆参数的收益。互怼协议本质上是在把思考拆解成可并行的验证与反馈循环相当于给了小模型远超常规的推理时预算。这也能解释为什么那台70B大模型在这套体系中同样有对抗但收益远不如小模型明显大模型本身已经具备很强的单轮推理能力缺的不是外部反馈而是更高密度的知识或更长的有效上下文。小模型的瓶颈在于一次性生成无错误长推导很难对抗式外部反馈恰好把一条长链拆成了多条短链每条短链都可以被批判者验证整体成功率随之大幅提升。5. 复现实验需要准备什么容易踩哪些坑5.1 最小复现环境建议如果你手头没有谷歌内部那么充足的资源我建议按下面的最小组合来试一个 7B 级别的小模型当提案者可以用通义千问 Qwen2.5-7B 或 Llama-3-8B开启4bit量化单张A100或双张4090就能跑。一个 70B 级别的批判模型走API调用。没有70B的话用34B也能试但批判的细致程度会下降。一个评估框架哪怕自己写个python脚本都行用来统计每个回合的通过率、平均轮次、典型错误类型。数据池从300个种子问题起步不需要一上来就是5000个。5.2 复现时最常踩的四个坑坑一让批判模型自由发挥。批判模型如果不受裁判约束会倾向于挑表达异类的点比如偏好让提案者写更长的推导、用更复杂的表述而不在乎推导本身是否严谨。我见过批判模型把一段完全正确的证明硬生生挑到小模型改坏。解决办法是给批判模型固定输出格式只允许列三类问题符号使用错误、结论与前提脱节、边界条件遗漏。禁止评论表达风格。坑二无限增加回合轮数。有些复现者为了体现充分对抗让模型在同一问题上反复辩论几十轮。结果不仅是token白烧小模型还会开始拟合批判者的表达习惯而不是拟合问题本身。三轮是性价比最高的上限超过三轮的信息增益基本为零。坑三丢弃失败样本。高质量失败样本对后续微调和thinking提示词构建极有价值。很多人在过滤时把所有被批判出bug的记录都删掉只留最终正确版本这等于浪费了一半的训练材料。建议保留至少经过一次成功修正的失败记录并单独打标签。坑四把LoRA辅助训练当主训练。对抗回放数据更适合用低学习率、低秩LoRA去调整而不是全量微调。学习率太高时小模型会过度适应回放池里的表达风格在开放问题上反而表现更差。5.3 这个方案适合与不适合的场景适合的场景你想在小模型上复现某篇论文的关键推导为它构建链式推理能力。你需要一个可解释的推理论证组让多个模型以可审计的方式共同防守一个结论。你有不少研究级问题但严重缺人工标注时间可以用对抗协议自动生成训练集。不适合的场景需要百分百可靠的数字结论比如财务计算、法律条文判断。对抗机制再完善也无法消除底层逻辑幻觉最终仍需要人来兜底。你只想快速拿到答案没有时间和算力跑三天以上的对抗循环。这个玩法本质是拿时间换能力急不来。团队里没有人能读懂最后推导时不能用这套方案。否则它只会生产看起来正确但没人验证的假象比不生成还危险。6. 写在最后值得跟进的方向和一点个人体会这三天实验带给我的冲击不在于小模型变强这个结果而在于用对抗框架替代人类导师来生产训练数据这个方向。过去我们总说数据是AI的燃料但市面上几乎没有工具能自动生成高难度的推理数据。AI互怼协议至少给出了一个自动化、可扩展、带验证回声的通道。我下一步想做的实验有两个一是把批判模型从纯语言模型替换成带代码执行沙箱的工具型Agent让它不仅检查数学推导过程还能跑数值实验去验证推导结论二是尝试用这套框架复现当前论文里更新、更难被复现的结果比如多模态对齐算法里的收敛性分析。如果你正在做小模型、Agent或可解释AI强烈建议找周末先把最小协议跑通一次亲眼看一遍完整流程再评估。我在实际操作中最深的体会是别把互怼当成科技圈的话术它背后是一套严格的强化学习加课程学习的混合体。小模型的复现能力强不是因为它参数里藏着博士级别的知识而是对抗过程给它补齐了最稀缺的自检能力。这个能力放在大模型身上也许只是锦上添花放在小模型身上就是雪中送炭。