同一个模型多想一会儿就能更聪明——推理模型与 test-time compute 的慢思考革命大模型 · 前沿。2024—2025 年大模型最重要的范式转变是从训练时烧算力转向推理时烧算力。这篇文章讲清 o1 / DeepSeek R1 背后的思维链、GRPO 强化学习以及 test-time compute 的数学。一次让模型别急着回答的实验先看一个反直觉的现象同一个模型、同一个问题你只要在提示词末尾加一句请一步一步思考它的正确率就能明显上升更极端一点让它多生成几千个 token 的思考过程再作答原本答错的数学题、逻辑题居然就答对了。2024 年 9 月OpenAI 发布的 o1 把这件事推向了极致它不再脱口而出而是先在内部生成一条隐藏的思维链chain-of-thought, CoT反复推敲、试错、自我修正最后才给出答案。2025 年初开源的 DeepSeek R1 更是把这条路走通还公开了训练方法。这条路线被概括成一个词test-time compute推理时计算——过去我们拼命把算力花在训练上现在开始把算力花在**推理时的思考**上。这篇文章就把这背后的原理与数学讲清楚为什么多想有用、它是怎么被训练出来的。从训练时缩放到推理时缩放过去几年大模型变强主要靠一条经验规律参数越多、训练数据越多效果越好scaling law。但这条路越来越贵、边际收益递减。o1 和 R1 开辟了第二个维度在推理阶段投入更多计算。同一份权重给它更多思考 token或让它采样多条推理路径再投票答案质量就会提升——这就是test-time compute scaling。它的价值在于训练好的模型在部署时可以通过多花时间换来更强的表现而不必重新训练更大的模型。为什么多想真的有用数学上把回答问题看作在推理路径空间里搜索最优解。直接生成答案相当于只采样一条路径而 CoT 与多次采样相当于做了更充分的搜索。具体地思维链CoT把一步到位的映射y f ( x ) y f(x)yf(x)拆成多步y f ( x ) f T ∘ ⋯ ∘ f 1 ( x ) y f(x) f_T \circ \cdots \circ f_1(x)yf(x)fT​∘⋯∘f1​(x)每一步只做一次简单的局部变换累积起来就能处理复杂的推理。自洽性self-consistency采样N NN条推理路径{ r 1 , … , r N } \{r_1,\dots,r_N\}{r1​,…,rN​}对每条路径得到的答案投票取多数作为最终答案y ^ arg ⁡ max ⁡ y ∑ i 1 N 1 [ y i y ] \hat y \arg\max_y \sum_{i1}^{N} \mathbb{1}[y_i y]y^​argmaxy​∑i1N​1[yi​y]。直觉是正确的推理步骤是唯一的而错误的路径五花八门——多数投票能放大正确路径的信号。验证器verifier / PRM训练一个过程奖励模型对推理的每一步打分再据此挑选或引导搜索而不只看最终答案对错。这三招的共同点用额外的推理计算换更高的正确率。训练推理能力GRPO 强化学习光靠提示词逼模型思考是不够的o1 和 R1 的核心是用强化学习RL专门训练模型去推理。DeepSeek R1 用的算法叫GRPOGroup Relative Policy Optimization组相对策略优化它是 PPO 的一个简化版去掉了 PPO 里庞大的价值网络用同一道题的一组采样来互相比较、估计优势。设策略模型为π θ \pi_\thetaπθ​参考模型为π ref \pi_{\text{ref}}πref​对每个问题q qq采样G GG条回答{ o 1 , … , o G } \{o_1,\dots,o_G\}{o1​,…,oG​}每条得到奖励r i r_iri​。GRPO 的目标函数是J GRPO ( θ ) E [ 1 G ∑ i 1 G min ⁡ ⁣ ( ρ i A ^ i , clip ⁡ ⁣ ( ρ i , 1 − ε , 1 ε ) A ^ i ) − β D KL ⁣ ( π θ ∥ π ref ) ] \mathcal{J}_{\text{GRPO}}(\theta) \mathbb{E}\left[ \frac{1}{G}\sum_{i1}^{G} \min\!\Big(\rho_i \hat A_i,\ \operatorname{clip}\!\big(\rho_i,\,1-\varepsilon,\,1\varepsilon\big)\hat A_i\Big) - \beta\,\mathbb{D}_{\text{KL}}\!\big(\pi_\theta \,\|\, \pi_{\text{ref}}\big) \right]JGRPO​(θ)E[G1​i1∑G​min(ρi​A^i​,clip(ρi​,1−ε,1ε)A^i​)−βDKL​(πθ​∥πref​)]其中概率比importance ratio为ρ i π θ ( o i ∣ q ) π θ old ( o i ∣ q ) \rho_i \frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_{\text{old}}}(o_i \mid q)}ρi​πθold​​(oi​∣q)πθ​(oi​∣q)​而组相对优势A ^ i \hat A_iA^i​是在同一题的G GG条回答内部做标准化A ^ i r i − mean ⁡ ( r 1 , … , r G ) std ⁡ ( r 1 , … , r G ) \hat A_i \frac{r_i - \operatorname{mean}(r_1,\dots,r_G)}{\operatorname{std}(r_1,\dots,r_G)}A^i​std(r1​,…,rG​)ri​−mean(r1​,…,rG​)​KL 散度项用来约束策略别跑太远无偏估计D KL ( π θ ∥ π ref ) π ref ( o i ∣ q ) π θ ( o i ∣ q ) − log ⁡ π ref ( o i ∣ q ) π θ ( o i ∣ q ) − 1 \mathbb{D}_{\text{KL}}\big(\pi_\theta\,\|\,\pi_{\text{ref}}\big) \frac{\pi_{\text{ref}}(o_i\mid q)}{\pi_\theta(o_i\mid q)} - \log\frac{\pi_{\text{ref}}(o_i\mid q)}{\pi_\theta(o_i\mid q)} - 1DKL​(πθ​∥πref​)πθ​(oi​∣q)πref​(oi​∣q)​−logπθ​(oi​∣q)πref​(oi​∣q)​−1GRPO 的聪明之处它不需要单独训练一个价值网络来估计这条回答有多好而是用组内相对排名——同一道题比同组其他回答好的就获得正优势差的就负优势。既省算力又天然适合答案对错分明的数学/代码题。奖励r i r_iri​通常就是正确性奖励 格式奖励比如要求把推理过程放进think.../think标签。R1 著名的啊哈时刻DeepSeek R1 论文里有一个被反复引用的细节训练过程中模型自己学会了反思——它在推理中间突然写出等等我发现前面某一步算错了让我重新来然后纠正自己。这个啊哈时刻不是人教的是 RL 在优化奖励的过程中涌现出来的。它说明当奖励只关心最终答案对不对时模型会自己摸索出检查、反思、修正这些能提高正确率的行为。test-time compute 的几条路线除了让模型自己写长思维链推理时算力还能这么花路线做法代价长 CoT生成更多思考 token时延↑token 成本↑Best-of-N采样N NN条用验证器挑最好计算量N NN倍自洽投票采样N NN条多数投票计算量N NN倍树搜索 / MCTS显式搜索推理空间实现复杂本质上这些都是用计算换精度的工程化表达。局限烧钱、慢还更会一本正经地胡说推理模型不是免费的午餐代价很实在成本高一次回答可能消耗几万 token 的思考过程推理成本比普通模型高一个数量级。时延长用户要等它想完首 token 延迟从毫秒级变成秒级。幻觉的另一种形态长思维链给了模型更多自圆其说的空间它可能把错误推理包装得头头是道——更自信不一定更对。这也是为什么工程上要区分场景简单问题直接秒答复杂推理才上慢思考。收束让模型多想一会儿这件事看似只是加一句提示词背后却是一场范式转移智能的提升不再只依赖更大的训练也可以来自更充分的推理时计算。GRPO 用组内相对优势这一优雅的数学让模型在没有人工标注推理过程的情况下学会了思考而 test-time compute 则把烧算力的战场从训练机房搬到了每一次对话里。回到开头那个反直觉的现象模型没变只是多想了 30 秒就变聪明了。在推理时代想多久第一次成了和模型多大同等重要的变量。推理模型背后的强化学习、优势估计与 KL 约束是机器学习数学的直接应用推荐 B站【408实验室】的《机器学习数学基础》把概率、期望与优化这条线打牢。