先说个我自己的经历。前阵子我在一组多步数学推理题上反复折腾提示方案最让我困惑的不是某个模型答不出题而是同一个模型、同一道题换个问法就从“一步一步来”变成“直接给结论”准确率能掉二十个百分点以上。那时候我就意识到LLM的推理能力不是一道开关更像是一个需要不断调节的水龙头水一直在但怎么让它稳定地流到该去的地方才是真正值得研究的问题。所以看到“Can We Further Elicit Reasoning in LLMs?”这个标题时我第一反应是这不是个能不能的问题而是个怎么做的问题。过去两三年里提示工程、推理蒸馏、自洽性采样这些方法确实把模型的推理表现推高了一大截但越往后做越发现靠提示“诱导”出来的推理和模型真正“内化”的推理是两回事。这篇文章我想从实操角度聊聊在现有LLM推理能力基础上我们还能从哪些地方继续“挤”出更多推理哪些方法已经到瓶颈哪些地方还有空间。1. 先搞清楚边界推理到底是模型“有”的技能还是被“逼”出来的行为1.1 从“会做题”到“会推理”之间的真实差距我见过不少评测方案拿几个推理基准跑一遍分数高就认为模型“具备推理能力”。但实际用起来完全两码事。比如一个模型在GSM8K风格题目上能拿八十分你给它一道题干稍微绕一点、或者数字更大的变体它可能直接崩掉。这说明什么说明模型记住的不是推理方法而是题目模式和答案分布。推理能力和题目解答能力不能画等号。前者指的是模型能根据给定的条件按逻辑规则生成中间结论并最终导出正确答案后者可能只是条件反射式地匹配训练阶段见过的相似题型。区别这两者的最好办法就是做“难度迁移测试”训练和测试的题目类型一致但复杂度不同看模型能不能把低难度下学会的推导方式迁移到高难度场景。我在实际评测中发现很多模型在迁移时掉点非常严重而且掉点幅度和提示方式高度相关。1.2 推理是“涌现”的还是“诱导”的现在业内有个常见说法推理能力是模型规模大到一定程度后涌现出来的。这个说法有一定道理但不完整。规模提供了涌现的潜力可如果不通过提示、微调或解码策略去“诱导”这个潜力未必会稳定释放。我做过一个对照实验同一个模型不加任何推理提示直接出答案和加了少量思维链示例后再出答案在同一个测试集上差距能有十五个点。这引出一个关键结论推理更像是一个需要特定条件才能触发的过程而不是模型随时都在执行的默认行为。所谓“进一步激发推理”本质上就是在找这些触发条件并且让触发后的推理过程更可靠、更高效。1.3 我们讲的“进一步激发”到底指什么如果把问题拆细可以分成三个层次第一层提高触发率。让模型在更多类型的题目上愿意走推理流程而不是遇到题就凭直觉猜。第二层提高推理质量。保证中间步骤逻辑正确不出现那种“前面算错后面蒙对”的情况。第三层提高推理效率。用更少的中间步骤和更短的推理链达到同样甚至更好的准确率。很多人一上来就盯第二层但实际工程里第一层往往更棘手。毕竟模型根本不开推理模式的时候你连优化中间步骤的机会都没有。2. 推理的“阀门”在哪儿我习惯把问题分成三个层面来看2.1 提示层用上下文搭脚手架提示层是成本最低、见效最快的切入点。核心思路是让“解题过程示范”进入输入上下文模型在生成时会模仿这种示范的格式和逻辑节奏。经典的做法有几种少样本思维链给两个到五个完整的解题示例每个示例都包含“条件分析中间推导最终答案”。零样本思维链不举例子直接用“让我们一步一步思考”这类指令触发分步输出。结构化拆解要求模型先列已知条件、再列未知目标、然后分步求解。自我校验要求模型在得出答案后回头检查哪一步可能有问题。这些方法背后其实共享同一个机制把输出空间从“直接给答案”扩展成“结论加推导路径”让模型在每一步都有一个可观测的中间目标减少因为局部生成偏差导致全盘崩溃的概率。我自己的测试里少样本思维链在中低难度题目上最稳但有个隐性成本示例一多输入长度暴涨推理速度变慢。零样本思维链的开销小可稳定性差一些碰上那些本来就不太会做的题容易生成看似合理但一步错步步错的伪推导。2.2 权重层把推理固化进参数里提示层再怎么调也改变不了模型内部权重。想让推理真正“长在”模型里必须动权重层。常见路径有两条监督微调准备一批高质量推理轨迹让模型在给定题目时学会生成类似的推理链。偏好优化不直接固定推理路径而是让模型比较不同回答的好坏比如哪条推理链更严谨、哪条更简洁、哪条最终答案正确。权重层的改动比提示层深远得多。提示层的效果随着上下文变化可能时有时无而权重层的效果是“默认行为”层面的哪怕你不给推理示例模型也倾向于分步输出。代价是训练成本高、周期长而且数据质量稍有问题模型就可能把错误推理方式也固化进去。2.3 解码层让模型多试几次而不是只试一次这层经常被忽略但我认为它特别重要。模型在生成时本质是在概率空间里做采样同样的输入、同样的提示多次运行可能产生不同结果。于是我们可以用自洽性策略让同一个模型在同一个题目上采样多次然后对最终答案做多数投票。这个思路的直观解释是如果模型真是靠推理解决问题那么即便中间步骤略有差异最终答案倾向于收敛到正确值如果模型是瞎猜的那么多次答案会分散投票后正确率也不会显著提升。实操中采样次数在五到八次时收益最明显再往上收益递减而成本线性增长。解码层面还有一个值得玩的点是“推理预算控制”通过显式限定“请用不超过多少步完成推理”可以观察模型在不同计算预算下的行为模式。部分模型在被迫更简短时反而准确率上升因为它们删掉了那些自嗨式的废话推导。3. 提示层的实战观察哪些技巧真的有用哪些是自我安慰3.1 思维链的真正价值在于“分段提交”我做过一个对比测试同样是让模型解一道鸡兔同笼变体题直接问“答案是多少”模型给了个错的整数加上“请逐步思考”后模型列方程式、解方程、代入验证最终得出了正确答案。看起来是思维链的功劳但进一步测试发现真正起作用的是“分段提交”这个行为本身每生成一步模型等于做了一次局部约束后续生成依赖前面刚生成的中间结果而不是依赖可能已经混乱的全局语义。这让我后来在设计提示词时形成了一个习惯如果模型很容易在长推导中跑偏就要求它每做一步都“重新引用一次题干的关键条件”。这个简单的复述动作经常能让推导稳定度提升不少。3.2 少样本示例不是越多越好而是越“对齐”越好很多人的直觉是示例越多模型越容易模仿。实际并不完全对。模型对示例的模仿更多是格式级别的比如“解题步骤的排版”“答案的表述方式”而不是逻辑结构。如果给的两个示例都是同一类解法模型很容易把特定解法当成唯一解法遇到需要换思路的题就僵住。我推荐的示例搭配方式是两个示例最好覆盖不同的解题路径比如一个用代数、一个用枚举。示例长度不要过长两到四步能讲清的为主特别长的示例会让模型过度延长输出。可以在示例里顺带展示“检查”动作让模型模仿时不只输出推导还会输出校验过程。3.3 最容易翻车的几种提示方式以下是我在实际评测中踩过、或观察别人踩过的坑把推理过程强塞到一句话里。比如“请分步思考但不要输出中间步骤”这种方法基本没用因为你不让模型输出中间步骤它就很难真正组织中间推理。在提示里用“你是一个逻辑专家”这类身份设定。偶尔有效但方差大而且容易让模型在前缀上过度投入生成一堆无关身份陈述。追求每一步都是自然语言。有些模型在自然语言表达上绕来绕去反而被自己绕晕。对这类模型要求它用符号、公式、编号列表表达推理效果更好。忽略数字和单位的约束。我见过不少模型在推理中把“千克”和“克”混在一起算提示里明确要求“全程统一单位”准确率能直接拉高几个点。3.4 为什么会出现“越提示越差”的反常现象提示不是万能的它有时还有副作用。我碰到过一种情况某些模型在短答案模式下能靠直觉蒙对一旦强制它长推理它反而会生成一个冗长但错误的推导并且因为推导过程看起来完整最终答案也自信地错了。这类现象说明一个深层问题提示只是改变了生成路径并没有改变模型内部的真实推理能力。如果模型本身没有掌握某类问题的解法逼它分步走只是让它更系统地犯错。所以在做提示优化时一定要配套一个“推理崩溃率”指标——统计推理链中有多少步是错的而不是只统计最终答案对错。4. 训练侧的突破怎么把“诱导来的推理”变成“内化的能力”4.1 用大模型生成推理轨迹做蒸馏注意“干净度”一个很常规的操作是拿大模型当“推理教师”让它生成一批带解题过程的问答对再用这批数据微调小模型。这条路确实有效但核心风险在数据质量。大模型生成推理轨迹时经常出现最终答案对、中间步骤错的情况小模型学过去后会把这些错误推理方式原封不动复制下来。我在处理这类数据时会加一道“反向校验”流程把生成好的推理轨迹交给另一个模型做审查专门标注那些“中间推导和最终答案不自洽”的样本筛掉或重写。清洗后的数据训出来的模型推理稳定性明显好于直接用原始数据训的模型。4.2 偏好数据比正确答案数据更耐训监督微调本质上是在“背”推理轨迹模型学到的是给定题目的标准解法。但实际使用中一道题的解法不止一种标准解法也不一定是最适合模型自身参数分布的解法。偏好优化在这点上更灵活它不是给模型一条固定路径而是让模型看到“两条路径哪条更好”从而学会判断推理的优劣。我在实践中用偏好数据训练模型时有一个比较具体的经验构造偏好对时不能只看答案对错。一个答案正确但推理很跳跃的样本应该排在“答案错误但推理过程每一步都暴露了问题所在”的样本之后因为后者更有教学价值。偏好对里的两个样本最好来自同一条推理链的不同分支这样模型能更快定位到“在哪一步开始偏离”的敏感位置。数据量不需要很大几千条高质量偏好对往往比几万条监督微调数据效果更明显尤其是对推理步骤紧凑性的提升。4.3 评估集本身也是训练的一部分别用一个尺子量所有模型有的读者可能觉得评估是评测阶段的事和训练无关。但我自己的经验是评估集设计直接影响训练决策特别是在迭代训练时。如果你的评估集只有“最终答案是否正确”这个指标你会发现训练中模型的损失降得很快但模型实际推理能力提升很慢。原因是模型在优化“输出正确答案”的概率而不是“推导过程合理”的概率。所以我在训练迭代中会额外盯三个指标逐步正确率把推理链按步骤切开看每一步的单独正确率。回跳率模型在推理后半段有没有推翻自己前半段的结论回跳次数越多说明模型越不稳定。无关内容率生成内容里有多少是重复性套话、无关解释这类内容多了说明模型在“表演推理”而不是推理。5. 评估的暗礁最终答案对了不代表推理真的发生了5.1 测试集污染你在测记忆不是测推理推理评测最大的敌人是数据污染。公开推理基准的题目大量出现在模型训练语料里模型看到的“推理题”很可能早就见过答案了。这时候你测到的分数本质上是在测记忆。规避方法没有完美的但可以多管齐下使用新造的、不在公开数据里的题目比如把现有题目的数字、实体、场景全部替换。在评测中加入“题目太难也不影响语言模型记忆”的控制组把同样的题反复做小改动看模型表现是否大幅波动。记录模型对题目的“反应时间”——虽然这个指标在API上不容易拿准但本地部署时可以测量生成首字符前的处理耗时见过类似题的模型往往首字符生成更快。5.2 伪推理过程漂亮根子是错的我在很多模型输出里见过一种现象推理链写得特别完整有已知条件、有公式、有代入、有结论但第一步的条件理解就是错的。后面每一步看起来都合情合理实际全部建立在错误前提上。这说明模型在“生成推理过程”和“执行推理计算”之间仍然是脱节的。它擅长生成一段推理语境的文本却不擅长真正沿着逻辑做计算。面对这种情况我的处理办法是给模型出“反事实题”把一道常规题目的一个条件改成矛盾条件看模型能不能识别出题目无解。能识别出无解的才算真正理解条件之间的约束关系。5.3 难度分布才是评估推理能力的关键用一个全是中等难度题目的测试集来评测分数高不具有说服力。推理能力的标志是在难度跨越时保持稳定。我建议评测集至少包含三档难度低难度一眼能看懂验证模型的基本步骤输出能力。中难度需要两到三次转译才能落到公式验证模型的中间表征能力。高难度需要引入额外假设或分情况讨论验证模型处理复杂逻辑树的能力。一个我经常用来判断模型“有没有在推理”的指标是“失败模式分布”。如果模型在低难度题目上几乎全对在中难度开始出现系统性错误在高难度上完全靠猜那说明它掌握的可能是“模式识别”如果模型在三个难度段上的失败模式比较接近比如都是某一类约束处理不好那反而说明它有统一的推理框架只是框架有缺陷。6. 结合我自己的实操给你一个“最小成本推理提升”行动清单6.1 先从提示层开始别急着微调绝大多数项目的推理瓶颈都是提示配置没有最优化而不是模型能力不够。所以我的第一个建议永远是先把提示工程做到位。具体的低成本实验顺序我建议这样走准备一个一百道题的验证集覆盖三档难度。基准测试不加任何推理提示直接让模型给答案。加法测试依次叠加零样本思维链、少样本思维链、自洽性采样。记录每一组配置下的准确率、平均输出长度、推理崩溃率。选出一组在准确率和成本之间最平衡的配置作为后续实验的固定基线。这套流程不需要训练资源只需要耐心的API调用和结果统计。很多项目在这个阶段就能把准确率提升十个百分点左右。6.2 如果提示层已经榨干再考虑“采样换准确率”当提示层优化进入平台期下一步不是直接微调而是先上自洽性采样。这个思路前面讲过就是多次采样加多数投票。实操上注意几个参数温度建议控制在0.4到0.7之间。温度太低多次采样的结果高度趋同投票没有意义温度太高答案过于发散有效票数变少。采样次数从五次起步逐步提升到八次、十次观察准确率增益曲线。如果八次相比五次提升不到两个点说明模型真实推理能力有限再增加次数只会烧token。投票时最好对“答案格式”做归一化处理不然同一个数学结果可能因为表述方式不同而被计成不同答案。6.3 预算充足的团队把训练重点放在偏好优化和推理数据清洗如果项目允许投入训练资源我建议不要在单纯扩大监督数据量上死磕。更值得做的两件事是推理数据清洗和偏好优化。推理数据清洗的方式前面提过用审查模型过滤那些“答案对但推导错”的样本。很多团队直接用大模型生成几万条轨迹筛掉格式不合规的就去训练这是对数据价值的浪费。你需要做的是让筛掉的条件更聚焦比如“推导步骤中存在数学符号冲突”“冗余地重复同一结论超过两次”这些规则性筛查比人工抽检覆盖率高得多。偏好优化的训练成本比监督微调高一些但收益点不一样它提升的是模型的“选择判断力”让模型在遇到没见过的题目时更倾向于走一条稳健的推理路径而不是贸然给出一个没有依据的结论。6.4 几个经常被忽视的细节最后分享几个我在实操里踩过的细节坑推理提示和业务指令打架时优先保障业务指令。比如客服场景要求简洁回复你硬塞“请逐步思考”用户会直接投诉。输出长度限制会影响推理深度。如果API设置了最大输出token模型在推理后半段会被迫压缩步骤导致跳步错误。需要推理的任务输出上限至少留够推理链长度的两倍。多数投票在答案分布极不均匀时效果不好。比如某个题目大部分采样结果都集中到一个错误答案投票结果就锁死在错误上。这种情况说明模型在该题上存在系统偏差提示干预已经不够了。模型版本升级后原来的提示配置可能要重新调。我在实际项目中多次遇到“升级后同样提示效果变差”的情况所以每次模型版本切换都要跑一遍基准回归测试。我在这些实验里最大的感受是所谓“进一步激发LLM推理”不是靠某一个单一技巧的灵光一现而是提示、解码、训练、评估四个环节的持续协作。每一层都在原有基础上推进一步叠加起来的效果才算是真正往前迈了一步。方向对了剩下的只是耐心迭代。