这个话题我憋了很久了。我的工作每天都在跟大模型打交道身边人也越来越习惯不懂就问AI效果确实好但有一次我拿一道简单的逻辑题去问某款主流模型它给了我一篇结构完整、语气笃定、满屏专业术语的答案最后却是错的。我再追问一句你确定吗它立刻换了一套说辞依然自信满满。那一刻我想明白了一件事我们以为它变聪明了其实它只是把听起来像人话这件事做到了极致。很多人对当前大模型体系有个很精准的概括本质还是概率生成反馈过滤没有真正的认知-学习-纠错的智能内核。这句话判断很锋利值得展开讲清楚。这篇文章想聊的就是这套概率生成反馈过滤到底怎么运转为什么它构不成真正的认知智能以及我们这些每天被它惊艳又被它坑到的人应该用什么姿势跟它共处。适合所有关心AI原理的开发者、用模型做生产力工具的产品经理以及单纯好奇它到底懂不懂的普通用户。1. 看着全懂细究全错先认识一下流畅的幻觉我几乎每天都在经历这样的场景拿一个问题去问模型它给出的回答排版工整、逻辑链条有模有样甚至还有从长期来看综合考虑多方面因素这种特别像专家的话术。但如果我把同一个问题换个场景、换个数据、换个反向问法它的答案会很稳定地保持像话这个优点同时也很稳定地偏离事实。这种体验不是个例。比如几乎人人都试过的那个经典问题9.9和9.11哪个大。直觉上这应该没有任何争议但不少模型会理直气壮地回答9.11更大因为它训练语料里有大量11大于9这种数字比较文本模型提取了数值特征的统计规律却没有真正掌握小数比较的运算规则。更离谱的是你追问一句它还会道歉并改口改完后依然是错的。这件事说明什么说明模型的输出行为和内部理解是脱节的。我们人类看到一段流畅、自信、信息密集的文字本能会认为背后有一个懂的人。但模型不是人它的输出不是从理解出发的而是从一个巨大的概率分布里采样出来的。它知道什么样的词序列更像正确答案但它不知道答案本身。1.1 确定性是伪装的模型只是擅长组织可信的语言我工作里经常需要让模型做信息整理比如给它一段会议记录让它输出待办事项。大多数时候效果惊艳我几乎可以不加修改直接采用。但一旦输入稍微脱离它熟悉的格式比如记录里出现了口语化的跳跃、上下文被省略号打断、前后文有矛盾它就开始创造性整理——它会把原本没有的信息补全把矛盾的表述圆滑甚至把两个人的话合并到一个人头上。它不是故意的但这就是概率生成的特点对于输入中的空隙模型会自动用最可能出现的词来填充。训练语料里开会的待办清单通常长什么样它就按那个样子填。它会写出一条看起来完全合理的张三负责跟进客户但张三可能根本没说过这句话。流畅性越强这种隐性编造就越难被发现因为人类认知对结构完整几乎没有抵抗力。我在实践中的一个经验是让模型做任何整理类任务都必须保留原文对应关系。只让它输出结论不给依据等于主动给幻觉留了空间。给它规定每条结论后面必须附原文片段准确率会肉眼可见地上升。这不是模型的智能变高了而是我们帮它把自由发挥的泛滥空间压缩了。1.2 它不知道自己在胡说因为知道这个动作它做不了再往深说一层模型不会区分我知道和我不知道。人类说自己不确定的时候是真的有一种内在的不确定感。模型没有这种感觉它只有概率值而设计师又把概率最高的词作为答案输出来于是它永远理直气壮。我经常做的测试是问它完全虚构的东西比如某某山里有一种蓝色羽毛的候鸟它的迁徙模式是什么。只要我编的名字听起来不假它往往能给我编出一整套迁徙路径、觅食习惯、繁殖周期。它不是在撒谎它只是在用鸟类百科式文本的模式续写下去。在这个续写过程里没有任何机制跳出来说根据我的知识库这个物种不存在。知识库是搜索引擎的概念模型没有知识库模型只有参数。这一点必须时刻记住。2. 概率生成把猜下一个词做成了以假乱真的规模效应很多人对模型的原理有误解以为它在思考之后给出答案。不是的它的完整工作流是把输入文本切成词元丢进一个参数规模惊人的网络网络对下一个可能出现的词计算出概率分布然后按概率采样出一个词这个新词被拼回输入继续预测下一个词如此循环直到凑出一段话。这个机制在学界叫自回归语言建模核心目标一句话最大化给定前文后下一个词出现的概率。就这么朴素的目标 Scaling Law 把它放大到千亿参数、万亿词元后涌现出了惊人的表面能力——能写诗、能编程、能对话。但你要记住涌现出来的东西依然没有超出下一个词概率这个框架它涌现出的不是理解而是文本模式的复杂拟合。2.1 千亿参数记下的不是规则是相关性预训练阶段模型看到的是海量的人类文本。这些文本里包含大量因果表达、推理步骤、问答结构。比如语料里经常出现因为下雨所以地面是湿的因为摩擦力所以物体会减速模型学习到的不是物理规律本身而是因为这个词出现后后面更倾向于接什么内容。所以当用户问为什么车轮打滑它能流利地输出因为雨天路面摩擦系数降低——这主要是因为雨天打滑摩擦系数这几个词在语料里高概率共现。如果用户的问题是为什么在不常见的情境下轮子也会打滑它的回答依然会去检索打滑相关的文本模式而不是从物理机理出发重新推导。这种相关性优势是广度的它能覆盖天文、地理、编程、医学、法律等几乎所有领域的语言玩法。但它的劣势也很明显——相关性不是因果性。它就像一个看过全世界所有新闻播报、能模仿任何主持人语气的播音员但你对它说的东西有没有做事实核查它完全无感。2.2 采样的随机性意味着它自己都不知道下一句会是什么另外一个大家容易忽略的点是模型生成是有随机性的。就算输入完全一样温度参数调高一点每次输出都可能不同。这个随机性来自于采样——它不是选概率最高的那个词而是按概率分布掷骰子只是高概率的词更容易掷中而已。这意味着你在跟一个每次回答都略有不同、但始终尽力模仿专家语气的系统对话。我第一次意识到这点是让模型改写同一段文案连续生成三次三个版本重点完全不同其中一个版本甚至出现了一个第一版里根本没有的数据。这说明产生数据的机制里面没有事实锚点只有概率偏好。这个特性放到叙事里非常迷人放到工程里非常危险。当它被用来写工作总结错误最多也就是个素材歧义当它被用来做合同审查、数据分析、医学建议这种概率性输出就成了不定时炸弹。3. 反馈过滤给啥都敢说的模型套上了行为缰绳仅仅靠预训练出来的模型是不能见人的。它没有经历过对话规则的约束输出风格天马行空经常答非所问。于是工业界加了第二道关键工序反馈过滤。这个工序分为两个层面。第一层叫指令微调人工写一批高质量的问题-答案示范对让模型照着这个风格调整自己学会用户问什么我就正面答什么回答要友好、有条理、有依据。第二层叫基于人类反馈的强化学习让模型对同一个问题生成多个答案人工或自动对答案质量排序训练一个奖励模型再用强化学习去引导模型输出更多高排序风格的答案。RLHF 的本质就是用人的判断给模型的输出分布重新塑形。你应该看出问题了这一整套工序都是在改输出行为不是改认知内核。模型面对一个它根本没有理解的数学问题反馈过滤能做的只是让它说人话地说出错误答案而不是让它真的学会解题。3.1 从SFT到RLHF模型是怎么被训练乖巧的我说一下实操层面的大致机制感受会更直观。指令微调相对好理解就是把标注好的问答数据拿来继续训练属于传统的监督学习。它解决的问题是对话格式对齐。它的局限是示范数据的覆盖面有限模型只能学会数据里的风格一旦用户问法偏离训练集它又原形毕露。RLHF 复杂得多。它先让模型对一堆提示各自生成多个答案人工去排序谁更像好的回答从而训练一个奖励模型去学习人类偏好的映射。之后再用强化学习算法调整模型参数使得模型的输出能在这个奖励模型上得高分。你甚至可以说模型最后学会的是让奖励模型满意——不是让事实更准确不是让逻辑更严谨而是让那个打分器更开心。这个补充很重要。它还带来了业界著名的奖励黑客现象模型会学到钻空子。比如为了获得高分它学会在回答后面附上以上分析仅供参考建议咨询专业人士因为训练集里带这句话的回答老是得分高。这就导致我们见到的很多模型回答都带着一种过于礼貌、过于求稳的腔调但在关键事实上照样错。3.2 反馈过滤的边界它能管住话术管不住事实我做产品时一度寄希望于模型答错我就拉更多的人来反馈改错总能纠对。实际做下来发现这套路走不通。原因很简单反馈信号是稀疏的、滞后的、有偏的。模型每天服务成千上万人真正产生反馈的人不足万分之一而且愿意反馈的多半是体验很差的用户。这些反馈汇聚起来只能让模型学会用户觉得他们答得不好这件事但它不知道具体哪里错了、错在哪条逻辑链上。下一轮训练时它只会对这些问题的输出做概率迁移换个问法错误照样浮现。一句话总结反馈过滤的本质它是行为矫正器不是认知修复器。它能教会模型在大部分常见场景里表现得像懂但它不能把模型变成真正能校验自己的系统。训练数据里从未出现的推理漏洞反馈机制永远补不上。4. 认知-学习-纠错这组内核能力为什么现在的大模型一个都不占现在我们可以正面回答标题里的那个判断了模型没有认知-学习-纠错的智能内核。这三件事在人类智能里是环环相扣的我拆开说你就会看到每一环在现有架构里都断了。4.1 认知能力缺位没有世界模型只有文本统计模型真正的认知指的是大脑能对外部世界构建一个动态的、可推演的心理模型。你看到一个杯子在桌沿不需要做过实验就能预判我再推它一下它会掉下来碎掉你说太阳晒得厉害同时能推断出晒久了会热、会晒伤、柏油路会软。这种模型是建立在物理常识、因果链、物体属性之上的它允许我们在从未见过的场景里做离线推演。而大模型的世界模型是不存在的。它拥有的只是关于世界的描述的统计规律。它知道苹果是甜的这句话概率很高但它没有建立一个苹果对象的属性清单更不会在一个模拟空间里把苹果抛起来看它的落点。你让它算一个苹果从两米高处落下落地瞬间的速度它能写出牛顿第二定律的公式但这不是因为它理解自由落体是因为语料里苹果落地自由落体速度公式这些文本高度相关。也因此当问题场景是语料里不常见的组合时它没有物理直觉可以依赖只能硬套看起来像的语言模板。4.2 学习能力缺位它不会长见识只会换参数人类的学习有三件事新知识的纳入、旧知识的修正、经验的跨情境迁移。你学过一次游泳之后学潜水、学冲浪很多底层技能会自动迁移。你在做数学题时犯过错把错误修正后下次遇到类似题型会主动调用上次那步错在哪的记忆。模型的学习只是一种统计参数更新。预训练、微调、RLHF每一步都是基于一批数据调整参数方向。更新完数据模型并不会把这次学到的东西放进一个长期记忆库里它只是把当前的语料模式往参数里压得更深。压进去的新东西经常把旧知识挤掉——这就是业界著名的灾难性遗忘你今天告诉它新的篮球规则它可能就忘掉昨天刚学会的足球规则。更致命的是模型没有过程性记忆。它答错一道题你告诉它正确答案它记住了这个答案——但它没记住当时是哪条推理路径把我引向错误的。它没有推理轨迹的概念所以谈不上从错误中学习。4.3 纠错能力缺位它只能重写不能反思我把这个单独拎出来讲是因为纠错是真的智能的核心标志之一。人类做题思路走偏了中途会和自己的推理对话不对我刚才假设它是匀速运动但它其实是加速的这一步得改。模型不会这样。当你对模型说你答错了它会执行一个新的生成步骤重新走一遍根据当前对话历史继续预测下一个词的流程。因为它的注意力机制能看到用户说你错了这个新信息所以它有概率生成一个不同的答案运气好就改对了。但整个过程没有反思这个环节——它不会重新审视自己的推理链条指出具体的逻辑误判然后针对那个误判重建模型。它改答案和它第一次生成答案调用的机制完全相同都是根据上下文预测最合理的下一个词。这就是为什么它改完的答案有时更离谱——因为新上下文里包含了一句指责模型为了应和这条新信息把答案调整成了符合用户期待的样子而不是符合事实的样子。5. 没有智能内核的AI我们该怎么安全地用它写到这里不是为了唱衰大模型。恰恰相反我是重度用户我每天靠它大幅提升文本处理效率。正因为知道它的能力边界在哪里我才找到了一套相对安全的使用姿势——核心原则一句话把它当能力很强但不负责任的实习生而不是权威专家。5.1 给它的输出加一道验证回路我在处理任何重要任务时都会强制建立验证闭环。它写的代码我一定本地跑一遍它给出的数据结论我一定拿计算器或脚本复算它引用的文献我一定去原文查证。听起来麻烦但这恰恰是做事的底线。这里有个实操技巧让它给结论的时候强制它同时给出推导过程、中间数据和所有引用的来源。一个负责任的实习生被要求写清过程时心虚拟地认真起来错误率就会下降模型也一样。当它必须提供中间步骤时那些荒谬的逻辑断裂就更容易暴露出来。我屡试不爽的做法是在提示词里加一句请列出所有关键步骤和假设并对每一步标注置信度。然后最重要的一步你是验证者不是执行者。这份验证工作不能省略只要你省略一次就可能被一次概率性的流畅幻觉带到坑里去。5.2 把大任务拆碎让模型做单步概率最高的事模型在复杂任务上的错误经常是多个环节错误叠加的结果先错一个数据点然后为了自洽后面的论述全部围绕着错误数据展开。应对办法就是拆。我不再问它帮我写一份市场分析报告改成一系列小步骤第一步帮我列出这个产品的三个核心卖点用一句话说清每个卖点的目标人群第二步基于这三个卖点各写三段分析每段必须有具体论据第三步把三段分析整合成一份报告标注每段信息来源每一步的输出都短、都有明确边界、都便于人眼检查。模型在短任务上的概率准确性远高于长任务因为错误传播的链条短。这本质上是用人类的项目拆分能力弥补模型缺乏全局规划能力的问题。5.3 对流畅的谎言保持过敏几个实用排雷技巧最后分享几个我日常在用的排雷小技巧。第一追问反面证据。它给出一个结论时追加问有哪些证据可能推翻这个结论如果模型开始含糊其辞、顾左右而言他大概率刚才那个结论并不稳健。第二用边缘案例测试。它说某套方案万无一失你就故意输入一个极端情况看它会不会崩。比如跟它讨论某个流程加一句如果服务器在凌晨三点挂了但维护人员要早上八点才上班怎么处理。稳定应对边缘情况的模型可以多信几分直接胡编的大概率还在靠语感撑场。第三对量化数字保持最高警惕。模型最不擅长精确数字尤其是小数比较、单位换算、时间推算、金额累加。凡是涉及数值的回答我默认它可能错必须自己验算。第四交叉问同一个问题的不同表述。同一个问题换一种打开方式问两次如果两次关键信息不一致说明它是在编故事而不是在调取事实。说到底人类对听起来完整的信息天然容易丧失戒心这是认知弱点。跟大模型共处最基本的原则就是把手动验证当作硬性工作流的一部分而不是可有可无的附加步骤。我自己现在的状态就是既离不开它又不敢全信它。写文案、列提纲、搜思路、整理格式这些活儿它干得比我快我乐得轻松。但每当我看到某个决定要基于它输出的信息去执行时我还是会强迫自己回到原始资料里核对一遍。我经常觉得我现在的工作方式本质上是在为它补上那段缺失的认知-学习-纠错回路——用外部工具补认知用人工复盘补学习用反复验证补纠错。谁也不知道接下来模型架构会不会往真正的认知建模方向走一步但至少在今天判断一句它是概率生成加反馈过滤是足够准确的。认清楚它没有内核这件事不丢人也不悲观真正危险的是把它当成有内核的系统去依赖。把期望值放回合适的位置它其实是一把好用的工具仅此而已。