1. 为什么“给信源”比跑分更值得关注大模型评测这件事我前两年也追过一阵子跑分榜。MMLU、GSM8K、HumanEval谁高零点几个百分点都能在圈子里讨论半天。但用得多了以后我慢慢发现一个很尴尬的事实跑分高的模型在实际对话里未必让你省心而真正让你愿意反复打开的那个模型往往是因为它“说话有出处”。这就是我想聊的信源指标——模型在回答问题时会不会主动告诉你这个信息从哪来、依据是什么、哪些部分是推断、哪些部分是确定的。它不像跑分那样有一个统一的数字但它直接决定了你能否信任这个回答以及你后续要不要花时间去核实。举个我自己的例子。上个月我帮朋友查一个技术参数的兼容性问题同一个问题分别问了三个模型。A模型直接给了一个结论语气非常肯定但我拿去对照官方文档发现它对不上B模型给了结论同时补了一句“这个结论基于我训练数据中的某版本文档建议你以当前官方文档为准”C模型则直接说“我无法确认这个具体版本的参数建议查阅官方发布说明”。三个回答里只有B和C让我觉得可以继续往下走A那个我差点就信了。所以这篇东西不是要再做一个跑分横评而是想从信源意识这个角度把 DeepSeek、GLM、Claude 这三个我日常用得比较多的模型拉出来聊聊它们在“给不给信源、怎么给信源、给的信源靠不靠谱”这件事上的实际表现。如果你平时用大模型查资料、写方案、做技术选型或者只是想让AI回答得更可信一点这些经验应该对你有用。提示下面所有对比都是基于我个人的使用场景和提问方式不是实验室条件下的严格评测。模型版本会更新行为也会变化所以结论有时效性重点看方法和思路。2. 三个模型在信源意识上的实际表现2.1 DeepSeek技术类问题给源积极但需要你主动追问DeepSeek 是我在技术问题上用得最多的一个。它在回答编程、部署、参数配置这类问题时有一个比较明显的特点如果你不主动问“出处是什么”它默认会给一个比较完整的答案但不一定附来源。可一旦你在提问里带上“请给出依据”或者“这个说法的来源是什么”它的表现会明显不一样。我试过同一个问题问两遍。第一遍直接问“vLLM 部署 DeepSeek 模型时显存怎么估算”它给了一个公式和几个经验值回答很流畅但没有提任何文档或社区来源。第二遍我改成“vLLM 部署 DeepSeek 模型时显存怎么估算请说明你的依据来自哪里”它这次除了公式之外还补了一句“这个估算方式参考了 vLLM 官方文档中关于 KV Cache 的说明以及社区中常见的实践总结”并且把公式里每个变量的含义拆得更细了。这个行为说明 DeepSeek 并不是没有信源意识而是它的默认输出策略偏向“先给答案”。这在效率上其实是好事你不需要每次都看一堆引用。但在做技术决策的时候我建议你养成一个习惯关键结论追问一句来源。DeepSeek 在追问之后给出的信源质量通常不错尤其是涉及开源社区实践、官方文档这类内容时它能把依据说得比较清楚。还有一个细节值得注意。DeepSeek 在回答“不确定”的问题时有时候会用比较委婉的方式表达比如“通常来说”“一般情况下”。这种表述本身不是坏事但如果你把它当成确定结论去用就可能出问题。我的做法是看到这类限定词就主动追问一句“这个‘通常’的范围是什么有没有例外情况”往往能逼出更有价值的信息。2.2 GLM中文语境下信源意识较强但深度依赖提问方式GLM 系列我在中文资料整理和文档撰写场景里用得比较多。它在信源这件事上有一个比较突出的特点对中文语境的来源引用相对自然。比如你问一个国内技术社区常见的问题它有时候会提到“根据国内开发者的常见实践”或者“在某技术社区的讨论中”虽然不会给出具体链接但至少让你知道这个结论不是凭空来的。但 GLM 的信源表现和提问方式关系很大。我做过一组对比同样问“GLM 可以单独买 API 的 token 吗”如果我只是简单问一句它会直接给一个答案语气比较确定如果我加上“请说明这个信息的依据和可能的变动情况”它就会补充说“具体购买方式和建议以官方平台的最新说明为准不同时期可能有调整”。后一种回答明显更让人放心。这里有一个我踩过的坑。有一次我用 GLM 查一个 API 的计费细节它给了一个看起来很像官方口径的答案我直接拿去用了结果后来发现那个信息已经过时。回头再看它的回答其实里面有一句“根据我了解到的信息”这个表述在当时被我忽略了。所以我的经验是GLM 在信源提示上往往用比较含蓄的方式你需要留意那些“根据我了解”“一般来说”之类的措辞它们其实是在告诉你这个信息的确定性等级。另外GLM 在处理“需要多步推理”的问题时信源意识会有所下降。比如你让它做一个方案对比它可能会把不同来源的信息混在一起最后给一个综合结论但不太容易区分哪部分来自哪里。这种时候我会把它当成一个“信息整理助手”而不是“信息源”整理完之后自己再去核实关键数据。2.3 Claude信源表达最克制但边界感最清晰Claude 在这三个模型里信源表达的风格是最不一样的。它不太倾向于给你一个“看起来很确定”的答案而是经常主动划边界。比如你问一个它不确定的问题它会直接说“我无法确认这个具体信息”而不是给一个模糊的推测。这个特点在技术场景里其实很有价值。我印象比较深的一次是问一个关于某个工具最新版本功能的问题Claude 的回答是“我的训练数据可能不包含这个版本的最新变化建议你查阅官方发布说明”。这个回答本身没有给我想要的答案但它帮我省掉了“试错”的时间——如果我拿一个过时的信息去配置环境可能要多花半小时排查。Claude 在给信源时还有一个习惯它会区分“我知道的”和“我推断的”。比如在解释一个技术原理时它可能会说“这部分是基于通用原理的推断具体实现可能因版本而异”。这种区分在写方案或者做技术选型时特别有用因为你能清楚地知道哪些部分需要额外验证。但 Claude 也有一个让我不太适应的地方有时候它的边界感太强了导致回答显得“不够干脆”。你问一个其实有明确答案的问题它也可能加上一堆限定条件。我的应对方式是在提问时明确告诉它“如果你有较高把握请直接给结论如果不确定再说明”。这样它的回答会更有针对性。2.4 一个横向对比表为了更直观地看这三个模型在信源意识上的差异我把自己实际使用中的观察整理成了下面这个表。需要说明的是这些评价是基于我的使用场景不是绝对结论。维度DeepSeekGLMClaude默认是否主动给来源较少主动给但追问后质量高中文语境下偶尔主动提来源不常给具体来源但常划边界对“不确定”的表达用“通常”“一般”等限定词用“根据我了解”等含蓄表达直接说“无法确认”或“建议核实”技术类问题信源质量较高能说清依据类型中等依赖提问方式较高但偏保守中文资料场景表现稳定相对更自然可用但不如前两者顺适合的使用方式追问来源关键结论二次确认明确要求说明依据接受它的边界提示别嫌啰嗦这个表不是要分个高下而是想说每个模型的信源风格不一样你需要根据场景来选。查技术参数、做部署方案我会优先用 DeepSeek 然后追问来源整理中文资料、写文档初稿GLM 更顺手做技术选型、需要明确知道“哪些不确定”的时候Claude 的保守反而是一种优势。3. 怎么提问才能让模型给出更可靠的信源3.1 把“给来源”写进你的提问模板很多人问模型问题就是一句话扔过去然后抱怨模型胡说。其实模型给不给信源很大程度上取决于你怎么问。我自己的做法是在需要可靠信息的场景里用一套固定的提问模板。这个模板不复杂但效果很明显。我常用的模板是这样的请回答以下问题并按照这个结构组织你的回答 1. 直接结论如果你有较高把握 2. 这个结论的依据是什么文档、社区实践、通用原理等 3. 哪些部分你不确定或者可能因版本/时间而变化 4. 如果需要进一步核实建议查什么 问题xxx这个模板的好处是它把“信源”从一个可选项变成了必选项。你不需要每次手动追问模型会按照你给的结构来组织回答。我实测下来DeepSeek 和 GLM 对这个模板的响应都比较好Claude 则会在这个基础上再加一些它自己的边界说明。还有一个变体是当你只需要一个快速答案时可以简化为“请给结论并标注确定性等级高/中/低”。这个方式适合在写代码或者排查问题时快速判断要不要信这个回答。3.2 追问的技巧从“为什么”到“来源是什么”追问也是一门手艺。我见过很多人追问的方式是“你确定吗”这种问法其实效果不好模型很容易回一句“是的我确定”或者“抱歉可能不准确”但不会给你更多信息。更有效的追问是把问题具体化。比如不要问“你确定吗”而是问“这个说法的来源是官方文档还是社区实践”不要问“这个对吗”而是问“这个结论在哪个版本范围内适用”不要问“有没有例外”而是问“在什么情况下这个结论会不成立”我试过用这种方式追问 DeepSeek 关于一个部署参数的问题它从最初的“一般设置为 X”逐步补充到了“这个值在官方文档的某章节有说明但在显存较小的环境下需要调整社区中有开发者反馈过 Y 的情况”。这种追问出来的信息比第一遍的回答有价值得多。3.3 不同场景下的信源策略不是所有场景都需要严格追问信源。我自己的做法是按场景分三档高可靠性场景技术选型、生产环境配置、对外发布的文档。这类场景我会用完整模板提问并且对关键结论做二次核实。模型给的信源只作为线索最终以官方文档或实际测试为准。中等可靠性场景内部讨论、方案初稿、学习理解。这类场景我会要求模型标注确定性等级对“低确定性”的部分保持警惕但不一定每条都去核实。低可靠性场景头脑风暴、创意发散、快速了解一个陌生领域。这类场景我更看重模型的流畅度和覆盖面信源要求可以放宽但心里要清楚这些内容需要后续验证。这个分档的好处是你不会因为过度追问而降低效率也不会因为完全不追问而在关键问题上踩坑。4. 实际使用中遇到的典型问题与排查4.1 模型给了来源但来源对不上怎么处理这是最常见的问题。模型说“根据官方文档”但你去找发现文档里没有这句话。这种情况我遇到过好几次后来总结出一个排查顺序。先看模型说的来源是具体来源还是模糊来源。如果它说“根据某官方文档的某章节”那你可以去核对如果它只说“根据官方文档”那这个来源的可靠性就要打折扣。我的经验是越具体的来源越可信越模糊的来源越需要警惕。然后看这个来源是否可验证。有些模型会提到“社区讨论”“开发者反馈”这类来源本身就不是精确的你没法逐条核对。这种情况下我会把模型给的信息当作“线索”而不是“结论”用它来指导我去搜索什么关键词而不是直接采信。最后看多个模型是否一致。如果 DeepSeek、GLM、Claude 对同一个问题的回答在关键点上一致那这个信息的可靠性会高一些如果三个模型说法都不一样那就要特别小心。我一般会用同一个问题分别问两到三个模型对比它们的结论和信源表述。4.2 模型过度自信怎么办有些模型在不确定的时候也会给出很肯定的语气这是最危险的情况。我的应对方式是主动测试它的边界。比如问一个我知道答案的问题看它会不会承认不确定或者问一个明显有时效性的问题看它会不会主动说“我的信息可能过时”。如果模型在这些测试中表现不好那我在这个场景里就会降低对它的信任等级。反过来如果模型主动说“这个我不确定”我反而会更信任它在其他问题上的确定回答。还有一个技巧是用反事实提问。比如模型给了一个结论你可以问“如果这个结论是错的最可能错在哪里”。这个问题能逼模型去思考自己的盲区往往能暴露出一些它原本没说的不确定性。4.3 中文资料场景下的信源问题中文资料场景有一个特殊困难很多信息来自社区讨论、博客、问答平台本身就没有一个权威的“官方文档”可以引用。这种情况下模型给的信源往往更模糊你也更难核实。我的做法是在中文资料场景里降低对“精确信源”的期待提高对“交叉验证”的依赖。具体来说就是同一个问题问多个模型或者同一个模型换几种问法问看结论是否稳定。如果不同问法下结论一致那可靠性会高一些如果换个问法答案就变了那就要警惕。另外中文技术社区的信息更新很快模型训练数据里的内容可能已经过时。所以在这类场景里我会把模型当作“索引”而不是“答案”——用它来了解一个领域有哪些关键概念和常见做法然后自己去最新的一手资料里核实。4.4 常见问题速查表问题现象可能原因处理方式模型给结论但不给来源默认输出策略偏重效率追问“依据是什么”或用模板提问来源模糊无法核实信息来自社区或训练数据当作线索自行搜索关键词验证模型语气肯定但答案有误过度自信或信息过时用反事实提问测试边界交叉验证不同模型结论不一致训练数据或推理路径不同以官方文档和实际测试为准中文资料信源难核实社区信息本身缺乏权威来源多模型交叉验证关注时效性5. 我自己的信源核查习惯5.1 把模型当“研究助手”而不是“答案机器”这个心态转变是我用大模型这几年最大的收获。以前我会把模型的回答当作最终答案现在我会把它当作一个研究起点。模型帮我快速了解一个领域的框架、关键概念、常见做法但具体的数据、参数、版本信息我一定会去一手资料核实。这个习惯让我避免了很多坑。比如有一次模型给了一个部署配置看起来很有道理但我按它的思路去查官方文档发现有一个关键参数在最新版本里已经改了。如果直接照搬可能要多花一两个小时排查。5.2 建立自己的“信源可信度分级”用久了之后我心里对不同类型的信源有一个大致分级高可信官方文档、源码、官方发布说明。这类信息模型如果能准确引用可靠性最高。中可信技术社区的高赞讨论、知名开发者的博客、经过验证的实践总结。这类信息需要交叉验证。低可信模型自己推断的内容、没有明确来源的“一般来说”、过时的训练数据。这类信息只作为参考不作为决策依据。这个分级不是绝对的但能帮我在看到模型回答时快速判断该花多少精力去核实。5.3 一个实用的小技巧让模型自己标注确定性我现在提问时经常加一句“请在每个关键结论后面标注确定性等级高/中/低”。这个简单的指令能让模型的回答结构清晰很多。确定性高的部分我可以快速采用确定性低的部分我会重点核实。实测下来DeepSeek 和 GLM 对这个指令的执行比较好Claude 则会在这个基础上再加一些它自己的边界说明。这个技巧不复杂但能显著提升你和模型协作的效率。5.4 定期更新你的“模型信源画像”模型版本更新很快信源行为也会变化。我大概每隔一两个月会重新做一次小测试用几个固定问题问一遍常用模型看看它们的信源表现有没有变化。这个习惯让我不会因为“以前的经验”而误判当前模型的能力。比如 DeepSeek 在某个版本更新后我注意到它在技术问题上主动提来源的频率有所提高GLM 在某次更新后对不确定信息的表达更谨慎了。这些变化如果不主动测试很容易被忽略。6. 回到那个被忽略的指标跑分榜每年都在更新但“这个模型会不会给你信源”这件事很少有人系统地去聊。可实际用下来这个指标对日常工作的影响比跑分大得多。一个跑分高但说话没出处的模型你每次用都要提心吊胆一个跑分中等但信源意识好的模型你反而敢把重要任务交给它。DeepSeek、GLM、Claude 在这件事上各有风格DeepSeek 偏向先给答案、追问后给依据GLM 在中文语境下信源表达更自然但需要你主动要求Claude 边界感最强不确定的时候会直接说。没有哪个是绝对更好的关键是你要知道它们的风格然后用合适的提问方式去配合。我自己的做法是把信源核查变成一种习惯而不是依赖某个模型“自动可信”。模型是工具信源意识是你自己的事。你问得越具体模型给的信息就越可靠你越清楚哪些需要核实就越不容易被误导。最后分享一个我最近在用的提问结尾效果不错“如果你对这个回答中的任何部分没有较高把握请直接说明不要用模糊表述掩盖不确定性。”这句话加上之后模型在不确定时的表达会坦诚很多。你可以试试。