1. 为什么这8个问题成了LLM面试的硬门槛面过十几场大模型岗位之后我发现一个很明显的规律面试官在前二十分钟基本不会问太偏的东西翻来覆去就是那么几个核心问题。但恰恰是这几个看起来“基础”的问题淘汰率最高。我见过不少简历上写着“熟悉Transformer”“有LLM微调经验”的候选人一问到具体机制就卡壳场面相当尴尬。这篇文章想做的事情很直接把这8个高频问题拆开揉碎不光告诉你“标准答案”长什么样更要讲清楚面试官问这个问题到底想考察什么、你应该往哪个方向答、哪些坑千万别踩。适合正在准备大模型方向面试的算法工程师、AI产品经理也适合刚入门想系统梳理知识体系的朋友。哪怕你暂时不面试把这8个问题吃透对理解LLM的整体运作机制也有很大帮助。需要提前说明的是不同公司、不同岗位对这几个问题的侧重点不一样。做推理优化的团队更关注KV Cache和量化做Agent的团队会深挖Function Calling的边界条件做预训练的团队则会把Tokenization和注意力机制问到底。所以我在每个问题后面都会标注“面试官真正想听的加分项”你可以根据目标岗位灵活调整准备重点。2. 八个必问问题逐个拆解2.1 问题一Transformer的自注意力机制到底在算什么这个问题几乎是所有LLM面试的开场白。面试官问这个不是想听你背“QKV三个矩阵相乘”而是想确认你对信息流动的理解是否到位。自注意力的核心操作可以拆成三步。第一步把输入序列的每个token映射成三个向量Query、Key、Value。你可以把它想象成一个检索系统——Query是你要查的关键词Key是每本书的索引标签Value是书里的实际内容。第二步用Query和所有Key做点积得到一组注意力分数分数越高说明这个位置越应该关注那个位置的信息。第三步对分数做softmax归一化然后加权求和所有的Value得到每个位置的输出表示。这里有个细节很多人会忽略为什么要除以根号d_kd_k是Key向量的维度。当维度很大时点积的结果会变得很大softmax之后会趋近于one-hot分布梯度几乎消失。除以根号d_k相当于把方差拉回到1附近保证梯度稳定。这个操作叫“缩放点积注意力”面试时能主动提到这一点说明你不是只看了几篇科普文。多头注意力则是把上面的过程并行做多次每次用不同的投影矩阵最后拼接起来再做一次线性变换。为什么要多头单个注意力头只能学到一种关注模式多头可以让模型同时关注语法关系、语义关联、位置邻近性等不同维度的信息。就像你读一句话时大脑同时在处理词性、句法结构、上下文指代等多个层面的信息。面试官真正想听的加分项能说清楚QKV的物理含义能解释缩放因子的作用能说明多头注意力的设计动机。如果还能提到注意力矩阵的稀疏化趋势比如Longformer、BigBird的思路基本就稳了。2.2 问题二Tokenization为什么不能简单地按空格切Tokenization是很多人觉得“太基础”而忽略的环节但面试官恰恰喜欢从这里切入因为它的设计直接影响模型的能力边界。最直觉的做法是按空格或字符切分但这样做有几个致命问题。按空格切中文、日文等没有空格的语言就没法处理按字符切序列会变得非常长计算量爆炸而且单个字符携带的语义信息太少。所以现代LLM普遍采用子词切分算法典型代表是BPE和SentencePiece。BPE的核心思路是从字符级别开始统计相邻字符对的出现频率把最高频的字符对合并成一个新的子词重复这个过程直到词表达到预设大小。这样做的好处是常见词会被完整保留为一个token罕见词会被拆成多个子词既控制了词表规模又避免了OOV问题。比如“unhappiness”可能被切成“un”“happi”“ness”三个token。SentencePiece和BPE的区别在于它直接把输入当作字节流处理不依赖预分词对多语言场景更友好。LLaMA系列用的就是SentencePiece的BPE变体。这里有个实际工程中很容易踩的坑词表大小和序列长度的权衡。词表越大每个token携带的信息越多序列越短推理越快但嵌入矩阵和输出层的参数量也会增加。词表太小序列变长注意力计算量是O(n²)增长推理成本急剧上升。所以你会看到不同模型的词表大小差异很大GPT-2是50257LLaMA是32000有些中文优化模型会扩到100000以上。面试官真正想听的加分项能对比BPE、WordPiece、Unigram等不同算法的优劣能解释词表大小对推理成本和模型效果的影响最好能结合具体模型举例。2.3 问题三位置编码为什么需要绝对位置和相对位置有什么区别Transformer的自注意力本身是置换不变的——把输入序列打乱顺序注意力计算的结果不变。但语言是有顺序的“猫追老鼠”和“老鼠追猫”意思完全相反。所以必须显式地注入位置信息。最早的做法是正弦位置编码用不同频率的sin和cos函数生成位置向量直接加到token的嵌入上。这种编码的优点是理论上可以外推到训练时没见过的长度但实际效果一般因为模型很难从这种编码中学会精确的相对位置关系。后来出现了可学习的位置编码把每个位置的向量当作参数训练。GPT系列早期用的就是这种。问题是训练长度之外的位置没有对应的参数外推能力差。现在主流方案是相对位置编码典型代表是RoPE和ALiBi。RoPE的思路很巧妙它不直接加位置向量而是对Query和Key向量做旋转操作旋转角度和位置成正比。这样两个位置之间的注意力分数只依赖于它们的相对距离天然具备更好的外推性。ALiBi更简单直接在注意力分数上加一个和距离成正比的惩罚项距离越远惩罚越大。实际面试中如果你能说清楚“RoPE为什么比正弦编码外推性好”基本就能和其他候选人拉开差距。核心原因是RoPE把位置信息编码进了注意力计算的旋转矩阵中相对位置关系在点积过程中自然体现而不是像正弦编码那样把位置信息混入嵌入向量后再做点积。面试官真正想听的加分项能推导RoPE的旋转矩阵形式能解释ALiBi的惩罚项设计能讨论长度外推的实际工程方案比如NTK-aware插值、YaRN。2.4 问题四KV Cache是什么为什么能加速推理这个问题是区分“只会训练”和“懂推理部署”的分水岭。很多候选人训练模型很熟但一问到推理优化就露怯。自回归生成的特点是逐个token输出每生成一个新token都需要和前面所有token做注意力计算。如果不做任何优化每生成一个token都要重新计算前面所有token的Key和Value计算量随序列长度线性增长总计算量是O(n²)。KV Cache的思路很直接把前面已经计算过的Key和Value缓存起来生成新token时只需要计算当前token的Query然后和缓存的Key做注意力再和缓存的Value加权求和。这样每步的计算量从O(n)降到O(1)总计算量从O(n²)降到O(n)。但KV Cache不是没有代价的。它占用的显存和序列长度、层数、注意力头数、头维度成正比。以LLaMA-7B为例假设序列长度409632层32个头头维度128那么KV Cache的大小大约是2×32×32×4096×128×2字节算下来超过2GB。这还只是单条序列如果做批量推理显存压力会成倍增加。所以实际部署中会用到各种KV Cache优化技术。MQA让所有注意力头共享同一组Key和ValueGQA把注意力头分组每组共享一组KV。这两种方案都能大幅降低KV Cache的显存占用代价是轻微的效果损失。现在很多新模型默认用GQA就是在效果和效率之间找平衡。面试官真正想听的加分项能估算KV Cache的显存占用能对比MHA、MQA、GQA的优劣能提到PagedAttention这类显存管理方案。2.5 问题五Function Calling的底层是怎么实现的Function Calling是Agent方向面试的必问题。很多人以为这是模型“天生”就会的能力其实背后是一套精心设计的提示工程加微调流程。基本流程是这样的你在调用API时除了传入用户消息还要传入一个工具列表每个工具包含名称、描述和参数schema。模型在生成回复时如果判断需要调用工具就会输出一个结构化的JSON包含工具名和参数。你的程序解析这个JSON执行对应的函数把结果再传回给模型模型基于结果生成最终回复。关键点在于模型并不是真的“理解”了工具的功能而是通过训练学会了“看到这类描述和这类用户请求应该输出这种格式的JSON”。所以工具描述的质量直接影响调用准确率。描述要清晰、参数要明确、边界情况要说明。我见过太多人工具描述写得含糊不清然后抱怨模型调用不准其实问题出在描述上。另一个容易踩的坑是并行调用。有些场景下模型需要同时调用多个工具比如“帮我查一下北京和上海的天气”模型应该输出两个工具调用请求。这要求你的解析逻辑能处理数组形式的输出而不是只处理单个对象。还有错误处理。工具执行可能失败模型需要根据错误信息决定是重试、换工具还是直接告诉用户失败。这需要在提示中明确告诉模型“如果工具返回错误你应该怎么做”。面试官真正想听的加分项能说清楚工具描述的设计原则能处理并行调用和错误恢复能讨论如何评估Function Calling的准确率。2.6 问题六微调和RAG分别适合什么场景这个问题考察的是你对技术选型的判断力不是单纯的知识点。面试官想看你有没有实际做过方案决策。微调的本质是调整模型参数让模型学会新的行为模式或领域知识。适合的场景包括固定格式的输出比如总是输出特定结构的JSON、特定风格的回复比如客服话术、领域术语的理解比如医疗、法律。微调的优点是推理时不需要额外检索延迟低缺点是更新成本高知识更新需要重新训练而且容易灾难性遗忘。RAG的本质是在推理时动态检索外部知识拼接到提示中让模型参考。适合的场景包括知识频繁更新的场景比如新闻问答、需要引用来源的场景、长尾知识覆盖。RAG的优点是知识更新只需更新检索库成本低缺点是检索质量直接影响效果而且增加了推理延迟。实际项目中两者经常结合使用。比如先用微调让模型学会领域术语和输出格式再用RAG补充实时知识。决策的关键因素是知识更新频率、对延迟的敏感度、标注数据的数量和质量、以及团队的技术栈。面试官真正想听的加分项能给出具体的决策框架能估算微调和RAG的成本差异能讨论混合方案的工程实现。2.7 问题七如何评估一个LLM的输出质量评估是LLM落地中最难也最容易被忽视的环节。面试官问这个问题是想看你有没有从“跑通demo”进化到“保证线上质量”。自动评估指标方面BLEU和ROUGE适合有标准答案的任务比如翻译和摘要但它们和人类判断的相关性有限。Perplexity适合评估语言模型的流畅度但和下游任务效果不是线性关系。现在更常用的是用强模型做裁判比如用GPT-4给候选输出打分但要注意裁判模型本身的偏差。人工评估方面需要设计清晰的评分标准比如相关性、准确性、流畅度、安全性等维度每个维度给出具体的评分锚点。标注员之间的一致性要用Kappa系数衡量太低说明标准不够清晰。线上评估方面A/B测试是金标准但需要足够的流量和明确的业务指标。对于对话系统用户满意度、会话轮数、任务完成率都是重要信号。对于生成任务点击率、转化率、人工抽检通过率都需要监控。实际工程中我通常会搭建一个三层评估体系离线用自动指标快速筛选人工评估做质量把关线上A/B测试做最终决策。每一层都有明确的通过标准不达标就不进入下一层。面试官真正想听的加分项能设计完整的评估pipeline能讨论评估成本和效果的权衡能提到LLM-as-Judge的偏差和缓解方法。2.8 问题八LLM的幻觉问题怎么缓解幻觉是LLM落地绕不开的坎。面试官问这个问题不是要你给出“完美解决方案”而是看你有没有系统性的思考。幻觉的根源可以从三个层面理解。数据层面训练数据中存在错误信息和矛盾信息模型学到了这些噪声。模型层面自回归生成的目标是最大化似然不是保证事实正确性模型倾向于生成“看起来合理”的内容。推理层面采样策略比如temperature引入的随机性会增加幻觉概率。缓解手段也对应三个层面。数据层面清洗训练数据过滤低质量来源增加事实性数据的权重。模型层面用RLHF让模型学会“不知道就说不知道”或者用检索增强让模型基于给定文档回答。推理层面降低temperature用束搜索代替采样或者用self-consistency让模型多次生成后投票。实际落地中RAG是最常用的方案因为它能直接把事实依据提供给模型。但RAG本身也有幻觉风险——如果检索到的文档本身有误模型会忠实地复制错误。所以检索质量监控和来源可信度评估同样重要。面试官真正想听的加分项能区分不同类型幻觉事实性、忠实性、逻辑性能设计多层防御体系能讨论幻觉检测的自动化方案。3. 面试官视角他们到底在考察什么3.1 知识深度 vs 工程判断力这8个问题看似在考知识点实际上每一题都在同时考察两个维度你对原理的理解深度以及你在实际工程中的判断力。以KV Cache为例能背出定义只是及格线。面试官更想听到的是你在什么场景下会选择MQA而不是GQAPagedAttention解决了什么具体问题显存不够时你的降级方案是什么这些问题没有标准答案但能看出你有没有真正部署过模型。再比如Function Calling能说出基本流程只是入门。面试官会追问工具描述写多详细才够模型调用错了你怎么排查并行调用的结果怎么合并这些细节只有在实际项目中踩过坑的人才能答得上来。所以准备面试时不要只背知识点要多问自己“如果我来做这个决策我会怎么选为什么”。把每个问题都当成一个实际工程问题来思考答案自然就有深度了。3.2 不同岗位的考察侧重点算法工程师岗位重点在Transformer细节、注意力机制变体、位置编码、微调方法。会要求手写注意力代码或者推导RoPE的旋转矩阵。对数学功底要求较高。推理优化岗位重点在KV Cache、量化、蒸馏、并行策略。会问显存估算、吞吐量优化、延迟降低的具体方案。对工程经验要求较高。Agent方向岗位重点在Function Calling、任务规划、多轮对话管理、工具编排。会问工具描述设计、错误恢复、多Agent协作。对系统设计能力要求较高。AI产品经理岗位重点在技术选型、评估体系、成本估算、场景判断。不会要求手写代码但要求能和技术团队顺畅沟通能做出合理的方案决策。3.3 回答框架从“是什么”到“怎么用”我建议每个问题都按这个框架来组织回答先用一句话说清楚“是什么”然后用两三句话解释“为什么这样设计”最后用具体例子说明“实际怎么用”。比如回答位置编码可以这样说位置编码是为了给置换不变的注意力机制注入顺序信息是什么。正弦编码外推性差是因为位置信息混入了嵌入向量RoPE通过旋转操作让相对位置在点积中自然体现为什么。在实际部署中如果推理长度超过训练长度我会用NTK-aware插值来扩展RoPE的基频怎么用。这个框架的好处是逻辑清晰面试官能快速抓住你的思路。而且“怎么用”部分往往能引出更多讨论让你有机会展示工程经验。4. 高频追问与避坑指南4.1 那些容易翻车的追问面试官问完基础问题后通常会有一到两个追问这些追问才是真正拉开差距的地方。我整理了几个高频追问和应对思路。追问一“你刚才说多头注意力能捕捉不同模式那怎么验证每个头确实学到了不同的东西”这个问题考察的是你对可解释性研究的了解。可以提到注意力可视化、头剪枝实验、以及“有些头确实冗余”的发现。追问二“BPE词表大小设为多少合适”这个问题没有标准答案但你可以给出决策框架看语言分布中文多就需要更大词表、看推理成本预算、看嵌入层参数量占比。然后给一个经验值比如多语言场景64000到100000英文为主32000到50000。追问三“KV Cache显存不够时你怎么办”可以从几个角度答用GQA或MQA降低KV头数、用量化压缩KV精度、用PagedAttention做显存分页、限制最大序列长度、做请求排队和批处理调度。追问四“RAG检索到的文档和模型知识冲突时怎么处理”这是RAG落地中最棘手的问题。可以答在提示中明确告诉模型“优先参考给定文档”同时监控冲突率如果冲突频繁说明检索质量有问题需要优化检索策略或更新模型知识。4.2 常见误区与纠正误区一把Transformer等同于LLM。Transformer只是架构LLM还涉及预训练目标、微调方法、对齐技术等。面试时如果只谈Transformer会显得知识面窄。误区二认为微调一定比RAG好。实际上大部分场景RAG的性价比更高微调适合格式和风格调整知识注入还是RAG更灵活。误区三忽视Tokenization的影响。很多人觉得这是预处理步骤不重要但实际上词表设计直接影响模型的多语言能力、推理成本和输出质量。误区四把幻觉当成纯技术问题。幻觉也涉及产品设计——在什么场景下可以容忍幻觉在什么场景下必须零容忍这需要和业务方对齐。4.3 面试前的准备清单根据我的经验面试前一周可以按这个清单来准备手写一遍缩放点积注意力和多头注意力的代码确保能默写出来推导一遍RoPE的旋转矩阵理解为什么它能编码相对位置估算一次KV Cache的显存占用记住公式和典型数值设计一个Function Calling的工具描述想清楚每个字段的作用准备一个RAG和微调选型的实际案例能说清楚决策依据整理一套评估方案覆盖离线、人工、线上三个层面想清楚幻觉缓解的多层策略能结合实际场景讨论5. 从面试题到实际工作的能力映射5.1 这些知识在真实项目中怎么用面试题不是孤立的每一题都对应实际工作中的核心能力。Transformer和注意力机制的理解决定了你能不能读懂最新的论文能不能根据业务需求调整模型结构。比如做长文本处理时你需要判断是用稀疏注意力、线性注意力还是滑动窗口这些决策都建立在扎实的原理理解上。Tokenization的知识在 multilingual 场景中特别重要。如果你要做东南亚市场的产品词表对泰语、越南语的支持程度直接影响效果。你需要知道怎么评估词表覆盖率怎么扩展词表怎么处理新词。KV Cache和推理优化直接关系到成本。一个日活百万的对话产品推理成本可能是最大的支出项。你能不能通过GQA、量化、批处理把成本降下来直接决定产品的商业可行性。Function Calling和RAG是Agent产品的核心。工具描述写得好不好检索策略设计得合不合理直接决定用户体验。这些能力不是靠背题能获得的需要在项目中反复迭代。评估体系是保证质量的关键。没有评估就没有优化方向。你需要能设计合理的指标能搭建自动化的评估pipeline能根据评估结果做决策。5.2 持续学习的方向建议LLM领域变化很快面试题也在不断更新。但底层原理是相对稳定的把基础打牢新东西学起来就快。建议重点关注几个方向一是高效推理技术包括量化、蒸馏、稀疏化、投机解码二是Agent架构包括任务规划、工具编排、多Agent协作三是评估和对齐包括RLHF、DPO、可解释性四是多模态融合包括视觉-语言模型、语音-语言模型。学习方式上我建议“论文代码实践”三管齐下。读论文理解思路读代码理解实现跑实验验证效果。只看论文不写代码面试时容易被追问细节问倒只写代码不读论文容易缺乏方向感。5.3 面试之外构建自己的知识体系面试只是手段不是目的。真正重要的是构建一套自己的知识体系能快速理解新技术能做出合理的工程决策。我的做法是维护一个“问题-方案-效果”的笔记库。每遇到一个问题记录可能的解决方案实际尝试后的效果以及为什么某些方案有效或无效。时间长了这个笔记库就成了自己的决策参考。另外多和同行交流也很重要。很多工程细节不会写在论文里只在口口相传中流传。比如某个量化方案在特定硬件上的实际加速比某个RAG策略在特定领域的召回率这些信息往往比论文更有价值。最后再分享一个小技巧面试时如果遇到不会的问题不要硬编。可以说“这个问题我没有实际经验但根据我的理解可能的思路是……”然后展示你的推理过程。面试官往往更看重思考方式而不是标准答案。诚实加上合理的推理比胡编乱造要好得多。