最近帮团队面大模型岗连着面了几十个人感触很深。来面试的候选人简历都写得挺漂亮Transformer、LoRA、RAG这些词张口就来但真往深了问七八成的人卡在前几轮就露馅了。我们自己内部复盘的时候整理了一份高频题单大家戏称它是“LLM面试必问的8个问题答不上来直接淘汰”。这里面没有一道题是偏题怪题全是日常训练、部署、调优时躲不开的核心问题但就是这些基础到不能再基础的问题最能筛掉那些只背八股、没真正下过场的人。这篇内容不是让你背答案的我尽量把每道题背后的考察逻辑、标准回答路径、常见的翻车点都拆开讲一遍。不管你是准备跳槽的算法工程师还是刚入门大模型的学生又或者是要带新人、搭团队的Tech Lead把这8个问题吃透至少能帮你在技术面上少踩一半的坑。1. 为什么面试官偏爱这8个问题淘汰逻辑与考察本质1.1 从八股到“是否真的下场干活”很多候选人以为面试官喜欢听新概念、新框架于是准备了一堆“智能体自主容错控制”“可靠AI系统工程实践”之类的宏大表述。实际上作为面试官我听到这些词的第一反应不是兴奋而是警惕。因为这些概念如果没有落过地说出来就是空中楼阁一问细节就塌。这8个问题之所以被反复拎出来当“淘汰题”核心原因是它们能快速区分两类人一类是真正训练过模型、部署过服务、排查过线上故障的人另一类是只看过博客、刷过面经、甚至只调过API的人。这两类人在回答同样的问题时信息密度完全不一样。前者会主动提到参数量、学习率、显存占用、延迟分布这些具体数字后者只会说“用BERT的效果不错”“我们用了RAG方案”这种没有颗粒度的空话。这背后其实是一个很朴素的逻辑大模型岗位招的不是理论家而是能解决实际问题的人。模型的loss不收敛、推理服务OOM、回答出现幻觉这些都不会写在教材里只能靠实际踩坑积累经验。面试官问基础问题不是想听你背定义而是想通过你对基础概念的理解深度判断你有没有真正用这些概念解决过问题。1.2 这8个问题覆盖的完整能力地图我先把这8个问题列出来你会发现它们不是随机拼凑的而是一条完整的能力链路Transformer为什么用自注意力位置编码是怎么回事从GPT-2到GPT-4模型架构和训练范式发生了什么变化Tokenization怎么做BPE和SentencePiece怎么选SFT之后为什么还要RLHF完整流程每一步在解决什么问题上下文窗口为什么重要长上下文有哪些工程方案RAG和微调怎么选混合方案怎么设计模型推理部署的关键性能点是什么KV Cache和量化怎么落地幻觉、评测、数据质量——LLM应用上线前必须解决哪些可靠性问题这8个问题覆盖了“原理理解—训练对齐—工程部署—可靠性保障”四个层面。面试官只要把这些问题逐个问一遍基本就能画出你的能力画像你是一个能独立负责模型训练的人还是只能做应用层集成的开发者又或者只是停留在“会用ChatGPT”的层面。2. 第一类必问题模型原理与训练机制2.1 问题1Transformer为什么用自注意力位置编码是怎么回事这是所有大模型面试的第一问很多人觉得简单但真正答好的没几个。基础答案是“自注意力可以并行计算、能捕捉长距离依赖”位置编码是“给模型注入词的顺序信息”。但面试官真正想听的是你理解“为什么是注意力而不是别的机制”。自注意力本质上是一个加权求和过程每个token都能直接和序列中任意位置的token建立联系这个“任意到任意”的特性让信息传递路径最短。相比RNN需要一步步递归传递信息CNN需要堆叠层数扩大感受野自注意力一步到位这也是它能并行处理序列的根本原因。你还需要说清楚它的复杂度是O(n²)n是序列长度这为后来长上下文技术的出现埋下了伏笔。位置编码这里有一个很关键的细节Transformer本身是置换等变的也就是说你把输入序列打乱顺序自注意力的计算结果不会变只是输出的位置跟着变这显然不符合语言理解的需求所以必须注入位置信息。从最初的绝对位置编码sinusoidal到可学习的绝对位置编码再到相对位置编码如RoPE、ALiBi这条技术演进的路线你最好能讲清楚。特别是RoPE现在几乎所有主流模型都在用它通过旋转矩阵把位置信息编码进query和key的夹角里既能表达相对位置又具备外推能力面试官听到这里通常会眼前一亮。这里我建议你补一个思考为什么RoPE能外推而绝对位置编码不行因为绝对位置编码在训练时只见过一定长度的位置超过这个范围就是分布外而RoPE编码的是位置之间的相对关系模型学到的是“两个token之间距离越远夹角越大”的规律这个规律在更长序列上同样成立所以外推能力天然更强。2.2 问题2从GPT-2到GPT-4模型架构和训练范式发生了什么变化这个问题考察的是你对大模型发展脉络的整体把握。从GPT-2到GPT-4很多人只会说“模型变大了数据变多了”但如果只答到这个层面这题基本就危险了。你需要拆成两个维度来讲。架构层面GPT-2到GPT-3其实是参数规模的暴力扩展GPT-3引入了in-context learning的能力模型大到一定程度后仅仅通过提示词就能执行新任务这催生了“预训练提示”的范式。GPT-3.5/ChatGPT阶段的关键变化是加入了RLHF基于人类反馈的强化学习让模型的输出对齐人类偏好这一步是质变模型从“会说话”变成“懂礼貌”。GPT-4则进一步在多模态、指令遵循的精细度、幻觉抑制上做了工程优化架构上的变化反而不如训练数据配比和后期对齐的调整大。训练范式层面你要能讲清楚这条链路预训练Pre-training→ 监督微调SFT→ 奖励建模RM→ 强化学习RLHF/DPO。很多人觉得SFT之后模型已经能用了为什么还要做RLHF这里有个关键认知SFT只是在模仿人类答案的分布但人类答案里有好有坏SFT学的是“平均”而RLHF是让模型在“好”的方向上继续优化。你可以用教育来类比SFT是看标准答案学习但考高分不能只看答案还得知道什么样的回答是高分回答RLHF就是找一个老师奖励模型来打分再让模型根据分数调整自己的策略。这一题想拿高分最好再主动提一下DPO。RLHF的训练流程复杂、成本高、不稳定DPO直接把人类偏好转化为简单的分类损失绕过了显式的奖励模型效果却能和PPO版本相当。面试官问这个问题很大程度上是想看你对训练细节的敏感度你如果能说出“现在很多开源模型用DPO替代了RLHF”说明你真的关注过前沿实践。2.3 问题3Tokenization怎么影响模型效果BPE和SentencePiece怎么选这题常被低估但实际上它非常能区分“调包侠”和“懂行的人”。Tokenization是把文本切成模型能处理的token序列这个环节决定了模型词汇表的大小、训练效率、推理速度甚至直接影响模型对某些语言的理解质量。BPEByte Pair Encoding的核心思想很直观从字符级别开始不断合并出现频率最高的相邻token对直到达到预设的词汇表大小。它的好处是能平衡词表大小和序列长度常见单词可以整体编码罕见词可以退化为子词甚至字符。SentencePiece则是一个更工程化的实现它把空格也当作一种token来处理天然支持多语言而且内置了BPE和Unigram两种算法。实际项目里该怎么选我的经验是做中文任务优先考虑SentencePiece中的Unigram算法因为它能更好地处理中文这种没有天然空格的语言做英文任务BPE足够了字节级别的BPE如GPT-2用的byte-level BPE还能做到零OOV。一个常见的追问是词汇表大小怎么定太小会导致序列过长、训练效率低、信息压缩不足太大会让embedding矩阵过大、显存暴涨、而且大量低频token学不好。实践中32K到128K是常见区间中文场景通常64K够用。还有一个容易漏的点tokenization的一致性直接影响数据标注质量你在给模型做指令微调时如果语料清洗和tokenize方式没对齐标注数据的噪声会被模型放大这一点后面聊可靠性时还会再提到。3. 第二类必问题上下文、知识与可靠性3.1 问题4上下文窗口为什么重要长上下文有哪些工程方案这题几乎是必考的而且考法很灵活。上下文窗口决定了模型一次能“看到”多少信息直接关系到多轮对话的记忆能力、长文档的理解能力、以及RAG系统中能塞进去多少检索内容。你先要把核心矛盾讲清楚自注意力的计算复杂度是O(n²)上下文窗口翻一倍计算量和显存占用涨四倍。所以“让模型支持更长上下文”不是一个简单的参数修改而是一系列工程优化。主流方案有几条路线稀疏注意力如局部注意力全局注意力、FlashAttention通过分块计算和重计算大幅减少显存占用、以及各种位置编码外推方案RoPE的NTK-aware scaling、YaRN等。这里最好提一下推理阶段的KV Cache长上下文对显存的最大压力其实来自KV Cache因为每个token的key和value都要缓存长度翻倍缓存也翻倍这直接推高了部署成本。面试官如果追问“上下文窗口是不是越长越好”你要敢于说“不一定”。窗口越长模型越容易在长距离信息中“迷失”出现所谓“lost in the middle”现象——对出现在中间位置的信息利用很差。实际工程中与其盲目追求超长窗口不如把RAG做得更精准、把指令设计得更清晰。3.2 问题5RAG和微调怎么权衡混合方案怎么设计这是一个没有标准答案、但极度考察工程判断力的问题。我的回答框架是先讲清楚两种方案的适用边界微调适合改变模型的行为模式和风格比如让模型扮演特定角色、输出特定格式RAG适合注入频繁更新的私有知识比如企业内部的文档、实时的业务数据。微调解决不了知识过期的问题RAG解决不了行为对齐的问题两者不是替代关系而是互补关系。从成本维度看微调在数据准备上非常昂贵高质量的指令数据要人工标注、清洗、审核这个成本往往被低估。RAG的瓶颈则在于检索质量“垃圾进、垃圾出”如果召回的内容不对模型再强也答不对。我在实际项目里的经验是先用RAG把准确率基线拉起来然后把RAG仍然搞不定的bad case攒下来用这些真实的错误样本去微调形成“RAG为主、微调兜底”的混合架构。这个顺序很重要因为RAG的问题是可解释、可迭代的你清楚知道错在哪里而微调是一个黑盒不该一开始就把宝押在它身上。3.3 问题6幻觉从哪来怎么做到可评测、可监控幻觉问题可以说是LLM应用落地最大的拦路虎这题也是近年面试的高频区。先说幻觉的来源主要有三类一是训练数据本身就存在错误和矛盾模型学到了错的知识二是采样过程中的随机性低概率的错误输出被抽中了三是模型为了“顺应”用户的提问意图产生了谄媚性编造用户问“这个产品有哪些功能”模型哪怕不知道也会编几个功能出来。回答这个问题的关键是“别只讲原因要讲对策”。最直接的对策是给模型更可靠的知识来源也就是RAG加引用其次是让模型学会“不知道”在SFT阶段专门加入“无法回答”的样本教模型在不确定时承认不确定再次是采样参数要调对temperature过高会放大随机性对大模型来说0.2到0.4通常是一个稳妥区间。更进阶的层面是评测体系的建设。幻觉的评测不是一次性工作而是要上线后持续监控。这里需要引入两套东西一套是离线的自动化评测集用来做回归测试另一套是在线的监控指标比如“引用可验证率”“空答率”“用户反馈中的负面关键词”。我在实际项目中会把模型对同一组问题的回答记录下来每天抽检一部分让标注团队给“是否存在幻觉”打标形成一条数据飞轮。这个方向其实已经和“数据标注”深度绑定了——幻觉评估本质上是需要高质量人工标注来打底的。4. 第三类必问题部署、量化与可靠性工程4.1 问题7模型推理部署的关键性能点KV Cache与并发优化面试问到部署环节考察的是你有没有真正把模型跑起来、压测过、调优过。性能的核心指标不外乎三个首token延迟TTFT、生成吞吐tokens/s、显存占用。而这三个指标全部指向同一个关键优化点——KV Cache。先解释KV Cache在生成阶段模型每生成一个token都要重新计算之前所有token的注意力如果不缓存计算量随生成长度线性增长慢到不可接受。KV Cache就是把历史token的key和value缓存起来避免重复计算但代价是显存占用。优化方向有这么几个PagedAttention把KV Cache分页管理减少显存碎片这也是vLLM的核心创新、KV Cache量化把缓存从FP16压到INT8甚至INT4、以及GQA/MQA减少key和value的头数从架构层面降低缓存量。这些术语你不用全背下来但至少你要讲得出“为什么推理速度快慢不只取决于算力还取决于显存带宽和KV Cache设计”这个层级的理解。并发优化上关键方法是Continuous Batching。传统静态batching要等一个批次所有序列都生成完才释放资源Continuous Batching则让不同序列动态进出批次大幅提升GPU利用率和吞吐。这里有一个很实用的经验在线服务的延迟和吞吐是一对矛盾你不能只看平均延迟要看TP99因为LLM生成有很强的长尾效应个别超长输出会拖垮整体体验。4.2 问题8本地部署如何选型GGUF量化与推理框架对比这题考到“模型选型”和“量化落地”现在团队里越来越多人开始研究本地部署。面试官通常希望听到你对GGUF格式、量化等级、推理框架选型有明确认知而不是只会说“我们用了API”。GGUF是llama.cpp推出的一种模型存储格式它把模型的权重、tokenizer、超参数打包成一个文件最关键的是支持不同精度的逐层量化。实际部署时会看到很多量化档位Q4_K_M、Q5_K_M、Q8_0等。这串代号什么意思Q4表示4-bit量化K_M是一种混合量化策略对模型的关键层用较高精度对次要层用较低精度M是中等大小。选型经验是日常用Q4_K_M或Q5_K_M效果与原始FP16模型差距很小但显存和内存占用直接砍掉75%左右追求极限部署效果再考虑Q8_0而Q2、Q3档位基本不建议用质量损失肉眼可见。本地推理框架的选择目前主流是llama.cpp、Ollama、vLLM、LM Studio这套生态。Ollama适合快速体验和开发调试一条命令就能跑起来vLLM适合高并发的生产环境吞吐性能最强LM Studio在Windows和Mac桌面端很好用图形界面友好对想折腾本地大模型但不太习惯命令行的人非常友好如果你想在自己的安卓手机上跑GGUF模型现在也有专门的推理应用但这更多是玩具场景真正的生产部署还是得靠服务器。给一个具体的选型建议个人PC或开发机16GB内存跑7B-8B的Q4模型够用32GB内存可以尝试13B-14B要跑70B级别内存至少要64GB而且量化精度必须压到Q4甚至更低。这些数字不是拍脑袋是根据模型参数量和量化位宽算出来的比如7B模型Q4量化大概需要4GB权重内存加上KV Cache和中间激活8GB内存是下限。4.3 追问延伸Agent可靠性、容错控制与数据标注的质量闭环这道题虽然标题里没直接出现但它是第8题最常见的追问方向也是现在行业里特别热的“智能体自主容错控制”话题。面试官问你Agent的可靠性其实是想看你对“LLM应用上线后的系统性风险”有没有感知。Agent场景下模型不再是单轮问答而是多步推理、调用工具、做出决策。每一步都可能出错而且错误会累积放大。容错控制要从三个层面做首先给Agent的所有外部动作加“权限边界”比如工具调用的参数校验、数据访问的权限控制不能指望模型“自觉”其次设置“确认机制”高影响的操作必须让模型先把意图解释清楚由系统二次确认后再执行最后要有“降级预案”模型出错时能自动回退到安全模式而不是硬着头皮继续执行。数据标注在这里的作用经常被忽视但它恰恰是可靠性的基石。Agent的评测需要高质量轨迹数据这些数据必须有人工从头到尾的审核包括意图识别对不对、工具调用参数是否合理、最终输出是否解决了用户问题。如果标注标准不统一后面自动评测和模型迭代全都会被带偏。面试官如果问你“做过哪些可靠性建设”你一定要把这个“数据标注标准制定—评测集构建—回归测试—线上监控”的闭环讲出来这比任何新概念都有说服力。5. 面试实战技巧与避坑清单5.1 标准回答框架定义-原理-参数-场景-取舍和很多候选人聊下来我发现一个普遍问题拿到一道题不知道从哪里开始答要么答得太浅一句话说完了要么答得太散想到什么说什么。我自己给团队分享过一个“五步回答法”面试时非常管用第一步先给定义用一两句话说清楚是什么第二步讲原理拆解内部的机制第三步给参数或数据举出具体的数字比如“我们的模型上下文从4K扩展到32KKV Cache从XX G增长到XX G”第四步落到场景说明这个技术解决的是什么业务问题第五步讲取舍主动说出这个方案的局限性和替代方案。这个框架最大的价值是“给面试官一个顺着追问的靶子”。你说到参数时面试官自然会追问“为什么选这个值”你讲取舍时面试官会追问“如果换一种方案会怎样”。这种互动式的面试过程比单方面背答案不知道高到哪里去了。但注意框架只是骨架里面的血肉一定要来自你真实的项目经验没有真实经验硬套框架面试官几句追问就能识破。5.2 高频翻车点与我的复盘经验最后分享几个我在面试中反复见到的高频翻车点都是真实案例希望你能绕开。第一个翻车点是“只背概念不背数字”。问它模型有多大、训练用了多少张卡、推理显存多少一概答不上来。这种候选人哪怕概念背得再溜给面试官的印象也是“纸上谈兵”。建议你准备至少带三个数字进面试项目里模型参数量、训练/推理的显存占用、线上服务的延迟或吞吐指标。第二个翻车点是“新概念一知半解就往外抛”。有人特别喜欢提Agent、RAG、多模态这些热门词但问到“你实际用RAG时召回率多少、chunk怎么切的、embedding用的什么模型”立刻语塞。我的建议是宁可少说几个概念把最核心的一两个讲透也不要试图用广度掩盖深度。面试官问“RAG怎么做”你要是能讲出chunk大小从256调到512时命中率的变化这就是一个能让你脱颖而出的细节。第三个翻车点是“说错数值嘴硬不认”。比如把KV Cache的单位说成GB还是MB被指出了还坚持己见。面试其实也是沟通遇到自己不确定的地方坦诚说“这个数字我记不太清了但我知道它的量级是…”比硬撑要好得多。工程师最重要的品质就是实事求是面试官更愿意听到你说“这个我当时记了现在需要翻一下笔记”而不是胡编乱造。第四个翻车点是“忽略本地部署和量化”。现在很多业务场景都要求私有化部署GGUF、ONNX、TensorRT这些词还是得懂一点。哪怕是做应用层的开发面试官也会默认你了解模型怎么打包、怎么部署、怎么压性能毕竟大模型的落地不能永远指望云端API。我在实际参与面试时最大的体会是这8个问题没有一道是“知识竞赛题”它们全都是在模拟日常工作场景。你不需要做一个什么都会的百科全书式候选人但你一定要是一个“真的动手做过、踩过坑、能总结成经验”的工程师。把这篇内容里的每个问题都用自己的项目经验重新过一遍找找你在这些问题上真实的思考、踩过的坑、调过的数那才是面试官最想听到的东西也是这8道题真正的通关密码。