如果让我给刚接触大模型技术栈的朋友推荐一份必学清单我不会从Transformer结构开始也不会直接甩论文链接。我会先让你弄懂14个核心概念Token、Embedding、参数量、预训练、微调、注意力机制、损失函数、推理、量化、RAG、上下文窗口、Agent、幻觉、多模态。这些词几乎会出现在所有模型文档、技术讨论和招聘JD里。它们不是孤立的知识点而是从数据怎么进入模型、模型怎么训练、部署时怎么加速、落地时有什么坑刚好串成一条完整链路。我自己也是从“每个词都查过、合在一起就晕”的阶段走过来的。这篇就按我实际的理解顺序来写不绕弯也不会堆公式尽量用能直接上手的视角把这14个概念说清楚。1. 一张概念地图先知道14个词缺在哪一格1.1 我最早犯过的错把概念背下来却没打通关系我刚开始学的时候特别爱背定义。背了很久之后仍然答不上来三个问题Embedding和Token到底是什么关系微调和RAG是不是二选一为什么模型参数量明明不大部署起来却那么吃显存后来我复盘才发现问题不在于哪一个概念难而在于概念之间没有连接。比如Token是模型读入文本的最小单位Embedding就是把Token变成数字向量而上下文窗口又限制了模型一次能塞进多少Token。这三个词本来是一条链上的事拆开看就成了三团迷雾。类似这样的情况还有很多量化不是简单的“文件压缩”RAG不是prompt里多塞一句话Agent也不是“高级聊天机器人”。所以这篇我会按“数据表示层、模型构建层、运行部署层、应用边界层”四个层次来组织先给你一张地图再逐个讲细节。1.2 四个层次一张表理清层次包含概念解决什么问题数据表示层Token、Embedding、上下文窗口模型怎么把人类文本变成可计算的信息模型构建层参数量、预训练、注意力机制、损失函数、微调模型的能力是怎么训练出来的运行部署层推理、量化、RAG模型训练完之后怎么跑起来、怎么落地应用边界层Agent、幻觉、多模态使用时会遇到哪些新能力和新风险这张表不需要背但建议你每次遇到一个新概念时先分类它是属于哪一层它和同层其他概念是什么关系这样做的好处是你再看到“RAG”时就不会把它当成一个独立工具而是会意识到它的核心价值在于“在推理时给模型补充信息”。2. 输入链路三件事Token怎么切、Embedding怎么映射、窗口能塞多长2.1 Token模型阅读文本的“乐高块”Token是模型实际读到的最小文本单位。它可以是词可以是半个词也可以是一个汉字或几个字符的组合。很多人第一次接触这个概念时会理所当然地认为“Token就是单词”这在大模型时代其实不太准确。不同分词器的切法差别很大。以英文为例“unhappiness”可能会被切成“un”“happi”“ness”这样的子词中文里“大模型”可能被切成“大”“模型”两个Token也可能被整体当成一个Token。具体怎么切取决于分词器的词表设计和训练数据。为什么不用“单词”而是用“子词”做基本单位两个原因词表可以变小。如果只用单词英文要收录几十万个词还要面对拼写变化和生造词。模型能处理没见过的新词。新词拆成已知的子词片段模型至少能猜出大概。实操中最需要记住的一点是Token数量直接决定计费、上下文占用和处理延迟。很多平台的成本都是按Token算的而不是按字数算的。你写一句很长的中文真正占的Token数可能比你想象中多。所以做任何应用之前第一件事应该是用模型自带的分词器去统计Token数。提示不要用Python的len(str)估算Token长度中文尤其不准。每个模型的分词器都不一样通用规则是“英文约4个字符一个Token中文通常一个汉字约1到2个Token”但最终以实际分词结果为准。2.2 Embedding语义相似变成距离相近分词之后模型需要把离散的Token变成连续的数字向量这一步就是Embedding。你可以把它理解成给每个Token分配一个“坐标”放在一个高维空间里。语义相近的词在这个空间里的距离也近语义无关的词距离就远。拿最经典的感觉来说“猫”这个Token的向量和“狗”的向量距离很近而“汽车”的向量就会离得比较远。当然这只是直观比方真实向量空间并没有“猫在坐标1,2这么简单”但思路就是让语义关系变成几何距离。为什么不能用简单的独热编码独热编码就是把词表里的每个词变成一条很长的向量只有自己那个位置是1其余全是0。这种表示虽然能区分不同Token但完全看不出语义相似性。“猫”和“狗”在这组向量里没有任何相似之处模型也就很难从它们身上学到“都是宠物”这样的共同点。Embedding不只是输入层的附属品它会在模型训练过程中被不断调整。现代大模型的Embedding和后面的Transformer网络是一起训练的所以模型对语义的理解会随着训练进步。到RAG阶段Embedding还会单独用在检索上先把文档切成小块再把每一块转成向量存起来查询时把问题也转成向量然后找最近的文档块。2.3 上下文窗口工作记忆而非永久记忆上下文窗口是模型能同时看到的Token总数量包括用户输入、历史对话以及模型即将生成的内容。很多人把它理解成“模型能记住多少东西”其实更准确地说它是模型的工作记忆容量。工作记忆意味着两件事。第一超过窗口的内容模型完全看不见你再往前翻对话它也不会自动“想起来”。第二窗口越长计算代价越大。注意力机制需要让每个Token都能关注到窗口内所有Token所以窗口翻倍时计算量和显存占用会显著上升而不是线性翻倍。很多实际项目都遇到过“长会话越聊越慢”的情况核心原因就在这里。处理长上下文的常见思路包括超过一定长度后把早期内容做摘要压缩进上下文。把重要信息外置到检索系统需要时再查进来。用滑动窗口只保留最近N轮对话。提示在设计应用时不要把上下文窗口当“永久数据库”。如果一个业务需要长期记忆正确方案是外接存储让模型按需读取而不是把所有历史都塞进窗口里。3. 训练核心五件套参数量、预训练、注意力机制、损失函数与微调3.1 参数量看完数字心里要有显存账参数量指的是模型里所有可学习的权重和偏置的总数单位通常用K、M、B表示1B等于10亿参数。大模型动辄7B、13B、70B说的就是这个数。参数量可以粗略看作模型的“容量”容量越大理论上能装下的模式和知识越多但训练和部署成本也越高。对于一个写在宣传页上的参数量你应该快速算出一笔显存账。大多数公开模型用FP16或BF16精度存储权重每个参数占用2字节。假设你遇到一个7B模型只是把权重加载进显存就需要7 × 10^9 × 2字节 ≈ 14GB如果一分不剩全部给权重那你至少要一块16GB的显卡才能勉强加载。实际推理时还有KV Cache、中间激活、框架开销所以14GB权重通常需要更大的显存才跑得舒服。训练时就更贵了。优化器会保存模型参数的副本甚至更多状态光是权重、梯度和优化器状态加在一起就可能达到权重的16倍以上。这就是为什么很多人能跑推理但跑不了微调。提示看到参数量不要只感慨“参数好多”要立刻估算出三个数权重占用多少GB、推理需要多少显存、量化后又能省多少。3.2 预训练用“接龙游戏”学出语言能力预训练是大模型能力的主要来源。它做的事情是在海量无标注文本上做自监督学习最典型的任务就是“根据上文预测下一个Token”。可以通俗地理解为一个巨大的接龙游戏模型看一长串文本反复猜下一个词是什么猜错了就调整参数再继续猜。这个过程不需要人工标注数据因为文本本身就是答案把一句话遮住后半部分让模型猜被捕的部分猜的就是下一个Token。互联网上的文章、书籍、代码等都可以作为训练语料模型从这些数据里学词汇、语法、事实常识甚至是推理的“语感”。预训练模型并不像数据库一样逐字记住所有信息。它学到的是词与词之间的统计规律和分布特征。也就是说它能答出“巴黎是法国的首都”不一定是因为记忆里存了一条记录而是因为相关文本在训练中反复出现让参数形成了某种规律。对绝大多数人来说预训练阶段是不需要自己重做的。开源社区已经有大量预训练完成的模型可以直接下载使用。你真正需要理解的是预训练决定了模型的基础能力上限后续的微调只能在这个上限之上做适配而无法凭空补上训练阶段就没有的知识。3.3 注意力机制决定每个词该“看”谁注意力机制是现代大模型的引擎。它让模型在处理一个Token时不是只看它前后固定几个词而是根据当前任务决定要参考上下文里的哪些位置并给这些位置分配不同的权重。可以用一个生活场景来理解当你读到“小明把杯子递给小刚因为小刚口渴了”这句话时你会自动把“口渴”和小刚联系起来而不是把注意力平均分给每个词。注意力机制做的就是类似的事它让模型学会为当前Token选择最相关的信息。具体实现时模型会为每个Token生成三组向量Query、Key、Value。Query可以理解为“我想找什么”Key是“每个位置能提供什么标签”Value是“每个位置实际提供的信息”。模型通过Query和Key的匹配程度决定注意力权重再按权重去加权汇总Value。这里有一个非常重要的工程影响注意力机制要求每个Token都要和窗口内所有其他Token做匹配所以计算量随窗口长度平方级上升。窗口一长显存就会吃紧。很多优化技术比如稀疏注意力、滑动窗口、KV Cache本质上都是在这条“平方级链路”上做文章。注意力机制也不是只看语法关系。多头注意力会让模型在不同子空间里分别关注不同的东西有的头关注语法结构有的头关注指代关系有的头关注局部搭配。它们合在一起才构成了模型理解句子的能力。3.4 损失函数模型每轮更新的“分数线”训练模型的本质是一个优化过程而损失函数就是这个过程中的“分数线”。大模型预训练和微调中最常见的损失函数是交叉熵损失。你不需要把公式背下来只需要理解它衡量的是什么模型给正确答案分配的概率越高损失越低如果正确答案本来应该概率很高模型却给了它很低的概率损失就会很大。训练过程就是不断用损失值去更新参数让下一次预测更准。工程上有一个容易忽略的点训练损失降到很低并不代表模型真的好了。损失只反映模型在训练数据上的拟合程度如果没做好泛化模型可能只是把训练样本“背”了下来遇到新数据就崩。所以训练时除了看训练损失还要看验证损失。提示不同模型之间的损失函数数值不能直接对比因为词表大小、任务难度和数据分布都不同。看到“损失从5降到1”这种描述别急着说好要看它是在什么数据集、什么任务下测的。3.5 微调让通用能力适配你的“口吻和规矩”预训练完成后的模型是一个通用选手能接话、能写东西但不一定懂你的任务格式也不一定符合你想要的语气。微调就是在这个基础上用一批带标注的数据继续训练让模型学会具体的行为规范。微调和预训练的关键区别是预训练教的是“语言规律和世界知识”微调教的是“任务格式和执行方式”。比如你想让模型输出JSON格式或者用更简洁的口吻回答客服问题只需要准备几百到几千条“问题-标准答案”数据再做一次有监督微调。常见的微调方式有全参微调和参数高效微调。全参微调效果上限高但显存和算力要求也高前面提到的参数量显存账在这里要再翻几倍。参数高效微调则是只训练一小部分额外参数代表作是低秩适配它在保持大部分原有参数不动的前提下用很小的参数量完成领域适配更适合个人开发者和小团队。不过要记住微调不是万能的。如果你想给模型补充大量新知识效率很低而且更新成本高这种场景更适合RAG让模型在回答时去查外部资料。微调和RAG不是二选一越来越多产品会把它们组合使用先用微调固定模型的行为风格再用RAG提供实时知识。4. 部署落地三件事把推理跑快、用量化塞进显存、用RAG补上知识4.1 推理生成是“一个词一个词蹦”的串行过程推理是大模型真正对外服务时的过程。输入阶段模型可以并行处理所有输入Token但生成阶段模型每输出一个新Token都要把这个Token拼回序列然后重新计算一遍预测。所以生成是串行的这也是为什么长文本生成往往比较慢。第一次收到用户的输入模型会计算整段输入的中间结果这个阶段通常叫预填充之后逐个生成Token的阶段叫解码。为了提高速度工程上常用KV Cache把已经算好的注意力键和值缓存下来避免每生成一个新Token就要把前面所有历史重新算一遍。即便如此KV Cache本身也要占显存。上下文越长缓存越大。社区里经常说的“长上下文跑不动”很大程度上就是被这个缓存挤占显存的。所以在评估一个模型能不能上线时不要只看参数量还要看平均输入长度和平均输出长度。按经验估算一条请求大约需要模型权重显存 KV Cache显存 激活中间值显存 服务框架余量这些数字会根据上下文长度动态变化。上线前一定要用最长的真实请求做压测而不是只跑一个短样例。4.2 量化用更低字节数换模型能装下量化是部署时几乎绕不开的优化手段。核心思路是把模型里原本用FP162字节表示的权重换成INT81字节或INT40.5字节表示从而降低显存占用和计算开销。还是以7B模型为例FP16权重约14GBINT8约7GBINT4约3.5GB。从一张需要高端显卡的模型变成一张中端消费级显卡也能加载这就是量化最直接的价值。量化不是无损失的。精度下降意味着模型输出的质量可能会有一点波动尤其在一些推理要求高的任务上。而且不同模型对量化的敏感度不一样有的模型量化成INT4之后效果依然很好有的则明显变蠢。工程上常见两种做法权重量化只把权重压成低精度运算时按需恢复或混合精度质量损失通常较小。全量化连激活值也压到低精度速度和省显存效果更明显但对算子和框架支持要求更高。我的建议是不要因为“量化会损失精度”就拒绝它。先在你的业务数据集上跑一轮量化前后的对比如果效果差距在可接受范围内那省下的显存和费用是实打实的。4.3 RAG先查资料再回答让模型不硬编检索增强生成RAG目前是大模型落地最常用的一种技术形态。它的工作流程是拿到一个用户提问后先从外部知识库里检索出最相关的文档片段把这些片段作为参考资料拼进Prompt再让模型基于参考资料生成回答。可以把它理解成“考试时允许模型带参考资料进场”。模型不再需要把每条知识都塞进参数里也不再依赖训练数据里有没有这个信息。你只需要更新外部资料库模型每次回答前重新检索就能拿到最新知识。RAG和微调是两种互补的手段。它们的区别可以用一张表概括对比项RAG微调适合场景知识更新频繁、需要可溯源行为风格固定、输出格式要求高新知识获取加文档即可成本低需要重新训练成本高回答问题依据外部检索内容参数中固化的规律可解释性较强可引用来源较弱主要缺点依赖检索质量召回不准会答错更新代价大可能过拟合做RAG时最容易被忽略的是检索质量。很多人觉得只要把文档切好、塞进向量库再接一个大模型就成了。实际跑下来你会发现模型生成答案的问题往往不在“最后一步生成”而在“前面的片段没召回”。文档怎么切、Embedding用哪个、召回多少条、要不要重排这些都会直接影响回答质量。提示RAG能显著降低事实错误但不能彻底消灭幻觉。如果你的业务对错误零容忍还需要在RAG后面加一层校验或引用强制策略。5. 进阶才看到的边界Agent、幻觉和多模态5.1 Agent从“会说话”到“会办事”Agent是大模型应用形态的重要升级。普通聊天是用户提问模型回答对话结束。Agent则是一个循环系统模型理解目标把目标拆成步骤选择工具去执行观察执行结果再决定下一步动作直到完成任务。举个例子用户说“帮我整理一下这周的会议记录并按主题发到对应群里”。Agent内部可能会这样做先定位会议记录文件。读取内容提取时间、主题和结论。按主题分类。调用发送工具把整理结果发给对应群组。最后向用户汇报完成情况。这一系列动作里大模型负责的核心是“推理和规划”工具调用和外部操作则交给代码和接口完成。相比RAGAgent不只是获取信息它还会改变环境状态所以工程复杂度要高得多。做Agent项目比较难的点始终集中在模型能不能稳定输出正确的工具调用格式、失败后能不能合理重试、有没有设置安全边界。如果这些没想清楚Agent很容易陷入“看似聪明实际失控”的状态。5.2 幻觉模型再自信也可能出错幻觉是指大模型生成流畅但不符合事实、或与输入内容矛盾的内容。最迷惑人的地方在于模型说错时语气往往和说对时一样自信没有明显破绽。为什么会产生幻觉根本原因在于大模型的训练目标是预测下一个Token而不是“寻找并记忆事实”。它追求的是统计上最连贯的文本而不是严格符合外部事实。采样过程的随机性、训练数据中的错误信息、上下文不够充分都可能把模型推向“编造”的方向。对付幻觉需要组合拳单靠一句“请只回答确定的内容”效果很有限。一些务实的手段包括用RAG把外部可靠资料带进上下文让模型有据可依。要求模型先引用来源再给结论没有来源就说不知道。调低采样温度减少随机性。对重要业务增加独立校验器验证生成内容是否可信。这里要说清楚幻觉不可能被完全消除。哪怕做了RAG和微调模型依然有概率在边界问题上犯错。做系统设计时应该把“允许答错”这件事设计成一个可控风险而不是假设它不存在。5.3 多模态让文本、图像、音频共享语义空间多模态大模型指的不只是“既能读文本又能看图还能听音频”的拼接而是在训练过程中把不同模态的数据映射到同一个或几个相通的语义空间里让模型能跨模态理解。举个例子文本里的“猫”和一张猫的图片在模型的语义空间中应该距离很近。这样当你给模型一张猫的照片再问“这是什么动物”时模型才能把图像里提取到的特征和语言生成对齐。实现多模态常用的思路是把图像切成若干块每块转成类似Token的表示再和文本一起进入Transformer网络。文本和图像在这个过程里相互影响模型逐渐学会它们之间的对应关系。音频也可以用类似方式处理。工程上做多模态项目时不要只关注大模型本身还要重视输入端的分词策略。图像按什么粒度切块、音频怎么采样、不同模态的输入长度如何截断都会直接影响效果。很多时候你以为模型“看不懂图”其实是输入处理环节把细节丢了。最后说一个我自己实践下来的体会学完这14个概念后每接触一个新的模型或框架我只看四个问题——它的Token是怎么切的上下文窗口有多大参数量是多少部署时需不需要量化或RAG只要把这四个问题问清楚大部分技术文档都能快速读进去。希望这张概念地图也能帮你少走一点弯路。