2022年底ChatGPT把大模型这个词彻底带火了但真正让我决定坐下来整理这份学习笔记的是后来我在各个技术社区里看到的高频问题大模型上下文长度到底怎么算、模型微调和大模型部署怎么上手、多模态大模型最近进展到哪了、企业大模型私有化部署靠不靠谱。这些问题单独看都是操作题但串起来看全是同一棵树上长出来的枝杈那棵树就是大模型的发展史。这篇笔记适合两类人一类是想系统搞懂大模型底层的研发一类是已经在用API、想进一步理解模型为什么能这样做事的同学。我不打算写成教科书按时间线把关键节点、核心原理和踩坑经验一起揉进去。1. 从词向量到Transformer今天的大模型是从哪棵树上长出来的动笔之前我把发展史从头捋了一遍发现很多现在觉得理所当然的设计往前翻都有漫长的铺垫。大模型不是2020年突然蹦出来的它最早能追溯到让计算机理解词语这件事。1.1 词向量时代先让机器听懂词再谈会说话早期的自然语言处理完全靠规则和统计n-gram模型把句子切成连续若干个词统计它们在语料里的共现频率然后算概率。这套路子在短文本上表现还行一旦遇到没见过的组合就抓瞎因为数据稀疏问题太严重了。真正的转机是词向量。Word2Vec在2013年提出以后神经网络语言模型才找到了一种通用的表示方式把每个词映射成一个几百维的稠密向量。这里最有意思的是它的副产品——词向量之间的算术关系king - man woman ≈ queen。这个效果直观说明词的语义被编码进了向量的几何结构里同类词在空间里会聚成簇词和词的关系可以通过向量运算体现。我看很多学习笔记会跳过这一段直接讲Transformer这是个错误。没有词向量带来的分布式表示思想就不会有后来把整个句子甚至整篇文档表示成向量的思路。换个好懂的类比词向量相当于给每个词办了张身份证上面的信息不是名字而是这个词在各种语境下的社会关系。机器只有先把词从离散符号变成连续坐标后面的神经网络才能对语言做计算。1.2 注意力机制在Transformer之前NLP靠的是逐字翻译记忆压缩在2017年之前处理序列问题的主力是RNN和它的改良版LSTM、GRU。它们的做法很朴素从左到右逐个读词靠一个隐状态把前面的信息压缩带走。问题显而易见——信息从第1个词传到第100个词路上的损耗太大。LSTM搞了门控机制想缓解梯度消失和长程依赖但本质上还是人肉搬运距离一长照样丢信息。机器翻译领域的Seq2Seq架构给这件事捅了个窗户纸编码器读完整句话把语义压缩成一个向量解码器再从这个向量里生成译文。瓶颈全在那个中间向量上句子一长就装不下。于是注意力机制被加了进来解码器生成每个词的时候不要只看那个被压缩的向量而是回头关注编码器每一步的输出按权重挑选哪些信息更重要。这一步在思路上是革命性的。它彻底放弃了把全部信息压进一个向量的执念改成按需取用。今天大模型里的Attention核心思想和当时完全一样每个词都去和序列里的其他词计算相关性然后按相关性加权汇总信息。只是它把解码器回头看编码器变成了每个位置看所有位置也就是自注意力。1.3 2017年那个7月为什么《Attention is All You Need》能活到现在2017年Google发表《Attention is All You Need》提出Transformer架构。这篇论文最狠的地方不是提出了一种新网络而是用一句话否定了当时的主流信仰你不需要循环不需要卷积只要注意力就行了。Transformer干了两件关键的事。第一是用自注意力把任意两个位置之间的交互距离变成1词和词之间直接连接长程依赖问题从结构上被解决第二是整个计算过程可以并行RNN只能一步一步走Transformer可以一次把整句喂进去同时算训练速度快了几个数量级。为了让模型知道词的先后顺序还加了位置编码因为自注意力本身没有顺序概念把位置信息用三角函数或可学习的向量编码进去才分得清词序。之后又演化出多头注意力让模型从多个子空间同时看输入有的头关注语法关系有的头关注指代关系像多个专家从不同角度审查一句话。再配上残差连接和LayerNorm一个能堆很深却不崩的网络就算成型了。我自己整理到这里的时候标记了一句话Transformer的本质是把记忆和计算分离。RNN的隐状态既是记忆又是计算逻辑耦合太紧Transformer则靠注意力动态从整个序列里取信息参数主要负责怎么取和取完之后怎么加工。这个解耦让它拥有了恐怖的扩展性——只要算力和数据够模型的层数和参数量可以一直往上加。大模型能大起来结构基础在这里就埋下了。2. 预训练-微调范式大模型大力出奇迹的底层逻辑架构是骨架让Transformer真正拥有通用知识的是预训练。这一章是发展史里最关键的转折也是理解后续微调、对齐、部署所有话题的前提。2.1 自监督预训练从海量文本里白嫖知识Transformer刚出来时NLP社区的通用做法还是用标注数据训练模型完成任务直到BERT和GPT系列把自监督预训练发扬光大。自监督的意思是不需要人工打标签直接从文本本身构造学习任务。BERT的任务是完形填空随机把句子中的部分词mask掉让模型猜被遮住的是什么GPT的任务是预测下一个词给定前文预测下一个最可能的词。这两个任务看起来都很简单甚至像游戏但威力来自数据的规模。Wikipedia、书籍、网页、论文几万亿个token往里灌模型被迫学会语法、事实、逻辑关系、常识甚至推理套路。这里有个很重要的理解所谓模型学到了知识本质上是把训练数据里的统计规律压缩进了参数里。参数是容量有限的存储数据里的冗余信息被丢弃留下来的规律就是知识。有个容易混淆的说法是模型在搜索引擎里找答案。不对。推理时模型没有访问任何外部数据库它是在根据参数里固化的规律做概率生成。这也是为什么预训练语料的质量和覆盖面直接影响模型的能力上限——数据是大模型的隐形天花板。2.2 微调把通用底座变成专业助手预训练出来的是一个什么都知道一点但不会按指定格式执行的通用模型。怎么让它做特定任务微调。做法很简单拿一批带标签的任务数据比如输入是用户问题输出是标准答案在预训练模型基础上继续用小学习率训练几个epoch把模型的参数朝着任务方向拉。微调之所以在工程里特别重要是因为绝大部分企业没有几亿甚至几十亿token的通用语料但几千几万条业务数据还是拿得出来的。拿一个开源基座模型用领域数据微调就能让模型学会客服话术、法律条款或者设备维修知识。和从零训练相比微调把成本从亿级降到了十万级甚至更低这是大模型得以在企业落地的关键一环。在开发方式上现在大家更常用的是LoRA这类参数高效微调方法。它不直接更新全部权重而是给原来的权重矩阵加一个小维度的低秩增量矩阵训练时只更新增量部分。我实际用下来LoRA在消费级显卡上就能跑通训练速度快换任务时切换增量文件就行多业务共用一个底座模型完全可行。2.3 Scaling Law为什么规模大了能力就上来了预训练和微调揭示了一个经验规律模型越大、数据越多、算力越猛最终效果越好而且往往好得超出预期。OpenAI在2020年发表Scaling Laws论文把这三者的关系量化了模型性能与参数量、数据量、计算量之间存在近似幂律关系不是线性涨是曲线抬升。这里我想澄清一个常见的误解。Scaling Law说的是在合理的数据量下规模越大效果越好不是无脑堆参数就有奇迹。后来很多团队复现时发现数据和模型规模必须同步涨只扩参数不扩数据性能会提前饱和。社区里那句大力出奇迹是对的但大力指的是参数量、数据量、算力三个引擎同时踩油门缺一个都会拉胯。所谓涌现能力也跟规模强相关模型小的时候某些能力根本测不出来比如链式推理、上下文学习参数跨过某个量级后才突然出现。对这种现象现在还有争论有人认为是测试指标不够平滑有人认为是能力本来就潜伏在统计规律里。无论如何这种非线性上升让行业下决心继续堆规模也让智算中心、大规模训练集群成了必然选择。阶段核心目标输入数据典型资源量级预训练学通用语言规律与知识海量无标注文本数千张GPU起步监督微调学会回答格式与领域风格任务输入-输出对1~8张GPU可跑LoRA对齐RLHF让输出符合人类偏好人工排序/反馈数十张GPU通常足够这张表我建议新手贴在桌前。很多人一上来就想复现预训练这不对绝大多数人真正要做的只是后两行而这两行的资源门槛现在已经低到一台工作站就能起步。3. 三次能力跃迁上下文窗口、指令对齐与多模态如果只看参数规模发展史就是一条单调上涨的直线但真实的大模型进化有三条支线每一条都改变了模型的使用方式一是能看多远二是能否听懂人话三是能不能从纯文本扩展到图像、音频。3.1 上下文窗口从512个token到百万token早期BERT的上下文长度只有512个tokenGPT-3也才2048考的就是短时记忆。传统Transformer里把序列长度翻倍注意力计算量按平方翻倍长文本处理成本极高。所以很长一段时间里处理长文档都是大模型的痛点。后来大家想了各种办法扩展上下文窗口。一是位置编码的改进RoPE把位置信息用旋转矩阵编码进注意力计算外推效果比固定位置编码好很多二是注意力机制的结构优化滑动窗口、稀疏注意力、FlashAttention等把计算复杂度降下来让长序列在显存和时间上都变得可承受三是对推理显存的优化KV Cache技术把历史token算出的Key和Value缓存住不用每次重算。再到2024年前后百万级上下文的产品开始出现在市场上直接改变了长文档分析这个品类的玩法。但有个残酷的工程现实上下文长度是上限不是保证。模型在窗口前段的信息会随时间衰减中段可能被健忘区吃掉最后那段往往记得最牢。我做长文档提取时最常用的办法是把文档分段检索定位先找候选段落再喂给模型而不是一口气全塞进去。上下文窗口再大也代替不了检索和精读的结构化思路。3.2 指令对齐让模型从接话变成执行任务预训练模型其实很早就存在了但为什么直到2022年底才被大众接受差在对齐。预训练模型擅长续写文本你问它问题它会模仿人类写作而不是老老实实回答。InstructGPT这类工作解决了这个问题用人类标注的指令-回答数据先做监督微调再用RLHF人类反馈强化学习把模型的输出往人类喜欢的方向调整。RLHF的流程现在已经是行业标准拆开看有三步。第一步收集人类对同一问题多个回答的偏好排序训练一个奖励模型第二步用这个奖励模型给策略模型的输出打分第三步通过PPO等强化学习算法更新生成模型让高分输出概率变大。整个过程相当于给模型请了一位品味老师反复告诉它什么回答让人满意。这里有个值得记住的名字叫对齐税对齐之后模型的比赛跑分可能会小幅下降因为它不再追求最可能的续写而是追求对人类有用的续写。这提醒我们在评测模型时要区分基础能力和对齐能力跑分变低不一定是模型变笨了可能是被调教得更听话了。3.3 多模态大模型当文本、图像和声音共用一个底座大模型发展史的第三条支线是多模态化。早期的做法是把图片先转成文本描述再送进语言模型这是绕路而不是融合。真正的转折是让模型同时学习图像和文本的联合表示比如CLIP用图像-文本对做对比学习把两种模态映射到同一个向量空间GPT-4V和后续产品则直接把图像输入编码与文本token一起喂给Transformer。多模态为什么难因为文本是离散符号图像是连续像素音频是波形采样三种数据在底层特征完全不同。解决方案到今天依然是找共同表示空间大规模图文/音视频对齐数据。我实际体验多模态模型做文档OCR、截图理解、图表问答时效果已经相当能打但在视频时序理解和物理常识判断上还经常翻车。从发展史的视角看多模态不是大模型的额外功能而是人类交互的自然延伸。纯文本模型关心的世界局限在符号里多模态模型第一次把感知和语言放在了一起这为具身智能、智能体应用打底。热搜里多模态大模型 最新进展常年被讨论正是因为它处在下一波能力跃迁的最前沿。4. 工程化浪潮从开源模型到本地部署、私有化落地发展史走到2023年之后主战场从实验室移到工程现场。大家不再只关心模型跑分多高而是关心它能不能在自家服务器上跑起来、能不能离线使用、能不能私有化部署。这一波浪潮彻底改变了大模型的学习门槛。4.1 开源生态与免费API为什么现在学大模型是最好的时机早期接触大模型只有API一条路现在环境完全不同。Meta开源了Llama系列国内的Qwen、DeepSeek、GLM等团队也陆续开放了权重社区里还涌现了Ollama、LM Studio这类一键部署工具。这意味着你不需要写一行代码就能在本地把一个大语言模型跑起来。网上搜免费大模型api也能找到不少对外提供限免额度的服务用来做原型验证和产品Demo非常合适。我的建议是实操顺序反过来先玩开源本地模型再用API做产品。先在本地跑一遍你会直观感受到模型权重和云端API的区别——显存、量化、推理速度这些概念会直接砸到你脸上这种经验是调用API永远学不到的。等你理解了瓶颈在哪再引入免费API或商业API做功能研发就能做出更合理的选型判断。4.2 本地部署与私有化的完整链路把模型部署到自己的机器上无非五步选模型、选硬件、量化、跑推理、封装接口。每一步都有坑我逐个说。第一步选模型。先明确任务复杂度不是所有任务都要70B模型。做文本分类、信息抽取7B以内足够做复杂推理和长文创作再考虑大模型。本地机器32G内存的7B模型量化后跑得很舒服16G内存就老老实实选3B~4B的小模型。第二步硬件选型。自注意力计算涉及大量矩阵乘法和KV缓存显存决定一切。我用过一个粗算公式显存需求约等于参数量×量化位数÷8再乘以1.3的冗余系数。比如7B模型用4bit量化大约需要7×4÷83.5GB模型权重再加KV缓存和推理中间变量8GB显存刚好能跑16GB就比较从容。第三步量化。把原始FP16权重压成INT8甚至INT4模型体积和显存需求直接掉一个量级。GGUF和GPTQ是两种主流格式前者适合CPU/Ollama生态后者适合GPU推理。量化之后确实会有轻微精度损失但实际任务里大多感受不到对比之下性价比极高。第四步选推理框架。轻量场景用Ollama或LM Studio一条命令就能起服务生产级场景用vLLM它的 PagedAttention 显存管理机制能让吞吐量比朴素实现高好几倍。我自己实践下来的体会是先Ollama跑通再换vLLM优化不要一上来就追高并发。第五步封装接口。把模型服务封装成OpenAI兼容的HTTP接口上层应用完全不用关心后端是本地模型还是云API。这也是现在所有工具链的默认做法切换模型供应商只需要改base_url和一个key开发效率极高。还有一类场景是真正意义上的边缘侧嵌入式开发里想跑大模型比如在开发板上做人机交互、异常识别。这里就得选1B以下甚至500M量级的模型再剪枝、量化、转ONNX或擎天引擎目标是把推理跑在NPU上。嵌入式大模型和云端大模型的选型逻辑完全不同别拿一张榜单第一的模型硬塞到内存捉襟见肘的设备里那是在给自己找麻烦。4.3 私有化部署与智算中心从单机到训练集群企业大模型私有化部署是过去两年最火的企业级话题核心动机是数据不出域。企业手上有客服记录、合同文档、工艺流程这些高敏感数据传云端风险太大于是把开源模型部署到自己的机房里用内部数据微调再通过内网API供业务调用。这套方案的技术栈和4.2完全一致只是多了安全防护、多租户隔离和监控告警这些企业级组件。再往上一个层面当企业要从用模型变成训模型单机的算力就不够了。大模型训练是典型的分布式计算问题几千张GPU要把数据、模型参数切分到不同设备上通过高速网络同步梯度。建设智算中心的关键不在买多少卡而在于网络拓扑、数据吞吐、任务调度一整套体系。我自己接触到的痛点大多是利用率上不去——算力闲置、故障卡难发现、数据预处理的IO跟不上计算。这些基础设施问题本质上都是大模型规模化发展的后厨看不见但决定上菜速度。这里也给个冷静的建议企业刚接触大模型时别一上来就规划智算中心。先私有化部署学习再微调验证效果最后等业务量明确再谈训练集群。发展史的顺序不一定是你的项目顺序。5. 发展史的暗线评测、数据安全与投毒防御成绩单上大家都盯着能力曲线但大模型发展史里还有一条暗线决定了这套技术能不能被社会和企业放心使用。这条暗线是评测、数据安全与对抗攻击。5.1 评测从BLEU到MMLU跑分到底在测什么早期机器翻译用BLEU直接看生成文本和参考译文的重合度简单粗暴但看不出语言质量。进入大模型时代评测范式变成了考试MMLU覆盖几十个学科的多选题测试知识和推理GSM8K考小学数学应用题测试数学推理HumanEval让模型写代码直接执行测试用例。这些基准一度是衡量大模型能力的最重要标尺也因此催生了大量大模型跑分网站各家模型按榜单排座次。对跑分我一向建议保持怀疑。榜单分数高不等于业务好用原因有三个第一是数据污染训练语料里可能已经混入了测试题模型背过答案第二是过拟合基准开发者针对特定测试集反复调优分数虚高第三是测试集和真实业务分布差异大客服场景里的口语化、多轮、歧义问题基准测试根本不覆盖。所以现在业内越来越倾向用真实场景回放评测把线上真实日志脱敏后灌给模型打分看业务指标的提升而不是看榜单排名。5.2 数据投毒与安全测试模型可能被人为带偏大模型的训练数据来自互联网这既是优势也是噩梦。数据投毒指攻击者在训练语料里混入精心构造的恶意样本给模型埋下后门。比如在特定触发词出现时模型会输出错误答案或恶意指令。这类攻击在开源模型生态里尤其需要警惕权重公开意味着任何人都可以检查但训练数据集却往往不透明一个看似正常的开源模型可能带着数据集里被污染的痕迹。安全测试因此成了大模型上线前必须做的事。常见的测试方法包括红队测试专门用对抗性提示去诱导模型说出危险内容越狱测试尝试绕过安全对齐投毒检测对训练数据做统计筛查寻找异常样本簇。我见过不少团队重功能轻安全模型部署后才发现会被几句话绕晕甚至输出有害内容到那时候补安全措施的成本远高于一开始就做红队测试。对普通开发者和企业我给出的最低限度建议是使用任何开源模型前先跑一遍主流越狱样例微调时清洗数据把明显异常或重复的样本剔除部署后加一层输入输出过滤作为兜底。大模型不是只读工具它是一段对你负责的代码你喂给它什么、怎样防御攻击直接决定它为企业创造了价值还是埋了雷。5.3 知识抽取与数据标注质量是被忽视的基石安全之外数据质量是大模型发展史里最容易被低估的环节。大模型训练和微调的效果很大程度取决于数据质量而知识抽取和数据标注就是质量的上游。一个成熟的知识抽取框架可以把非结构化文本转成结构化三元组实体-关系-实体为垂直领域微调提供干净语料数据标注质量则直接决定监督微调和RLHF的上限——模型不可能学到比人类标注更好的答案。我从实操里的体会是高质量标注数据的价值怎么强调都不过分。同样是几千条微调数据垃圾数据和精标数据训练出来的模型效果能差一个档次。现在很多团队靠大模型互相标注、互相校队这能提效率但必须做抽检因为标注错误会顺着训练过程被模型吸收形成系统性偏差。数据质量不是锦上添花是一票否决项。6. 我的学习路线图按时间线把大模型知识串起来如果上面的内容你都跟下来了最后这部分是我给后来者整理的一条落地路线按时间线从原理到工程串起来照着走能少走很多弯路。6.1 论文路线按发展史顺序读不按热度读我推荐的论文阅读顺序就是发展史的顺序Word2Vec解决词的表示Seq2SeqAttention解决长序列建模Transformer完成架构革命BERT和GPT分别定义了双向编码和自回归生成两条路线InstructGPT把对齐写进教科书Llama等开源模型让研究社区跑通了完整复现再往后是FlashAttention、RoPE、MoE等工程优化和架构改良。每篇论文看到解决了什么问题、付出了什么代价、留了什么坑这三个问题就算读懂了。6.2 实践路线API → 开源模型 → 微调 → 私有化部署实践路线我建议分四步走。第一步调用一个商用或开源API写一个带缓存和日志的调用封装把Prompt调优的基础打牢。第二步用Ollama在本地跑一个7B左右的开源模型理解量化、显存、推理速度这些概念。第三步准备几千条领域数据用LoRA做一次微调验证领域能力能否提升。第四步做一次私有化部署把vLLM起好加鉴权、限流、监控让模型真正成为一个可被业务调用的服务。四步走完大模型开发的基本闭环就建立了。6.3 三个提醒关于榜单、长上下文和安全性最后分享三个我踩过坑之后最想说的提醒。第一不要只看跑分榜单把候选模型拿到自己的数据上跑一版离线评估你就能发现指标和实际的落差。第二上下文长度不是越大越好先算清你的文档实际需要多长的窗口再决定用长窗口还是检索方案否则你可能为用不上的能力付了昂贵的显存成本。第三安全测试永远前置数据投毒不是科幻片情节开源模型红利和风险同源把红队测试放进发布流程才能安心把模型接到真实业务上。这份笔记写到这里我自己最大的体会是大模型的发展史并不是一条单线程的技术进步曲线而是架构、数据、算力、安全、工程化多条线交织推进的结果。理解了这个再去看任何一个最新热点你都能迅速找到它在历史坐标里的位置。如果你正在学大模型我建议你也像我一样先画一条属于自己的发展时间线把知识点挂到线上——后面再学什么都只会越来越快。