我在整理自己这段时间啃大模型的学习笔记时发现这个领域最折磨人的不是技术难而是发展太快。从2017年Transformer论文亮相到2023年全社会都在聊大模型满打满算六年。这六年里模型参数量从1亿涨到万亿上下文长度从512个token撑到百万级API价格一路往下掉本地部署的门槛也从需要一整台A100降到一张消费级显卡就能跑量化模型。回过头来捋这条发展脉络你会发现所有看起来像是“横空出世”的突破背后都是算力、数据、算法三条线互相卡脖子之后又互相成就的过程。这篇笔记不打算写成严肃的论文综述就按我个人的学习顺序把关键技术节点、架构演进逻辑以及一些能落到实处的部署微调经验一次性串起来。1. 大模型之前的暗流语言模型为什么非要往“大”了走1.1 从统计模型到词向量被遗忘的“前传”语言模型不是2020年才冒出来的概念。我在笔记第一页写了一句老生常谈的话语言模型的任务是估计一句话出现的概率。传统N-Gram模型只能看前后两三个词因为参数空间是离散的看多了就爆表。后来Mikolov团队在2013年搞出word2vec把词变成稠密向量模型开始能捕捉语义相似性“国王-王后≈男人-女人”这种让很多人惊呼的结果就是词向量时代最出圈的广告。再往后RNN和LSTM能处理序列靠的是把状态一步步往下传但传着传着靠前的信息就被“忘”得差不多了梯度也容易消失所以长句理解一直是老大难。1.2 Attention机制一开始它只是个配角Attention机制刚出现时根本不是用来取代RNN的它只是机器翻译里用来对齐源语言和目标语言词的一个辅助组件。2014年Bahdanau等人把Attention加入翻译模型后效果立竿见影模型不再需要硬生生把整个句子压进一个固定向量而是在解码每一步时动态回看源语句子的不同位置。这个思想非常朴素却打开了“动态聚焦”这扇大门。真正让它站到聚光灯下要等到2017年Transformer出现。但理解了这段前史你才会明白Transformer并不是凭空造出一个新概念而是把原本很边缘的Attention机制重新扶正让它成为整个模型的主心骨。1.3 数据、算力、算法三个轮子少一个都不转我个人觉得大模型能成从来不是某一个算法突然开窍而是三条线同时到位。第一条是数据互联网积累的海量开放语料提供了燃料Common Crawl这类网页爬取数据集动辄几个TB没这些语料再大的模型也无米下锅。第二条是算力GPU并行计算把曾经不可想象的训练时长压缩到了可接受的范围没有CUDA和分布式训练框架1750亿参数就是纸上谈兵。第三条是算法自监督学习让模型不需要依赖昂贵的人工标注直接从无标注文本里学以及后面我们会聊到的Scaling Law给整个行业提供了方向选择的理论依据。这三点缺一个前面所有架构创新都落不了地。2. Transformer把注意力机制推到聚光灯下2.1 架构设计的核心逻辑为什么RNN会被取代2017年那篇《Attention Is All You Need》的核心贡献是彻底抛弃了循环结构用Self-Attention自注意力处理序列。所谓自注意力通俗讲就是让序列里每个token都去计算它和序列里所有其他token的相关性权重然后按权重加权求和。直观理解是模型在处理“它”这个词时能够动态判断“它”到底指向前文的“小明”还是“小猫”。这个机制有两个巨大的优势一是天然建模了长距离依赖不管两个词隔多远相关性都在一次计算里直接算出来不像RNN要一步步接力二是每一步计算都互相独立可以并行训练训练速度完爆RNN。当然全量注意力是有代价的。标准Self-Attention的时间复杂度是O(n²)序列长度一上来计算量就是二次方增长。我在笔记里特意标注了一笔后来的稀疏注意力、滑动窗口注意力、线性注意力、FlashAttention全都是在和这个O(n²)搏斗。尤其是FlashAttention它通过分块计算和IO优化把注意力计算的速度提了几个数量级没有这类底层算子优化今天的长上下文模型根本训练不动。所以每次看到有人把Transformer说得神乎其神我都会提醒一句架构是骨架工程优化才是让骨架跑起来的肌肉。2.2 GPT和BERT的两条路线生成式为什么笑到最后2018年可以说是Transformer概念落地的元年。OpenAI拿出GPT-1谷歌拿出BERT。前者用Transformer的解码器部分从左到右单向预测下一个词后者用编码器部分做成双向通过“完形填空”做预训练。两条路线各有各的道理。GPT的单向结构天然适合生成任务给定上文续写下文训练目标就是预测下一个tokenBERT的双向结构则能在每个位置都看到完整上下文做情感分类、命名实体识别这类理解任务非常强。那时候大部分人都觉得BERT更实用因为GLUE榜单上BERT长期屠榜各种下游任务微调一下就是新SOTA。谁也没想到几年后GPT这种看似“只会填空续写”的模型靠着规模效应和生成式统一框架最终把理解、生成、对话、推理全部收编。这段历史给我的启发是一个简单而且可扩展的方法往往比一堆复杂精巧的技巧更有生命力。BERT当然也伟大但它对任务形态的依赖更强而GPT的next-token prediction足够简单简单到可以无脑堆数据、堆参数最后变成了通用接口。2.3 Scaling Law把经验判断变成幂律曲线2020年OpenAI那篇《Scaling Laws for Neural Language Models》被我标记为这个领域最重要的论文之一。它用大量实验得出一个很简洁的结论模型性能Loss与参数量、数据量、计算量之间呈幂律关系。也就是说在没碰到瓶颈之前把模型规模扩大10倍性能就会稳定提升一块但数据量和算力也要同步跟上否则参数变大而数据不足照样上不去。这个规律直接改变了行业的资源分配方式。以前大家研究的是“怎么把模型做得更聪明”后来变成了“如何在有限预算下把模型做得更大”。这也是为什么后来GPT-3一口气做到了1750亿参数为什么各家大厂疯狂囤GPU为什么数据工程变得越来越吃香。说句实话Scaling Law本身不是一条物理定律它更像是特定条件下观察到的经验规律用外推方式预测模型继续扩大后的收益风险是存在的。但在那几年它确实给整个行业的“军备竞赛”提供了最有力的理论背书。理解这一点你就能看懂为什么2023年到2024年会出现一波百模大战——所有人都在按同一个公式求解。3. 从GPT-3到ChatGPT三个阶段的重质变3.1 GPT-1和GPT-2一步步验证“大就是好”的猜想GPT-1只有1.17亿参数放在今天连小模型都算不上但它的意义在于证明了一件事用无标注文本做生成式预训练然后在具体任务上微调效果比从零开始训练还要好。这是“预训练微调”范式第一次在生成式模型上得到清晰验证。到了GPT-2参数量涨到15亿训练数据换成规模更大的网页文本结果意外发现模型不经过任何微调直接就能做翻译、问答、摘要这些任务这就是后来被叫做zero-shot的能力。这个“意外”很重要它暗示了预训练语言模型其实已经从语料里学到了大量超出预期的知识和推理模式。3.2 GPT-3与上下文学习提示词工程从此诞生2020年GPT-3发布1750亿参数规模比GPT-2大了两个数量级很多人才第一次感受到“大”带来的改变。它有一个显著特点不需要为每个任务重新训练模型只要在提示词里给几个示例模型就能照猫画虎完成同类任务。这个现象叫in-context learning上下文学习。开发者只要把例子写进输入里模型的行为就跟着变提示词工程这个职业方向也由此诞生。但GPT-3有明显的短板它骨子里还是“续写机器”不是“任务助手”。你让它回答问题它可能连你给定的约束条件都不看顺着文字风格就往下编。开发者要费很大劲设计提示词才能把它勉强当成工具用。这说明什么预训练模型学到的是“文本分布”而不是“用户意图”。它能生成像样的文本却不知道什么时候该回答问题、什么时候该承认不会、什么时候该拒绝请求。这个缺口为下一阶段的技术革命埋下了伏笔。3.3 RLHFChatGPT引爆全球的最后一块拼图2022年3月OpenAI公开了InstructGPT的技术路线核心是三步走先收集人工标注的示范数据做监督微调SFT让模型初步学会“按指令回答”的格式再让模型针对同一问题生成多个回答由标注员排序训练一个奖励模型RM最后用强化学习算法PPO让语言模型在训练中去优化奖励分数。整套流程就是RLHF基于人类反馈的强化学习。这一步的威力在于它把模型从“会接话”变成了“会按指令做事的助手”。2022年11月30日ChatGPT上线五天用户破百万两个月月活破亿这套组合拳一战封神。我记得自己第一次用上ChatGPT的直观感受是这次真的不一样它知道自己该回答什么不知道的事情会承认遇到不合适的问题会礼貌拒绝。我在笔记里把当时的震撼写成了这样一句话ChatGPT的成功不是单点技术的成功而是预训练加指令微调加人类对齐这套组合拳的成功任何一个环节单独拿出来都不足以产生这种产品体验。4. 大模型技术栈的成熟微调、上下文与部署实践4.1 微调范式转变从全量微调到LoRA和QLoRAChatGPT发布后大量团队开始做一件事把开源大模型在特定领域和私有数据上微调。最早的主流做法是全量微调Full Fine-tuning所有参数都更新效果最好但成本高得吓人。一个7B模型全量微调光显存需求就容易超过100GB还要处理分布式通信普通人根本玩不起。LoRA低秩适配出来后局面完全变了。它的原理说来也不复杂预训练模型的权重冻结不动只在旁边加一个低秩矩阵来学习任务增量。假设原始权重是d×d矩阵LoRA把它拆成d×r和r×d两个小矩阵相乘训练时只更新这两个小矩阵。我实际微调开源7B模型时LoRA能把可训练参数量降到原来的0.1%左右单张24GB显卡就能跑起来。QLoRA更进一步把基座模型量化到4bit再挂LoRA我自己的经验是8B模型在16GB显存上也能微调效果损失完全可接受。这里要提醒一下微调效果好坏数据质量大于数据量。我试过用500条高质量指令做微调效果比5000条杂乱数据还好。学习率也要比全量微调高一些常用1e-4到2e-4训练轮数别贪多2到3轮基本就到头了多了容易过拟合模型回答会变得机械复读。4.2 上下文窗口军备竞赛与RAG的理性取舍上下文长度是这两年被卷得最狠的指标之一。早期GPT-3只有2048个token大概能放下两千多个汉字2023年各家开源模型普遍做到8K、32K到了2024年Qwen系列直接把窗口拉到128K之后甚至有模型的宣传口径到了1M token。上下文长度为什么重要因为它直接决定模型一次能“看到”多少信息长文档解析、代码仓库分析、多轮对话记忆全靠它撑着。但长上下文不是简单把训练数据里的文本截长就行的这里面的门道很多。位置编码要从绝对位置换成能外推的RoPE或ALiBi注意力计算要考虑稀疏化和显存开销推理时KV Cache会随窗口长度线性增长窗口翻倍缓存也翻倍显存压力骤增。我自己做项目时的取舍是如果任务需要从几十万字的资料里检索具体信息我倾向用RAG把相关内容切片后再喂给模型只有当任务本身需要完整阅读长文档并全局理解时才值得把长上下文拉满。长上下文和RAG不是互相替代而是各管一段组合使用才划算。4.3 本地部署与推理优化从Ollama到vLLM部署本地大模型已经是很多人的日常了。Ollama是我用得最顺手的一个工具安装之后一条命令就能拉起模型底层自动做量化、显存缓存和API暴露对新手极其友好我非常建议第一次接触本地模型的人从这里入手。但如果你对吞吐量有更高要求比如要做服务端推理vLLM是更专业的选择。它引入的PagedAttention把显存按页管理能显著提升并发推理效率我拿7B模型实测过vLLM的吞吐大概是原生HuggingFace推理的数倍到十几倍请求一多差距更明显。部署时踩过的坑我记在了笔记上量化等级要按显存来选4bit能跑但复杂推理任务上的输出质量会明显下降至少建议用6bit或8bit不要一上来就贪大模型7B模型用CPU也能跑但速度非常感人有预算还是上显卡显存不足时可以给推理框架设置max-model-len或者调整KV Cache策略能省出不少空间。日志出现CUDA out of memory八成是并发请求太高或上下文开太长把这两个参数压下来基本就稳定了。另外提醒一句本地部署不等于离线后就可以随便删减安全措施数据合规和内容安全的风控逻辑在本地环境一样要保留。4.4 多模态大模型的成型从CLIP到GPT-4V语言模型发展史的下一个篇章是让模型听懂图文、音频和视频。2021年OpenAI的CLIP模型用图片和文字做对比学习把两种模态投射到同一个向量空间算是多模态预训练的标志性节点。技术和思路大体是用CLIP这类视觉塔把图片切成patch并编码成向量再通过投影层接到语言模型里。训练过程分两步先做图文对齐的预训练再走指令微调。Flamingo、LLaVA都是这个路线的代表GPT-4V发布后行业基本确定下一代通用大模型一定会是多模态的。现在开源社区里已经有很多mini多模态模型能做“图片理解加问答”放在五年前这是难以想象的。4.5 智能体与AI应用的下一站大模型的下一个热点是把能力从对话扩展成行动。核心思路是让模型不仅能聊天还能调用工具、读写文件、执行代码、自主规划步骤。背后的关键能力是function calling和tool use。我在笔记里把Agent架构概括成一个循环模型根据用户任务和环境状态思考下一步要调用什么工具执行工具得到结果再喂回模型继续思考直到完成目标。这个循环目前还不够稳定但已经催生了一批框架实际项目里我重点关注的是MCPModel Context Protocol它把工具接入标准化一次接入多个模型可用极大地降低了工具链的耦合成本。5. 大模型学习路线从零开始怎么走5.1 三步入门法最后写点给正在学习的人的建议。这条路线我自己走下来比较顺畅第一步补Transformer架构基础不要求推导所有公式能在纸上画出Self-Attention的计算过程就算过关第二步精读几篇关键论文我建议按时间顺序读Transformer原文、GPT-1、BERT、GPT-3、InstructGPT、LoRA这六篇就能把主线串起来第三步动手跑一个开源模型的本地部署推荐Qwen或Llama的7B或8B版本然后做一次LoRA微调用自己的数据让模型学会某个领域的话术最后再做一个简单的RAG或Agent应用把学到的知识串成一个完整场景。5.2 学习心态与方法不建议一上来就刷综述或把论文列表全刷一遍那样很容易迷失在细节里。这个领域的更新速度太快正确的策略是“主线清晰、分支按需深入”。我自己的体会是带着要解决的具体问题去查论文、跑代码效率是漫无目的学习的数倍。大模型发展史这条线索叠加上手实践才能真正转化为能力。另外要留意现在开源社区里也有越来越多的教程和免费API可以体验不用非得自己训练先把模型用起来再逐步深入原理路径更自然。5.3 关于未来演进的一点判断回看这段发展史每一轮突破都是瞄准具体痛点RNN解决不了长距离依赖于是有了Attention预训练模型不听话于是有了RLHF大模型跑不起于是有了LoRA和量化纯文本信息密度不够于是有了多模态和Agent。顺着这条逻辑链以后再看到任何新模型、新框架都能快速判断它到底在补哪块短板而不是被各种炫酷名字带着走。对我个人而言这才是整理这份学习笔记最大的价值。如果在整理笔记过程中只让我留一个可执行的建议我会说今天就装一个Ollama拉一个7B模型下来跑几句真实的业务文本对比一下不同模型、不同上下文长度的输出差异。这个简单的体验比你在收藏夹里存上一百篇“入门必看”都管用。