每隔一段时间深度学习圈子的技术栈就会集体刷新一次。前两年大家还在争论该用哪个预训练模型做微调现在讨论的重点已经变成「要不要给模型加思考时间」「Agent 跑起来之后上下文怎么管」「小模型压到多少量级还能保住效果」。我最近把过去一年自己跟踪过的技术动态重新梳理了一遍顺手整理了这份摘要笔记。它不是论文综述更像是我作为一个深度学习的长期使用者给团队和自己画的一张技术路线图。内容覆盖大语言模型的范式变化、多模态与视频生成、Agent 工程化、模型压缩部署、世界模型与具身智能以及最容易被低估的基础设施和评测问题。适合算法工程师、技术负责人以及打算入行深度学习的学生参考。1. 大语言模型的主战场已从预训练转移1.1 后训练与对齐同一个模型的两条进化路径很多人以为大模型的竞争力还在「谁的数据多、谁的参数大」但过去一两年里竞争重心已经明显向后训练阶段移动。预训练当然还是基础但各家基础模型的原始能力差距正在缩小真正拉开体验差距的是后续的微调、对齐和推理策略。你可以把预训练想象成给一个人完成九年义务教育而后训练则是职业培训——同一个毕业生培训方向不同进入职场后的表现会天差地别。技术上最典型的变化就是对齐方法的迭代。早期大家普遍用 RLHF基于人类反馈的强化学习需要训练独立的奖励模型流程重、成本高小团队很难玩得转。后来 DPO 这类直接偏好优化方法出现省去了奖励模型直接在偏好数据上做监督式微调门槛一下子降了一大截。再往后在线强化学习又被重新重视起来因为纯离线偏好数据容易让模型「过度拟合人类标注者的口味」遇到分布外输入就露馅。我自己的经验是对齐方法没有绝对的最优解关键看你的数据质量。如果你手上只有几千条高质量偏好数据DPO 往往比 RLHF 更稳如果你能持续收集线上反馈并迭代奖励模型那在线 RL 的天花板更高。这个取舍本质上是个工程问题不是论文品味问题。1.2 推理时扩展把「想得更久」变成产品策略另一个必须跟进的概念是推理时扩展inference-time scaling。简单说以前我们觉得模型能力在训练完就固定了现在可以在推理阶段通过「让模型多思考几步」来换取更高准确率。典型实现就是让模型在给出答案前输出一段内部推理过程或者通过搜索、回溯来修正自己的思路。这类技术对推理、数学、代码等任务提升非常明显但对一般问答和短文本生成可能只是拖慢速度。我见过不少团队把推理模型直接套在线上聊天场景结果延迟从 1 秒变成了 8 秒用户流失率反而涨了。所以推理时扩展更适合离线分析、复杂问答、代码生成这类对延迟不敏感、对准确率要求高的场景。实操层面有个容易被忽略的细节输出推理过程的模型需要配套处理「半结构化输出」。模型可能会吐出不闭合的标记、重复的思考内容或者推理很长但最终答案空白。我当时在做一个内部知识库问答系统时就专门写了解析层来处理这类情况——截断超长推理、提取最终结论、失败时自动回退到普通模式。这一层虽然不起眼但决定了推理模型能不能真正上线。2. 多模态不是简单拼数据而是统一表征的竞赛2.1 视频生成把「一致性」推到了前排多模态是深度学习里最热闹的方向之一图片理解、图文生成已经相对成熟真正难啃的是视频生成。视频生成和图片生成有个本质区别图片是一张静态画面模型可以慢慢迭代到满意为止视频是一串连续帧任何一帧崩了或者前后不一致整段内容就废了。这也是为什么我们看到很多视频生成 Demo「第一眼惊艳第二秒穿帮」——物体运动一多形变和闪烁就冒出来了。现在的主流做法还是扩散模型路线通过反复去噪来生成帧序列但为了维持时间一致性模型架构上需要额外引入时序注意力或者运动估计模块推理成本比单图生成高一到两个数量级。我测试过一些开源视频模型单段 5 秒 720P 视频在消费级显卡上跑耗时动辄十几分钟而且可控性很差你没法精确控制镜头运动、物体数量或者场景布局。所以我对视频生成落地建议是先别追求大片级效果优先用来做短视频素材、产品演示、广告分镜这类「容错率高、重看次数少」的场景。如果要做专业视频工具重点投入在可控性和编辑能力上——用户不是要模型凭空生成一段视频而是想改某一段动作、换某一个物体这比「生成得更炫」难得多也值钱得多。2.2 统一分词与共享架构的工程代价多模态的另一条路线是往统一架构上靠让文本、图像、音频、视频共用一套表征和训练框架。这个想法的好处显而易见——模型可以跨模态迁移知识比如先学文本推理再迁移到图像理解。但工程代价同样明显不同模态的信息密度和结构完全不同强行统一会导致训练不稳定、收敛变慢。我见过一个多模态项目团队花了大量时间在「模态对齐」上图像编码器输出特征和文本嵌入不在同一空间需要额外投影层但投影层的初始化、学习率都和主干不一致结果训练初期损失曲线疯狂抖动。最后他们把训练分成两阶段——先冻结主干只训练投影层再解锁全部参数做联合微调才稳住训练过程。这段经历给我的启发是多模态模型的难点从来不是模型结构有多新而是各个模态在训练节奏、数据配比、梯度尺度上的协调。3. Agent 化让深度学习从「出结果」变成「干完事」3.1 工具调用与上下文管理的隐性复杂度大模型 Agent 是这两年被讨论最多的应用方向之一。技术上它本质上是给模型配了工具调用能力模型不仅能回答问题还能调用搜索引擎、API、数据库、代码执行器然后根据返回结果继续决策。听起来很简单但真正做起来会发现杂活的复杂度全在模型外面。最典型的坑是上下文爆炸。Agent 每走一步都要把新的观察结果塞回上下文里。一个多步骤任务跑下来上下文可能膨胀到几十万 token推理时间和成本一起飙升。我当时做的内部运营助手就遇到过这个问题任务执行到第五步时响应延迟已经慢到不可接受。后来我加了两层机制一是关键信息摘要——每轮工具调用完成后把原始结果压缩成结构化摘要再放回上下文二是历史裁剪——超过一定轮数后把早期的对话内容转成简短的记忆条目。这样 30 轮以内的 Agent 任务基本都能稳稳跑完。另外一个容易踩的坑是工具调用的格式解析。模型偶尔会在 JSON 工具调用里塞注释、换行或者多余字段解析器一个没处理好整个流程就卡死了。务必要在模型输出和工具执行之间加容错层对输出做清洗、校验参数类型、超时重试。这些都是脏活但决定了 Agent 是演示品还是生产工具。3.2 评估智能体比训练智能体更让人头疼传统的模型评估很简单给一批测试题算准确率。但 Agent 是流程式的同一个任务模型可能走 5 步完成也可能绕 12 步还可能中途调用了错误的工具但最终歪打正着。怎么判断它的表现好不好我目前常用的做法是把评估拆成三层。第一层是「任务完成度」核心目标是否达成比如订单有没有成功创建、问题有没有被正确回答。第二层是「效率」步数是否合理、有没有做无用调用这个直接影响成本。第三层是「安全性」有没有执行明显不该执行的敏感操作比如删除数据、泄露权限。三层各算各的分最后综合看。没有这套评估你根本没法比较两个 Agent 方案谁更优只能靠肉眼感受「感觉这个聪明一点」这在工程上是不可接受的。顺带说一句现在很多 Agent 框架自带的评估功能都比较粗糙真正要落地还是得针对自己业务建评测集。评测集不一定要很大但必须覆盖典型的正常路径、边界路径和异常路径三类场景至少各几十条。4. 轻量化、压缩与部署小模型的边界正在外移4.1 蒸馏与量化不是免费午餐深度学习落地时成本压力永远是绕不开的话题。大模型效果好但推理成本高、延迟高、部署门槛高。于是蒸馏、量化、剪枝这类轻量化手段成了工程团队的日常操作。知识蒸馏的思路是让一个小模型去模仿大模型的输出分布而不是只学硬标签。这么做的好处是小模型不仅能学到正确答案还能学到大模型对不确定样本的「犹豫程度」泛化能力通常比直接训练好不少。但蒸馏有个隐含前提大模型本身的输出质量要够高。如果大模型在某个子领域本身就在瞎编蒸馏等于把错误放大教给小模型。量化则是把模型权重从 32 位浮点数压缩到 8 位甚至 4 位整数。我实测下来的结论是8 位量化在绝大多数任务上几乎没有损失4 位量化则要看具体任务数学推理、长文本理解这类任务退化会比较明显。有一次我把一个 7B 模型压到 4 位跑情感分类没问题但跑复杂指令理解明显感觉模型变「笨」了。所以量化方案一定要搭配自己的评测集来验不能只看模型大小和速度。4.2 部署侧的取舍效果、成本、延迟三选二我发现很多团队在选择模型时只有一个模糊的感觉「越大越好」或者「小一点省钱」。但真正落地的时候你需要先想清楚业务对效果、成本、延迟的优先级。我把常见的取舍整理成了下面这张表基本可以覆盖大多数场景。场景效果要求成本敏感度延迟要求推荐路线离线批量分析、数据挖掘高中低大模型 4/8bit量化 长超时在线客服、助手中高高高中档模型 蒸馏 流式输出端侧离线应用中极高极高小模型 量化 任务裁剪代码生成、复杂推理极高中中推理增强模型 推理时扩展表格只是参考真正的关键是每个参数都要量化出来单次调用的平均成本、p95 延迟、失败率这些数字不跑压测是拿不到的。我见过一个团队因为没做压测上线第一天推理服务就被打爆后来加了一堆缓存和限流才救回来。部署侧还有一个容易被忽视的点GPU 资源利用率。现在很多推理框架支持动态批处理、Continuous Batching可以把并发请求拼在一起跑大幅提升吞吐。但开启之后单个请求的延迟会波动需要你在吞吐和延迟之间做显式配置。这个平衡没有标准答案只能拿自己业务的流量分布去压测。5. 世界模型、具身智能与 AI for Science前哨站5.1 世界模型为何又回到聚光灯下世界模型这个概念在深度学习里不算新但过去一年它明显回到了聚光灯下。核心想法是让模型学习环境状态的演化规律能够根据当前状态预测下一步状态而不是只学会输入到输出的直接映射。这就像一个人打桌球不是靠死记硬背每个球的角度而是建立了一套「球怎么走」的物理直觉。大语言模型的推理能力让世界模型有了新的实现空间——有些团队开始尝试用语言描述物理世界的变化配合视觉信息综合建模。但目前看这类模型离可靠还比较远尤其在物理规律复杂的场景里经常出现「脑子会了、手不会」的尴尬模型能预测物体大概会动但具体动到哪、速度多少误差很大。我觉得世界模型短期内更适合做仿真环境里的辅助判读比如游戏 AI、机器人模拟训练而不是直接替代物理引擎。如果你所在团队想跟进这个方向建议从特定受限场景切进去比如固定机械臂的操作环境或者室内导航环境先把小场景做准再考虑通用性。5.2 具身智能与科学发现的共性难题数据与验证具身智能和 AI for Science 是看起来风马牛不相及的两个方向但它们有一个共同瓶颈数据稀缺和验证困难。具身智能需要机器人真实操作的数据但采集机器人数据要硬件、要场地、要安全措施成本极高AI for Science 需要大量高质量的实验数据可很多科学数据本身就不容易获得标注和验证更是麻烦。这两个方向的共同点还在于「仿真的鸿沟」。机器人领域模型在仿真环境里学得很好一到真实世界就失效因为仿真永远不能完全模拟物理世界的摩擦、光照和噪声科学发现里模型的预测也需要真实实验验证但实验周期长、成本高根本不可能大量试错。对普通团队来说这两个方向目前不是很好的切入点更适合大团队和科研机构去押注。但我们可以保持跟踪因为它们一旦突破很可能以工具化的方式外溢出来——就好像当年视觉模型成熟后图像识别的能力很快变成了大家都调用的接口。6. 进入前沿之前的最后一关基础设施与评测6.1 复现失败的大多不是算法而是环境这是我近年最深的感触很多团队不是输在模型选型而是死在基础设施和工程细节上。同一个开源模型别人复现出 80 分的效果自己跑只有 60 分大多数时候不是玄学或运气而是训练配置、数据预处理、随机种子、框架版本这些「脏东西」在起作用。我遇到过最典型的问题有三个一是数据顺序不一致同样的数据集打乱顺序不同最终效果能差两三个点二是框架版本差异不同版本的算子实现会带来数值精度变化累积下来就是效果偏差三是超参敏感学习率调度、warmup 步数、batch size任何一个不对都可能导致训练震荡甚至不收敛。所以我的建议是复现任何项目之前先把环境锁死用固定版本的依赖镜像记录数据预处理的具体细节保存完整的超参配置文件。6.2 评测体系决定技术选型的质量另一个被低估的环节是评测。前沿技术天天变新模型、新方法层出不穷如果没有一套稳定、可靠、贴业务的评测体系你根本没法判断哪个新技术值得引入。评测集的质量直接决定了你选型和迭代的决策质量。我目前的做法是准备三个评测集核心业务集覆盖线上最典型的调用场景数量不用多一两百条足矣对抗集专门放一些容易出错的边界样本比如模糊提问、非常规格式、干扰信息回归集用来做版本对比确保新模型上线后不会把旧能力改坏。每次做技术选型我都拿着这三个集把候选方案全部跑一遍算准确率、算成本、算延迟然后综合考虑。有了这套评测体系我在面对所谓「前沿突破」时会淡定很多——先跑评测再谈适配。因为很多新技术在公开基准上表现不错但换到自己的业务场景里效果可能反而不如老方案。这不一定是技术不行而是领域不匹配。评测体系的另一个好处是它能帮团队沉淀知识每个版本的方案优劣都有记录后面新成员接手时不用靠问人直接看历史报告就行。7. 我的年度取舍哪些方向值得跟哪些先放一放7.1 值得现在动手的方向如果让我给团队提建议我会优先推荐三个方向一是基于推理时扩展的复杂任务处理也就是让模型在关键场景下「多想几步」它的投资回报比很高只需要在现有模型上增加推理策略不需要重新训练二是 Agent 工程化尤其是工具调用和数据管线打通因为大部分业务都能从中受益而且一旦跑通壁垒很高三是模型轻量化部署把大模型压到够用的成本水平这个能力在成本压力越来越大的环境下特别值钱。这三个方向有两个共同特点技术已经相对成熟不会轻易被推翻同时它们都需要工程投入不容易被快速复制。比起盲目追热点把这三个方向做扎实是对团队更实际的资产负债表。7.2 我会继续观望的方向与之相对的我会保持观望但不急于投入的方向包括通用视频生成、世界模型、具身智能以及尚不成熟的 AI for Science 应用。不是说这些方向没价值而是它们的投入产出比目前还很不确定。通用视频生成的可控性问题没解决之前很难做成稳定的产品世界模型和具身智能对数据、硬件和场景的要求太高更适合资源充足的团队去试水。我自己跟踪前沿技术的方式很简单每个季度整理一次技术雷达卡片把看到的方向分成「已落地」「可实验」「纯观察」三档每档配三到五句话说明判断依据。这样做的好处是团队讨论技术选型时不会凭感觉而是有一份持续更新的依据表。深度学习的节奏很快但并不要求每个人每个热点都跟把有限的资源押在你真正需要的地方比什么都追更重要。