2015年的时候如果有人跟我说未来你会像聊天一样把图片、声音、文字一起丢给一个模型让它直接给你生成一段带画面的回答我一定觉得他是科幻片看多了。那一年我蹲在工位上做着某个模拟项目里的视频理解模块输入是抽帧后的图像、音频特征和一段匆忙的语音识别文本输出是视频分类结果。整个流程拆开看无比朴素三个模态各自提特征然后拼接、过一层全连接最后丢给支持向量机做分类。这套东西能跑出还不错的精度靠的是特征工程够猛。光图像特征就试过色彩直方图、方向梯度直方图还有刚流行起来的深度卷积网络倒数第二层激活值。音频特征更是手工谱特征全部过一遍。但麻烦的是这些特征根本不在一个空间里拼接起来像是把苹果和橘子焊在同一根棍子上分类器学到的往往只是模态之间的线性补偿。那是我第一次意识到多模态的真正难点不是“有没有模型”而是“怎么让两个不具备可比性的东西变得可比”。十年过去多模态已经从一个需要我向导师解释“为什么视频分类不用只抽帧”的冷门方向变成了几乎所有人都在聊的显学。回头看这十年的演进很有必要梳理清楚几个关键转折特征对齐怎么从手工设计走向数据驱动预训练范式如何把“各模态孤岛”连接起来生成式技术又怎样把多模态从“看懂”推向“动手”。这篇内容就是我以亲历者视角做的阶段性复盘里面有技术路线也有踩坑记录和工程判断。1. 2015年的岔路口多模态还没成为显学1.1 那年我做视频分析的“手工浅模型”日常现在很多新人可能难以想象2015年前后做多模态视频理解本质上是一场“特征工程马拉松”。视频要先按固定帧率抽帧每帧再缩放到固定尺寸然后过一个预训练好的深度网络提取特征。音频那边也不省心常见做法是把波形切成长度为几十毫秒的窗口然后提取梅尔频率倒谱系数、过零率、能量等手工特征最后对齐到视频帧的时间轴上。文本部分反而最简单因为当时的视频字幕和语音识别文本都还不是主流输入很多实验甚至干脆只用图像特征和音频特征。可即便只有两个模态日子也不好过。不同模态的特征密度差异极大图像特征通常是几百维到上千维的高维向量音频特征虽然维度略低但时序粒度不同视频帧率可能是一秒25帧音频特征却常常按每秒100帧来算。所谓的多模态融合第一步往往是“凑时间对齐”这一步至今仍是工程上的脏活累活只是现在有了更多自动对齐工具十年前全靠手写脚本。模型结构倒是简单。大多数时候我在用拼接后接全连接层或者直接用核函数做支持向量机。如果谁在汇报里写了“深层次多模态融合”多半只是把多个全连接层叠起来本质上还是让网络从拼接后的向量里硬找规律。这种做法有三个问题第一个问题是模态之间交互被压缩到“同一个向量里”模型很难学到细粒度的跨模态关系比如“这段鼓点和这个人挥手的动作是否匹配”第二个问题是很浅的非线性层根本拟合不了特征空间之间的复杂映射第三个问题是数据量太少一旦网络加深过拟合立刻找上门来。我还记得某次对着一张表格调参图像特征权重和音频特征权重的比例从1比1试到0.3比1总共跑了十几个版本准确率只浮动了两三个点。当时有个做纯视觉的同事输入多一帧图像效果都比我精调融合权重来得明显这让我一度怀疑多模态是不是伪需求。后来才明白不是伪需求是我根本没有一套合适的工具去建立模态之间的“共同语言”。1.2 多模态为什么突然被盯上2015年前后学术界和工业界几乎是同一时间开始重新审视多模态原因很朴素单模态深度学习在图像分类、语音识别、机器翻译上都拿到了让人兴奋的结果大家自然想试试“如果把眼睛、耳朵和文字一起给模型是不是能看得更明白”。当时越来越多内容平台需要在海量视频里做自动分类、检索和审核纯文本和纯图像的办法都容易漏掉关键信息比如一段搞笑视频如果只看画面很难识别出恰好在背景音里出现的关键台词。这个阶段也出现了不少公开的大规模多模态数据集里面包含成对或成组的图片、句子、视频片段等。研究者终于不用自己录数据、买版权就能在一个相对稳定的基准上比较算法。这些数据集的共同特点是规模比单模态数据集小得多标注也粗糙很多图片和文字描述的关系只能算“相关”而不是严格对应。可正因为有了它们大家才第一次可以定量比较“拼接融合”“注意力式融合”“张量融合”等五花八门的方法。工业界的推动同样明显。视频搜索和智能审核需要同时利用视觉内容和语义信息广告系统也想通过用户上传图片配合的文案来判断兴趣。这些场景的核心需求都指向同一个方向让机器理解“图像里是什么”和“文字说了什么”之间的对应关系。可以说2015年是技术积累、数据规模和商业诉求三个齿轮终于咬合在一起的年份。1.3 当时的技术天花板特征不对齐如果非要用一句话概括当年多模态研究的最大瓶颈我会选“特征不对齐”。所谓不对齐包括空间不对齐、语义粒度不对齐以及时序不对齐。空间不对齐很好理解。图像特征来自二维卷积网络某个中间层每个位置对应原图的一个局部区域文本特征来自词向量序列每个位置对应一个词。这两个空间里的“位置”没有任何约定直接拼接后模型并不清楚某一维向量到底该对应图像的哪块区域、或者文本的哪个词。语义粒度不对齐更隐蔽图像特征可能编码了“一只黄色的狗在草地上跑”而文本特征可能只是编码了“狗”这个词两者本身就是粗细不同的信息层级。时序不对齐则主要出现在视频场景视觉内容和语音/字幕的关系往往不是严格的逐帧对齐比如人在说话前会先抬手语义上文本对应的是“我马上要说”但画面已经提前了半秒。面对这些不对齐当时最常用的补救措施是“度量学习”也就是让模型学习一个映射函数把不同模态的原始特征映射到同一个公共空间里然后用余弦相似度或欧氏距离判断它们是否匹配。这个思路听上去很合理但在小数据、弱标注的条件下学出来的公共空间经常被少数样本带偏。更气人的是映射函数本身往往只是一层线性变换根本处理不了“一张狗的照片”和“一段描述狗的文字”之间那种高度非线性的对应。所以那几年的大部分论文其实都在围绕“怎么设计更好的映射”打转本质上是拿写死的模型结构去对抗语义复杂度天花板自然很低。2. 中间五年注意力机制把多模态从“拼接”推向“对齐”2.1 跨媒体检索教会我们的事2015年之后一个典型的任务开始频繁出现跨媒体检索。给一段文字去库里找相关的图片或者给一张图去库里找跟它讲的是一回事的视频。一开始大家走的路子还是前面提到的公共嵌入空间训练一个双分支网络一边编码图片一边编码文本再用排序损失拉近匹配对、推远不匹配对。这个任务看起来简单实际做起来全是坑。我记得在某个模拟跨媒体检索项目里直接用欧氏距离做相似度效果惨到怀疑人生。后来换了三元组损失也就是拿一张图、一句正向描述、一句负向描述组成样本让模型学会“正向的比负向的更近”。这个方法收敛很慢而且特别依赖负样本的质量。如果负样本是从完全不相关领域里随机捞的模型很快就学会了偷懒——只看文本里有没有“狗”这个词而不去真正理解图像内容。后来我们不得不做困难负样本挖掘先把一批候选样本用当前模型跑一遍专门挑那些“模型觉得相似但其实不匹配”的结果当负样本才逼着模型学习更细粒度的信息。这段经历让我悟到一件事多模态对齐的最优解并不在模型结构里而在“怎么样让模型不断看到难区分的例子”。对比学习后来之所以能在大规模预训练里大放异彩核心逻辑和这个一模一样——只是把负样本的数量提升到了成千上万把数据规模拉到了几十亿。2.2 注意力让不同模态“能对上话了”跨媒体检索解决的是“整体像不像”的问题但很多场景需要更细腻的交互于是注意力机制从机器翻译领域一路渗透过来。它最大的贡献是把“全局特征拼接”变成了“局部信息软对齐”。以视觉问答为例模型拿到一张图和一个问题需要先判断问题里的“红色”可能指向图片中的哪个区域再针对这个区域寻找答案。这种能力靠拼接向量是学不出来的因为每个词、每个图像区域在拼接后的向量里已经被压成一个不可拆分的整体。注意力机制则允许模型在推理过程中反复计算“当前这个词和图片哪个位置相关性更高”然后只把这些相关位置的特征加权汇总。这样一来不同模态之间第一次有了“对话”的桥梁不再是把整句话和整张图硬撞在一起。这里可以用一个生活类比过去的多模态融合是把家里所有东西都摊开在地板上让清洁机器人自己判断哪里脏注意力机制则是你直接告诉机器人“客厅茶几下面需要重点看”效率高得多。从技术角度看注意力本质上是一种动态加权权重完全由输入决定所以它能适应不同图像、不同句子的变化而不是像传统平均池化那样对所有位置一视同仁。那时候的多模态注意力模型普遍还依赖于单模态预训练特征的输入常见做法是在图像特征和文本特征之上再接一层注意力交互模块。虽然还没有进入“全面预训练”阶段但已经能在一系列公开评测任务上显著超过拼接模型。也是从那时起多模态研究终于不再只是“特征工程大赛”开始有了自己的模型设计方法论。2.3 为什么当时仍然是小步慢跑尽管注意力机制让多模态交互上了一个台阶但2016到2019年之间整体进展仍然可以用“小步慢跑”来形容。主要原因有三个一是高质量跨模态标注数据稀缺很多数据集只能靠人工一点点写描述规模和单模态数据集完全不是一个量级二是算力昂贵一个多模态注意力模型动辄需要多卡训练普通研究团队很难做大规模探索三是缺少自监督学习这种“自己给自己出题”的训练思路几乎所有训练都依赖手工标注的匹配对。更尴尬的是当时很多多模态模型只能在学术评测集上刷分到了真实场景立刻露怯。比如在视频问答任务里模型经常依靠文本先验来回答——只要训练集中“有多少个人”这个类型的问题大多数答案是“2”模型就可能不看视频瞎猜也能得高分。这种“偷懒”现象直到后来人们用对抗式评测才发现大家才意识到评估协议本身也需要演进。不过回过头看这段小步慢跑的日子其实是必要的积累。注意力机制、度量学习、多模态融合层的各种尝试为后面大模型时代的全面爆发储备了足够多的网络结构组件和训练经验。没有这些看上去零散的工作后来的大规模预训练模型不会凭空长出来。3. 预训练语法的到来多模态有了通用底座3.1 从单模态预训练到跨模态对齐训练约从2019年开始多模态研究进入了一个完全不同的范式。此前大家默认“图片就得用图像编码器文本就得用语言编码器”也就是各自为政而新的趋势是先用海量单模态数据训练出强大的通用编码器再用模型结构让这些编码器在中间层开始交互。随后更进一步干脆从零开始训练一个统一的编码器把文本、图像甚至音频、视频当成不同类型的输入通过设计训练目标让模型自己学会跨模态对应关系。这个转变很像从“请了三个各自领域的专家让他们临时组队”变成“从小训练一批通才让他们在同一个框架里自己学配合”。专家组队的难处在于三个专家都有自己的术语体系沟通成本极高统一框架则通过同一个损失函数倒逼模型内部的表征对齐省去了大量人工设计接口的工作。具体到训练目标最流行的一类是对比学习把“匹配的图文对”拉近把“不匹配的图文对”推远。这类方法很容易理解实现成本也不高但它的上限取决于负样本质量和数据噪声。还有一类是掩码重建把图像的一部分区域或文本的一部分词遮住让模型根据其他模态的信息去预测被遮住的内容。这条路线更像是“完形填空”模型被迫同时理解两个模态才能把缺失的部分补出来。3.2 数据规模、算力和训练目标如何重新定义一切预训练范式的胜利本质上是“数据量算力训练目标”三者的胜利。这跟2015年最大的不同不是某个模型的网络结构变复杂了多少而是整个训练模式从“监督小样本”变成了“自监督大样本”。先看数据规模。2015年大家用手工标注的视频分类数据集几十万条已经是天花板预训练时代用来做图文对齐的数据动辄是互联网上爬下来的十几亿对“图片-文本”这些数据虽脏但量大到模型可以自行消化噪声。再看算力过去训练一个多模态模型需要调小批量大小以免显存溢出现在大规模预训练集群极其常见模型可以一次“看”成千上万个样本。最后是训练目标对比学习、掩码重建和生成式目标让模型不再依赖人工标注互联网上的原始数据就能变成训练信号。这三者的叠加产生了一个质变模型第一次有了足够大的视野去理解“狗”这个字可能对应无数不同颜色、姿态、背景的图像而不再是那个在几千张图里反复见过的“标准狗”。我自己的体会是以前感觉是在教一个孩子认图你举一张照片告诉他这是狗他记住的可能是这张照片里的草地预训练则像是带孩子去了一整座动物园虽然没人逐张讲解但他自动总结出了“狗”和“草地”“项圈”“尾巴”之间更抽象的规律。3.3 老一批研究者怎么适应新范式作为在2015年还在手工调特征的人面对预训练范式席卷而来的那阵子心情其实很复杂。一方面过去几年积累的特征设计经验、对齐技巧确实还在某些小规模任务里有价值但另一方面每当新模型在榜单上大幅刷新当年精心调出来的结果都会产生一种“我是不是白折腾了”的自我怀疑。后来我慢慢想明白老经验不是没用而是需要换一种方式去用。特征工程时代培养出来的“数据敏感度”在预训练时代变成了最稀缺的能力你会第一时间发现数据里存在大量错误匹配你更清楚什么样的负样本才能逼出模型真正的短板你也更警惕评测集上的分数会不会被某种统计规律刷出来的。这些能力在当前很多团队里反而是最大的短板。所以那批从手工特征时代走过来的人最好的转型方向是做数据诊断、评测分析和训练稳定性保障而不是非要跟年轻一代比谁搭的模型层数更多。预训练范式也给工程化带来一个新的烦恼模型越来越大实验成本越来越高很多时候你不敢轻易尝试改变训练目标因为跑一次大规模训练可能要按周甚至按月计算。这迫使研究者和工程师把大量时间花在“小规模模拟实验”上先用小数据、小模型快速验证某个改进方向是否可行再放大规模。这种“小实验大验证”的文化也是预训练时代一个非常显著的变化。4. 生成时代多模态从“看懂”走向“动手”4.1 文本到图像、文本到视频背后的技术杠杆如果说预训练时代的多模态模型解决的是“理解和匹配”那么最近两三年多模态最大的变化是“生成”。“给一段文字直接生成一张以假乱真的图片”“给一句话生成一段动态视频”这些过去只存在于特效公司工作流里的需求正在被拉进通用模型的能力范围。生成式模型在这波技术路线里扮演了核心角色。尤其是一种“先破坏再修复”的训练方式把一张完整图片逐步加噪到面目全非再训练模型把这个过程反向走回去。训练完成后模型只要从一个纯噪声起点出发就能一步步还原成一张符合文本描述的图像。这个思路听起来抽象其实很像“你听了无数遍一首被噪声污染的歌最后即使有人只给你播放噪声你也能脑补出完整的旋律”。关键能力在于模型学会了“理所当然”的结构感。文本到视频的难度又提升了一截因为视频不仅有空间细节还要有连续的时间一致性。人物从左边走到右边中间每一帧姿态都必须自然衔接不能突然闪现。处理这个问题最常见的手段是在生成过程中引入时间维度的建模让模型在对每一帧做“去噪”时同时参考前后帧的信息。实践中这个方向最大的挑战已经不是网络结构而是训练数据互联网上带文本描述的高质量长视频非常少大多数视频时长太短、分辨率太低导致模型生成视频一超过几十秒就容易出现运动漂移或环境不一致。4.2 从专用模块到统一接口多模态模型越变越“全能”生成式多模态还带来一个很明显的产品趋势模型不再是你给它图片它只回答图片问题的专用模块而是变成“什么都能输入一点什么都能输出一点”的全能助手。你可以让它根据一段文字画图也可以给它一张图再要求改写一句对应的说明文字甚至让它把一段中文语音翻译成英文视频描述。这种“统一接口”背后的技术逻辑是把不同模态先映射到同一个语义空间再由一个生成式解码器决定输出什么。用户看到的都是“输入一些东西输出另一些东西”模型内部则共享大量通用知识。这大大降低了产品集成的复杂度——以前做一个多模态应用可能需要串起图像识别系统、文本检索系统、语音识别系统还要自己写一堆胶水代码现在只需要一个模型接口把原始数据传进去拿到结果。当然统一接口也带来了新的工程问题模型变得无比巨大推理成本不低同时因为所有任务都由同一个模型承担你很难单独优化某一个具体任务。比如你既要它做图片描述又要它做图片生成这两个任务对表征细节的偏好可能是冲突的。实际项目里我们经常被迫在“全能模型”后面再接一个小型的专用校正模块用来弥补统一模型在特定任务上的不足。4.3 生成式多模态的信任危机与评测难题生成式多模态带来的不只是效率还有信任危机。最典型的问题是“幻觉”模型会一本正经地生成一张看起来和描述完全吻合、但细节完全虚构的图片或者给出一段语气笃定却毫无根据的文字解释。这在内容审核、医疗辅助、法律文书等场景里非常危险因为用户会把模型生成的内容当作事实。评测难题也随之而来。传统的图文匹配准确率很难衡量一张生成图片好不好——它可能画出一只三只耳朵的猫构图很棒但细节错了这种错误应该怎么打分如果让用户主观打分成本高、波动大如果靠自动指标又容易被人为调参刷分。我见过不少团队在产品上线前不得不组织大量人工标注员对生成结果做多维评分比如“文本一致性”“画面质量”“细节正确性”“有害内容频率”这比传统分类模型的评测复杂得多。但这也正是工程师可以发挥价值的地方。最近两年我越来越觉得生成式多模态的竞争重点会从“谁的画更清晰”转向“谁更可靠、更可控”。谁能把幻觉率压得更低谁能在生成过程中提供更细粒度的可控编辑谁能让内容安全审核跟得上生成速度谁才真正具备产品化能力。5. 十年不变的三个工程问题以及我的解法5.1 数据永远在拖后腿技术演进绕了一大圈最后你会发现数据永远是所有项目里最拖后腿的那个环节。2015年我花大量时间清洗视频、对齐字幕2025年了多模态数据规模变大了几个数量级可数据质量依然是决定模型上限的关键。多模态数据最常见的三大坑是图文不匹配描述的是图里没有的内容、噪声文本自动抓取的页面文本和图片关系很弱、粒度不齐文字只描述了图像的一小块区域。我的经验是在大规模预训练之前一定要先做几件事首先做URL级别的近似去重把重复或近乎重复的样本砍掉然后做对齐过滤利用一个已有模型给每个图文对打个匹配分把低分样本直接丢掉最后做难度负样本补充专门收集那些“看起来相关但实际不匹配”的样例用来做后续精细调整。这三板斧看起来朴素但能稳定地帮模型提升三到五个点的下游准确率。5.2 多任务训练的“排气筒”打架多模态模型到了后期越来越喜欢“一个模型干所有事”但这么做有个非常现实的工程问题不同任务的目标函数经常打架。举个我踩过的坑某次训练一个多模态模型同时让它学图文匹配和光学字符识别前者的损失量级大概在1附近后者的损失量级却常常到100以上。结果梯度更新时模型把几乎所有注意力都放在优化那个高量级的任务上图文匹配任务在几十个epoch内完全停滞最后只能从实验记录里看到它一路躺平。解法没有银弹但有几招很管用。第一给不同任务的损失加可学习的动态权重让模型自己根据梯度反馈调整各任务的关注程度第二在不同任务对应的参数路径上做梯度分离比如共享底层编码器但在各自任务头上用独立适配层第三实在不行就分阶段训练先统一预训练再任务微调。这三种方法可以组合用但我见过的绝大多数项目其实只需要做好第一招和第三招就能解决80%的冲突问题。5.3 从模型指标到用户价值最后一公里最后一个十年不变的问题是模型的指标和用户真正的使用体验之间永远隔着一整条河。很多人觉得模型在公共评测集上拿了高分产品就会好用但真实场景里的数据分布远比评测集复杂用户上传的图片可能是斜的、暗的、带水印的语音可能夹杂噪音文字可能有错别字。模型稍微脆弱一点体验就会断崖式下滑。我的建议是在模型上线前多做“数据扰动测试”。具体来说给测试集加上不同程度的噪点、旋转、裁剪、改词、变速看模型表现下降得有多快。如果一个小扰动就导致准确率崩盘说明模型根本没有学到鲁棒的跨模态对应关系只是记住了训练集的表面模式。另外一定要准备“模态缺失”时的降级策略。用户可能只上传图片不写字或者只发语音不配图这时模型应该明确知道使用哪部分信息而不是傻傻地等待缺失输入报错。这最后一公里往往不性感也写不进论文但它决定了多模态技术到底是停留在演示视频里还是能真正变成“用了就回不去”的功能。我这几年做项目最大的心得是把评测指标的提升当成方向而不是终点把用户现场的怪异输入当成必修课而不是异常情况。十年下来多模态早就不再是“缝合特征”的冷门方向而是变成了一个同时需要算法、数据、工程和安全判断的综合领域。如果说未来还有什么值得期待我觉得不是某个更复杂的模型结构而是多模态系统如何真正去理解物理世界里的上下文和因果关系。那些在真实交互中出现的细节恰恰是下一轮演进最值得深挖的空间。