这两年多模态方向火得不行模型一个接一个往外冒各种新名字让人眼花缭乱。但如果说让我给刚入行的朋友列一个“必读论文清单”BLIP肯定排在前三名。原因很简单它的思想方法几乎贯穿了后续所有视觉-语言模型的设计你今天看到的大多数多模态基础模型多少都有BLIP的影子在里面。BLIP全称是Bootstrapping Language-Image Pre-training也就是“自举式的语言-图像预训练”。它最有价值的东西不只是网络结构而是把“数据质量”这件事放到和模型架构同等重要的位置——这在那几年的多模态研究里是非常超前的。这篇文章我会按自己的理解把BLIP解决的问题、核心架构、训练策略、数据增强机制、复现时容易踩的坑还有它对后续模型的影响全部串起来讲一遍。适合正在做多模态研究、准备入门VLM方向或者想把一些经典模型搞透的同学参考。1. 为什么是BLIP它到底解决了什么问题1.1 BLIP的思路起点一个模型把理解、检索、生成都干了在研究BLIP之前得先搞清楚一个背景问题2021年前后多模态预训练领域的主流方案其实分成两派。一派是做图文对比学习的模型典型代表是CLIP那种思路用对比损失把图片和文本拉到一个向量空间里训练完拿去做检索或者零样本分类。另一派是序列到序列的生成式模型比如SimVLM、CoCa这类把图文输入统一建模成序列最大化文本生成概率。这两派各有优势但问题也很明显。对比学习的模型擅长判断“像不像”“匹配不匹配”但让它写一句描述图片的话它写不出来因为它压根没有生成能力。生成式的模型能看图说话但在图文检索、匹配这类“判断型”任务上又不那么灵活因为它们没有专门设计用于对比的表示头。那时候的普遍做法是想要覆盖多个任务就训练多个模型或者在某一个大模型后面挂不同的任务头。但这些方案都免不了重复劳动而且任务之间没法共享底层知识效率很低。BLIP的思路很干脆能不能就在一个模型里既做得到理解又做得到检索还做得到生成如果你想的是“一个模型吃三个任务”那意味着架构设计、训练目标和数据组织都要重新想一遍。这就是BLIP的出发点——它把“统一模型”这个目标真正落到了工程可实现的程度。1.2 对比前代方案BLIP的位置在哪可能有人会问单模型多任务这个想法也不是BLIP第一个提的之前也有很多论文搞过多任务学习。BLIP的独特之处在于两点。第一它把“理解”和“生成”的边界用清晰的方式揉进同一个Transformer里。具体来说用不同的特殊标记和掩码策略让同一个骨干网络能切换成编码器、交叉注意力编码器、解码器三种模式。这个设计虽然是借鉴了以往工作里“prefix-LM”这类思路但BLIP把它做得非常系统后续很多工作都直接沿用。第二它直面了一个当时大多数学术研究都在回避的问题互联网采集的图文数据噪声太大直接用会污染模型。BLIP提出了一套自举式数据过滤和生成机制——CapFilt让模型自己给自己造干净的数据再用干净数据重新训练。这一点在当时是很有开创性的也是BLIP拉开与其他工作差距的关键。所以理解BLIP不能只看它的网络结构图更重要的是理解它是怎么把架构、损失函数、数据治理这三件事串成一个整体的。这三者缺一不可任何一环掉链子模型效果都会明显缩水。2. 核心架构MED是怎么把三件事揉进一个模型的2.1 三个组件各自负责什么BLIP的核心架构叫MEDMultimodal Encoder-Decoder多模态编码器-解码器虽然名字里带“编码器-解码器”但它不是传统意义上那种纯粹的Seq2Seq。整套结构里实际包含三个子组件。第一个是Unimodal Encoder单模态编码器分别对图像和文本做独立编码。图像部分用的是ViT把图片切成patch之后过Transformer文本部分用的是类似BERT的纯文本编码器不做图像交叉注意力只对文本本身做自注意力编码。这个分支主要用于计算图文之间的全局相似度也就是做对比学习用的向量。第二个是Image-grounded Text Encoder图像条件文本编码器。这个分支在文本编码器的基础上额外加入了图像交叉注意力层。输入文本时每个token不仅要看自身上下文还要通过交叉注意力去“看”图像特征。这个分支用来做图文匹配任务判断“这张图和这句话到底匹不匹配”。它和第一个分支的区别在于单模态编码器不接触图像信息而这个编码器会把图像信息注入到文本编码过程中。第三个是Image-grounded Text Decoder图像条件文本解码器。它跟第二个分支类似也有图像交叉注意力层但文本部分的自注意力被换成了因果掩码也就是每个位置只能看到当前位置之前的token不能“偷看”后面的内容。同时输入序列前面会加一个特殊的[Decode]标记输出是后续的文本token序列。这个分支用来做caption生成也就是让模型看图说话。这三个子组件不是三个独立的模型而是共享了大量参数的“同一个人格的三副面孔”。2.2 参数共享与模式切换的核心逻辑很多人第一次看MED结构图的时候会被绕晕觉得三个组件看起来好像差不多共享来共享去到底什么含义我拆开讲一下。BLIP里图像编码器只有一个就是那个ViT三个分支共用。文本部分呢单模态编码器和图像条件文本编码器的文本自注意力层、前馈层参数是共享的区别只在于图像条件文本编码器多了一组交叉注意力层。图像条件文本解码器呢除了新增的交叉注意力层之外自注意力层和前馈层也和前面两个分支共享。也就是说整个模型里真正独立的参数大部分来自三层交叉注意力以及各自的位置编码之类。这么设计的直觉是文本自注意力的底层能力比如语法、词义、常识是可以跨任务共享的没必要为每个任务各训一套。真正需要单独学的是“如何把图像信息融合进来”这部分才需要专门的交叉注意力层去建模。这样既缩小了参数量又通过多任务训练互相增强文本编码器本身的表示能力。另外一个容易忽略的细节是特殊标记的妙用。比如做图文匹配时文本前面加[Encode]这个特殊token整个编码器处理完后这个token对应位置的那个向量就当作“图文匹配特征”喂给分类头。做生成时序列用[Decode]开头模型输出后续token。这种通过特殊标记切换模式的做法后来成了视觉-语言模型里非常常见的约定。实际跑模型的时候你不会同时运行三个分支而是根据当前任务只激活对应的那部分。比如做检索就只跑到对比学习的向量那一步做caption就走解码器路径。这也是BLIP能保持推理灵活性的重要原因。2.3 三个训练目标ITC、ITM、LMBLIP的训练阶段同时优化三个目标每个目标对应前面说的一个分支。第一个目标是ITCImage-Text Contrastive Learning图文对比学习。做法是让图像编码器输出的[CLS]向量或者统一的图像特征和文本编码器输出的[CLS]向量拉近或推远——匹配的图文对在向量空间里距离越近越好不匹配的要推开。这个目标负责训练模型对“语义相似度”的感知能力是图文检索任务的核心基础。第二个目标是ITMImage-Text Matching图文匹配。这是一个二分类任务输入的图文配对到底是匹配还是错配。它和ITC不一样的地方在于ITC只看全局向量之间的余弦相似度而ITM是在图像条件文本编码器里做了图文token级别的交叉注意力交互。这相当于从更细的粒度上对图文一致性建模。有一个细节值得注意ITM的负样本来源。BLIP在训练ITM时不会随便随机抽几个错配样本而是从ITC算出来的相似度矩阵里挑“高相似度但不匹配”的样本作为难负样本。因为随机负样本太容易区分模型学了也白学用难负样本才能逼着模型真正学会理解图文之间细粒度的差异。这个做法后来也被很多工作借鉴。第三个目标是LMLanguage Modeling语言建模。就是标准的自回归生成损失用前面已生成的token和图像特征去预测下一个token最大化真实caption的条件概率。这个目标让模型具备了生成能力是图像描述任务的核心。三个目标在训练时是同时优化的一个batch的图文对进来一次前向计算三个loss各自算完加起来回传。这个多任务联合训练的设定让模型可以同时发展出“比较能力”“匹配判断能力”和“生成能力”并且让三种能力之间互相增益。这是BLIP能用一个模型覆盖多种任务的根基。3. 隐藏在数据里的杀招CapFilt自举式数据增强3.1 多模态训练数据到底有多脏如果说架构设计和损失函数是BLIP的骨架和肌肉那数据治理就是它的内脏功能重要但经常被人忽略。这里就得好好讲讲这个经常被一笔带过的模块——CapFilt。先看一个现实问题。多模态模型要训练出泛化能力光靠人工标注的干净数据集是不够的因为像COCO这种人的标注数据规模也就十几万级别但是模型要学到丰富的视觉-语言对应关系通常需要上亿的图文对。这数据从哪来只能从互联网上爬。互联网上的图片大多带着alt-text或者周围的网页文字质量非常参差不齐。举个例子一张猫的照片旁边的文字可能是“领养猫咪的十大注意事项”“今天天气不错晒晒猫”“一只猫躺在沙发上视频链接在评论区”甚至可能是完全不相关的广告文案。这些文字勉强也能算作“文本描述”但和图片内容的关联程度天差地别。如果用这种噪声数据直接训练模型很容易学到错误的对应关系比如看到猫就联想到“领养”而不是“猫长得什么样”。论文里的数据构成大概是这样用COCO、Visual Genome、CC3M、CC12M、SBU等公开数据集再加一个经过基础过滤的LAION-400M子集总体量约1.4亿个图文对。数量是够了但里面能真正称得上“高质量描述”的比例实在不高。如果直接把这堆数据灌进模型光是把噪声适应掉就要浪费大量算力而且最终效果还达不到预期。3.2 CapFilt的运行流程CapFilt这个名字其实是两个词的组合Captioning生成描述和Filtering过滤。组合起来就是“先让模型自己生成描述再用模型自己判断质量最后得到干净的训练数据”。整个流程分三步。第一步先用刚才说的那1.4亿个噪声图文对按照ITC、ITM、LM三个目标训练一个种子MED模型。这个阶段模型会吸收一部分噪声效果自然不是最好的但已经具备基本的理解、匹配和生成能力。第二步把种子模型里的Decoder分出来当“生成器”把种子模型里的Image-grounded Text Encoder分出来当“过滤器”。生成器的作用是对于数据集里的每一张图片不看原始文本直接让模型自己生成几句描述。生成时用带随机性的解码策略让每一张图得到多个不同表述的候选caption。过滤器的作用是对每一个候选caption以及原始caption计算它们和对应图片的匹配分数也就是过一遍ITM二分类头得到一个0到1的概率。第三步设一个匹配分数的阈值。原始caption如果分数高就保留分数低的丢掉模型生成的caption如果分数高于阈值就把它和图片组成新的图文对加进数据集。这样一番操作下来原来那些“文不对题”的噪声数据基本都被筛掉了留下的都是图文相关性很高的样本同时还多了一批模型自己生成的高质量描述。用处理后的干净数据再把MED完整训练一遍BLIP的效果会有一个肉眼可见的跳跃式提升。这个提升幅度之大甚至比改网络结构带来的收益还要明显。我当时看到实验对比的时候愣了一下因为这说明在那一阶段数据质量对模型的制约可能已经超过了模型结构本身的制约。3.3 自举过滤的隐患与设计取舍CapFilt听起来很美好模型自己造数据自己筛数据自己再学。但这里有一个很容易忽略的隐患——自举偏差。翻译成大白话就是模型给自己造的高质量数据里可能带着模型自己的错误偏好和盲区。如果过滤器对某类内容有固定的误判结果就是这类内容在数据集里被反复强化模型在对应领域会越来越“偏科”甚至学不到真实世界里的多样性。论文其实也注意到了这个现象所以过滤阈值怎么定生成时用多低的温度要不要对生成候选做多样性控制这些细节都在反复调。实际操作中如果过滤阈值太高保留下来的样本大多是模型本来就很有把握的简单case多样性受损阈值太低噪声又会漏进来。这是一个很微妙的平衡。我自己做数据增强的时候对这种自举模式的一般经验是首先要保证种子模型本身不要歪得太厉害否则你增强出来的数据就是“错误共识”的放大版。其次过滤阶段宁缺毋滥因为一条高质量样本对模型的正面作用通常能抵消好几条低质量样本的负面作用。第三生成描述时尽量让多样性拉高一些真的能让模型在训练时看到更多角度而不是翻来覆去就那几句套话。另外要注意一个关于“文本描述纯净度”的细节。互联网图文数据里很多文本描述不只是描述图里的视觉内容还夹杂着标签、话题、品牌词、扯淡文案。CapFilt的过滤虽然能筛掉大多数图文不匹配的样本但对于那些文本本身风格很奇怪、但恰好和图片内容相关的样本它并不一定能识别出来。所以后来很多人做数据清洗时还会额外加一层基于规则的预处理先把明显的网页噪声去掉再进CapFilt流程。这个我在实际复现中试过确实有正向帮助。4. 动手实操推理跑通与训练复现要点4.1 快速体验加载预训练模型做图文检索和Caption生成对大多数人来说自己从零训练一个BLIP不现实显存和算力条件摆在那里。但好在官方放出了完整的预训练权重而且把模型封装成了一个按任务划分的多模态工具库。想快速感受BLIP的能力你不需要从头写代码只需要调用它的推理接口就行。第一步是搭环境。BLIP的官方实现基于PyTorch依赖不算复杂主要就是torch、torchvision、transformers这几个包。装好之后把预训练权重下载下来权重文件还挺大的建议用下载工具断点续传别让浏览器裸跑容易中断。第二步是跑推理。官方仓库里一般会有demo脚本或者jupyter notebook。你可以做几个典型的实验拿一张猫的图片让模型生成一段描述拿一段文本去图库里检索最匹配的图片或者反过来给一张图让模型从候选文本里判断哪个最匹配。我最建议跑的是生成和检索这两个因为它们分别对应LM能力和ITC/ITM能力能直观感受一个模型两种模式的不同。需要注意的是推理时有一个配置点容易踩坑是否使用“图片增强”。官方代码里默认会对输入图片做一定的随机裁剪和缩放。有些场景下你希望模型看到完整图片不想让它被裁掉一部分那就要在调用时把相关的预处理参数关掉。我第一次跑的时候没注意明明给的是一张完整的狗的照片生成的描述却说“一只狗的头在画面中央”后来检查发现是预处理把图片裁了。4.2 复现训练的关键配置经验如果想把BLIP重新训练一遍那要认真看几个核心配置。数据准备是最花时间的环节。你要先把那几份公开数据集下载齐然后统一格式转成模型要求的存储布局。这个阶段最大的坑是数据格式不一致不同数据集标注文件结构不一样有的字段是url有的是本地路径有的是json里嵌套字典。建议写一个统一的预处理脚本把清洗后的所有数据集转成同一种格式比如标准化的jsonl文件每条包含image_path和caption两个字段。不要嫌这一步麻烦后面跑训练能节省无数时间。图像分辨率一般设224x224特殊情况微调时再看任务需求调大。文本侧使用BERT的tokenizer最大长度大概32到64就够用了。学习率正常用AdamW初始lr设置在1e-4到3e-5这个量级具体要看batch size和卡数。对比学习目标对batch size非常敏感因为负样本是从batch里采的batch太小负样本数量不足ITC学不动。如果你只有单卡、显存又不大一个补救方法是做梯度累积让等效batch达到256甚至512再更新参数。分布式训练是另一个重头戏。BLIP训练时通常会把所有GPU上的图像特征和文本特征都gather起来再统一计算ITC的相似度矩阵。这样才能保证每个样本的负样本覆盖到整个batch而不是只有本卡那一点点。实现的时候用PyTorch DDP配合同步gather就能搞定但要注意gather之后各卡上loss的维度要对齐不然分布式的loss曲线会忽高忽低看着非常迷惑。Batch size、学习率和分布式通信这三件事基本上决定了你复现出来的模型能不能达到论文报告的水平。很多同学复现效果差了一大截不是代码写错而是这些细节没对齐。4.3 显存受限时的几个实用手段不是每个人都有32张A100去复现BLIP的训练。如果条件有限又确实想自己训一下验证想法我建议按优先级做下面几件事。第一优先是混合精度训练。把模型权重和梯度切成float16能省下一半显存而且训练速度还更快。BLIP这种模型对混合精度还算友好只要loss不出现异常波动基本可以放心开。第二优先是gradient checkpointing。这个技术会把前向计算过程中间层的激活值丢掉一部分反向传播时再重新算一次。代价是稍微变慢但显存占用可以降一个量级。我做实验的时候开与不开差出好几GB的显存。对于序列比较长、层数比较深的多模态模型强烈建议打开。第三优先是减少batch size并用梯度累积补偿。很多人不敢把batch调小是因为对比学习依赖大batch但梯度累积可以弥补。实际操作时先调到能塞进显存的最大batch然后开梯度累积使“实际更新时的等效batch”保持在一个合理范围。至于冻结一部分层这种操作我自己不太推荐在预训练阶段用。BLIP的多个任务之间是联合促进的关系你把文本编码器冻了ITM和LM的学习都受影响效果会打折扣。冻结层更适合做下游任务微调的时候那才谈得上省显存。5. 常见问题排查与避坑记录5.1 训练与复现高频问题速查我把自己跑BLIP过程中遇到的高频问题整理成了一个问题速查表方便大家对照排查。现象可能原因对策ITC loss不下降batch太小负样本数量不足增大batch或梯度累积开启跨卡gather生成caption内容和图完全无关数据里杂物太多或LM权重初始不平衡检查数据清洗流程适当增加LM损失权重分布式训练loss上蹿下跳各卡gather的维度没对齐或DDP同步有问题打印每卡的shape核对检查是否砍掉了冗余维度显存溢出OOM激活值占用太大开混合精度、开gradient checkpointing、减小batch微调下游任务时结果反而变差学习率过大或数据预处理不一致学习率降到预训练的1/10检查图片增强参数对齐用官方评估脚本图文检索R1总是上不去未使用难负样本训练ITM确认训练代码里是否实现从ITC相似度矩阵采难负样本的逻辑这里面我想特别强调一下最后一行。ITM的难负样本机制很多复现版本为了省事直接随机采负样本结果训练出来的模型在检索任务上比论文结果差不少。因为随机负样本太容易区分模型根本不用认真看图就能做对分类学到的是“表面规律”而不是真正的图文对齐能力。我自己把难负样本逻辑加回来之后检索指标一次性涨了好几个点。这个细节极其重要。5.2 评估指标里的三个容易踩坑的地方评估阶段的问题比训练阶段更隐蔽因为模型看起来效果还行但指标就是跟论文对不上。我建议你把下面三点查一遍。第一指标版本要对齐。图像描述生成任务常用的CIDEr、BLEU这些指标不同评估库的实现在细节上有不少差异比如n-gram切分方式、是否区分大小写、标点符号处理规则。一定要用和论文一致的评估脚本否则你算出来的分数和官方报告不在同一标尺上没有可比性。这事不用争论直接对齐脚本最省事。第二解码策略要固定。做caption测评时beam search的beam宽度会影响最终分数。官方报告用的beam size是多少你就用多少。有的模型在beam size较小的时候表现更好因为长句更容易被截断或者重复所以不要自己随便改。读论文实验设置的时候把“Decoding Strategy”那一栏看清楚。第三图像预处理必须一致。评估时不要用训练时的随机增强要固定为center crop或者resize到统一尺寸。很多微调脚本在评估阶段忘了切回确定性预处理结果每个epoch的validation分数都在乱跳不是模型问题是图像本身每次进模型都不一样。这三个坑我在不同项目里都踩过每次排查到最后都是这类细节问题。多模态领域的公共评测拼的其实是“对评估协议的理解程度”和对齐程度模型本身的差距反而常常没那么大。6. BLIP的遗产它给后续多模态模型留了什么6.1 BLIP-2与Q-Former的延续思路BLIP的影响力其实不局限于BLIP这个模型本身它直接开启了一条新的技术路线最典型的就是BLIP-2。BLIP-2试图解决另一个问题多模态模型接入大语言模型时怎么做到高效而不错配。你不可能让一个大语言模型直接吃一大堆视觉token那会拖慢训练、也消耗太多算力。BLIP-2提出了Q-Former结构——一组可学习的query向量通过交叉注意力机制从冻结的视觉骨干中“查询”出最关键的图像信息再把提取到的少量query向量作为视觉提示输入给冻结的语言模型。训练时只更新Q-Former这一小部分参数视觉骨干和语言模型都可以冻住。这个设计后来成了很多视觉-语言大模型的基础架构模板。在我看来BLIP-2最聪明的地方就是顺着BLIP“用少量信息做高效适配”的思路又往前推了一步。BLIP通过共享参数实现了多模态能力融合BLIP-2则通过Q-Former实现了多模态信息压缩和桥接。这两者一脉相承都是在做“怎么把视觉和语言更聪明地连起来”。6.2 从BLIP身上真正需要学走的四件事如果让我提炼BLIP留下的核心经验我会说这四件事。第一数据质量是模型的隐形天花板。很多人追新模型、换结构、调loss但数据里充满噪声模型学出来的东西一定是歪的。BLIP最值得学习的不是MED结构图本身而是它把数据当“训练目标的一部分”来设计的思维方式。第二多任务联合训练带来的收益远大于堆单任务硬件资源。正是因为ITC、ITM、LM三个目标共享底层参数模型才能同时获得粗粒度全局理解、细粒度局部对齐和生成能力三者缺一的效果都不如三个一起上。第三特殊标记和掩码策略是统一模型的工程利器。[Encode]、[Decode]这样的标记配合不同的注意力掩码让一套参数可以变身多种任务这个思想在如今的大模型时代依然普遍适用。第四自举式数据生产机制是可以复用的元方法。用模型辅助生产数据、过滤数据、再训练模型这个范式不只在视觉-语言领域成立在后来的大语言模型数据处理流程里也到处能看到类似的操作。这几件事是我读BLIP时最大的收获每一条都在后续的其他模型里反复出现。理解了BLIP你就等于拿到了一把钥匙再去读很多后来的VLM论文都会觉得顺畅很多。要说个人体会我最大的感受是BLIP这种级别的经典工作只看解读文章是不够的一定要自己亲手把它的三个损失函数在代码里找出来一步步追踪数据是怎么从原始图文对变成训练样本又是怎么生成loss的。走完一遍这个流程你对多模态预训练的理解会比看十篇综述都深刻。如果还有余力建议把CapFilt那段数据生成和过滤的代码单独抽出来跑一遍你会发现数据增强这件事比换模型结构有趣得多也重要得多。