最近被问得最多的一个项目是 Image2Paragraph标题看着像噱头BLIP-2 加 SAM 加 ChatGPT图片塞进去出来一段贴合画面逻辑的文本描述。我第一反应也是这不就是多模态大模型的基础操作吗但真正把它在 8G 显存的卡上跑起来、并且把输出质量压到能见人的程度之后我觉得这套组合非常值得单独写一篇——因为它不是把三个模型简单拼接而是用分段协作的方式把看图说话这件事拆成三个清晰可调的环节。这篇博文会把这套管线的原理、显存预算、完整代码、实测效果和踩坑经验全部展开。适合两类读者一类是手头只有单张 8G 卡、想做图文批处理生成的技术同学另一类是对多模态模型调用流程好奇、想知道 BLIP-2、SAM 这类模型在真实项目里怎么配合使用的研究者。全文以可复现为优先我尽量把每一步为什么这样做的理由也讲清楚。1. 为什么单模型搞不定图片变段落1.1 单模型能出图说但出不了段落很多人一开始会想直接丢给 GPT-4V 或者 Qwen-VL 这类原生多模态大模型不是更省事吗但 Image2Paragraph 这种标题之所以有存在意义是因为在很多实际场景里你要的不是整体图说而是可验证的区域级描述。单模型看图本质上是把整张图压成一段连续的视觉 token再由大模型解码成文字。它的问题有两个对大图的细粒度信息不敏感。图中同时存在十几个人、车、招牌、树木时单阶段模型很难把每个区域都照顾到经常只描述视觉权重最高的主体其余细节被一带而过。生成过程不可控。你没法指定先看左上角再看右下角也没法把某个具体区域裁出来单独追问。模型觉得什么重要它就写什么。而用 BLIP-2 SAM ChatGPT 的三段式管线天然规避了这两个问题SAM 负责把图切开BLIP-2 负责逐块读ChatGPT 负责重组语言。每一步的输出都是可见、可干预、可替换的。如果某一区域描述错了你只需要改那一个 crop 的输入不需要重新调整整条生成链路。1.2 这是分段协作而不是模型堆叠三个模型拼在一起这种描述会误导人。实际上这套管线更像一条流水线三个环节承担完全不同的职责而且按照数据流动自然衔接环节输入输出核心能力SAM原始图片多个分割区域mask bbox空间定位BLIP-2每个区域裁剪图对应文本描述视觉语义理解ChatGPT结构化描述列表连贯段落语言组织与空间排序把这个结构想清楚之后剩下的事情就简单了分步写代码把每个模块的输入输出对齐。下文整个实战过程都是围绕这张表展开的。2. 三条链路各自的作用和配合方式2.1 SAM负责回答哪里有什么SAM 全称 Segment Anything Model是图像分割领域的分水岭式模型。它的核心特点是可提示分割你给它一个点、一个框、甚至是一段文本它都能返回一个准确的目标掩码。在 Image2Paragraph 中我们用到的其实是它的自动模式——不人工指定目标而是让 SAM 在图片上撒点自动发现足够多的候选区域。用 SAM 做第一层的好处在于它不需要任何训练标签面对任意来源的图片都能工作。分割结果中每个 mask 自带 bbox、面积、预测得分等元数据这些都是后面 BLIP-2 和 ChatGPT 需要的信息。实际使用中SAM 自动分割的粒度是可以通过参数控制的点数越多分割越细但碎块也越多置信度阈值越高垃圾 mask 越少但也可能漏掉一些隐蔽的小目标。这组参数值得你花时间调它直接决定最终段落的信息完整度。2.2 BLIP-2负责回答这一块是什么BLIP-2 是 Salesforce 开源的视觉语言模型最大的设计亮点是引入了 Q-Former 作为视觉编码器和语言模型之间的桥。Q-Former 用少量可学习的 query 从冻结的 ViT 视觉特征中提取信息再把这些信息喂给冻结的 LLM比如 OPT 或 Flan-T5生成文本。为什么选 BLIP-2 而不是其他 VLM 来读区域模型相对小支持 fp16 甚至 8bit 加载8G 显存有跑通的可能性。对单张小图的描述能力很稳尤其是主体单一的裁剪图BLIP-2 能给出物体、颜色、空间状态级别的描述。生态成熟HuggingFace transformers 直接支持不需要额外写推理代码。对区域的裁剪越小、越干净BLIP-2 的表现就越好。这也是整个管线里最讲究前处理后处理的一环。我后面专门讲怎么切区域。2.3 ChatGPT负责回答怎么把这些串成一段话最后一个环节看似最简单却是决定用户体验的关键。BLIP-2 生成的是零散的短句比如a man in a red jacket、a white car on the road它们之间没有空间关系也没有语序。ChatGPT 拿到这些碎片之后要做的是按空间位置排序让描述符合人的阅读习惯从左到右、从上到下、前景到背景。把重复信息合并把不重要的内容降权。生成自然的中文段落而不是把英文短句直接拼接。这里有个工程优势ChatGPT 通过 API 调用本地不占显存。也就是说8G 显存只需要分配给 SAM 和 BLIP-2语言的最后一步完全外包给云端。这正是整套方案在有限硬件下能跑起来的重要原因。3. 8G 显存跑通的工程决策3.1 模型选型与显存预算8G 显存跑大模型最忌讳的就是把三个模型同时加载到 GPU。我在第一版实现时天真地同时加载了 SAM BLIP-2结果 CUDA OOM 直接把我打回原形。正确的思路是切割阶段和描述阶段串行复用显存。先看单模型的显存占用预算。以我实测的配置为准组件参数量级加载方式显存占用实测约SAM ViT-B约 91Mfp161.0~1.5 GBBLIP-2 (OPT-2.7B)约 3.2Bfp166.3~7.0 GBBLIP-2 (OPT-2.7B)约 3.2B8bit 量化bitsandbytes约 3.5 GBChatGPT API无远程调用0 GB结论很明确在 8G 显存上BLIP-2 用 8bit 量化加载是最稳妥的方案能给你留出足够的缓冲空间不然推理时峰值显存一波动就直接爆。如果你坚持用 fp16 跑 BLIP-2也不是绝对不行但必须保证没有任何其他程序占用显存而且输入图片分辨率要压低。3.2 分时复用先让 SAM 干完活再上 BLIP-2整个程序的显存策略我没用复杂的显存池化管理就是最土但最有效的分段加载加载 SAM跑完全图分割把所有 mask 数据segmentation、bbox、score存到内存。显式删除 SAM 模型调用torch.cuda.empty_cache()释放显存。加载 BLIP-2对每个裁剪区域逐一生成描述。全部描述完成后释放 BLIP-2。调用 ChatGPT API 生成最终段落。这个流程的优势在于任何时候 GPU 上都只有一个大模型显存峰值就是单个模型的峰值而不是所有模型之和的峰值。用 Python 表达就是import torch def run_sam(image): from segment_anything import sam_model_registry, SamAutomaticMaskGenerator checkpoint sam_vit_b_01ec64.pth sam sam_model_registry[vit_b](checkpointcheckpoint) sam.to(cuda) generator SamAutomaticMaskGenerator( sam, points_per_side32, pred_iou_thresh0.92, stability_score_thresh0.92, min_mask_region_area200, ) masks generator.generate(image) del sam, generator torch.cuda.empty_cache() return masks注意del之后别忘了empty_cache()。这一步不执行的话PyTorch 的缓存机制会继续占着显存下一个模型加载时照样 OOM。这是我调试时差点忽略的细节。3.3 输入分辨率最容易忽略的显存杀手如果你已经按上面的方式分时加载了模型但 BLIP-2 仍然报 OOM问题多半出在输入图片尺寸上。BLIP-2 的 processor 默认会把图片缩到模型训练时设定的分辨率但阅读大图时crop 区域如果本身是高分辨率裁剪送入模型时的中间张量体积会显著上涨。控制方式是显式指定输入分辨率from transformers import AutoProcessor processor AutoProcessor.from_pretrained(Salesforce/blip2-opt-2.7b, size{shortest_edge: 224})把最短边固定到 224BLIP-2 的计算量和激活值都会大幅下降。代价是过小的图可能丢失细节但在我后面的实测中224 分辨率对描述质量的影响远小于预期——毕竟我们只是让 BLIP-2 描述一个局部区域不是描述整张大图的每一个像素。如果显存仍然吃紧可以再降到 192。4. 代码级拆解从 mask 到段落4.1 区域裁剪不能直接拿 bbox 切SAM 返回的每个 mask 都带bbox字段形式是[x, y, width, height]。很多人直接按这个框去裁原图结果 BLIP-2 经常给出错误描述。原因很简单SAM 的分割边缘通常紧贴物体如果把物体完整地裁出来周围没有任何背景BLIP-2 反而会困惑。我习惯给 bbox 加 10~15 像素的 padding让裁剪区域里保留少量上下文背景。这在视觉上更符合这张图里有一个什么东西的认知方式。处理代码如下import numpy as np from PIL import Image def crop_from_bbox(image_pil, bbox, pad12): x, y, w, h [int(v) for v in bbox] W, H image_pil.size x0 max(0, x - pad) y0 max(0, y - pad) x1 min(W, x w pad) y1 min(H, y h pad) return image_pil.crop((x0, y0, x1, y1))还有一个细节不要拉伸。如果裁剪区域的长宽比很极端比如一个细长的灯杆直接resize((224, 224))会让物体变形BLIP-2 可能把灯杆认成棍子或剑。推荐的做法是保持原始长宽比先缩放到最长边 224再对短边做边缘填充到 224。不过大多数场景下直接改成 square 裁剪也不会差太多我为了简单暂时没做填充。4.2 区域过滤与排序SAM 自动分割经常会返回几十个 mask如果全部送进 BLIP-2有两个问题一是慢二是重复区域描述太多会让 ChatGPT 无所适从。我做了两层过滤面积过滤去掉太小的 mask比如面积小于全图 0.5% 的碎块这类区域通常是纹理杂斑描述了反而制造噪音。置信度过滤predicted_iou低于 0.88 的 mask 直接丢弃它们很可能不是完整目标。剩下的 mask 再按照空间顺序排列我采用的排序规则是从上到下、从左到右masks.sort(keylambda m: (m[bbox][1] // 50, m[bbox][0]))这里对 y 坐标做了分桶避免同一垂直带里的物体因为几个像素差被硬生生拆成不同的阅读顺序。实际效果比按 y 直接排序自然很多。4.3 BLIP-2 逐区域描述轮到 BLIP-2 出场。核心代码非常短from transformers import AutoProcessor, Blip2ForConditionalGeneration import torch device cuda if torch.cuda.is_available() else cpu # 8G 显存推荐 8bit 加载如果显存充裕把 load_in_8bit 去掉改 torch_dtypetorch.float16 blip2 Blip2ForConditionalGeneration.from_pretrained( Salesforce/blip2-opt-2.7b, torch_dtypetorch.float16, load_in_8bitTrue, device_mapauto, ) processor AutoProcessor.from_pretrained(Salesforce/blip2-opt-2.7b) def describe_region(image_pil): inputs processor(imagesimage_pil, return_tensorspt).to(device) generated_ids blip2.generate( **inputs, max_new_tokens48, num_beams3, ) text processor.batch_decode(generated_ids, skip_special_tokensTrue)[0].strip() return text这里有两个参数值得单独解释。num_beams3波束搜索会让输出更稳定减少 BLIP-2 的幻觉。代价是生成速度变慢但在我们的场景中每个区域只有一句话影响很小。如果你对速度要求高可以换成do_sampleFalse, num_beams1。max_new_tokens48区域描述一般不需要太长。太长的话BLIP-2 容易自己编剧情把图里不存在的东西也写出来。控制长度等于控制幻觉。4.4 ChatGPT prompt 设计结构化输入决定段落质量所有区域描述收集完成后组装成结构化文本送给 ChatGPT。我试过两种 prompt一种是直接把描述拼成自然句子另一种是传 JSON。实测下来JSON 格式的稳定性和可控性远高于自由文本。from openai import OpenAI client OpenAI(api_key你的key) def assemble_paragraph(region_descriptions, global_view): items [] for i, (bbox, desc) in enumerate(region_descriptions): items.append({ id: i, bbox: bbox, description: desc, }) prompt f 你是一名图片内容组织者。你拿到了一张照片经过自动分割后得到的区域描述列表每个区域有坐标、描述文本。 请将这些区域信息整合成一段通顺的中文段落要求 1. 按空间顺序组织先左上、再中间、最后右下。 2. 不要分点不要编号。 3. 合并重复的物体描述保留主要信息。 4. 可以适度补上区域之间的位置关系词如左侧远处紧挨着。 5. 控制在 150 字以内。 区域列表 {items} 请直接输出调整后的段落不要输出额外解释。 resp client.chat.completions.create( modelgpt-4o-mini, messages[ {role: system, content: 你是一个专业图片段落生成器。}, {role: user, content: prompt}, ], temperature0.7, max_tokens300, ) return resp.choices[0].message.content你会注意到我在 prompt 里写了不要输出额外解释。这一步非常关键不写的话 ChatGPT 偶尔会先来一段根据我分析...之类的废话直接破坏输出格式。另外如果你的下游任务还需要结构化信息可以让 ChatGPT 先输出 JSON再单独渲染成段落。这个扩展我放在最后一部分讲。4.5 完整主流程封装把上面所有步骤串起来主流程大概是这个样子def image2paragraph(image_path): img Image.open(image_path).convert(RGB) img_rgb np.array(img) masks run_sam(img_rgb) masks filter_and_sort_masks(masks, img.size) region_descriptions [] for m in masks: cropped crop_from_bbox(img, m[bbox]) desc describe_region(cropped) region_descriptions.append((m[bbox], desc)) del blip2 torch.cuda.empty_cache() paragraph assemble_paragraph(region_descriptions) return paragraph这套流程跑完一次在 8G 显存、无 GPU 加速 API 的情况下大概需要 15~30 秒大头在 BLIP-2 的多次推理。如果 mask 数量超过 15 个耗时还会更长。这个速度做实时对话不够但做批量离线生成完全没有问题。5. 实测效果和踩坑经验5.1 一次真实的输出对照我用一张傍晚街角照片试跑图里有晚霞、路灯、一个骑电动车的人、便利店招牌和路牌。SAM 最终切出 9 个有效区域BLIP-2 对其中几个关键区域的描述原文是a sky with orange and purple cloudsa street lamp against the skya person riding a scooter on the streeta storefront with a green signthe reflection of lights on the wet ground组装后的 ChatGPT 输出是照片拍摄于傍晚的街角天空被橙紫色晚霞覆盖远处可以看到路灯的轮廓。画面右侧一名骑电动车的人正穿过街道路边有一家亮着绿色招牌的便利店雨后的地面映着路灯光整个场景呈现出典型的城市黄昏氛围。这个段落放在图文笔记、无障碍阅读、图片归档场景里质量已经接近可用水平。和单模型 caption 相比它最大的提升在于把骑电动车的人和绿色招牌便利店这类细节完整保留了下来而不是只写a street scene at dusk。5.2 最常翻车的三类图片第一类重叠密集目标。比如一层货架上摆满了几十件商品SAM 会把相邻商品切成同一个 maskBLIP-2 给出的描述是 a shelf full of various items等于没说。这种场景我调低了pred_iou_thresh到 0.85让 SAM 更激进地细分区域虽然碎块变多了但单目标描述的质量反而上来了。第二类反直觉视角。比如俯拍、倾斜视角、特写BLIP-2 的语言模型部分受训练数据影响会把常见视角下才有的形状硬套到新视角上。解决办法是让 crop 面积大一点给 BLIP-2 更多上下文线索。第三类暗光/高光溢出图。BLIP-2 在暗部细节上会直接放飞自我把阴影里的东西描述成完全不相干的物体。我试过一张夜景图某个深色 mask 被描述成a black dog其实那是一辆停在树下的自行车。这种問題没有完美解决方案只能靠置信度过滤把低分 mask 扔掉或者后续加 OCR 辅助。5.3 调参笔记我后悔没早点知道的几件事第一个SAM 的points_per_side不要默认 32 不动。密集小物体图适合 32 甚至 48但大场景、风景图用 16 就够了能省一半分割时间mask 更干净。第二个BLIP-2 的 8bit 量化在部分 GPU 上会变慢但不是所有卡都慢。如果你用的是新架构显卡量化加载后速度影响不明显老架构则建议保持 fp16前提是显存够。第三个裁剪区域的背景 padding 不要加太多超过 30 像素后BLIP-2 容易把主体描述成背景的一部分。我最终锁定在 12 像素。第四个ChatGPT 的 temperature 不要设 0。设 0 虽然稳定但输出的段落会有强烈的模板感反复出现这是一张...的照片。温度设在 0.7~0.9段落自然度明显更高代价是偶尔会多一句脑补内容可接受。6. 模块化带来的扩展空间6.1 三条链路各自能换什么这套方案最大的好处是每个环节都可以单独替换而不影响其他环节。SAM 可以换成 Grounding-DINO后者支持文本引导分割比如指定只分割行人输出的区域列表会更贴合业务需求。BLIP-2 可以换成 MiniCPM-V、Qwen-VL 这类支持中文输入的 VLM这样区域描述本身就是中文ChatGPT 整合时的质量会更高。ChatGPT 也可以换成本地部署的 Qwen 系列模型彻底告别对远程接口的依赖。我实际做过一次替换实验把 BLIP-2 换成 Qwen2-VL-2B 之后区域描述的中文准确度明显提升尤其对招牌文字类的内容几乎可以直接复用不需要再单独跑 OCR。6.2 增强段落信息量的两个低成本手段第一个是给每个区域加上主次权重把 SAM 的predicted_iou和stability_score一并传给 ChatGPT。prompt 里注明分数高的区域更重要描述时应占更长篇幅之后生成段落的重心感会明显改善。第二个是引入 OCR 作为第四模块。PaddleOCR 对图片中的文字区域识别效果稳定把 OCR 结果作为附加信息喂给 ChatGPT可以补全 BLIP-2 完全不擅长的招牌、路牌、书封内容。加了这个模块之后Image2Paragraph 从看图说话升级成了看图加读字说话实用性翻倍。6.3 给想复制这个项目的朋友三条建议第一不要一开始就追求复杂的并发或异步优化。先把串行流程跑通把每一环节的输入输出打印出来确认数据没有断点再考虑性能。第二区域描述的机器可读格式JSON 或列表一定要和自然语言描述分开存储方便后续做审核、过滤和二次编辑。第三如果最终段落需要用于对外发布建议在 ChatGPT 生成后加一道简单的词频或关键词复查防止模型自由发挥出与图像无关的敏感内容。我在实际项目里已经把这套管线接进了图片归档系统每天批量处理约 200 张图8G 显存稳稳当当处理质量比最初的单模型方案高出一截。这套东西说不上多高深但每一步都在为什么这样设计上经得起推敲这也是它真正能落地的原因。