【免费下载链接】InternVL-14B-Flickr30K-FT-364px项目地址https://ai.gitcode.com/OpenGVLab/InternVL-14B-Flickr30K-FT-364px点击查看免费下载InternVL-14B-Flickr30K-FT-364px是 OpenGVLab 开源的 14B 参数视觉-语言检索模型专为图片搜文字Image-to-Text Retrieval任务微调基于 Flickr30K 数据集输入分辨率 364×364能同时理解中、英、日三种语言的检索语句。只需几行 Python 代码你就能把图片库 自然语言变成一个强大的图搜引擎。 这是什么模型30秒了解核心信息项目说明模型类型图文检索Image-Text Retrieval微调模型参数量14B目前最大规模的开源视觉-语言基础模型之一输入图像尺寸364 × 364 像素微调数据集Flickr30K支持任务图搜文、文搜图双向检索架构InternViT 视觉编码器 QLLaMALlama语言模型许可证MIT它的底座是 InternVL-14B-224px可在 README.md 的 front-matter 中查看base_model信息本模型在其基础上用 Flickr30K 做了检索微调并把输入分辨率提升到 364px细节捕捉能力更强。 两种检索模式InternVL-C 与 InternVL-G调用时只需传一个mode参数就能切换两种检索策略InternVL-CCoarse粗粒度直接编码视觉特征适合搜索这是一只熊猫这类整体场景描述InternVL-GGeneric细粒度视觉主干特征 96 个 query token 经 QLLaMA 交叉注意力融合后再投影对局部细节的检索更精准。两种模式的实现分别在 modeling_internvl.py 的encode_image方法中前向入口forward通过余弦相似度计算图文匹配得分见 modeling_internvl.py。 环境准备安装依赖pip install torch torchvision transformers Pillow 模型为 14B 参数且使用bfloat16精度建议显卡显存≥ 28GB如 A100 / RTX 4090-24G 需要配合low_cpu_mem_usageTrue显存紧张时可尝试device_mapauto。 完整使用教程一行代码实现图片搜文字下面是核心流程完整示例见 README.md 的 Model Usage 章节import torch from PIL import Image from transformers import AutoModel, AutoTokenizer, CLIPImageProcessor MODEL OpenGVLab/InternVL-14B-Flickr30K-FT-364px # 加载模型必须加 trust_remote_codeTrue model AutoModel.from_pretrained( MODEL, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, trust_remote_codeTrue).cuda().eval() image_processor CLIPImageProcessor.from_pretrained(MODEL) tokenizer AutoTokenizer.from_pretrained(MODEL, use_fastFalse, add_eos_tokenTrue) tokenizer.pad_token_id 0 # ⚠️ 必须设为 0前向推理只需一句话logits_per_image, logits_per_text model( imagepixel_values, textinput_ids, modeInternVL-C) probs logits_per_image.softmax(dim-1) # 每张图片与各文本的匹配概率图像预处理与文本编码部分images [Image.open(./examples/image1.jpg).convert(RGB)] prefix summarize: texts [prefix a photo of a red panda] pixel_values image_processor(imagesimages, return_tensorspt).pixel_values pixel_values pixel_values.to(torch.bfloat16).cuda() input_ids tokenizer(texts, return_tensorspt, max_length80, truncationTrue, paddingmax_length).input_ids.cuda()probs中概率最高的文本即为检索结果。把mode换成InternVL-G即可切换到细粒度模式。⚠️ 两个不能漏的关键设置官方特别强调缺少会导致结果异常文本前缀summarize:每条检索文本前都要加这个前缀它告诉语言模型这段文字是图像摘要让文本特征与图像特征对齐到同一语义空间tokenizer.pad_token_id 0padding 时取的是最后一个非 pad token 的特征作为句向量见 modeling_internvl.pypad_id 设错会让整句语义错位。另外注意图像尺寸config.json 中force_image_size: 364CLIPImageProcessor会自动完成缩放无需手动 resize。 中英日三语检索怎么写文本语言直接跟着你的查询意图走即可三种语言示例语言检索语句英文summarize:a photo of a red panda中文summarize:一张熊猫的照片日文summarize:二匹の猫の写真分词器 tokenizer.model 为 SentencePiece 格式、词表 49954见 config.json 中vocab_size多语言覆盖良好。 仓库文件结构一览文件作用README.md模型说明、用法与引用信息config.json模型超参数364px、14B、bfloat16 等configuration_internvl.pyInternVLConfig配置类组装视觉与语言两部分配置modeling_internvl.py核心模型实现InternVLModel、C/G 双模式modeling_intern_vit.pyInternViT 视觉编码器modeling_qllama.pyQLLaMA 语言模型与交叉注意力flash_attention.pyFlashAttention 加速封装未安装会自动跳过preprocessor_config.json图像处理器参数tokenizer.model / tokenizer_config.json分词器权重与配置pytorch_model-00001-of-00003.bin 等 3 个分片模型权重索引见 pytorch_model.bin.index.json❓ 常见问题FAQQ1加载时报trust_remote_code相关错误AutoModel.from_pretrained必须显式传trust_remote_codeTrue因为模型定义在本仓库的自定义代码中。Q2检索结果异常/概率乱序先检查两处文本是否加了summarize:前缀tokenizer.pad_token_id是否设为 0Q3显存不够怎么办保持torch_dtypetorch.bfloat16不要落回 fp32low_cpu_mem_usageTrue仍不够时可加device_mapauto把权重拆到 CPU 内存。Q4文搜图Text-to-Image能做吗可以。模型同时输出logits_per_image和logits_per_text对文本侧做 softmax 即得每张图的匹配分双向检索通用同一套代码。✅ 小结InternVL-14B-Flickr30K-FT-364px 把14B 级视觉语言理解 Flickr30K 检索微调 中英日三语打包成了一个开箱即用的检索模型。记住三步就能上手装好依赖 → 加载模型trust_remote_code→ 带summarize:前缀调用一行model(image..., text..., modeInternVL-G)即可得到图片与文字的匹配概率。赞分享【免费下载链接】InternVL-14B-Flickr30K-FT-364px项目地址https://ai.gitcode.com/OpenGVLab/InternVL-14B-Flickr30K-FT-364px点击查看免费下载相关推荐如何使用InternVL-14B-FlickrCN-FT-364px实现图搜文与文搜图3个实用案例如何使用InternVL 14B FlickrCN FT 364px实现图搜文与文搜图3个实用案例 InternVL 14B FlickrCN FT 364pInternVL-14B-FlickrCN-FT-364px性能实测Flickr30K榜单SOTA表现深度解析InternVL 14B FlickrCN FT 364px性能实测Flickr30K榜单SOTA表现深度解析 本文实测 InternVL 14B Flick5分钟上手InternVL-14B-FlickrCN-FT-364px图文检索快速入门教程5分钟上手InternVL 14B FlickrCN FT 364px图文检索快速入门教程 InternVL 14B FlickrCN FT 364px 是一创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考