【免费下载链接】TimeLens2-2B项目地址https://ai.gitcode.com/MCG-NJU/TimeLens2-2B点击查看免费下载TimeLens2-2B 是一个开源的 20 亿参数视频时序定位多模态大模型基于 Qwen3-VL-2B-Instruct 构建输入一段视频和一句文字查询它会返回视频中所有包含相关视觉证据的时间片段以秒为单位的起止区间。这篇快速开始教程将带你 5 分钟跑通第一条视频时序定位推理从环境安装、模型下载到结果解读一次讲清。 TimeLens2-2B 是什么一句话定位视频中的关键时刻传统的视频问答模型只会告诉你视频里发生了什么而视频时序定位Temporal Grounding要求更精确——这件事发生在第几秒到第几秒。比如问一个人打开了冰箱模型需要返回[[1.2, 3.5]]这样的时间区间列表。TimeLens2-2B 正是专为此任务打造的轻量模型核心指标一览特性说明参数规模2B28 层文本塔 24 层视觉塔推理精度bfloat16权重仅数 GB单卡即可运行基准成绩七大视频时序定位基准平均mIoU 44.5创 2B 规模新纪录对比优势平均超过 TimeLens-8B 约 2.4 个 mIoU输出格式JSON 数组每个元素为[start, end]秒数对相关技术细节见论文《TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs》模型完整介绍见 README.md。 第一步一键安装环境依赖约 1 分钟TimeLens2-2B 运行在 Hugging Facetransformers生态中需要 Python 3.10 与 CUDA GPU。打开终端执行pip install -U torch torchvision transformers4.57.0 accelerate qwen-vl-utils[decord]0.0.14 pip install -U flash-attn --no-build-isolation两条命令分别完成模型与视频处理依赖transformers注意版本 ≥ 4.57.0本仓库配置见 config.json、accelerate自动设备映射、qwen-vl-utils负责视频抽帧解码flash-attn加速注意力计算显著提升长视频推理速度。⚠️ 小贴士flash-attn编译较慢第一次安装请耐心等待。⬇️ 第二步获取模型权重约 2 分钟有两种方式获取 TimeLens2-2B 模型文件方式一git clone推荐新手git clone https://gitcode.com/MCG-NJU/TimeLens2-2B方式二在代码中直接指定模型 IDfrom_pretrained会自动下载缓存无需手动克隆。仓库中的核心文件说明文件作用model.safetensors模型权重2Bbfloat16config.json模型结构配置Qwen3-VL 架构video_preprocessor_config.json视频预处理默认参数chat_template.jinja对话模板tokenizer.json / merges.txt / vocab.json词表与分词器 第三步5 分钟跑通第一条推理下面这份脚本可直接保存为infer.py运行它完整复现了官方推理流程from pathlib import Path from qwen_vl_utils import process_vision_info from transformers import AutoModelForImageTextToText, AutoProcessor model_id MCG-NJU/TimeLens2-2B # 若已 clone 到本地可换成本地目录路径 video_path /path/to/video.mp4 query A man opens the refrigerator. model AutoModelForImageTextToText.from_pretrained( model_id, torch_dtypeauto, device_mapauto, attn_implementationflash_attention_2, ) processor AutoProcessor.from_pretrained(model_id) prompt ( fGiven the query: {query}, return ALL time spans (in seconds) where the query is relevant.\n Output format MUST be a JSON array of [start, end] pairs.\n ) messages [ { role: user, content: [ { type: video, video: Path(video_path).resolve().as_uri(), fps: 2.0, min_pixels: 32 * 32, max_pixels: 480 * 480, total_pixels: 128000 * 32 * 32, }, {type: text, text: prompt}, ], } ] text processor.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue, ) images, videos, video_kwargs process_vision_info( messages, image_patch_size16, return_video_kwargsTrue, return_video_metadataTrue, ) if videos is not None: videos, video_metadatas zip(*videos) videos, video_metadatas list(videos), list(video_metadatas) else: video_metadatas None inputs processor( texttext, imagesimages, videosvideos, video_metadatavideo_metadatas, do_resizeFalse, return_tensorspt, **video_kwargs, ).to(model.device) output_ids model.generate( **inputs, max_new_tokens4096, temperature0.01, top_p0.001, top_k1, repetition_penalty1.0, ) output_ids [ output[len(input_ids):] for input_ids, output in zip(inputs.input_ids, output_ids) ] response processor.batch_decode( output_ids, skip_special_tokensTrue, clean_up_tokenization_spacesFalse, ) print(response[0]) 关键参数为什么要这样写1. 视频抽帧参数fps2.0每秒抽取 2 帧与 video_preprocessor_config.json 中默认采样率一致是精度与速度的平衡点max_pixels480*480限制单帧最大分辨率防止显存爆炸total_pixels128000*32*32限制整段视频所有帧的像素总量上限——长视频的主要显存消耗点。2. 生成参数几乎贪心解码temperature0.01、top_p0.001、top_k1让输出近乎确定性确保时序定位结果稳定地以 JSON 格式输出。这与 generation_config.json 中的默认采样参数不同——时序定位任务应优先采用近贪心解码避免随机性破坏时间区间。3. Prompt 格式Prompt 中Output format MUST be a JSON array of [start, end] pairs这句约束决定了输出结构请勿随意改动措辞。 第四步看懂输出结果运行成功后终端会打印类似这样的结果[[1.2, 3.5], [7.8, 9.0]]含义解读外层数组的每个元素是一个时间片段[1.2, 3.5]表示打开冰箱这一动作发生在第 1.2 秒到第 3.5 秒多个元素说明该行为在视频中出现了多次模型会全部返回。评估方面时序定位领域使用mIoU平均交并比衡量预测区间与真实区间的重叠程度数值越接近 1 越好。TimeLens2-2B 在七大基准上平均达到 44.5不仅全面超过同尺寸基线还以 2B 的体量反超 8B 规模的 TimeLens-8B。❓ 常见问题排查清单问题快速解决方案flash-attn编译失败先确认 torch 已装好再安装或改用attn_implementationsdpa替代速度略慢显存不足OOM调小max_pixels、total_pixels或降低fps视频越长占用越高默认最多抽 768 帧输出不是合法 JSON保持官方 prompt 原样并使用temperature0.01, top_p0.001, top_k1的近贪心参数推理速度慢优先降低total_pixels与fps这是长视频推理的两大耗时来源 小结与下一步到这里你已经完成了 TimeLens2-2B 视频时序定位模型的完整快速开始装依赖 → 下权重 → 跑推理 → 读结果。接下来可以试试换成自己的视频与中文/英文查询观察多段返回效果调整fps与像素上限为自己的显存找到最佳性价比配置参考 chat_template.jinja 理解对话结构将模型接入自己的应用。这个仅 2B 参数的模型在时序定位上已能匹敌 8B 大模型是低成本部署视频理解能力的理想选择。赞分享【免费下载链接】TimeLens2-2B项目地址https://ai.gitcode.com/MCG-NJU/TimeLens2-2B点击查看免费下载相关推荐MiniCPM-V-4.7-1B-AWQ快速上手5分钟跑通第一条多模态推理完整教程MiniCPM V 4.7 1B AWQ快速上手5分钟跑通第一条多模态推理完整教程 MiniCPM V 4.7 1B AWQ 是开源轻量多模态大模型 Mini人工智能大模型多模态模型量化本地部署小而强大2B参数 TimeLens2-2B-SFT 玩转长视频时序定位的完整指南小而强大2B参数 TimeLens2 2B SFT 玩转长视频时序定位的完整指南 TimeLens2 2B SFT 是一个仅 2B 参数的视频时序定位tem人工智能大模型微调多模态计算机视觉10分钟跑通第一笔支付hyperswitch-prism快速开始完整教程10分钟跑通第一笔支付hyperswitch prism快速开始完整教程 Hyperswitch Prism hyperswitch prism是一个开源上一篇如何快速使用缝合像素字体面向开发者的完整指南下一篇BK-CMDB蓝鲸配置平台源码编译指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考