【免费下载链接】VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K点击查看免费下载VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K 是一个面向 AMD Ryzen AI NPU 优化的多模态视频理解模型仓库。本文带你逐个文件解析这个 NPU 大模型仓库从text.onnx语言模型、vision.onnx视觉编码器到神秘的dd_metastate系列缓存文件一文看懂每个文件的用途。一、这个模型仓库是什么在拆文件之前先 30 秒了解背景后面看文件就不迷糊了源模型OpenGVLab 的 VideoChat-FlashQwen2.5-7B 语言模型 InternVideo2-1B 视频编码器详见 README.md量化策略AWQ / Group 128 / 非对称量化权重 UINT4、激活 BFP16由 Quark 量化 OGA Model Builder 构建部署目标AMD Ryzen AI 硬件的 NPU支持 16K token 上下文npu_16K 即来源于此一句话总结这是一套开箱即用的 ONNX Runtime GenAI 多模态推理部署包而不是传统 PyTorch 权重。二、文件总览一张表看懂全部文件文件真实大小作用text.onnx约 0.4 MB语言模型 ONNX 计算图text.onnx.data约 26 MBtext.onnx 的外部数据片段text.bin约 3.9 GB语言模型量化权重外部数据text.pb.bin约 10 KBNPU 端 token 融合图NPU 后端专用vision.onnx约 1.6 MBInternVideo2 视觉编码器计算图vision.onnx.data约 4.0 GB视觉编码器权重外部数据embedding.onnx约 3 KB输入嵌入模型计算图embedding.onnx.data约 2.2 GB词表嵌入权重外部数据dd_metastate_*.state784 BNPU 算子状态表dd_metastate_*.fconst约 3.8 GBNPU 常量权重缓存dd_metastate_attention_mask_padded.ctrlpkt约 10 MB/个NPU 注意力控制包7 种序列长度dd_metastate_attention_mask_padded.meta约 3 MB/个NPU 注意力元数据dd_metastate_attention_mask_padded.super0 B预留扩展文件当前为空cache/Token_modellayers.0input_layernormMLADFRMSNORM_meta.json约 1.1 MB编译期算子列表缓存genai_config.json3 KBGenAI 推理部署核心配置config.json2 B空占位配置内容为{}tokenizer.json约 11 MB分词器词表BPEtokenizer_config.json约 5 KB分词器参数特殊 token 等processor_config.json约 1.2 KB图像预处理流水线配置.gitattributes约 2 KBGit LFS 规则声明三、配置四件套推理引擎怎么读这个模型1. genai_config.json整个仓库的总纲genai_config.json 是 ONNX Runtime GenAI 的部署配置定义了三大会话如何组装模型结构videochat_flash_qwen类型28 层 Transformer、隐藏维度 3584、28 个注意力头 4 个 KV 头GQA 架构、词表大小 152064三个子会话vision视觉编码→embedding图文嵌入融合→decoder文本生成并声明了各自的输入输出张量名NPU 专属选项RyzenAIprovider 参数指定了hybrid_opt_token_backend: npu、外部数据文件 text.pb.bin、以及 KV Cache 融合优化等生成策略max_length: 16384、chunk_size: 4096、top_k: 50与仓库名中的 16K 上下文正好对应2. processor_config.json视频帧的预处理流水线processor_config.json 定义了internvideo2_image_processor的四步图像变换解码为 RGB → 缩放到 224×224 → 缩放到 0~1 → 用 ImageNet 均值/方差归一化。视频理解时每一帧都会先走这条流水线再送入 vision.onnx。3. tokenizer 双文件文字的翻译词典tokenizer.json约 11 MBQwen2.5 的完整 BPE 分词词表tokenizer_config.json特殊 token如 BOS/EOS和分词策略参数而 config.json 目前是空的{}——它只是 HF 生态的惯例占位文件真正的结构信息都在 genai_config.json 里。四、三大 ONNX 模型视频理解的三步流水线 视频 → 视觉编码 → 文本生成每一步对应一组 ONNX 文件1. vision.onnx视频编码器vision.onnx 是 InternVideo2-1B 视觉编码器的计算图vision.onnx.data约 4 GB存放其量化权重。它把视频帧编码成image_features视觉 token供后续与文本对齐。2. embedding.onnx图文拼接器embedding.onnx 计算图很小约 3 KB但 embedding.onnx.data 高达约 2.2 GB——因为词表嵌入矩阵152064 词 × 3584 维是 Qwen2.5-7B 的大头。它把文本input_ids与视觉image_features融合成统一的inputs_embeds序列。3. text.onnx text.bin语言模型本尊text.onnx约 0.4 MB仅描述 28 层 Transformer 的计算图结构text.onnx.data图内附带的小数据块text.bin约 3.9 GB真正的 UINT4 量化权重按 ONNX external data 机制外挂text.pb.binNPU 的 token 融合图配合 genai_config.json 中的hybrid_opt_token_backend: npu参数让自回归解码阶段的部分计算卸载到 NPU这种图与权重分离的设计是大模型 ONNX 化的惯例图文件小而频繁加载权重文件大而只读一次。五、dd_metastate 系列NPU 专属的注意力缓存包这一组文件是普通 Hugging Face 模型仓库里绝对看不到的它们是NPU 驱动为注意力算子预编译的元状态metastate命名规律拆解如下dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM_后缀 └─ NPU动态分发 └─ 模型域/阶段 └─ 关联算子(首层LayerNorm融合) └─ 后缀按后缀分为四类.state状态表784 B描述状态更新函数与参数.fconst约 3.8 GB 的浮点常量缓存本质是 NPU 侧复用的权重/常量副本_attention_mask_padded_N.ctrlpkt控制数据包按 7 档序列长度256 / 512 / 1024 / 2048 / 3072 / 4096 / 16384各一份运行时按实际序列长度就近取用避免每次动态生成注意力掩码_attention_mask_padded_N.meta对应的元数据如 16384 版 约 3 MB.super当前为空0 B是预留给后续扩展的占位文件配合 cache/Token_modellayers.0input_layernormMLADFRMSNORM_meta.json约 1.1 MB中缓存的算子列表——其中MLADFRMSNORM是多头注意力 融合 RMSNorm的定制融合算子——这些文件共同构成NPU 端预编译产物模型首次构建时离线生成好推理时直接加载省去运行时编译开销。六、新手高频疑问Q为什么 clone 下来很多文件只有 100 多字节因为仓库使用 Git LFS 管理大文件规则见 .gitattributes。你看到的 130 字节左右内容是 LFS 指针oidsize例如 text.onnx 的指针里写着size 407760表示真实文件约 0.4 MB。执行git lfs pull后即可下载全部真实文件。Q这么多 GB 的权重放哪了全部走外部数据机制text.bin3.9 GBvision.onnx.data4.0 GBembedding.onnx.data2.2 GBfconst3.8 GB总下载量约 14 GB 量级建议预留足够磁盘空间。Q为什么会有两套配置genai_config.json 和 config.jsonconfig.json是 Hugging Face 生态的惯例占位ONNX Runtime GenAI 只认 genai_config.json模型结构、NPU 参数、生成策略都以它为准。七、总结 记住这张心智地图入口配置genai_config.json 定义三大会话与 NPU 选项推理流水线processor_config.json预处理→ vision.onnx看视频→ embedding.onnx图文融合→ text.onnx吐文字大权重text.bin、*.onnx.data、fconst全部经 Git LFS 下载NPU 加速层dd_metastate_*系列 cache/ 是预编译缓存普通 GPU 部署看不到它们理解了这套文件结构你就能把仓库交给 Ryzen AI 工具链直接跑起来——这正是 AMD 为 Ryzen AI 用户准备的视频理解 NPU 一键部署包。赞分享【免费下载链接】VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K点击查看免费下载相关推荐为什么选择asio_kcp揭秘这款高性能UDP框架如何解决实时PVP游戏的网络延迟难题 为什么选择asio_kcp揭秘这款高性能UDP框架如何解决实时PVP游戏的网络延迟难题 在实时PVP游戏开发中网络延迟是影响玩家体验的关键因素。传统的Llama-3.2-1B_rai_1.8.0_npu_16K目录结构逐文件详解model.onnx、model.pb.bin与dd_metastate文件都是什么Llama 3.2 1B_rai_1.8.0_npu_16K目录结构逐文件详解model.onnx、model.pb.bin与dd_metastate文件都是GLM-5.3-Flash-w8a8-mxfp8文件结构全解析模型仓库里每个文件都起什么作用GLM 5.3 Flash w8a8 mxfp8文件结构全解析模型仓库里每个文件都起什么作用 GLM 5.3 Flash w8a8 mxfp8 是一个 W8A大模型基础模型模型量化上一篇Fay开源项目社区贡献者贡献榜筛选条件多维度下一篇DeepWiki-Open嵌入式系统应用资源受限环境的文档生成创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考