【免费下载链接】InternVL3-78B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3-78B-Pretrained点击查看免费下载InternVL3-78B-Pretrained 是 OpenGVLab 开源的 InternVL3 系列多模态大模型预训练版本它的眼睛是由InternViT-6B 视觉编码器担任的。这个 6B 视觉编码器在配置中声明了8 个专家4 个共享专家 4 个路由专家的 MoE 结构却在推理时走纯稠密Dense前馈路径——这种声明 MoE、部署 Dense的设计背后到底有什么门道本文带你从 config.json 里的 8 个关键参数出发看懂 InternViT-6B 的 8 专家设计是如何支撑 InternVL3-78B-Pretrained 的动态分辨率与超长视觉上下文的。这张位于 examples/ 目录的小熊猫照片正是 README.md 快速开始代码中单图多轮对话的默认输入素材。一图看懂 InternVL3-78B-Pretrained 的架构组成InternVL3 沿用经典的ViT-MLP-LLM三段式范式组件角色关键配置来自 config.jsonInternViT-6B-448px视觉编码器ViTvision_config45 层、hidden 3200、25 头MLP 投影器视觉特征到语言空间的桥梁mlp1select_layer为 -1Qwen2.5-72B语言模型LLM80 层、hidden 8192、rope_scaling动态扩长其中 ViT 是本文的主角。下面所有拆解都围绕vision_config这一节展开。配置速查InternViT-6B 的核心参数打开 config.json视觉侧配置一目了然参数值含义num_hidden_layers45视觉 Transformer 编码器层数hidden_size3200特征维度每 token 的向量长度num_attention_heads25注意力头数每头 128 维intermediate_size12800前馈层FFN隐层维度patch_size/image_size14 / 448每个 448×448 图块切成 32×32 个 patchdrop_path_rate0.4训练期随机深度DropPath比例qk_normalizationtrue对 Q/K 做 RMSNorm保证注意力稳定代码实现见 modeling_intern_vit.py 中的InternMLPFFN 前馈与 InternVisionEncoderLayer单层结构。8 专家怎么拆4 共享 4 路由vision_config里还有一组容易被忽略的 MoE 参数config.jsonnum_experts: 8, num_routed_experts: 4, num_shared_experts: 4, moe_coeff_ratio: 0.5, moe_intermediate_size: 3200, moe_output_scale: 4.0, capacity_factor: 1.2, noisy_gate_policy: RSample_before, use_moe: false逐个翻译成人话num_experts 8每个 FFN 位置由 8 个专家组成num_shared_experts 4其中 4 个是共享专家每个视觉 token 都会经过它们提供稳定的基础特征提取能力num_routed_experts 4另外 4 个是路由专家由门控gate根据 token 内容动态挑选让不同区域纹理、文字、边缘、语义对象各找各的专家实现选择性专精capacity_factor 1.2路由容量系数允许专家承载比平均负载多 20% 的 token缓解负载不均衡noisy_gate_policy RSample_before训练期为路由加噪采样鼓励各专家均衡训练。 这种共享打底 路由专精的混合式设计是大型视觉编码器扩容的典型思路用路由专家换取容量用共享专家保证下限。关键真相推理权重是 Dense 的细心的读者会发现矛盾既然配置了 8 专家为什么 modeling_intern_vit.py 里每个 FFN 只有一个fc1/fc2答案就在use_moe: false。核对权重索引 model.safetensors.index.json 可以确认589 个视觉参数中没有任何 expert 权重每层只有mlp.fc1、mlp.fc2两组稠密矩阵。也就是说InternViT-6B 在预训练阶段采用 MoE 架构8 专家来高效扩展视觉容量交付到 InternVL3-78B-Pretrained 的推理权重则被收敛为稠密 FFNintermediate 12800。配置中保留的 MoE 字段是对原始 InternViT-6B-448px 设计的完整记录方便研究者追溯与复现而非当前推理路径。这对使用者的实际意义推理时无需处理专家路由、负载均衡等 MoE 工程问题InternMLP就是最普通的双层线性网络部署简单、显存可预期。从像素到 Token视觉编码器的完整数据流把 README.md 的动态切块流程串起来InternViT-6B 的工作节奏是这样的动态分辨率图片被切成若干 448×448 图块最多 12 块 1 张缩略图由max_dynamic_patch控制本文开头的小熊猫单张即可完整编码Patch 嵌入每个图块经 14×14 卷积切成 32×32 1024 个 token加上 1 个 class token共 1025 个InternVisionEmbeddings45 层编码带 QK-RMSNorm 的注意力 稠密 FFN 逐层精炼特征支持 FlashAttention 加速InternAttentionPixel Shuffledownsample_ratio: 0.5把 token 数压缩为 1/4每 2×2 区域合并为 1 个4 块图也只需 4×1024 ≈ 4096 个视觉 token上下文压力骤降MLP 桥接mlp1将 3200 维视觉特征映射到 Qwen2.5-72B 的 8192 维语言空间交给 LLM 生成回答modeling_internvl_chat.py。 正因为视觉侧token 贵InternViT-6B 才用 MoE 思路扩容、再用 pixel shuffle 瘦身——容量与效率两手抓。上手提示Pretrained 版本该怎么用本仓库是**原生多模态预训练Native Multimodal Pre-Training**产物未做 SFT 与 MPO 后训练若用于日常对话/指令任务请优先选用经过后训练的 InternVL3-78B资源需求8-bit 量化约需 2 张 80GB GPU16-bit 需至少 3 张 80GB GPU见 README.md Quick Start完整权重共 33 个分片model-00001-of-00033.safetensors至model-00033-of-00033.safetensors合计约 156.8GBbf16多 GPU 部署时注意 README 中的split_model策略第一张卡承载 ViT 与首尾层避免跨设备张量报错。小结问题答案8 专家指什么4 个共享专家 4 个路由专家预训练期用于 FFN 扩容推理时用 MoE 吗不用use_moe: false权重为稠密 FFN为什么这样设计训练期借 MoE 高效扩容视觉能力部署期换稠密保稳定视觉 token 如何降本448px 动态切块 pixel shuffle 1/4 压缩InternViT-6B 的8 专家是写在配置里的设计遗产更是理解 InternVL3-78B-Pretrained 视觉能力来源的一把钥匙它告诉你这个 78B 多模态巨头的眼睛是如何在预训练阶段长出来的。赞分享【免费下载链接】InternVL3-78B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3-78B-Pretrained点击查看免费下载相关推荐InternVL3-8B-Pretrained的眼睛InternViT-300M MoE视觉编码器与V2PE长上下文技术深度解析InternVL3 8B Pretrained的眼睛InternViT 300M MoE视觉编码器与V2PE长上下文技术深度解析 InternVL3 8B硬核解析 InternViT 视觉编码器InternVL3-38B-Instruct 的 MoE 与 FlashAttention硬核解析 InternViT 视觉编码器InternVL3 38B Instruct 的 MoE 与 FlashAttention 硬核解析 InternViInternViT-6B源码级剖析InternVL3-38B-Pretrained的视觉之眼是如何炼成的InternViT 6B源码级剖析InternVL3 38B Pretrained的视觉之眼是如何炼成的 InternVL3 38B Pretrained 是上一篇终极指南ChromeOS设备固件升级和Kodi安装完全教程 下一篇PlatformIO IDE 终端插件完整的安装与配置终极指南 创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考