【免费下载链接】VGGT-Omega-1B-512-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/VGGT-Omega-1B-512-bf16点击查看免费下载VGGT-Omega-1B-512-bf16是运行在 Apple Silicon 上的3D 场景重建 / 深度估计 / 相机位姿估计模型bf16 量化版约 1.14B 参数输入一组图像一次前向即可为每一帧输出相机内外参、深度图与深度置信度。它的推理配置全部由 config.json 一个文件驱动。本文逐项解读其中的 23 个字段重点拆解24 层 aggregator 骨干、register token 注册机制与 cached_layer_indices 缓存层机制帮你在几分钟内看懂这份配置。先认识模型一次前向的 3D 重建与深度估计VGGT-OmegaVGGT-Ω由 Meta AI 与牛津 VGG 联合提出CVPR 2026核心能力是把多视角图像序列 → 完整 3D 场景压缩到单次推理里相机估计每帧的位姿extrinsics与内参intrinsics深度估计每帧的深度图depth与置信度depth_conf3D 点云反投影后的世界坐标world_points可直接导出彩色 PLY 点云本仓库是官方 PyTorch 权重的MLX 社区移植版bf16 存储使模型文件仅2.29 GBfloat32 原版的一半在 Apple M5 Max 上比 PyTorch MPS 版快 2~2.2 倍且精度与官方 bf16 autocast 持平8 帧场景深度中位相对误差 8.6e-4。许可为FAIR 非商业研究许可见 LICENSE.txt仅限非商业研究用途。config.json 全字段速查表打开 config.json23 个字段按功能分为 5 组分组字段值一句话含义 模型骨架model_typevggt_omega模型族标识加载器据此选择实现depth24帧内注意力块frame_blocks层数encoder_depth24帧间注意力块inter_frame_blocks层数embed_dim/num_heads1024 / 16隐层维度 1024注意力头 16 个每头 64 维mlp_ratio4.0FFN 隐藏层 4 × 1024 4096layer_norm_eps1e-05LayerNorm 数值稳定项 特殊 tokennum_register_tokens16每帧附带的注册 token数量register_attention_block_indices[2, 6, 9, 14, 20]register token 参与注意力的 5 个块索引num_storage_tokens4全局存储 token 数量⚡ 缓存层cached_layer_indices[4, 11, 17, 23]分块推理时缓存中间特征的 4 层️ 输入端image_resolution512输入图像分辨率模型名中512的来源patch_size16ViT 切块大小rope_base100.0RoPE 旋转位置编码基频 输出端head_depth4相机头内 Transformer 块数head_num_heads/head_dtype16 /float32相机头注意力头数头部以 float32 运行enable_depth/enable_camera/enable_alignmenttrue / true / false深度头 / 相机头 / 对齐功能开关dense_features/dense_out_channels256 / [256,512,1024,1024]密集分支RefineNet特征通道配置dense_frames_chunk_size2密集分支按每 2 帧一组处理24 层 aggregatorframe_blocks 与 inter_frame_blocksdepth: 24和encoder_depth: 24是新手最容易混淆的两个字段。对照权重索引文件 model.safetensors.index.jsonaggregator聚合器骨干实际包含两组各 24 层的 Transformer 块aggregator.frame_blocks.0 ~ 2324 层帧内注意力单张图像内部 32×32 1024 个 patch 之间做交互负责把每张图看明白aggregator.inter_frame_blocks.0 ~ 2324 层帧间注意力跨图像帧做全局交互是多视角几何一致性的来源。推理时两组块交替工作第 i 层先做帧内聚合再做帧间聚合循环 24 轮。这种2424结构也是 aggregator 名字由来的直观体现——它负责把全部帧的视觉信息聚合到一个统一表示中。其余骨架参数的含义embed_dim: 1024num_heads: 16每头维度 64是 ViT-L 量级的标准配置对应约 1.1B 参数mlp_ratio: 4.0每个注意力块后接 4 倍宽 FFN1024 → 4096 → 1024layer_norm_eps: 1e-05LayerNorm 的数值稳定性超参几乎无需关心。register token 与缓存层机制两个最容易被忽略的字段num_register_tokens: 16 是什么16 个register token注册 token是附加在每帧 patch 序列末尾的特殊可学习向量对应权重中的aggregator.register_token。它们不参与深度/相机预测专职吸收注意力计算中的高频干扰与数值溢出让真正承载几何信息的 patch token 保持干净——这与 DINOv3 中的 register 设计一脉相承。配套字段register_attention_block_indices: [2, 6, 9, 14, 20]表示 register token只在这 5 个块索引处参与注意力交互而非 24 层全程。稀疏参与既保留了稳定效果又避免了 24 层 × 16 token 的额外计算量是典型的效果/开销折中设计。此外还有num_storage_tokens: 4aggregator.patch_embed.storage_tokens4 个跨帧共享的全局存储 token作为整个序列的全局记忆槽。权重中还有一个aggregator.camera_token——汇总所有帧相机信息的单一全局 token是相机头的关键输入。cached_layer_indices: [4, 11, 17, 23] 缓存层机制这是本配置最有工程含量的字段。处理长视频时若每新增一帧就把整个序列重新过一遍 24 层帧间注意力开销会随帧数平方级增长。VGGT-Omega 的解法是在索引 4、11、17、23 这 4 个 inter_frame_block 处缓存跨帧中间特征4 个点在 0~23 的层区间里近乎均匀分布间隔 7、6、6最后一点恰好落在第 23 层最后一层新帧分块chunk进入时只需重算缓存层之间的部分缓存层处的特征直接复用避免对历史帧重复注意力计算这与dense_frames_chunk_size: 2密集分支每 2 帧一组配合构成分块推理 特征复用的长序列方案。对使用者的实际意义模型可以在7.3 GB 峰值内存32 帧M5 Max下稳定运行而非一次性吞下全部帧特征。输入端三参数512、16 与 rope_base 怎么读image_resolution: 512所有输入图像会被缩放到 512 分辨率preprocessor_config.json 中mode: balanced表示保持宽高比这也是模型名 512 的来源是官方推荐用于真实场景in-the-wild的规格patch_size: 16512 ÷ 16 32每帧被切成32×32 1024 个 patch与上文帧内注意力的 token 数对应rope_base: 100.0RoPE 旋转位置编码的基频。32×32 的网格范围很小基频取 100远小于常见的 10000即可覆盖全部相对位置避免频率浪费。注意权重文件中aggregator.rope_embed.periods和aggregator.patch_embed.rope_embed.periods两个 RoPE 频率缓冲是全模型仅有的float32 张量其余 1,332 个张量均为 bf16正是为了保证位置编码的数值精度。输出端两个头 密集分支VGGT-Omega 的预测头结构在 model.safetensors.index.json 中一览无余配置字段权重中的对应结构作用enable_camera: truecamera_head.trunk.0~34 块 head_depthcamera_branch从camera_token解码每帧相机内/外参head_dtype: float32——相机头与深度头加载时上转为 float32 计算对齐官方 CUDA autocast 的精度策略head_num_heads: 16camera_head.trunk内注意力头部注意力头数enable_depth: truedense_head.scratch.layer1~4_rnrefinenet1~4RefineNet 结构解码深度图dense_out_channels: [256,512,1024,1024]dense_head.projects.0~34 级特征金字塔输出通道enable_alignment: false——多视角对齐功能本检查点默认关闭dense_frames_chunk_size: 2——密集深度分支按 2 帧一组处理一个容易被忽略的实现细节官方检查点中的qkv.bias_mask已在本仓库中折叠进 qkv 偏置——由于 aggregator 各块的 mask 全为零这些投影实际没有偏置张量保留、全零值与参考实现行为一致未使用的mask_token也已剔除。实测速度bf16 MLX 值得选吗官方在 Apple M5 Max 上的实测输入 688×384 帧帧数MLX本模型PyTorch MPS bf16 autocastMLX 峰值内存165 ms112 ms4.2 GB80.50 s1.22 s5.5 GB161.20 s3.02 s5.9 GB323.93 s8.72 s7.3 GB精度方面8 帧场景下深度中位相对误差8.6e-4官方 bf16 autocast 为 1.2e-3相机旋转误差在 4 个场景内 0.03°~0.16°float32 下与参考实现差异约 1e-5。常见问题 FAQQ1为什么 bf16 不丢精度官方在 Apple Silicon 上针对 bf16 做过对齐验证误差与参考实现的 bf16 autocast 相当甚至更小两个头部仍以 float32 计算兜底head_dtype。Q2模型名里的 1B 和 512 分别指什么1B 约 11.4 亿参数512 image_resolution输入分辨率档位官方另有不同分辨率检查点512 为真实场景推荐。Q3cached_layer_indices 改大/改小会怎样缓存点越多增量推理复用越多、新帧越快但中间特征占用内存越大。[4, 11, 17, 23] 是官方在速度与显存间的平衡选择一般不建议自行改动。Q4可以商用吗不行。权重采用 FAIR 非商业研究许可LICENSE.txt仅限非商业研究用途。快速上手与文件清单本仓库只含权重与元数据推理代码在 mlx-vlm需 0.7.4 之后的版本import mlx.core as mx from mlx_vlm import load from mlx_vlm.models.vggt_omega.generate import VGGTOmegaPredictor model, processor load(mlx-community/VGGT-Omega-1B-512-bf16) predictor VGGTOmegaPredictor(model, processor) out predictor.infer([frame_000.png, frame_001.png, frame_002.png]) mx.eval(out) print(out[depth].shape, out[extrinsics].shape)仓库文件一览模型配置config.json —— 本文主角23 个字段全部解读预处理配置preprocessor_config.json —— 512 分辨率、16 patch、balanced 缩放权重文件model.safetensors2.29 GB1,332 个 bf16 张量权重索引model.safetensors.index.json —— 可据此对照上文结构许可协议LICENSE.txt模型说明README.md —— 精度与速度实测的原始出处下一篇可关注如何调用 VGGT-Omega-1B-512-bf16 完成视频点云重建的完整流程。赞分享【免费下载链接】VGGT-Omega-1B-512-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/VGGT-Omega-1B-512-bf16点击查看免费下载相关推荐VGGT-Omega-1B-512-bf16输出结果全解析extrinsics、intrinsics、depth_conf与world_points逐项看懂VGGT Omega 1B 512 bf16输出结果全解析extrinsics、intrinsics、depth_conf与world_points逐项看懂VGGT-Omega-1B-512-bf16能商用吗FAIR非商业研究许可证解读与正确引用姿势VGGT Omega 1B 512 bf16能商用吗FAIR非商业研究许可证解读与正确引用姿势 VGGT Omega 1B 512 bf16 能商用吗答案先VGGT-Omega-1B-512-bf16 权重转换内幕bf16 折叠 bias、float32 头部上转与 8.6e-4 精度实测VGGT Omega 1B 512 bf16 权重转换内幕bf16 折叠 bias、float32 头部上转与 8.6e 4 精度实测 VGGT Omega创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考