【免费下载链接】marigold-v2-0项目地址https://ai.gitcode.com/hf_mirrors/huawei-bayerlab/marigold-v2-0点击查看免费下载Marigold V2 是由 HUAWEI Bayer Lab 联合 EPFL、博洛尼亚大学推出的扩散 TransformerDiT单目深度估计模型已入选 SIGGRAPH Asia 2026。本教程带你约 10 分钟完成环境搭建并跑通第一次深度估计推理新手也能照做。 本仓库marigold-v2-0是官方模型权重仓库存放各任务 checkpoint 与预计算文本嵌入推理 / 评测 / 训练代码在官方代码仓库中会自动把本仓库与基座模型下载到其assets/目录。详细说明见 README.md。一、Marigold V2 能做什么Marigold V2 基于Qwen-Image-Edit-2509基座模型通过 LoRA VAE 解码器微调一套框架同时输出三种稠密预测结果任务输出对应权重目录单目深度估计仿射不变深度 / 对数深度 / 逆深度depth/ 下 7 个 checkpoint表面法线估计相机空间单位法线normals/trainables.safetensors反照率估计线性 RGB 反照率0~1albedo/trainables.safetensors深度方向约定很直观Log 与线性深度的数值随距离增大Disparity逆深度则随距离减小。其中depth/Log-stage2是论文主模型代码中默认使用。 想深入了解方法细节可阅读仓库自带的论文 assets/paper/Marigold V2.pdf。二、模型权重怎么选9 个 checkpoint 一览每个任务目录里都是一个trainables.safetensors包含Diffuser.*LoRA 权重部分含VAE.*解码器权重。按需求选择路径输出适用场景depth/Log-stage2仿射不变对数深度论文主模型深度估计首选depth/Log-stage1仿射不变对数深度两阶段训练的第一阶段产物depth/Log-layered透射see-through对数深度预测玻璃等透明物体后的几何depth/Uniform-base仿射不变线性深度V1 风格参数化对照depth/Disparity-base仿射不变逆深度逆深度参数化对照depth/Uniform-layered/depth/Disparity-layered透射线性 / 逆深度透明场景 对应参数化normals相机空间单位法线表面法线估计albedo线性 RGB 反照率光照去除 / 反照率提取完整性校验manifest.json 记录了每个权重文件的 SHA-256 校验和与字节数下载后可自行核对。另外qwen_text_embeddings/ 目录预存了各任务的 prompt 嵌入与掩码*_prompt_embeds.pt/*_prompt_mask.pt推理时无需加载基座模型的文字编码器省显存也省事。三、环境搭建显存要求 三步 conda 配置显存参考跑深度估计推理输入分辨率显存需求推荐显卡1024²约 17 GB24 GB 即可 ✅2048²约 29 GB32 GB⚠️ 新手建议先用 1024² 验证流程显存不够再降分辨率避免一上来就 OOM。环境配置三步走在官方代码仓库目录下依次执行README.md 中的标准流程# 1) 创建 conda 环境并激活 bash setup/setup_env.sh conda activate marigold-v2 # 2) 下载模型资产权重仓库 基座模型跳过数据集 python scripts/download_assets.py --skip-datasets如果你希望手动获取本权重仓库可使用镜像克隆git clone https://gitcode.com/hf_mirrors/huawei-bayerlab/marigold-v2-0四、跑通深度估计推理一条命令出结果把待测图片放进一个文件夹执行python scripts/infer.py \ --modality depth \ --image_dir /path/to/images \ --output_dir output/depth需要指定其他 checkpoint比如透射深度时加上--checkpoint参数python scripts/infer.py \ --checkpoint assets/checkpoints/Marigold-V2/depth/Log-layered \ --image_dir /path/to/images \ --output_dir output/depth-layered 参数速记--modality任务类型depth/normals/albedo--image_dir输入图片目录--output_dir结果输出目录--checkpoint可选默认走论文主模型depth/Log-stage2五、看懂推理结果什么是仿射不变第一次看结果你可能会发现输出深度和真实米数对不上。这是正常的——深度估计输出是affine-invariant仿射不变的即每张图的深度存在一个未知的比例尺和平移。同一张图内部的相对远近关系是准确的跨图像素级对齐、或与真实距离换算需要额外的标定步骤*-layered系列额外支持看见玻璃后面的几何预测六、效果到底如何零样本基准数据depth/Log-stage2在 Pixel-Perfect Depth 协议下的零样本表现AbsRel ↓ / δ1 ↑百分比数据集NYUv2KITTIETH3DScanNetDIODEAbsRel / δ13.6 / 98.05.4 / 97.42.8 / 99.23.7 / 97.95.2 / 97.1表面法线normals平均角度误差 ↓ / 11.25° 以内占比 ↑数据集NYUv2ScanNetiBims-1Sintel角度误差 / 占比16.6 / 61.214.1 / 67.415.9 / 70.928.7 / 27.6反照率albedoHypersim 测试集PSNR 20.78 / SSIM 0.811 / LPIPS 0.195。值得一提的是所有发布模型都只用单张 32 GB GPU 训练深度数据约 74k 张Hypersim Virtual KITTI 2法线与反照率Hypersim说明这套方法在算力上相当亲民。七、新手常见问题 FAQQ1推理必须联网吗不需要联网推理但首次运行前要先完成资产下载见第三节的download_assets.py。Q2显存爆了怎么办把输入分辨率降到 1024²约 17 GB 即可2048² 则需要约 29 GB。Q3需要加载文字编码器吗不需要。qwen_text_embeddings/ 已预存各任务 prompt 嵌入推理时直接复用。Q4权重下全了怎么验证对照 manifest.json 中的sha256与size_bytes逐项校验即可。Q5这个仓库能继续训练吗不能。本仓库package_type为inference_only_checkpoints纯推理权重训练代码在官方代码仓库。Q6许可协议本仓库权重为 Apache 2.0见 LICENSE基座模型 Qwen-Image-Edit-2509 保留其自身许可商用前请一并确认。八、文件资料速查路径说明README.md项目说明、用法与 checkpoint 全表manifest.json文件 SHA-256 校验和清单depth/Log-stage2/trainables.safetensors论文主模型深度权重normals/trainables.safetensors表面法线权重albedo/trainables.safetensors反照率权重qwen_text_embeddings/预计算 prompt 嵌入与掩码assets/paper/Marigold V2.pdf论文原文SIGGRAPH Asia 2026LICENSEApache 2.0 许可协议到这里你已经掌握了 Marigold V2 的完整使用链路选对 checkpoint → 搭好 conda 环境 → 一条infer.py命令出深度图。祝推理顺利赞分享【免费下载链接】marigold-v2-0项目地址https://ai.gitcode.com/hf_mirrors/huawei-bayerlab/marigold-v2-0点击查看免费下载相关推荐IOPaint 免费 AI 图像修复完整指南IOPaint 免费 AI 图像修复完整指南 素材交付前你发现图片上全是水印 交付前一天晚上你打开产品图文件夹发现每张图都压着图库网站的水印。用修图软件手人工智能AI 应用计算机视觉图像处理媒体生成后端如何快速上手 Gemma-3-4b_rai_1.8.0_npu_16K10 分钟跑通本地 NPU 推理的完整教程如何快速上手 Gemma 3 4b_rai_1.8.0_npu_16K10 分钟跑通本地 NPU 推理的完整教程 Gemma 3 4b_rai_1.8.0_n如何10分钟跑通TC-AE图像重建Demo从0到1环境搭建与上手教程如何10分钟跑通TC AE图像重建Demo从0到1环境搭建与上手教程 TC AE 是蚂蚁集团 Inclusion AI 团队开源的深度图像压缩与重建模型基于上一篇Knip与Yarn Berry集成现代包管理器下的代码优化方案下一篇终极GPT-Engineer提示词模板电商网站7天快速开发指令集创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考