大模型人工智能媒体生成计算机视觉基础模型本地部署【免费下载链接】Nanosaur2-670M项目地址https://ai.gitcode.com/hf_mirrors/well9472/Nanosaur2-670M点击查看免费下载Nanosaur2-670M 是一个总训练成本仅约600 美元的 670M 参数文生图 DiT 模型采用 Rectified Flow 训练目标在 H100 上从零训练并原生支持 ComfyUI 一键出图。本文完整复盘它的三件套架构、三阶段训练方案与出图配置拆解这套极限低成本训练文生图模型的完整思路。 项目速览600美元训出了什么级别的文生图模型在 AI 绘图模型动辄数百万美元训练预算的今天Nanosaur2 用约 280 小时 H100 算力的学生价证明了一件事DiT 架构下670M 参数 正确配方就能做出可用的文生图模型。组件规格说明扩散模型670M 参数 DiTadaLN-single、2D RoPE、SwiGLU、QK-norm、SPRINT 稀疏中间块文本编码器Gemma3-270M冻结使用取倒数第二层特征支持 tag 与自然语言提示词VAE129M 参数基于 DINOv2 的语义 VAE64 通道潜空间16 倍下采样项目定位很明确研究用途——用最小算力验证DiT 文生图模型训练的最省路径而不是去和 Anima 这类完整训练模型比拼角色知识与细节详见 README.md。 训练成本账本600美元对应多少H100算力官方给出的总训练成本约$600对应约 280 小时 H100按约 2 美元/小时的租价折算分为三个阶段阶段算力消耗关键配置① VAE 训练50k 步 ≈ 12 小时1×H100从 DINOv2-B 起步语义自编码器② 基础训练11 个 H100 天4M 插画数据集Dion3 优化器lr 1e-3余弦调度③ 美学精调4 小时关闭 SPRINT 丢 token全 token 过中间块基础训练采用分辨率递进策略3 天 256×256 → 3 天 512×512 → 5 天 1024×1024 宽高桶。这是低成本训练的关键技巧——先用小图让模型快速收敛到画得像图再逐步放大分辨率补细节避免全程大图烧钱。⚙️ Rectified Flow 训练方案拆解Nanosaur2 的训练目标是Rectified Flowx-prediction 配合 v-loss这是它与传统 ε-prediction 扩散模型最大的不同x-prediction模型直接预测干净图像 x₀再换算出速度场velocity代码见 nanosaur2_support/model.pyv-loss 加权损失按1/(t 0.05)加权重点约束小时间步细节区间训练循环可参考 nanosaur2_support/train_lora.pylogit-normal 时间步采样采样分布向中部时间步集中训练效率更高10% caption dropout固定比例丢弃文本为 CFG 引导预留无条件路径。最有意思的是它的path-drop 无条件训练被丢弃文本的样本有 50% 概率跳过 SPRINT 稀疏中间块其余样本 5% 概率跳过。这样模型在训练时就学会了轻路径无条件推理采样阶段可在完整 CFG 与 path-drop 引导间交替切换alternate模式默认推荐推理逻辑在 nanosaur2_support/nodes.py。相当于用训练时的一点偷懒换取推理时的速度。 三件套架构拆解670M DiT 主干共 18 个 DiT Blockhidden 1536、16 头、MLP 4096结构定义见 nanosaur2_support/model.py。其中 SPRINT 稀疏设计让前 2 个和后 2 个块为稠密块中间 14 个块走稀疏残差路径——同一套权重两种推理开销这是控制推理成本的核心。冻结的 Gemma3-270M 文本编码器文本侧完全复用 Gemma3-270Mhidden 640、18 层、最大 256 token全程冻结只取倒数第二层特征实现见 nanosaur2_support/text_encoder.py。小语言编码器 冻结策略省掉了大 CLIP 的显存与算力也让提示词同时支持 tag 风格与自然语言。语义 DINOv2 VAEnanosaur2_support/vae.py 中的 129M VAE 从 DINOv2-B 初始化拼接后 6 层 DINO 特征 卷积瓶颈输出 64 通道、16 倍下采样的语义潜空间。损失只用 VISReg 与 DINO 嵌入 MSE——没有像素损失、没有 LPIPS、没有 GAN。作者称这种语义潜空间比当前主流 VAE 收敛更快这正是 600 美元预算能跑通的关键之一。 ComfyUI 最快出图配置三步安装 推荐参数安装三步走把 nanosaur2_support/ 整个目录复制到ComfyUI/custom_nodes三个模型文件按对应目录放置文件放入目录nanosaur2_diffusion_model.safetensorsmodels/diffusion_modelsnanosaur2_text_encoder.safetensorsmodels/text_encodersnanosaur2_vae.safetensorsmodels/vae启动 ComfyUI把 nanosaur2_workflow.json 直接拖进窗口即可加载完整工作流。推荐采样参数参数推荐值说明采样器eulersimple工作流默认步数50预置 30步数越高细节越稳CFG4引导强度shift3已内置在模型推理中无需手设分辨率1024× 宽高桶如 832×1216提示词写法小贴士正向提示词前缀加质量标签newest, masterpiece负向加oldest, low quality部分艺术家 tag 生效可用括号加权如(artist:4)——这是自定义的 cross-attention 加权影响注意力偏置而非嵌入幅值官方示例提示词newest, masterpiece, 1girl, solo, (fennec ears:1.3), long blonde wavy hair, blue eyes, big fluffy tail, smile, forest, sunlight LoRA 微调指南一条命令适配自己的画风想让自己的角色或画风稳定出图仓库内置了独立于 ComfyUI 的 LoRA 训练脚本 nanosaur2_support/train_lora.pyuv run python custom_nodes/nanosaur2_support/train_lora.py /path/to/images图片文件夹中每张图配一个同名.txt字幕文件图像会自动缩放/中心裁剪到最近的 1024× 宽高桶产物输出到models/loras/文件夹名.safetensors在 ComfyUI 里用LoraLoaderModelOnly加载关键超参rank 64、lr 1e-4、100 epochs注入位置覆盖注意力与 MLPqkv_x / kv_y / proj / qkv / w12 / w3。⚠️ 使用边界研究模型不是生产工具最后说清预期Nanosaur2-670M 是最小算力实验角色知识、精细度都不必期待与完整训练的旗舰模型持平。作者也明确表示正在寻找算力资助——继续训练它、甚至做一个2B 版本都在计划中。如果你想用 670M DiT 做自己的文生图实验这套VAE 先行 → 分辨率递进 → Rectified Flow path-drop的方案是目前公开材料里最值得抄的作业本。赞分享大模型人工智能媒体生成计算机视觉基础模型本地部署【免费下载链接】Nanosaur2-670M项目地址https://ai.gitcode.com/hf_mirrors/well9472/Nanosaur2-670M点击查看免费下载相关推荐欢迎使用Slidev欢迎使用Slidev 专为开发者设计的演示工具 核心优势 Markdown原生支持 ‍ 开发者友好特性 丰富主题系统 交互式组件支持大模型人工智能媒体生成计算机视觉基础模型本地部署如何用10万美元训练出媲美LLaMA2的JetMoE模型完整入门指南如何用10万美元训练出媲美LLaMA2的JetMoE模型完整入门指南 JetMoE是一个革命性的开源大语言模型项目它以不到10万美元的训练成本实现了媲美LL如何训练自定义LatentSync模型完整训练流程详解如何训练自定义LatentSync模型完整训练流程详解 想要实现精准的唇形同步效果LatentSync模型通过结合Stable Diffusion技术和多模人工智能深度学习媒体生成计算机视觉语音上一篇Huly Unified Import Format 导入指南用 YAML Markdown 目录结构把任意系统数据迁入 Huly下一篇Semantic Kernel .NET 1.0 项目结构设计从 Skills 到 Plugins 的目录与命名规范全解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考