尧图企业网站定制 尧图 YAOTU WEB
咨询热线 400-888-6688 立即定制
资讯动态

Stable Diffusion详解

发布时间：2026/9/11 20:09:31 来源：尧图企业网站定制
微
介绍Stable Diffusion是文生图模型包括三个大组件VAEClip和Unet。原理分析1.Unet的详细结构上面两张图对应着看Unet包含三大部分①下采样三个cross attention下采样模块CrossAttnDownBlock2D一个普通下采样模块DownBlock2D②中间一个中间模块UnetMidBlock2DCrossAttn③上采样一个普通上采样模块UpSample2D三个cross attention上采样模块CrossAttnUpBlock2D接下来我们逐个分析每个模块cross attention下采样模块CrossAttnDownBlock2D来详细看cross attention下采样模块的结构很明显这里面包括三个子块① ResnetBlock2D② Transformer2DModel③ DownSample2D一步步来看每个子模块包含啥ResnetBlock2DResnetBlock2D的输入包括两部分① 上一层的latent② 时间步的embeddingPS输入输出通道数不一致的时候残差连接会用一个1x1的卷积时间步编码模块的结构如下图所示接下来看Transformer2DModel子模块这个模块的输入也是包括两部分① 上一层的latent② 文本的embedding其shape[2, 77, 768]来看看BasicTransformerBlock块更进一步拆解SelfAttention的结构为CrossAttention的结构为很多面试里会问到Unet中的cross attention其实是在这里Q的根源来自图像特征经过了一些列的中间块处理KV来自文本Feedforward就很显而易见了跟transformer中的类似接下来看DownSample2D子模块上面都是cross attention下采样模块CrossAttnDownBlock2D下面分析DownBlock2D上面分析完了所有下采样看一眼中间模块UnetMidBlock2DCrossAttn最后是上采样的UpBlock2D模块UpSample2DCrossAttnUpBlock2D注意, 最后一个CrossAttnUpBlock2D没有UpSample2D模块2.CLIP的详细结构CLIP这里用到的是文本编码器结构如下:CLIPTextEmbeddings灰色的框框text_inoputs和embedding不是操作是表示输入输出:CLIPEncoderLayerCLIPEncoderLayer就是普通的Transformer 的Encoder层了总结Unet的重点在于哪个cross attention下采样模块里面包含resblock和transformer相关的block其中resblock接受时间步嵌入作为输入transformer模块接受文本嵌入作为输入这块就是用到了cross attention。Q的根源是来此图像但是是经过了很多层处理后的latent featureKV来自文本嵌入。参考Stable Diffusion1.5网络结构-超详细原创
返回资讯列表 →
RELATED · 相关阅读

延伸阅读

转行做ICT，只考HCIP够不够找工作？最真实的行业答案
2026/9/11 20:09:11

转行做ICT，只考HCIP够不够找工作？最真实的行业答案
【二叉树】LC 437.路径总和 III
2026/9/11 20:09:10

【二叉树】LC 437.路径总和 III
C++迭代器模式：高效遍历与STL实践
2026/9/11 20:09:10

C++迭代器模式：高效遍历与STL实践
uniapp调用Java原生Socket：实现Android TCP通信插件
2026/9/11 20:09:10

uniapp调用Java原生Socket：实现Android TCP通信插件
VS Code highlight-words配置与实战指南
2026/9/11 20:08:30

VS Code highlight-words配置与实战指南
计算机系统的演进：一部需求与创新交织的历史
2026/9/11 20:08:30

计算机系统的演进：一部需求与创新交织的历史
转行做ICT，只考HCIP够不够找工作？最真实的行业答案
2026/9/11 20:09:11

转行做ICT，只考HCIP够不够找工作？最真实的行业答案
【二叉树】LC 437.路径总和 III
2026/9/11 20:09:10

【二叉树】LC 437.路径总和 III
C++迭代器模式：高效遍历与STL实践
2026/9/11 20:09:10

C++迭代器模式：高效遍历与STL实践
Winner II信道仿真：GSCM参数配置与链路级应用解析
2026/9/11 20:50:03

Winner II信道仿真：GSCM参数配置与链路级应用解析

简介：Winner II信道模型的MATLAB实现，面向无线通信领域的科研人员、工程师和高年级学生，可用于信道仿真、链路性能评估与通信算法验证。代码包为RAR压缩包，共47个文件，大小约639KB，以41个m脚本为核心&#…
裸机环境下EtherNet/IP协议栈SPI适配实战
2026/9/11 20:50:03

裸机环境下EtherNet/IP协议栈SPI适配实战

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
Linux死锁机制与自旋锁优化实战
2026/9/11 20:49:42

Linux死锁机制与自旋锁优化实战

1. Linux死锁机制深度剖析 死锁是Linux系统中让开发者最头疼的问题之一。想象一下交通堵塞的场景：四辆车同时到达十字路口，每辆车都在等待其他车辆先行，结果谁都无法前进。Linux系统中的死锁原理与此类似，当多个进程或线程互相持有…
量化投资：价值策略与另类数据因子的融合实践
2026/9/11 20:49:42

量化投资：价值策略与另类数据因子的融合实践

1. 策略融合的价值与挑战在量化投资领域，特价股票策略（Deep Value Strategy）和另类数据因子策略（Alternative Data Factor Strategy）都是近年来备受关注的方向。前者源于本杰明格雷厄姆的价值投资理念，后者…
深入 CPython：修复 asyncio.Task 在 eager_start=True 且未显式传入 loop 时抛出 AttributeError（gh-issue-154695）
2026/9/11 20:49:22

深入 CPython：修复 asyncio.Task 在 eager_start=True 且未显式传入 loop 时抛出 AttributeError（gh-issue-154695）

深入 CPython：修复 asyncio.Task 在 eager_startTrue 且未显式传入 loop 时抛出 AttributeError（gh-issue-154695） 【免费下载链接】cpython The Python programming language 项目地址: https://gitcode.com/GitHub_Trending/cp/cpython …
ruflo 组合优化提速实战：用共轭梯度（CG）替换 Neumann 级数求解 Σ·x = μ
2026/9/11 20:49:22

ruflo 组合优化提速实战：用共轭梯度（CG）替换 Neumann 级数求解 Σ·x = μ

ruflo 组合优化提速实战：用共轭梯度（CG）替换 Neumann 级数求解 Σx μ 【免费下载链接】ruflo 🌊 The original agent meta-harness. Deploy intelligent multi-player swarms, coordinate autonomous workflows, and build conv…
Linux安装Samba服务
2026/9/11 17:52:16

Linux安装Samba服务

0 前言 Linux系统可通过Samba服务进行文件共享，本文介绍如何安装和配置。 1 安装 1.1 Ubuntu （1）方法1：apt安装（推荐） sudo apt-get install -y samba （2）方法2：tasksel安装[3] sudo apt install -y tasksel sudo tasksel install samba-server 1.2 CentOS su…
大模型推理镜像极简瘦身：从 25GB 巨无霸到 3GB 精简镜像实战
2026/9/11 1:39:29

大模型推理镜像极简瘦身：从 25GB 巨无霸到 3GB 精简镜像实战

大模型推理镜像极简瘦身：从 25GB 巨无霸到 3GB 精简镜像实战 在云原生基础设施中，容器镜像体积直接决定了服务的部署速度与弹性扩容敏捷度。对于传统的 Go / Java 微服务，镜像体积通常被严格控制在 50MB 到 200MB 以内，拉取镜像只…
国内可用的ntp服务器地址
2026/9/11 1:59:02

国内可用的ntp服务器地址

服务器地址所属机构/地区ntp.sjtu.edu.cn 202.120.2.101上海交通大学网络中心NTP服务器地址s1a.time.edu.cn北京邮电大学s1b.time.edu.cn清华大学s1c.time.edu.cn北京大学s1d.time.edu.cn东南大学s1e.time.edu.cn清华大学s2a.time.edu.cn清华大学s2b.time.edu.cn清华大学s2c.ti…
Axum 中 through `into_make_service_with_connect_info` 获取客户端连接信息：从 SocketAddr 到自定义 Connected 的完整指南
2026/9/11 0:00:03

Axum 中 through `into_make_service_with_connect_info` 获取客户端连接信息：从 SocketAddr 到自定义 Connected 的完整指南

Axum 中 through into_make_service_with_connect_info 获取客户端连接信息：从 SocketAddr 到自定义 Connected 的完整指南 【免费下载链接】axum HTTP routing and request-handling library for Rust that focuses on ergonomics and modularity 项目地址: http…
Metabase Embedding SDK 的 SdkDashboardId 类型：数值 ID、字符串 entity_id 与类型安全的仪表板标识
2026/9/11 0:00:03

Metabase Embedding SDK 的 SdkDashboardId 类型：数值 ID、字符串 entity_id 与类型安全的仪表板标识

Metabase Embedding SDK 的 SdkDashboardId 类型：数值 ID、字符串 entity_id 与类型安全的仪表板标识 【免费下载链接】metabase The easy-to-use open source Business Intelligence and Embedded Analytics tool that lets everyone work with data :bar_chart: …
CANN/GE模型执行函数aclmdlExecuteV2
2026/9/11 0:00:03

CANN/GE模型执行函数aclmdlExecuteV2

aclmdlExecuteV2 【免费下载链接】ge GE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlo…
从零到一构建开源项目的完整历程：交付前的最后检查怎么做
2026/9/11 18:00:47

从零到一构建开源项目的完整历程：交付前的最后检查怎么做

从零到一构建开源项目的完整历程：交付前的最后检查怎么做能运行的原型与可稳定发布的开源项目之间，通常还需要补齐测试、文档、兼容性和发布流程。 在开源项目的早期阶段，很多开发者倾向于“快速出 Demo，出了问题再修”。 可一旦项…
分布式服务的决策记录
2026/9/11 15:55:19

分布式服务的决策记录

分布式服务的决策记录架构演进最怕只有结果没有理由。一次拆分、缓存或队列调整，都应写明当时的瓶颈、备选方案、选择原因和撤回条件。 记录的最小单位 用一页说明解决的任务、依赖、风险和验证方式即可。别把决定写成永远正确的准则；前提变化时&#xf…
持续集成 流水线自动化与 声明式交付 实践：原型怎样变成可用功能
2026/9/11 3:44:12

持续集成 流水线自动化与 声明式交付 实践：原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践：原型怎样变成可用功能分类：[AI/大模型]细分主题：AI 增强型 CI/CD 流水线自动化与 GitOps 实践：Agent 工作流、工具调用与任务拆解：从原型到生产的验收清单很多团队在尝试用大…

读完文章，也想定制专属网站？

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑