STABLE DIFFUSION 这个名字这两年只要聊到 AI 画图基本绕不开。说它是“普通人的第一套 AI 绘画系统”一点不夸张因为它是真正开源、能够完全跑在自己电脑上的方案。身边不少朋友第一次生成出像样的图都是靠它实现的。本文我会从一个实际使用者的角度出发把 Stable Diffusion 的整套玩法讲透——核心原理、本地部署、模型选择、提示词编写、参数调优和问题排查都会覆盖。不管你是刚接触 AI 绘画的新手还是已经在用在线工具但想转本地部署的进阶用户都能直接照着操作不走弯路。1. 核心原理与背景Stable Diffusion 为什么能火起来1.1 扩散模型到底在做什么Stable Diffusion 底层用的是扩散模型Diffusion Model这个思路如果用一句话概括它学会的是“把噪声还原成图像”。想象一下有一张清晰的照片我们不断往上面加噪点加到最后照片完全变成一片雪花噪点。这个过程叫“正向扩散”它不可逆也不需要模型去学只是机械地打乱。然后我们反过来训练一个神经网络让它学会从纯噪点里一步步“去噪”每去掉一层噪声画面就更清晰一点最终还原出一张完整的图。这个过程叫“反向扩散”。AI 绘画时我们输入提示词本质上是给这个“去噪”过程指定方向。模型不是凭空“画”出图而是从一片随机噪声出发结合文字语义和它从海量图片里学到的视觉规律一步步把噪声整理成有意义的画面。这也解释了为什么同一组提示词每次出的图都不一样——因为起点是随机噪声随机性天然存在。如果觉得这个解释还是抽象可以把它理解为拼图游戏正向扩散是把拼图全部拆碎并且撒上灰尘反向扩散是让 AI 蒙着眼睛凭手感把碎片重新拼起来。手感越好拼得越像而这个“手感”就是训练阶段从无数图片里学来的。1.2 开源这个决定改变了什么过去普通人想体验 AI 绘画基本只能借助在线工具按张付费或者订阅。体验上有两个痛点一是排队和等待时间不稳定高峰期一张图要等很久二是想要图片风格可控、批量生成、修改细节在线平台往往限制很多。Stable Diffusion 开源之后这些问题直接被绕开。第一模型权重公开谁都可以下载到本地第二允许本地运行后生成完全免费且不依赖外部服务第三模型本身可以更换、微调、继续训练自由度很大。开源催生了极其活跃的社区生态像 WebUI、ComfyUI 这些工具以及 LoRA、ControlNet 这些扩展能力都是靠社区力量快速发展起来的。这背后产生的影响远远不只是“免费”两个字。当模型和技术都开放每个人都可以根据自己的需求去改造工作流插画师研究风格迁移、摄影师研究胶片模拟、游戏美术研究角色套装 LoRA。普通人不需要等厂商更新功能社区里总有人做好并分享出来。这种自下而上的生态才是“AI 绘画飞入寻常百姓家”最核心的推动力。1.3 入门必须搞懂的六个术语Stable Diffusion 相关的名词非常多刚接触很容易被绕晕。我把前期必懂的六个整理出来先混个脸熟后面实操部分会用到。Checkpoint底模绘画风格的核心模型文件决定整体画风是写实、二次元还是其他风格。相当于相机机身加镜头出图风格的大方向由它定。VAE变分自编码器一个辅助组件主要作用是把图像从“隐藏空间”解码成肉眼能看的像素同时负责色彩细节。好的 VAE 能让图片色彩更鲜艳、细节更干净还没加 VAE 之前整体画面容易发灰。LoRA低秩适配模型小体积的微调模块几十到几百兆不等。它可以局部改变风格、控制特定人物角色或物体相当于给底模加滤镜或者给角色换了一件衣服不影响底模本身。ControlNet控制网一个扩展插件能通过姿态、线稿、深度图等额外条件精确控制画面构图。用简单线条骨架就能锁定人物动作这在以前是不可想象的。采样器Sampler负责“去噪”的具体算法不同采样器在速度、细节、风格上有差异类似照片冲印工艺。后面会给出常用推荐。CFG scale提示词引导强度提示词对画面的影响程度。数值越高越死板数值越低越发散入门一般设置在 6-9 之间。这些术语不需要第一次就完全背下来实操时反复接触自然就熟了。但理解它们的基本作用能避免很多无头苍蝇式的乱调参。2. 本地部署实战从环境准备到首次出图2.1 硬件门槛到底什么样的电脑能跑Stable Diffusion 最让人关心的永远是配置要求。我直接说结论NVIDIA 显卡显存 6GB 以上就可以流畅入门8GB 属于比较舒适的体验区12GB 以上基本“大图随便开”。为什么特别强调 NVIDIA因为 CUDA 生态是当前 AI 推理的事实标准A 卡和核显虽然也有兼容方案性能损失和折腾成本都比较高。我没有贬低其他硬件的意思但从“正常人能用起来”的角度N 卡优先是客观事实。CPU 基本没有瓶颈内存建议 16GB系统盘建议留出 30GB 以上空间——模型文件动辄几个 GB加上虚拟环境和临时文件空间还是有必要备足的。下面这个表可以用作快速自查配置项入门体验流畅体验进阶体验显卡GTX 1060 6GBRTX 3060 12GBRTX 4080 16GB显存6GB8-12GB16GB内存16GB16-32GB32GB硬盘30GB 剩余50GB1TB SSD如果电脑配置确实不够我建议直接先云 GPU 或者在线 Demo 跑通流程别为了入门专门买新电脑。等确认自己真的需要本地部署再考虑硬件投入。2.2 安装方式的选型整合包还是手动部署本地部署目前主流有两条路整合包和手动部署。整合包适合绝大多数新手压缩包解压即用环境、模型、插件都预置好了。它的优势是省心缺点是黑盒性质出了问题不好定位想深入学习时会感觉被限制而且整合包往往版本落后。我用过几次后还是建议有折腾精神的人转手动。手动部署适合想长期学习和深度定制的用户全过程自然可控版本更新也及时。流程上需要装 Python、Git 环境然后拉取 WebUI 源代码、创建虚拟环境、安装依赖最后下载模型启动。第一次折腾大概需要半小时到一小时之后维护非常轻松。个人经验是纯新手用整合包起步跑通第一张图建立信心当你想深入时再换成手动部署那时你会发现其实没多难。2.3 手动部署的完整操作步骤这里给出 WebUI 这一主流工具的部署过程。操作系统以 Windows 为例Linux 和 macOS 在依赖安装上稍有差异但逻辑相同。第一步安装基础环境先装 Git 和 Python。注意版本Python 推荐 3.10 或 3.11WebUI 对某些 Python 版本的坑比较多太新或者太老都可能报错安装时记得勾选“Add Python to PATH”。第二步拉取源代码打开命令行在你想放项目的目录执行git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git国内网络如果拉不动可以临时用代理加速或者换官方镜像源。这部分我不展开网速正常的情况下一般都能完成。第三步创建虚拟环境进入项目目录用 venv 建一个干净的 Python 环境避免和系统环境互相污染cd stable-diffusion-webui python -m venv venv在 Windows 下激活虚拟环境venv\Scripts\activate激活后命令行前缀会变成(venv)说明已经进入环境。第四步安装依赖并启动首次运行会在 WebUI 里自动安装依赖这一步耗时较长且容易卡住。如果下载速度慢可以考虑配置 pip 镜像源在项目目录下建pip.ini文件填入镜像源地址。首次启动可以加一些参数python launch.py --xformersxformers是加速库对显存和速度都有帮助N 卡用户建议开启。启动成功后命令行会显示一个本地地址通常是http://127.0.0.1:7860在浏览器打开就能看到 WebUI 界面。第一次启动会自动下载部分基础模型时间视网络而定。如果整个过程顺利你会看到 WebUI 的操作面板此时已经可以出图只不过还没下载真正的底模。2.4 界面速览与第一张图WebUI 的界面第一眼确实让人眼花但拆解来看核心就是几个板块。上图左侧是提示词输入区分为正向提示词框和负向提示词框接下来是采样设置区涵盖采样器、步数、CFG、分辨率等参数再往下是模型选择下拉框右上角是“生成”按钮。第一张图在没有任何模型的情况下直接用默认参数点“生成”WebUI 会用一个内置的基础模型跑一张图出来。不要急着调参先跑通流程比什么都重要。我第一次接触时连模型和采样器都不认识就直接点生成看到一张模糊但具备基本结构的图瞬间就理解了“原来这个工具真的能在我电脑上画画”这种感觉挺关键。3. 模型选择与画风控制底模、VAE、LoRA 到底怎么配合3.1 底模画风的分水岭WebUI 界面上的“Checkpoint”下拉框选择的就是底模。底模几乎决定了出图风格的“上限”和“底色”不同底模在同一组提示词下画出来的图可能完全不像同一个世界。常见的几大类写实摄影类擅长生成照片级人像、环境、物体皮肤质感、光影细节都很强。适合做摄影风格作品、电商商品图、概念环境设计。二次元动漫类画面干净、线条清晰、上色风格稳定适合插画、漫画素材、角色设计。这类底模对“动漫脸”的把握远胜通用模型。2.5D 混合类介于写实和动漫之间常用于游戏原画、商业插画和半厚涂风格。我在下载底模时踩过不少坑。最普遍的问题是“只换底模不重启”效果没变化就以为模型没用。实际上下载后需要在设置里刷新模型列表并重新切换选择特别是换模型前一定要点击右侧刷新按钮。选底模没有标准答案本质上是在选喜欢的“画师”。你可以把同一个提示词输进去固定种子和参数只切换底模看哪个输出最符合需求。运行过一次对比直观感受会比看评测深刻得多。3.2 VAE 与 LoRA风格细节的秘密武器不少新手会遇到“图出来灰蒙蒙的颜色像褪色一样”的问题。这种情况八成是没配 VAE。VAE 好比给图片做最后的调色和细节还原好 VAE 能让画面色彩通透层次分明。WebUI 里可以在底模下拉框旁边选择 VAE也可以在设置里指定全局 VAE。LoRA 是另一类常用组件。它体积小单个几十到几百兆挂在底模上作为补充可以控制特定人物、服装、画风或物品。使用方法很简单在 WebUI 界面选择 LoRA 选项卡点一下你想用的它会自动把 LoRA 标签插入提示词中类似lora:风格名:1.0的格式。那个冒号后的数字是 LoRA 权重可以理解为其影响幅度。权重 1.0 是默认抽象风格想更夸张可以调 1.2-1.5写实风格担心失真可以调到 0.6-0.8。权重越大越容易改变画面但要小心过犹不及部分 LoRA 权重太高会让图崩。3.3 模型下载与规范放置模型下载这里我强烈建议从在线模型库等正规社区获取。下载后文件放置的目录有约定放乱了 WebUI 识别不到文件类型放置目录后缀底模models/Stable-diffusion.ckpt/.safetensorsVAEmodels/VAE.vae.pt/.safetensorsLoRAmodels/Lora.safetensors超网络models/hypernetworks.pt/.safetensorssafetensors是新的安全格式加载更快更安全现在主流模型基本都是这种后缀不比纠结 ckpt。下载时还要留意“能不能配对使用”。有些底模作者会在页面标注推荐 VAE、推荐采样器甚至推荐 LoRA 权重这些说明都是实测出来的结果照着用比自己瞎试稳得多。前几次下载容易见一个下一个最后模型文件堆得乱七八糟我建议建立一个简单的记录表每个模型存下文件名、来源、用途省得以后找模型找到崩溃。4. 提示词编写与参数调优让出图从“能看”到“想要”4.1 提示词的基本公式Stable Diffusion 的提示词是英文为主但它不需要完整句子关键词堆叠同样有效。入门时有个比较通用的公式画质词 主体词 环境词 风格词 细节词画质词是提升画面质感的关键比如masterpiece、best quality、highly detailed。这些词对画面评分影响确实存在别嫌空泛建议放在开头。主体词描述画面核心内容比如a girl wearing white dress一个穿白裙的女孩。环境词负责背景和氛围比如sunset beach。风格词决定视觉取向比如photorealistic写实、digital art数字艺术、watercolor水彩。细节词用来补充质感、光影、服饰等细节。例如soft lighting柔光、volumetric light体积光、detailed face脸部细节。多点几个相关词汇画面丰富度会明显不同。负向提示词和正向一样重要。它的作用是把不想要的元素排除掉常见的低质量词可以写进负向提示词lowres低分辨率、bad anatomy结构错误、worst quality、blurry等。固定负向提示词后崩图率会明显下降。4.2 实战提示词示例解读我随便写一组搭配演示实际用法正向masterpiece, best quality, 1girl, silver white hair, purple eyes, school uniform, standing in classroom, cherry blossom outside window, dynamic angle, ultra-detailed, soft lighting, lora:xx风格:0.8负向lowres, bad anatomy, bad hands, extra fingers, worst quality, blurry, jpeg artifacts, watermark拆开看1girl是动漫类模型常用的主体描述lora:xx风格:0.8表示挂载 LoRA 并调整权重负向里的extra fingers和bad hands是真人手部生成常见崩坏多写几个负面词能减少此类情况。提示词写法没有标准答案重要的是积累。用同一组底模浓度测试新词效果好坏一对比就清楚。我平时看到满意的图会记录它的完整参数配置包括提示词、采样器、步数、种子。这个习惯在复现风格时特别有用。4.3 五个关键参数一次讲明白WebUI 界面里参数很多新手最容易懵。先抓五个核心其余以后慢慢理解。采样步数Steps去噪迭代次数。越高效果越好但超过一定范围后收益递减甚至过拟合20-30 步性价比最高。部分采样器步数 10 到 15 就能出不错的效果。CFG Scale提示词引导强度通常在 6-9 之间。数值太低画面会偏离提示词甚至变得模糊太高则画面死板、颜色过艳。大部分情况下 7 左右是一个好窗口。采样器Sampler推荐从Euler a和DPM 2M Karras开始。前者出图快细节自然后者画质细节更好速度稍慢。先别研究所有采样器这两个够用很久。分辨率Resolution默认 512x512基于训练数据的分配刚好在这个区间附近图形结构最稳定。想输出更高分辨率不建议直接在模型里拉大可以用高清修复。种子Seed随机噪声的初始值。固定种子和参数配合同样的提示词每次出的图就是基本相同的。复现别人的图只要拿到种子、提示词、模型就可以。参数之间是有交互的我建议做对比实验时一次只改一个变量。改步数和改种子同时进行很难定位是哪个变量带来的变化。这个习惯能帮你更快找到手感。4.4 高清修复技巧直接生成 1024x1024 的图很多模型会崩结构和细节。推荐做法是先用 512x512 生成构图然后开启 WebUI 自带的高清修复。启用后底层会用放大算法把图放大再结合提示词进行局部细节重建。放大倍率 1.5 到 2.0 是个合理区间放大倍数太高会导致画面重复纹理或结构错乱。放大的步数可以不用那么高大概 10-20 步足以。重绘幅度Denoising strength填 0.4 左右太高了原图结构会变太低了细节不够丰富。这里给个参考值具体还是得根据画面情况微调。5. 进阶功能实操图生图、局部重绘与 ControlNet5.1 图生图让 AI 在既有图上继续创作图生图听起来高级本质上就是在原图基础上再进行一次部分去噪重建。把图拖进 WebUI它会先用 VAE 编码成“隐藏空间”的数据再根据提示词加噪和去噪形成一张新图。控制原图和结果相似度靠的是“重绘幅度”Denoising strength。数值越小越接近原图数值越大改动越自由。比如 0.3 适合给照片添加风格变化0.7 适合彻底改头换面。用途很直观把素描写生变成彩稿、把照片转成动漫风、给真人照片换一个环境背景。我经常用图生图做“风格迁移”——原图的构图结构保留只换画风效果非常可控。裁剪问题也要注意。原图尺寸最好和输出尺寸一致或接近强行改变宽高比容易导致主体变形。如果真的需要不同比例建议先用局部重绘或者裁剪照片。5.2 局部重绘修手修脸的唯一捷径局部重绘是对图中特定区域进行蒙版重绘其他区域保持不变。在 WebUI 图生图里上传图片后用鼠标在画布上涂抹出要重绘的区域它的人头、手臂、背景都可以单独处理。这是修复崩坏部位的实用工具。生成出来手部关节不对只要把手部区域涂出来在提示词里强调detailed hands配合负向提示词重绘即可。局部重绘时蒙版要稍微画出目标边缘太小会截断主体线条太大又会影响周围环境。重绘幅度建议 0.5 左右太低则蒙版区域没有足够变化太高则容易让蒙版区域与背景脱节。这个功能实操几次手感就出来了。5.3 ControlNet把构图主动权握在自己手里ControlNet 是 Stabl