1. 从两个名字说起FLUX.1 Kontext 与 FLUX.1 Krea 到底在解决什么问题第一次看到 FLUX.1 Kontext 和 FLUX.1 Krea 这两个名字很多人会下意识觉得它们只是同一个底模的两个微调版本换汤不换药。但真正上手跑过一轮之后你会发现这两个模型的设计目标其实分得很开一个偏向理解上下文再生成一个偏向把画面质感和审美拉满。如果你只把它们当成又一个文生图模型那基本等于买了个单反只用自动挡。先把定位说清楚。FLUX.1 系列本身是一套基于Flow Matching训练、采用DiTDiffusion Transformer架构的图像生成模型家族。而 Kontext 和 Krea 是在这个底座上针对不同能力方向做出来的变体。Kontext 这个词本身暗示了上下文——它强调的是模型对输入语义、参考图、编辑指令之间关系的把握能力典型场景是图像编辑、局部重绘、指令跟随式的修改。Krea 则更偏向生成质量与风格表现追求的是一次出图就能用的成片感在光影、材质、细节密度上做了明显倾斜。为什么这两个方向值得单独拆开讲因为在实际项目里你遇到的从来不是生成一张图这么简单的问题。更多时候是用户上传一张产品图要求把背景换成纯白、保留阴影、把logo位置右移一点——这是 Kontext 的活或者给我生成一张有电影感、逆光、浅景深的人像——这是 Krea 更擅长的。搞混了用途你会觉得模型不好用其实是选错了工具。这篇文章我打算从底层原理一路讲到实操取舍把 Transformer、Flow Matching、DiT、单流 DiT 这些热搜词背后的东西讲透同时给出我自己在跑这两个模型时踩过的坑和总结出来的参数经验。不管你是刚接触扩散模型的新手还是已经调过 Stable Diffusion 系列想迁移过来的老手都能从中找到能直接抄作业的部分。提示本文涉及的所有原理讲解都服务于怎么用好这两个模型这个目标不会为了讲原理而讲原理。如果你只想要参数表可以直接跳到第 4 节但我建议至少把第 2、3 节看完否则参数调起来是盲调。2. Transformer 是怎么一步步变成图像生成主力的2.1 从预测正弦数据理解 Transformer 的本质网上讲 Transformer 的文章多如牛毛但大部分一上来就是 QKV、多头注意力新手看完还是不知道它到底在干嘛。我习惯用一个特别朴素的例子切入用 Transformer 预测正弦数据。假设你有一串按时间排列的数值比如 sin(0)、sin(0.1)、sin(0.2)……你想让模型根据前 10 个数预测第 11 个。这件事用 RNN 也能做但 RNN 有个毛病它必须一个接一个地算前面算完才能算后面长序列上还容易忘事。Transformer 的做法完全不同——它一次性看到全部 10 个数然后让每个数去问其他所有数你跟我关系大不大这个问的过程就是注意力机制。具体来说每个输入会被映射成三个向量Query我在找什么、Key我是什么、Value我能提供什么信息。第 11 个位置的 Query 会和前 10 个位置的 Key 分别做点积得到 10 个相关性分数softmax 归一化后作为权重对 10 个 Value 加权求和。结果就是模型自动学会了离得近的几个数更重要或者周期性位置更重要这类规律。这个例子的价值在于它把 Transformer 的核心——用注意力动态决定信息聚合权重——讲得明明白白。图像生成里的 Transformer 干的是同一件事只不过数变成了图像 patch预测下一个数变成了预测下一步该去掉多少噪声。2.2 Vision Transformer 与 Swin Transformer把图像塞进 Transformer图像和序列最大的区别是图像是二维的、有空间结构的。Vision TransformerViT的处理方式非常暴力——把图像切成固定大小的 patch比如 16×16每个 patch 拉平成一个向量加上位置编码然后当成一个序列丢进 Transformer。就这么简单但效果出奇地好前提是数据量够大。ViT 的问题也很明显注意力是全局的一张 1024×1024 的图切成 16×16 的 patch 就是 4096 个 token两两做注意力就是 4096² 的矩阵显存直接爆炸。于是有了Swin Transformer它的思路是分层 窗口在小窗口内做注意力窗口之间再通过移位shifted window建立跨窗口连接同时像 CNN 一样逐层下采样。这样计算量从平方级降到接近线性还能捕捉多尺度特征。对 FLUX.1 这类模型来说Swin 那套分层思想的影响是深远的——现代 DiT 架构虽然不直接用 Swin但局部注意力 全局信息传递的设计哲学是一脉相承的。理解这一点你才能明白为什么 FLUX.1 能在保持高分辨率的同时把显存控制在可接受范围。2.3 轻量 Transformer 与视觉 Transformer 的工程取舍热搜里还有轻量 transformer视觉 transformer这些词背后其实是同一个工程焦虑注意力太贵了。业界的应对手段大致有这么几类降低 token 数量patch 切大一点或者用卷积先下采样。稀疏注意力只让每个 token 关注一部分 token而不是全部。线性注意力用核函数近似 softmax把复杂度从 O(n²) 降到 O(n)。混合架构卷积负责局部注意力负责全局各干各擅长的。FLUX.1 的 DiT 主干在这些取舍上做了自己的选择具体细节官方没有完全公开但从实际推理表现看它在 token 效率和生成质量之间找到了一个不错的平衡点。这也是为什么它比早期一些纯 ViT 扩散模型跑起来更快、更省显存。3. Flow Matching 与 DiTFLUX.1 的发动机和底盘3.1 Flow Matching 到底比传统扩散顺在哪传统扩散模型DDPM 那一套的思路是逐步加噪声把图像变成纯噪声再学着逐步去噪还原。这个过程是随机的、弯曲的去噪路径像一条蜿蜒的山路需要走很多步才能到终点。Flow Matching换了个思路它不学每一步去多少噪而是学一个速度场——在任意时刻、任意位置告诉你要往哪个方向、以多快的速度移动才能从噪声流向真实图像。理想情况下这条路径是一条相对直的线。路径越直需要的采样步数就越少生成速度就越快。打个比方传统扩散像是让你在一片雾里摸索着下山每一步都得重新判断方向Flow Matching 像是给你画了一条相对清晰的下山路线你顺着走就行。这就是为什么 FLUX.1 能在较少步数下出好图——它的路线设计得更直。这里有个关键概念叫Rectified Flow可以理解为 Flow Matching 的一种具体实现它通过迭代拉直路径来进一步减少采样步数。你在调 FLUX.1 时看到的步数设置比如 20 步、28 步本质上就是在控制沿这条路径走多少步。3.2 DiT把 U-Net 换成 Transformer 之后发生了什么早期的扩散模型包括 Stable Diffusion 1.x/2.x用的是U-Net作为去噪主干。U-Net 是卷积架构擅长处理局部特征通过下采样-上采样和跳跃连接来兼顾全局与局部。它很有效但有个天花板卷积的感受野是有限的要捕捉长距离依赖得靠堆层数。DiTDiffusion Transformer直接把 U-Net 换成了 Transformer。好处是注意力天然具备全局视野图像里左上角的物体和右下角的物体之间的关系可以被直接建模。坏处是计算量和显存开销上去了所以 DiT 通常配合前面说的那些效率优化手段一起用。从 SD 迁移到 FLUX.1 的人最直观的感受就是提示词跟随能力明显变强了。你写一个穿红衣服的人站在蓝色房子前房子左边有一棵树U-Net 时代经常丢三落四DiT 时代这种情况少很多。原因就在于全局注意力让模型能同时看到提示词里的所有约束。3.3 单流 DiT 与双流 DiT 的区别这是理解 FLUX.1 架构的一个关键点。所谓双流 DiT是指图像 token 和文本 token 各自走各自的注意力流只在特定层做交互单流 DiT则是把图像 token 和文本 token 拼在一起放进同一个注意力计算里。FLUX.1 采用的是混合策略前面若干层用双流各自处理保留模态特性后面若干层用单流拼接融合强化跨模态对齐。这个设计很聪明——前期让文本和图像各自把自身特征提纯后期再深度融合既保证了效率又保证了对齐质量。为什么这个细节值得讲因为它直接解释了 Kontext 为什么擅长指令跟随式编辑。单流部分的深度融合让文本指令能精确地作用到图像的对应区域你让它把左边的猫换成狗它不会把右边的猫也改了。架构维度双流 DiT单流 DiTFLUX.1 混合方案文本-图像交互分层交互较弱全程融合较强前双流后单流兼顾计算开销较低较高中等指令跟随精度一般高高模态特征保留好一般好4. Kontext 与 Krea 的能力边界与选型逻辑4.1 Kontext上下文理解与指令式编辑的实战表现Kontext 的核心卖点是理解上下文。这里的上下文不只是文本提示词还包括你提供的参考图、编辑区域、以及多轮对话式的修改意图。实际用下来它最让我惊喜的场景有三个第一是局部替换。给一张室内图说把沙发换成皮质深棕色款它能保持房间其他部分几乎不变只改沙发区域。这背后是模型对哪些像素属于沙发的隐式理解以及对皮质深棕色这个材质描述的准确映射。第二是风格迁移式编辑。上传一张草图说转成水彩风格它不会像传统 img2img 那样把结构也糊掉而是保留线条结构只换渲染方式。第三是文字渲染。FLUX.1 系列在图像内文字生成上本来就强Kontext 在编辑场景下也能保持文字的可读性和位置合理性这对做海报、banner 的人来说是刚需。但 Kontext 也有边界。它对大幅度结构改变的支持一般——你让它把这个人变成侧脸它往往会保留正面轮廓只做微调。想要大改结构还是得回到文生图或者配合 ControlNet 类工具。4.2 Krea审美取向与成片质量的取舍Krea 走的是另一条路。它不太强调听懂复杂指令而是把力气花在出图的第一眼观感上。我做过一组对比测试同样的提示词黄昏海边一个女孩的背影电影感Krea 出的图在光影层次、肤色过渡、背景虚化上明显更高级而基础 FLUX.1 出的图更平。这种差异来自训练数据的审美筛选和后期微调。Krea 的训练集明显偏向摄影级、电影级的素材模型学到的不只是画得像还有画得好看。代价是它在某些需要严格遵循指令的场景下会自作主张——比如你要求纯白背景它可能给你一个带微妙渐变的米白因为它觉得那样更好看。所以选型逻辑很清晰需要精确控制、局部编辑、指令跟随选 Kontext。需要快速出成片、追求审美上限选 Krea。需要两者兼顾Kontext 打底做结构控制Krea 做风格参考或后期重绘。4.3 一张表看清两个模型的适用场景场景推荐模型理由产品图背景替换Kontext局部编辑精度高保留主体电商主图批量生成Krea出图即用审美稳定插画草图上色Kontext结构保持能力强电影感概念图Krea光影和氛围表现突出图像内文字修改Kontext文字区域定位准社交媒体配图Krea第一眼吸引力强多轮迭代修改Kontext上下文记忆好5. 上手实操从环境到出图的完整链路5.1 环境准备里最容易被忽略的三件事第一件是显存。FLUX.1 系列参数量不小FP16 推理下建议至少 16GB 显存起步24GB 会更从容。如果你只有 8GB 或 12GB别硬扛直接上量化版本FP8 或 GGUF 量化画质损失在可接受范围内。第二件是精度设置。很多人默认用 FP32结果速度慢一半还爆显存。实际推理用 FP16 或 BF16 就够了BF16 在数值稳定性上更好推荐优先。第三件是文本编码器。FLUX.1 用的是双文本编码器CLIP T5T5 那部分很吃显存。如果你的显存紧张可以只加载 CLIP 部分代价是对复杂长提示词的理解会下降。注意量化版本虽然省显存但不同量化方案对画质的影响差异很大。我实测下来FP8 基本无损4-bit 量化在细节纹理上会有肉眼可见的损失尤其是毛发和织物。5.2 提示词写法DiT 架构下的新习惯从 U-Net 迁移过来的人提示词习惯要改。U-Net 时代大家习惯堆关键词masterpiece, best quality, 8k, highly detailed因为模型对自然语言理解弱得靠关键词加权。DiT 架构下这套打法收益很低甚至有害——堆砌的形容词会互相干扰。正确的做法是用自然语言描述场景像给画师下brief一样一个穿着米色风衣的中年男人站在雨后的东京街头 霓虹灯倒映在湿漉漉的柏油路面上浅景深背景虚化 冷色调电影感35mm 镜头视角这种写法在 FLUX.1 上的效果远好于关键词堆砌。原因是 T5 编码器本身就是在自然语言上训练的它能理解句子结构和语义关系你给它句子它才能发挥。另外负面提示词在 FLUX.1 上的作用比 SD 弱很多。Flow Matching 的训练方式决定了它对负面提示的响应不如传统扩散敏感。与其花力气写负面词不如把正面描述写清楚。5.3 关键参数步数、引导系数、种子步数stepsFLUX.1 在 20-30 步就能出很好的结果超过 40 步收益递减。Kontext 做编辑时建议 28 步左右Krea 追求质感可以用 30-35 步。步数太低低于 15会出现结构不完整。引导系数guidance scale这个参数控制模型多听提示词的话。FLUX.1 的推荐范围是 3.5-5.0比 SD 的 7-12 低很多。设太高会导致画面过饱和、构图僵硬设太低则提示词跟随变弱。Kontext 做精确编辑时可以适当调高到 5-6Krea 追求自然感可以降到 3.5-4。种子seed调试阶段固定种子方便对比参数效果。定稿后换种子多跑几张挑最好的。这里有个小技巧找到一张满意的图后用它的种子做微调改提示词、改引导系数往往能在这个审美邻域里找到更好的结果。参数Kontext 推荐Krea 推荐说明步数2830-35低于 15 结构易崩引导系数5.0-6.03.5-4.0越高越听话但越僵精度BF16BF16显存紧张用 FP8采样器EulerEulerFlow Matching 适配5.4 我踩过的三个坑坑一拿 SD 的 LoRA 直接往 FLUX.1 上套。架构都不一样根本加载不了。FLUX.1 有自己的 LoRA 生态别混用。坑二以为步数越高越好。我曾经把步数拉到 80结果画面出现了过度平滑的塑料感细节反而丢了。Flow Matching 的路径本来就直走太多步等于在原地打转。坑三忽略分辨率对齐。FLUX.1 对输入分辨率有偏好不是随便什么尺寸都行。用非标准尺寸会导致构图偏移或边缘伪影。建议用模型训练时的标准分辨率或其整数倍。6. 把原理用起来几个能直接复现的进阶玩法6.1 用 Kontext 做多轮迭代编辑Kontext 的上下文能力支持多轮修改但很多人不知道怎么组织。我的做法是每一轮只改一个变量。第一轮改背景第二轮改主体材质第三轮调光影。每轮之间保存中间结果方便回退。具体操作上把上一轮的输出作为下一轮的输入参考图提示词里明确说保持其他部分不变只修改XXX。这样模型能准确锁定修改区域避免改一处动全身。6.2 用 Krea 做风格锚点再迁移Krea 出图好看但控制力弱。我的组合玩法是先用 Krea 生成一张风格满意的图把它作为风格参考再用 Kontext 在保持这个风格的前提下做具体内容调整。这样既有 Krea 的审美又有 Kontext 的控制。6.3 分辨率与批次的工程权衡批量生成时分辨率和批次大小是一对矛盾。我的经验是先低分辨率批量出构图再挑中的高分辨率精修。低分辨率下跑 8 张的成本可能和单张高分辨率差不多但你能快速筛选出构图好的种子再针对性精修整体效率高很多。另外批次大小不要设太大。FLUX.1 在批次超过 4 时显存占用增长不是线性的而且批次内不同样本的质量会互相影响注意力计算共享导致。建议批次控制在 1-4。7. 关于这两个模型我最后想说的几点体会跑了一段时间 Kontext 和 Krea 之后我最大的感受是模型能力越强越考验使用者的判断力。以前模型笨你得靠技巧弥补现在模型聪明了你反而要克制自己过度干预的冲动。很多新手拿到 FLUX.1 后疯狂堆参数、堆提示词结果还不如默认设置出的图好。另一个体会是理解原理真的能省很多试错时间。知道 Flow Matching 路径是直的你就不会盲目加步数知道 DiT 是全局注意力你就知道提示词要写成完整句子而不是关键词知道 Kontext 是混合双流单流架构你就明白它为什么擅长局部编辑。这些不是玄学是有据可循的工程逻辑。如果你刚开始接触我的建议是先用默认参数把两个模型各跑 20 张图建立直观感受然后针对你最常用的场景固定种子做参数对比实验最后再去看原理你会发现之前很多玄学现象都有了合理解释。这个顺序比一上来啃论文要高效得多。至于后续还能怎么扩展Kontext 和 Krea 的组合玩法其实还有很多没挖透比如把 Krea 当风格库、Kontext 当编辑器搭一套半自动的内容生产流水线。这块我还在试等跑通了再单独写一篇。