1. 从标题拆解FLUX.1 Kontext 与 FLUX.1 Krea 到底在解决什么问题第一次看到“FLUX.1 Kontext”和“FLUX.1 Krea”这两个名字很多人会下意识觉得又是两个换皮模型。但我实际把它们的论文、技术报告和社区复现案例翻了一遍之后发现这两个模型解决的是完全不同的两类痛点而且它们背后共享的那套技术底座——Transformer、Flow Matching、DiTDiffusion Transformer——才是真正值得花时间吃透的东西。先说结论FLUX.1 Kontext 的核心是“上下文感知的图像生成与编辑”它要解决的是传统文生图模型“只能从零生成、无法理解已有图像上下文”的问题。你给它一张图再给一段文字它能理解“这张图里有什么、你想改哪里、改成什么样”而不是像早期模型那样把原图当成一张白纸重新画。FLUX.1 Krea 的核心则是“美学质量与生成效率的平衡”它面向的是那些对出图质量有要求、但又不想每次都跑几十步采样的实际生产场景。这两个模型放在一起看其实代表了当前图像生成领域的两条主线一条是可控性一条是质量与效率。而它们共同依赖的技术栈恰好就是热词里反复出现的 Transformer、Flow Matching 和 DiT。很多人学 Transformer 的时候看的是 NLP 那套东西学扩散模型的时候看的是 U-Net 那套东西结果一到 FLUX 这种架构就懵了——因为 FLUX 把这两条线拧在了一起。这篇文章适合谁看如果你是刚接触图像生成、想搞明白“为什么现在大家都在聊 DiT 而不是 U-Net”的入门者我会用生活化的类比把底层逻辑讲清楚。如果你已经能跑通 Stable Diffusion 的推理脚本想进一步理解 FLUX 系列为什么在架构上做了那些取舍我会把关键参数和设计动机拆开讲。如果你是在做实际项目、需要判断“什么场景该用 Kontext、什么场景该用 Krea”的从业者我会给出具体的对比和选型建议。提示本文不涉及任何模型权重下载、部署环境配置等操作层面的内容重点放在架构原理、设计思路和实际应用逻辑的解析上。所有参数和结论均基于公开技术资料和社区常见实践整理具体数值以官方发布为准。2. Transformer 基础回顾为什么它成了图像生成的新底座2.1 从“逐字翻译”到“逐块画画”的思维转换Transformer 最早出圈是在机器翻译领域它的核心创新是自注意力机制Self-Attention。用最通俗的话说自注意力就是让序列里的每个元素都能“看到”其他所有元素然后决定自己应该关注谁。比如翻译“我爱吃苹果”的时候模型在处理“苹果”这个词时会同时关注“吃”和“我”从而理解这里说的是水果而不是手机品牌。把这个思路搬到图像上事情就变得有意思了。一张图片可以被切成很多个小块Patch每个小块就相当于一个“词”。Transformer 处理图像的时候就是让每个小块去关注其他所有小块从而理解整张图的全局关系。这就是Vision TransformerViT的基本思路。但这里有个关键问题图像的小块数量远比句子里的词多。一张 1024x1024 的图如果切成 16x16 的小块就有 4096 个 token。自注意力的计算量是 token 数量的平方4096 的平方就是一千六百多万次注意力计算。这就是为什么早期 ViT 只敢处理 224x224 的图——再大就算不动了。2.2 单流 DiT 与双流 DiT 的分歧点DiTDiffusion Transformer是把 Transformer 用作扩散模型的主干网络。传统的扩散模型用 U-Net 做去噪U-Net 的特点是“先下采样再上采样”像沙漏一样。DiT 则直接用 Transformer 来处理图像 token 序列去掉了 U-Net 的卷积结构。这里就出现了单流 DiT和双流 DiT的分歧。单流 DiT 把图像 token 和条件 token比如文本编码拼在一起送进同一个 Transformer 块里处理。双流 DiT 则让图像和文本各自走各自的 Transformer 分支只在特定层做交叉注意力。FLUX.1 系列采用的是双流加单流混合的设计。前若干层用双流结构让图像和文本各自独立处理保留各自的模态特性后若干层用单流结构把图像和文本 token 拼接在一起让它们充分交互。这种设计的好处是前期不会因为模态差异太大而互相干扰后期又能让文本信息深度影响图像生成。注意很多人学 Transformer 的时候只关注 NLP 那套“编码器-解码器”结构但 DiT 里的 Transformer 块和 NLP 里的并不完全一样。DiT 通常使用自适应层归一化Adaptive Layer Norm把时间步和类别条件注入到归一化层里而不是像 NLP 那样在输入层拼接。2.3 位置编码在图像 Transformer 里的特殊处理NLP 里的位置编码是给每个词一个位置向量因为词序很重要。图像里的位置编码则要复杂一些因为图像是二维的。常见做法是把二维位置拆成两个一维位置编码分别表示行和列然后拼接或相加。FLUX.1 在位置编码上做了一个比较有意思的选择它使用了旋转位置编码RoPE的二维扩展。RoPE 原本是 NLP 里用来编码相对位置的方法它的优势是能让模型更好地理解“相对距离”而不是“绝对位置”。在图像里这意味着模型更容易理解“这两个小块相邻”而不是“这两个小块分别在第 3 行第 5 列和第 3 行第 6 列”。这种相对位置的理解方式对图像编辑任务特别重要因为编辑往往涉及局部区域的修改模型需要准确判断哪些小块属于同一个物体。3. Flow Matching比扩散更直接的生成路径3.1 扩散模型在做什么Flow Matching 又改了什么扩散模型的核心思想是先定义一条从真实图像到纯噪声的“加噪路径”然后训练一个网络去学习这条路径的逆过程。生成的时候从纯噪声出发一步步去噪最终得到图像。这个过程可以想象成把一滴墨水滴进水里墨水慢慢扩散到整杯水扩散模型要做的就是反过来让整杯均匀的墨水重新聚成一滴。Flow Matching 的思路更直接它不关心“加噪”和“去噪”这个物理过程而是直接定义一个从噪声分布到数据分布的概率流。你可以把它想象成一条河流从源头噪声流向大海真实图像。Flow Matching 训练网络去预测这条河流在每个位置的速度方向生成的时候沿着这个速度场一步步走就能从噪声走到真实图像。两者的数学形式不同但目标是一样的把简单的分布噪声变换成复杂的分布图像。Flow Matching 的优势在于训练更稳定、采样路径更直。扩散模型的去噪路径是弯曲的需要很多步才能走完Flow Matching 的路径可以设计得更直理论上可以用更少的步数完成生成。3.2 为什么 FLUX.1 选择 Flow Matching 而不是传统扩散FLUX.1 选择 Flow Matching 有几个实际考量。第一是采样效率。传统扩散模型通常需要 50 到 100 步采样才能出好图Flow Matching 在理想情况下可以用 20 到 30 步达到类似质量。对于 Kontext 这种需要实时交互的编辑场景步数少意味着响应快。第二是训练稳定性。扩散模型的训练目标涉及噪声预测不同时间步的噪声尺度差异很大需要仔细设计噪声调度。Flow Matching 的目标是预测速度场尺度更统一训练过程中不容易出现梯度爆炸或消失。第三是与 Transformer 的兼容性。Flow Matching 的公式更简洁和 Transformer 的架构结合时不需要太多额外的工程处理。DiT 本身已经够复杂了如果再加上扩散模型那套噪声调度整个系统的调参难度会指数级上升。3.3 条件 Flow Matching 在图像编辑里的具体表现Kontext 做图像编辑的时候条件不只是文本还有原图。条件 Flow Matching 要做的就是在给定原图和编辑指令的条件下学习一个从噪声到目标图像的概率流。具体来说原图会被编码成一组图像 token编辑指令被编码成文本 token这两组 token 一起作为条件输入到 Transformer 里。Transformer 输出的速度场会同时受到原图结构和文本语义的影响。生成的时候从噪声出发沿着这个条件速度场走最终得到的图像既保留了原图的结构信息又体现了文本描述的修改内容。这种方式的优势在于模型不需要显式地学习“哪里要改、哪里不要改”而是通过条件流的方式让原图信息自然地约束生成过程。实际效果就是Kontext 在做局部编辑时未编辑区域的变化非常小而编辑区域的变化符合文本描述。4. FLUX.1 Kontext 核心机制拆解4.1 上下文感知的输入构造方式Kontext 的“上下文”体现在它的输入构造上。传统文生图模型的输入是“文本 噪声”Kontext 的输入是“文本 原图 噪声”。原图不是简单地拼在噪声旁边而是经过编码后作为条件 token 序列和文本 token 序列一起送入 Transformer。这里的关键设计是条件 token 的注入方式。Kontext 没有把原图 token 和噪声 token 直接拼接而是让原图 token 作为“键”和“值”参与注意力计算噪声 token 作为“查询”。这样噪声 token 在去噪过程中会主动“查询”原图 token获取结构信息。文本 token 则同时影响原图 token 和噪声 token起到全局控制的作用。这种设计的直观理解是原图是“参考”文本是“指令”噪声是“画布”。模型在画布上作画时会不断参考原图的结构同时遵循文本的指令。参考的力度和指令的强度都可以通过注意力权重来调节不需要人工设置掩码或区域。4.2 文本与图像条件的融合策略文本和图像条件的融合是 Kontext 的另一个核心。前面提到 FLUX.1 采用双流加单流的混合结构在 Kontext 里这个结构被进一步细化。前几层双流阶段文本走文本的 Transformer 分支原图走原图的 Transformer 分支两者互不干扰。这个阶段的作用是让文本和图像各自提取出高层语义特征。文本分支提取出“要改什么”的语义图像分支提取出“原图长什么样”的结构。中间几层开始引入交叉注意力文本 token 可以关注图像 token图像 token 也可以关注文本 token。这个阶段的作用是让文本和图像信息开始交互模型逐渐理解“文本描述的修改应该如何体现在图像上”。后几层单流阶段文本 token、原图 token、噪声 token 全部拼接在一起送进同一个 Transformer 块。这个阶段的作用是让所有信息充分融合最终输出速度场。这种“先分离、再交互、后融合”的策略比一开始就把所有 token 混在一起效果更好因为不同模态的信息在早期混合容易互相干扰。4.3 编辑强度与保真度的平衡控制实际使用 Kontext 的时候最常遇到的问题就是编辑强度大了原图结构被破坏编辑强度小了文本描述的修改体现不出来。这个平衡的控制在模型层面主要靠两个机制。第一个是条件缩放因子。在注意力计算中原图条件的权重可以通过一个缩放因子来调节。缩放因子大原图影响强保真度高但编辑力度弱缩放因子小原图影响弱编辑力度强但可能偏离原图。这个因子在推理时可以调整相当于一个“编辑力度旋钮”。第二个是时间步相关的条件注入。在去噪的早期阶段模型主要关注整体结构这时候原图条件的影响应该强一些保证生成图像的大结构不偏离原图。在去噪的后期阶段模型主要关注细节纹理这时候文本条件的影响可以强一些让编辑细节更符合文本描述。这种动态调节让 Kontext 在保持原图结构的同时实现精细的局部编辑。实操心得社区里很多人反映 Kontext 在做“换背景”任务时效果特别好但在做“换人脸”任务时容易保留原脸型。这其实不是模型缺陷而是条件缩放因子的默认设置偏向保真度。如果你需要更大幅度的人脸修改可以适当降低原图条件的缩放因子同时增加采样步数让文本条件有更多时间发挥作用。5. FLUX.1 Krea 的定位与技术取舍5.1 Krea 与 Kontext 的目标差异Kontext 和 Krea 虽然都基于 FLUX.1 的技术底座但目标完全不同。Kontext 面向的是编辑任务输入包含原图输出是修改后的图像。Krea 面向的是生成任务输入只有文本输出是全新图像。这个差异决定了两个模型在训练数据、损失函数、推理策略上的不同。Kontext 的训练数据需要包含“原图-编辑指令-编辑结果”三元组损失函数需要同时考虑编辑区域的准确性和非编辑区域的保真度。Krea 的训练数据只需要“文本-图像”对损失函数主要考虑生成图像与文本的匹配度和图像本身的美学质量。Krea 的“Krea”这个名字来自它和 Krea 平台的合作。Krea 是一个面向设计师和创意工作者的 AI 工具平台对生成图像的美学质量有较高要求。所以 Krea 模型在训练时除了常规的文本-图像匹配损失还引入了美学评分模型作为辅助损失让生成的图像在构图、色彩、光影等方面更符合人类审美。5.2 美学质量优化的技术手段美学质量的优化不是简单加一个评分模型就完事了。Krea 在这方面的技术手段主要有三个。第一是数据筛选。训练数据不是越多越好低质量数据会拉低模型的美学水平。Krea 的训练数据经过了严格筛选去掉了模糊、构图混乱、色彩失真的图像保留了高质量的艺术作品、摄影作品和设计稿。第二是多尺度美学监督。美学评分不只在最终输出上计算还在中间去噪步骤的预测结果上计算。这样模型在去噪的每个阶段都受到美学信号的引导而不是只在最后一步才调整。这种密集监督让模型更容易学到“什么样的中间状态会导向好的最终结果”。第三是风格条件注入。Krea 支持通过文本描述来控制风格比如“电影感”、“水彩画”、“赛博朋克”。这些风格条件不是简单的关键词拼接而是通过一个风格编码器提取出风格向量然后注入到 Transformer 的多个层里。这样风格控制更精细不会因为风格词和内容词混在一起而互相干扰。5.3 推理效率的工程优化Krea 在推理效率上做了不少工程优化。前面提到 Flow Matching 本身比传统扩散采样步数少Krea 在此基础上进一步优化了采样策略。一个关键优化是步数蒸馏。训练一个学生模型让它用更少的步数模仿教师模型的输出。教师模型用 50 步采样学生模型用 20 步甚至 10 步就能达到接近的效果。蒸馏的过程不是简单的输出匹配而是让学生的速度场在关键时间步上逼近教师的速度场。另一个优化是缓存机制。在去噪过程中相邻时间步的 Transformer 输出变化不大可以缓存部分中间结果减少重复计算。这个优化在 Kontext 的交互式编辑场景里特别有用因为用户调整编辑指令时原图条件不变只有文本条件变化缓存的原图特征可以直接复用。注意步数蒸馏虽然能减少采样步数但蒸馏后的模型在极端风格或复杂构图上可能不如原始模型稳定。如果你做的是商业项目对质量要求极高建议先用原始模型跑一遍确认效果再决定是否用蒸馏版本。6. 核心组件对比与选型参考6.1 Kontext 与 Krea 的能力矩阵维度FLUX.1 KontextFLUX.1 Krea主要任务图像编辑、局部修改文本生成图像输入形式文本 原图 噪声文本 噪声输出形式修改后的图像全新图像核心优势上下文感知、保真度高美学质量好、风格控制强适用场景修图、换背景、局部重绘创意设计、概念图、插画采样步数20-30 步可调10-20 步蒸馏后条件控制原图条件 文本条件文本条件 风格条件训练数据原图-指令-结果三元组文本-图像对 美学评分这个表格不是绝对的实际使用中两个模型的能力有重叠。比如 Kontext 也能做纯生成只是没有原图条件时效果不如 KreaKrea 也能做简单编辑只是没有原图条件时编辑精度不如 Kontext。6.2 什么场景该用哪个模型如果你需要保持原图结构不变只修改局部区域比如给人物换衣服、给产品换背景、给照片调色调Kontext 是更合适的选择。它的条件机制天然适合这类任务原图信息会约束生成过程未编辑区域几乎不变。如果你需要从零生成一张高质量图像比如做海报、画插画、生成概念图Krea 更合适。它的美学优化让生成结果更讨喜风格控制也更精细。如果你需要批量生成变体比如同一个提示词生成多张不同构图的图Krea 的采样效率优势更明显。Kontext 因为要处理原图条件单次推理时间更长不适合大批量生成。如果你需要交互式编辑比如用户上传一张图然后反复调整编辑指令看效果Kontext 的缓存机制和条件缩放因子让这种交互更流畅。Krea 没有原图条件每次调整提示词都要重新生成交互体验不如 Kontext。6.3 与 Stable Diffusion 系列的核心差异很多人会问FLUX.1 和 Stable Diffusion 到底差在哪简单说Stable Diffusion 用的是 U-Net 扩散FLUX.1 用的是 DiT Flow Matching。这个架构差异带来了几个实际区别。第一是文本理解能力。FLUX.1 的 Transformer 主干对长文本和复杂描述的理解更好。Stable Diffusion 的 CLIP 文本编码器对超过 77 个 token 的文本处理能力有限FLUX.1 用的 T5 编码器可以处理更长、更复杂的提示词。第二是图像细节。DiT 的全局注意力机制让 FLUX.1 在生成大尺寸图像时全局一致性更好。Stable Diffusion 的 U-Net 受限于卷积的局部感受野生成大图时容易出现局部重复或结构断裂。第三是采样效率。Flow Matching 的直路径特性让 FLUX.1 在较少步数下就能出好图。Stable Diffusion 通常需要 20-30 步FLUX.1 在 10-20 步就能达到类似质量。但 FLUX.1 也不是没有缺点。DiT 的参数量通常比 U-Net 大推理显存占用更高。Stable Diffusion 的生态更成熟插件、微调模型、控制网络更丰富。选哪个取决于你的具体需求和硬件条件。7. 实操中的常见问题与排查思路7.1 生成结果与文本描述不符这是最常见的问题。可能的原因有几个文本编码器没有正确理解提示词、条件注入的权重设置不当、采样步数太少导致模型没有足够时间收敛。排查的时候先检查提示词是否过于复杂或矛盾。FLUX.1 虽然文本理解能力强但如果你同时要求“写实风格”和“卡通风格”模型也会困惑。把提示词拆成核心描述和风格描述分别测试看是哪部分出了问题。如果提示词没问题检查条件缩放因子。Kontext 里原图条件太强会压制文本条件导致编辑效果不明显。适当降低原图条件权重或者增加采样步数让文本条件有更多机会影响生成。7.2 编辑区域出现明显接缝Kontext 做局部编辑时编辑区域和非编辑区域的过渡可能不自然。这通常是因为原图条件的注入方式导致模型对编辑边界的判断不准确。解决办法有两个。一是在编辑指令里明确描述过渡区域比如“把背景换成蓝天保持人物边缘自然过渡”。二是调整采样策略在去噪后期增加原图条件的权重让边界区域更贴近原图。社区里还有一个技巧先用 Kontext 做一次粗略编辑得到结果后再用同一个模型做一次“精修”第二次编辑时把第一次的结果作为原图编辑指令改为“修复边缘过渡”。这种两阶段方法虽然多花一次推理时间但边界质量明显更好。7.3 显存不足与推理速度慢DiT 的显存占用比 U-Net 高这是架构决定的。如果你在消费级显卡上跑 FLUX.1显存不足是常见问题。降低显存占用的方法有几种。第一是使用半精度推理把模型权重和中间激活值从 FP32 降到 FP16 或 BF16显存占用直接减半。第二是使用梯度检查点虽然会增加计算时间但能显著减少激活值占用的显存。第三是减少批量大小一次只处理一张图。推理速度慢的问题除了硬件因素还可以通过减少采样步数来缓解。Krea 的蒸馏版本在 10 步左右就能出可用的图Kontext 在 20 步左右也能达到不错的效果。如果对质量要求不是极高可以适当减少步数。实操心得我在实际使用中发现FLUX.1 在 24GB 显存的显卡上跑 1024x1024 分辨率半精度推理大约占用 16-18GB 显存。如果同时开启缓存机制显存占用会再增加 2-3GB。如果你的显卡只有 12GB 显存建议把分辨率降到 768x768或者使用分块推理策略。7.4 常见问题速查表问题现象可能原因排查方向解决建议生成结果与文本不符提示词矛盾或条件权重不当简化提示词检查条件缩放因子拆分提示词调整条件权重编辑区域接缝明显边界条件判断不准检查编辑指令是否描述过渡两阶段编辑后期增加原图权重显存不足DiT 参数量大激活值占用高检查分辨率和批量大小半精度推理降低分辨率推理速度慢采样步数多硬件性能不足检查采样步数和硬件配置减少步数使用蒸馏版本风格控制不生效风格条件注入权重低检查风格编码器输出增加风格条件权重分离风格词图像局部重复全局注意力不足检查图像分辨率和 token 数量增加 token 数量调整位置编码8. 从 Kontext 和 Krea 看图像生成的技术走向把 Kontext 和 Krea 放在一起看能看出图像生成领域正在往两个方向走。一个是可控性模型不再满足于“给什么提示词画什么图”而是要求能理解原图、理解编辑意图、精确控制修改范围。Kontext 代表了这个方向它的上下文感知机制让图像编辑从“重新生成”变成了“精准修改”。另一个是质量与效率的平衡。早期模型追求极致质量采样步数越多越好模型越大越好。Krea 代表了另一种思路在保证质量的前提下通过蒸馏、缓存、架构优化把效率提上去。这个方向对实际生产更重要因为没有人愿意等几分钟才出一张图。这两个方向背后Transformer、Flow Matching、DiT 是共同的技术底座。Transformer 提供了强大的序列建模能力Flow Matching 提供了高效的生成路径DiT 把两者结合在一起形成了可扩展的架构。未来可能会有新的生成范式出现但这套技术栈在接下来一段时间里仍然是主流。我个人在实际操作中的体会是不要一上来就追求最新最复杂的模型先把 Transformer 的注意力机制、Flow Matching 的速度场预测、DiT 的条件注入方式这三个基础概念吃透。这三个概念理解了再看 Kontext 和 Krea 的技术报告很多设计选择就变得顺理成章了。反过来如果基础概念不清楚直接看技术报告里的公式和架构图很容易陷入“每个字都认识但连起来看不懂”的状态。最后分享一个小技巧如果你在学 DiT 的时候觉得位置编码和条件注入太抽象可以找一个开源的 DiT 实现把图像 token 数量降到 4x4 或者 8x8然后打印出每一层注意力的权重矩阵。你会直观地看到哪些 token 在关注哪些 token文本条件是怎么影响图像 token 的。这种可视化方法比看论文公式快得多也更容易建立直觉。