【免费下载链接】FLUX.1-schnell-FP8项目地址https://ai.gitcode.com/hf_mirrors/unsloth/FLUX.1-schnell-FP8点击查看免费下载FLUX.1-schnell-FP8 是 Unsloth 推出的 120 亿参数文生图模型 FLUX.1-schnell 的FP8 / INT8 量化版本。它基于 torchao 的动态激活量化Dynamic Activation Quantization技术把原本以 bf16 存储的扩散 Transformer 压缩成更小的 FP8 与 INT8 检查点让显存需求大幅降低同时几乎保留原模型的出图质量。本文用通俗的语言拆解这套量化方案的完整技术原理。一、FLUX.1-schnell-FP8 是什么先认识一下底座FLUX.1 [schnell] 是一个12B 参数的 rectified flow整流流Transformer由 Black Forest Labs 发布特点是只需1~4 步采样就能生成高质量图片且以 apache-2.0 许可证开源可自由商用。而本仓库 FLUX.1-schnell-FP8 做的事情很聚焦为这个底座模型提供预量化好的检查点。具体来说文件大小内容FLUX.1-schnell-INT8.pt15.2 GBDiT 主干的 INT8 量化权重FLUX.1-schnell-FP8.pt11.9 GBDiT 主干的 FP8 量化权重FLUX.1-schnell-text_encoder_2-FP8.pt5.9 GB预转 FP8 存储的 T5 文本编码器 对比参考原始 bf16 权重每个参数占 2 字节FP8 / INT8 每个参数只占 1 字节理论体积直接减半。上图使用 INT8 量化模型生成的样例图promptcute sloth typing on a computer二、为什么需要 FP8 / INT8 量化120 亿参数的模型即使只跑推理显存账单也很高。对显存不足12 GB / 16 GB 级别的显卡来说降精度是性价比最高的优化手段省显存参数从 16-bit 降到 8-bitDiT 主干体积近乎减半更快加载下载和读入内存的数据量更小质量损失可控该仓库同种子渲染对比 bf16 原版的 LPIPS越低越接近仅为INT8 0.151、FP8 0.157肉眼几乎难以分辨差异。量化并不是简单把数字截短。要落地到实际加速必须同时解决两个问题权重怎么存、激活activation怎么算。这就引出了本项目的核心——torchao 动态激活量化。三、torchao 动态激活量化原理3.1 先分清权重量化 vs 激活量化一次矩阵乘法Y A × B中B权重是固定的A激活每次前向都不同维度权重量化Weight激活量化Activation对象模型参数静态每次推理动态产生的张量缩放因子可离线算好、随权重一起保存只能运行时根据真实数值现场计算只量化权重时激活仍以 bf16 参与计算收益打折动态激活量化的意义就在于激活在运行时被即时压缩成 8-bit让整条计算路径真正走到低精度矩阵乘上。3.2 动态动态在哪所谓Dynamic Activation Quantization核心是缩放因子scale不在训练或导出时固定而是在每次前向传播时根据当前这批激活的真实数值范围临时计算。这样做的好处是激活分布会随 prompt、噪声步数剧烈变化动态 scale 能始终贴合当前数据的实际动态范围避免固定 scale 造成的溢出或精度浪费。上图使用 FP8 量化模型生成的样例图与 INT8 版本同 prompt 对比可见画质保持良好四、Int8DynamicActivation 详解逐 token × 逐通道本仓库的 INT8 路线采用 torchao 的Int8DynamicActivationInt8WeightConfig可以拆成三件套来理解激活per-token 动态量化每个 token 位置独立计算自己的缩放因子把这一行的激活压进 int8 范围。粒度细误差小。权重per-channel 量化每个输出通道拥有独立 scale随权重一起保存加载后直接可用。计算torch._int_mm整数矩阵乘两侧都变成 int8 后直接调用硬件上的整数矩阵乘内核完成 GEMM最后再用各自的 scale 反量化出结果。整数矩阵乘是消费级 GPU 上的甜点操作速度显著快于 bf16 路径。一句话总结逐 token 的动态激活 逐通道的静态权重 整数矩阵乘内核这就是 Int8DynamicActivation 的完整链路。五、FP8 路线e4m3 格式与全零激活坑FP8 路线采用Float8DynamicActivationFloat8WeightConfig与 INT8 的差别在于数值格式采用e4m34 位指数 3 位尾数保留浮点的动态范围特性对分布偏斜的激活通常比整数量化更抗噪粒度PerRow逐行即按行动态计算激活 scale内核调用torch._scaled_mm完成带缩放因子的 FP8 矩阵乘。这里还有一个容易被忽略的工程细节动态 scale 是按行的最大值算出来的如果某一行激活全为 0scale 也会算出 0除零就会产出 NaN。因此加载器必须给动态激活的 scale 加一个下限torchao 0.13 的activation_value_lb1e-12把全零行兜住。这个细节保证了 FP8 模型在任意噪声步下都不会出现非有限值non-finite画面。六、检查点原理与现场量化比特级一致这套仓库最精妙的设计之一是检查点语义加载 FLUX.1-schnell-INT8.pt 或 FLUX.1-schnell-FP8.pt与先加载稠密 bf16 权重、再当场执行 torchao 动态量化比特级完全一致唯一的区别是跳过了下载大文件 现场量化这两个耗时步骤。也就是说你拿到的不是一份近似替代品而是原模型量化过程的结果快照——验证也印证了这一点用同一随机种子对比稠密 bf16 渲染做了SSIM、LPIPS-vgg、CLIP delta、非有限值与黑帧检查torch 2.12.1 torchao 0.17 环境结论无黑帧、无非有限值感知距离极小0.151 / 0.157。七、预转 FP8 的 T5 文本编码器9.5 GB → 5.9 GBFLUX.1 管线里有双文本编码器小型 CLIP-L保持稠密不动 大型T5-XXL即text_encoder_2。T5 体量巨大Unsloth Studio 平时会在加载时做分层 FP8 存储转换。本仓库把这个动作提前固化成了文件FLUX.1-schnell-text_encoder_2-FP8.pt5.9 GB就是预转好的 T5加载后与下载原版 现场转换比特级一致220 个张量中 144 个转为 FP8 存储T5 中按运行时策略保留 fp32 的wo投影则维持稠密T5 下载体积从9.5 GB 减到 5.9 GB由于 T5 分片在 FLUX.1-schnell、FLUX.1-dev、FLUX.1-Krea-dev 三个底座间字节级相同已做 sha256 校验这一个文件可通吃三套底座它是纯张量 state dict支持torch.load(weights_onlyTrue)安全加载元数据中记录了量化方案fp8、组件名与底座信息。八、文件清单与如何获取路径说明README.md完整模型卡与使用说明FLUX.1-schnell-INT8.ptDiT 主干 INT8 检查点15.2 GBFLUX.1-schnell-FP8.ptDiT 主干 FP8 检查点11.9 GBFLUX.1-schnell-text_encoder_2-FP8.pt预转 FP8 的 T5 文本编码器5.9 GBsamples/int8_1.png / samples/fp8_1.pngINT8 / FP8 生成样例1024×1024如需自行克隆仓库进行验证git clone https://gitcode.com/hf_mirrors/unsloth/FLUX.1-schnell-FP8九、总结这套方案的工程价值核心要点回顾两条量化路线INT8per-token 激活 per-channel 权重 torch._int_mm与 FP8PerRow 动态激活 e4m3 torch._scaled_mm并行提供按显卡与场景任选动态激活量化是精髓scale 运行时随真实激活现场计算保证低精度下的数值安全与质量下限比特级一致性预量化检查点 现场量化结果用户无需信任黑盒压缩附赠省流T5 文本编码器预转 FP8少下载 3.6 GB且三个底座通用。对于显存有限、又想跑 FLUX.1-schnell 的用户来说这份仓库给出的正是几乎无损 体积减半的完整答案。赞分享【免费下载链接】FLUX.1-schnell-FP8项目地址https://ai.gitcode.com/hf_mirrors/unsloth/FLUX.1-schnell-FP8点击查看免费下载相关推荐DeepSeek-V3量化配置详解128x128块缩放FP8权重与动态激活量化实现DeepSeek V3量化配置详解128x128块缩放FP8权重与动态激活量化实现 量化技术痛点与解决方案 大语言模型部署面临显存占用过高的核心挑战以Dee人工智能大模型基础模型本地部署模型量化DeepSeek深入 MOSS-VL-Instruct-0708-FP8 的 FP8 动态量化原理Per-Token 激活量化为何能保住精度深入 MOSS VL Instruct 0708 FP8 的 FP8 动态量化原理Per Token 激活量化为何能保住精度 MOSS VL InstructFLUX.1-schnell-FP8 diffusers实战指南FluxPipeline加载量化权重的7个关键参数FLUX.1 schnell FP8 diffusers实战指南FluxPipeline加载量化权重的7个关键参数 FLUX.1 schnell FP8 是上一篇SkyWalking OAP 日志分析Log Analyzer从 LAL 结构化解析到 MAL 指标计算的完整指南下一篇Egg 框架 I18n 国际化完全指南多语言配置、语言切换与模板渲染实战创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考