SkyPaint-AI-Diffusion核心揭秘SkyCLIP如何用90%更少算力蒸馏双语AI绘画模型【免费下载链接】SkyPaint-AI-Diffusion基于Stable Diffusion优化的AI绘画模型。支持输入中英文文本可生成多种现代艺术风格的高质量图像。| An optimized text-to-image model based on Stable Diffusion. Both Chinese and English text inputs are available to generate images. The model can generate high-quality images in several modern art styles.项目地址: https://gitcode.com/gh_mirrors/sk/SkyPaint-AI-DiffusionSkyPaint-AI-Diffusion 是由奇点智源开源的中英双语 AI 绘画模型基于 Stable Diffusion 优化输入中文、英文或中英文混合提示词即可生成现代艺术风格的高质量图像。本文带你揭秘其核心——SkyCLIP 如何用90% 更少的算力蒸馏出一个能听懂中文的双语 CLIP 模型。 两大组件SkyCLIP 双语文本编码器 扩散模型 训练只用文本数据算力需求较原始 CLIP 降低 90% 以上 支持中文提示词并保留 Stable Diffusion 的提示词使用习惯 SkyPaint 是什么中英双语的 AI 文本生成图像模型SkyPaint 的文本生成图像模型主要由两大部分组成提示词文本编码器SkyCLIP让模型听懂中文和英文扩散模型Diffusion Model负责把文本真正画成高质量图片因此优化也分两步走先基于 OpenAI-CLIP 优化文本编码器获得中英双语识别能力再优化扩散模型获得现代艺术风格的高质量出图能力。示例仅输入中文「机械狗」模型一次生成四张风格统一的 AI 绘画作品 核心揭秘SkyCLIP 如何用 90% 更少算力蒸馏双语模型为什么需要双语文本编码器OpenAI-CLIP 只认识英文想让 Stable Diffusion 理解中文提示词第一步就是给文本编码器装上中文能力。SkyPaint 的思路很聪明不重训整个 CLIP只替换文本编码器图像编码器继续沿用 OpenAI-CLIP还能顺便实现图文检索。教师-学生蒸馏只需要文本数据SkyCLIP 的训练采用高效的知识蒸馏方案教师模型OpenAI-CLIP 的 text_encoder参数全程冻结学生模型与教师同样大小的多语言 BERT 模型对齐损失英文输入通过教师模型得到 hidden state学生模型输出的中文、英文 hidden state 通过 L1、L2、余弦距离等损失函数逐渐向教师靠近中文解码器平行语料里中文和英文天然不等长训练时额外加入中文解码器用翻译任务辅助中英文语义对齐关键就在于整个过程只需要文本数据不需要图像-文本对数据门槛大幅降低。90% 算力从何而来原始 CLIP 需要海量图文配对数据和大规模 GPU 集群从零训练而 SkyCLIP 站在 OpenAI-CLIP 的肩膀上只用文本数据训练文本编码器算力需求相较原始 CLIP 模型减少 90% 以上——这意味着普通开源社区也有能力复现和微调它。训练数据涵盖了中英文机器翻译平行语料、联合国中英文平行语料、LAION 与 Wukong 语料部分、AI-Challenger 翻译语料、古诗词中英文语料以及提示词手册中常见词组合。中文的诗意组合提示词被准确理解输出带有宫崎骏动画风格的城堡画面 效果如何Flickr30K-CN 零样本检索评测在 Flickr30K-CN 上的 zero-shot 检索表现MR 为综合指标越高越好模型文→图 R1文→图 R10图→文 R1图→文 R10MRCN-CLIP68.194.580.298.287.87SkyCLIP58.889.678.898.384.04Wukong51.985.975.097.780.57Taiyi-326M53.886.664.096.178.47AltCLIP50.783.173.496.978.72R2D242.678.663.096.473.37SkyCLIP 以84.04的 MR 位列第二仅次于 CN-CLIP——而它的训练成本只有原始 CLIP 方案的约 1/10性价比非常突出。️ 效果实测一句中文生成现代艺术风格除了普通名词中文古诗和网络梗也能被准确理解提示词「花落知多少」——古诗意境被转化为现代插画风格提示词「半鸡半人强壮」——抽象概念也能生成一致的角色形象提示词「鸡你太美」——中文玩梗场景下画面依然色彩饱满、风格统一 快速上手三步体验 SkyPaint 文本生成图像第一步获取项目源码git clone https://gitcode.com/gh_mirrors/sk/SkyPaint-AI-Diffusion第二步准备模型权重下载 SkyPaint-v1.0 模型详见README.md中的说明并安装diffusers依赖。第三步输入提示词开始画图from diffusers import StableDiffusionPipeline pipe StableDiffusionPipeline.from_pretrained(path_to_model).to(cuda) image pipe(sai-v1 art, 花落知多少).images[0] image.save(flower.jpg)小提示扩散模型基于 stable-diffusion-v1-5 预训练在筛选过的 LAION 数据上、使用 16 块 A100 训练了 50 小时并在提示词前加入sai-v1 art作为风格标签。所以画图时保留这个前缀模型能更快进入目标艺术风格。 总结值得关注的开源双语 AI 绘画模型✅SkyCLIP只用文本数据完成双语 CLIP 蒸馏算力降低 90% 以上普通社区也能复现、微调✅SkyPaint中英双语提示词 现代艺术风格兼容 Stable Diffusion 1.x 提示词生态✅开源透明技术方案完整记录在README.md与README-EN.md模型采用 CreativeML Open RAIL-M 许可见LICENSE-MODEL效果示例保存在results/目录如果你想低成本拥有一个懂中文的 AI 绘图能力SkyPaint-AI-Diffusion 是目前开源方案中非常值得上手的一个。【免费下载链接】SkyPaint-AI-Diffusion基于Stable Diffusion优化的AI绘画模型。支持输入中英文文本可生成多种现代艺术风格的高质量图像。| An optimized text-to-image model based on Stable Diffusion. Both Chinese and English text inputs are available to generate images. The model can generate high-quality images in several modern art styles.项目地址: https://gitcode.com/gh_mirrors/sk/SkyPaint-AI-Diffusion创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考