AI 漫剧制作越来越像一条完整的工业化生产线剧本、分镜、角色定妆、图片生成、视频生成、配音、剪辑、字幕每个环节都有对应的 AI 工具。最难的不是某一个单点功能而是如何把这条链路串起来并让同一个角色在不同画面里保持长相一致。这套广受关注的“99集 AI 漫剧零基础教程”主线就是从剧本开始一路做到成片顺便把人物一致性这个大坑一次填平。这篇文章就把这条技术路线拆开讲一遍包括每个环节需要准备的软件、关键参数、工作流设计、批量出图思路以及最容易翻车的几个地方。如果你正准备入局 AI 漫剧或者已经在做但经常遇到角色崩脸、镜头不连贯、配音对不上口型之类的问题这篇文章可以直接收藏。1. AI 漫剧制作全流程核心能力速览能力项说明制作链路剧本 - 分镜 - 角色设计 - 图生图/文生图 - 视频生成 - 配音 - 剪辑 - 成片核心难点人物一致性、分镜连贯性、口型匹配、批量出图效率主要工具方向Stable Diffusion / ComfyUI / Midjourney、Runway / Pika / 可灵 / 即梦、剪映、FFmpeg硬件需求本地绘图建议 8G 以上显存纯云端工作流对显卡要求低发布格式小红书/抖音/B 站竖屏 9:16 短视频或横屏 16:9 中长视频学习重点提示词写作、LoRA 角色训练、ComfyUI 工作流搭建、批量任务管理这套教程的价值不在于某一个软件怎么点而在于把“一个人能不能完成一部短剧”这个问题完整回答了一遍。每个环节都有对应的免费或低成本工具难点集中在角色一致性和批量效率上面。2. 适用场景与使用边界AI 漫剧适合这几类人个人创作者想独立完成短剧、漫剧、科普动画不想组团队。自媒体运营需要稳定产出竖屏剧情内容用 AI 批量生成画面。有声书/小说推广把小说章节转成可视化漫剧吸引用户看完整部作品。广告与品牌内容用漫剧形式做产品故事比真人拍摄成本低很多。技术学习者想系统掌握 Stable Diffusion、ComfyUI、视频生成、语音合成这套组合技术。不适合的场景需要超高精细商业级动画的场景AI 漫剧目前更适合快速内容和短视频。需要完全原创不撞脸的角色设计要配合模型训练和大量微调。涉及真实人物肖像、明星脸、真人照片转漫剧时必须取得授权不能直接拿路人照片或网上人物图做素材。涉及版权小说、剧本、音乐、音效时要确认是否有改编和商用授权。AI 漫画行业的合规底线图片素材、声音素材、角色设定、背景音乐都可能有版权归属。个人练习没问题一旦公开传播或者商用素材授权必须闭环。3. 环境准备与前置条件先分清楚你要走哪条路线纯云端出图出视频还是本地跑 Stable Diffusion / ComfyUI。如果走本地路线建议配置如下配置项建议操作系统Windows 10/11、Ubuntu 20.04显卡NVIDIA 显卡优先8G 显存起步12G 以上更顺手内存16G 起步32G 更稳磁盘模型文件较大建议预留 50G 以上空间Python3.10 或 3.11CUDA根据显卡驱动安装匹配版本不一定每台机器都跑得动本地绘图。如果显卡只有 4G或者根本没有独立显卡建议直接使用云端在线出图工具或者租云显卡。本教程主线也适合云端工作流因为视频生成本质上大部分是云端服务。软件层面先装这几样ComfyUI 或 Stable Diffusion WebUI负责角色定妆图和关键帧图片生成。FFmpeg负责视频拆帧、合并、格式转换。剪映负责剪辑、字幕、配音对齐。TTS 工具负责角色配音。开源可选 GPT-SoVITS 等商用工具可选各类在线 TTS。注意安装依赖时最容易出问题的是 PyTorch 和 CUDA 版本不匹配。建议单独建虚拟环境不要和系统 Python 混在一起。# 创建 ComfyUI 虚拟环境示例 python -m venv comfy_env source comfy_env/bin/activate # Windows 下执行 comfy_envScriptsactivate pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121显存占用这事不能凭空给死数字。以常见本地绘图模型为例8G 显存跑 512x768 或 768x768 的图比较稳跑到 1024x1024 或 1024x1536 就要看模型和优化选项。选模型时优先用 SD 1.5 系列带轻量 LoRA 的方案或者 SDXL 系列并配合显存优化插件。4. 安装部署与启动方式4.1 ComfyUI 一键包部署ComfyUI 的启动方式可以走整合包。下载官方便携包或社区整合包后解压Windows 下直接运行run_nvidia_gpu.bat。# Windows 下启动 ComfyUI便携包 run_nvidia_gpu.bat启动成功后在浏览器打开http://127.0.0.1:8188能看到节点式工作流界面。ComfyUI 的优势正好契合漫剧场景同一个工作流可以批量换提示词、批量保存图片、串联图片生成和视频生成节点。4.2 Stable Diffusion WebUI 部署WebUI 更适合新手做单图调试。Windows 下使用整合包或者手动克隆项目git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git cd stable-diffusion-webui ./webui.sh启动后访问http://127.0.0.1:7860。WebUI 的优势是插件多、操作直观适合先理解提示词和参数再切到 ComfyUI 做批量流水线。4.3 在线工具作为兜底如果本机跑不动或者想快速验证剧情效果可以直接使用在线的图生图、文生图、图生视频工具流程仍然是“脚本 - 画面 - 动态视频 - 配音剪辑”。云端工具的门槛低缺点是人多时排队、单次生成时长受限、长镜头一致性难控制。4.4 模型文件怎么放本地安装后模型文件通常放在这些位置文件类型放置目录大模型 .safetensorsmodels/checkpoints 或 models/diffusersLoRA 模型models/LoraControlNet 模型models/controlnetIP-Adapter 模型models/ipadapter如果跑图时报“model not found”或者“checkpoint not found”基本都是模型文件放错了目录或者文件名不匹配。模型下载后不要随意改名很多工作流的节点是根据模型文件名引用的。5. 剧本与分镜让 AI 看懂你要拍什么AI 漫剧的起点不是画面是剧本。剧本在写作时就要考虑可执行性画面能不能被文字描述出来、台词是否适合 TTS、场景是否能在 5 秒钟内被 AI 理解。不要写“他陷入沉思”这种太抽象的描述AI 会给你一张完全失控的图。应该写成“一个年轻男人坐在窗边低头看手机屏幕光照在脸上表情沉重室内暗调”。分镜表是剧本和画面之间的翻译层。建议在表格里维护这几列分镜编号场景描述景别提示词关键词角色动作台词时长01城市夜景主角站在天台上全景night city, rooftop, neon男主双手插兜看远方今天开始我不再等了。5s02主角脸部特写特写extreme close-up, face男主眼神坚定我回来了。4s每一条分镜都能直接变成一组文生图或图生图提示词。注意分镜之间要保持角色描述一致比如“男主是黑色短发穿红色夹克20岁左右”这个描述会在后面的人物一致性环节重复使用。实际做的时候可以用 AI 辅助工具帮忙生成剧本和分镜草稿但最终画面提示词要自己整理。AI 出的分镜句子普遍太长、太文艺直接丢给绘图模型容易画面信息超载建议把分镜精简成“主体 环境 镜头 气氛 风格”五要素。6. 人物一致性整个 AI 漫剧最关键的一环AI 漫剧翻车最多的地方就是人物时不时换脸。同一集里男主第一秒还是黑发第三秒变成棕色头发第五秒脸上多了道疤。想要解决这个问题必须从三个层面同时下手。6.1 第一层固定角色描述模板每张角色图、每个视频画面都保持同一段角色描述。不要每次重新写一遍直接在提示词里粘贴固定的角色特征字符串。示例固定角色描述模板male protagonist, young man, 22 years old, short black hair, red jacket, sharp eyes, determined expression, studio portrait style这段文字要全局唯一不要在这个基础上面再加“black hair turns white”之类的改动。改动作和场景不改五官描述。6.2 第二层LoRA 角色训练光靠文字描述很难稳定角色。更好的方式是训练一个角色 LoRA。角色 LoRA 的数据准备收集角色正面、侧面、四分之三侧面的图片 20 到 40 张。图片不能都是同一张表情、同一个动作否则模型只会复制这一张图。把图片裁剪到统一分辨率常见做法是 1024x1024 或 1024x1536。提示词里统一写角色名再加通用质量词。训练工具可以用 kohya-ss 或 sd-scripts。新手可以先在网上找一键训练包但要注意数据标注质量远比训练步数重要。几百张图喂进去但标注垃圾出来的 LoRA 就是一张模糊复制品。训练完成后LoRA 文件放到模型的 Lora 目录。在 ComfyUI 中用 LoraLoader 节点加载权重一般从 0.6 到 0.9 开始试。权重太低角色不像太高则过拟合角色会僵硬且动作不自然。6.3 第三层ControlNet 与参考图控制角色一致性不只靠 LoRA还需要参考图结构控制。常见方案IL 或 IP-Adapter用一张角色参考图引导生成适合保持五官和风格。ControlNet Canny / Lineart提取优先分镜草图的线稿强制画面构图。OpenPose锁定角色姿态和动作避免每帧动作跳变。推荐的 ComfyUI 组合节点流加载角色大模型 - 加载角色 LoRA - 输入角色参考图 - IP-Adapter 节点 - Prompt 输入场景描述 - ControlNet 输入分镜线稿 - KSampler - VAE Decode - 保存图片实际操作时要注意ControlNet 权重一般控制在 0.4 到 0.8太大画面会被线稿框死太小又控制不住构图。IP-Adapter 权重和 ControlNet 权重需要反复调试没有一组万能数值。6.4 批量出图时的一致性策略分镜通常有几十个甚至上百个画面不可能每个画面都手动调一遍。做法是固定一组工作流只切换场景提示词。每镜生成 4 到 6 张候选图人工挑一张最符合角色和构图的。同一镜头内的特写、近景、中景尽量用同一张定妆图作为参考。素材文件名要按“第几集_第几分镜_第几镜”规律命名方便后面剪辑时对齐。批量出图的本质是模板化不是每次重新创作。把工作流固定下来再批量替换文本效率就能上来。7. 从图片到视频图生视频生成图片生成完毕进入视频生成阶段。AI 漫剧不需要太长的单段视频主要是让静态画面“动起来”。一个 5 秒镜头生成 5 到 10 秒视频已经能覆盖大多数短剧节奏。这个环节市面上工具很多常见思路输入一张角色定妆图或分镜参考图生成 5 到 10 秒动态片段。输入首帧图和尾帧图让模型自动补中间过渡适合做镜头推拉和人物转身。把接近的两个分镜画面作为首尾帧生成平滑转场。使用这类工具时建议每个镜头独立生成视频不要试图一次生成整集。一次生成时长越长人物崩坏和画面畸变概率越大。视频生成后要做拆帧检查# 检查视频信息 ffprobe input.mp4 # 拆帧示例 ffmpeg -i input.mp4 -vf fps24 frame_%04d.png拆帧后抽样看关键帧重点检查人物脸型是否稳定、衣服颜色是否漂移、手部是否变形。只要关键帧里有一张崩脸这个镜头就别用重新生成或局部重绘。局部修复可以考虑用 ComfyUI 的重绘节点对崩脸帧单独修然后把修好的帧重新合成视频。但对于新手更推荐直接重新生成整个镜头因为逐帧修复的时间成本往往更高。8. 配音与剪辑把视觉素材变成完整成片8.1 配音方案AI 漫剧里角色多台词风格差异大。可以选择不同音色的 TTS 引擎也可以训练角色专属音色。基本流程整理台词文本按角色分开。为每个角色挑选或训练一种音色。批量生成各角色的台词音频。按分镜顺序检查音频情绪和节奏。需要注意多音字和人名读音。TTS 很容易把“倔强”读成“jué强”把主角名字读错。建议在台词文本中加注拼音或拆字处理。如果是训练声音模型数据准备比参数更重要收集目标音色语音 1 到 5 分钟越干净越好。避免背景音乐、混响、多个说话人。音频采样率、格式要统一常见用 16kHz 或 24kHz WAV。训练素材中涉及真人声音时必须获得本人明确授权不能拿明星访谈、直播切片、他人语音直接训练商用。8.2 自动生成字幕字幕可以直接用剪映的自动识别字幕功能也可以先用 ASR 工具生成 SRT 文件再导入剪辑软件。镜头语速快或者台词密集时字幕行数和时长要控制一屏不超过两行。8.3 剪辑流程剪辑阶段建议保持这样的顺序先按分镜顺序铺视频轨。再把每个镜头的配音放上去。用配音时长反推画面是否需要延长或裁剪。加背景音乐、音效。最后加字幕、标题、转场。背景音乐要注意版权。个人练习无所谓公开传播前尽量用免费音乐库或原创配乐。8.4 导出参数短视频平台建议导出竖屏1080x1920不低于 30fps。横屏1920x108030fps 或 60fps。编码H.264。码率8Mbps 以上避免画面糊。如果成片时长超过 1 分钟注意文件大小和上传压缩。平台压缩后清晰度会明显下降导出时不要故意拉高码率按平台建议来。9. 接口 API 与批量任务设计AI 漫剧到后期就是批量生产。角色图要批量出台词音频要批量生成剪辑素材要批量整理。如果只靠鼠标点一部 20 集漫剧能把你累垮。所以 API 接入和批量任务要提前规划。9.1 批量出图自动化思路用 ComfyUI 做批量出图通常有三种方式。第一种ComfyUI 自带队列把多张参考图放入同一批次设置 batch size。第二种用 Python 脚本批量构造 API 请求替换 prompt、seed、模型名。ComfyUI 本身会把工作流暴露成 API 接口格式。你可以把工作流保存为 JSON然后用 Python 修改里面的参数import json workflow_path workflow_api.json with open(workflow_path, r, encodingutf-8) as f: workflow json.load(f) # 修改提示词节点 for node_id, node_data in workflow.items(): if node_data.get(class_type) CLIPTextEncode: node_data[inputs][text] new prompt here with open(workflow_batch_01.json, w, encodingutf-8) as f: json.dump(workflow, f, ensure_asciiFalse, indent2)第三种用 ComfyUI 的 HTTP API 直接提交任务。import requests import json url http://127.0.0.1:8188/prompt with open(workflow_api.json, r, encodingutf-8) as f: workflow json.load(f) payload {prompt: workflow} resp requests.post(url, jsonpayload, timeout30) print(resp.json())注意实际字段需要按当前安装版本的 ComfyUI 调整。不同版本节点 id 和字段名可能不一样。9.2 批量任务的最佳实践建议在项目目录下建一套固定结构project ├── scripts │ ├── scene_list.csv │ └── batch_script.py ├── assets │ ├── characters │ ├── scenes │ ├── audio │ └── video ├── outputs │ ├── images │ ├── clips │ └── final └── workflow ├── character_workflow.json └── video_workflow.json每个角色、每个场景都放进独立文件夹。文件名规则统一为ep01_scene03_shot02_v1.png。批量任务容易出问题的点是中断恢复。建议不要一次提交 100 个任务后不管而是每个批次只跑 10 到 20 张。跑完自动把成功文件移动到 outputs把失败任务写到 log。失败任务重试时不要全部重跑只重跑失败项。任务脚本加超时和重试机制。import time def run_with_retry(func, retries3, timeout120): for attempt in range(retries): try: return func(timeouttimeout) except Exception as e: print(fattempt {attempt 1} failed: {e}) time.sleep(3) raise RuntimeError(task failed after retries)这个逻辑对调用各类生成类 API 同样适用。9.3 音频批量生成流程音频批量生成时最怕“批量成功但听感不对”。建议先生成一版角色样音让全组人都确认音色和语速再批量生成台词。批量生成过程中按角色分目录保存每个文件命名带上集数和分镜号。如果使用自建的语音服务可以维护一个简单的任务队列文本文件一行对应一个任务ep01_scene01_001|男主|今天开始我不再等了。 ep01_scene01_002|女主|你疯了吗外面全是他们的人。 ep01_scene01_003|路人A|站住写一个循环读取逐行调用音频文件直接按第一列命名输出。用这种方式一天生成几百条台词不成问题。10. 资源占用与性能观察AI 漫剧生产链路里最吃资源的是本地绘图和本地视频生成最轻的是剧本、分镜、剪辑环节。显存观察方法Windows 任务管理器 - 性能 - GPU 的“专用 GPU 内存”。更准一点用nvidia-smi命令行实时查看。nvidia-smi使用绘图工具时重点看“显存使用量”和“图形利用率”。显存不等于 VRAM 总容量很多时候 8G 卡跑不动 1024 的大图不是显存不够是模型本身占用太大。可以加--medvram或--lowvram参数降低占用。ComfyUI 启动时也可以加参数限制python main.py --lowvram低显存用户优先策略用 SD 1.5 系列模型别强上 SDXL画质差距没有想象中那么大但显存压力差很多。出图分辨率控制在 768 以下后期放大另说。减少格子太重采样器的步数比如从 30 步降到 20 步。关闭视频生成的实时预览或降低预览分辨率。批量任务不要同时跑太多卡死时优先看是不是显存爆了。视频生成大部分是云端服务本机资源占用反而不高主要消耗的是账号时长和排队时间。如果本地跑视频生成建议只生成 5 秒以内片段不然显存和内存很容易双爆。11. 常见问题与排查方法问题现象可能原因排查方式解决方案启动后页面打不开端口被占用、服务未启动查终端日志netstat -ano查看端口换端口或重启服务显存不足报错分辨率/模型过大看 nvidia-smi 显存占用降分辨率、换小模型、加 lowvram下载很多依赖但还是缺包Python 环境不一致pip list检查是否在虚拟环境重建虚拟环境用整合包图像里人物五官扭曲提示词冲突、步数太少把每个提示词单独拆开试提高采样步数减少叠加概念同一个镜头人物表情漂移角色描述不一致对比固定角色模板统一用同一段角色描述换脸还是崩脸LoRA 权重不合适调 LoRA 权重从 0.5 到 0.9配合 IP-Adapter 参考图视频生成出来的手部变形生成时长过长、分辨率低拆帧看关键帧缩短视频时长增加首帧控制TTS 读错人名/多音字文本预处理不足听样音定位错误词加拼音注释、拆词批量任务跑到一半停止网络超时或显存爆查看日志和进程减小批次、加重试机制视频画面模糊、有抖动压缩参数和帧率不对导出前看预览提高导出码率固定帧率面部修复后与其他帧不一致重绘没有用同一参考图对比修复前后角色特征修复时加入角色 LoRA 或参考图12. AI 漫剧制作的最佳实践12.1 第一次做先跑通 1 分钟短片不要一上来就做 20 集连载。先用 3 到 5 个镜头做一条 1 分钟以内的短片验证整条链路剧本 - 分镜 - 角色图 - 动态化 - 配音 - 剪辑。这条短片跑通之后再扩展成多集。第一次就跑完整链路能提前暴露出工具不兼容、文件格式混乱、角色不一致等各种问题。12.2 建立一个可复用的“角色资产库”角色定妆照、角色 LoRA、角色参考图、角色语音样本全部按角色名归档。每一集都从这个资产库里取素材不重新生成。这样既保证一致性也大幅减少重复劳动。12.3 工作流模板化把 ComfyUI 的节点流保存成多个 JSON 模板角色定妆模板。分镜图生成模板。局部重绘模板。图生视频前处理模板。下次批量出图时直接换提示词、换参考图、换输出路径不要每次从空白画布重新搭节点。12.4 内容纪律和合规审核涉及真人照片转漫剧所有训练、传播、商用都先确认肖像授权。涉及小说改编先确认改编权。涉及声音克隆必须本人授权。字幕、台词、配图里有明显不实或冒犯内容的内容不要发布。公开传播平台都有审核机制素材合规性不过关做再多内容也会被下架。12.5 发布节奏和复盘AI 漫剧一旦流水线跑通产出速度很快但内容质量要由人工把控。建议每集发布前做一次三查查画面抽出 10 到 20 个关键帧检查角色统一度。查音频完整听一遍配音检查节奏、错字、背景噪音。查剪辑检查转场是否卡壳、字幕是否覆盖关键画面。每集发布后记录用户反馈把点赞高、互动高的镜头类型记录下来反馈到提示词库和分镜库中。13. 总结与下一步这套 AI 漫剧教程的核心价值在于把一条原本分散在各平台的技能链路整合成了可执行的方法论。你不需要先成为画家、编剧、配音演员、剪辑师再用半年时间学习工具。只要按“剧本 - 分镜 - 角色一致性 - 图片生成 - 视频生成 - 配音 - 剪辑”的顺序逐步跑通就能靠一个人加上一台电脑完成一整部 AI 漫剧。下一步建议按这个顺序走第一步先用现成的在线工具从一张角色图生成一段 5 秒视频感受动态化效果。第二步安装 ComfyUI 或 WebUI跑通一张图的分镜生成。第三步训练一个角色 LoRA确认角色一致性。第四步完成一条 1 分钟短片把配音和剪辑串起来。第五步再尝试批量出图和批量配音把生产效率提上来。最容易踩的坑就三个角色崩脸、镜头不连贯、配音和画面节奏错位。先把这三个问题解决掉AI 漫剧这条生产线基本就稳了。后面再逐步加入首尾帧控制、自动补帧、批量 API 任务甚至搭建自己的远程生成服务都是顺理成章的事。