再也不用复杂的工作流来生成短剧了——Gemini 加 SeeDance2.0 王炸组合说真的我写过不少如何用AI做短剧的教程以前最怕的就是读者在文章下面追问第一步用什么工具第二步生成的图和第三步怎么衔接因为那个旧工作流确实复杂到连我自己都要对着思维导图操作。但最近我在做一个情感短剧Demo时把整套流程彻底简化成了两件套用Gemini负责剧本、分镜、提示词这些动脑子的活用SeeDance2.0负责把静态角色真正动起来的活。实操下来不夸张地说过去两三天才能磨出来的一集短剧现在几个小时就能出一版能看的样片。这篇文章就把我这次的组合玩法、踩过的坑和完整步骤整理出来给同样想低成本做短剧的朋友一个参考。1. 旧工作流的痛点不是工具不够多而是衔接太碎1.1 我踩过的经典七步流程如果你接触过AI视频生成一定见过这套标准动作先用大语言模型写剧本再把剧本拆成分镜表接着用AI绘图工具生成角色形象再用图生视频工具让静态图动起来然后用数字人对口型工具让角色说台词最后配音、加字幕、剪成片。我最早的短剧Demo就是这么做的每一步看起来都有对应的工具但真正跑起来你会发现这七步里每一步和相邻步骤都有一道信息翻译的损耗。比如剧本阶段写女主生气地转身离开到了分镜阶段你要把它翻译成中景人物从画面左侧向右转身快步走出画面面部表情带怒意。到了绘图阶段这个描述又要翻译成一套长长的人物外观关键词确保女主的脸和上一集一样。到了图生视频阶段又要翻译成镜头运动参数和动作提示词。任何一个环节翻译得不精确后面全跟着崩。最崩溃的是你花大力气生成的生气转身镜头如果因为手部崩了或者背景穿帮要重做那就得从绘图或者视频生成那一步重新来整个流程的时间成本直接翻倍。1.2 链路断裂的常见现场我统计过自己踩过的坑大部分不是单点工具不行而是环节交接的地方断掉了。第一个断点叫角色一致性绘图阶段用一个种子生成的统一形象到图生视频阶段换了个工具人物脸型、发色、服装全变了观众一眼出戏。第二个断点是动作可控性传统文生视频工具你只能输入一个人在跳舞这种模糊描述它确实会跳舞但你让它先向前走三步再转圈最后双手张开基本靠抽卡运气。第三个断点是多镜头叙事断裂短剧不是一段装饰性的动态视频它需要多个镜头拼起来讲一件事。单镜头生成或许还行但要让连续镜头里人物的情绪、位置、服装保持连贯旧流程里你得手动在分镜表里维护一大堆状态信息稍不留神就前后矛盾。1.3 简化工作的关键不是少一步而是让提示词直接驱动结果我后来的体会是真正麻烦的不是步骤数量而是每一步之间需要人来手动翻译信息。如果可以只做两件事——第一件事用大语言模型把故事变成结构化的镜头指令第二件事用视频模型直接执行这些指令——中间不需要我再写一堆中间提示词那流程就真的顺了。Gemini加SeeDance2.0恰好在这两点上都有长处Gemini的强项是文本理解、剧本生成和结构化输出SeeDance2.0的强项是让静态角色按照动作指令动起来。两件套合在一起正好把原来最耗精力的翻译环节省掉了。2. Gemini负责文戏剧本、分镜、角色一致性设定2.1 从故事梗概到可直接拍摄的分镜表Gemini在这套组合里承担的是编剧加导演的角色。我实测下来与其让它自由创作大段剧本不如先给它一段明确的故事梗概和角色设定再让它按固定格式输出分镜脚本。这样可控性高很多返工少。下面是我用在项目里的一套指令模板你可以直接抄你是一位擅长短剧的导演。请把下面的故事梗概拆解成约15个镜头 故事梗概女一名字叫小梦是一名咖啡店店员男一名字叫阿哲是经常来买咖啡的上班族。两人因为一杯写错名字的咖啡结识第三集末尾小梦发现阿哲其实是总部派来的区域经理误会她工作敷衍。 输出要求 1. 按镜头逐条输出每条包含镜头编号、景别大远景/全景/中景/近景/特写、运镜方式固定/推/拉/摇/跟随、人物状态与动作、对白、本镜头建议时长。 2. 人物状态与动作必须写成由第二人称发起的动作指令例如小梦从吧台后走向门口脚步放慢眼神看向窗外。 3. 确保同一集内角色的服装、发型、位置关系前后一致。Gemini 的输出通常会很规范我在实际操作中还会追加一句把镜头表整理成Markdown表格因为它用表格输出时我更方便直接复制给后续环节使用。实际得到的分镜表大概长这样镜头景别运镜人物状态与动作对白时长01中景固定小梦低头擦拭吧台听到门口风铃响抬头无3秒02近景轻微推近阿哲走进门表情疲惫走向吧台老样子美式谢谢。3秒03特写固定小梦看到杯套上的名字写错愣住伸向杯子的手停住无2秒2.2 角色设定卡用固定文本锁住一致性短剧中最容易被AI工具搞砸的就是同一角色不同镜头的长相时像时不像。以前我会去练LoRA模型或者固定种子现在最省力的办法反而是在每一段和视频模型交互的提示词前面都贴一张统一的角色设定卡。这张卡完全可以交给Gemini生成它会把角色外貌、服装、年龄感写得非常细致。比如我在项目中用的设定卡小梦25岁东亚女性黑色中长发扎成低马尾浅棕色瞳孔脸型偏鹅蛋脸。 穿一件米白色衬衫外面套深绿色咖啡店围裙没有刘海耳侧留碎发。 性格关键词安静、认真、偶尔倔强。 服装同一集内不更换头发始终扎成低马尾。每次向SeeDance2.0提交动作提示词时我把这张设定卡原样贴在最前面后面接Gemini分镜表里的人物状态与动作模型就会按照同一个角色形象去动。这套方法的本质是把长相一致性从图片控制转移成文本控制——虽然不如LoRA精准但胜在零额外成本而且两次生成之间不会因为切换工具而丢失特征。2.3 让Gemini把剧本翻译成视频模型听得懂的指令Gemini另一个被低估的能力是改写动作指令。直接说小梦生气地走出来SeeDance2.0可能生成得不够具体但改成小梦从吧台后端着一杯咖啡走向门口迈到第三步时停下来眉头微皱低头看了一眼杯套再抬头看向镜头方向模型能捕捉的细节就多了很多。我通常在分镜表生成之后再让Gemini做一次提示词润色请把下面这条分镜的动作描述改写成适合视频动作生成模型的指令 1. 不要写心理活动和抽象形容词全部替换为具体肢体动作和时间顺序。 2. 每个动作都要有明确的发力部位头、手、腿、身体朝向。 3. 可以适当加入镜头运动但不要超过10个单词。这一步虽小但对最终视频质量影响极大。因为我发现视频模型对抽象情感词汇的响应远不如对身体动作词汇的响应生气这种情绪要靠皱眉加快步频攥紧杯子之类的具体动作才能体现出来。3. SeeDance2.0负责武戏动作生成和传统文生视频不是一回事3.1 SeeDance2.0到底解决什么问题SeeDance2.0本质上是一个面向角色动作生成的视频模型。它和传统文生视频最大的区别在于文生视频是无中生有你给一句话它给你一段两秒钟的随机动态画面SeeDance2.0则是给定的人做指定的事你给它一张静态角色图再给它一段动作描述或一段参考动作视频它让这个角色在你的控制下动起来。这个差别在短剧创作里是决定性的。短剧需要演员、需要表演、需要镜头里的角色做出反应不是看到一朵云飘过、一只猫跑过就够了。用SeeDance2.0做短剧至少三个方向是我实际测下来非常稳的一是单角色的日常动作比如走路、转身、坐下、端起杯子二是带有明确情绪层次的小幅度表演比如从面无表情到微微抬起头看对方三是配合镜头运动的动作闭环比如人物从椅子起身镜头从近景后拉成中景。当然SeeDance2.0在不同版本里支持的输入可能略有差异有的版本还支持音频驱动舞蹈动作有的版本支持视频动作迁移。我建议你拿到手先摸清自己的版本支持哪几种模式然后固定用其中一两种不要每次换模式否则参数习惯又要重新磨合。3.2 静态图加动作指令我推荐的默认用法我最常用的输入组合是静态角色参考图 文本动作指令。操作流程是先用任何一张符合角色设定卡的静态图作为输入。把Gemini分镜表里的人物状态与动作转写成动作指令。设定生成参数后输出一小段视频时长通常是3到5秒。这里有个很重要的操作习惯一个镜头一段动作永远不要试图在一个生成片段里塞两个连续逻辑动作。比如阿哲走进门走到吧台说台词这种三动作组合一定会崩。把它拆成三个独立镜头生成再剪辑拼接效果要稳得多。还有一个参数我会特别留意就是动作强度。一般的动作生成模型都有类似运动幅度的设置我在短剧里会控制在中等偏低。因为短剧追求自然感动作强度太大容易变成肢体夸张的舞蹈放到剧情里很违和。若遇到需要大幅动作的镜头比如角色生气甩包、快走转身就单独把该分镜的动作强度调高但不要整个项目通篇用高强度。3.3 短剧里适合交给SeeDance2.0的镜头类型我整理了一个自己的分镜对照表基本可以快速判断哪些镜头交给SeeDance2.0合适镜头类型是否适合SeeDance2.0备注单人日常动作走、坐、站、回头非常适合输出稳定重做成本低单人情绪表演微表情手部小动作适合需要把情绪翻译成肢体指令人物从A点走到B点镜头跟随适合注意控制走路周期和步频两人同框对话较难多人交互容易穿帮优先切单人以特写为主打斗、追逐等大幅动作不建议肢体绑定容易错乱还是老工具更稳所以若你的短剧题材以情感、都市、生活场景为主这套组合会非常舒服如果是动作戏、玄幻打斗为主至少目前我还没有用这两个工具真正跑通过。4. 一集短剧的完整实操从一句话到成片4.1 我用Gemini先做剧本三维度写过短剧的人都知道短剧的核心节奏是每集必须有钩子。我让Gemini在生成剧本之前先按三个维度输出剧情结构前30秒的角色状态、中段的冲突转折、结尾的悬念钩子。这个习惯帮排除了很多流水账式的分镜。比如我最近做一个街角咖啡馆连续短剧第三集的整个剧情只有一句话小梦发现阿哲隐瞒身份两人因为咖啡订单产生误会。Gemini基于这句话给出的结构是开场小梦心情不错认真准备咖啡展示日常中段阿哲以普通顾客身份点单说了一句你们店管理有问题小梦误会他在批评自己钩子小梦在收拾桌子时看到阿哲文件袋上的公司标志表情凝固镜头在她脸上停两秒。有了这个三节拍后面的分镜生成就会自然很多。4.2 每集的分镜拆解和提示词拼接拿到剧本结构后我让Gemini继续把它拆成分镜表加上之前那张角色设定卡把每一集的镜头控制在12到18个左右单个镜头时长2到5秒。短剧节奏快超过6秒的静态镜头基本都要剪掉所以分镜宁多勿长。接下来是每个镜头的提示词拼接公式我固定在提交给SeeDance2.0之前使用角色设定[从设定卡复制] 动作指令[Gemini输出的动作描述如小梦从吧台后向左走到门口第三步停下低头看杯套] 镜头参数中景轻微推近镜头固定 动作强度0.6每条提示词我尽量控制在60个词以内。太长的话模型容易忽略后半段太短又会浪费Gemini辛苦拆好的动作细节。4.3 组装镜头剪辑、字幕和配音SeeDance2.0生成出来的片段通常是孤立的几秒组装工作我放在普通剪辑软件里完成。这里有一个值得做的技巧把每集15个镜头先生成一个只有片段的粗剪版再用Gemini输出简要的字幕和后期说明最后自己对着粗剪版配音或配乐。Gemini在这个阶段的用法是给它一段每镜头3到10个字的字幕草稿让它检查情绪有没有突转、有没有台词错位然后生成统一的字幕文件格式。实际跑一遍你会发现字幕这件事Gemini给你节省的时间不亚于分镜阶段。更妙的是你可以让它顺便输出每集开头和结尾的前情提要和下集预告这些文案模板统一剪出来很有短剧包装的味道。4.4 一集完整流程的实测时间参考这里给一个我自己的时间数据供你参考20分钟内完成第三集的剧本与分镜30分钟生成了15个候选镜头包括重做3个崩掉的镜头15分钟剪辑与加字幕10分钟粗略配音和配乐。也就是说一集长度约1分半的短剧样片从想法到成片差不多一个半小时内能完成。对比此前用七步流程动辄两三天的体验这个提升不是一点半点。5. 这套组合的边界与常见翻车现场5.1 最容易翻车的三个地方先说翻车现场免得你走弯路。第一个是手部细节。SeeDance2.0在让我的人物走路、转身时表现很好但只要动作指令里出现端起杯子用手指着对方这类手部精细动作翻车概率直线上升。我的应对办法是尽量用手移到杯沿而不是端起杯用手掌侧面动作替代手指动作。第二个是多人同框。让两个角色同时出现在画面里互动目前仍然偶尔会出现人物互相穿过、位置重叠的问题。我现在基本策略是对话场景拆成单人镜头用正反打结构剪在一起不追求一镜双人同框。第三个问题是长镜头逻辑断裂。如果让一个镜头持续6秒以上后两秒的动作往往开始失去连贯性人物位置悄悄偏移。我的上限是单镜头5秒超出就拆。5.2 对白与口型一个难得的权衡策略短剧有大量对白但SeeDance2.0不是口型生成工具你不能指望它让AI角色精准念出长台词。我的策略是把台词压缩在分镜表的对白列里但视频模型只负责动作口型和语音靠后期统一处理也就是用配音工具先录好音再在剪辑软件里切到角色特写时对口型。实际剪辑上有一个小技巧对白口型不必精确到每个音只要保证他在说话的画面和说话气口大致对上短剧观众对三秒内的口型偏差容忍度很高。如果你非要精确对口型那就需要再接入其它的口型同步工具工作流变复杂但这和标题里的简单组合方向相反了建议大家按需选择。5.3 什么情况下我仍会回头用复杂工作流虽然两件套很顺但我不建议把它神话。它最强的场景是单人、室内、日常类短剧若遇到需要复杂运镜、场景穿越、多人打斗或者固定机位逐帧控制的画面我依然会回到专业工具去处理。这就像家里用一体咖啡机很快但讲究手冲的人还是会单独再配一套滤杯。明白工具的组合边界才能发挥它的最大价值。我在最近几次实操中最受用的一点是每集跑完流程后把Gemini生成的分镜表再翻回去看看哪些镜头的文字描述和最终画面差距最大把那些描述改得更具体一点。这样反复两三集后你自己的提示词库就已经比任何通用模板都好用了。没错这套王炸组合真正的上限不是模型版本而是你给模型下达指令的精准度。