简介面向语音合成与深度学习研究者的 Bert-VITS2 2.3 版中文语音克隆模型基于《星之守护者 阿狸》角色语音训练 6000 步输出韵律自然、情感饱满适合小说朗读、口播配音、角色语音替换等需要高自然度 TTS 的场景也可用于学习声音克隆与微调流程。压缩包共 4 个文件整体约 601.96MB包含训练完成的模型权重 G_6000.pth、模型配置 config.json、用于音色参考的 wav 样本以及配套 json 辅助文件。权重文件可直接加载进行推理合成config.json 记录了模型结构与训练参数参考音频便于快速试听和校验音色目录结构简洁上手路径清晰。已有 516 人学习/下载。下载后能直接获得一套完整可用的阿狸中文语音模型免去数据采集与训练等待配合配置文件与示例音频可快速接入 Bert-VITS2 项目完成合成验证适合了解从模型加载到语音输出的整个闭环为后续音色微调与二次开发提供实用基础。1. 人工智能深度学习里的角色语音克隆6000 步够用吗人工智能深度学习这条线里语音克隆这两年热度一直很高。朋友丢给我一个文件夹说这是用 Bert-VITS2 2.3 跑出来的中文语音克隆模型角色是星之守护者阿狸训练步数只有 6000。我第一反应是6000 步够干什么看数据统计训练集不到 20 分钟语音。如果这是从零训它基本是废的但如果是拿现成底模做的微调6000 步正好能把音色从底模拉向目标角色属于“小步数微调”的典型场景。下面按这个思路展开先拆 Bert-VITS2 在角色克隆里到底学了什么再完整走一遍数据整理、预处理、微调训练、参数查错和效果验证。适合手里有一份角色语音包、想自己产出中文克隆模型的人也适合想确认“6000 步是不是被骗了”的买家。2. Bert-VITS2 在语音克隆里到底学的是什么先搞清楚三层技术结构2.1 从 VITS 到 Bert-VITS2语义特征是从哪里进来的VITS 是典型的“文本音素 声学生成 声码器”结构。文本先通过 grapheme-to-phoneme 转成音素序列音素经过编码器、flow 和 VAE 采样最后交给 HiFi-GAN 这类声码器合成出语音波形。它的短板在于音素是离散符号同一段音素序列在不同的上下文里重音和停顿应该完全不同而普通编码器只能从相邻音素去猜上下文句子一长就开始“念稿子”。Bert-VITS2 的改法是在文本侧并联一个 BERT 分支。训练时对每句中文先抽取 BERT 的 token 级向量再把向量和音素特征融合后一起进入生成网络。这样做的直接收益是断句、停顿、轻声这些韵律信息不再只靠音素序列硬推而是有真正的语义上下文兜底。中文同音字多、口语节奏复杂这种“语义侧写”带来的增益比英文明显得多这也是它在中文克隆场景里被用得更多的原因。在 2.3 这条版本线上项目普遍还会在预处理阶段生成 BERT 特征文件部分分支带 CLAP 这类音频-文本对齐模型来做情感描述。也就是说同一个角色可以有不同的 emotion 描述比如“平静”“张扬”生成时靠这些描述向量在音色不变的前提下改语气。这部分属于 2.x 版本的扩展玩法基础角色克隆并不依赖它。有一个常见的误解是“BERT 直接合成语音”其实不是。BERT 只负责提供语义特征真正生成语音的还是声学模型和声码器。如果让 BERT 直接参与生成输出会过于平滑缺少发声器官的机械感和气声。理解这一点你就知道为什么预处理时一定要对文本做规范化——文本越干净BERT 抽出来的特征越可靠。2.2 角色的音色到底存在哪底模、说话人向量、微调权重我一般把一条语音克隆链路拆成三个“音色仓库”。第一个是底模。底模决定了模型的基础发音质感包括共振峰分布、气声比例、语速习惯。这个层级的参数在预训练阶段已经写死微调很难大幅改变。第二个是说话人向量。Bert-VITS2 训练时会为每个角色分配一个可学习的 embedding推理时指定不同的 speaker ID就相当于在同一个发声结构里切换身份角色音色的差异有一部分就是靠这个向量拉开的。第三个是微调后的权重。底模和向量决定了“能往哪走”6000 步的微调负责把声学模型的实际输出往目标角色的真实录音上靠这个层级的改动最直接但也是最容易翻车的学习率稍大就会把底模原有的质量洗掉。所以“6000 步”这三个字只有放在“先选对底模再微调”这个前提下才有意义。从零训练 6000 步连音素都没吃透微调 6000 步则完全可以完成一次音色迁移。下面这张表是我个人经验里数据量与训练步数的对应关系数据量建议步数区间6000 步的预期效果5 分钟 / 80~120 条2000~6000音色偏移一点口癖不稳定20 分钟 / 300~500 条6000~20000音色明显接近短句稳定60 分钟以上20000情绪变化和语气起伏都能学到6000 步只是起点不是毕业线。我见过不少项目在 4000 步时最好听继续训到 6000 步反而过拟合所以步数到了不代表该停后面第 4 章会讲怎么判断。2.3 为什么中文角色克隆特别讲究文本的标点中文和日文、英文在 Bert-VITS2 上的最大差异在停顿习惯。中文的逗号、顿号、感叹号不只是格式符号它们对应着真实的停顿时长和语气走向。BERT 分支会把标点当作独立 token 处理标点一旦在预处理里被清洗掉模型就只能靠猜断句自然飘。这就是为什么数据剪辑的工作量往往比训练本身还大。每一条 wav 对应的 txt 必须保留原标点尤其不能把顿号和逗号混用也不能用半角逗号代替句号。像星之守护者阿狸这种带明显口癖的角色文本里“啊、呢、呀、哦”这些语气词必须保留它们是音色的指纹去掉之后克隆出来就是个“没有性格”的普通话发音器。另外要注意文本里不要留多余空格。中文分词器和 BERT tokenizer 会把空格当成独立 token训练时多一个空格推理时少一个空格韵律表现就会漂移。我自己的习惯是所有 txt 跑一遍去空格、统一全角标点的清理脚本再进预处理。这一条做到位能避开后面很大一部分“玄学”问题。3. 数据整理这关过不了后面全是白干切片、标注到预处理3.1 先把语音包切成短句切片与重采样拿到星之守护者阿狸的语音包通常指某个游戏或官方语音整合包第一步不是急着预处理而是先完整听一遍。把带 BGM 的片段、音效、叹气、长停顿都标记出来优先保留干净的人声句子。混入 BGM 的录音会让模型把背景声当作音色的一部分学进去这也是很多克隆成品“脏”的根源。我习惯的切片规范是每条 2 到 10 秒尽量是一个完整句子采样率 44.1kHz、单声道、16bit 的 wav。切片工具用 ffmpeg 就够配合静音切除可以做首尾清理for f in raw/*.wav; do name$(basename $f .wav) ffmpeg -i $f -ac 1 -ar 44100 -sample_fmt s16 \ -af silenceremovestop_periods-1:stop_silence0.3:stop_threshold-45dB \ data/ali_guardian/${name}.wav done这里-ac 1把多声道合并成单声道-ar 44100强制采样率-sample_fmt s16统一位深silenceremove用 -45dB 作为静音阈值切除首尾静音。这个阈值不是固定的BGM 底噪大时要往上调到 -35dB否则静音段切不干净环境特别干净时可以放到 -50dB。切完后我习惯用ffprobe抽查两三个文件确认采样率和声道没被源文件带偏。注意目录名我刻意写成ali_guardian而不是中文名。后续预处理脚本对中文路径容易出编码问题业界习惯是目录名用拼音或英文 ID角色显示名放在配置文件里。这一步能省掉后面几小时修 bug 的时间。音频规格直接决定训练成色我整理了一张常用对照表属性推荐值常见错误采样率44100 Hz16k/24k 导致电音声道mono立体声训练时左右声道互混位深s168bit 高频信息丢失时长2~10 秒太短断句乱太长显存压力大3.2 文本标注对不齐就白训每个 wav 配一个同名 txttxt 内容就是这句语音的准确文本。这个环节最枯燥也最容易出错。我固定三条规范保留句号、逗号、顿号、问号、感叹号数字和英文一律转成汉字比如“2024”写成“二零二四”语气词“啊、呢、呀、哦”必须保留。角色口癖往往就藏在这些词里清洗它们等于把角色特征洗掉一半。我一般会写个小脚本扫一遍快速找漏网之鱼import os from pathlib import Path audio_dir Path(data/ali_guardian) wavs {p.stem for p in audio_dir.glob(*.wav)} txts {p.stem for p in audio_dir.glob(*.txt)} for missing in wavs - txts: print(缺标注:, missing) for empty in txts - wavs: print(缺音频:, empty) for txt in audio_dir.glob(*.txt): text txt.read_text(encodingutf-8).strip() if len(text) 2: print(文本过短:, txt.name)这套脚本解决两个高频问题一是 wav 和 txt 文件名对不上二是出现空标注。有些剪辑软件导出时会自动生成标题文件这种 0 字节问题脚本能直接揪出来。脚本跑完后不要直接进下一步建议每 20 条抽 1 条播放音频对文本听一遍重点听句尾语气词是否被吞了。文本和音频尾部哪怕只差几个字训练出来的模型就会在对应位置出现发音模糊。3.3 预处理从 wav 到 bert.pt 的这一步在干嘛数据整理好之后接下来是跑项目的预处理脚本。目标很明确为每句话生成 BERT 的特征向量如果带 CLAP还会生成对应的情感特征向量。这些特征会以 .pt 文件形式缓存在项目目录里训练时直接加载不用每次重新算。预处理不是可选项。Bert-VITS2 训练时如果缺失对应角色的 bert 特征训练过程要么直接报错要么卡在数据加载阶段。我这边 20 分钟语音的预处理在普通 GPU 上大概跑 10 分钟左右纯 CPU 会慢很多建议至少准备一块能跑 fp16 的显卡。不同的 2.x 分支入口名略有差别我拿到的这个 2.3 分支是python preprocess.py -c configs/ali_guardian.json如果你的分支入口叫 prepare.py参数大体一致不外乎配置文件路径和语言设置。跑完预处理后我会立刻抽查三到五个 .pt 文件的大小为 0 的那些基本就是文本路径写错了。还有个隐蔽问题filelists 里的路径分隔符。Windows 下偶尔会带反斜杠Linux 下训练脚本读不到直接报 file not found。检查方法很简单打开 filelists 看一眼统一成当前系统的路径格式就行。4. 用 6000 步把声线微调出来底模、配置和训练命令4.1 底模选择6000 步能翻盘但翻不了太多6000 步能做的是“音色迁移”不是“换头”。如果底模本身是一个偏成熟的御姐音你想通过 6000 步微调出少女感结果通常是两头不靠音色偏底模韵律偏目标数据。所以选底模第一条原则是语种必须匹配中文项目就选中文底模别拿多语种底模硬凑。第二条原则是音色基调尽量接近。星之守护者阿狸这种偏明亮、带一点气声的角色优先找同类型的少女声线底模而不是随便找一个“听起来顺耳”的底模就开始调。模型社区里能下到的底模种类很多但下载时注意区分“预训练底模”和“别人微调好的角色成品”。角色成品通常已经绑定了某个具体说话人向量直接拿来继续训练会出现 speaker 维度错乱。你要是打算自己调尽量选原始底模或与目标角色无关的通用底模。另外别用有 BGM 的试听音频选底模BGM 会掩盖真实音色下载后先听干声再决定。4.2 config.json 里我必改的四个参数Bert-VITS2 的配置集中在 config 文件里第一次跑别急着动网络结构先把训练参数捋清楚。下面是一份我常用的最小修改版{ train: { batch_size: 8, learning_rate: 1e-4, warmup: 500, max_steps: 6000, save_interval: 500, eval_interval: 250 }, data: { training_files: filelists/ali_guardian_train.txt, validation_files: filelists/ali_guardian_val.txt } }learning_rate 是 6000 步微调里最重要的旋钮。我习惯从 1e-4 起步底模特征被冲淡就降到 5e-5角色差异没刻进去就升回 2e-4这个参数值得来回试三遍。warmup 设到 500 步让学习率先爬坡再下降避免开局就打乱 BERT 分支的尺度。max_steps 我直接用 6000比 epochs 直观得多。小数据量微调时一个 epoch 可能只有几十步如果按 epochs 控制根本反应不过来。batch_size 看显存说话6G 显存老老实实用 412G 可以上 816G 以上再考虑 16。如果你的分支支持梯度累积用 batch 4 加两步累积等效 batch 8对 6G 卡很友好。save_interval 和 eval_interval 分别指保存权重和合成验证音频的间隔我习惯设成 500 和 250这样每跑 500 步就能拉出一条采样语音判断是不是越练越像。注意max_steps 和 epochs 同时写时以先到的条件为准。微调我只看 max_steps避免同一个 epoch 反复跑太多次把有限的数据背下来。4.3 训练命令、日志怎么看、6000 步什么时候该停训练入口在不同分支里不太统一有的叫 train.py有的叫 train_ms.py有的拆成了 train_bert_vits2.py。命令行参数大同小异我这边常用的是python train_ms.py -m bert_vits2 -c configs/ali_guardian.json如果中断了想续训直接把命令后面加上 checkpoint 路径参数加载最近一次保存的权重继续跑。部分分支不支持命令行指定需要在 config 里写 init_path。跑起来之后日志会持续滚动 loss 相关的数字INFO: epoch 2, global_step 4500, loss: 2.21, kl_loss: 0.15, disc_loss: 0.46 INFO: epoch 3, global_step 5000, loss: 2.18, kl_loss: 0.12, disc_loss: 0.40看日志有个容易犯的错只盯总 loss 降没降。loss 下降证明网络在学但学的内容是不是目标角色的发音习惯日志看不出来。我更建议的方法是每 500 步去听一次 eval_interval 输出的验证合成音频重点听三个地方音色是不是越来越贴近目标语音包、句尾有没有吞音、语气是不是比上一版自然。6000 步什么时候该停取决于验证音频的变化趋势。一般会出现两种情况一种是在 4000 步左右已经很好听继续训到 6000 步反而变僵这说明数据太少导致过拟合果断回滚到 4000 步的 checkpoint另一种是到了 6000 步还在缓慢变好那就继续加不必死守标题里的数字。步数只是个过程记录效果好不好只看合成结果。5. 微调翻车排查四个高频踩坑点与解决办法5.1 合成结果是电音像带了变声器现象用训练好的模型推理输出语音明显带机械感高频发毛整体像加了电子变声效果。原因八成的电音问题是采样率不匹配。底模是 44.1kHz 训练的你的训练音频被切成了 16kHz 或 24kHz模型推理时把输入映射到了错误的频带。剩下两成是 wav 位深不对项目里用了 8bit 的 pcm导致高频信息丢失。解决回到 ffmpeg 那一步确认-ar 44100和-sample_fmt s16真实生效而不是只在参数里写了但被源文件强制覆盖。切完随便挑一个 wav 用 ffprobe 看实际采样率别只看文件名后缀。如果音频本身来自视频提取还要检查有没有重采样导致的高频混叠这种情况在 16k 转 44.1k 时特别常见。5.2 训了 9000 步音色还是像底模不像角色现象9000 步都跑完了合成出来还是能明显听出底模的声线目标语音包的特征几乎没体现。原因最常见的是学习率太低比如设到了 5e-5 以下对底模权重的扰动幅度太小角色差异根本没刻进去。另一个隐蔽原因是推理时指定的 speaker ID 和训练时的角色 ID 不一致等于在拿别人的 speaker embedding 合成音色自然对不上。还有一种是训练数据里混进了底模角色来源的干声说话人不止一个模型学了个“平均音色”。解决先把学习率调到 1e-4 到 2e-4 的区间重新跑 2000 步看变化。如果同一份权重用不同 speaker ID 能合成出多个人声立刻检查配置里的角色 ID 映射。数据混音的问题最麻烦把全部音频用说话人聚类工具分一遍剔除离群样本再训。5.3 同一个句子两次合成韵律忽好忽坏现象固定文本、固定参数两次合成结果前一版很自然后一版就出现断句错乱、字与字之间过于平均。原因这不是单纯的模型随机性而是文本处理链路里标点格式不统一。最常见的是训练时文本里有半角逗号、英文句点推理时同样的语义写成了全角标点BERT 分支拿到的 token 序列出现偏移。另一个嫌疑是推理 temperature 和 top_k 开得太大采样随机性盖过了韵律先验。解决统一全角与半角把训练、预处理、推理三段链路里的标点规范全部对齐。老规矩预处理前先跑一遍标点规范化脚本把,、.、?转成对应全角形式并清掉多余空格。推理时把随机种子固定下来temperature 调到 0.6 到 0.8 之间再对比两次如果还是忽好忽坏删掉旧的 bert 特征缓存重跑预处理。5.4 合成结果吞字尤其是句尾的字现象长句子的句尾经常少字听起来像录音没录完。原因吞字通常是对齐问题。切片时把一句话的后半段裁掉了但 txt 里保留的是完整句子音素序列和音频实际内容对不上模型学了一部分“有音没字”的映射。解决把切片策略调严格一点宁可多切一条也不要让单条语音不完整。最省事的做法是让文本和 wav 同期剪辑先定文本边界再切音频。已经训坏的不用慌回退到没吞字问题之前的 checkpoint修正数据切片后重新微调。顺手把过长的句子先切断再对齐超过 10 秒的样本我一般直接不用训练时长不稳定还会拖慢收敛。6. 验证克隆效果我靠三个干指标而不是听感玄学只听“像不像”很容易被情绪带偏我现在固定用三个客观指标给模型打分。第一是说话人余弦相似度。提取参考音频和合成音频的说话人向量算两者余弦相似度0.85 以上算合格0.9 以上算很接近。第二是 MCD 倒谱距离衡量两段语音的音色差异距离越小越好。第三是 CER 字错率用语音识别引擎把合成结果转成文字再和原文本对能判断发音清晰度。这三个指标都是筛子能快速淘汰烂模型但不能替代听感。这里给一段用 Python 算 MCD 的最小实现import librosa import numpy as np from librosa.sequence import dtw def mcd_score(ref_path, syn_path): ref, sr librosa.load(ref_path, sr22050) syn, _ librosa.load(syn_path, sr22050) ref_mel librosa.feature.melspectrogram(yref, srsr, n_mels80) syn_mel librosa.feature.melspectrogram(ysyn, srsr, n_mels80) align_cost, *_ dtw(Xref_mel.T, Ysyn_mel.T) return np.mean(np.abs(np.diff(align_cost, axis0))).item() print(MCD:, mcd_score(ref_ali.wav, syn_output.wav))代码思路是把两段语音转成 80 维 mel 谱用 DTW 做时序对齐再取对齐路径上相邻帧的绝对差均值。MCD 只适合同文本对比不同文本合成出来的 MCD 没有参考意义这点必须先分清。说一个我自己的教训有一版模型我是靠“主观听起来像”拍的板交付后换个播放设备音色立刻显出一层闷闷的底噪后来才发现参考音频本身带了均衡器效果模型把 EQ 当成角色特征学了。从那以后我每次都固定播放设备、固定参考文本、至少三个人盲听再配合上面三个指标做交叉验证。指标负责筛错耳朵负责拍板。希望帮到你。本文还有配套的精品资源点击获取