用10分钟音频克隆人声Retrieval-based-Voice-Conversion-WebUI从安装到出效果的极简路径【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI想给视频换声、或者练一个自己的声音分身却嫌工具太重Retrieval-based-Voice-Conversion-WebUI下称 RVC-WebUI用 10 分钟音频就能训出一个可用的语音转换模型。下面从装环境到出第一段转换结果完整走一遍。 为什么 10 分钟音频就够训练数据要求低以前克隆人声要几小时干净音频加 GPU 服务器现在 10~50 分钟低底噪语音即可4GB 显存的入门卡也能训。杜绝音色泄漏以前转换后的声音会残留原说话人的音色现在靠 top1 检索把源特征替换成训练集特征音色保持干净。没有哑音音高提取用的是 InterSpeech 2023 的 RMVPE 算法比老方案更快、更省资源哑音问题基本消失。分离与转换一体内置 UVR5人声伴奏分离不用另开工具。跨平台Windows / Linux / Mac 都能跑NVIDIA 走 CUDAAMD/Intel 走 CPU 或 DirectML。 3 步装好环境项目最低推荐Python3.12 x64必须3.12 venv 虚拟环境显卡CPU 可跑较慢NVIDIA 4GB 以上显存磁盘5GB10GB 以上第一步克隆仓库并进入根目录git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI第二步按硬件安装依赖。CPU/AMD/Intel 用户跑这一行即可NVIDIA 用户选 cu118 或 cu128 依赖文件、按安装文档的两阶段顺序装 Torchpython -m pip install -r requirments_cpu_py312.txt第三步运行python webui.py启动 WebUI无桌面服务器加--noautoopen再自己打开浏览器访问端口 7865。 核心流程从原始音频到第一次转换第 1 步下载预训练底模。RVC 不从零训练而是从约 50 小时 VCTK 语音训出的底模起步这是小数据能快速出效果的原因。以下命令拉取推理必备的 hubert、rmvpe 模型和训练用的预训练权重放到assets/目录python -m pip install --upgrade huggingface_hub hf download lj1995/VoiceConversionWebUI --revision main --include hubert_base/* --local-dir assets hf download lj1995/VoiceConversionWebUI rmvpe.pt --revision main --local-dir assets/rmvpe hf download lj1995/VoiceConversionWebUI --revision main --include pretrained/* pretrained_v2/* --local-dir assets第 2 步准备音频。收集 10~30 分钟单一说话人、低底噪的语音放进一个独立文件夹。路径里避免空格、括号和中文——ffmpeg 读不了utf8 写文件列表也会报错。这一步决定模型上限音质差的数据再多的 epoch 也救不回来。第 3 步一键训练。打开训练选项卡填上这组可以直接抄的新手参数完整参数说明见training tips其余保持默认即可实验名: my-voice 数据文件夹: dataset/my-voice total_epoch: 100 batch_size: 8点一键训练它会依次完成数据预处理、模型训练、索引建立。total_epoch 是数据被完整学习的轮数数据干净给 100 左右底噪大给 20~30 就够batch_size 是速度换显存显存吃紧就调小。第 4 步跑第一次转换。打开推理选项卡选刚训出的.pth模型和added_*.index索引上传任意一段音频点转换。重点调这几个参数f0up_key: 0 # 音高偏移女转男设 -12男转女设 12 index_rate: 0.4 # 检索强度越高音色越贴近训练集 音高提取: rmvpe # 默认即可f0up_key 是最立竿见影的参数想偏低沉就往负调想偏尖细就往正调index_rate 控制检索混合比例下面展开讲它为什么存在。 单点深挖top1 检索如何杜绝音色泄漏转换后的声音残留原说话人音色这叫音色泄漏。根源在于推理时模型拿到的是源音频的 HuBERT 特征特征本身就携带音色信息源音频和目标音色差得越大泄漏越明显。RVC 的做法分两段。训练阶段把训练集每段音频抽成 256 维 HuBERT 特征向量用 faiss 的 IVF 近似最近邻算法建成高速索引。推理阶段对源音频每一帧特征在索引里检索最相似的那一条训练集特征top1直接替换掉源特征。这样模型看到的永远是训练集里真实存在过的特征音色就没有从源音频混进来的通道。index_rate 就是这步替换的混合比例调到 1 时理论上完全没有源音色泄漏但音质会更依赖训练集本身调低则保留更多源音频的音质细节。数据又干净又多时这个参数就不太重要了。 开箱即用的三个场景唱歌音色克隆录 10 分钟自己的歌声 → 模型学会该音色后任意歌曲都能用这个声音唱出来。直播实时变声用 realtime_gui.py 启动实时变声界面 → 端到端延迟 170ms配 ASIO 设备可到 90ms边聊边变声。视频后期换声用 UVR5 先把原声从配乐里分离出来 → 转换后再合成回去整段视频音色被替换。⚠️ 新手高频坑与一行解法报错现象原因一行解决ffmpeg error / utf8 error音频路径带空格、括号或中文路径全部改成纯英文无空格CUDA out of memory显存不够batch_size 调小到 1 仍爆就换卡训练结束没生成索引训练集太大内存卡住再点一次训练索引按钮Connection Error控制台黑窗口被关了保持终端窗口打开转换后不像训练集音色音色泄漏index_rate 往 1 调查不到的报错先翻中文 FAQ覆盖场景比想象中多。现在打开终端把上面第一步的 3 行命令跑起来10 分钟后你就能在浏览器里看到训练进度。【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考