f5-tts-npu 快速上手如何一行命令在昇腾 NPU 上运行 F5-TTS快速生成 24kHz 语音【免费下载链接】f5-tts-npu用户可直接在昇腾 NPU 上运行 F5-TTS 模型实现中英文文本到语音的合成。项目固定了模型权重和依赖适配 NPU 并修复了精度问题无需改动即可推理性能稳定。项目地址: https://ai.gitcode.com/atlasleong/f5-tts-npuf5-tts-npu让你直接跑在昇腾 NPU 上的 F5-TTS 模型实现文本转语音合成——中英文输入、24kHz 高清输出模型权重与依赖全部固定无需改代码一条python3 inference.py命令就能听到你的第一条 AI 语音。F5-TTS 语音合成模型 昇腾 NPU它能做什么 ️F5-TTS 是一款基于**条件流匹配CFM**的文本转语音TTS模型推理链路非常清晰22 层 DiT 主干把分词后的文本预测成 100 维 log-mel 频谱再由 Vocos 声码器把频谱还原为24kHz音频波形。本交付固定使用F5TTS_Base/model_1200000.safetensors权重与本地 Vocos 解码器配置见model/vocos-mel-24khz/config.yaml支持英语和中文参数总计约 3.5 亿DiT 主干 3.37 亿 Vocos 解码器 1353 万。文本 Hello world. → DiT/CFM 预测 100 维 mel 频谱 → Vocos 解码 → 24kHz float32 波形16128 采样点快速安装3 步搞定 F5-TTS 昇腾 NPU 环境 ⚡第 1 步获取项目git clone https://gitcode.com/atlasleong/f5-tts-npu cd f5-tts-npu第 2 步准备依赖环境torch与torch_npu由昇腾 worker 镜像直接提供其余 13 个运行时依赖已在 requirements.txt 中逐项锁版本einops、x-transformers、torchdiffeq、safetensors 等克隆即可复现pip install --ignore-installed --no-deps -r requirements.txt第 3 步确认模型文件就位模型权重与词表已随仓库交付无需额外下载文件说明model/F5TTS_Base/model_1200000.safetensorsF5-TTS 主模型权重约 1.35 GBmodel/F5TTS_Base/vocab.txt字符级词表中英全覆盖model/vocos-mel-24khz/pytorch_model.binVocos 24kHz 声码器权重一行命令生成第一条语音inference.py 推理详解 在仓库根目录直接执行python3 inference.py单卡 NPU 实测约 33 秒完成一次完整前向标准输出如下INPUT_DEVICEnpu:0 MODEL_DEVICEnpu:0 INPUT_TEXTHello world. OUTPUT_DEVICEnpu:0 ARGMAX_WAVEFORM6207 CPU_FALLBACKfalse EXIT_CODE0INPUT_DEVICE / MODEL_DEVICE / OUTPUT_DEVICE全部是npu:0且CPU_FALLBACKfalse——输入、模型、输出全程在昇腾 NPU 上完成NPU 后端不可用时脚本会以非零退出码失败绝不回退 CPU。这正是本项目验收级稳定性的体现。一行命令背后发生了什么 入口 inference.py 很薄真正的逻辑都在 common.py 里全部参数固定可复现参数值含义固定文本Hello world.首个合成句子中英皆支持随机种子1234保证每次输出一致采样率24000 Hz与 Vocos 解码器匹配时长 / 步数64 帧 / 32 步 Euler流匹配采样输出(64-1)×256 16128采样点CFG / sway2.0 / -1.0引导强度与 sway 系数流程是文本按字符分词 → 加载 DiT/CFM 主干与 Vocos 声码器并送上npu:0→ CPU 侧先生成初始流匹配噪声再搬上 NPU关键精度修复下文细说→ 流匹配采样得到频谱 → 解码为 24kHz float32 波形。为什么必须修精度昇腾 NPU 适配 F5-TTS 的两个关键补丁 直接在 NPU 上跑未修复的前向与 CPU 基线对比的最大绝对误差高达1.337、平均误差 0.196远超阈值max_abs_error0.05、mean_abs_error0.01生成的语音会严重失真。根因有两个修复都很小GELU 数值发散昇腾 NPU 默认的nn.GELU()erf 模式会派发到融合 kernel与 CPU 参考实现数值不一致再被 32 步 Euler 采样轨迹逐步放大。修复方式是在模型代码里把nn.GELU()替换为显式 erf 公式x * 0.5 * (1.0 torch.erf(x * 0.7071067811865476))。RNG 算法差异NPU 与 CPU 的torch.randn随机数算法不同起始噪声不一致会导致整条采样轨迹偏离。修复方式是在 CPU 侧生成初始流匹配噪声再移动到模型设备让两边从同一个噪声出发。修复后的多样本回归实测12 组样本全部退出码 0最大绝对误差0.0347阈值 0.05 ✅平均绝对误差0.00049阈值 0.01 ✅离散输出argmax一致率12/12无 NaN / Inf ✅这也是交付验收能通过validation_summary.json: passedtrue的底气所在。实测性能与设备占用单卡 NPU 中位延迟 1.8 秒 性能测试采用预热 3 次、同步计时 5 次的严谨方式分配物理 NPU 4 独占执行指标数值中位延迟1811.7 ms平均延迟1816.5 msp90 延迟2023.0 ms也就是说单张昇腾 NPU 合成一条 Hello world. 约 1.8 秒且全程零 CPU 回退适合嵌入生产推理流水线。上图来自npu-smi设备快照8 块 910B-1 NPU 状态全部 OK可以看到 python3 推理进程在 NPU 0~4 上的真实内存占用设备级证据确凿。项目文件速查表f5-tts-npu 目录结构与自定义指南 路径作用inference.py推理入口npu:0前向 设备/退出码标记common.py固定文本、采样参数、词表与模型加载想改文本/时长/步数就改这里requirements.txt锁定版本的运行时依赖清单model/F5TTS_Base/主模型权重 词表model/vocos-mel-24khz/24kHz 声码器权重与 config.yaml想合成别的句子把common.py里的TEXT改成任意中文或英文文本即可注意时长参数 64 帧约对应 0.66 秒长句需要调大DURATION_FRAMES想换随机音色则修改FIXED_SEED。总结为什么选择 f5-tts-npu ✅一行命令python3 inference.py即可在昇腾 NPU 上跑通 F5-TTS 中英文文本转语音固定权重 锁版本依赖无需下载、无需改代码克隆即推理结果可精确复现精度问题已修GELU 与 RNG 两处补丁让 NPU 输出与 CPU 基线误差降到 0.035 以下验收级稳定性设备标记全程npu:0、禁止 CPU 回退、单卡中位延迟约 1.8 秒。如果你的场景需要批量 TTS 或私有化语音服务这套固定权重 锁依赖 精度回归的交付方式是一个可以直接照抄的工程范式。【免费下载链接】f5-tts-npu用户可直接在昇腾 NPU 上运行 F5-TTS 模型实现中英文文本到语音的合成。项目固定了模型权重和依赖适配 NPU 并修复了精度问题无需改动即可推理性能稳定。项目地址: https://ai.gitcode.com/atlasleong/f5-tts-npu创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
