【免费下载链接】Step-Audio-EditX-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Step-Audio-EditX-8bit点击查看免费下载Step-Audio-EditX-8bit 是面向 Apple Silicon 的 int8 MLX 模型包完整封装了 StepFun 的 3B 参数音频 LLM 音频编辑系统双 Tokenizer、Flow 声学模型与 HiFT 声码器四大组件齐备可在 M5 Max 上以约 0.51 倍实时因子完成改情绪、换风格、加笑声、降噪、静音修剪以及零样本语音克隆。本文带你读懂每个文件背后的组件以及一次编辑如何在四个组件之间流转。一、先看仓库文件清单每个文件对应哪个组件 这个仓库是一个开箱即用的音频编辑流水线所有权重与配置按组件平铺在根目录文件所属组件一句话作用model.safetensors config.jsonstep1 LM3B 音频 LLM大脑理解指令并生成新音频 Tokenvq02.safetensors vq02-config.jsonvq02 语义 Tokenizer提取说了什么内容层vq06.safetensors vq06-config.jsonvq06 声学 Tokenizer提取怎么说音色、韵律层step-audio-tokenizer-assets.safetensors step-audio-tokenizer-config.jsonTokenizer 附属资源静音修剪、分块等预处理参数flow-model.safetensors flow-conditioner.safetensorsFlow 声学模型把音频 Token 还原成梅尔频谱hift.safetensors hift-config.jsonHiFT 声码器把梅尔频谱变成 24 kHz 波形campplus-config.jsonCAM 说话人模型提取 192 维声纹嵌入tokenizer.json tokenizer_config.json文本 TokenizerLlamaTokenizer 与对话模板frontend-config.jsonMel 前端24 kHz / 80 mel 特征提取参数二、大脑step1 3B 音频 LLM 与 8-bit 量化 model.safetensors是 StepFun 的 step1 语言模型也是本仓库中唯一的 8-bit 权重。从 config.json 可以看到核心结构32 层Transformer隐藏层宽度3072config.json48 个注意力头 / 4 个 KV 分组即采用 GQA 分组查询注意力推理更省显存上下文长度32768、词表大小74752其中包含音频 Token 空间位置编码使用 sqrt-ALiBi量化信息写在 config.json 的quantization字段bits: 8, group_size: 64, mode: affine也就是说每个 Linear 层和 Embedding 都按64 个权重一组做仿射 8-bit 量化。效果很直接LM 权重从 bf16 的 7.06 GB 压缩到3.75 GB而 Tokenizer、Flow、HiFT 仍保持 bf16 不变见 README.md。由于量化权重本身就是在加载路径上按相同规则生成的加载即量化结果可精确复现。三、双 Tokenizervq02 管内容vq06 管音色 音频编辑的关键前提是内容不丢、声音要像双 Tokenizer 正是为此分工vq02语义编码器说了什么vq02-config.json 显示它基于ParaformerStreamingFunASR 的 ASR 编码器16 kHz 输入、80 mel经 LFR 帧堆叠lfr_m: 7后输入维度达560vq02-config.json编码器为50 块 SANM结构输出 512 维语义特征码本大小1024step-audio-tokenizer-config.json它负责语义保真——无论怎么改情绪和风格转录文字保持不变。vq06声学编码器怎么说vq06-config.json 是 Step-Audio-Tokenizer 的 S3 声学编解码器128 mel输入、1280 维隐藏层、20 头 × 6 层 Transformer码本大小4096输出 Token 速率25 Hzstep-audio-tokenizer-config.json即每秒语音约 25 个 Token它承载音色、韵律、笑声/叹气等非语言信息。附属的 step-audio-tokenizer-config.json 还定义了静音修剪参数trim_top_db: 20、左留 0.05 s / 右留 0.22 s与 30 s 分块上限等预处理细节。四、Flow把音频 Token 还原成梅尔频谱 ️LLM 输出的新 Token 还是离散符号Flow 模型负责把它变回连续的声学表征flow-model一个 16 层 Transformer 估计器estimator_depth: 16输入 320 通道、输出80 mel频谱推理采用CFG 率 0.7的条件引导flow-model-config.jsonflow-conditioner把条件信息打包给 Flow。配置中vq02_pad_token: 1024、vq06_prompt_offset: 1024、vq06_vocoder_base: 1025flow-conditioner-config.json恰好说明——vq02 与 vq06 两套码本被拼进同一张 5121 词的嵌入表前 1024 留给 vq02从 1024 开始偏移排布 vq06 Token说话人维度spk_embed_dim: 192正好对接 CAM 的 192 维声纹嵌入prompt_mel_upsample: 2用于参考音频梅尔频谱的上采样对齐五、HiFT 声码器梅尔频谱到 24 kHz 波形 ️hift-config.json 是最后的最后一公里输入 80 mel与 frontend-config.json 的 24 kHz / 80 mel 前端参数对齐f0 预测器 NSF 激励源8 个谐波、sigma: 0.003建模音高与气息三级上采样8 × 5 × 3 120 倍配合 ResBlock 与 ISTFTn_fft: 16, hop: 4重建波形输出采样率24000 Hz幅度钳位在 0.99 防爆音hift-config.json六、CAM零样本克隆的声纹钥匙 campplus-config.json 定义了 CAM 说话人模型80 mel 特征输入输出192 维段级segment嵌入campplus-config.json。这个 192 维向量正是 Flow 的spk_embed_dim所需的条件——给定几秒参考语音就能让编辑后的音频用同一副嗓子说话。七、一次编辑的完整数据流 ⚡把四大组件串起来一次换成开心的语气的编辑流程是输入语音→ vq02 提取语义 Token锁定说了什么输入语音→ vq06 提取 25 Hz 声学 Token锁定原音色与韵律文本指令 双 Token→ step1 LM 生成新的声学 Token 序列情绪改写、插入笑声/叹气、去噪、去静音新 Token CAM 声纹嵌入→ Flow 生成 80 mel 频谱梅尔频谱→ HiFT 声码器输出 24 kHz 波形八、实测表现8-bit 量化到底省了多少 据 README.md 在 M5 Max 上E19 评测集的实测数据指标int8 本仓库bf16 对照常驻内存6.2 GBMLX active 5.7 GB更高单次编辑峰值7.3–7.7 GB—实时因子 RTF0.51–0.530.72–0.75加载耗时0.5 s—ASR 内容误差0.000四项测试编辑全通过同说话人相似度0.83–0.97同DNSMOS 音质3.45–3.49同结论量化后速度提升约 40%内容零丢失、音色质量与 bf16 同档。近并列采样点上的 Token 会与 bf16 略有差异这是量化模型的正常现象不影响听感。九、如何加载与许可说明Swift推理库 ≥ 0.1.1 的EditXPipeline.load(bundle:)会直接从 config.json 读取量化参数加载本仓库Pythonmlx-speech支持这种布局的 int8 LM 包其--bits 8转换器写入相同的权重键许可方面见 README.mdLM、Flow、HiFT 与 S3 Tokenizer 为 Apache-2.0StepFunParaformer 编码器遵循 FunASR 模型许可CAM 为 Apache-2.0Alibaba。一句话总结Step-Audio-EditX-8bit 3B 音频 LLM8-bit 量化大脑 双 Tokenizer内容与音色双保险 FlowToken 到频谱 HiFT频谱到波形四个组件各司其职让你在 Apple Silicon 上以超过实时的速度把一段录音重新演绎成任何你想要的表达。赞分享【免费下载链接】Step-Audio-EditX-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Step-Audio-EditX-8bit点击查看免费下载相关推荐如何用同一条声音重演全新演绎3B音频LLM Step-Audio-EditX-8bit完全指南如何用同一条声音重演全新演绎3B音频LLM Step Audio EditX 8bit完全指南 Step Audio EditX 8bit 是 StepFun声音如何被“Token化”深度解析Step-Audio-EditX-8bit双音频Tokenizervq02与vq06声音如何被“Token化”深度解析Step Audio EditX 8bit双音频Tokenizervq02与vq06 Step Audio EditX 8从Mel谱到真实人声Step-Audio-EditX-8bit的Flow HiFT声码器原理深扒从Mel谱到真实人声Step Audio EditX 8bit的Flow HiFT声码器原理深扒 Step Audio EditX 8bit 是一个可在创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考