【免费下载链接】Dia2-2B-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Dia2-2B-bf16点击查看免费下载Dia2-2B-bf16是一个为 Apple SiliconMLX优化的双人对话语音合成TTS模型它的声音出口正是 Kyutai 开源的Mimi 音频编解码器——一套采用32 Codebook 多层量化、以12.5 Hz 帧率工作的神经音频编解码器。这篇指南将带你快速搞懂Mimi 是什么、32 个 Codebook 解决什么问题、12.5 Hz 帧率为什么让本地合成跑得飞快。一、先认识项目Dia2-2B-bf16 是什么Dia2-2B 来自 Nari Labs是一个双说话人对话 TTS你只需写一段带[S1]/[S2]标记的剧本它就能让两位角色在同一段音频里自然对话一口气合成完整场景。当前仓库 Dia2-2B-bf16 是它的MLX / bf16 权重版本专为 Apple 芯片本地推理打造。仓库里的文件分工非常清晰文件作用精度model.safetensorsDia2 解码器主干28 层 Transformer depformer 解码模块bf16mimi.safetensorsKyutai Mimi 音频编解码器32 codebooks12.5 Hz24 kHzfloat32config.json模型与运行时配置其中声明了num_codebooks: 32—tokenizer.json、vocab.jsonGPT-2 风格 BPE 分词器与词表—special_tokens_map.json特殊标记[S1]、[S2]及(laughs)等副语言 token— 换句话说model.safetensors负责想说什么mimi.safetensors负责把 token 还原成真实波形。两者缺一不可这正是本文的主角组合。二、Kyutai Mimi 音频编解码器神经音频的通用翻译官传统的 TTS 流程是文本 → 声学特征如 Mel 频谱→ 声码器。而 Mimi 走的是另一条更现代的路编码器把 24 kHz 的原始音频压缩成一串离散的音频 tokenaudio tokens就像给音频分词解码器把 token 序列还原成波形。这样语音合成就变成了一件和写文章一模一样的事——自回归地一个 token 一个 token 地生成音频。大语言模型擅长什么它就能做什么。Mimi 由 Kyutai 实验室开源Moshi 实时语音模型同款编解码器本仓库中 config.json 明确标注了它的身份mimi: { num_codebooks: 32, source: kyutai/mimi }⚠️ 注意 mimi.safetensors 采用了 moshi-swift 的模块布局融合的 attention 权重、MLX 的卷积权重排布如果你用别的加载器去读它可能会找不到对应的 key——这是移植适配的结果详见 README.md 的 Layout note。三、32 Codebook为什么音频要叠 32 层来描述这是 Mimi 最精妙的地方。一句话的音色、气息、齿音细节非常丰富单层量化根本装不下。Mimi 的解法是RVQ残差向量量化先把每一帧音频量化成第一个码本里的 code得到最粗粒度的描述对没被表达完的残差再查第二个码本补一层细节如此层层叠加——32 个 Codebook 就像 32 位描图师从语气骨架到音色纹理一帧音频最终由 32 个叠起来的 code 完整刻画。 打个比方第 1 层画轮廓中间几层补明暗最后几层修发丝。32 层叠完声音的细节分辨率就足够逼真了。那么 32 个 code 是同时输出还是一个一个蹦出来答案是后者靠的就是 config.json 里的delay_patterndelay_pattern: [16, 18, 18, 18, ...]这是一个 33 个元素的错峰表模型每一时间步只生成一路code各路依次错开把 32 层量化摊平到时间轴上自回归生成——既保证了逐 token 生成的简洁性又让 32 层信息完整保留。四、12.5 Hz 帧率Mimi 让合成又快又省的秘诀 第二个关键词是12.5 Hz。它意味着1 帧音频 token 80 毫秒声音24000 采样 ÷ 12.51 秒钟的音频只需要12.5 帧也就是十几步生成决策。对比动辄 50~100 Hz 的传统声学模型序列长度直接缩短了一个数量级。带来的好处非常实际生成快在 Apple M5 Max 上实测约1.8 倍实时速度——比说话还快内存省模型自身工作集 ≤ 1.2 GB无论合成 3 秒还是 101 秒的片段都保持稳定上下文长config.json 中max_context_steps: 1500足够支撑整段长对话。对新手来说这意味着一段 30 秒的双人对话本地推理几秒钟就能出结果且全程不离开你的设备。五、协作全流程文本 → token → 波形把前面几个部件串起来整条流水线是这样的分词tokenizer.json 把带[S1]/[S2]标记的剧本切成文本 token对话解码model.safetensors 中的 28 层 Transformer2048 维、GQA 16/8 注意力头自回归地生成文本 token 音频 token并按delay_pattern逐层吐出 32 路 code解依赖depformer4 层、5 组权重负责把 32 路 code 之间的依赖关系理顺保证量化层之间协调一致Mimi 解码mimi.safetensors 把音频 token 反量化、还原为 24 kHz 波形一段两位角色你来我往的音频就此诞生。 值得一提的是special_tokens_map.json 里内置了 40 多个副语言标记(laughs)笑、(coughs)咳嗽、(sighs)叹气、(whispers)耳语甚至(gunfire)、(siren)这类环境音。剧本里写上这些词模型会真的演出来——对话感一下就活了。六、如何快速跑起来本地安装与使用本仓库是纯权重仓库推理由 Swift 生态的 MLXEngine TTS 包驱动。获取权重git clone https://gitcode.com/hf_mirrors/mlx-community/Dia2-2B-bf16基本用法Swiftlet wav try await engine.run(TTSRequest( text: [S1] Did you hear that? [S2] Hear what? Its the wind., metaData: [seed: .int(7)]))几个新手实用技巧双声线前缀给两位说话人分别提供参考音频referenceAudiospeaker2Audio人设会更稳定只给一位前缀时条件较弱随机种子用seed固定结果方便对比不同剧本的生成效果许可证Dia2 权重为 Apache 2.0LICENSEMimi 部分为 CC-BY-4.0二次使用请注意署名要求。七、常见问题FAQQ1为什么 bf16 精度会损失音质bf16 是 16 位浮点体积比 fp32 小一半在 MLX 上推理更快。仓库实测与上游 fp32 运行结果在采样噪声范围内一致音质损失可忽略。Q232 Codebook 越多越好吗codebook 越多单帧描述能力越强但生成成本也越高。32 层 12.5 Hz 是 Mimi 在保真度与速度之间验证过的平衡点。Q3为什么音频 token 词表是 2050见 config.jsonaudio_vocab_size: 2050即 2048 个量化 code外加audio_bos2048与audio_pad2049两个特殊 token与 32 路 codebook 体系一一对应。八、总结Kyutai Mimi是一个神经音频编解码器把音频变成 token、再把 token 变回 24 kHz 波形32 Codebook用多层残差量化为每帧声音叠出丰富细节delay_pattern让它们沿时间轴错峰生成12.5 Hz 帧率把生成序列缩短一个数量级是 M5 Max 上 1.8 倍实时合成的关键Dia2-2B-bf16将这套机制与双人对话模型结合让你在自己的 Apple 设备上几秒钟就听出一整段对白。️ 想动手体验的话克隆仓库、接上 Swift 运行时写下你的第一段[S1] ... [S2] ...剧本吧。赞分享【免费下载链接】Dia2-2B-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Dia2-2B-bf16点击查看免费下载相关推荐Breeze TTS 2模型架构揭秘Qwen3 1B骨干Mimi音频编解码器如何协同工作Breeze TTS 2模型架构揭秘Qwen3 1B骨干Mimi音频编解码器如何协同工作 Breeze TTS 2 是一款开源权重的语音合成TTS大模型10个Codebook如何解码出声Drama 3 Codebook-MTP 音频解码器原理10个Codebook如何解码出声Drama 3 Codebook MTP 音频解码器原理 Fish Audio Drama 3 是一款 35B 参数、面向多人工智能大模型语音音频揭秘Youtu-Parsing-Omni单一Omni编码器如何统一图像、音频与视频解析揭秘Youtu Parsing Omni单一Omni编码器如何统一图像、音频与视频解析 Youtu Parsing Omni 是腾讯优图实验室推出的 5B 级人工智能大模型多模态计算机视觉OCR语音音频视频创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考