最近语音合成圈里讨论热度很高的开源项目里dots.tts 应该算一个。它是小红书开源出来的语音合成模型基座主打的路线是连续自回归。很多人第一次看到这个名字会默认把它归进“音色克隆工具”那一类但它真正想改变的不是让某个声音更像而是整个语音合成链路里“信息压缩与还原”的方式。连续自回归这个技术词听起来很深实际上它决定了模型能不能保留一句自然说话里最细的停顿、气息和情绪起伏。这篇文章不打算只做项目安利我会把它解决的问题、复现路径、评估方式、生产化缺口和适用边界都摊开讲一遍。1. dots.tts 和它的“连续自回归”到底在改什么1.1 从“音色像”到“说话方式像”如果你过去两三年持续关注语音合成会看到一个现象大多数开源项目在宣传时都会强调“音色克隆”“相似度”。确实从拼接合成到参数合成再到端到端模型音色还原这件事已经解决得相当好了。但真实产品里的用户抱怨往往不是“声音不像”而是“一听就是机器在说话”。这里的关键差异是“谁在说话”和“怎么说话”。音色回答的是前者韵律、停顿、重音、语气、气息回答的是后者。一个模型如果把参考音频的音色学得像却把每句话都读成平铺直叙的新闻稿那它只能算做到了“像皮不像骨”。dots.tts 之所以受关注不是因为它第一个做到音色像而是它选择了一种信息保留率更高的路线连续自回归。这会直接影响“怎么说话”的质量也正是它作为开源基座模型最有讨论价值的地方。1.2 离散 token 的信息瓶颈要理解连续自回归先要看上一代主流方案。VALL-E 这类模型会把语音通过音频编解码器压缩成离散 token也就是把一段连续的声音“翻译”成一串编号然后让语言模型像预测文字一样逐个预测下一个 token。这种做法的好处很明显可以复用大语言模型的训练框架、推理框架和数据管线。但代价也很明显——离散化本身是有损的。语音里的音高微变化、气息、辅音细节、情绪导致的发声松紧在量化后都会损失一部分。模型再聪明也只能在已经丢失信息的基础上做重建。打个比方把一张高清照片转成像素画轮廓还在但过渡和层次没有了。离散 token 对语音做的事情本质上就是把连续声音压成像素画。过去业界靠更大的模型、更强的声码器来弥补这个损失但信息一旦丢掉补起来就是事倍功半。1.3 连续自回归试着“不丢信息”dots.tts 的连续自回归路线字面意思是不再把语音强行压成离散编号而是让模型直接在连续空间里预测“下一个语音表示”。这样的表示保留了更多原始信息尤其是那些决定语气自然度的细微信号。但这条路不是免费的。离散自回归每一步都在做分类任务直接用交叉熵就能训练连续自回归没有天然类别需要在每一步之后接一个生成式采样模块常见做法包括 flow matching 或扩散式采样。训练稳定性、采样时间、模型收敛难度都因此更高。这也是为什么过去几年开源 TTS 很少走这条路近两年才逐渐变成研究热点。dots.tts 以一个开源基座模型的形式出现相当于把这条路的门槛从“实验室自研”降到了“下载权重就能跑”。对想研究或二次开发的团队来说这是很有价值的一步。2. 连续自回归模型的分工先说“怎么表达”再谈“怎么渲染”2.1 自回归每一步都回头看先解释一下自回归到底是什么意思。自回归模型在生成第 n 个片段时会参考前面已经生成的 n-1 个片段。这和说话很像一个人说出一句完整的抱怨之前其实已经在脑子里大概规划好了整句的语气曲线。离散自回归和连续自回归都有这个“回头看”的机制。差别在于离散模型看的是被压缩后的编号连续模型看的是更接近原始声音的连续特征。后者在做长句时更容易维持语气的一致性不容易出现前半句正常、后半句突然“变脸”的问题。从直觉上理解自回归是让模型“边生成边校对”。它每生成一个新的语音片段都能综合当前已经说过的内容动态调整接下来的语气。这种设计天然适合语音因为自然语言本身就是一句一句往前推进的。2.2 中间表征和声码器谁说了算需要注意连续自回归模型生成的往往不是最终的波形而是一种中间表征。这个表征可以理解为“一段语音的表达计划”包括音高走向、节奏、音色特征。真正把这些表达计划变成可听声音的是后面的声码器vocoder。这个分工很重要。它决定了最终音质不是模型单独决定的。如果你在同一模型上换一个声码器听感可能完全不同反过来如果模型本身的表达信息丢失声码器再强也无法补回“怎么说”的自然度。用一个不精确但好懂的类比模型是导演声码器是摄影机。导演决定演员怎么演摄影机决定