Moonshine TTS 俄语 G2P 词库ru/dict.tsv完全解析数据来源、重建流程与 C 规则引擎集成【免费下载链接】moonshineVery low latency speech to text, intent recognition, and text to speech, for building voice agents and interfaces项目地址: https://gitcode.com/GitHub_Trending/moonshine3/moonshine俄语是 Moonshine 语音代理方案中通过“规则 词库”而非神经网络完成字素到音素G2P转换的代表性语言。本文以仓库内俄语数据包说明文档 core/moonshine-tts/data/ru/README.md 为骨架完整讲解其唯一核心资产dict.tsv词 → IPA的用途、格式、来源、许可与重建命令并下沉到 C 源码层剖析 RussianRuleG2p 如何加载该词库、查词与规则回退、处理重音与腭化以及相关配置项与测试。读完本文你将掌握如何重建俄语词库、如何把它接入moonshine-tts的 G2P 管线并能定位词库缺失时的报错原因。一、俄语数据包在 Moonshine TTS 中的定位Moonshine 的 TTS 与 G2P 管线为每种语言维护一个独立的数据包统一放在 core/moonshine-tts/data 目录下由--model-root指向后供 C 运行时加载。俄语包ru/是其中一员它在 data/README.md 的目录表中被明确标注为Russian IPA lexicon。这个包只有一个核心产物文件内容dict.tsv词 → IPA 的映射表供 CRussianRuleG2p查词使用source.txt重建时一并写出的来源记录文件记录抓取/来源信息需要特别说明的是词库二进制数据并不直接入库。data/README.md 明确指出 Binaries are not checked into git运行时由 SDK 按需从 CDN 下载或离线构建前用仓库根目录的 scripts/fetch-voice-assets.sh 拉取。因此当前仓库内ru/目录下实际可见的只有这份 READMEdict.tsv需要按下文流程重建或获取。二、dict.tsv 的作用与格式2.1 它服务谁从源码结构看dict.tsv是 RussianRuleG2p 的构造入参class RussianRuleG2p : public RuleBasedG2p { public: explicit RussianRuleG2p(std::filesystem::path dict_tsv); explicit RussianRuleG2p(std::filesystem::path dict_tsv, Options options); ... std::unordered_mapstd::string, std::string lexicon_; };构造函数会把该 TSV 文件整体读入内存中的lexicon_哈希表键为规范化后的俄语词形值为 IPA 串供后续查词。2.2 格式约定词库加载逻辑位于 russian.cpp 的load_russian_lexicon_stream它定义了严格的格式规则每行一词条行首为#或空行直接跳过支持注释行内以Tab\t分隔两列词形TABIPA缺少 Tab 的行被忽略两列各自去除首尾空白词形列先经过normalize_lookup_key_utf8规范化生成查找键见下文 §6键为空则跳过。例如一条典型的词条тест ˈtɛst测试代码 russian-rule-g2p-test.cpp 中构造临时词库时使用了тест\tˈtɛst这种形态可直接作为格式参考。三、数据来源与许可原文档 ru/README.md 的 Provenance 一节给出了明确的来源声明资产来源dict.tsvCUNY-CL/wikipron 的rus_cyrl_narrow抓取Apache-2.0 许可几个关键事实narrow 的含义WikiPron 相对 Wiktionary 原条目将发音标注为 narrow窄式音标本仓库将其用作俄语词典lexicon来源。许可Apache-2.0与项目整体许可兼容可放心在构建产物中随词库分发。抓取方式通过文档中提到的scripts/download_multilingual_ipa_lexicons.py脚本抓取。需要注意该脚本属于仓库维护者的数据管线脚本当前仓库树中并未包含它它只是 README 记录的上游获取路径在仓库内你实际可用的离线获取途径是 scripts/fetch-voice-assets.sh拉取 CDN 已发布资产。四、重建数据包Recreating原文档给出了唯一一条重建命令必须完整保留python scripts/download_multilingual_ipa_lexicons.py --only ru该命令执行后会在ru/数据包目录下写出两个文件dict.tsv—— 最终供 C 使用的词 → IPA 词库source.txt—— 抓取来源的记录文件。若文件未能直接写入目标目录README 提示手动拷贝即可Copy dict.tsv into data/ru/ if needed.也就是说重建流程是脚本生成 → 必要时拷贝dict.tsv到ru/目录最终产物必须落在--model-root可解析的位置见下节路径约定。五、词库路径约定与加载失败排查5.1 路径解析规则dict.tsv的查找路径由resolve_russian_dict_path定义russian.cppstd::filesystem::path resolve_russian_dict_path( const std::filesystem::path model_root) { return model_root / ru / dict.tsv; }即默认约定为model-root/ru/dict.tsv。在 russian.h 的注释中还记录了另一条备选路径model-root/../data/ru/dict.tsv与仓库内数据包的实际位置core/moonshine-tts/data/ru/一致。5.2 工厂装配与报错信息俄语引擎的装配入口是 rule-based-g2p-factory.cpp 的try_russian先通过dialect_resolves_to_russian_rules判断方言是否为俄语ru、ru-RU、RU_ru、russian大小写不敏感见 russian.cpp若配置了嵌入式资产kG2pRussianDictKeyru/dict.tsv直接从资产字符串构造引擎否则按g2p_root解析文件路径文件不存在时抛出明确错误Russian G2P: lexicon not found at path (set MoonshineG2POptions::files / russian_dict_path)遇到这条报错时解决路径有两个要么把dict.tsv放到--model-root/ru/下要么通过配置项russian_dict_path显式指定词库位置。5.3 相关配置项moonshine-g2p-options.cpp 解析与俄语相关的三个键配置键对应字段默认值说明russian_dict_pathfiles[kG2pRussianDictKey]无默认按路径约定查找覆盖词库文件位置russian_with_stressrussian_with_stresstrue输出 IPA 是否保留重音标记russian_vocoder_stressrussian_vocoder_stresstrue是否把ˈ/ˌ移动到音节核之前面向声码器的重音规整这些字段在 moonshine-g2p-options.h 中有默认值声明并经由try_russian传入 RussianRuleG2p::Options。六、查词流程词库优先规则回退词库不是唯一的转写来源它是查词优先、规则兜底双层策略的第一层。核心实现在lookup_or_rulesrussian.cpp流程为键规范化对原始词调用normalize_lookup_key_utf8生成查找键 —— 先按 Python 语义转小写含Ё→ё的特殊处理再做 NFD 分解剥离所有组合附加符号Mn 类最后只保留西里尔字母与连字符见 russian.cpp。这意味着词库中存Рома与рома会命中同一个键。整词查表命中直接返回词条 IPA。连字符词分块查表若整词未命中但含-如复合词按连字符拆分后逐块查表全部命中则用-拼接各块 IPA任一块未命中则放弃。规则回退全部未命中时调用rules_word_to_ipa进入纯规则转写russian.cpp覆盖音节切分、重音定位、元音弱化、辅音腭化等俄语正字法规则。规则转写的关键点包括音节划分russian_orthographic_syllables_utf8按元音字母切分音节连字符词递归拆分重音定位stress_syllable_index优先看词内ё字母俄语中 ё 永远带重音其次解析输入中 Unicode 锐音符U0301标记的重读元音序号见 russian.cpp元音弱化vowel_ipa实现非重读元音弱化如非重读а/о→ə非重读е/и→ɪ并依据后接环境区分я/ю/е的腭化元音jot读音russian.cpp辅音腭化emit_consonant对可腭化辅音б/в/г/д/з/к/л/м/н/п/р/с/т/ф/х在软音符号ь或前元音е/ё/и/ю/я前输出带ʲ的变体并处理ш→ʂ、ч→tɕ、щ→ɕː、ц→ts、ж→ʐ等特殊映射russian.cpp输出后处理finalize_iparussian.cpp根据Options决定是否剥离重音、是否做声码器重音移动并统一把词库中⁽ʲ⁾U207D U02B2 U207E这类即逝软音标记规范化为普通ʲ再套用 piper 风格归一化确保声码器能正确锚定腭化。另外俄语引擎还内置阿拉伯数字展开word_to_iparussian.cpp在expand_cardinal_digits true默认开时把\b\d\b与\b\d-\d\b形式的纯数字先展开为俄语基数词再走 G2P数字本身不直接进词库。七、词库加载的同形词优先级俄语中存在大量首字母大写词与小写词共享词形的同形词homograph。加载器对这种情况有明确的优先级策略russian.cpp当小写形式词条存在时它覆盖大写形式的词条因为规范化后两者共享同一个查找键。这一行为有直接的测试佐证russian-rule-g2p-test.cpp 构造了Рома→wrong与рома→right两条词条断言word_to_ipa(рома)返回right而非wrong。这提醒词库维护者同词形词条应优先以全小写形式收录否则会被覆盖。八、测试与验证手段俄语 G2P 的自动化验证集中在 russian-rule-g2p-test.cpp覆盖方言解析ru、ru-RU、RU_ru、russian均命中俄语规则de不命中L33-L40小写同形词覆盖大写词条L42-L49当启用MOONSHINE_TTS_WITH_G2P_CLASS时验证高层MoonshineG2P在ru方言下确实走规则后端uses_russian_rules()且结果与直接构造RussianRuleG2p一致L51-L60。如需手动验证词库效果可在构建后使用仓库内的 tools/moonshine-g2p-cli.cpp CLI以--model-root指向包含ru/dict.tsv的目录、方言参数传ru即可对任意俄语文本输出 IPA观察词库命中与规则回退两种路径的输出差异。九、小结从数据到引擎的完整链路总结俄语 G2P 数据与代码的协作关系数据侧dict.tsv由 WikiPronrus_cyrl_narrowApache-2.0抓取而来可通过python scripts/download_multilingual_ipa_lexicons.py --only ru重建产物需落到model-root/ru/dict.tsv加载侧RussianRuleG2p构造时按 Tab 分隔解析词库规范化键后存入哈希表小写词条优先查词侧整词查表 → 连字符分块查表 → 规则回退三层兜底保证任意俄语文本都有 IPA 输出配置侧russian_dict_path、russian_with_stress、russian_vocoder_stress控制词库位置与输出形态验证侧russian-rule-g2p-test.cpp覆盖方言判定、同形词优先级与高层集成路径。这套开源词库 规则引擎的组合让俄语 TTS 无需额外 ONNX 模型即可完成高质量的字素到音素转换是理解 Moonshine 多语言 G2P 架构数据驱动查词与语言规则互补的典型范本。【免费下载链接】moonshineVery low latency speech to text, intent recognition, and text to speech, for building voice agents and interfaces项目地址: https://gitcode.com/GitHub_Trending/moonshine3/moonshine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考