moonshine-tts 中文简体zh_hansG2P 数据包解析词典、RoBERTa UPOS 模型与可复现构建流程【免费下载链接】moonshineVery low latency speech to text, intent recognition, and text to speech, for building voice agents and interfaces项目地址: https://gitcode.com/GitHub_Trending/moonshine3/moonshine本文围绕moonshine-tts简体中文zh_hansG2P字素到音素数据包展开逐项拆解其两份核心资产——dict.tsv普通话 IPA 词典与roberta_chinese_base_upos_onnx/ONNX 模型束说明它们在中文文本转语音流水线中的实际作用、数据来源以及从原始语料到可部署 ORT 权重对的完整复现命令。读完本文你将掌握该语言数据包的目录结构、C 侧消费它的三个关键类、split-model-weights.py拆分 ORT 权重对的原理以及修改模型后必须执行的配套步骤wasm 算子配置与归档重建。数据包组成词典 词性标注模型的双通道设计简体中文包位于 core/moonshine-tts/data/zh_hans/是moonshine-tts按语言组织的数据包之一同级还有日语、韩语、阿拉伯语等十余个语言包总览见 core/moonshine-tts/data/README.md。它由两部分组成分别解决中文 G2P 的两个难点资产内容与格式在 G2P 流程中的角色dict.tsv词/短语 → 普通话 IPA 的制表符分隔词典提供词级读音配合词性感知POS-aware消歧处理常见多音字roberta_chinese_base_upos_onnx/RoBERTa 词元分类 ONNX 模型束WordPiece 分词 UPOS 通用词性标注在 C 侧由ChineseTokPosOnnx/ChineseOnnxG2p消费负责分词与词性特征提取两条通道的分工在源码中体现得非常清楚。ChineseOnnxG2p见 chinese-onnx-g2p.h内部持有两个对象ChineseTokPosOnnx tok_跑 ONNX 模型对输入文本做 BIO 序列标注返回一列(surface, UPOS)二元组ChineseRuleG2p lex_加载dict.tsv词典对每个词执行基于规则的多音字消歧与 IPA 生成。ChineseOnnxG2p::text_to_ipa的调用链见 chinese-onnx-g2p.cpp是先对输入做 NFC 规范化借助 utf8proc再由tok_.annotate()得到(词, 词性)对最后逐词调用lex_.word_to_ipa_with_pos(word, pos)——词性正是这里的关键输入。ChineseOnnxRuleG2p则是将其包装成统一的RuleBasedG2p接口见 rule-based-g2p-factory.cpp 中的kG2pChineseOnnxDirKey注册逻辑并声明与纯规则版ChineseRuleG2p相同的方言 ID 集合zh、zh-Hans、zh_CN、zh-CN、zh_hans、zt、cmn、Chinese见 chinese.cpp。POS 感知的多音字消歧词典的深度用法dict.tsv之所以强调“配合 POS-aware 消歧”是因为中文多音字必须结合句法角色才能定音。ChineseRuleG2p::disambiguate_heteronym见 chinese.cpp内置了一组经典多音字的手写规则例如行名词性noun_like_pos集合取xɑŋ/xɤŋ动词性verb_like_pos集合取ɕɪŋ了AS/SP/ETC/PART等助词位取lɤ动词位VV/VERB取ljɑʊ没动词性取meɪ名词性取mɤ/mɔ着 / 地 / 得 / 长 / 数等均按verb_like_pos、noun_like_pos以及DEV/ADV/DER等专用标签分派。其中verb_like_pos集合包含VV, VA, VE, VC, LB, BA, SB, MSP, AS, DER, DEV, DEC, VERB, AUX, ADVnoun_like_pos包含NN, NR, NT, LC, OD, M, CD, DT, PN, NOUN, PROPN, ADJ, DET, PRON, NUM另有skip_phonetic_posPU, SP, URL, EM, NOI, PUNCT, SYM, X用于跳过无需注音的词元见 chinese.cpp。这些标签恰好就是 RoBERTa UPOS 模型输出的 UPOS/BIO 标签体系两条通道因此是严丝合缝的上下游。此外词典查询失败时还有三级回退chinese.cpp逐汉字查单字读音 → 阿拉伯/全角数字转汉字后注音 → 纯 ASCII 字母按小写原样输出。数据来源Provenance数据包 README 明确记录了每份资产的出处dict.tsv源自 open-dict-data/ipa-dict 的data/zh_hans.txtMIT 协议由scripts/download_multilingual_ipa_lexicons.py拉取生成ONNX 模型束源自 Hugging Face 上的 KoichiYasuoka/chinese-roberta-base-upos 模型。这意味着词典本体是开放许可数据模型则是把公开的 RoBERTa UPOS 检查点导出为 ONNX 后按需裁剪两条链路都可从源头重新构建。完整复现流程Recreating复现流程分三步先重建词典再导出 ONNX最后拆分为可部署的 ORT 权重对。第一步重建词典python scripts/download_multilingual_ipa_lexicons.py --only zh_hans--only zh_hans表示只拉取简体中文这一份避免全量下载其余十个语言包。该脚本在 core/moonshine-tts/data/README.md 的“再生验证”一节被列为确定性配方——2026-03-30 的验证中de/fr/it/ja/ko/nl/pt_br/pt_pt/ru/vi/zh_hans十一个dict.tsv均与仓库树中文件逐字节一致。第二步导出 RoBERTa UPOS ONNXpip install torch onnx transformers numpy python scripts/export_chinese_roberta_upos_onnx.py导出脚本默认输出到data/zh_hans/roberta_chinese_base_upos_onnx/会同时产出model.onnx、vocab.txt、tokenizer_config.json、meta.json及若干可选的 tokenizer 附属文件。执行前请留意脚本内关于 PyTorch /transformers版本兼容性的注释。第三步拆分为 ORT 权重对python scripts/split-model-weights.py \ data/zh_hans/roberta_chinese_base_upos_onnx/model.onnx这一步会写入两个文件脚本本体就在仓库中见 scripts/split-model-weights.pymodel.model.ort融合后的计算图权重声明为图输入、本身不携带权重数据model.weights.ortint8 权重 反量化链在加载时反量化一次。为什么.onnx只是中间产物、不提交进仓库README 给出的理由是wasm 运行时是一个裁剪到极致的 ORT 构建完全无法读取.onnx格式必须使用 ORT 格式。其底层机制详见 core/moonshine-tts/src/split-weights.h 与 scripts/split-model-weights.pyORT 格式在转换时就把图优化graph optimization烘焙进文件加载时不再重新做优化对以 int8 存储、经Cast - Mul - Add链反量化的权重直接折叠成 float32 会使文件膨胀约 4 倍而保留反量化链则每次推理都要重复执行拆分的折中方案model.model.ort保留全部算子融合但把权重改成输入model.weights.ort只保留 int8 数据与反量化链运行时启动时执行一次权重模型把 float32 结果喂给计算图之后每次推理都复用run_split_weights_model执行完即释放权重会话只保留 float32 结果常驻内存。值得注意split-weights.h 同时定义了kSplitWeightsMinSequenceLength 32当权重是图输入时ORT 无法在加载时对常量MatMul操作数做分块预打包短序列会落入非打包内核导致推理明显变慢调用方应把短序列 padding 到该长度再掩码掉填充。ChineseTokPosOnnx头文件中的max_sequence_length_ 512与pad_id_ 1见 chinese-tok-pos-onnx.h正是这一机制的配套约束。第四步确认 C 侧加载所需的最小文件集C 加载器至少需要以下文件model.model.ortmodel.weights.ortvocab.txttokenizer_config.jsonmeta.json导出时产生的额外 tokenizer 文件对 C 加载器是可选的。同时加载器也兼容磁盘上单个model.ort或model.onnx的形态。随后把dict.tsv与模型目录按需复制进data/zh_hans/即可——这正是resolve_chinese_dict_pathmodel_root/zh_hans/dict.tsv与resolve_chinese_onnx_model_dirmodel_root/zh_hans/roberta_chinese_base_upos_onnx所约定的目录布局见 chinese.cpp。字节稳定性哪些能复现哪些不能数据包 README 对“重新导出是否与提交产物一致”给出了审慎的结论并建议以meta.json tokenizer 资产 一致性测试作为契约而非追求逐字节一致meta.json与vocab.txt多次观察均能逐字节复现tokenizer_config.json可能因transformers版本差异出现小的 JSON 差异model.onnx由于 PyTorch ONNX 后端、int8 收缩shrink与 opset 路径的影响不能保证逐字节一致。这一结论在 core/moonshine-tts/data/README.md 的“再生验证2026-03-30”表格中被进一步证实export_chinese_roberta_upos_onnx.py的复现结果被标记为Partial——meta.json、vocab.txt匹配tokenizer_config.json仅差一个空的extra_special_tokens键而model.onnx在 torch 2.10 下因图结构/int8 收缩路径不同而存在差异。相比之下词典配方是确定性的这也是为何“词典逐字节一致、Transformer 导出允许字节漂移”成为多语言包的通用经验法则。一致性测试golden 文件验证仓库通过 golden 文件测试锁定行为契约见 chinese-tok-pos-onnx-test.cpp单句测试对上海是一座城市。调用annotate把format_annotated_line的输出与 golden 参考文件位于tests/data/zh_hans/下的tok_pos_sample.txt逐字符比对语料测试取zh_hans/wiki-text.txt前 100 行与tok_pos_wiki_filtered.txt逐行比对并刻意跳过混合脚本 / NFC 边缘情况的行与 Python 端 WordPiece 路径的行为保持一致结构约束当磁盘上是拆分权重对时uses_split_weights()必须为真——测试明确注释“回退到单文件虽能通过 golden 检查但会失去加载期收益”直接约束了加载路径必须真正启用拆分机制。修改模型后的配套动作wasm 算子配置与归档重建这是数据包 README 的最后一条硬性提醒也是实际维护中最容易踩坑的一步修改该模型后必须重新生成 wasm 算子配置并重建归档否则浏览器端构建将无法加载该模型。原因是 wasm 运行时是裁剪后的最小 ORT 构建只包含列入白名单的算子新增算子或变更图结构都可能超出白名单。具体操作细节参见 language-bindings/wasm/README.md 中 “The minimal build, and what it costs you” 一节以及仓库中的 scripts/generate-ort-op-config.py生成算子白名单配置与 scripts/convert-models-to-ort.pyORT 格式转换的总入口。也就是说一次完整的模型升级流程是重新导出 ONNX → 拆分 ORT 权重对 → 更新generate-ort-op-config.py产出的算子配置 → 重建 wasm 归档 → 用 golden 测试验证行为一致。小结一份数据包三处工程取舍回顾整个zh_hans数据包可以提炼出三个贯穿始终的工程决策也适用于其他语言包双通道设计词典解决“读音”ONNX 词性标注解决“该读哪个音”两者通过 UPOS 标签体系耦合兼顾了覆盖面词典覆盖不到的走逐字回退与准确率多音字按句法消歧ORT 拆分而非直接提交 ONNX既绕开了 wasm 最小构建无法解析.onnx的限制又避免了 int8 反量化链每次推理重复执行的代价——反量化被压缩为“加载时执行一次”字节稳定性分级对待词典确定性复现Transformer 模型以“meta.json tokenizer 一致性测试”为契约允许版本漂移用 golden 测试而非字节哈希来守护行为。对于需要定制中文语音合成或自建中文 G2P 的开发者这个数据包本身就是一个可完整复现的参考实现从开放词典、公开模型检查点到仓库内的拆分脚本与一致性测试全链路闭环可按本文的命令逐步重建属于自己的版本。【免费下载链接】moonshineVery low latency speech to text, intent recognition, and text to speech, for building voice agents and interfaces项目地址: https://gitcode.com/GitHub_Trending/moonshine3/moonshine创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考