人工智能大模型语音微调模型量化【免费下载链接】DiarizationLM-Gemma-4-E4B-v1项目地址https://ai.gitcode.com/hf_mirrors/google/DiarizationLM-Gemma-4-E4B-v1点击查看免费下载做完 ASR自动语音识别 说话人分离后转写文本里的说话人错标几乎是不可避免的一句话被安到另一个人头上、嗯好的这类短回应被误判成新说话人、回合边界切错。DiarizationLM-Gemma-4-E4B-v1正是为此设计的说话人分离后处理大模型——基于 Gemma 4 E4B4B 参数微调直接读取带speaker:1标签的转写文本一次性修正说话人标签、回合边界与短回应归属。本文带你从模型下载到批量转写修正跑通完整的端到端工作流。 为什么需要说话人后处理传统分离流水线如 USM turn-to-diarize有三个常见痛点声学边界漂移噪声环境或快速抢话场景下短语句的说话人聚类容易切错说话人身份漂移3 人以上长会议中同一人前后的说话人编号可能串号短回应误判单个嗯、对常被误标为倾听者污染下游统计。DiarizationLM 的思路是把 LLM 当作后处理大脑声学模型给出粗略标签LLM 结合对话逻辑纠正错标。DiarizationLM-Gemma-4-E4B-v1 在Fisher、Callhome、ICSI、AMI四大基准语料覆盖 2 人电话通话到 3–9 人会议上用位置保持型监督Locality-Preserving Oracle Supervision微调比 8B 参数的上一代模型在 WDER 和 cpWER 上同时取得显著提升p 0.0001。 模型亮点4B 参数为何更强训练目标明确教模型区分两类场景对 1–5 个词的短句回合边界、短回应大胆修正对 6 个词以上的长独白L ≥ 6保持说话人锚点稳定。官方基准结果对比 USM turn-to-diarize 基线基准数据集基线 WDER修正后 WDER相对改进Fisher172 场会话5.32%2.99%-2.33%Callhome20 通电话7.74%4.92%-2.82%ICSI3 场会议14.70%14.10%-0.60%AMI16 场会议15.68%14.89%-0.79%完整训练配置、置信区间和逐指标对比见 README.md模型结构参数42 层、混合滑窗注意力、262144 词表见 config.json。 一键获取模型三种规格怎么选克隆模型仓库按需只下载对应格式避免全量 26 GBgit clone https://gitcode.com/hf_mirrors/google/DiarizationLM-Gemma-4-E4B-v1文件大小适用场景model.safetensors~16.0 GBGPU transformersbfloat16精度最高DiarizationLM-Gemma-4-E4B-v1-q4_k_m.gguf~5.30 GB推荐llama.cpp/ Ollama /llama-cpp-pythonDiarizationLM-Gemma-4-E4B-v1-q4_0.gguf~5.15 GB旧版llama.cpp兼容分词与生成配置tokenizer.json、generation_config.json、chat_template.jinja、processor_config.json均随仓库提供开箱即用。✍️ 准备输入ASR 转写文本的标签规范模型接收带speaker:N标签的纯文本。ASR 分离的原始输出通常长这样speaker:1 Hello, how are you doing speaker:2 today? I am doing well. What about speaker:1 you?推理时只需包进标准 prompt与 chat_template.jinja 的对话格式一致|turnuser speaker:1 Hello... speaker:2 today? ... -- turn| |turnmodel模型会输出修正后的文本以[eod]结尾。随后用diarizationlm库的transfer_llm_completion函数把结果转写保持式地贴回原文——只改说话人标签不改 ASR 转写的字词。这是官方推荐的 Transcript-Preserving Speaker Transfer 模式。⚙️ 批量修正工作流五步跑完全量切分按会话拆分转写文本。模型训练时按 4,000 字符切段最长 2,560 token批量处理建议沿用该长度打标确保每个语句都带speaker:N前缀推理逐段构造 prompt 生成补全强制确定性输出do_sampleFalse回写先utils.truncate_suffix_and_tailing_text(completion, [eod])去尾部标记再utils.transfer_llm_completion(completion, HYPOTHESIS)完成标签回写拼接落盘把修正后的片段拼回完整会话生成带说话人信息的 JSON 或 RTTM。Python 最小示例pip install transformers diarizationlmfrom diarizationlm import utils from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer AutoTokenizer.from_pretrained(google/DiarizationLM-Gemma-4-E4B-v1, device_mapcuda) model AutoModelForCausalLM.from_pretrained( google/DiarizationLM-Gemma-4-E4B-v1, torch_dtypebfloat16, device_mapcuda) prompt f|turnuser\n{HYPOTHESIS} -- turn|\n|turnmodel\n inputs tokenizer([prompt], return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokensint(inputs.input_ids.shape[1] * 1.2), do_sampleFalse, use_cacheTrue) completion tokenizer.batch_decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokensTrue)[0] completion utils.truncate_suffix_and_tailing_text(completion, [eod]) result utils.transfer_llm_completion(completion, HYPOTHESIS)没有 GPU、想在 CPU 或小机器上批量跑直接用 GGUF 版本llama-cli -m DiarizationLM-Gemma-4-E4B-v1-q4_k_m.gguf \ -p $|turnuser\nspeaker:1 ... -- turn|\n|turnmodel\n \ --temp 0.0 -n 128⚠️ 批量处理避坑指南5 个常见问题务必关闭采样generation_config.json 默认do_sampletrue但修正任务必须用do_sampleFalse/--temp 0.0固定输出否则同一段文本多次运行结果不一致难以对账输出长度设 1.2 倍max_new_tokens ≈ 输入 token 数 × 1.2最稳妥给得太大可能生成多余内容别超字符上限单段 prompt 建议不超过 4,000 字符长文本先切段再批量提交保证上下文利用效率多人长会议放心用模型专门在 ICSI/AMI 多人会议上训练能有效缓解长独白后半段的说话人身份漂移——这是早期只在 2 人电话数据上训练的模型做不到的不要直接拿原始输出落库一定走transfer_llm_completion回写直接存模型输出可能连带改动转写字词破坏与原始 ASR 的对齐。 相关资料项目说明、基准评测、完整使用示例README.md模型结构与分词配置config.json、tokenizer_config.json对话模板chat_template.jinja许可证LICENSEApache-2.0论文出处Wang et al.,DiarizationLM: Speaker Diarization Post-Processing with Large Language Models, Interspeech 2024赞分享人工智能大模型语音微调模型量化【免费下载链接】DiarizationLM-Gemma-4-E4B-v1项目地址https://ai.gitcode.com/hf_mirrors/google/DiarizationLM-Gemma-4-E4B-v1点击查看免费下载相关推荐DiarizationLM-Gemma-4-E4B-v1训练原理揭秘Locality-Preserving Oracle如何终结说话人漂移DiarizationLM Gemma 4 E4B v1训练原理揭秘Locality Preserving Oracle如何终结说话人漂移 Diarizati人工智能大模型语音微调模型量化DiarizationLM-Gemma-4-E4B-v1提示词格式完全解析speaker:N标签怎么写才不踩坑DiarizationLM Gemma 4 E4B v1提示词格式完全解析speaker:N 标签怎么写才不踩坑 DiarizationLM Gemma 4人工智能大模型语音微调模型量化谷歌发布DiarizationLM-Gemma-4-E4B-v14B参数说话人分离后处理模型四大基准全面领先谷歌发布DiarizationLM Gemma 4 E4B v14B参数说话人分离后处理模型四大基准全面领先 谷歌开源的 DiarizationLM Gem人工智能大模型语音微调模型量化上一篇彻底解决Mise任务运行器依赖追踪难题从循环依赖到并行执行的完整方案下一篇3分钟搞定微信密钥提取PyWxDump内存分析实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考