简介这是一套面向深度学习与语音识别方向的完整中文语音识别系统源码适合具备Python与神经网络基础、希望动手复现或二次开发的高年级本科生、研究生及算法工程师。项目将系统拆分为声学模型与语言模型两部分声学模型涵盖GRU-CTC结构并参考科大讯飞DFCNN改造出CNN-CTC模型使用时频图或fbank特征输入另提供基于pluse数据集的训练版本语言模型则引入CBHG结构可支撑端到端的识别流程。资源包共88个文件以30个py源码、30个txt说明、22个lst数据列表为主另含tsv、pkl等数据文件压缩包约34.55MB目录按acoustic_model与language_model分模块组织便于按需查阅。目前已有188人学习下载读者可借此掌握声学建模、语言建模、数据预处理与模型训练的完整链路并参考说明文档快速跑通训练流程。1. 拆开这个中文语音识别源码包它到底能不能跑通如果你手头正好有一批中文语音数据想快速搭一个能出声、能识别、还能继续改的语音识别系统这个基于 Python 和深度学习的中文语音识别源码包值得先看一眼。它把声学模型和语言模型拆成两个独立文件夹声学模型里既有 GRU-CTC也有基于科大讯飞 DFCNN 思路改造的 CNN-CTC还有用 pluse 版数据集直接训练的cnn_with_full.py语言模型里塞了一个基于 CBHG 结构的神经网络语言模型。整套代码用 Keras 和 TensorFlow 写成结构不算复杂适合想动手复现中文语音识别全流程、又不想从零造轮子的人。但源码包不是一键脚本数据准备、特征提取、标签对齐、训练参数这几步没处理好照样跑不出结果。下面按我实际拆包和试跑的顺序把能抄的步骤和容易翻车的地方一次讲清。2. 声学模型选型与训练GRU-CTC、CNN-CTC 和 cnn_with_full 怎么挑2.1 三个声学模型的结构差异和适用场景这个源码包的acoustic_model文件夹下有三个主要训练入口分别对应不同的网络结构和数据输入方式。gru_ctc_am.py实现的是 GRU CTC 的中文语音识别声学模型输入通常是 MFCC 或 fbank 特征循环层负责时序建模CTC 负责处理输入输出长度不对齐的问题。它的优势是结构简单、参数量相对小适合数据量不大、想快速验证流程的场景。cnn_ctc_am.py把 GRU 换成了 CNN并且参考了科大讯飞 DFCNN 的思路对网络结构做了稍加改造用卷积层堆叠来提取频域和时域特征训练速度比 GRU 快但需要的数据量更大。cnn_with_fbank.py是完全使用 DFCNN 框架搭建的声学模型把部分卷积层改成了 inception 结构输入使用时频图适合对频域细节要求更高的任务。cnn_with_full.py是新增的、使用 pluse 版数据集的模型源码说明里直接建议优先训练这个。选哪个不是拍脑袋决定的。如果你的数据只有几十小时先跑gru_ctc_am.py把 CTC 损失、标签映射、解码流程走通如果数据上百小时且显卡显存够直接上cnn_with_full.py它的卷积结构对中文这种带声调的语言更友好。cnn_with_fbank.py的 inception 结构对输入特征维度有要求fbank 特征维度要和网络第一层输入对齐否则会在 reshape 那一步报错。2.2 数据准备和特征提取的实操步骤源码包里data_process和gen_data文件夹负责数据预处理。中文语音识别常见做法是先做数据清洗把静音段过长的音频切掉然后提取 fbank 或 MFCC 特征。这个包里的train.wav.lst是音频文件列表格式一般是每行一个 wav 路径加对应的文本标注。我一般会先检查这个列表里的路径和实际文件是否一一对应再跑特征提取脚本。# 先确认音频列表和标注文件是否对齐 wc -l train.wav.lst # 检查前几行格式确保是 路径\t文本 或 路径 文本 head -n 5 train.wav.lst # 统计音频总时长估算训练数据规模 soxi -D *.wav | awk {sum$1} END {print sum/3600 hours}上面这几条命令不依赖源码包里的脚本但能帮你快速判断数据是否可用。wc -l看列表行数head看格式soxi统计总时长。如果总时长低于 10 小时建议先用 GRU-CTC 跑通不要直接上 CNN 结构否则过拟合会非常明显。特征提取部分源码里data_process下应该有提取 fbank 的脚本。常见做法是设置帧长 25ms、帧移 10ms、Mel 滤波器组 40 或 80 维。这个包没有在正文里写死参数但hyperparams.py里通常会有num_mel_bins、frame_length、frame_shift这类变量。训练前务必打开这个文件把特征维度和网络输入维度对一遍。# hyperparams.py 里常见的特征参数按自己数据改 num_mel_bins 40 # Mel 滤波器组数量要和网络输入层匹配 frame_length 0.025 # 帧长 25ms frame_shift 0.01 # 帧移 10ms sample_rate 16000 # 采样率中文语音常用 16k max_input_length 1000 # 最大输入帧数超过截断这些参数不是随便填的。num_mel_bins改成 80 后cnn_with_fbank.py的第一层卷积输入通道数也要跟着改否则会报维度不匹配。sample_rate必须和音频实际采样率一致源码里如果有重采样步骤确认它是不是把 8k 音频转成了 16k。max_input_length控制单条音频的最大帧数太长会爆显存太短会截断长句子我一般设成 1000 到 1500 之间根据自己数据里句子长度分布调整。2.3 训练入口和 CTC 损失配置以cnn_with_full.py为例训练入口一般会先加载特征文件、构建模型、编译时指定 CTC 损失函数。CTC 损失在 Keras 里通常用自定义层或tf.keras.backend.ctc_batch_cost实现。这个包里的model_layers.py可能封装了 CTC 层训练脚本里会调用。# cnn_with_full.py 里训练部分的核心逻辑示意 from model_layers import ctc_lambda_func import keras.backend as K # 假设 model 输出是 (batch, time, num_classes) # labels 是 (batch, max_label_length) # input_length 是 (batch, 1)label_length 是 (batch, 1) loss_out Lambda(ctc_lambda_func, output_shape(1,), namectc)([model.output, labels, input_length, label_length]) model Model(inputs[model.input, labels, input_length, label_length], outputsloss_out) model.compile(loss{ctc: lambda y_true, y_pred: y_pred}, optimizeradam)这段代码的关键在于ctc_lambda_func的输入顺序和形状。model.output是声学模型输出的概率分布labels是文本标签转成的数字序列input_length是音频帧数label_length是标签长度。这四个张量的形状必须和 CTC 损失函数要求的一致否则训练时 loss 会变成 NaN。常见做法是把input_length和label_length都做成(batch, 1)的形状labels用 padding 补齐到同一长度。如果训练几个 batch 后 loss 不降反升先检查labels里有没有超出num_classes的索引再检查input_length是否大于实际帧数。训练时建议先跑 5 到 10 个 epoch观察 loss 是否稳定下降。如果 loss 在 2.0 附近震荡不降大概率是学习率太大把adam的默认学习率 0.001 改成 0.0005 或 0.0001 再试。如果 loss 直接变 NaN检查特征里有没有 NaN 或 Inf用numpy.isnan扫一遍特征文件。3. 语言模型 CBHG 结构怎么和声学模型配合出结果3.1 CBHG 语言模型的输入输出和训练方式language_model文件夹下的CBHG_lm.py实现了一个基于 CBHG 结构的神经网络语言模型。CBHG 原本用于谷歌的声音合成这里移植过来做中文语言模型。它的输入是字符或词序列输出是下一个字符或词的概率分布。训练数据通常是纯文本语料不需要音频。源码包里lm_develop和language_model文件夹下应该有文本预处理和训练脚本。CBHG 的结构包含一维卷积、残差连接、 highway 网络和双向 GRU。这种结构对长距离依赖的建模能力比普通 RNN 强但参数量也更大。训练语言模型时常见做法是把文本转成字符级序列中文常用字大约 5000 到 8000 个加上起始符、结束符和 padding 符num_classes大概在 8000 左右。如果显存不够可以改成词级建模但词表会更大需要做词频截断。# CBHG_lm.py 里模型构建的核心参数示意 vocab_size 5000 # 字符表大小根据语料统计调整 embedding_dim 256 # 嵌入维度 conv_banks 16 # 卷积 bank 数量 max_seq_len 100 # 文本序列最大长度vocab_size要和实际字符表一致源码里如果有gen_data生成字符表的脚本先跑一遍得到vocab.txt。embedding_dim和conv_banks影响模型容量数据少的时候调小数据多的时候调大。max_seq_len控制单条文本长度太长会拖慢训练速度。3.2 声学模型和语言模型的对接方式声学模型输出的是字符或音素的概率序列语言模型负责在解码阶段对候选序列打分。这个源码包没有在正文里写死解码脚本但常见做法是用 CTC beam search 结合语言模型分数。具体来说声学模型先输出每个时间步的字符概率beam search 保留 top-k 候选语言模型对每个候选序列计算概率最后把声学分数和语言模型分数加权求和选总分最高的作为最终结果。# 解码阶段融合语言模型的简化逻辑 def decode_with_lm(acoustic_probs, lm_model, beam_width10, alpha0.5): # acoustic_probs: (time_steps, num_classes) # lm_model: 训练好的 CBHG 语言模型 # alpha: 语言模型权重 beams [(, 0.0, 0.0)] # (文本, 声学分数, 语言模型分数) for t in range(acoustic_probs.shape[0]): new_beams [] for text, ac_score, lm_score in beams: top_k np.argsort(acoustic_probs[t])[-beam_width:] for idx in top_k: new_text text idx_to_char[idx] new_ac ac_score np.log(acoustic_probs[t][idx] 1e-8) new_lm lm_score lm_model.score(new_text) new_beams.append((new_text, new_ac, new_lm)) beams sorted(new_beams, keylambda x: x[1] alpha * x[2], reverseTrue)[:beam_width] return beams[0][0]这段代码是解码融合的简化版实际使用时要注意alpha的调节。alpha太大语言模型会主导结果声学模型的信息被淹没alpha太小语言模型不起作用。我一般从 0.3 开始试根据验证集上的识别准确率调整。另外lm_model.score需要语言模型输出对数概率如果CBHG_lm.py输出的是 softmax 概率记得取 log。3.3 训练语言模型的注意事项语言模型训练不需要音频但文本语料的质量直接影响识别结果。常见做法是先用大量通用中文文本训练一个基础语言模型再用领域相关文本做微调。源码包里的lm_develop文件夹可能包含数据清洗和分词脚本。中文分词不是必须的字符级语言模型在很多场景下效果已经够用而且避免了分词错误带来的连锁问题。训练时如果 loss 下降很慢检查文本里有没有大量重复或乱码。如果 loss 突然变成 NaN检查vocab_size是否小于实际字符索引最大值。另外CBHG 结构里的 highway 网络对初始化比较敏感源码里如果有kernel_initializer参数不要随便改成zeros用默认的glorot_uniform或he_normal更稳。4. 避坑与排查跑这个源码包最容易翻车的五个地方4.1 现象训练时 loss 一直是 NaN换优化器也没用原因CTC 损失函数对输入长度和标签长度非常敏感。如果input_length大于实际音频帧数或者label_length大于标签实际长度CTC 计算会出现 log(0) 导致 NaN。另外特征里如果有 NaN 或 Inf也会直接传播到 loss。解决在数据加载阶段加一行检查确保input_length等于特征帧数label_length等于标签非 padding 长度。用np.isfinite(features).all()扫一遍特征发现 NaN 就定位到具体文件。如果特征提取时用了 log确保没有对零取 log加一个1e-8的偏移。4.2 现象模型训练 loss 正常下降但解码结果全是空白或重复字符原因CTC 解码时如果blank标签的索引设置错了模型会把所有输出都预测成 blank。或者 beam search 的beam_width太小候选序列不够导致重复字符没有被合并。解决检查hyperparams.py里blank_id是否和标签映射一致。常见做法是把 blank 设为 0字符从 1 开始编号。如果解码结果全是空白先把beam_width调到 20 以上再看输出。如果还是重复字符检查 CTC 解码时有没有做去重和去 blank 的后处理。4.3 现象cnn_with_fbank.py运行时报维度不匹配原因fbank 特征维度是 40 或 80但网络第一层卷积的输入通道数写死了是 1 或 3。源码里如果用了inception结构不同分支的输入维度也要一致。解决打开cnn_with_fbank.py找到第一层卷积的input_shape把通道数改成num_mel_bins。如果用了 inception 模块检查每个分支的Conv2D的filters和kernel_size确保输出维度能拼接。常见做法是把 fbank 特征 reshape 成(time, num_mel_bins, 1)再输入网络。4.4 现象语言模型训练时显存爆了batch size 降到 1 还是不够原因CBHG 结构里的卷积 bank 和双向 GRU 参数量很大max_seq_len设成 500 或 1000 时单条序列的激活值就占满显存。解决把max_seq_len降到 100 到 200 之间对长文本做截断。如果任务需要长文本改用梯度累积把 batch size 设成 1累积 8 到 16 步再更新一次参数。另外conv_banks从 16 降到 8 也能省不少显存但语言模型效果会打折扣。4.5 现象换了数据集后识别准确率骤降但 loss 看起来正常原因新数据集的采样率、音量、背景噪声和原数据集不一致声学模型提取的特征分布偏移了。语言模型如果没换领域不匹配也会拉低准确率。解决先检查新数据集的采样率是否和hyperparams.py里的sample_rate一致不一致就重采样。然后做音量归一化把音频峰值统一到 -3dB 左右。如果领域差异大用新数据微调声学模型同时用领域文本微调语言模型。微调时学习率调小到 0.0001训练 3 到 5 个 epoch 就够。5. 进阶技巧用cnn_with_full.py做迁移学习和解码调参cnn_with_full.py用的是 pluse 版数据集源码说明里建议直接训练这个模型。如果你自己的数据和 pluse 数据集领域接近可以直接在这个模型基础上做迁移学习。具体做法是加载预训练权重冻结前面的卷积层只训练后面的全连接层和 CTC 层。这样收敛快而且不容易过拟合。# 迁移学习冻结卷积层只训练顶层 from keras.models import load_model base_model load_model(cnn_with_full_pretrained.h5, custom_objects{ctc_lambda_func: ctc_lambda_func}) for layer in base_model.layers[:-6]: layer.trainable False # 重新编译学习率调小 base_model.compile(loss{ctc: lambda y_true, y_pred: y_pred}, optimizerkeras.optimizers.Adam(lr0.0001))冻结层数根据自己数据量决定。数据少于 10 小时冻结到只剩最后 3 层数据 50 小时以上可以只冻结前几层卷积。custom_objects里必须把 CTC 损失函数传进去否则加载模型会报未知层错误。解码调参方面除了alpha和beam_width还有一个容易忽略的参数是 CTC 的blank惩罚。有些实现里会给 blank 标签加一个惩罚项防止模型过度预测 blank。如果解码结果里空白太多把 blank 惩罚调大如果识别结果里插入太多无意义字符把 blank 惩罚调小。这个参数没有固定值我一般从 0.5 开始在验证集上网格搜索。还有一个实用技巧是语言模型的重打分。先用声学模型 beam search 出 top-20 候选再用语言模型对这 20 个候选重新打分取最高分。这样比在 beam search 过程中融合语言模型更灵活也更容易调参。重打分时语言模型的分数要取对数并且做长度归一化否则短句子会占便宜。从那以后我每次拿到新的语音识别源码包都强制先跑一遍数据对齐检查再拿 1 小时数据做小规模训练确认 loss 能降到 1.0 以下才敢上全量数据。这个习惯帮我省了很多通宵排查的时间。希望帮到你。本文还有配套的精品资源点击获取