简介面向需要入门循环神经网络的Python开发者这份代码基于TensorFlow与Keras实现了一个简易RNN可处理序列数据并完成序列分类、文本生成等基础任务。代码以zip压缩包发布共2个文件包含rar压缩包与可直接运行的py脚本包体仅4KB代码量小便于逐行阅读与快速复用。目前已有1165人学习。实现路径完整从导入必要的库与数据集、定义批次大小、学习率、隐藏层大小、序列长度等超参数到构建输入层、隐藏层和输出层再到编译模型、使用梯度下降训练以及评估测试集准确率与损失均有清晰展示并配有详细注释方便理解RNN原理与TensorFlow流程。若希望扩展到语音识别等任务可在此基础上调整模型结构和超参数持续优化是一份适合入门与实验的实用参考。1. 别再以为 RNN 是过时黑匣子Python 实现它到底在解决什么如果你最近在处理时间序列、文本序列、传感器读数这类带“先后顺序”的数据那么“Python实现RNN代码”这个标题背后的真实诉求几乎可以一句话概括你想用循环神经网络把“顺序”这个信息吃进去而不是把一列数字当成彼此独立的散点。RNN 在 2025 年看起来不如 Transformer 光鲜但它在序列长度不长、算力有限、可解释性要求高的场景里仍然是性价比很高的选择尤其在量化策略的 tick 数据预处理、工业设备振动信号分类、命名实体识别这类任务上你依然能靠一段 Python 代码把它跑出稳定效果。这一章我们先说清楚一个反直觉的结论实现 RNN 最难的从来不是网络结构而是把数据切成“有顺序的窗口”。很多人照着开源代码抄loss 曲线死活不降问题几乎都出在数据构造而不是模型本身。接下来几章我会带你用两种路线实现 RNN先讲清楚原理和选型理由再给出可复现的 PyTorch 代码最后把参数调整和踩坑经验直接摆出来。2. 用 NumPy 手写还是 PyTorch 现成模块两种实现路线怎么选2.1 手写细胞理解 RNN 核心计算的最短路径RNN 的核心计算其实简单得让人意外。对于一个时间步 t它做两件事把当前输入 x_t 和上一个隐藏状态 h_{t-1} 拼在一起乘一个权重矩阵再过 tanh 激活得到新的隐藏状态 h_t。用数学表达就是h_t tanh(W_ih * x_t W_hh * h_{t-1} b)如果你用纯 NumPy 实现整个前向过程就是一个循环。下面是最小可运行版本我把它写在 execute 函数里并在每一步注释说明维度变化import numpy as np def rnn_forward(X, W_ih, W_hh, b_h, h0None): X: (seq_len, input_size)一次输入整个序列 W_ih: (hidden_size, input_size) W_hh: (hidden_size, hidden_size) b_h: (hidden_size,) seq_len, input_size X.shape hidden_size W_ih.shape[0] # 初始化隐藏状态没有 h0 就全零初始化 h np.zeros(hidden_size) if h0 is None else h0 # 保存每个时间步的隐藏状态后面反向传播要用 hs [] for t in range(seq_len): x_t X[t] # (input_size,) h np.tanh(W_ih x_t W_hh h b_h) # 核心计算 hs.append(h) return np.stack(hs) # (seq_len, hidden_size) # 模拟一条序列3 个时间步每步 4 维输入 X np.random.randn(3, 4) W_ih np.random.randn(5, 4) * 0.1 # 注意初始化缩放 W_hh np.random.randn(5, 5) * 0.1 b_h np.zeros(5) out rnn_forward(X, W_ih, W_hh, b_h) print(out.shape) # (3, 5)这段代码的逻辑说明rnn_forward接收整条序列在内部按时间步循环。每一步先取当前输入X[t]再与上一时刻的隐藏状态h一起完成一次线性变换加 tanh 激活。输出的hs里每一行是对应时间步的隐藏状态最后一行out[-1]就是整条序列的“语义压缩向量”可以接分类器或者下一个时间步的输入。参数层面最容易出错的是初始化W_ih和W_hh我刻意乘了 0.1因为 tanh 在输入靠近 0 附近梯度最平坦初始权重太大会让隐藏状态一开始就饱和梯度直接消失。手写前向的价值在于你亲手写一遍就能看出 RNN 的两个与生俱来的毛病梯度消失和顺序依赖。反向传播你不需要手写PyTorch 的 autograd 会处理但你得知道梯度是沿时间步反传的所以序列越长前面时间步的梯度越小这就是后面第四、五章调参和踩坑的主线。2.2 用 PyTorch 搭把注意力留给数据和训练手写 NumPy 版本适合验证理解但真实项目里没人手写反向传播。我的建议是如果你要处理的数据量超过一万条或者序列长度超过 50直接用 PyTorch 的 nn.RNN 或 nn.LSTM原因有三个批量训练时 GPU 加速、内置的梯度裁剪和初始化策略、以及现成的pack_padded_sequence处理变长序列。PyTorch 里实现同一个 RNN 只需要几行import torch import torch.nn as nn class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, num_layers1): super().__init__() self.rnn nn.RNN(input_size, hidden_size, num_layers, batch_firstTrue) self.fc nn.Linear(hidden_size, 1) # 输出单一数值比如下一时刻的温度 def forward(self, x): # x: (batch_size, seq_len, input_size)因为 batch_firstTrue out, h_n self.rnn(x) # out: (batch, seq_len, hidden_size) return self.fc(out[:, -1, :]) # 取最后一个时间步的隐藏状态逻辑说明nn.RNN接受三维输入(batch, seq_len, input_size)batch_firstTrue让你的数据不用转置。out保存了每个时间步的隐藏状态h_n是最后一层最后时间步的隐藏状态。这里我用out[:, -1, :]取序列最后一步的隐藏状态再接一个线性层输出预测值这是序列预测任务最常用的做法。参数说明num_layers指堆叠几层 RNN层数越多参数越大也更难训练我用默认的 1因为真实项目里 2 层以上收益大多集中在长序列任务短序列直接浪费算力。batch_first建议永远设为 True省得每次数据进去前都要permute这个习惯能避免后面踩坑章节里最常见的维度错误。选型结论如果你只是想理解 RNN 和跑通 demo手写 NumPy 够用如果你要面对真实数据选 PyTorch但不能跳过手写前向的过程否则你永远理解不了为什么 hidden_size 太小模型记不住东西为什么序列一长 loss 就变 NaN。下一章我们进入实战用 PyTorch 写一个完整的、能在 CPU 上训练完的 RNN而不是只贴网上的半截代码。3. 用 PyTorch 跑通最小 RNN正弦序列预测的完整代码3.1 构造训练数据把“窗口”变成监督学习样本我们用一个经典且容易复现的任务切入预测正弦函数的下一个值。正弦函数自带周期性数据生成零成本任何环境没有额外依赖都能跑通。关键是把连续的时间序列切成“输入窗口 标签”的样本。常见做法是滑动窗口用前 12 个时间步的值预测第 13 个时间步的值。这一步看起来简单但隐藏着一个关键参数窗口长度seq_len决定了模型能“回头”看多远。窗口太短模型看不出周期性窗口太长训练样本少、RNN 梯度消失风险高。import numpy as np import torch from torch.utils.data import TensorDataset, DataLoader # 生成正弦序列加一点噪声让任务不至于太过简单 t np.linspace(0, 100, 2000) data np.sin(t) 0.1 * np.random.randn(2000) def create_sequences(data, seq_len12): xs, ys [], [] for i in range(len(data) - seq_len): xs.append(data[i:iseq_len]) ys.append(data[iseq_len]) return np.array(xs), np.array(ys) seq_len 12 x, y create_sequences(data, seq_len) print(f样本数: {len(x)}, 输入形状: {x.shape}) # (1976, 12) # 归一化对序列数据直接用全局均值和标准差即可 mean, std data.mean(), data.std() x (x - mean) / std y (y - mean) / std # 拆训练、验证集后者用来观察是否过拟合 split int(len(x) * 0.8) x_train, x_val x[:split], x[split:] y_train, y_val y[:split], y[split:] # 转成 PyTorch Tensor并包装成 DataLoader train_set TensorDataset(torch.FloatTensor(x_train).unsqueeze(-1), torch.FloatTensor(y_train).unsqueeze(-1)) val_set TensorDataset(torch.FloatTensor(x_val).unsqueeze(-1), torch.FloatTensor(y_val).unsqueeze(-1)) train_loader DataLoader(train_set, batch_size64, shuffleTrue) val_loader DataLoader(val_set, batch_size64, shuffleFalse)这里要特别解释unsqueeze(-1)原始 x 形状是(1976, 12)也就是每条样本有 12 个时间步、每步只有一个数值。PyTorch 的nn.RNN期望输入是三维(batch, seq_len, input_size)所以加上一个维度变成(1976, 12, 1)注释里输出维度的-1指的是在最后一维插入 1。归一化我用了全局均值和标准差而不是对每个窗口单独归一化因为如果按窗口归一化会破坏数值的相对大小信息而且预测下一个值时没有整个窗口的统计量可用验证时会有信息泄露。这一点是时间序列任务和图像分类任务在数据预处理上的显著区别务必记住。3.2 定义模型单层 RNN Linear 输出层数据就绪后定义模型的口径要清晰。输入是每个时间步 1 个数值这个叫input_size1隐藏层维度hidden_size决定了记忆容量输出层因为我们要做一个回归任务输出 1 个预测值。我在前一章给出的SimpleRNN可以直接复用但针对正弦预测任务我略作修改把nn.Sequential换成更明确的方式同时把hidden_size和num_layers暴露成构造参数方便后面调参class RNNRegressor(nn.Module): def __init__(self, input_size1, hidden_size32, num_layers1): super().__init__() self.rnn nn.RNN(input_size, hidden_size, num_layers, batch_firstTrue) self.fc nn.Linear(hidden_size, 1) def forward(self, x): # x: (batch, seq_len, input_size) out, _ self.rnn(x) # 取最后一个时间步的输出接全连接层 last_hidden out[:, -1, :] return self.fc(last_hidden)模型逻辑说明out[:, -1, :]取的是序列最后一个时间步的隐藏状态。对预测下一个值这个问题最后一个隐藏状态包含了模型对整段窗口的“记忆压缩”再接一个线性层把它映射到目标数值空间就好。不能把每个时间步的输出都过线性层然后相加那样模型会学到错误的累加逻辑而且梯度路径更复杂收敛不稳定。3.3 训练循环损失、反向传播、梯度裁剪训练循环是整套代码里最容易“能跑但学不动”的部分。我见过很多初学者直接套图像分类的模板结果模型要么 loss 震荡、要么梯度爆炸。RNN 训练有三个专属要点梯度裁剪、序列级随机打乱、以及周期性验证。import torch.optim as optim model RNNRegressor(input_size1, hidden_size32, num_layers1) optimizer optim.Adam(model.parameters(), lr0.001) loss_fn nn.MSELoss() epochs 50 for epoch in range(epochs): model.train() epoch_loss 0.0 for x_batch, y_batch in train_loader: optimizer.zero_grad() preds model(x_batch) loss loss_fn(preds, y_batch) loss.backward() # RNN 梯度裁剪梯度范数超过 1 就进行缩放防止梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() epoch_loss loss.item() # 每个 epoch 结束做一次验证观察泛化而不是记住训练集 model.eval() with torch.no_grad(): val_loss 0.0 for x_batch, y_batch in val_loader: val_preds model(x_batch) val_loss loss_fn(val_preds, y_batch).item() if (epoch 1) % 10 0: print(fEpoch {epoch1:3d} | Train Loss: {epoch_loss/len(train_loader):.6f} | Val Loss: {val_loss/len(val_loader):.6f})训练循环说明optimizer.zero_grad()必须在每个 batch 开始前清空梯度clip_grad_norm_在两个模型权重梯度上做全局范数截断这里max_norm1.0是经验值如果你的 loss 出现 NaN优先把这个值调小到 0.25。训练结束后用验证集上预测的数值反归一化绘制曲线看预测值和真实值是否相位一致。仅凭 loss 数字看不出“预测对不对”因为 RNN 很容易学到一个平庸解只要输出接近序列均值loss 就不会大得离谱这恰恰暴露了前面归一化的重要性。4. 让 RNN 真的收敛hidden_size、seq_len、lr、batch 的调参顺序4.1 先调序列长度再调隐藏层维度很多人拿到模型第一件事就是调hidden_size这其实是个顺序错误。在时间序列预测里seq_len决定了模型能看到多少历史信息它比隐藏层容量更基础。如果窗口长度覆盖不了一个周期模型只能靠猜隐藏层再大也只是记住噪声。以正弦任务为例周期大约 2π≈6.28但样本是连续采样的实际一个周期约等于采样密度除以频率我们在实验里直接用seq_len12覆盖约两个周期模型就能看到完整的上升和下降趋势。调整 seq_len 时要同时关注样本量的变化窗口每加长 1样本数量就减少 1。数据量大时不是问题但如果你只有几千条数据窗口拉到 100 会导致训练样本锐减这时优先考虑用 LSTM 而不是继续拉长窗口。hidden_size 的调整原则是够用就好它描述的是“记忆容量”不是“特征维度”。时序信号输入是 1 维32 个隐藏单元已经能记住不错的模式如果你发现验证集 loss 下降但跟训练集 loss 距离越拉越大那是过拟合的信号正确做法不是减小 hidden_size而是先查是不是序列长度设长了。一个常见的调参顺序是先固定 hidden_size32用几个 seq_len 值跑一轮选出验证损失最低的再固定这个 seq_len把 hidden_size 从 16、32、64、128 扫一遍。def scan_seq_len_hidden(seq_len, hidden_size, data, epochs30): x, y create_sequences(data, seq_len) mean, std data.mean(), data.std() x (x - mean) / std y (y - mean) / std # 省略 DataLoader 构造与 3.1 节一致 model RNNRegressor(input_size1, hidden_sizehidden_size) # 训练逻辑同 3.3 节 return final_val_loss这段扫描代码逻辑说明它把 seq_len 和 hidden_size 作为参数传入内部从原始数据重新构造序列数据集返回验证损失。这样你就能在脚本里写两重循环找到当前数据下最优的组合。注意每次扫描都要重新切分训练验证集保证所有组合看到的数据分布一致否则对比没有意义。4.2 学习率、batch_size、梯度裁剪怎么联动Adam 默认学习率 0.001 在大多数任务可用但 RNN 有个特点同一个学习率在不同时间步上带来的梯度幅度差异很大。靠近序列结尾的时间步梯度大靠近开头的时间步梯度小所以学习率设置不当会直接导致梯度爆炸或训练飞掉。我的经验是RNN 的初始学习率不要超过 0.005而且必须配梯度裁剪。这里给出我常用的三个配置组合场景学习率batch_size梯度裁剪 max_norm预期效果序列短样本少0.001161.0稳定收敛步幅小序列中等样本多0.003640.5训练速度快收敛顺利序列长任务复杂0.001320.25防止梯度爆炸稳定优先batch_size 对 RNN 的影响比直觉上更大批越大一个 batch 里序列的个性化特征被平均得越多模型更容易学到全局共性批太小比如 1时梯度噪声大训练震荡明显。我一般从 32 或者 64 起步如果 loss 曲线上下抖动厉害优先减小学习率而不是减小 batch。梯度裁剪的数值含义是把所有权重梯度的全局 L2 范数压缩到 max_norm 以内。比如梯度范数是 2.0 而 max_norm0.5那么所有梯度会乘以 0.25。在长序列任务里这是一个保命手段你无法预判哪一批数据会触发梯度爆炸裁剪能把它压制住。4.3 观察损失曲线判断欠拟合还是梯度爆炸训练 RNN 时损失曲线的形态比 loss 绝对值更重要。我总结了三种典型曲线和对应处理方案可以直接照抄第一种曲线是训练损失快速降到接近 0但验证损失停在某个高位。这是典型的过拟合或记忆化RNN 很容易把最后一个时间步的输入直接映射到标签尤其是标签和最后一步输入高度相关时。处理办法是缩小 hidden_size、增加 dropout或者检查训练集和验证集是否有数据重叠滑动窗口切分时create_sequences会让相邻窗口共享数据如果验证集切分位置靠近训练集尾部信息泄露几乎不可避免。这也是为什么我坚持用前 80% 做训练、后 20% 做验证而不是随机打乱。第二种曲线是 loss 一开始就 NaN 或者直接跳到天文数字。这大概率不是学习率问题而是输入里有异常值或数值溢出。正弦序列一般不会但真实传感器数据常带尖峰归一化时均值被尖峰拉偏模型把尖峰当成了真实模式。解决手段是检查归一化后的数据分布把超过 3 倍标准差的值做截断。第三种曲线是 loss 下降速度极慢每 10 个 epoch 才降一点点。这时别再盲目加训练轮数先停手检查一下模型是否真的在利用序列信息——一个简单的测试是随机打乱每个窗口内部的顺序如果 loss 几乎不变说明你的 RNN 根本没有在学时间依赖问题可能出在数据管道而不是模型结构。5. RNN 避坑指南五个“代码能跑但结果不对”的常见问题5.1 输入维度对不上训练停下才报错现象代码写完后跑第一个 batch 就报RuntimeError: Expected input batch_size (64) to match target batch_size (1)。原因RNN 输入是三维(batch, seq_len, input_size)但你在构造数据时不小心多压掉了一维。常见于从 CSV 读数据后直接.values形状从(样本数, 窗口长度)变成(样本数,)PyTorch 拿到一维向量后自动把它解释成(batch,)于是 batch 维度完全错乱。这类错误往往在训练循环的第一个 batch 才暴露因为它需要把数据和标签同时送入 loss 函数才知道维度对不上。解决在你构造数据集之后的下一步立刻打印x_train.shape确认是(N, 12, 1)而不是(N, 12)。用print验证形状这步其实最省时不要相信自己的记忆。另一个高发的错误源是DataLoader的drop_last参数没有设置如果你的样本总数不能被 batch_size 整除最后一个 batch 小于 batch_size而模型里如果有依赖固定 batch 的运算就会报错。5.2 预测时看不到结果的三种情况现象训练损失降到很低但用训练好的模型预测未来 50 个时间步时输出是一条水平直线或者是一条正在衰减的正弦波。原因这是 RNN 最经典的“误差累积”问题。训练时每个时间步都有真实值作为输入它叫 teacher forcing但推理时你必须把上一步的预测值作为下一步的输入模型一旦在早期时间步出现小误差误差就会随着后续时间步滚动放大。更隐蔽的原因是模型学到的其实是窗口均值加一点轻微波动它没有真正学到周期生成机制而是学到了“均值回归”。解决一个是改进评估方式不要从第 0 步开始预测 50 步而是前 12 步用真实值起步然后只预测下一步评估每一步的单步预测误差另一个是努力让窗口覆盖至少一个完整周期。如果你确实需要多步预测业界常见做法是训练时随机用上一步的真实值和预测值混合输入这个过程叫 scheduled sampling但它是进阶操作常规项目先靠单步评估把模型速度跑起来。5.3 损失一直降不下去的循环现象训练 30 个 epoch 后 loss 稳定在 0.5 左右不再下降你加大 hidden_size 后依然是 0.5。原因0.5 这个量级暗示模型输出差不多是目标值的均值也就是说模型停在一个平庸解。RNN 的激活函数 tanh 让隐状态输出范围是 (-1, 1)如果你的标签数值经过归一化后仍然分散在 (-2, 2)模型很难把这部分超额变化预测出来。有时序数据的非平稳性直接让模型放弃学习趋势只学均值。解决检查归一化是否正确——时间序列不能像图像那样用 0~255 做静态归一化必须用训练集的均值和标准差进行标准化如果数据有明显趋势先做一阶差分再建模。还有一个常见原因是学习率过大导致 loss 在某个局部波动但退不出来直接用optimizer.param_groups[0][lr] / 10把学习率降一个量级试试。5.4 隐藏状态忘了初始化现象模型第一次前向正常第二轮训练时 loss 突然跳变。原因PyTorch 的nn.RNN在未传入h0时默认全零初始化这本身没问题。但如果你手动维护了一个跨 batch 的隐藏状态并且没有在每个 batch 开始前detach或者清零梯度会沿时间步跨 batch 传播导致梯度计算路径混乱。另一个常见做法是在forward里把h0 torch.zeros(num_layers, batch_size, hidden_size)硬编码但 batch 大小一变就报错。解决除非你在做状态化推理比如用连续流式的传感器数据预测否则永远让 PyTorch 默认初始化不要自己传h0。如果确实要传用h0参数传入并保证每个 batch 结束时h0 h0.detach()截断跨 batch 的梯度传播。5.5 验证时用了整个序列而不是窗口现象训练和验证 loss 都好看但模型上线后预测结果一塌糊涂。原因很多人在验证阶段图省事把整条长序列一次性送入模型再用最后一个时间步的输出和标签比这在数据构造时就埋了错——训练时每个样本是 12 步的窗口验证时输入却变成了几千步的长序列模型看到的是风格完全不同的输入分布。序列越长tanh 越容易饱和隐状态信息被淹没预测结果自然变差。解决验证和训练必须使用完全相同的窗口长度。例外情况是你专门用长序列做分类或 char-level 语言模型但初始阶段不要这么玩先把窗口逻辑统一。我的习惯是在模型封装里加一个断言检查输入x.size(1)是否等于训练时的seq_len不一致就抛异常能帮你提前拦住这类问题。6. 进阶验证把同一个 RNN 换成 LSTM效果差异怎么看在你已经跑通基础 RNN 之后下一步值得做的事是在同一个数据、同一个窗口、同一个训练循环下把 nn.RNN 替换成 nn.LSTM量化对比两条曲线的差异。这个对比能让你一次性理解为什么实际项目里很少用原生 RNN 处理长序列同时也能帮你确认前面的 RNN 实现到底处于什么水平。class LSTMRegressor(nn.Module): def __init__(self, input_size1, hidden_size32, num_layers1): super().__init__() self.lstm nn.LSTM(input_size, hidden_size, num_layers, batch_firstTrue) self.fc nn.Linear(hidden_size, 1) def forward(self, x): out, (h_n, c_n) self.lstm(x) return self.fc(out[:, -1, :])对比维度我建议看两点。第一是收敛速度在相同 epoch 数下LSTM 通常能更快让训练损失下降因为它内部的遗忘门可以自主决定保留哪些历史信息梯度传播路径也比原生 RNN 更平滑第二是长窗口下的表现把 seq_len 从 12 拉到 50原生 RNN 的验证损失大概率会明显上升或发散而 LSTM 的损失曲线更加稳定。这正好回答了“为什么实际问题不用 RNN”的疑问。实现时把两个模型的训练代码放进同一个循环每 10 个 epoch 打印一次两者的验证损失最后画在同一张图上。你大概率会注意到 LSTM 的参数量是 RNN 的 4 倍遗忘门、输入门、输出门、候选记忆各一套权重训练耗时也相应增加。在短序列任务上这个耗时差距不一定换来明显的精度提升那就说明你的问题规模还不需要上 LSTM。这个判断比盲目更替模型更有价值。我的个人习惯是所有序列项目都会先跑一个基础 RNN 当基线再跑 LSTM 做对比如果差距不到 5%我会选择参数量小的模型继续做数据侧优化把精力花在构造更好的特征和更合理的窗口上。这个习惯帮我避免了很多“模型越换越复杂效果却原地踏步”的弯路。希望帮到你。本文还有配套的精品资源点击获取