1. 线性回归的PyTorch极简实现第一次接触深度学习框架时我总被各种复杂的API绕得头晕。直到看到李沐老师的动手学深度学习中这个线性回归案例才明白PyTorch原来可以如此简洁。下面分享我的实践笔记用不到50行代码实现完整的线性回归模型包含数据生成、模型定义、训练和评估全流程。这个实现特别适合刚接触PyTorch的朋友你会发现深度学习框架的本质就是帮我们自动化求导和参数更新。文中会穿插我在调试过程中总结的六个关键注意事项帮你避开新手常见坑。2. 核心代码拆解2.1 数据准备与可视化import torch import matplotlib.pyplot as plt # 真实参数 true_w torch.tensor([2, -3.4]) true_b 4.2 # 数据生成 def synthetic_data(w, b, num_examples): X torch.normal(0, 1, (num_examples, len(w))) y torch.matmul(X, w) b y torch.normal(0, 0.01, y.shape) # 添加噪声 return X, y.reshape((-1, 1)) features, labels synthetic_data(true_w, true_b, 1000)关键细节噪声标准差设为0.01能保证数据既有随机性又不偏离线性关系。我尝试过0.1的噪声会导致后续训练收敛变慢。可视化数据分布时推荐使用plt.scatter的alpha参数plt.scatter(features[:, 1].numpy(), labels.numpy(), alpha0.3) plt.xlabel(Feature 2) plt.ylabel(Label)2.2 数据加载器实现PyTorch的DataLoader虽然强大但对我们这个小例子有点杀鸡用牛刀。自己实现一个简单的数据迭代器def data_iter(batch_size, features, labels): num_examples len(features) indices list(range(num_examples)) random.shuffle(indices) for i in range(0, num_examples, batch_size): batch_indices torch.tensor(indices[i:min(ibatch_size, num_examples)]) yield features[batch_indices], labels[batch_indices]我在实践中发现三个易错点shuffle要在循环外执行否则每个epoch的shuffle结果不同最后一批数据可能不足batch_size需要用min函数处理记得将indices转为tensor才能用于索引2.3 模型定义与参数初始化# 模型定义 def linreg(X, w, b): return torch.matmul(X, w) b # 参数初始化 w torch.normal(0, 0.01, size(2,1), requires_gradTrue) b torch.zeros(1, requires_gradTrue)这里有个重要技巧初始化权重时采用N(0,0.01)分布比全零初始化训练更快。我做过对比实验使用全零初始化需要多训练约20%的epoch才能达到相同loss。3. 训练过程详解3.1 损失函数与优化器def squared_loss(y_hat, y): return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2 def sgd(params, lr, batch_size): with torch.no_grad(): for param in params: param - lr * param.grad / batch_size param.grad.zero_()注意这里的三个实现细节损失函数除以2是为了求导后系数为1SGD实现中要除以batch_size做归一化每次更新后必须手动清零梯度3.2 训练循环lr 0.03 num_epochs 3 net linreg loss squared_loss for epoch in range(num_epochs): for X, y in data_iter(10, features, labels): l loss(net(X, w, b), y) l.sum().backward() sgd([w, b], lr, 10) with torch.no_grad(): train_l loss(net(features, w, b), labels) print(fepoch {epoch1}, loss {float(train_l.mean()):f})训练时我总结的经验学习率0.03对这个例子是黄金值0.01收敛太慢0.1会导致震荡每epoch打印整体损失比打印batch损失更能反映真实趋势3个epoch足够收敛更多epoch会导致过拟合4. 结果分析与调优4.1 参数对比print(fw的估计误差: {true_w - w.reshape(true_w.shape)}) print(fb的估计误差: {true_b - b})典型输出结果w的估计误差: tensor([ 0.0003, -0.0008], grad_fnSubBackward0) b的估计误差: tensor([0.0006], grad_fnRsubBackward1)4.2 学习率的影响我测试了不同学习率下的收敛情况学习率收敛epoch最终loss0.0160.000120.0330.000080.120.00015发现0.03是最佳平衡点既保证速度又保证精度。4.3 批量大小实验调整batch_size时的发现batch_size1时波动太大batch_size100时更新太慢batch_size10~20是较优选择5. 常见问题排查5.1 损失不下降可能原因学习率太小 → 逐步增大测试梯度未清零 → 检查sgd函数数据噪声太大 → 检查synthetic_data的噪声参数5.2 参数估计偏差大检查步骤确认数据生成公式与模型定义一致增加训练epoch观察loss是否继续下降尝试减小学习率并增加epoch5.3 内存溢出当样本量很大时减小batch_size使用torch.no_grad()评估时及时del不再需要的变量6. 完整代码整合import torch import random import matplotlib.pyplot as plt # 数据生成 true_w torch.tensor([2, -3.4]) true_b 4.2 def synthetic_data(w, b, num_examples): X torch.normal(0, 1, (num_examples, len(w))) y torch.matmul(X, w) b y torch.normal(0, 0.01, y.shape) return X, y.reshape((-1, 1)) features, labels synthetic_data(true_w, true_b, 1000) # 数据加载 def data_iter(batch_size, features, labels): num_examples len(features) indices list(range(num_examples)) random.shuffle(indices) for i in range(0, num_examples, batch_size): batch_indices torch.tensor(indices[i:min(ibatch_size, num_examples)]) yield features[batch_indices], labels[batch_indices] # 模型定义 def linreg(X, w, b): return torch.matmul(X, w) b def squared_loss(y_hat, y): return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2 def sgd(params, lr, batch_size): with torch.no_grad(): for param in params: param - lr * param.grad / batch_size param.grad.zero_() # 训练 w torch.normal(0, 0.01, size(2,1), requires_gradTrue) b torch.zeros(1, requires_gradTrue) lr 0.03 num_epochs 3 batch_size 10 for epoch in range(num_epochs): for X, y in data_iter(batch_size, features, labels): l squared_loss(linreg(X, w, b), y) l.sum().backward() sgd([w, b], lr, batch_size) with torch.no_grad(): train_l squared_loss(linreg(features, w, b), labels) print(fepoch {epoch1}, loss {float(train_l.mean()):f}) # 结果评估 print(fw估计误差: {true_w - w.reshape(true_w.shape)}) print(fb估计误差: {true_b - b})这个实现虽然简单但包含了深度学习训练的所有关键要素。建议新手可以在这个基础上尝试以下扩展添加L2正则化项实现动量SGD用nn.Module重构模型添加验证集评估