简介《Python深度学习基于PyTorch》是一本面向深度学习初学者的PyTorch入门电子书适合零基础或刚接触机器学习的人群。全书以函数讲解为主线细致说明张量操作、自动求导、神经网络层、优化器、数据加载与预处理等核心模块并配合大量可运行示例帮助读者真正理解PyTorch的工作机制而非机械复制代码。资源为单个PDF文件大小约21.68MB完整收录原书目录、章节内容及代码案例支持在电脑、平板等设备上随时查阅。目前已有5665人学习下载被不少自学者和高校师生用作辅助教材。全书分基础、深度学习、实践三大部分从Numpy基础、PyTorch基础、神经网络工具箱到机器学习基础、卷积神经网络、循环神经网络、生成对抗网络再到人脸检测与识别、迁移学习等专题涵盖CIFAR-10图像分类、LSTM股票预测、GAN图像生成等完整实战项目。读者可以顺着章节由浅入深边学边练逐步建立起系统的深度学习知识框架。1. 那本“Python深度学习基于PyTorch”PDF到底在解决什么很多入门者拿起PyTorch教程的第一天就卡住了教程能看懂代码一跑就报错报错信息还全是英文。那本以“Python深度学习基于PyTorch”为主题的PDF资料本质上不是一本让你读完的书而是一套把“理论—代码—数据—训练”串成闭环的操作地图。它真正解决的是从“我懂神经网络概念”到“我能独立训完一个模型并保存结果”这段最容易被跳过的距离。这套资料的典型读者是两类人一类是有Python基础但没写过训练循环的转行者另一类是调过框架但没系统梳理过数据管线、设备管理与模型保存的初级工程师。前者需要一条能照走的路线后者需要找到自己平时忽略的边界条件。这篇笔记我会按“环境 → 数据 → 模型 → 训练 → 调试 → 验证”的顺序把这条路上最常用的方案、参数和坑一次讲透。2. 环境搭建与首轮训练把PyTorch跑成“不睡觉”的样本2.1 先别急着装GPU版用CPU验证最小闭环拿到任何PyTorch资料第一步永远是搭环境但很多人一上来就装CUDA版结果驱动版本不匹配连import torch都过不去。我一般建议先用CPU版把小规模数据跑通再装GPU版提速。这个顺序能省掉至少两小时的排错时间。# 创建虚拟环境Python 3.83.11 均可推荐 3.10 conda create -n pytorch-book python3.10 -y conda activate pytorch-book # CPU 版安装适合先验证代码逻辑 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # 验证安装 python -c import torch; print(torch.__version__); print(torch.cuda.is_available())这段命令的逻辑是先隔离环境避免把系统Python搞乱CPU版安装包体积小、依赖少能把“框架本身”和“CUDA驱动”这两类问题分开排查。torch.cuda.is_available()在CPU版下返回False是正常现象不是安装失败。装完环境后的第一件事是跑一个最小训练闭环。这个闭环只需要一个线性层、一个损失函数、一个优化器目的是验证“前向传播—反向传播—参数更新”这条链路是通的。import torch import torch.nn as nn # 造一批假数据100个样本每个样本3个特征标签是二分类 x torch.randn(100, 3) y torch.randint(0, 2, (100,)) # 单层线性分类器 model nn.Linear(3, 2) loss_fn nn.CrossEntropyLoss() optimizer torch.optim.SGD(model.parameters(), lr0.01) # 跑 5 个 epoch for epoch in range(5): logits model(x) loss loss_fn(logits, y) optimizer.zero_grad() loss.backward() optimizer.step() print(fepoch {epoch 1}, loss: {loss.item():.4f})这段代码里的三个关键参数各有讲究lr0.01是SGD的常用起点太大loss会震荡太小收敛太慢batch_size在这段代码里没显式设置因为整体就是一个小批量后续换真实数据时需要手动指定epoch设成5只为了验证链路实际训练中至少要看loss下降趋势才能判断模型真的在学。2.2 GPU版安装与显存确认避免“装上了但用不了”CPU闭环跑通后再换GPU版。这一步的坑集中在CUDA版本匹配上PyTorch、显卡驱动、CUDA Toolkit三者需要对齐但很多资料只写pip install torch不提醒版本对应关系。# 先查驱动支持的最高CUDA版本Windows/Linux均适用 nvidia-smi # 以 CUDA 11.8 为例安装 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 确认GPU可用 python -c import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))我的习惯是nvidia-smi显示的CUDA版本只要大于等于PyTorch要求的版本即可不一定要完全一致。PyTorch的cu118指的是CUDA 11.8运行时驱动版本够新就能跑。装完务必打印get_device_name来确认PyTorch真的认出了显卡这一步能过滤掉大量“装好了但还在用CPU”的隐形问题。真正开始训练前还需要确认显存是否够用。常见做法是用一个小脚本测试最大批量import torch # 模拟一个 batch 的前向传播观察显存占用 model torch.nn.Linear(1024, 1024).cuda() optimizer torch.optim.SGD(model.parameters(), lr0.01) for batch_size in [64, 128, 256, 512]: try: x torch.randn(batch_size, 1024).cuda() y torch.randint(0, 1024, (batch_size,)).cuda() logits model(x) loss torch.nn.CrossEntropyLoss()(logits, y) optimizer.zero_grad() loss.backward() optimizer.step() print(fbatch_size {batch_size} 成功) torch.cuda.empty_cache() except RuntimeError as e: print(fbatch_size {batch_size} 失败: {str(e)[:80]}) break这段脚本的价值在于它用递增批量测试显存上限而不是靠猜。这里涉及一个常见误用——很多人看到RuntimeError: CUDA out of memory就急着调小模型其实先动态缩小batch_size才是性价比最高的做法。如果batch_size64都跑不满一个线性层那大概率不是批量问题而是驱动或PyTorch安装本身的bug。3. 数据加载与预处理书中容易被带过的三场硬仗3.1 自定义Dataset不要只调用内置接口PyTorch资料的入门章节几乎都会用torchvision.datasets.CIFAR10这类内置数据集带读者走一遍但真实项目的数据永远是“一堆文件夹命名为乱序编号”。如果不掌握自定义Dataset的写法遇到自己的数据就只能硬编码读取逻辑代码一多就乱套。import os import torch from torch.utils.data import Dataset from PIL import Image class FolderDataset(Dataset): def __init__(self, root_dir, transformNone): self.samples [] self.transform transform # 假设目录结构是 root_dir/类别名/图片文件 for class_name in sorted(os.listdir(root_dir)): class_path os.path.join(root_dir, class_name) if not os.path.isdir(class_path): continue for fname in os.listdir(class_path): if fname.lower().endswith((.jpg, .png, .jpeg)): self.samples.append((os.path.join(class_path, fname), int(class_name))) def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label self.samples[idx] image Image.open(path).convert(RGB) if self.transform: image self.transform(image) return image, label这个写法的核心在于三个方法的分工__init__只做路径扫描和预处理__len__告诉DataLoader有多少样本__getitem__负责按索引取单条样本。这里有个容易被忽略的设计决策——把图像解码放在__getitem__而不是__init__里这样在num_workers0时可以利用多进程并行加载而__init__阶段只做轻量的路径列表构建避免占用过多内存。类的标签读取方式也有讲究上面的代码假设文件夹名就是整数标签。实际项目中标签往往存在CSV或JSON里那就需要把int(class_name)换成查询映射表的逻辑。这个映射表在训练、验证、推理三个阶段必须保持一致否则会出现标签错位这种最难排查的正确性bug。3.2 DataLoader参数worker、shuffle与内存的三角取舍DataLoader是训练管线的调度中心参数组合踩坑极多。最常见的翻车现场是num_workers设得太大导致内存爆炸或者shuffle忘记在验证集关闭导致评估结果被高估。from torch.utils.data import DataLoader from torchvision import transforms transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_dataset FolderDataset(root_dirdata/train, transformtransform) val_dataset FolderDataset(root_dirdata/val, transformtransform) train_loader DataLoader( train_dataset, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue ) val_loader DataLoader( val_dataset, batch_size32, shuffleFalse, # 验证集不需要打乱 num_workers2, pin_memoryTrue )这里四个参数的取舍逻辑值得逐一说清shuffleTrue只用于训练集作用是把样本顺序打乱避免模型学到样本排列中的虚假规律。很多人把shuffle当成一个“到处都要开”的开关在验证集上也开着导致每个epoch评估的样本顺序都变指标抖动变大。num_workers4意思是4个子进程并行加载图片。这个数字不是越大越好超过CPU物理核心数反而会因进程切换变慢在Windows上num_workers设为非0还有可能触发spawn模式的重复导入问题遇到就调成0排查。pin_memoryTrue适用于GPU训练它把数据锁页减少CPU到GPU的拷贝时间。CPU训练时开启反而没有增益。3.3 transform与归一化Resize怎么选、Normalize的均值从哪来transforms是PyTorch入门资料里篇幅不大但直接影响精度的模块。Resize((224, 224))这个参数是很多人的第一个疑问为什么一定是224因为主流预训练模型以某ResNet系模型为例的输入设计就是224×224用别的尺寸要么报错要么需要改网络结构。如果你的数据集分辨率差异很大可以考虑RandomResizedCrop做训练集增强它随机裁剪后缩放比直接Resize更抗过拟合。Normalize的均值方差也有说法[0.485, 0.456, 0.406]和[0.229, 0.224, 0.225]是ImageNet数据集的统计值。如果你用的是在ImageNet上预训练的模型权重就必须沿用这组数值如果从零训练自己的模型用自己数据集统计的均值和方差才是正确做法。很多资料不解释这组数的来源造成读者在迁移学习和从零训练之间来回踩坑。4. 基础网络与训练范式书里那套线性层到底在学什么4.1 从nn.Linear到多层感知机参数初始化与激活函数的作用位PyTorch资料的模型章节通常会从nn.Linear讲起但很少讲清楚“为什么需要多层”和“为什么每层后面跟一个激活函数”。只看单层线性层模型能表达的决策边界只有直线堆多层并插入非线性激活后网络才能拟合曲线边界。这一步是理解后面一切CNN、Transformer的基础。import torch.nn as nn class MLPClassifier(nn.Module): def __init__(self, in_features784, hidden_features256, num_classes10): super().__init__() self.net nn.Sequential( nn.Linear(in_features, hidden_features), nn.ReLU(), nn.Linear(hidden_features, hidden_features), nn.ReLU(), nn.Linear(hidden_features, num_classes) ) def forward(self, x): return self.net(x)这个模型有两个设计细节值得注意一是nn.Sequential把层顺序封装好forward里一行调用即可代码清晰二是在每两个Linear之间插入ReLU去掉它网络就会退化成一个线性模型堆多少层都没有区别。隐藏层节点数hidden_features256是个经验值显存充裕可以到512数据量小则建议128过大会在样本不足时加快过拟合。关于参数初始化的一个血泪经验PyTorch默认对nn.Linear采用Kaiming均匀初始化这对ReLU类激活是合理的。但如果你自己用nn.init手动初始化不要把权重全设成0否则梯度会对称消失训练根本不动。这一点书里如果提了往往也是一句话带过真跑起来踩到的人才懂。4.2 训练循环与Batch归一化loss曲线告诉我们换什么参数训练循环是整套资料里最需要反复看的模板因为一个训练循环写得好不好直接决定实验迭代速度。下面这段代码是一个相对标准的训练验证模板import torch import torch.nn as nn def train_one_epoch(model, loader, optimizer, loss_fn, device): model.train() # 切换到训练模式启用Dropout/BatchNorm的批统计 total_loss 0 for x, y in loader: x, y x.to(device), y.to(device) optimizer.zero_grad() logits model(x) loss loss_fn(logits, y) loss.backward() optimizer.step() total_loss loss.item() * x.size(0) return total_loss / len(loader.dataset) def evaluate(model, loader, loss_fn, device): model.eval() # 关闭Dropout启用累计统计 total_correct 0 total_loss 0 with torch.no_grad(): # 禁用梯度追踪省显存且加速 for x, y in loader: x, y x.to(device), y.to(device) logits model(x) loss loss_fn(logits, y) total_loss loss.item() * x.size(0) preds logits.argmax(dim1) total_correct (preds y).sum().item() return total_loss / len(loader.dataset), total_correct / len(loader.dataset)这段代码里最关键的叫model.train()和model.eval()。很多新手在每个epoch跑完验证时忘记切回train()模式导致BatchNorm在推理统计模式下累积错误统计loss曲线出现周期性尖峰。with torch.no_grad()也是一个容易漏的点验证阶段不计算梯度能省下约一半的显存和大量时间。实操中我会记录每个epoch的训练loss、验证loss、验证准确率三个值观察它们的走势来定下一步调参方向训练loss不降说明学习率太小或模型容量不足训练loss降但验证loss先降后升就是过拟合信号此时该加正则或数据增强而不是继续加层。4.3 优化器选型SGD、Adam与学习率的配套关系PyTorch资料几乎每本都会列优化器但很少讲它们与学习率的“配对”关系。一个最常见的现象是读者把SGD的lr0.01直接套给Adam结果loss震荡到飞起转头怀疑代码有bug。其实Adam本身带了自适应步长常用的学习率起点是1e-3到3e-4比SGD低一到两个数量级。优化器常用初始学习率适合场景注意事项SGD Momentum0.010.1数据量充足、需要精细调参必须配合学习率衰减Adam1e-33e-4快速验证新网络结构后期精度可能不如调好的SGDAdamW1e-33e-4Transformer类模型、需权重衰减与Adam区别在权重衰减实现方式如果你的项目是图像分类这种成熟任务我建议先用Adam跑通基线再换SGDMomentum去冲更高精度。书里如果直接给了一种优化器不要当成唯一正确选项优化器的选择本身就应该是超参搜索的一部分。5. 避坑手册照着书跑代码翻车的五个常见现场5.1 训练时loss不动输出全是接近均匀分布的概率现象每个epoch的loss值都停在某个固定数值附近比如二分类的loss一直停在0.69附近准确率在50%上下。原因通常是两类一是学习率太小梯度更新量微乎其微二是模型初始化有问题导致梯度在反向传播中消失。排查方法先打印模型参数的梯度范数total_norm 0 for p in model.parameters(): if p.grad is not None: total_norm p.grad.norm().item() ** 2 total_norm total_norm ** 0.5 print(fgrad norm: {total_norm:.6f})如果梯度范数小于1e-4问题大概率出在初始化或网络结构上如果梯度范数正常但loss不动则调大学习率。一个高效的排查顺序是先换一个更大学习率跑50个step看loss是否变化有变化再往回调比一开始就怀疑代码逻辑快得多。5.2 多GPU设备报错Expected all tensors to be on the same device现象模型在GPU上数据在CPU上或者模型的一半参数在cuda:0、另一半在cuda:1前向传播时报设备不一致错误。原因绝大多数情况是一个简单的疏忽——model.to(device)执行了但x, y忘记.to(device)。解决方式是统一封装一个设备转移函数device torch.device(cuda if torch.cuda.is_available() else cpu) def to_device(batch): if isinstance(batch, (list, tuple)): return [t.to(device) for t in batch] return batch.to(device) # 在训练循环里调用 x, y to_device([x, y])这个坑的隐蔽变体是将已有模型微调时只把新加的层.to(device)了原模型的部分参数还留在CPU上。我排查这种问题时习惯用print(next(model.parameters()).device)先确认主模型在哪个设备再逐个检查新增模块。5.3CUDA out of memory但显存看起来没满现象运行时报CUDA out of memory但用nvidia-smi看显存只占了一半。原因有两个层面一是PyTorch的显存缓存机制——它会在torch.cuda.empty_cache()之前保留部分显存不释放nvidia-smi看到的占用不代表实际可用二是同一张卡上可能还有其他进程占用了显存。解决方式是先查进程nvidia-smi # 查看占用显存的PID ps -p PID -o pid,cmd确认是自己进程导致的OOM后按顺序尝试减小batch_size→ 检查是否有.item()漏写导致计算图累积 → 在验证循环里加with torch.no_grad()。如果项目允许还可以用混合精度训练torch.cuda.amp在大部分场景能省一半显存代价是少量精度损失。5.4shuffleTrue导致验证指标虚高现象验证准确率很高但部署到真实数据上效果一塌糊涂。原因里最有可能被忽略的是验证集与训练集数据重叠、数据预处理不一致或验证集本身在训练时被泄露。一个具体场景把整个数据集切分时用了random_split但没有固定随机种子每次运行验证集样本都在变模型在某个偶然的简单划分上得分虚高。解决方式是在切分和训练入口都固定随机种子import random import numpy as np def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)更严重的情况是自定义Dataset里没有把训练集和验证集的transform区分开验证集也做了随机裁剪或随机翻转导致评估的是增强后的数据分布与真实部署不一致。统一做法是训练集用带随机性的transform验证集只用Resize ToTensor Normalize。5.5 加载模型时state_dict的键名对不上现象保存模型后重新加载报Missing key(s) in state_dict或Unexpected key(s)。原因通常是保存的不是state_dict而是整个模型对象或者模型结构在保存和加载之间被改过。规范做法是只保存和加载状态字典# 保存 torch.save({model_state_dict: model.state_dict(), epoch: epoch}, checkpoint.pt) # 加载 checkpoint torch.load(checkpoint.pt, map_locationcpu) model.load_state_dict(checkpoint[model_state_dict])map_locationcpu是我在加载时的习惯先把权重读到内存再手动to(device)避免遇到“加载时GPU不可用但保存时用了GPU”的跨环境问题。另一个容易翻车的点是如果有多个GPU训练键名里会带module.前缀加载到单卡模型时需要剥掉前缀。6. 再看一遍书把验证与保存的细节补进代码里跑通基础训练后我建议回到那本资料里重点重读两件事模型保存策略和结果验证方式。这两部分在PDF里往往只占很少的篇幅但恰恰是项目能否复现、能否继续迭代的分水岭。训练过程中的模型保存不要只存最后一个epoch。正确做法是每次验证准确率提升时覆盖保存当前最优模型同时保存“最近一个epoch”的断点。这样既能在训练意外中断时从断点续跑又能在调参失败后回到精度最高的版本相当于给自己留了后悔药。best_acc 0 checkpoint_path best_model.pt for epoch in range(start_epoch, epochs): train_loss train_one_epoch(...) val_loss, val_acc evaluate(...) if val_acc best_acc: best_acc val_acc torch.save({ model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), epoch: epoch, val_acc: val_acc, }, checkpoint_path) print(f模型已保存epoch {epoch}, best_acc {best_acc:.4f})这段代码的关键是同时保存优化器状态和epoch编号。很多人只存model.state_dict()训练中断后只能重新从零开始前面的学习率调整策略就白跑了。我做训练任务的标准习惯是每5个epoch存一个带编号的检查点文件磁盘压力大就只保留最近3个但最优模型单独保存、永不覆盖。验证环节还有一个实用技巧是统计每一类的准确率而不仅仅是总体准确率。在样本类别不平衡的项目里总体准确率会掩盖小类几乎不工作的事实。用下面的代码在验证阶段输出混淆矩阵式的指标from collections import defaultdict def per_class_accuracy(model, loader, num_classes): model.eval() class_correct defaultdict(int) class_total defaultdict(int) with torch.no_grad(): for x, y in loader: x, y x.to(device), y.to(device) preds model(x).argmax(dim1) for true, pred in zip(y.cpu().numpy(), preds.cpu().numpy()): class_total[true] 1 if true pred: class_correct[true] 1 return {c: class_correct[c] / class_total[c] for c in range(num_classes)}看这本书到最后一章时我还补了一个常用的技巧把训练过程中每个epoch的loss和准确率用torch.utils.tensorboard记录成日志而不是只print到控制台。这样调参时能直观看到多条试验曲线的对比比翻终端输出高效得多。整套流程跑下来我最大的教训是“永远不要直接信任第一次跑通的代码”——先看loss曲线是不是平滑下降再看验证集指标和保存的模型能否在独立测试数据上复现确认这两点之后再谈优化网络结构也不迟。希望帮到你剩下的事情就是把你自己的数据装进那个FolderDataset里把num_workers调到4跑一个epoch看看曲线然后你会对这本PDF里所有章节有全新的理解。本文还有配套的精品资源点击获取