1. 从零搭一个二分类网络先想清楚你要解决什么问题很多人第一次接触深度学习框架上来就急着写nn.Module、堆卷积层、调学习率结果跑通了也不知道自己到底在干什么。我见过太多这样的例子代码能跑loss 在降但问他你这个网络为什么这么设计答不上来。所以这篇内容我不打算直接甩一段代码给你抄而是把搭一个简单网络做二分类这件事从头到尾拆开讲包括每一步为什么这么做、参数怎么定、坑在哪里。所谓二分类说白了就是让模型回答一个是非题这张图是猫还是狗、这条评论是正面还是负面、这个用户会不会点击、这笔交易是不是异常。输出只有两个类别模型最终要给出一个属于正类的概率。PyTorch 实现二分类的网络结构可以非常简单——哪怕只有两层全连接也能在不少任务上跑出可用的结果。但简单不等于随便网络结构、损失函数、激活函数、数据组织方式这几件事只要有一处没对齐模型就会以各种诡异的方式失败loss 不降、准确率卡在 50%、预测全是同一类。这篇内容适合两类人一是刚学完 PyTorch 基础语法、想找个完整项目练手的朋友二是手上有二分类任务、想快速搭个 baseline 看看数据有没有信号的人。我会用一个虚构的某设备状态检测场景贯穿全文——输入是一组特征向量输出是正常/异常两类这样既贴近真实工程又方便你把结构迁移到图像、文本等其他模态上。整个流程从数据构造、网络设计、训练循环到排查技巧全部给到可直接复现的细节。2. 整体设计与方案选型为什么这么搭2.1 先定任务形态再定网络复杂度动手写代码之前我习惯先把任务形态问清楚三个问题输入是什么形状、数据量大概多少、正负样本比例如何。这三个答案直接决定了网络该多深、该用什么层。以某设备状态检测为例假设每个样本是一个 20 维的传感器特征向量温度、振动、电流等统计量样本量几千条正负比例大概 1:4。这种低维、中小规模、类别不平衡的任务用多层感知机MLP就够了完全没必要上卷积或 Transformer。我试过在这种任务上硬套复杂结构结果参数量翻了几十倍验证集反而更差——数据量撑不起模型容量过拟合来得比收敛还快。所以方案选型的核心逻辑是网络容量要匹配数据的信息量。特征维度低、样本少就用浅层全连接如果是图像再考虑卷积如果是序列再考虑循环或注意力。别为了显得专业而堆结构这是新手最容易犯的错。2.2 损失函数与输出层的搭配逻辑二分类在 PyTorch 里有两种常见写法很多人在这里踩坑方案输出层损失函数预测时方案A输出 1 个值不加激活BCEWithLogitsLoss过 sigmoid 再阈值判断方案B输出 2 个值CrossEntropyLoss直接 argmax我强烈推荐方案A。原因有两个一是BCEWithLogitsLoss内部把 sigmoid 和交叉熵合并计算数值稳定性比先 sigmoid 再 BCELoss好得多后者在 logits 绝对值很大时容易出log(0)导致 loss 变 NaN二是单输出省一个神经元逻辑上也更贴合一个是非判断的语义。方案B 也不是不能用它适合你后续想扩展成多分类的场景。但如果就是纯二分类方案A 更省心。这里有个细节用方案A 时网络最后一层不要加 sigmoid直接把 logits 交给损失函数预测阶段再手动torch.sigmoid。我见过有人两头都加结果概率全挤在 0.5 附近模型等于没学。2.3 数据管道的设计考量数据这块我单独拎出来说因为二分类任务里数据组织方式对结果的影响往往比网络结构还大。核心是三件事标准化、类别不平衡处理、训练验证划分。标准化必须做尤其是特征量纲差异大的时候温度几十度、电流几安培、振动可能是小数。不标准化梯度会被大量纲特征主导小量纲特征几乎学不动。我一般用训练集的均值和标准差去标准化验证集绝不能用全体数据的统计量——那等于把验证集信息泄露进训练评估结果会虚高。类别不平衡比如 1:4如果不处理模型会倾向于全预测多数类准确率看着有 80%但少数类召回率是 0毫无用处。处理手段有重采样、加权损失、调整阈值等我后面会详细讲怎么选。3. 核心细节解析与实操要点3.1 网络结构两层隐藏层怎么定维度先给一个我常用的基础结构你可以直接拿去改import torch import torch.nn as nn class BinaryNet(nn.Module): def __init__(self, in_dim20, hidden164, hidden232, dropout0.3): super().__init__() self.net nn.Sequential( nn.Linear(in_dim, hidden1), nn.BatchNorm1d(hidden1), nn.ReLU(), nn.Dropout(dropout), nn.Linear(hidden1, hidden2), nn.BatchNorm1d(hidden2), nn.ReLU(), nn.Dropout(dropout), nn.Linear(hidden2, 1) # 输出 logits不加 sigmoid ) def forward(self, x): return self.net(x).squeeze(-1)维度怎么定我的经验法则是第一层隐藏维度取输入维度的 2~4 倍第二层取第一层的一半左右。输入 20 维第一层 64、第二层 32 是个稳妥起点。别一上来就 512、256参数多了在小数据上就是灾难。BatchNorm1d放在线性层之后、激活之前这是标准顺序。它的作用是让每层输入分布稳定训练更快更稳。但有个坑batch size 太小时 BatchNorm 会不稳定如果 batch 只有 8、16统计量噪声很大这时候要么加大 batch要么换成LayerNorm。我在小 batch 场景下踩过这个坑loss 曲线抖得像心电图换成 LayerNorm 立刻平滑。Dropout是防过拟合的比例 0.2~0.5 之间调。数据量小就调大点数据多可以关掉。注意 Dropout 只在训练时生效model.eval()后自动关闭这也是为什么训练和评估必须切换模式——忘了切eval()验证结果会偏乐观。3.2 损失函数与优化器的参数选择损失用BCEWithLogitsLoss如果类别不平衡直接给它传pos_weightpos_weight torch.tensor([4.0]) # 负样本是正样本的4倍 criterion nn.BCEWithLogitsLoss(pos_weightpos_weight)pos_weight的含义是给正类损失乘一个权重让模型更关注少数类。取值一般等于负样本数/正样本数。这个参数不是越大越好调太大模型会过度预测正类精确率暴跌。我一般从比例值开始看验证集的召回和精确率平衡情况再微调。优化器首选Adam学习率 1e-3 起步。Adam 对学习率不敏感适合新手快速跑通。等你熟悉了可以试AdamW带权重衰减的解耦版本或SGD momentum后者在调好的情况下泛化有时更好但需要更细致的学习率调度。学习率太大 loss 会震荡甚至爆炸太小收敛慢得像蜗牛1e-3 是绝大多数任务的甜点区。3.3 训练循环里必须盯住的几个点训练循环本身不复杂但有几个细节决定成败每个 epoch 开始前model.train()评估前model.eval()配合torch.no_grad()关闭梯度省显存也防意外更新。loss 要按样本数加权平均不能简单把每个 batch 的 loss 相加除以 batch 数因为最后一个 batch 可能不满。记录训练和验证两条曲线只看训练 loss 会误判。训练 loss 降、验证 loss 升就是过拟合的典型信号。我习惯在每个 epoch 打印训练 loss、验证 loss、验证准确率、验证 AUC 四个指标。准确率在不平衡数据上有欺骗性AUC 更能反映模型区分能力。这几个指标一起看模型状态一目了然。4. 完整实操流程从数据到可复现的训练4.1 构造并检查数据真实项目里数据来自文件或数据库这里我用合成数据演示但流程和真实场景完全一致import numpy as np from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler np.random.seed(42) n_samples, n_features 5000, 20 X np.random.randn(n_samples, n_features) # 构造一个有信号但带噪声的标签 logits X[:, 0] * 1.5 - X[:, 1] * 1.0 X[:, 2] * 0.8 np.random.randn(n_samples) * 0.5 y (logits 0).astype(np.float32) X_train, X_val, y_train, y_val train_test_split( X, y, test_size0.2, random_state42, stratifyy ) scaler StandardScaler().fit(X_train) X_train scaler.transform(X_train).astype(np.float32) X_val scaler.transform(X_val).astype(np.float32)注意stratifyy它保证训练集和验证集的正负比例一致否则验证集可能碰巧正样本特别少评估结果波动大。标准化用fit在训练集、transform验证集这个顺序不能反。数据进模型前转成Tensor并用DataLoader封装from torch.utils.data import TensorDataset, DataLoader train_ds TensorDataset(torch.from_numpy(X_train), torch.from_numpy(y_train)) val_ds TensorDataset(torch.from_numpy(X_val), torch.from_numpy(y_val)) train_loader DataLoader(train_ds, batch_size64, shuffleTrue) val_loader DataLoader(val_ds, batch_size256, shuffleFalse)训练集shuffleTrue打乱顺序防止模型学到样本排列的虚假规律验证集不用打乱。batch size 64 是个平衡点太小 BatchNorm 不稳太大显存吃紧且泛化可能略差。4.2 训练与评估的完整循环device torch.device(cuda if torch.cuda.is_available() else cpu) model BinaryNet(in_dimn_features).to(device) criterion nn.BCEWithLogitsLoss(pos_weighttorch.tensor([4.0]).to(device)) optimizer torch.optim.Adam(model.parameters(), lr1e-3) for epoch in range(50): model.train() train_loss 0.0 for xb, yb in train_loader: xb, yb xb.to(device), yb.to(device) optimizer.zero_grad() logits model(xb) loss criterion(logits, yb) loss.backward() optimizer.step() train_loss loss.item() * xb.size(0) train_loss / len(train_ds) model.eval() val_loss, correct, total 0.0, 0, 0 with torch.no_grad(): for xb, yb in val_loader: xb, yb xb.to(device), yb.to(device) logits model(xb) val_loss criterion(logits, yb).item() * xb.size(0) preds (torch.sigmoid(logits) 0.5).float() correct (preds yb).sum().item() total yb.size(0) val_loss / len(val_ds) print(fEpoch {epoch1:02d} | train_loss{train_loss:.4f} | fval_loss{val_loss:.4f} | val_acc{correct/total:.4f})这段代码有几个值得说的点。optimizer.zero_grad()必须在backward()之前PyTorch 默认会累积梯度不清零就变成跨 batch 累加梯度会越来越大。loss.item() * xb.size(0)是为了按样本数加权最后除以总样本数得到真实平均 loss。预测时torch.sigmoid(logits) 0.5阈值 0.5 是默认值不平衡场景下这个阈值往往需要调整后面会讲。4.3 阈值调整与最终评估模型输出的是概率0.5 只是默认切分点。在不平衡数据上最优阈值往往偏离 0.5。我的做法是在验证集上扫一遍阈值找 F1 或召回率满足要求的点from sklearn.metrics import roc_auc_score, precision_recall_fscore_support model.eval() all_probs, all_labels [], [] with torch.no_grad(): for xb, yb in val_loader: probs torch.sigmoid(model(xb.to(device))).cpu().numpy() all_probs.extend(probs) all_labels.extend(yb.numpy()) all_probs np.array(all_probs) all_labels np.array(all_labels) print(AUC:, roc_auc_score(all_labels, all_probs)) for th in [0.3, 0.4, 0.5, 0.6, 0.7]: preds (all_probs th).astype(int) p, r, f1, _ precision_recall_fscore_support(all_labels, preds, averagebinary) print(fth{th} | P{p:.3f} R{r:.3f} F1{f1:.3f})跑完你会看到阈值从 0.5 降到 0.3 时召回率上升、精确率下降具体选哪个取决于业务漏检代价高就偏向高召回误报代价高就偏向高精确。这一步没有标准答案必须结合场景定。5. 常见问题与排查技巧实录5.1 loss 不降或变 NaN 怎么查这是最高频的问题。我按顺序排查现象可能原因处理loss 一直是 0.69 左右输出层加了 sigmoid 又用 BCEWithLogitsLoss去掉输出层 sigmoidloss 变 NaN学习率太大 / 输入未标准化 / 出现 log(0)降学习率、标准化、换 BCEWithLogitsLossloss 震荡剧烈batch 太小 BatchNorm / 学习率偏大加大 batch 或换 LayerNorm、降 lr训练 loss 降但验证不降过拟合加 Dropout、减参数量、早停0.69 这个数字很特殊它是-ln(0.5)意味着模型输出恒为 0.5等于什么都没学。除了上面说的双重 sigmoid还有一种可能是标签和输出维度对不上比如标签是 long 型而 loss 期望 float或者标签形状是[N,1]而输出是[N]广播后算错。我一般会在训练前打印一次logits.shape和yb.shape确认对齐。5.2 准确率虚高但模型没用准确率 80% 但少数类全预测错几乎肯定是类别不平衡没处理。先看混淆矩阵别只看准确率。处理顺序先加pos_weight还不行再考虑重采样对少数类过采样或对多数类欠采样最后调阈值。重采样会改变数据分布过采样容易过拟合所以我一般优先用损失加权它对数据分布改动最小。5.3 训练快但验证指标上不去这种情况我遇到过好几次原因通常是验证集和训练集分布不一致或者标准化用了全体数据导致信息泄露。检查两点标准化是否只用训练集统计量训练验证划分是否随机且分层。还有一种隐蔽情况是数据里有重复样本训练集和验证集出现同一条数据验证指标虚高实际部署就露馅。划分前先去重这个习惯能省很多事。5.4 实操心得几个让我少走弯路的习惯第一个习惯是先跑一个极简 baseline。哪怕只用逻辑回归或单层线性网络先确认数据里有信号、流程能跑通再往上加复杂度。我见过有人直接上深层网络调了两天发现是数据标签错了白费功夫。第二个习惯是固定随机种子。torch.manual_seed、np.random.seed都设上保证每次实验可复现否则你根本分不清指标变化是改动带来的还是随机波动。第三个习惯是早停。验证 loss 连续若干 epoch 不降就停保存验证指标最好的模型权重而不是最后一个 epoch 的。最后一个 epoch 往往已经过拟合了。提示二分类任务里AUC 比准确率更能反映模型真实区分能力尤其在不平衡数据上。评估时至少同时看 AUC、精确率、召回率三个指标单看一个容易被误导。这套结构看着简单但把每个环节的为什么想清楚你就能把它迁移到图像把 Linear 换成 Conv2d、文本前面接 Embedding 池化等各种场景。网络结构是壳数据组织、损失设计、评估方式才是里子里子对了壳怎么换都不会太离谱。我在实际项目里用这套骨架起步通常半天内就能判断出数据到底有没有可学的信号比闷头调参高效得多。