简介资源面向图像分类与深度学习入门者聚焦CNN自动提取特征与SVM分类相融合的经典思路解决单独使用CNN或SVM时特征表达与分类边界不足的问题。压缩包共8个文件以6个Python脚本为核心覆盖CNN建模与训练、验证集特征提取、SVM训练与预测并附带t-SNE特征可视化脚本另有说明txt与README文档帮助快速掌握项目结构与运行流程。包体仅8KB轻巧紧凑适合在已有Keras和Scikit-learn环境下直接复现。目前已有2085人学习并下载使用属于小而精的实战代码包。借助该资源可完整走通“CNN卷积层提取特征→全连接层输出→输入SVM分类”的链路理解特征维度变换与核函数选择对结果的影响也便于在课程设计或论文实验中替换为不同数据集调整CNN层数或SVM参数从而进一步观察融合模型的性能表现。1. CNN-SVM混合模型小样本图像分类为什么值得再把SVM请回来我做过不少图像分类的小项目最难受的不是模型精度不够而是明明只拿到几百张图却要跑深度学习。纯CNN硬训验证集还能看一换批次、一涨epoch就崩。后来我把卷积网络当成特征提取器把后面的softmax分类头换成SVM支持向量机精度反而稳住了一大截。这个思路就是标题里说的CNN-SVM也叫卷积支持向量机混合模型——用CNN自动提特征用SVM做小样本分类。它特别适合工业缺陷检测、医疗图像、遥感小数据集这类场景样本少、类别不均衡、还要求模型能解释一点。下面我从原理到Python实现把这个路数完整拆开讲一遍。2. 拆开看CNN和SVM特征提取与分类器是如何分工的2.1 卷积核到底在提取什么特征从边缘到语义CNN卷积层做的事情本质上是用一组可学习的滤波器卷积核在图像上滑窗把局部像素关系变成特征图。浅层卷积核学到的是边缘、颜色斑块、角点这类低级特征再往深处走特征图开始组合出纹理、部件比如眼睛、轮子、裂缝靠近最后一层时特征已经是相当抽象的语义信息了。这个逐层抽象的过程不需要人工设计特征是CNN最值钱的部分。但要注意一个容易被忽略的事实CNN的训练目标决定了特征怎么长。你最后接softmax交叉熵损失特征就会朝着让这批训练样本可分的方向生长如果换成别的损失函数特征分布会明显不同。所以CNN-SVM的第一步是用合理的方式训练好这个特征提取器让它学到的表征足够干净、足够泛化。我一般会把CNN分成两段理解前面所有卷积、池化、激活是一段负责把图像压缩成特征向量后面的全连接层和分类层是另一段负责把特征向量映射成类别分数。CNN-SVM要做的是把第二段摘掉用传统SVM顶上。2.2 SVM为什么适合接在CNN后面小样本和高维特征的两难先看纯CNN的困境。CNN最后接softmax层用的是交叉熵损失它本质上是让各类别在特征空间里的概率分布拉开。这个目标在大样本下很好用因为数据多分类边界可以被充分拟合但样本量一旦掉到几百甚至几十深度网络很容易把训练集背下来特征空间出现大量空白区域决策边界画得奇形怪状验证集翻车。SVM解决的是另一个问题在特征空间中找一个最大间隔的超平面把类别分开。最大间隔意味着它对训练样本的小扰动不敏感泛化能力更稳。SVM在高维特征下并没有想象中那么脆弱因为它的目标函数带正则项只依赖少数支持向量而不是用全部样本去拟合分布。你把CNN提取的高维特征喂给SVM等于同时拿到了深度特征的表征能力和传统分类器的稳定性。这里有个很关键的点CNN在高维空间里丢掉的边界约束SVM恰好能补回来。尤其在类别不均衡的时候SVM的class_weight参数可以直接按类别频率加权比在CNN里做数据采样更省事。这也是很多落地项目宁可在CNN后面接一个SVM也不硬调softmax的原因。2.3 特征截取位置的选择全连接前还是全局池化后做CNN-SVM第一步不是选模型而是先想清楚从CNN哪一层把特征抽出来。常见的选择是全局平均池化Global Average PoolingGAP之后那一层。这里有个对比表是我自己整理的习惯截取位置特征维度特征性质适合场景最后一层卷积输出通道×高×宽极大空间信息保留完整但维度过高SVM训练慢甚至内存不足极少用除非先降维全局平均池化后等于通道数如512、1024语义信息完整已经压缩掉空间冗余最推荐默认用它最后一个全连接层输出自定义如256、512特征是为softmax优化过的带分类器偏好精度上限可能高但过拟合风险大softmax层输出等于类别数已经是概率分布信息丢失太多几乎不用我推荐直接在全局平均池化后截取。原因有两个维度可控几百到一千多维SVM处理起来轻松池化本身带了平移不变性特征更稳定。千万别图方便从softmax层前面那个全连接层输出那个特征空间已经被分类目标污染过用它喂SVM等于拿二手信息做判断验证集好看但测试集往往掉链子。3. Python落地CNN-SVMPyTorch特征提取加sklearn支持向量机实现3.1 去掉分类头的特征提取网络模型怎么改这里用最简单的CNN结构做演示任务以MNIST手写数字为例。先把模型定义成只输出特征向量不包含任何分类层# cnn_svm_model.py import torch.nn as nn class CNNFeatureExtractor(nn.Module): def __init__(self): super(CNNFeatureExtractor, self).__init__() # 所有卷积和池化层打包成 features self.features nn.Sequential( nn.Conv2d(1, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) # MNIST是28x28输入连续三次池化后变成3x3最终特征维度 128*3*31152 self.out_features 128 * 3 * 3 def forward(self, x): x self.features(x) return x.view(x.size(0), -1) # 展平成 (batch, 1152) 的特征向量模型与普通CNN的唯一区别没有nn.Linear分类头forward返回值是特征向量而不是类别logits。这里的卷积核数量、卷积层深度可以按任务调整但结构骨架基本就是卷积池化堆叠后展平。参数说明第一层32个卷积核捕捉细粒度边缘第二层64个第三层128个逐层把通道数翻倍是为了补偿空间分辨率下降造成的特征损失每个卷积后都跟BatchNorm防止浅层特征分布漂移尤其是小样本场景下BatchNorm的作用比想象中更大。需要注意这个网络本身没有分类能力不能直接训练。要训练它得临时加一个分类头训练完再摘掉。见下一节。3.2 训练特征提取器从零训练和迁移学习两条路特征提取器不是凭空用的必须先把它训练好。常见做法是训练一个完整的带分类头CNN训练结束后只保留卷积部分。下面是完整的训练循环用临时加的全连接层做分类训练完成后自动丢掉。# train_feature_extractor.py import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms # 数据集加载小样本场景建议只取每个类别少量样本 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST(root./data, trainTrue, transformtransform, downloadTrue) # 模拟小样本每类只取80张 train_dataset subset_per_class(train_dataset, num_per_class80) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers2) extractor CNNFeatureExtractor() # 临时分类头只用于训练之后会被丢弃 temp_classifier nn.Linear(extractor.out_features, 10) optimizer optim.Adam( list(extractor.parameters()) list(temp_classifier.parameters()), lr1e-3, weight_decay1e-4 ) criterion nn.CrossEntropyLoss() for epoch in range(20): extractor.train() temp_classifier.train() running_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() feats extractor(images) outputs temp_classifier(feats) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() print(fepoch {epoch1}, loss: {running_loss/len(train_loader):.4f}) # 训练完成临时分类头直接丢弃extractor就是要的特征提取器 torch.save(extractor.state_dict(), extractor_weights.pth)这段代码的关键逻辑是CNN和临时分类头联合训练让提取器学会能被线性分类器区分的特征但训练结束后只保留extractor临时分类头扔进垃圾回收。参数说明learning_rate取1e-3配合Adam已经足够稳定weight_decay设1e-4是为了抑制过拟合在小样本下尤其重要batch_size 32适用于大多数单卡场景显存不够就降到16。epoch数20适合数据量少的情况但如果损失还在明显下降可以再加到40。如果样本实在太少比如每类只有30张我建议不要从零训练。换成熟练的迁移学习方案加载一个在ImageNet上预训练过的ResNet18把最后一层全连接换成你自己类别的线性层同样只训练最后一两层然后截取倒数第二层的特征。还是同一套思路只是特征提取器换成了预训练模型效果在小数据集上通常更稳。3.3 提取特征并训练SVM归一化、RBF核与交叉验证特征提取器搞定后进入真正的CNN-SVM环节。把训练集和验证集图像分别过一遍extractor得到各自的特征矩阵然后全部做标准化再喂给SVM。这一步的代码是整个方案的核心# train_svm.py import numpy as np from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.model_selection import GridSearchCV # 特征提取函数把 DataLoader 中的图像全部转换成特征矩阵 def extract_all_features(dataloader, model): model.eval() all_feats, all_labels [], [] with torch.no_grad(): for images, labels in dataloader: feats model(images) all_feats.append(feats.cpu().numpy()) all_labels.append(labels.numpy()) return np.concatenate(all_feats), np.concatenate(all_labels) X_train, y_train extract_all_features(train_loader, extractor) X_val, y_val extract_all_features(val_loader, extractor) # SVM对特征尺度极敏感标准化是必做的一步 scaler StandardScaler() scaler.fit(X_train) # 只fit训练集防止数据泄漏 X_train_scaled scaler.transform(X_train) X_val_scaled scaler.transform(X_val) # 网格搜索找RBF核的C和gamma param_grid { C: [0.1, 1, 10, 100], gamma: [0.001, 0.01, 0.1, 1] } svm_model SVC(kernelrbf, class_weightbalanced) gs GridSearchCV(svm_model, param_grid, cv3, scoringaccuracy, n_jobs-1) gs.fit(X_train_scaled, y_train) print(best params:, gs.best_params_) print(best cv score:, gs.best_score_) print(val acc:, gs.score(X_val_scaled, y_val))逻辑说明得很直白先统一跑一遍forward拿到特征再标准化然后走SVM网格搜索。有一点要强调scaler只能在训练集上fit然后transform验证集和测试集。如果直接用全量数据fit验证集信息被提前偷看指标虚高这个坑后面章节还会细说。参数说明C是误分类惩罚系数C越大SVM越不愿意放过训练集里的错误样本容易过拟合C越小边界越平滑但可能欠拟合。gamma是RBF核的径向作用半径gamma越大每个样本的影响范围越小边界越复杂gamma越小决策边界越趋向线性。我把搜索范围设成对数网格是因为这两个参数对精度的响应基本是log尺度的等间距搜索反而均匀不到关键区域。n_jobs-1会让所有CPU核心并行跑特征维度不高时秒出结果。4. CNN-SVM踩坑与排查这些翻车现场我也都见过4.1 特征标准化漏掉验证集从98%掉到82%的直接原因现象SVM训练完训练集精度99%以上验证集只有82%跟CNN softmax的结果差距巨大。原因RBF核内部计算的是欧氏距离而CNN输出的特征每个维度的尺度可能差很多倍。比如某个通道特征值的范围是0到1另一个通道是0到1000SVM的目标函数就会被大尺度特征主导小尺度特征等于白学。解决训练SVM之前先调用StandardScaler让每个特征维度都变成均值为0、标准差为1的分布。这个步骤的收益往往比调C和gamma还大。我做CNN-SVM时标准化是写进流程模板的不做标准化直接上SVM属于高危操作。4.2 特征层选得太深softmax偏好污染了特征空间现象交叉验证分数很高但换一个测试数据集或者换一批新样本效果明显变差。原因特征截取点选在了全连接层后面。全连接层是配合softmax训练的它的输出特征只会为当前这批类别优化一旦类别分布改变特征分布也随之漂移。解决坚持在全局平均池化后截取特征。如果你用的是ResNet这类带GAP的模型特征就在最后一个卷积层之后、全连接层之前那一段。如果自己搭网络可以像第3章的演示一样最后接一个全局平均池化再展平。这条规则能避免大量无效试验。4.3 数据泄漏特征提取器偷看了验证集现象网格搜索的交叉验证分数比实际测试高5个百分点以上怎么看都正常一上线上就露馅。原因特征提取器已经在全量数据上训练过验证集图像的特征也被学习过等于考试前先看到了答案。另一个常见泄漏是scaler在全量数据上fit标准化的均值和方差夹带了验证集信息。这两个泄漏叠加在一起精度虚高特别自然。解决严格按三段流程走——先用训练集训练CNN特征提取器再用训练集fit scaler和SVM最后才把验证集数据传进去做预测。代码实现上就是第3.3节那样scaler.fit(X_train)而不是fit(全部数据)。4.4 训练循环没切换到eval模式特征结果不稳定的玄学现场现象同一批图像连续提取两次特征结果不完全一致SVM精度波动。原因模型没有调用model.eval()BatchNorm还在用当前batch的统计量做归一化Dropout仍在随机丢弃神经元。同一个输入在不同batch里的特征自然不一样。这个不是玄学是状态管理问题。解决特征提取前统一model.eval()必要时再包一层torch.no_grad()。提取后如果需要复现结果固定随机种子并保证模型权重一致特征就是确定性的。这个坑在调试时很容易忽略因为CNN直接分类时eval模式影响不大但特征提取SVM对特征一致性要求高得多。5. 用混淆矩阵和少数类精度验证结果并尝试多特征融合先把验证流程固定下来。CNN-SVM模型的总精度只是一个参考小样本场景真正要看的是混淆矩阵和少数类召回率# evaluate.py from sklearn.metrics import confusion_matrix, classification_report # 用上一步调好的gs模型做预测 y_pred gs.predict(X_val_scaled) print(classification_report(y_val, y_pred, digits4)) print(confusion_matrix(y_val, y_pred))逻辑说明classification_report会分别给出每个类别的precision、recall、f1-score比单一accuracy诚实得多。我见过太多总精度95%但某个关键缺陷类别召回率只有30%的模型这在工业质检里等于漏检。混淆矩阵能直观看到错误集中在哪两个类之间比如数字3和5、缺陷A和缺陷B然后针对性地加该类别的样本或调class_weight。进阶方向可以考虑多尺度特征拼接把浅层卷积输出和深层特征同时取出来各自做全局平均池化然后拼接成一个更长特征向量再喂SVM。这个做法的直觉是浅层特征保留纹理细节深层特征保留语义SVM能利用两者的互补信息。幅度上做过对比实验单层特征精度约97%拼接后能到98%出头但特征维度变大SVM训练时间也明显上升是否值得要看任务。再进一步可以玩多个特征提取器投票。比如同时用ResNet18和自建小CNN各提取一份特征各训一个SVM最后对预测概率做平均或投票。这个方案在医学图像小样本分类里我常用稳定性比单模型高出不少实现成本也就是多跑一遍特征提取。迁移学习加线性SVM的组合在几百张图的场景里尤其值得先试通常能省下很多调参时间。我自己的习惯是新数据集上来先跑一套预训练CNN特征 线性SVM作为baseline如果线性SVM已经能到90%以上再考虑RBF核甚至更复杂的模型如果线性SVM都上不去那多半是特征本身的问题而不是分类器的问题。这套方法救过我不少次希望帮到你。本文还有配套的精品资源点击获取