1. 项目概述基于深度学习的智能垃圾分类系统2019年上海率先实施垃圾分类管理条例时我正好在小区做志愿者。每天早晚高峰站在垃圾桶旁指导居民分类最常听到的抱怨就是这个到底算什么垃圾。正是这段经历让我萌生了用技术解决这个痛点的想法。如今基于卷积神经网络(CNN)的垃圾分类系统已经可以做到85%以上的准确率完全达到了实用水平。这个毕业设计项目的核心是构建一个能自动识别垃圾类别并给出分类建议的智能系统。相比传统图像识别垃圾分类有其特殊挑战垃圾往往以不规则形态堆叠、存在遮挡、且受光照条件影响大。我们采用改进的ResNet50作为基础网络配合数据增强策略在自建数据集上取得了不错的效果。2. 系统架构设计2.1 整体技术路线系统采用经典的CV项目开发流程数据采集与标注耗时占比40%模型选型与训练30%前后端系统集成20%性能优化与测试10%实际开发中最耗时的不是模型训练而是数据工作。我们团队3人花了2周时间在校园和周边社区拍摄了超过5000张垃圾照片涵盖厨余、可回收、有害和其他四大类。特别要注意的是实际场景中的垃圾往往以混合状态出现这与公开数据集中整齐摆放的样本有很大不同。2.2 核心模型选型对比了三种主流架构后我们最终选择ResNet50作为基础模型MobileNetV2轻量但准确率不足测试集78.2%EfficientNet效果最好但推理速度慢86.5%/320msResNet50平衡之选85.1%/180ms关键改进点在原始ResNet50的最后一层卷积后增加了空间注意力模块(SAM)使模型能更好地聚焦垃圾的关键特征区域。实测这个改动带来了3.2%的准确率提升。3. 数据工程实践3.1 数据采集要点我们制定了严格的数据采集规范拍摄角度45度俯拍模拟垃圾桶视角光照条件涵盖自然光、室内灯光、夜间补光三种场景垃圾状态单独物品占60%混合堆放占40%背景干扰30%的样本包含复杂背景如垃圾桶内壁特别提醒有害垃圾样本较难获取我们通过模拟方式如将过期药品摆放在不同背景下补充了这类数据。最终数据集分布为厨余(35%)、可回收(30%)、其他(25%)、有害(10%)。3.2 数据增强策略针对垃圾图像的特点我们采用了特殊的增强组合train_transform transforms.Compose([ transforms.RandomRotation(30), transforms.RandomPerspective(distortion_scale0.2), # 模拟物品堆叠 transforms.ColorJitter(brightness0.3, contrast0.3), # 光照变化 transforms.RandomResizedCrop(224, scale(0.8, 1.0)), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])这种增强方式特别适合垃圾识别场景相比标准ImageNet预处理能使测试准确率提高约5%。4. 模型训练技巧4.1 迁移学习配置使用PyTorch实现的完整训练配置model resnet50(pretrainedTrue) num_ftrs model.fc.in_features model.fc nn.Linear(num_ftrs, 4) # 四分类 optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-3) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size5, gamma0.1) criterion nn.CrossEntropyLoss(label_smoothing0.1) # 缓解样本不均衡关键参数说明label_smoothing有效防止模型对多数类过拟合AdamW优化器比常规Adam更适合小规模数据集分阶段学习率初始1e-4每5个epoch降为原来的1/104.2 训练过程监控我们使用WandB记录训练过程重点关注三个指标类别平均准确率避免被多数类主导有害垃圾的召回率关键安全指标验证损失波动情况典型的训练曲线显示模型在15个epoch后趋于收敛。有趣的是我们发现学习率降至1e-5后有害垃圾的识别准确率会有明显提升7%这说明不同类别可能需要不同的学习策略。5. 系统部署实战5.1 轻量化部署方案使用TorchScript将模型导出为移动端可用的格式script_model torch.jit.script(model) torch.jit.save(script_model, trash_classifier.pt)在树莓派4B上的性能测试结果原始模型180ms/帧经过量化后的模型65ms/帧精度损失2%结合TensorRT加速42ms/帧5.2 Web端集成示例基于Flask的简易API实现app.route(/predict, methods[POST]) def predict(): if file not in request.files: return jsonify({error: no file}) file request.files[file] img_bytes file.read() img Image.open(io.BytesIO(img_bytes)) # 预处理 img_tensor test_transform(img).unsqueeze(0) # 推理 with torch.no_grad(): outputs model(img_tensor) # 后处理 _, pred torch.max(outputs, 1) class_names [厨余, 可回收, 有害, 其他] return jsonify({class: class_names[pred.item()]})6. 典型问题与解决方案6.1 混淆案例分析我们在测试中发现了几类常见误判湿纸巾 vs 纸张都含纤维但类别不同解决方案在数据集中增加这类易混淆样本碎玻璃 vs 糖果包装解决方案引入边缘检测作为辅助特征过期药品的模糊识别解决方案单独训练一个药品检测子模型6.2 实际部署中的挑战在校园试点时遇到的一些意外情况雨天垃圾桶内反光严重应对增加雨天数据增强垃圾袋颜色干扰特别是黑色袋子应对训练时随机添加色块干扰摄像头安装角度偏差应对开发自动视角校正模块7. 项目扩展方向这个基础系统还可以进一步优化多模态融合加入重量传感器数据提升准确率时序分析通过连续帧判断投放动作是否合规知识图谱建立垃圾成分数据库辅助判断边缘计算开发专用AI芯片实现更低功耗我在项目中最深的体会是现实场景的数据质量比模型结构更重要。曾经花费一周尝试各种SOTA模型效果都不如花三天重新整理标注数据来得明显。建议后来者一定要在数据工程上投入足够精力这是决定项目成败的关键。