在 Custom Vision 中对比不同域IoT-For-Beginners 库存检测器Stock Detector域切换与效果评估指南【免费下载链接】IoT-For-Beginners12 Weeks, 24 Lessons, IoT for All!项目地址: https://gitcode.com/GitHub_Trending/io/IoT-For-Beginners导读本文围绕 IoT-For-Beginners 零售Retail模块第 1 课训练库存检测器的课后作业展开讲解如何在 Azure Custom Vision 中为对象检测项目切换不同的域Domain并通过重新训练与测试对比各域对货架商品库存检测这一场景的实际效果。读完本文你将掌握 Custom Vision 域切换的完整操作路径Settings → 选择新域 → Save changes → 重训 → 测试新迭代、科学的对比测试方法以及如何依据 Precision、Recall、mAP 和预测概率来判定哪个域更优。一、任务背景为什么库存检测器需要对比域在《训练库存检测器》一课中你已在 Custom Vision 门户中创建了一个名为stock-detector的对象检测项目并在创建项目时选择了Object Detection项目类型与Products on Shelves货架商品域。Custom Vision 提供多个预训练域每个域针对不同的图像类别和场景做了优化General通用适用于一般对象检测场景覆盖类别广但无特定领域优化Products on Shelves货架商品专门针对检测商店货架上的库存商品而设计与该课程中检测番茄酱罐头、腰果桶等货架陈列商品的目标高度匹配Logo、General (compact)等分别面向徽标识别与可导出到边缘设备的轻量模型场景compact 域为轻量模型支持导出到设备端运行。创建项目时的域选择界面如下图所示图中项目名为stock-detector、资源为stock-detector-training [F0]、项目类型为 Object Detection域已选中Products on Shelves课后作业的核心命题是既然创建时有多个域可选那么对于你的库存检测器各个域的实际表现如何哪一个能给出更好的结果这要求你不仅要会切换域并重训模型还要能用一套可重复的测试流程量化对比最终给出有依据的结论。二、域切换的完整操作流程根据作业要求切换域的操作路径如下打开你的stock-detector项目点击顶部菜单中的Settings设置按钮在设置页中选择一个新的域例如从 Products on Shelves 切换为 General或反向操作点击Save changes保存更改按钮重新训练retrain模型等待训练完成该课程使用Quick Training快速训练选项通常需要几分钟使用基于新域训练出的新迭代iteration进行测试而非旧迭代。 注意切换域后必须重新训练。域决定了模型底层的特征提取器与场景先验旧迭代仍基于原域训练无法代表新域的效果。测试时应确认使用的最新迭代版本为新域训练所得。三、测试与结果对比方法训练完成后按以下方法进行对比测试使用Quick Test快速测试按钮上传测试图片验证对象是否被正确检测。必须使用训练时未用过的测试图片——课程强调使用你之前创建的测试图片而不是任何用于训练的图片否则无法客观评估泛化能力依次测试你拥有的全部测试图片观察每个检测框的概率值probability并记录下来对每个候选域重复上述 1-2 步保证同一组测试图片、同一测试环境这是对比公平性的前提。典型的检测结果界面如下图所示——Quick Test 检测出图片中的 3 罐番茄酱分别给出 38%、35.5% 与 34.6% 的置信度右侧面板还能显示迭代版本与预测阈值Predicted Object Threshold对比时建议重点观察检测框数量是否正确是否漏检少框或误检多框、错框置信度分布同一批图片在不同域下概率整体偏高还是偏低边界框贴合度框是否紧贴物体该课程在标注时强调保持框紧贴对象域差异有时会反映在定位精度上。四、对比实验的推荐步骤为了让结论可复现、可引用推荐按如下实验流程组织对比固定测试集挑选 5-10 张覆盖不同角度、光照条件且包含所有目标对象的测试图片可复用课程 images 目录下 testing 子目录中的示例图如腰果与番茄酱图片基准记录先记录当前 Products on Shelves 域下各图片的检测结果检测对象数、概率值切换域按上文流程切到另一个域如 General保存并重训重测用同一测试集重跑 Quick Test逐图记录结果汇总对比制作表格对比各域的漏检数、误检数、平均置信度以及是否检测出所有对象给出结论结合检测准确性与置信度明确说明哪个域在你的库存检测器上表现更好并分析原因例如 Products on Shelves 因针对货架商品场景优化通常对番茄酱罐头这类货架商品更具优势。 该课程提供的训练图片training 与 testing 目录即按货架商品思路拍摄——模型面向货架上的商品设计照片也应尽量把物体摆在类似货架的环境里拍摄。五、评估标准Rubric解读作业附带的评估表给出了两个核心评分维度可作为自我检验清单标准优秀Exemplary合格Adequate需改进Needs Improvement用不同域训练模型成功切换域并重新训练模型成功切换域并重新训练模型无法切换域或无法重新训练模型测试模型并对比结果能使用不同域测试模型、对比结果并说明哪个更好能使用不同域测试模型但无法对比结果或说明哪个更好无法使用不同域测试模型可以看出作业的重点不只是会切换域而是完整的对比闭环切换 → 重训 → 测试 → 对比 → 论证。第一项满分与合格的标准相同说明操作本身不是难点真正的区分度在第二项——能否给出有数据支撑、有分析深度的对比结论。六、深化评估Precision、Recall 与 mAP在反复训练与测试之外还可以借助 Custom Vision 训练完成后给出的模型评估指标来量化域之间的差异。课程明确指出训练对象检测器时会看到Precision精确率、Recall召回率与 mAP平均精度均值三项指标Precision检测出的结果中真正正确的比例衡量误检的多少Recall所有真实对象中被成功检出的比例衡量漏检的多少mAPmean Average Precision综合精确率与召回率在不同置信度阈值下的表现是对象检测任务中最常用的综合评分。切换域并重训后对比同一验证集上的这三项指标能比单纯看单张测试图的概率更全面、更客观。结合 Quick Test 的逐图概率记录与这三项指标即可形成定量指标 实测样本的双重证据链支撑最终结论。 类似的评估思路在项目前一模块中亦有体现可参考 4-manufacturing/lessons/1-train-fruit-detector/README.md 中关于重训图像分类器的讨论——分类器同样可能给出意外结果需要通过预测结果回灌训练来持续改进。七、注意事项与后续衔接资源限制该课程使用免费层 Custom Vision 资源stock-detector-training、stock-detector-prediction免费层每个账户通常只有有限的训练与预测资源配额反复重训不同域时应注意资源用量与清理可参考课程中的清理说明 clean-up.md。图片规范训练图片须为 png 或 jpeg、小于 6MB若使用 iPhone 等设备拍摄的高分辨率 HEIC 图片需先转换与压缩。迭代管理每次重训都会生成新迭代测试时务必确认选中正确的迭代版本测试界面的迭代下拉框中可查看。下一步衔接完成域对比后可进入下一课《在设备上检查库存》将选定域训练出的模型部署到 IoT 设备端进行实际库存检测——域的最终选择将直接影响边缘端推理效果。总结域是 Custom Vision 对象检测项目在创建时就定下的重要配置它决定了模型适配的场景先验。本作业通过切换域 → 重训 → 同测试集对比 → 论证结论的完整闭环帮助你建立机器学习实验对比的方法论固定变量、量化观测、以数据和指标说话。完成对比后你可以基于结论为库存检测器选择最合适的域为后续的设备端部署5-retail/lessons/2-check-stock-device/README.md打下坚实基础。相关作业原文可见 translations/en/5-retail/lessons/1-train-stock-detector/assignment.md完整课程内容见 5-retail/lessons/1-train-stock-detector/README.md。【免费下载链接】IoT-For-Beginners12 Weeks, 24 Lessons, IoT for All!项目地址: https://gitcode.com/GitHub_Trending/io/IoT-For-Beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考