篇名问题背景方法其他基于双源判别器的域自适应城市场景语义分割(2023)1.跨域数据集外观分布不同导致域差异导致对抗训练不稳定分割精度不够理想。2.网络对小目标分割精度不理想双源判别器判别器输入包含 2 个不同域 的特征信息1对源域 S 使用风格转换方法 FastPhotoStyle 得到新源域 S从图像层面降低域差异。2利用生成器分别提取源域 S、新源域 S和目标域 T 的分割特征图将新源域的特征图作为中间桥梁分别与源域特征图目标域特征图进行通道维度上的特征融合3将得到的 2 个融合后的特征图输入双源判别器中双源判别器和生成器迭代进行对抗训练引入自训练的伪标签将自训练的伪标签根据阈值选取置信度最高的作为目标域的监督信息融入对抗训练值类平衡因子的引入将伪标签中最大概率类别出现的频率之和作为类平衡损失因子引入损失函数中效果降低域差异使模型训练更加稳定更好地实现特征对齐从而提升性能和分割精度避免模型的预测结果偏向源域。缓解分割网络中类不平衡问题增加网络对小目标的分割能力。PS:对应方法图引导的特征融合和分组对比学习的域自适应语义分割(2024)1.原有方法没有考虑两个域像素之间的关联性以及类不平衡问题使语义分割网络的跨域性能较差2. 解决数据集中存在的类不平衡问题同时提取到更多域不变特征双跨域图卷积网络1构造了跨域的位置相似性矩阵和通道相似性矩阵通过双跨域图卷积来更新图像特征图上的 结点信息建立域内和域间像素的长距离上下文依赖关系使无监督域自适应分割网络能提取到更多 的域不变信息。 2为了解决类不平衡问题提出了分组对比学习方法构造了分组对比损失函数以进一步提取域不变特征。局限域之间的位置信息挖掘的不够充分导致模型在一些类别较复 杂的场景仍会出现错误分类的情况一种结合域自适应的图像语义分割算法2021数据的收集和标记成本高昂真实图像与合成图像在分布域上存在的差异会降低模型性能使用成本较低的计算机生成并标记的合成数据训练深度神经网络通过在输出空间上的对抗学习实现域自适应根据WGAN对对抗学习损失函数进行改进采用的域自适应方法是基于卷积神经网络的端到端算法通过构建多级对抗学习网络来利用不同级别特征信息以提升模型性能。基于深度学习和域自适应的图像语义分割2020主要问题当前的图像分割方法都难以满足工业界的需要尤其是为了采集训练用数据集带来 的巨大人力物力财力消耗细分问题图像语义分割的特征对齐可能会因为需要 编码大量视觉信息包括外观、形状和背景信息的复杂高维特征影响导致效果 不好特征级别低的的可能不会很好的进行域自适应因为他们 距离高层级的标签输出太远主要问题解决方案了一种创新的生成对抗网络可以进行无监督的图片风格迁移这 个方法基于公共潜在空间的假设将不同域上的图像通过编码器映射到公共空间 的一个编码上最后在用解码器重建图像以此达到了无监督的图像转换为后续 的图像分割工作提供基础使用两个级联的生成对抗网络利用对抗的思想使得网络在不同域上的输出趋于一致并且让判别器无法判断输出来自目标域还是源域。通过两个生 成对抗的网络我们在图片和特征层级上都达到了高质量的迁移提出了一种多样性学习方 法多样性学习方法通过在多风格数据集上训练校正了网络在预测时对物体纹 理信息的倾向性转而更多地依靠形状来判断细分问题对应方案像素级预测模型迁移方法在输出空间上分割图进行像素级别的域自适应多层级域自 适应的策略这个策略通过结合分割网络不同层上的输出特征进行对抗学习达成 了多层级适应的目的一、图像分割的国内外研究历史和现状传统分割方法1.阈值法2.区域生长方法3.分水岭算法4.基于边缘检测的图像分割算法基于深度学习的分割方法语义分割、实例分割、全景分割特征提取领域VGGNet(深度卷积神经网络)-ResNet(残差网络)-全卷积网络-无监督的图像分割仍存问题在某些场 景中分割速度是更重要的评价指标能够接近实时的分割推理速度运行分割模型是这些场景的迫切需求速度、精度和计算复杂度 之间的平衡仍为挑战深度学习模型的可解释性 是否存在针对特定数据分布且能达到一定分割精度的最小神经网络结构基于鉴别模型和对抗损失的无监督域自适应方法2020收集注释良好的图像数据集来训练深度学习算法成本过高 且耗时而仅在渲染图像训练的模型通常无法推广到真实图像原方案无监督域自适应算法试图在 2个域之间映射一些表示或提取域不变的特征将 2 个域映射到共同的特征空间本文方法基于生成对抗 网络( GAN) 架构的无监督域自适应方法使用鉴别模型无需权重共享、对抗损失 和辅助分类任务以无监督的方式学习从一个域到另一个域的变换。首先使用源域中的标签学习鉴别表示 然后使用通过域-对抗性损失学习的非对称映射将 目标数据映射到同一空间的单独编码。辅助分类任务结合辅助的任务学习共同的特征表示本文方法优势与特定任务的体系结构分离跨标签空间 的泛化以及训练稳定辅助分类任务优势最大限度地丰富训练样本增强学习到特征的 泛化性能而且有效增大类间距离和减小类内距离 有利于提高分类精度。Bidirectional Learning for Domain Adaptation of Semantic Segmentation双向学习在语义分割域适应中的应用1.手动为大型数据集标注像素级别的标签既昂贵又耗时。现有的域适应技术要么局限于小数据集要么与监督学习相比性能不佳2.原有的通过减少域偏移获得的性能受限于图像到图像翻译的质量。一旦翻译失败后续步骤就无计可施提出了一种新的双向学习框架用于图像语义分割的域适应。该系统包含两个独立的模块图像到图像的转换模型和分割适应模型学习过程涉及两个方向即“翻译到分割”和“分割到翻译”。整个系统形成了闭环学习。两个模型将交替促进彼此从而使域差距逐渐减小。在正向即“翻译到分割”上提出了一种自监督学习SSL方法来训练分割适应模型。在反向提出了一种新的感知损失它强制每个图像像素与其翻译版本之间的语义一致性从而在翻译模型和分割适应模型之间建立桥梁图像翻译和分割适应模型共同训练在训练过程中分割模型可以为图像翻译提供反馈帮助改善翻译结果的质量和准确性。同时经过改进的翻译结果又可以作为更好的输入数据进一步提升分割模型的性能双向学习该方法通过源域和目标域之间的双向信息流动来减小域间差异。这意味着模型不仅从源域学习还从目标域中学习从而增强了对目标域数据的适应能力。自监督学习自监督学习是一种利用数据自身的信息来训练模型的方法。这种方法不需要额外的标签而是从数据中提取有用的特征进行训练。通过引入自监督学习模型能够进一步增强其泛化能力提高在未见过的数据上的性能。这种方法不仅可以利用虚拟数据来扩充训练集还可以通过减少域差异来提高分割模型的性能