简介变化检测是遥感影像分析中的核心任务通过对比同一区域不同时相的影像逐像素识别地表变化。传统方法依赖人工特征与阈值设定难以应对复杂场景。Transformer凭借自注意力机制带来的全局建模能力可有效捕捉长距离依赖解决光照、物候等导致的伪变化问题在违建监测、灾害评估、农业巡检等场景中展现显著优势。本文围绕基于Swin Transformer的孪生编码器与差分融合解码器架构从数据组织、网络设计、损失函数到训练策略与后处理系统梳理了遥感变化检测项目的完整落地路径并分享了应对类别不平衡、显存溢出、伪变化等工程实践中的关键经验为相关研究和应用提供参考。 变化检测这两年是真的火尤其是把Transformer架构引进来之后整个赛道都快被重做了一遍。我在遥感领域做了不少年从早期像素级差分、CVA那套传统方法一路用到现在的深度学习模型最大的感受是变化检测这个任务模型选型一旦对了效果提升真的是“肉眼可见”的级别。最近在做一个基于Transformer实现的遥感影像变化检测项目配套了完整的项目源码从数据处理到模型训练再到推理出图一条链路全打通了。这篇文章就把整个项目的核心设计思路、关键模块的实现细节、以及我实际踩过的一些坑都写出来给正在做遥感变化检测、或者准备复现类似项目的朋友一个参考。这个项目适合谁来读如果你是刚接触遥感深度学习的学生这篇文章能帮你理解Transformer在遥感任务里是怎么落地的如果你已经在跑语义分割或者变化检测的模型但被精度卡住了这篇文章里的调参经验和后处理技巧应该能让你少走不少弯路。我会尽量把每个关键选择背后的“为什么”讲清楚而不是只给你一堆能跑但不知道为什么的代码。1. 变化检测任务的核心逻辑与现状1.1 变化检测到底在解决什么问题变化检测Change Detection这个任务说白了就是给同一地点、不同时间拍到的两幅影像逐像素判断“这块地方变没变、变成了什么”。它的应用面非常广城市违建监测、耕地非农化巡检、灾害损毁评估、森林砍伐追踪本质上都能抽象成这样一个双时相对比问题。但真正做起来你会发现这个任务比普通的语义分割要难一个量级。原因在于变化检测不是单纯地识别“某个物体是什么”而是要区分“同一个物体在不同时间的状态差异”。这就引出了两个核心难点一是伪变化太多。两期影像如果拍摄时间不同光照、阴影、物候带来的辐射差异会非常大同一个屋顶在上午九点和下午三点的像素值可能相差很大简单的像素级差分会把这些都判定为“变化”。二是类别极度不平衡。真实场景中真正发生变化的区域往往只占整幅影像的很少一部分可能连5%都不到剩下95%以上都是“不变”的背景。这种天然的样本不均衡会把很多常规分割模型直接“惯坏”——模型只要学会输出全零损失函数就已经很漂亮了。传统方法里影像差分、比值法、变化向量分析CVA都是经典方案但它们的共同痛点是阈值太难定而且对影像配准和辐射校正的质量极其敏感。后来引入机器学习分类器比如用SVM对差异特征分类效果好了不少但特征表达依然依赖人工设计泛化能力有限。1.2 从CNN到Transformer为什么换架构是必然语义分割领域之前的主流是CNN家族——U-Net、DeepLabV3、PSPNet等等。CNN依靠卷积核堆叠来扩大感受野但在处理变化检测这种任务时它有个天然短板卷积核的感受野始终是局部的要建模两个时空位置上长距离的依赖关系往往需要非常深的网络或者膨胀卷积来补偿而且效果依然有限。变化检测对“全局上下文”的需求比普通分割更强烈。举个最典型的例子一片农田从播种期到成熟期颜色和纹理变化非常大如果只看局部像素几乎肯定会判成“变化”。但如果你能看到整幅影像的结构——周围大片农田都是类似状态道路和建筑的分布完全没变你就会判断“这只是季节性的地表变化不是真正的土地覆盖转变”。这种“放眼全局做推理”的能力恰恰是Transformer的看家本领。Transformer的核心是自注意力机制Self-Attention它让特征图上的每个位置都能直接和全图其他位置计算关联权重。可以这样理解CNN是一个只能看到周围一小块区域的巡逻员而Transformer是一个站在高处能纵览全局的总指挥。遥感影像这种大尺寸、地物复杂、上下文相关的数据Transformer的全局建模能力优势非常明显。1.3 Transformer落地遥感变化检测的几种主流路线目前用Transformer做遥感变化检测技术路线大致能分成三类第一类是孪生Transformer编码器 差分融合解码器。这是最常见、也是我个人最推荐起步的方案。用两个共享权重的Transformer分支分别提取前后期影像的特征然后对两组特征做差分、拼接等融合操作再送入解码器逐级恢复分辨率。ChangeFormer就是这类架构的代表。第二类是Swin Transformer做骨干 FPN解码器。Swin Transformer通过窗口注意力机制在保持全局建模能力的同时控制了计算量很适合深层次的特征提取再配合特征金字塔结构做多尺度融合在精度和计算成本之间取得较好平衡。第三类是时间序列Transformer。把变化检测看成时序分类问题对影像序列做时间维度的注意力建模。这种方案更适合多时相遥感影像分析但在标准的双时相变化检测上有点“杀鸡用牛刀”。在我们的项目里采用的是“孪生Swin Transformer编码器 多尺度差分特征解码器”的组合方案。选Swin而不是原生Vision Transformer主要是为了控制显存开销——遥感影像动辄上万像素原生ViT的全局注意力在训练时显存直接爆炸Swin的窗口注意力策略在效率和性能之间找到了一个很好的折中。2. 项目结构与工程化设计思路2.1 从源码包看到的项目目录结构拿到这个项目的源码包第一件事先看目录结构不要急着跑main.py。一个规范的深度学习项目目录结构本身就透露了作者的工程习惯。我这里给一个整理后的典型结构基本反映了这个项目的模块划分change_detection_transformer/ ├── data/ │ ├── train/ │ ├── val/ │ └── test/ ├── datasets/ │ ├── __init__.py │ └── change_dataset.py ├── models/ │ ├── __init__.py │ ├── encoder.py │ ├── decoder.py │ └── changeformer.py ├── utils/ │ ├── metrics.py │ ├── losses.py │ ├── postprocess.py │ └── logger.py ├── configs/ │ └── train_config.yaml ├── checkpoints/ ├── train.py ├── predict.py └── requirements.txt这里面的核心模块各司其职datasets/负责读取双时相影像和标签做数据增强和切片models/存放网络结构utils/放损失函数、评估指标和后处理工具configs/统一管理超参数train.py和predict.py是训练和推理入口。提示在这个项目里checkpoints/目录默认是空的因为源码包通常不放训练好的权重文件。你需要自己下载预训练权重或者从头开始训练。文件大小通常在几百MB到GB级注意查看README里给的下载链接。2.2 模型主体架构孪生编码器与差分解码器这个项目的模型设计思路非常清晰整体结构可以分为四个阶段**第一阶段是双时相输入组织。**反正前期影像和后期影像分别输入到两个结构相同、权重共享的编码器中。权重共享这个设计非常关键它能保证两期影像经过同一个特征提取器处理时特征分布是一致的不会被编码器本身带入“时间偏差”。如果不共享权重等于让网络同时学两套特征提取逻辑模型复杂度翻倍而且很难收敛。**第二阶段是编码器特征提取。**本项目采用的编码器是基于Swin Transformer搭建的包含4个Stage输出4个不同分辨率的特征图。从底层到高层分辨率逐级降低通道数逐级增加语义信息逐渐增强空间细节逐渐丢失。这组特征金字塔后面会被解码器逐级利用。**第三阶段是差异特征融合。**这是变化检测的核心环节。对于同一尺度上的前后期特征项目采用“拼接 差分”的组合方式diff_feat concat([feat_a, feat_b, feat_a - feat_b], dim1)这里为什么不单用差分特征呢我实际测试过单独差分会丢失大量原始语义信息尤其是当变化很细微时差分后的信号非常弱。拼接三个特征能让解码器既看到“差异”又看到“原始语义”相当于给分类器提供了更充分的证据链。**第四阶段是解码器恢复。**差异特征通过逐级上采样和跨尺度拼接逐步恢复到输入分辨率。每个解码器层级会有一次特征融合操作将上一级的高层语义特征与当前级的低层细节特征相加。最后经过一个1×1卷积和一个二分类头输出变化概率图。整个结构用一句话概括两分支共享权重编码器提取特征差分融合捕捉变化信号金字塔解码器恢复空间细节。这个设计兼顾了全局语义和空间细节是当前精度与推理效率比较平衡的经典组合。2.3 训练策略从冻结预训练到渐进解冻模型结构搭好了训练策略直接决定最终的精度上限。这个项目里的一个关键做法是初始阶段冻结Swin骨干只训练解码器。为什么这么做因为人工设计的变化检测数据集比较小常见的公开集如LEVIR-CD也就一万多对样本从头训练一个大模型很容易过拟合。而Swin骨干在ImageNet或更大的遥感数据集上预训练过已经学会了通用的特征表达。如果一开始就让全部参数参与更新预训练权重很容易被小数据集上的噪声梯度破坏掉导致特征提取能力大幅下降。具体做法是前20个epoch冻结编码器只让解码器和分类头更新之后每10个epoch解冻一个Stage从Stage4开始逐步解冻直到整个网络完全参与训练。这种方式类似于“课程学习”——先让模型学会从固定特征中做判断再逐步释放编码器的自适应能力去贴合变化检测任务。配合这个训练策略有几个超参数需要特别注意。学习率编码器用3e-5解码器用1e-4两套学习率分别配置优化器参数组。优化器我推荐AdamW配合权重衰减1e-5比SGD收敛更平稳。批次大小在单卡24GB显存条件下输入patch为256×256时batch size可以设为8左右。学习率调度使用余弦退火配合5个epoch的warmup。这些参数不是随便定的。初始学习率如果太大预训练权重很快被破坏太小则解码器收敛极慢。warmup阶段让学习率从0慢慢升到目标值可以避免训练初期梯度的大幅震荡这个在Transformer类模型上尤其重要。3. 核心实现细节与关键代码解析3.1 数据组织与Dataset类实现变化检测的数据组织核心是“一对影像 一张标签”。以LEVIR-CD这类公开数据集为例它的目录结构通常是这样A/ # 前期影像 train_1.png train_2.png B/ # 后期影像 train_1.png train_2.png label/ # 变化标签0不变1变化 train_1.png train_2.png在change_dataset.py里Dataset类的核心逻辑是根据索引同时加载三张图。落地时需要注意两个细节第一是配对一致性。A、B、label三个文件的索引必须严格对齐任何一张图读取失败或错位都会导致模型学到完全错误的关系。我习惯在Dataset里显式校验文件名是否匹配宁可启动时多花几秒也不要训练到一半才发现配对错了。第二是样本切分。遥感影像往往是大尺寸的GeoTIFF比如1024×1024甚至更大直接整图送入模型显存不够标准做法是做滑动窗口裁剪。裁剪时要控制边界窗口最好重叠一部分避免把地物从中间切断。我们项目里patch size设为256×256重叠64个像素。核心代码骨架如下import torch from torch.utils.data import Dataset from PIL import Image import numpy as np import os class ChangeDetectionDataset(Dataset): def __init__(self, root_dir, patch_size256, stride192, transformNone): self.root_dir root_dir self.patch_size patch_size self.stride stride self.transform transform self.pairs self._load_pairs() self.patches self._generate_patches() def _load_pairs(self): # 读取 A/ B/ label/ 下所有文件名校验对齐 img_a_dir os.path.join(self.root_dir, A) img_b_dir os.path.join(self.root_dir, B) label_dir os.path.join(self.root_dir, label) names sorted(os.listdir(label_dir)) pairs [] for name in names: a_path os.path.join(img_a_dir, name) b_path os.path.join(img_b_dir, name) label_path os.path.join(label_dir, name) if not (os.path.exists(a_path) and os.path.exists(b_path)): print(f[Warning] Missing files for {name}) continue pairs.append((a_path, b_path, label_path)) return pairs def _generate_patches(self): patches [] for idx in range(len(self.pairs)): with Image.open(self.pairs[idx][0]) as img: w, h img.size for y in range(0, h - self.patch_size 1, self.stride): for x in range(0, w - self.patch_size 1, self.stride): patches.append((idx, x, y)) return patches def __len__(self): return len(self.patches) def __getitem__(self, index): pair_idx, x, y self.patches[index] a_path, b_path, label_path self.pairs[pair_idx] img_a Image.open(a_path).crop((x, y, x self.patch_size, y self.patch_size)) img_b Image.open(b_path).crop((x, y, x self.patch_size, y self.patch_size)) label Image.open(label_path).crop((x, y, x self.patch_size, y self.patch_size)) img_a np.array(img_a, dtypenp.float32) / 255.0 img_b np.array(img_b, dtypenp.float32) / 255.0 label np.array(label, dtypenp.int64) # 标签二值化有些公开数据集的标签不是严格的0/1 label (label 0).astype(np.int64) if self.transform: img_a, img_b, label self.transform(img_a, img_b, label) # 转成CHW格式 img_a torch.from_numpy(img_a).permute(2, 0, 1).float() img_b torch.from_numpy(img_b).permute(2, 0, 1).float() label torch.from_numpy(label).long() return img_a, img_b, label这段代码有几个容易被忽视的点。stride小于patch_size时会产生重叠切片重叠区域可以缓解边界信息丢失问题但也会增加样本间的空间相关性。训练时用随机裁剪替代固定网格更好给模型更多数据变化推理时则用固定网格加上重叠防止漏检。另一个坑是标签文件虽然视觉上只有黑和白但实际的像素值不一定是0和1可能是0和255。所以__getitem__里我加了(label 0).astype(np.int64)这一步把标签强行归一到0/1。这个细节如果不处理损失函数算出来全是NaN或者Loss异常。3.2 网络核心结构代码级拆解在models/changeformer.py里网络主体按“编码器 - 差分融合 - 解码器”三个部分组织。这里给一个精简可运行的核心结构示例import torch import torch.nn as nn import torch.nn.functional as F class DualStreamEncoder(nn.Module): def __init__(self, backbone): super().__init__() # 共享权重的Swin Transformer骨干 self.backbone backbone def forward(self, x): # 返回多尺度特征列表例如4个层级的特征 feats self.backbone(x) return feats class DifferenceFusion(nn.Module): def __init__(self, in_channels): super().__init__() # 拼接后通道数 in_channels*3 self.conv nn.Sequential( nn.Conv2d(in_channels * 3, in_channels, kernel_size1, padding0), nn.BatchNorm2d(in_channels), nn.ReLU(inplaceTrue) ) def forward(self, feat_a, feat_b): diff feat_a - feat_b fused torch.cat([feat_a, feat_b, diff], dim1) return self.conv(fused) class ChangeFormer(nn.Module): def __init__(self, encoder, decoder_dims): super().__init__() self.encoder encoder self.fusions nn.ModuleList([ DifferenceFusion(dim) for dim in decoder_dims ]) # decoder_dims例如 [128, 256, 512, 1024] self.decoder_convs nn.ModuleList() for i in range(len(decoder_dims) - 1): self.decoder_convs.append( nn.Sequential( nn.Conv2d(decoder_dims[i] decoder_dims[i1], decoder_dims[i], kernel_size3, padding1), nn.BatchNorm2d(decoder_dims[i]), nn.ReLU(inplaceTrue) ) ) self.final_head nn.Conv2d(decoder_dims[0], 2, kernel_size1) def forward(self, img_a, img_b): feats_a self.encoder(img_a) # 多尺度 feats_b self.encoder(img_b) # 多尺度 fused_feats [] for i, (fa, fb) in enumerate(zip(feats_a, feats_b)): fused_feats.append(self.fusions[i](fa, fb)) # 从最深到最浅逐级上采样融合 x fused_feats[-1] for i in range(len(fused_feats) - 2, -1, -1): x F.interpolate(x, sizefused_feats[i].shape[-2:], modebilinear, align_cornersFalse) x torch.cat([x, fused_feats[i]], dim1) x self.decoder_convs[i](x) logits self.final_head(x) return logits这段结构有三个关键点需要深入理解权重共享self.encoder在依次处理img_a和img_b时使用的是同一套参数。在PyTorch里只要encoder是同一个module实例两次前向传播天然共享权重不需要额外操作。这比定义两个Encoder然后手动拷贝权重要优雅得多。多尺度融合顺序解码器是从最深层分辨率最低、语义最强开始逐步向浅层上采样。每次上采样后与当前层的融合特征做通道拼接再经过一个3×3卷积降维、融合信息。这样做能保证高层语义信息逐步“注入”到底层特征恢复空间细节的同时保持分类能力。输出通道数final_head输出2个通道对应“不变/变化”两类。如果想做多类变化检测比如区分“新增建筑/植被减少/水体变化”等只需要把这个输出通道数改成类别数同时调整损失函数。后面我会讲多类变化检测的扩展思路。3.3 损失函数与评估指标的选择变化检测像素级别的类别极不平衡最常用的损失函数是Dice Loss和二元交叉熵BCE的组合。Dice Loss在医学分割中表现很好核心优势是对类别不平衡不敏感——它直接优化Dice系数而不是逐像素的交叉熵。本项目的实现如下class CombinedLoss(nn.Module): def __init__(self, dice_weight0.5, bce_weight0.5): super().__init__() self.dice_weight dice_weight self.bce_weight bce_weight self.bce nn.BCEWithLogitsLoss() def forward(self, logits, targets): # logits: [B, 2, H, W], targets: [B, H, W] (0/1) b, _, h, w logits.shape change_logits logits[:, 1, :, :] # 变化类 targets targets.float() bce_loss self.bce(change_logits, targets) # Dice Loss probs torch.sigmoid(change_logits) smooth 1e-6 intersection (probs * targets).sum() dice_loss 1 - (2.0 * intersection smooth) / ( probs.sum() targets.sum() smooth ) return self.dice_weight * dice_loss self.bce_weight * bce_lossDice Loss的数学本质是1 - Dice系数Dice系数衡量两个集合的重叠比例。变化区域占比小但Dice Loss对前景和背景的贡献是均衡的不会像BCE那样被大量背景像素主导。实际项目中两个损失各取0.5权重效果比较稳。评估指标上变化检测领域最常用的是这五个OA总体精度、F1分数、IoU交并比、Kappa系数、Precision/Recall。其中F1和Kappa是最核心的。这里解释一下为什么不能只看OA——如果变化区域只占影像的5%那么模型把整幅图都预测为“不变”OA也能达到95%但这个模型毫无用处。F1同时考虑查准率和查全率能更全面地衡量模型对少数类变化类的识别能力。def calculate_metrics(pred, target): # 注意 pred 是0/1预测结果, target 是0/1标签 intersection ((pred 1) (target 1)).sum().float() union ((pred 1) | (target 1)).sum().float() iou intersection / (union 1e-6) tp ((pred 1) (target 1)).sum().float() fp ((pred 1) (target 0)).sum().float() fn ((pred 0) (target 1)).sum().float() tn ((pred 0) (target 0)).sum().float() precision tp / (tp fp 1e-6) recall tp / (tp fn 1e-6) f1 2 * precision * recall / (precision recall 1e-6) oa (tp tn) / (tp tn fp fn) # Kappa系数 pe ((tp fp) * (tp fn) (fn tn) * (fp tn)) / ((tp tn fp fn) ** 2) kappa (oa - pe) / (1 - pe 1e-6) return {IoU: iou, F1: f1, OA: oa, Kappa: kappa, Precision: precision, Recall: recall}我的经验是模型调参时重点盯F1和IoU不要只看OA。OA在很多场景下会骗人尤其是变化区域极小的数据上OA波动可能很小但F1和IoU能敏感地反映模型对变化区域的识别改善情况。4. 训练与调参阶段的避坑记录4.1 超参数配置建议与实践经验训练Transformer类模型和训练CNN的感觉完全不同我第一轮训练时就用CNN时代的经验去套结果踩了不少坑。这里把做得比较顺的超参数配置整理一下超参数推荐值说明优化器AdamW比Adam更稳定配合weight decay初始学习率解码器1e-4解码器从头训练可以稍大初始学习率编码器3e-5预训练权重微调必须小权重衰减1e-5防止过拟合Batch Size824GB显存受显存限制太大会导致OOMEpoch数60-100配合早停看验证集F1Warmup Epochs5避免初始梯度震荡学习率调度余弦退火收敛更平滑混合精度开启显存省一半速度提升明显学习率的选择上我踩过一个典型的坑。有一次我图省事编码器解码器统一用1e-4训练到第10个epoch时验证集F1一直在0.5左右徘徊后来才发现编码器的Swin骨干在预训练权重上被大幅调整已经失去了原有的特征表达能力。把编码器学习率降到3e-5之后F1很快就上到0.75以上。Batch size也是个大坑。Transformer的注意力机制和BatchNorm对batch size比较敏感batch太小的话BatchNorm的统计量不稳定。如果有条件batch size尽量不低于4。如果显存实在不够可以用梯度累积来模拟更大的batch比如batch2、累积4步相当于batch8的效果。4.2 数据增强与类别不平衡的处理变化检测的数据增强需要特别小心因为增强操作必须同时作用在两期影像和标签上保证三者的空间变换一致。本项目里的增强包括随机水平翻转、随机垂直翻转、随机旋转90度、随机亮度对比度微调、随机裁剪。其中随机亮度和对比度微调只作用在影像上不作用于标签但要注意两期影像要使用相同的参数否则会引入虚假的辐射差异。还有一个进阶技巧是CutMix——随机从一张图中裁剪一块区域粘贴到另一张图上对应的标签也要做同样的替换。这种强增强能迫使模型关注更多样化的特征对提升泛化能力有帮助。不过CutMix在变化检测上要慎重因为胡乱混合两期影像可能产生物理上不合理的场景。类别不平衡的处理除了用Dice Loss外还可以在数据层面加一个技巧变化像素加权采样。具体做法是给每个样本打一个“变化比例”标签写一个自定义的BatchSampler让每个batch里的样本变化区域比例尽量均衡避免某些batch全是背景样本某些batch全是变化密集样本。4.3 推理与后处理技巧训练结束后推理阶段的处理精度直接决定最终成果图的质量。这一步经常被新手忽略但往往能带来几个百分点的F1提升。推理时的第一步是使用滑窗预测。对于大尺寸影像按照训练时的patch size滑动裁剪逐patch预测后再拼接回整幅图。重叠区域建议取平均值而不是硬投票能减少拼接痕迹。第二步是多尺度测试TTA。对同一patch做多尺度缩放比如0.8、1.0、1.2倍和多方向翻转上下、左右、旋转90度预测结果取平均。这样能显著提升预测的稳定性代价是推理时间翻几倍适合对精度要求高但对时间不敏感的场景。第三步是后处理滤波。原始预测图往往会有“盐-胡椒”噪声——一些零星孤立的像素被识别为变化。对于变化检测来说真实的地表变化通常具有空间连续性孤立小图斑很可能是噪声。我项目里的后处理流程是先对概率图用一个小尺寸的中值滤波去噪再用阈值0.5二值化最后用形态学开运算剔除面积过小的连通域。import cv2 import numpy as np def postprocess(prob_map, area_threshold50, kernel_size3): # prob_map: HxW 经过sigmoid后的概率图 # 1. 中值滤波去噪 filtered cv2.medianBlur((prob_map * 255).astype(np.uint8), kernel_size) # 2. 二值化 binary (filtered 127).astype(np.uint8) # 3. 形态学开运算去孤立点 kernel cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3)) opened cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) # 4. 面积滤波小于阈值的连通域剔除 num_labels, labels, stats, _ cv2.connectedComponentsWithStats(opened, connectivity8) for i in range(1, num_labels): if stats[i, cv2.CC_STAT_AREA] area_threshold: opened[labels i] 0 return opened面积阈值的设定需要结合影像分辨率来考虑。比如0.5米分辨率的影像一个像素代表0.25平方米面积阈值设为50像素相当于剔除小于12.5平方米的碎斑。这个阈值要根据实际业务需求调整如果是监测违建可能需要更大的面积阈值来聚焦重要变化。5. 常见问题与排查技巧实录5.1 训练时显存溢出OOMTransformer类模型显存占用确实比CNN高一个档次。最常见的原因有三个输入patch太大、batch size太大、开启了不必要的梯度记录。排查步骤建议先降低batch size如果降到1还溢出就得检查输入分辨率了。比如patch从256×256降到224×224显存占用几乎是平方级下降。另外要确认模型是否开启了梯度checkpointing——Swin Transformer和ViT都支持这个机制用计算换显存可以在几乎不影响精度的情况下省下一半显存。项目里的具体做法是开启torch.cuda.amp混合精度训练。混合精度能同时降低显存占用和加快训练速度在A100、V100这类支持Tensor Core的GPU上收益尤其明显。如果跑在旧卡上收益会小一些。5.2 模型不收敛或收敛极慢如果训练了十几个epoch损失函数还在高位徘徊F1几乎没动问题多半出在以下几点。第一个可能是标签和影像没对齐。我遇到过一种情况印象非常深刻训练的损失始终降不下去验证集F1只有0.2左右。排查了一整天最后发现是推理脚本里读取的标签和训练脚本里的不是同一份文件后处理里翻转操作没同步到标签上导致标签是旋转前的坐标信息完全错位。第二个可能是学习率设置不合理。学习率太大损失震荡甚至发散学习率太小收敛极慢。Transformer类模型的初始学习率普遍要比CNN低一个数量级。另外一定要有warmup阶段从0开始线性增加到目标学习率否则注意力机制初始阶段非常不稳定。第三个可能是预训练权重没有正确加载。Swin的权重有relative_position_index这类参数加载时容易被忽略或者加载失败。检查方式很简单加载后打印几个层的参数值对比一下随机初始化的参数和加载后的参数是否有明显差异。5.3 预测图出现大量伪变化和椒盐噪声这是一个在变化检测中非常常见的现象预测结果像撒了盐一样到处是细碎的变化点没有连成区域。这通常是模型对“变化”过于敏感把辐射差异也当成了真实变化。除了前面提到的后处理滤波外还可以从两个方向改进一是加强两期影像的辐射归一化。如果两期影像的直方图分布差异过大模型很难区分“真实变化”和“辐射差异”建议在数据预处理阶段做直方图匹配或者辐射校正。一种简单有效的做法是分别统计两期影像在R、G、B三个通道上的均值和标准差做一个简单的Z-score标准化让两期影像的像素分布在统计上更接近。二是模型层面尝试“对比学习式的特征约束”。训练时额外加一项损失让两期影像的相同区域标签不变的区域在特征空间中距离拉近不同区域标签变化的区域距离拉远。这样能强制网络学习到“辐射不变、结构敏感”的特征对抑制伪变化很有帮助。5.4 训练集指标很高验证集指标很低这种典型的过拟合现象在变化检测项目里经常出现但原因往往不仅仅是模型复杂度太高。我更常遇到的场景是训练集和验证集空间分布重叠。遥感影像存在很强的空间自相关性——同一景影像上的相邻区域地物类型高度相似。如果在划分数据时没有控制影像的“块”归属只是随机把像素划进训练或验证那么验证集里会含有训练集附近区域的相似样本指标虚高一旦实际部署到新影像上精度立刻崩盘。正确的划分方法是以影像为单位划分。比如一景完整的大影像切成若干patch后同一景大影像的所有patch要么全部进训练集要么全部进验证集不能让同一景影像的数据同时出现在两端。这样能保证验证集的空间独立性评估结果更可信。6. 从跑通项目到真实落地扩展思路6.1 从二分类扩展到多类变化检测项目源码默认输出的是“变/不变”二分类结果但在很多实际业务中用户更关心的是“变了什么”。比如土地监测部门想知道新增的建筑在哪、被破坏的植被在哪、水面面积是否缩小这需要模型能够区分变化的类型。从二分类扩展成多类变化检测需要改动的主要有三处。第一是数据标签格式将原来0/1的二值标签改成0表示不变、1/2/3...表示不同类型的变化。第二是模型输出通道数把最后分类头的输出通道数从2改成类别数。第三是损失函数Dice Loss需要改成多类的变体——每个类别单独计算Dice系数再取平均或者用加权交叉熵。这里的难点在于数据标注。多类变化检测的公开数据集很少大多数场景需要自己标注。我的建议是先跑通二分类基线确实验证模型效果之后再考虑数据扩展不要一上来就啃多类的大骨头。6.2 结合大模型和点云数据的融合方向Transformer的强势表现让变化检测的边界也在不断扩展。目前业界比较热的方向之一是把双时相的光学影像和LiDAR点云数据做跨模态融合。因为纯光学影像在云雨天气下获取困难而SAR和LiDAR数据能穿透云雾两者的融合可以显著提升变化检测的稳定性。这个方向对Transformer来说可谓量身定做——不同模态的数据通过注意力机制交互天然适合跨模态融合。另一个值得注意的方向是Swin Transformer改进版的替换。如果对计算资源比较宽容可以尝试用Swin v2、CSWin这类的改进模型替换骨干有时能在不增加太多计算量的前提下再涨1-2个点的F1。我的习惯是每次换骨干都用同样的数据、同样的超参数跑一遍消融对比用实验表说话而不是凭感觉选择。6.3 工程落地的三个核心建议项目从科研原型到工程落地还有不少路要走。根据我的部署经验有三点建议非常关键。第一推理脚本一定要做完整的封装。不要只在notebook里跑推理要把数据读取、预处理、模型加载、TTA、后处理、成果导出集成到一个脚本里用配置文件控制参数。这样团队其他人接手时只需要改配置就能复现出全部推理结果。第二成果输出要支持GeoTIFF格式。学术项目里常用的PNG格式在GIS软件中无法正确配准必须输出带地理坐标信息的GeoTIFF。做法是在推理时读取原影像的GeoTransform和投影信息把预测结果用rasterio等库写成GeoTIFF这样生产环境直接就能叠加到地图上使用。第三记录每一次实验的可复现信息。把数据版本、模型版本、超参数、代码commit号、训练日志记录下来每跑一次实验就生成一条记录。这个习惯在项目后期对比模型效果、定位问题时会让你省下大量时间。我个人在实际操作中的体会是变化检测项目的瓶颈往往不在模型而在数据——两期影像的配准精度、辐射归一化质量、标签的准确性每一项都比模型结构对最终效果的影响更大。我花了很多时间在数据筛选和预处理上发现这套投入远比“无脑堆模型”要值得多。最后再分享一个小技巧训练前一定要先做一次数据可视化检查把抽样出来的输入影像对和标签叠加画在一张图里人工确认几组样本。这一步能提前发现绝大多数数据配对、标签翻转、坐标系错位的问题比训练到一半再去排查要高效得多。学会先跑通基线、再逐步优化是这类项目最稳妥的推进方式。本文还有配套的精品资源点击获取