ACM-MM-2026Shift-IISR·红外超分辨率可见光先验红外又该如何适配呢一张低分辨率的红外图片想要恢复出清晰的结构来但是却因为可见光扩散模型而被补出了“不属于红外”的纹理。北科大Shift-IISR不重训整个扩散骨干而是在两条引导路径上分别纠正全局模态分布和局部几何结构。论文Decoupling Cross-Modality Manifold Discrepancy: Leveraging Visible Diffusion Priors for Infrared Super-Resolution作者Yunpeng Hua*, Hongwei Yu*, Jiawei Li, Qiankun Liu, Huimin Ma, Jiansheng Chen†单位University of Science and Technology Beijing北京科技大学论文链接https://arxiv.org/abs/2607.21174代码链接https://github.com/Assassink8/Shift-IISRPART 01 问题和目的红外超分辨率(IISR)并不是把画面拍得“像照片”就可以了。可见光预训练扩散模型虽然具有很强的生成能力但是它的纹理和亮度先验并不等于红外成像规律。原论文Fig. 1中用“可见光流形→红外流形”来表示未经校正的生成轨迹很容易出现跨模态偏移。主要矛盾并不是“扩散模型不够强大”而生成得越逼真也有可能离热成像真实物理特征越远。因此本文工作关键词的理解是分布一致性和结构一致性。两种不一致① 全局分布偏移灰度强度、热目标响应以及整个统计特征都和红外真值不符。② 局部结构异质性边界、细长的目标以及局部几何细节都出现了畸变。单纯的微调可能会失去原来的扩散先验一次边缘约束很难控制住多次去噪。方法动机还包含训练资源高质量的红外对样本数量有限直接从头开始大规模训练红外扩散模型成本很高完全微调可见光骨干的话可能会破坏原有的生成能力。PART 02 · Shift-IISR整体框架作者用ResShift的潜空间残差扩散作为骨干并且冻结了预训练UNet以及编码器同时引入了GRM紫色和LSR绿色两条路径GRM重写时间嵌入引导模态分布LSR会修正每一部分的隐变量并且引导局部结构。橙色虚线表示的是训练过程中的操作。ResShift 在潜空间中使用的是逐渐向低分辨率方向迁移的残差迁移并不是简单的从纯噪声中恢复出图片来。简化后的潜变量表达式为其中z₀是高分辨率目标的潜变量zᵧ是低分辨率条件的潜变量αₜ用来控制残差迁移ε是高斯噪声。全局表示调制GRM 用共享特征提取器E来处理同一个场景下的低分辨率红外和可见光潜特征并且通过训练一个模态二分类器来促使特征捕捉到可以区别的红外统计信息。在实际生成的过程中利用可以学习的门控和投影层来把红外表示注入到UNet的时间嵌入中并不是直接替换整个扩散模型。对于同一个场景的两种模态编码训练过程经过门控之后得到要注入到扩散骨干中的红外先验它的时间嵌入调制方式为门控g初始化为-2σ是Sigmoidγshift(t) 会随着时间的变化而变化。注意文中所用的可见光图像是为了在训练过程中不同模态之间的对比不是实际红外超分输入端必须额外提供的一种模态。Fig. 3GRM 内部共享特征提取器E和模态分类器C的具体结构PART 03 · LSR局部结构精修LSR在低分辨率红外潜特征的基础上使用Sobel提取边缘并进行均值归一化结构残差根据时间步来调整其强度并且在每次去噪的过程中都会产生一些中间潜变量。约束不只在最后输出的时候起作用在重建的过程中也会对细节产生影响。局部结构先验的计算和注入的过程分别是在此基础上δstr(t)γstr(t)·δnormξ10⁻⁶以避免归一化分母为零。Sobel 来自LR 红外潜变量并不是把原始可见光边缘强行复制到红外结果里去。时间调度、双路协同LSR结构引导在反向采样的初期比较强之后逐渐减弱GRM 用的是独立的时间调制系数来调节模态表示注入。在训练过程中模态判别器和生成分支会交替进行优化最后用扩散重建损失以及模态分类辅助损失的加权平均来代替原来的损失函数。Lcls是用红外标签0、可见光标签1来训练的模态分类损失λ用来平衡去噪重建和模态辨识。论文中提到了判别器和GRM分支之间的交替优化来提高训练稳定性的内容。灰度直方图和真实值比较展示模型对于全局强度分布进行校正的效果实验结果在M3FD的Set5/Set15/Set20上Shift-IISR的LPIPS分别为0.162/0.156/0.191SSIM 为 0.935/0.927/0.934均排在比较方法的第一位PSNR也稍小于CoRPLE。消融也支持GRM和LSR一起使用效果更好。作者还报告了下游检测和语义分割方面的改进但是不能把这样的实验当作跨设备真实的部署保证。按照CoRPLE标准来比较的话Set5的PSNR为35.129而Set5的PSNR为35.269所以更加准确的表述就是感知质量、结构一致性的表现非常出色PSNR也具有竞争力并不是所有的指标都是第一名。Table 1 三组测试子集完整的答案从单纯的骨干成员变为同时加入GRM和LSRPSNR由原来的28.302提高到了34.099SSIM也由原来的0.699提升至0.931去掉任意一条分支之后的不同之处目标检测和语义分割的下游任务之间的比较超分的结果在进行红外目标检测的时候可以做可视化的对比超分的结果在进行语义分割的时候用来展示边界以及类别的可视化对比研究启发在迁移生成式基座的时候并不是要全部改变预训练权重而是要区分出“需要修正的模态统计偏置”以及“需要保护的任务结构”。。这可以作为研究设计的一个思路来用并不是所有的红外成像场景都已经得到验证。END往期推荐