TIP 2026论文极暗视频融合USCFNet在极暗场景下进行视频融合USCFNet通过“不确定性”来重建时空的一致性IEEE TIP 2026 · Infrared-Visible Video Fusion · Extremely Low-Light一句话读懂这篇工作并不是简单的再做一次红外-可见光融合网络而是在于把极暗视频中出现的“低质量帧、低可信区域、模态偏置”等不确定因素都纳入到不确定性建模当中去。同时发布了针对非常黑暗环境的视频融合数据集ELVID。论文Uncertainty-Guided Spatiotemporal Consistency Fusion Network for Infrared-Visible Video Fusion Under Extremely Low-Light Conditions作者Cheng Zhao, Tianyun Song, Zhiliang Wu, Tianfu Wang, Moncef Gabbouj, Guanghui Yue*, Baiying Lei*, Wei Zhou论文链接https://ieeexplore.ieee.org/document/11644855单位Shenzhen UniversityZhejiang UniversityTampere UniversityCardiff University代码链接https://github.com/Zhaocheng1/ELVID研究背景01为什么“极暗视频融合”的难度大于单帧融合呢普通的红外-可见光融合一般会默认输入的质量比较稳定在很暗的环境下可见光就会出现亮度不够、纹理消失和局部结构退化红外线比较稳定但是自然缺少细粒度的纹理。更难的是视频层面的问题相邻的两帧中可能会出现亮度变化、运动模糊以及局部失真等现象。如果将静态图像模型逐帧套到视频中该模型并没有明确地建模跨帧依赖因此容易产生闪烁、条纹和细节不连续。于是作者就把问题分成了三个层面时空不确定性的存在、不同模态之间的差异以及模态学习不平衡。三个问题分别被EGSTA、DGF和HMoE Fusion所处理。ELVID数据集示例及场景分布4739对注册视频、78299帧涵盖了五种场景以及十七个子类。02 网络结构总体框架为三条U形分支同时进行“增强”与“融合”的工作USCFNet 使用了三个并行的U形编码器-解码器可见光分支、红外分支和融合分支。第一条分支先经过EGSTA来提高自身的时间和空间稳定性然后融合分支再逐尺度地利用DGF把两种模态结合在一起。最里面的地方HMoE Fusion 会同时进行模态级专家路由与token 级别专家路由前者负责全局模态互补后者负责局部细节建模这样就可以避免某个模态在极端情况下“压过”另一个模态。USCFNet总体网络紫色是可见光分支橙色是红外分支绿色是融合分支。03 核心机制一EGSTA通过注意力熵来判断“这一帧或者这个区域到底可信不可信”EGSTA 由 Entropy-Gated Temporal FusionEGTF和 Entropy-Gated Spatial AttentionEGSA组成。主要的思想并不是所有的帧、所有的空间区域都有同等的权利来参与到注意力分布的不确定性的估计当中去。EGTF模块EGSA模块如果某一帧的注意力熵比较大则表示该帧的相关性比较分散有可能受到低照度的影响或者存在运动模糊的问题。作者将归一化熵转换为帧级别的置信度熵越大βₜ越小跨帧信息注入就比较弱。空间分支使用了类似的思路用区域注意熵来得到空间置信度对于低置信度的区域进行抑制对于显著结构区域进行加强。这里的“不确定性”并不是对复杂的概率分布进行额外的预测而是在注意力熵的基础上直接产生门控信号所以它和主干特征学习结合起来的程度很深。04 核心机制二DGFHMoE内容差异、边缘差异和专家路由分别承担什么任务DGF并不是简单的拼接或者加权。分别用红外线和可见光来观测内容差异与边缘差异然后根据实际情况来选择是保留哪个模态的信息。DGF模块从边缘的角度来看论文会用到边缘一致性的掩码来对结构进行选择它的主要形式可以表示为D_f^s 决定更加相信红外结构还是经过增强之后的可见光结构。HMoE Fusion模块HMoE Fusion 进一步解决了模态学习失衡的问题红外专家和运动信息相结合突出动态目标可见光专家利用Sobel边缘来加强纹理融合专家对跨模态融合特征进行处理。再加上token级别的轻量MLP专家使得局部区域可以得到更加精细的动态分配。05 训练目标损失函数并不是“越多越好”而是在于围绕视频的一致性进行分工作者用到了modality-aware hybrid loss来同时约束内容结构、对比度、时间一致性和模态重构以及正则项其中时间一致性的部分最为关键它把训练的目标由“当前帧看起来不错”提升到了“相邻两帧之间也要稳定”。模态重建损失用来保证红外和可见光分支仍然能够保持各自的有效信息不会因为融合而完全失去模态特性。结果分析 06实验既要考察单帧的质量也要观察时序的稳定性以及模块的融合论文使用了自己建立的ELVID和M3SVD、HDO等数据来进行对比。Table III中USCFNet在ELVID上得到BRISQUE16.09、SF21.53、AG6.843、EME8.394在M3SVD上SF/AG/EME分别为32.44、9.173、14.181HDO上BRISQUE/SF/AG分别为6.363、22.63、7.247。消融的结果也十分具有说服力在已经存在的空间建模的基础上再加入时间一致性的建模之后BRISQUE 下降了 2.15SF、AG和EME都升高了DGF 获得了最低BRISQUE和最好的EME说明差异引导不仅可以提高锐度还可以降低感知失真的程度。更加直观地体现在Fig. 9中即去掉HMoE或者去掉熵门控之后在局部区域更容易出现横向或纵向条纹完整的模型灰度强度曲线更加平缓。07 总结和思考本文最值得我们关注的是USCFNet 价值所在就是把极暗视频融合从“增强后再融合”这一思路推进到了根据可靠性来选择时空首先确定哪些地方不可信然后决定跨帧信息、跨模态信息应该如何被纳入到融合中去。另外一个重要的贡献就是ELVID。极暗红外-可见光视频公开数据长期不足而这项工作提供了4739对注册视频、5种场景以及17个子类的数据可以用于之后的研究中去来探究时序一致性的研究。低照度鲁棒性以及视频融合都提供了一个更加明确的评价平台。就以后的研究而言值得进一步探究的问题是熵是否可以稳定的去描述所有的不确定性的类型对于更长的时间尺度上的运动/遮挡的关系又该如何进行建模呢视频融合的质量又是怎样地和检测、跟踪、分割等一系列后端任务进行关联呢往期推荐— END —