新闻资讯
红外和可见光图像融合的低光图像增强
红外和可见图像融合是图像融合的一个重要分支,增强可见图像能显著提高融合性能。然而,许多现有的低光增强方法都不适合于Ivif的可见图像增强。为了解决这一问题,本文提出了一种新的可见图像增强方法。首先,提出了基于色彩平衡和对比度增强的自校准照明估计(CCSCE),以提高输入图像的亮度、对比度和颜色信息。然后,采用基于互导图像滤波的方法,设计了一种自适应地从原始可见图像中提取细节的方法,该方法可以有效地保存细节,而不会引入额外的噪声。最后,提出的可视图像增强技术用于IVF任务。此外,该方法还可用于IViF和其他低光图像的可见图像增强。在不同的公共数据集和ivif上的实验结果证明了作者的方法在定性和定量比较上的优越性。
1.导言
图像融合技术是一种信息增强技术,在计算机视觉中起着至关重要的作用[ 1 , 2 ]。图像融合的目的是从不同的数据中提取和集成特征信息,以生成单一的融合图像,为应用提供额外的、全面的信息。目前,红外和可见图像融合是图像融合的一个重要分支[ 3 ].
在低光线条件下,如夜间照明水平低,可见图像很难捕捉到场景的宝贵信息。红外传感器可以捕捉热信息。然而,红外图像通常不符合人的视觉系统,容易造成视觉的空间细节的损失和不自然的视觉质量。因此,红外图像和可见图像的融合可以获得更全面的场景信息,包含重要的红外目标,并节省丰富的可见细节。许多实际应用,包括视频监控、对象检测和面部识别,都从这种技术中受益。然而,现有的融合方法并没有考虑到对Ivif可见图像的分析和处理。在各种实验中,我们发现,对可见图像的处理能够有效地提高IVF的融合性能。如图所示 1d 图1E是红外线和原始可见光图像的融合结果,没有增强,图1E是红外线和拟议的增强可见光图像的融合结果。结果表明,在相同的融合规则下,利用增强可见图像获得的IViF融合结果具有更多的纹理细节和较好的图像质量。
详情在图片后面的标题中
图1
在图形查看器中打开
幻灯片
(a)源可见图像,(b)增强可见图像,(c)红外图像,(d)(a)和(c)融合结果,(e)(b)和(c)融合结果。
大多数现有的图像增强方法都是针对低照度和水下图像增强的,而很少有方法是针对ivif的可见图像增强的。据我们所知,很少有深入学习的模型来增强可见图像。我们将现有方法分为以下两类:传统方法[ 4 ]及深入学习方法[ 5 , 6 ].
传统的图像增强方法,例如基于直方图的方法[ 7 ,可以用来增强曝光不足的图像,但在大多数情况下,它们的功效是相当有限的。近年来,许多学者提出了一系列优化算法.李等人。[ 8 通过寻找二维直方图层的差异,提出了一种新的增强对比度算法。塞里克等人。[ 9 ]试图找到最大灰度差来重新绘制直方图。
早期尝试[ 10 , 11 基于视网膜理论,删除照明,直接提取反射率作为增强结果。以后的工作主要集中在对照度的估计。郭等人。[ 4 提出了石灰模型,该模型首先采用原始图像通道中的最大值,然后通过事先的结构优化不断修改光图,以获得最终的照明图。李等人。[ 12 ]提出了一种强有力的低光图像增强的视网膜模型,提高了抗噪声性。虽然细节可以从输入中广泛恢复,但通常会导致不自然和过度暴露的外观。
近年来,基于学习的方法已成为低光增强任务中的一个有用工具。受图片编辑软件中使用的曲线调整的启发,郭等.[ 13 提出了一种新的零参考深曲线估计方法。李等人提议的零DCE++。[ 14 ),有快速的推理速度,同时保持零DCE的增强性能。马等人。[ 15 提出了一种新的自校准照明学习框架,用于在现实世界的低光场景中快速而有力的照明图像,提高了适应一般环境的能力。张等人。[ 16 提出了一种网络类型++,将图像划分为照明图和反射图。根据分治原理,在照明图上进行光调整,并在反射图上去除退化(噪声、色差)。这不仅增加了图像中黑暗区域的亮度,而且移除了隐藏的文物。杨等人。[ 17]提出一个深递归频带网络(DRBN),以恢复典型光图像中的线性频带表示,并将低/正常光图像对组合,然后通过另一个基于感知质量驱动的逆变学习的可学习的线性变换,重组给定频带,以获得改进的频带表示。然而,在极为黑暗的环境中,收集许多清晰的图像变得更加困难,而Ivif中的可见图像没有清晰的图像来作为基准。此外,对于未经培训的图像,基于学习的方法的性能通常会降低。
为此,我们提出了一种提高可见性和细节保存的方法。我们工作的主要贡献可归纳如下:
提出了一种新的低光图像增强方法,该方法能有效地提高在低光条件下所拍摄的IVIFF和彩色低光图像的可见性。
提出了一种基于互导图像滤波的自适应细节保留方法,以补偿原始可见图像中可能出现的细节损失。
所建议的增强方案在低光图像增强方面表现优异。它可以作为其他IVF算法的预处理模块,大大提高了IVF任务的性能。
本文件其余部分组织如下。初步情况在章节中描述。 2 .拟议的改善计划载于 3 很详细。实验结果和讨论情况见 4 .结论摘要见本节 5 .
2次预备
本文简要介绍了光学模型、视网膜启发照明估计模型和引导滤波器等初步理论和方法。
2.1光学模型
光学模型可以近似地表示真实的物理世界.它通常用于计算机视觉和计算机图形学,并被描述为 18 ]
(1)
在哪里
是直接的衰减,和
是飞机上的灯。 D 是图像的强度。 X 是二维空间位置。
一般认为大气光是全局常数,因此它与位置无关。 X .是图像中物体的反射率。是大气衰减系数。 D 是图像中物体和观察者之间的距离。注意 X 是输入图像中不同波长和不同空间位置的常数。
在方程中是颜色向量(RGB),而剩余的变量是标量。方程式( 1 这是基于兰伯特-啤酒定律的透明物体,它说光将被吸收或减弱的指数,当它通过一个材料。图形 2 显示模型的简单图形描述。
详情在图片后面的标题中
图2
在图形查看器中打开
幻灯片
光学模型的图形描述。
2.2基于视网膜的照明估计模块
视网膜理论[ 19 被定义为 .在哪里 y 和 z 分别是拍摄到的曝光不足和所需的清晰图像。此外, t 指示照明图,操作符代表元素-乘法。该方法的主要优化目标是基于该理论的照明估计。
定义中间图像 U , k 站在舞台上。在…上照明估计模型阶段,初始照明图
估计数字如下[ 20 ]:
≔
(2)
在这里
是由
,在哪里
是否有估计的照明图舞台和表示现代元素的划分。此外,是以像素为中心的区域 ,以及 X 是这个区域内的位置指数。方程的原理( 2 是指照明至少是特定位置的一个最大值,可以用来处理非均匀照明。残余物
(含罚则参数))可自适应地抑制某些过度曝光像素
在传播过程中。
通过计算下列公式进一步完善 t [ 4 ]:
(3)
在哪里 是指 t .与传统迭代优化方法不同的是,这种优化方法与前一项直接相关。
(4)
和
是规范化的参数。通过表演 K 上述计算阶段,照明估计模块的输出如下:
(5)
2.3导引图像滤波器
图像滤波可以在各种多媒体和计算机视觉应用中发挥作用,如图像恢复、光流和语言流。它有助于抑制/消除不必要的信息,同时保存所需的信息。例如,在规则或不规则纹理图案的复杂情况下,纹理去除提取结构,而边界检测则从集群中寻找清晰的对象边界。是图像处理中保存边缘最快的滤波器[ 21 ]。它可以将引导图像的结构转换为滤波器输出,以实现图像去皱和引导羽毛等新的应用。引导滤波的概念是使用引导图像来产生权重来处理输入图像,这些图像可以表达如下[ 21]:
(6)
在哪里 q 是输出图像, 我 是向导形象,还有 P 是需要处理的输入图像,其中 我 和 P 是提前提供的。另外, 我 和 j 分别代表图像中的像素索引. w 是与向导图像相关的权重 我 .它可以通过
(7)
在哪里 n 是像素,
是本地窗口的平均值
,以及
是像素的方差
是一个新一代常量。
GSF在图像平滑、图像增强和高动态范围压缩等方面的应用具有广阔的应用前景。基于GFP,我们提出了许多改进的方法,例如自导滤波器[ 22 ],快速引导过滤器[ 23 ],基于深入学习的引导过滤[ 24 ],加权引导图像过滤器[ 25 ], the bilateral filter (BF) [ 26 ],及穆吉夫[ 27 ]。在保留边缘的同时,虽然高炉成功地去除了小的纹理,但它可能会受到意外的梯度逆转的影响。由于MOGFF在边缘平滑和去噪方面性能较好,因此将基于MOGF的DP方法应用于该方法。
3拟议方法
在Ivif中,可见图像质量的提高导致了更好的图像融合条件。为了提高可见图像的质量,提出了一种基于自校准模块与DP相结合的方法,该方法既不考虑复杂的物理模型,也不设置许多参数,建立该方法是为了增强在许多复杂环境中拍摄的低光图像。拟议方法的主要示意图见图 3 .
详情在图片后面的标题中
图3
在图形查看器中打开
幻灯片
拟议增强框架的示意图。
3.1自校准照明估计
受基于视网膜的照明估计模块的启发 2.2 及现有工程的分阶段照明优化程序[ 4 ],科学方法[ 15 建立一个渐进照明优化过程,其基本单元如下:
(8)
在哪里
和
代表剩余的术语和照明 分别为阶段。在这里,照明估计网络保持一个共享的结构状态 H 以及每个阶段的参数。实际上,参数化操作符
明白一个简单的剩余代表性
在照明间 t 低光观测 y 与使用低光观测和照明之间的直接映射相比,学习残余表示显著降低了计算难度,保证了性能,并提高了稳定性,特别是在曝光控制方面。
在本模块中采用具有多个体重共享块的级联机制,必然会增加可预测的推理成本[ 28 ]。理想的情况是,在增量优化和参数共享机制下,每个阶段都希望获得接近目标的输出。它使每个阶段的输出尽可能接近并与目标一致,使多阶段级联测试成为单阶段测试。为实现上述目标,引入了以下自校准模块:
(9)
在哪里 k ≥ 1,
是下一阶段的校准输入,
是引入的参数化操作符,是可学习的参数。也就是说,在原来的照明学习过程中,第二阶段和以后的输入变成了由方程得到的结果( 9 ),所以照明优化过程的基本单位被重新定义为
(10)
自校准模块利用视网膜理论等物理原理,逐步纠正各阶段的输入,间接影响各阶段的输出,最终实现各阶段的收敛。
3.2色彩平衡和对比度增强基于自校准照明估计(CCSCE)
尽管基于自定标照明估计的方法可以在一定程度上提高图像的运行速度,但在图像处理过程中往往存在色差、全球对比度低、曝光过度等问题,使图像呈现出非自然的视觉效果。
拟议的基于色彩平衡和对比度增强的自校准照明估计模块(CCSCE),如图所示 4 ,能有效解决以上问题。基本假设是图像中最高的R、G和B值必须对应于白色,最低值对应于模糊[ 29 ]。该算法尽可能延伸红、绿、蓝三个通道(R、G、B)的值,使它们可以占据尽可能大的范围[0,255]。最简单的方法是应用仿射变换 对每个通道进行计算 A 和 b ,因此通道中的最大值为255,最小值为0。
详情在图片后面的标题中
图4
在图形查看器中打开
幻灯片
可见的预增强图像。(a)原版图像;(b)中央统计委员会的增强图像。基于自校准照明估计的色平衡和增强对比度。
许多图像含有一些扭曲的像素值,已经占据0和255的值。因此,在应用仿射变换之前,该方法使最高值为255的像素百分比小,而最低值为0的百分比小。然而,这种饱和会导致平坦的白色或平坦的黑色区域可能看起来不自然。因此,饱和像素的百分比必须尽可能小.两个值
和
映射到定义的空间极值,一个小的用户定义百分比的像素得到的值
间隔时间。饱和极限
和
可以被认为是像素值分布的数量,例如,在2%饱和度下的第一个百分点和99个百分点。
所以简单的计算方法
和
对像素值进行排序,并从排序的数组中选择量化。输入由一个包含 N 范围内的价值观
,输出是 N 更新已更正的值。为了提高数据的色彩平衡,我们会选择左边的S1%像素和右边的S2%像素来调整直方图,然后重新调整所得的像素值,以进一步改善整体色彩分布。
直方图均衡化通过平均分布像素最大限度地扩大了可用显示级别的范围。因此,增强程度与直方图的最大高度成正比[ 30 ]。为了确保这种对强度分布的敏感性仅限于感兴趣的位置,基于CCSCS的方法只考虑其上下文区域中的像素来计算像素的等级。对于512×512图像,上下文区域通常是指围绕正在处理的像素(即:受影响的像素)。这个方格内的所有像素都被认为是受影响的像素.中心像素的输出值为上下文区域的每个位置计算.
CCSCE算法根据每一个像素在上下文区域像素强度值直方图中的排名为其分配输出值[ 31 ]。首先,计算上下文区域内与中央像素相同的像素数。然后,计算等级并最终推导出输出值.图中显示了CCSCE的结果。 4b ,能更有效地消除色彩扭曲,并能更紧密地将色彩恢复到人类眼睛的视觉感知。此外,它不仅实现了图像对比度的增强,而且抑制了背景噪声.
算法 1 总结了CCSCE的整个优化过程.
ALGORITHM 1. CCSCE
输入 *可见图像 我
产出 *预先强化产出 在外面
//1.建立累积直方图
为了 每项( x,y ) 我 做
直方图[ 我 [ x,y ]] = histogram [ 我 [ x,y ]] + 1
为了 我 = 1 to 255 做
直方图[ 我 ] = histogram[ 我 ] + histogram[ 我 -1 ]
//2.在 我 根据饱和百分比S1%,在直方图的左边和右边进行搜索的像素的S2%
和
//3.剪下 我 规范化 我
我 = Clip( 我 ,
,
)
我 = Normalization( 我 , 0 , 1 )
//4.在图像中迭代每个像素 我 数一下周围的像素数等于这个像素的值
[ x,y ] = CountEqualPixels( 我 )
//5.根据[ 31 ]
为了 每项( x,y ) 我 做
部分等级=委员级别([ x,y ])
Redistr=抗哌啶([ x,y ])
在外面 [ x,y ]=偏等级+重新定义
3.3 Detail preservation (DP)
原始输入可见图像具有所有有意义的细节信息,因此在图像处理过程中,应该从原始图像中提取细节信息,以添加到预增强的图像中。这一部分介绍了一种从可见输入图像中提取详细信息的简单而有效的方法。该方法不仅有效地提取了详细信息,而且禁止引入过大的噪声.将基于MOGFF的DP方法应用于重建的预增强图像中,获得了具有丰富细节的增强图像。因此,该方法可以很好地应用于红外图像和可见图像的融合。
引导滤波算法是一种能保持边缘的滤波算法,可用于降噪、细节平滑、HDR压缩、烟雾清除等方面。Mugif是一种有用的工具,可以保存共同的结构,去除纹理和噪音。目标和参考图像由 T 0 和 R 0 分别。过滤输出被指定为 T 和 R 它们的尺寸是一样的。更进一步,我们用
例如,
表示
.它是一阶导数滤波器
(横向)和
(垂直)。另外, t ,
, r ,以及
是矢量化的 T , T 0 , R ,以及 R 0 , respectively.
的相对结构 T 关于 R 定义为[ 32 ]
(11)
在哪里表示计算特定数字的绝对值. 代表了 T 关于 R .边缘位置在 R ,罚款
是小的,而对于一个平坦的区域 R 结果是很大的。根据这一结构,穆吉夫的最后表述如下:
(12)
在哪里
,
,
,
是平衡相应术语的非负常数。
站着看电视 2 规范。
和
是用来通过限制偏离的程度来避免微不足道的解决方案 T 和 T 0 , R 和 R 0 分别。有人指出,指导的相互性来自于和 .然后替换方程中的快速数值解( 12 ),穆吉夫的最终数值解可表示为[ 33 ]
(13)
在哪里
.最后的滤波图像 T 去除噪声组件可以获得含有结构信息的信息,但相应的结构得到维护。 T 可通过求解得到
(14)
在哪里 C 代表 C 反复。
D是基于输入图像的初始化参数.有关穆吉夫的详情,可浏览[ 26 ].
从原始可见的灰度图像 作为输入图像 R ,顺利的结果
可以用方程( 14 )。然后详细的图像可以通过
(15)
最后,我们可以把详细的地图
进入预增强的图像获取细节增强的图像。具体的数学计算公式如下:
(16)
在哪里
显示了细节增强的图像,
是预先增强的图像,和代表加法。
一组实验结果如图所示 5 为了验证本文提出的DP方法的正确性。图形 5a 是从替诺图像融合数据集[ 34 ],还有数字 5b 是穆吉夫的过程结果。可以看出,处理结果很好地保留了原始可见图像的结构信息。详细图像见图 5c (伪彩色图像)。它显示了通过方程有效提取的详细纹理信息( 15 ). Figure 5d 是CCSCE增强的结果。图中显示了CCSCE和DP的最终改进结果。 5e .我们可以找到 5e有更丰富的细节,更高的对比度,更少的噪音比原始输入图像(如突出的红色矩形和黄色箭头)。结果表明,该方法能有效地提高视觉效果.
详情在图片后面的标题中
图5
在图形查看器中打开
幻灯片
细节保存。(a)原始图像,(b)穆吉夫的处理结果,(c)细节图像,(d)CCSCE的增强图像;(e)CCSCE+DP的增强图像。基于自校准照明估计的CCSCE,色彩平衡和对比度增强;DP,细节保存;Mugif,相互引导的图像滤波。
在我们的实验中,使用了自导模型来提取细节图像。评估指数SD[ 35 是用来测量与不同的欧氏增强细节性能。从图中得到了最好的提取结果 6 .
详情在图片后面的标题中
图6
在图形查看器中打开
幻灯片
图4A中第一行的细节保留结果与不同的整数T。标准差。
4个实验和分析
4.1试验性环境
可见图像的增强方法很少,可见图像大多是低光图像。因此,我们采用了基于深入学习的低光图像增强方法作为比较方法。此外,本文所提出的低光图像增强方法不仅适用于IViF中的可见图像增强,而且在其他色彩低光数据集上也取得了竞争性的结果。我们进行了实验,在数量和质量上比较了我们提出的方法的性能与最先进的方法,以低曝光率的图像恢复。此外,还进行了消融研究,以评价拟议方法的每个组成部分的影响。
实验图像由21个最常用的可见图像组成,这些图像来自传统的tno图像融合数据集[34, 36 , 37 ]。该梯诺含有不同军用相关传感器的多光谱(强化视觉、近红外、长波红外或热)夜间图像,并在不同的多波段摄像系统中登记。此外,亦就三套曝光不足的图像数据集进行了实验,包括数码格式格式[ 38 ], LIME [ 4 ], and DICM [ 39 ]。建议的方法与八种低光图像方法比较,包括(1)优化(2017)[ 40 ], (2) Zero-DCE(2020) [ 13 ], (3) Zero-DCE++(2021) [ 14 ], (4) StableLLVe(2021) [ 41 ], (5) SCI_diff(2022) [ 5 ], (6) URetinex-Net(2022) [ 42 ], (7) DUAL(2019) [ 43 ], and (8) KIND++(2021) [ 17 ]。本文所采用的比较方法的参数设置与相应的论文一致。我们实现了所有的实验使用了比顿和MATLAB代码的PC机与amd雷赞75800H,16G拉姆,和CPU@3.20千兆赫处理器。
为客观地说明建议的提升方法的表现,本署采用四个品质评估指标:视觉资讯保真度[ 44 ],水下影像质素测量[ 45 ],水下彩色图像品质评估[ 46 ],及自然图像质素评审员[ 47]。VIFS是一种基于自然场景统计学和人类视觉系统提取图像信息概念的图像质量评价指标。Uiqm是一种基于视觉系统的图像质量指标,用于测量色彩、锐度和对比度特征。Uciqe指标量化退化的图像的不均匀的颜色铸造,模糊和低对比度问题。数值值分数越高,图像质量越好。Niqe评估回收结果的整体自然性。NQE值越低,整体自然性越高。
4.2可见图像增强
4.2.1定性比较
数字 7 - 12 演示拟议方法与八种最先进方法的比较。结果表明,该方法具有较高的对比度和较丰富的细节,更有利于以后的图像融合任务。
详情在图片后面的标题中
图7
在图形查看器中打开
幻灯片
不同方法间的图像增强结果的比较。(a)源图像,(b)选择,(c)零点DCE+,(d)零点DCE+,(e)斯塔布尔夫,(f)科学技术,(g)视网膜网,(h)双重,(i)类型++,(j)我们的。零DCE,零参考深曲线估计。
图形 7 在极其黑暗的环境中展示一个例子。视距、斯泰伯尔韦、乌视网膜网和双视距的结果没有得到足够的增强,导致图像不佳(如红色箭头所示)。虽然类型+的结果有更多的细节,但整体图像更暗。虽然零DCE、零DCE++和XY_Diff达到了可接受的视觉质量,但它们仍然显示出一种颜色偏见。
形象 8 ,零DCE、零DCE++、斯塔伯尔夫、乌视网膜网和双光网的结果对船体没有明显的低光增强效果(如放大图像所示)。此外,零DCE、零DCE++和科学的结果有色差,对比度低,细节较少。图的增强结果 9 同样的现象。
详情在图片后面的标题中
图8
在图形查看器中打开
幻灯片
不同方法间的图像增强结果的比较。(a)源图像,(b)选择,(c)零点DCE+,(d)零点DCE+,(e)斯塔布尔夫,(f)科学技术,(g)视网膜网,(h)双重,(i)类型++,(j)我们的。零DCE,零参考深曲线估计。
详情在图片后面的标题中
图9
在图形查看器中打开
幻灯片
不同方法间的图像增强结果的比较。(a)源图像,(b)选择,(c)零点DCE+,(d)零点DCE+,(e)斯塔布尔夫,(f)科学技术,(g)视网膜网,(h)双重,(i)类型++,(j)我们的。零DCE,零参考深曲线估计。
数字 10 和 11 对比石灰和MTF数据集中低光图像的恢复结果。图中显示的奥彭斯、零点、斯台伯夫和乌托拉克斯网。 10 和 11 由于缺乏对比度增强和细节提取,显示了它们细节上的对比度扭曲(如红色箭头和放大图像所示),使它们显得不自然。相比之下,所提出的方法可以自然地揭示隐藏在图像黑暗区域的细节,同时产生高质量的输出和增强的对比度。
详情在图片后面的标题中
图10
在图形查看器中打开
幻灯片
石灰数据集不同方法图像增强结果的比较。(a)源图像,(b)选择,(c)零点DCE+,(d)零点DCE+,(e)斯塔布尔夫,(f)科学技术,(g)视网膜网,(h)双重,(i)类型++,(j)我们的。零DCE,零参考深曲线估计。
详情在图片后面的标题中
图11
在图形查看器中打开
幻灯片
MTF数据集不同方法的图像增强结果比较。(a)源图像,(b)选择,(c)零点DCE+,(d)零点DCE+,(e)斯塔布尔夫,(f)科学技术,(g)视网膜网,(h)双重,(i)类型++,(j)我们的。零DCE,零参考深曲线估计。
形象 12 ,增强后的光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光、光等。尤其是,乌视网膜网的水下区域过于明亮,无法覆盖一些水植物的细节。此外,双颜色的结果引入了额外的颜色(如红色箭头所示)。图像细节在0-DCE、0-DCE+、稳定和类型++中并不突出(如放大图像所示)。这是由于拟议的方法增加了一个细节提取模块,以补偿可能的细节损失的图像增强。
详情在图片后面的标题中
图12
在图形查看器中打开
幻灯片
不同数据集的图像增强结果比较。(a)源图像,(b)选择,(c)零点DCE+,(d)零点DCE+,(e)斯塔布尔夫,(f)科学技术,(g)视网膜网,(h)双重,(i)类型++,(j)我们的。零DCE,零参考深曲线估计。
4.2.2数量比较
视觉效果的比较不能完全衡量算法的性能,因此采用了一些定量的客观评价指标进行比较。
表格 1 到 4 展示四个数据集中平均的虚拟数据表、Uiqm、Uciqe和Nqe的得分。每个指标的最高值用粗体显示,其次用下划线和斜体显示。表的最后一栏 1–3 与其他方法相比,我们的方法在四个数据集上获得了更高的平均得分。由于该方法增加了一个对比度和详细度提取模块,所以该方法在细节和对比度方面不如该方法。虽然我们提出的方法NQE分数低,但主要是为了提高IVF.在章节中分析 4.3.3其他低光增强方法可能有较高的NQE分数,但它们在改善IVF聚变性能方面的效果很小。考虑到所有的指标,该方法可以有效地提高可见图像的对比度和详细的纹理,并获得更高质量的增强结果。
TABLE 1. 四个数据集的平均VIF得分。
方法 托诺 石灰 环境基金 指令文件 平均的
Vif 机会 1.0691 1.2079 1.2448 0.9864 1.1270
零度 0.9036 1.2018 1.2242 0.8851 1.0537
Zero-DCE++ 0.3797 0.1728 0.1595 0.3851 0.2743
斯泰布列夫 0.8401 0.9351 0.9487 0.8178 0.8854
科学博士 0.8901 1.3070 1.2637 0.9375 1.0996
视网膜网 0.7211 0.9284 0.8991 0.7665 0.8288
双的 0.9654 1.1683 1.1659 1.0384 1.0845
KIND++ 0.7831 0.6152 0.8438 0.7766 0.7547
我们的 1.4485 1.4487 1.4596 1.0990 1.3640
每个指标的最高值用粗体显示,其次用下划线和斜体显示。
可见图像融合;零度,零度参考深曲线估计。
TABLE 2. 四个数据集的平均Uiqm得分。
方法 托诺 石灰 环境基金 指令文件 平均的
Uiqm对地 机会 3.3146 3.5169 4.5581 3.2026 3.6480
零度 3.1155 3.5614 4.5096 2.9689 3.5388
Zero-DCE++ 3.6599 4.3191 4.5755 3.4859 4.0101
斯泰布列夫 2.7871 3.4636 4.2954 3.0121 3.3896
科学博士 3.4804 3.7682 4.6779 2.9944 3.7302
视网膜网 2.8201 3.7344 4.5844 3.1200 3.5647
双的 3.9933 3.9191 4.7755 3.2948 3.9957
KIND++ 4.3613 4.7670 4.9764 3.4765 4.3953
我们的 4.8077 4.0195 4.8735 3.7560 4.3642
水下图像质量测量;零点DCE,零参考深度曲线估计。
TABLE 3. 四个数据集的平均UCQE得分。
方法 托诺 石灰 环境基金 指令文件 平均的
Uciqe有的 机会 0.1775 0.4652 0.4214 0.4152 0.3698
零度 0.2257 0.4664 0.4404 0.4212 0.3884
Zero-DCE++ 0.2344 0.4837 0.4659 0.4298 0.4035
斯泰布列夫 0.3299299 0.3832 0.3582 0.3380 0.3523
科学博士 0.2341 0.4796 0.4762 0.4287 0.4046
视网膜网 0.3062 0.4616 0.4397 0.4205 0.4070
双的 0.2062 0.5299023 0.4679 0.4678 0.4111
KIND++ 0.3502 0.4596 0.4345 0.4145 0.4147
我们的 0.2682 0.5108 0.4745 0.4640 0.4294
水下彩色图像质量评价;零点-DCE,零参考深曲线估计。
TABLE 4. 四个数据集的平均NQE得分。
方法 托诺 石灰 环境基金 指令文件 平均的
Niqe 机会 5.0955 3.8444 3.2649 3.4412 3.9115
零度 5.3661 3.7674 3.2832 3.5611 3.9945
Zero-DCE++ 5.2791 3.9747 3.3935 3.5403 4.0469
斯泰布列夫 5.1873 4.2315 3.9249 3.8304 4.2935
科学博士 5.1522 4.1678 3.6805 4.0093 4.2524
视网膜网 5.2745 4.3416 3.7894 3.9521 4.3394
双的 5.0148 3.8522 3.4503 3.7496 4.0167
KIND++ 4.6819 4.7220 3.7380 3.7624 4.2261
我们的 5.5362 5.0541 3.9665 3.4561 4.5032
NQE,自然图像质量评价器;零点-DCE,零参考深曲线估计。
4.2.3消融实验
该改进方法由两个子模块组成:CCSCE和DP。
利用CCSCE来修正图像的色差,提高图像的对比度,并自适应地增强可见图像中的细节。为了证明该方法的有效性,在图中进行了消融实验。 13 、桌子 5 和 6 ,"A"是删除拟议的CCSCE模块和DP模块的增强。"B"是去除CCSCE模块的增强。"C"是删除DP模块的增强。D是拟议的增强方法。
详情在图片后面的标题中
图13
在图形查看器中打开
幻灯片
CCSCE和DP的有效性说明。基于自校准照明估计;DP,细节保存。
TABLE 5. "道路"不同消融实验的定量比较结果。
方法 Vif Uciqe Uiqm Niqe
A:没有可持续发展委员会和发展伙伴关系 1.654 0.299 4.808 3.285
B:没有《经济、社会、文化权利国际公约》 1.863 0.274 4.810 3.298
C:没有DP 1.934 0.262 5.005 3.872
D:拟议 2.043 0.338 4.838 3.868
CCSCE,色彩平衡和对比度增强的自校准照明估计;DP,细节保存;NQE,自然图像质量评价器;UCQE,水下色彩图像质量评价;UIQM,水下图像质量测量;VFP,视觉信息保真度。
TABLE 6. 21幅可见图像不同消融实验的平均定量比较结果。
方法 Vif Uciqe Uiqm Niqe
A:没有可持续发展委员会和发展伙伴关系 0.891 0.234 3.480 5.152
B:没有《经济、社会、文化权利国际公约》 1.218 0.268 4.068 4.735
C:没有DP 1.334 0.255 4.945 5.533
D:拟议 1.447 0.281 4.807 5.531
CCSCE,色彩平衡和对比度增强的自校准照明估计;DP,细节保存;NQE,自然图像质量评价器;UCQE,水下色彩图像质量评价;UIQM,水下图像质量测量;VFP,视觉信息保真度。
如图所示 13 在去除DP模块时,铁链中的详细信息比拟议的方法减少(黄色箭头突出显示)。去除CCSCE模块时,文本的对比度和颜色比拟议的方法(如红色矩形突出显示)要低。增强图像的目标指标见表 5 ,及其测试图像的平均值载于表格 6 .从统计结果看,本方法在指标上达到了最好的得分:VIFT和UIQM,UCQE得分第二。虽然NQE的得分排在第三位,但我们提出的方法主要是为IVIFF。在章节中分析 4.3.3其他低光增强方法对改善IVF融合性能影响甚微,尽管它们的NQE分数较高。总体而言,该子模块是有效的,可用于提高可见图像的IViF。
4.2.4时间复杂性
使用执行时间来评价不同方法之间的计算复杂性。桌子 7 列出四个数据集的平均运行时间。结果表明,该方法在运行时间上没有优势.原因是该方法增加了一个详细的提取模块.需要将原始图像的迭代提取细节添加到增强前的图像中,这需要额外的计算费用。虽然这种方法需要很长的时间,但它可以有效地丰富图像的细节,并为IVF的后续任务提供便利。
TABLE 7. 不同算法的时间复杂度(秒).
方法 托诺 石灰 环境基金 指令文件 平均的 平台
机会 0.0905 0.2137 0.0614 0.1344 0.1250 实验室(CPU)
零度 0.0496 0.1318 0.0550 0.0171 0.0634 喷灯(CPU)
Zero-DCE++ 0.0379 0.0796 0.0463 0.0299 0.0484 喷灯(CPU)
斯泰布列夫 0.0742 0.1498 0.0577 0.0187 0.0751 喷灯(CPU)
科学博士 0.0639 0.2724 0.1191 0.0577 0.1283 喷灯(CPU)
视网膜网 2.6820 5.2481 0.2401 3.2331 2.8508 喷灯(CPU)
双的 0.3600 0.8240 0.2335 0.1550 0.3931 喷灯(CPU)
KIND++ 3.4898 6.3326 2.1214 4.2704 4.0536 (CPU)
我们的 0.2844 1.1873 0.4131 0.8157 0.6751 PyTorch(CPU)+MATLAB (CPU)
零参考深曲线估计
4.3红外和可见图像融合应用
4.3.1质量比较
本小节给出了一些在黑暗条件下提高融合性能的方法实例.具体而言,最新的国际药物滥用框架方法,包括社会福利及发展司(2020)[ 48 ], GTF(2016) [ 49 ], MGFF(2019) [ 50 ], CBF(2013) [ 51 ], FPDE(2017) [ 52 ], HMSD(2016) [ 53 ], IFEVIP(2017) [ 54 ], MDLatLRR(2020) [ 55 ], TIF(2016) [ 27 ], VSMWLS(2017) [ 36 ], SDNet(2021) [ 56 ], RFN-Nest(2021) [ 57 ], and U2Fusion(2022) [ 58 在图像增强之前和之后,都是用来融合暗场景的。本文将细节层的核尺寸设置为5x5,基本层在MSID中设置为3x3,在MDLRR中分解为3。如图所示 14 - 16 与未加增强的原始图像相比,图像增强后的融合性能明显提高。
详情在图片后面的标题中
图14
在图形查看器中打开
幻灯片
不同图像的融合结果分别基于MSID,我们的+MSID,MGff,我们的+MGff,HMSD和我们的+HHSD。
图形 14 分别基于MSID、我们+MSID、MGff、我们+MGff、HMSD和我们+HMSD增强方法,展示了不同图像的融合结果。可以发现,我们+MSID具有更明显的细节,将纹理信息提取到融合结果中,并对图的第三行和第四行的对比进行了改进。 14 .例如,在"道路"和"汽船"中,对比效果更适合人们观察。在"梅廷003"中,树上的树枝和地上的草是可见的。在"飞机"中,飞机的轮廓更清晰。在《卡普特因-1123》中,地砖和灌木叶之间的间隙比最初的融合结果有更丰富的细节。
从图的第五和第六行可以看到 14 基于mgff的融合方法的可见信息几乎完全丢失。然而,在我们+mgff中,融合结果中的视觉图像细节信息显著丰富.例如,在"道路"中,与原始融合结果相比,箭头标记的轮廓和对比度有了相当大的改进(如红色矩形所示)。在"卡普汀-1123"中,与最初的融合结果相比,松树的轮廓和灌木的叶子可以被清楚地检测出来。(如黄色矩形和红色矩形所示)。
此外,我们+HMSD也显示了同样的现象.与其他IVF方法的比较也显示了相同的现象(如黄色箭头和红色矩形)。比较结果以数字表示 15 和 16 .通过观察这些实例,提出的方法可以提高在极度黑暗环境下的可见图像质量.由于我们的方法是针对ivif,大多数可见的ivif图像是低光图像,不包含更多的颜色信息,而ivif的主要目的是融合更详细的信息。大多数融合方法在融合过程中会削弱细节,因此我们的增强方法在IVIFF中有很大的优势,可以大大提高融合性能。
详情在图片后面的标题中
图15
在图形查看器中打开
幻灯片
基于GTF,我们+GTF,我们的CBF,我们的CBF,FPOD,我们的+FPOD,MDELR,我们的+MDELRR,VSMWS,和我们的+VMMMA分别的融合结果。
详情在图片后面的标题中
图16
在图形查看器中打开
幻灯片
不同图像的融合结果分别基于ifevip,我们的+ifevip,tif,我们的+tif,sdnet,我们的+sdnet,rfn-Net,我们的+rfn,u2聚变,和我们的+u2聚变。
4.3.2数量比较
为了展示ivif的融合性能,采用了八个图像质量评价指标:熵[ 59 ], mean value (ME), average gradient (AG), standard deviation (SD) [ 35 ],基于像素的视觉信息保真度[ 60 ], VIF [ 44 ], edge intensity(EI) [ 61 及空间频率[ 35]。在这些指标中,EN是一个测量图像中信息量的客观评价指标。SD和AD反映了详细信息的丰富性和图像的清晰性。SF测量图像的空间频率。我计算了所有像素的算术平均值,代表了人类眼睛能感知到的平均亮度。VFP和ViFP测量融合图像和源图像之间的视觉保真度。EI用于估计融合图像中的边缘信息。对于以上的指标,一个更好的价值意味着更好的融合图像质量。
最新的ivif方法的结果被用于融合在黑暗场景之前和之后的可见图像增强显示在表中。 8.与原始融合方法相比,用"我们+其他融合方法"获得的融合结果的平均得分高于原始融合方法。相反的,"MAN"代表的是"我们+其他融合方法"获得的融合结果的平均分与原来的融合方法获得的平均分相比有所下降。从统计结果可以看出,该机制"我们+其他融合方法"在八个评估指标中达到了最高平均分:恩、姆、银、SD、VFP、EI和SF。与最初的融合方法相比,在大多数情况下,测试的8个指标的平均值有了显著提高。'我们+'的平均值增加了9.71%,男性增加了18.09%,女性增加了294.82%,女性增加了43.29%,女性增加了10。在私营部门和私营部门中,私营部门增加了12%,私营部门和私营部门增加了52.67%。尤其是EI增长了244.42%,SF增长了251.19%。由于该方法增加了细节提取和对比度增强模块,以提高图像的边缘和清晰度,从以上的数字度量中可以看出,该改进方法在视觉对比和客观度量方面都取得了优异的性能。
TABLE 8. 对21幅图像进行13种融合方法的平均定量比较结果.
方法 恩 我 阿格 标准数据集 VFP Vif 电子指数 元素元素
Msid 6.9821 122.0556 5.1435 43.1571 0.3950 0.4438 40.2628 10.7917
Ours + MSID 7.5959↑ 139.4140↑ 24.3886↑ 56.8534↑ 0.3962↑ 0.7026↑ 162.1302↑ 43.6198↑
Mmff 6.5390 100.8223 5.5695 27.4552 0.3103 0.4322 41.6708 10.6917
我们的+米格夫 7.4395↑ 130.4198↑ 22.5558↑ 45.8672↑ 0.3490↑ 0.6205↑ 148.8347↑ 39.9998↑
HMSD 6.8282 106.2181 6.1821 34.4744 0.3169 0.4305 45.5445 12.4988
我们的 7.6210↑ 145.8233↑ 24.9470↑ 56.6298↑ 0.3996↑ 0.6897↑ 166.2517↑ 44.5390↑
Gtf 6.6353 107.5899 4.5442 31.5792 0.2408 0.3586 32.5277 9.2044
Ours + GTF 7.3445↑ 107.3417 ↓ 23.2708↑ 45.8763↑ 0.2650↑ 0.6142↑ 149.4908↑ 41.4162↑
中央预算基金 6.8575 112.8382 6.7859 35.9126 0.2160 0.2498 53.7899 13.5915
Ours + CBF 7.6461↑ 144.0584↑ 25.1521↑ 57.2705↑ 0.3857↑ 0.6574↑ 168.3537↑ 44.5359↑
Fpde 6.2549 111.6192 4.7908 23.1719 0.2707 0.3752 34.3352 8.9070
我们的+fpde 6.9197↑ 129.4035↑ 16.0418↑ 31.3091↑ 0.3071↑ 0.5712↑ 104.9439↑ 27.5288↑
Mtarlrr 6.9777 118.2601 10.8131 39.9059 0.3398 0.5470 81.9936 21.4108
我们的+ 7.3034↑ 134.2854↑ 39.2499↑ 67.6960↑ 0.3330 ↑ 0.6867↑ 257.3643↑ 70.7273↑
Vsmgn 6.6379 114.9122 6.3398 33.9392 0.3174 0.4350 45.8505 12.7362
我们的 7.4038↑ 130.9834↑ 24.8477↑ 45.4547↑ 0.3205↑ 0.6010↑ 152.8949↑ 43.2120↑
Ifevip 6.5920 144.3103 4.7077 37.4218 0.3800 0.4379 36.9492 9.6064
我们的 7.0028↑ 168.7202↑ 18.0944↑ 45.2295↑ 0.3513 ↓ 0.5977↑ 121.6520↑ 33.1648↑
泰夫 6.5260 111.1772 4.8574 28.2418 0.2961 0.3816 39.2352 10.3709
我们的 7.3924↑ 129.0776↑ 21.5763↑ 46.1606↑ 0.3400↑ 0.6061↑ 150.5110↑ 39.5957↑
软件网络 6.4906 100.8989 5.7181 26.8063 0.2684 0.4138 44.2669 11.4048
我们的+sdnet 7.1637↑ 116.1341↑ 21.8830↑ 37.4379↑ 0.2309 ↓ 0.5130↑ 147.1275↑ 38.3247↑
皇家海军陆战队 6.8414 93.3474 3.0706 35.2705 0.2809 0.3567 29.1479 6.1275
我们的+红巢 7.0309↑ 116.1073↑ 9.5613↑ 33.7730 ↓ 0.3305↑ 0.5950↑ 83.6600↑ 16.8250↑
U2聚变 6.2466 103.3921 4.2098 22.4723 0.2644 0.3904 34.1317 8.0152
我们的+U2融合 6.9388↑ 117.5148↑ 15.5965↑ 31.9642↑ 0.2820↑ 0.5636↑ 114.5143↑ 26.9898↑
其他会员国 6.6469 111.3416 5.5948 32.2929 0.2997 0.4040 43.0543 11.1813
我们的行动+ 7.2925 131.4834 22.0896 46.2709 0.3301 0.6168 148.2868 39.2676
上升百分比 9.71% ↑ 18.09% ↑ 294.82% ↑ 43.29% ↑ 10.12% ↑ 52.67% ↑ 244.42% ↑ 251.19% ↑
平均平均值;平均梯度;SD,标准偏差;ViFP,像素为基础的视觉信息保真度;EI,边缘强度;SF,空间频率。
4.3.3有效性分析
在ivif中,预处理是提高可视图像质量的重要步骤。本节以MSID融合方法为例,探讨不同增强方法作为IViF预处理模型的有效性。桌子 9 展示了原始MSID方法融合结果的度量指标,以及用其他方法和我们的方法作为预处理模型获得的结果。桌子 9表明本方法与其他低光增强方法相比,在改进IVIFF融合效果方面具有显著的优势。该方法在八个测量指标中表现最好,包括恩、梅、银、SD、VFP、VIFF、EI和SF,表明该方法能更好地改善红外图像和可见图像的融合效果。与一般的低光增强方法不同,我们的方法是为了融合而设计的,而不仅仅是为了提高在低光环境中捕获的图像的感知质量。因此,我们的方法对改进IViF的融合性能有更大的影响。
TABLE 9. 原始MSID方法融合结果与其他方法和方法在21幅试验图像上的预处理模型的平均定量比较结果。
方法 恩 我 阿格 标准数据集 VFP Vif 电子指数 元素元素
Msid 6.9821 122.0556 5.1435 43.1571 0.3299950 0.4438 40.2628 10.7917
DUAL + MSID 6.9681 105.7690 7.4299 37.9052 0.3500 0.4387 52.8691 15.4884
KinD++ + MSID 6.9769 111.9767 8.3858 36.3003 0.2740 0.3876 61.1693 16.0601
OpenCE + MSID 6.9087 114.0491 6.1160 36.1125 0.3871 0.4299636 46.2999 12.3469
SCI_diff + MSID 6.8305 115.7037 7.2288 35.3352 0.3178 0.4300 51.7039 14.6946
StableLLVE + MSID 6.7495 117.9167 4.7186 34.2210 0.3451 0.4090 37.1587 10.3035
URetinex-Net + MSID 6.9182 113.8612 5.1314 37.1920 0.3495 0.3974 39.3490 11.0313
Zero-DCE++ + MSID 6.8966 112.4897 5.0272 36.0924 0.2668 0.2959 40.2518 10.5494
Zero-DCE + MSID 6.7774 112.0885 5.4070 34.3824 0.3482 0.4274 41.3376 11.1150
Ours + MSID 7.5959 139.4140 24.3886 56.8534 0.3962 0.7026 162.1302 43.6198
平均平均值;平均梯度;SD,标准偏差;ViFP,像素为基础的视觉信息保真度;EI,边缘强度;SF,空间频率。
5.结论
提出了一种可视化图像增强方法.它不仅可以用于IVF的可见图像增强,也可以用于增强其他彩色图像的低光数据集(如石灰[ 4 ], MEF [ 38 ], and DICM [ 39)。为了提高输入图像的整体亮度、对比度和颜色,提出了一种改进的方法.此外,本文还采用基于Mugif的方法设计了一种自适应地从原始可见图像中提取细节的方法,这种方法可以有效地保存细节,而不会引入额外的噪声。最后,提出的可视化图像增强技术被作为IViF的预处理模块。广泛的实验表明,所提出的增强方法在定性和定量评价方面优于八种竞争技术。此外,还将拟议的增强方法应用于现有的13种最先进的IViF方法。可以发现,与原有的融合结果相比,加入拟议的增强方法后,融合结果有了显著的改进。
此外,对不同数据集的实验表明了该方法的优越性和对比性.然而,所提出的可视化图像增强方法主要针对IViF。由于ivif的可见图像没有颜色信息,增强其他类型的图像是不好的。今后,我们将进一步探索该方法,并将其应用于其他应用领域,例如夜间图像的目标检测。
