新闻资讯
无对运动图像模糊的具有对比约束的域翻译网络
大多数运动去模糊的方法需要大量的配对训练数据,这在实践中几乎是无法达到的。为了克服这一局限性,提出了一种对未配对运动图像去模糊的具有对比约束的域翻译网络。首先,提出了一个具有两个流的域翻译网络,一个是尖锐的域翻译流,一个是模糊的域翻译流,用来处理来自现实世界的未配对的尖锐和模糊的图像。其次,提出了一种在深中间水平上的对比约束损失,以促进网络产生接近真实锐利图像的脱模糊结果。第三,设计了两个流的不同的损失函数,以保存模糊图像的边缘和纹理细节。在几个基准数据集上进行的广泛实验表明,与目前最先进的未配对运动图像去模糊方法相比,所提议的网络实现了更好的视觉性能。
1.导言
在现实世界中,运动模糊是一个常见的退化问题,特别是对于轻量级数码相机拍摄的图像。模糊主要是由相机震动或物体运动引起的.随着手持摄像机的发展,模糊运动越来越受到关注。一般来说,图像的运动模糊过程可模拟如下:
(1)
在哪里 y 和 X 分别表示模糊图像和清晰图像*表示卷积运算, k 指示动作模糊内核,以及 n 意味着附加噪声。盲运动图像去模糊的目的是在锐利(或清晰)图像和模糊内核(或点扩展函数,PSF)未知时,从退化的观测中恢复原始图像。这是一个非常糟糕的反问题。在真实的场景中,运动模糊是非常复杂的,并且运动模糊图像没有为网络训练的尖锐标签。因此,这是图像处理中最具挑战性的问题之一.
传统的运动去模糊方法[ 1 - 3 通常在模糊内核和隐锐像上应用各种约束来解决高度非凸优化问题。近年来,基于CNN的模糊角估计方法已成功应用于运动去模糊。例如,查克拉巴蒂[ 4 通过预测反卷积滤波器系数来估计拼接模糊核。舒勒等人[ 5提出基于cnn的特征提取来估计模糊内核。该体系结构包含特征提取、模糊内核估计和潜在图像估计。特征提取依赖于两个神经层。模糊核估计是由高斯过程生成人工数据集.利用估计的核计算潜在图像.然而,由于内核观测有限,这些内核估计方法无法克服现实应用程序中严重和复杂的运动模糊限制。
近年来,无角运动图像利用深网络去模糊取得了显著的成功。现时最广泛使用的网络架构是多尺度渐进式网络[ 6 - 10 ]及生成对抗网络[ 11 - 14 ]。在多尺度的渐进架构中,多尺度的模糊是由多个堆叠的子网络处理的;每个子网络都采用一个向下采样的图像,并逐渐恢复一个尖锐的图像,以一种简单到精细的方式。例如,陶等人。[ 5 ]建议一个规模-重复网络(SRN),用于模糊运动图像。作为最常用的多尺度方法之一,它提取了相同图像中三种尺度的模糊特征。该结构具有很强的自动学习能力.该方法可以放大网络的接收域,从而在运动图像模糊方面达到了良好的性能。克服SRN、Zamir等中不可靠的空间图像细节或上下文信息。[ 10 ]提供一个三阶段的渐进体系结构,其中有一个注意模块,可以从上下文和空间两方面获得准确的输出。然而,上下抽样不可避免地意味着失去不同层次的有意义的信息。在Gan架构中,生成器试图生成潜在的锐利图像,直到鉴别器无法将其与真实的锐利图像区分开来。其中有库平等人。[ 11 ]建议有条件GAN及其改进版本[ 12 , 13[译为:为了运动而去模糊。虽然这些无角化的方法在运动去模糊方面取得了突破性的进展,并取得了很多有希望的结果,但它们都是被监督的运动去模糊的方法。模糊效果的降低严格取决于配对模糊和锐利训练数据的分布。
为了解决配对训练数据集的问题,我们提出了一个具有对比约束的运动图像脱模糊域翻译网络。这项工作的主要贡献概述如下:
域翻译网络有两个新的流,包括一个尖锐的域翻译流和一个模糊的域翻译流,以处理来自现实世界的未配对的尖锐和模糊的图像。
我们提出了一个对比约束损失的深中间水平的两个流。它促进网络产生的模糊结果接近真实的锐利图像。
我们进一步为这两个流开发了不同的损失函数,它可以保留模糊图像的边缘和纹理细节。在几个真实数据集上的实验证明了我们对未配对运动去模糊方法的改进。
该文件的编排如下。节 2 浏览相关作品。节 3 介绍了拟议的方法。在章节中讨论了广泛的实验 4 .我们在部分结束 5 .
2项相关工程
2.1带未配对数据的无监督方法
由于在实践中几乎无法获得配对训练数据,一些研究人员已将重点转向半监督或无监督的学习方法[ 15 - 17 ]最近拍摄的一张图片中,低水平计算机视觉领域的训练数据未配对。对于图像模糊,半监督方法总是使用未配对数据来补充配对图像训练。例如,张等人。[ 18)建议分别用学习去模糊(BGAN)和学习去模糊(DBGAN)来模糊和去模糊。在BGAN中,真实的模糊样本被作为识别器生成光现实模糊图像的假数据,而在DBGAN中,真实的尖锐样本被作为识别器的假数据来提高模糊性能和健壮性。尽管该方法在某些图像上表现良好,但DBGAN的主要模糊网络仍在对锐利和模糊图像进行配对训练,因此无法满足现实世界中未标记的模糊图像的训练要求。
针对上述问题,一些不受监督的方法直接使用未配对数据[ 19 ],包括模糊的动作[ 20 ],面部及文本图像模糊[ 21 , 22 ],图像超分辨率[ 23 ],及形象损害[ 24 ]。尤其是,温等人。[ 20使用循环机制来翻译"尖锐的"和"模糊的尖锐的"图像特征。清晰和模糊的图像分别输入两个子网络。它避免了对训练数据的严格需求,实现了灵活的脱模糊效果。然而,由于不同分辨率的多尺度边缘损失和多相反损失的复杂次网络和次优化子网络,其不满意的脱模糊结果的问题还有待解决。
2.2对比学习
对比学习[ 25 是无监督学习的有效工具[ 26 , 27 ]。对于给定的锚定,对比学习通过将锚定拉到接近阳性样本的地方,并将锚定推到远离阴性样本的地方来学习表现。在高级视觉任务中,对比学习被广泛应用,并取得了优于其他方法的结果。例如,帕克等人。[ 28 ]表明对比倾向能提高未配对图像到图像的翻译质量。近年来,对比学习在低视觉作品中也受到重视。陈等人。[ 29 介绍了改进后的赛克莱格建筑中的对比约束。从生成器的编码层中提取了对比特征。然后提出了色彩循环一致性损失的方法,以缓解纳维循环一致性损失的不愉快的工艺品。吴等人。[ 30 将对比学习应用于图像的消失。他们提出了清晰图像、恢复图像和模糊图像的对比正则化。还原的脱毒图像训练在清晰图像(正样本)附近,远离模糊图像(负样本)。但是,还原后的脱毒图像必须有相应的清晰和模糊的标签,这限制了该方法在实际情况下的应用。
3.拟议方法
在这里,我们首先介绍了网络的总体架构。然后我们具体介绍了这两条流。然后,我们详细描述了对比约束损失。最后,我们为优化网络提供了独特的损失函数.
3.1网络架构
在我们的方法中,未配对的运动图像去模糊是从一组未配对的清晰和模糊的图像训练领域翻译网络。如上所述,半监督去模糊法[ 18 ]依赖配对的清晰和模糊的数据集,以及无监督的去除模糊的方法[ 20 有一个令人不满意的模糊结果。与之不同的是,我们提出了一个具有未配对的真实和模糊的训练数据的新领域翻译网络,以模拟"接近真实"的模糊和尖锐特征,如图所示 1 .
详情在图片后面的标题中
图1
在图形查看器中打开
幻灯片
我们方法的框架。
域翻译网络由两个流组成:锐利域翻译流和模糊域翻译流。每个翻译流程有两个发电机 G b 和 G s .两个发电机 G b 和 G s 是相互的逆映射函数。如图所示 1 ,我们的方法透过 G b 和 G s 在训练过程中从一组清晰和模糊的图像。一旦训练结束, G s 是用来测试的。图像是由 G s在实际应用中输入模糊.
锐利域翻译流的架构如图所示 2 .在尖锐的域转换流中, G b 和 G s 目的学习两个映射: G b :
→
和 G s :
→
. Here,
代表真实世界的清晰图像集,
显示生成的模糊图像集,
显示潜在的锐利影像集,以及 D b 用于鉴别潜在的模糊图像是否与未配对的真实模糊图像相匹配。为了发电机 G b ,我们的目标是学习
到
.具体来说,输入样本是一个尖锐的现实世界的图像,是模糊的Tlan等人的方法。[ 14 ]获得最初的模糊图像
.所生成的模糊图像
更像是真实的情况而不是初始化的情况。
详情在图片后面的标题中
图2
在图形查看器中打开
幻灯片
锐利域翻译流的体系结构。
模糊域翻译流的体系结构与图形相似 2 .在模糊的域翻译流中, G s 和 G b 目的学习两个映射: G s :
→
和 G b :
→
.
代表真实世界的模糊图像集,
显示生成的锐利图像集,
表示潜在的模糊图像集. D s 是用来正确区分假的潜在锐利和未配对的真实锐利数据测量他们之间的瓦瑟斯坦距离。
一般来说,两个域翻译流是循环一致的,这意味着两个映射 G s 和 G b 是双向的和相反的。这样,我们的方法可以很好地处理未配对的锐利和模糊的图像,并保持结构信息在去模糊和原始图像之间的一致性。重建不均匀运动模糊 G b 更像是现实世界中的模糊操作符。它促进了脱模糊网络 G s 产生光现实去模糊的结果。
3.2网络详情
如图所示 1 和 2 两个发电机, G b 和 G s ,其结构与自动编码器相似。两个鉴别器 D b 和 D s 用于区分生成的图像和未配对的真实图像。
图中给出了连续反卷积发生器的结构 3.它是一个不对称的自动编码器。为了避免边缘和轮廓等浅层特征在深层特征中的退化,我们设计了两个跳接连接来集成浅层和深层特征。编码器有三个编码器块(EBS)来提取深刻的特征。该解码器有五个解码块(DBS),通过将采样特征信息合并到解码块的末端来建立多尺度融合编码块。每个EB包含一个卷积和两个局部特征块(LFBS)。除DB1外,每个分贝都包括两个LFBS和一个转置卷积层。请注意,在整个发生器中,编码器块中的每一个卷积层和解码器块中的转座层中,除了最后一个外,都加入了实例规范化层和指数线性单元。有三个非本地功能块。一个NLFB处于瓶颈,另外两个NLFB在DB4和DB5后面。
详情在图片后面的标题中
图3
在图形查看器中打开
幻灯片
连续反卷积发生器的结构。"K"是指内核大小;"N"是指通道;"S"是指步进。
图中显示了NLFB的结构 4 . X 是以前隐藏层的输入图像特征.它有三个分支 f , g ,以及 H . z 是下一个隐藏层的输出特性。
详情在图片后面的标题中
图4
在图形查看器中打开
幻灯片
非本地特征块的结构。
形象 4 ,
= ,
,以及
.代表了产品之间的相似性
和
通过矩阵乘法实现:
(2)
在哪里 我 是从
,以及 j 是从
.
是一种非本地操作,根据不同特征位置之间的关系计算响应和
.它的定义是:
(3)
在哪里 j 是所有可能的相似功能位置的索引。标准化系数 C 是指
.
表示要学习的权重和偏见。
从数学上看,以下机构提供了国家学习基金:
(4)
where ‘+ X 表示残余连接。
LFB的结构如图所示 5 .
和
是输入和输出的 t 第 剩余块和LFB定义为:
(5)
哪里"
意思是身份映射。功能
表示本地特性映射。
表示要学习的权重和偏见。它有三个分支,和:
(6)
在哪里
和
是来自
.
详情在图片后面的标题中
图5
在图形查看器中打开
幻灯片
局部特征块的结构.
我们还有两个歧视者 D b 和 D s 区分生成的和未配对的真实图像。及其具体配置可参照VGG19网络[ 31 ]详情。
3.3对比约束损失
我们介绍了深中间水平的对比约束损失,如图所示 1 和 2 .它模仿真实的锐利和模糊图像的特性。在对比学习中,给出一个锚点,网络的目的是学习如何在一些度量空间中将锚拉到接近"正"点的地方,并将锚推到远离"负"点的地方。
具体到图像脱模糊,在锐利域翻译流中,我们指的是隐锐利图像
作为锚,现实世界的尖锐图像
作为"阳性"样本,并生成模糊图像
作为"阴性"样本。相应的特征表示形式如下:
,
,以及
.因此,梯度对比损失函数的计算方法是:
(7)
在这里中心是网络功能空间,
, l = 1,2,…, L 从 l 隐藏的特征,表示温度参数来测量距离.表示渐变操作。梯度中两个标准化特征向量的相似性函数。计算方法如下:
(8)
在模糊域翻译流中,我们定义生成的模糊图像
作为锚,现实世界模糊的图像
作为"积极的",产生了清晰的图像
作为"否定"。在数学上,这些相应的特征表示形式化为:
,
,以及
.因此,对比目标的功能可拟订如下:
(9)
在哪里
, l = 1,2,…, L 从 l 一些隐藏的特征。
隐藏的特征 f 是发生器中NLFB和LFB的中间表示。他们可以对图像的细节和结构进行建模,因此我们计算了梯度中的相似函数,以放大细节和结构上的差异。它促进网络产生的模糊结果接近真实的锐利图像。
3.4不同的损失功能
由于我们方法中的输入没有标记数据,我们必须开发实用的丢失函数来提高网络的优化能力。除了上面提到的对比约束损失,我们对这两个流进行了下列不同的损失函数。
3.4.1锐利域翻译流中的损失函数
时域翻译流中的损失函数包括周期一致性损失 L 周期1 ,对抗性损失 L 提前1 ,对比约束损失 L ct1 、频率重建损失 L 元素元素 .
(10)
Here, μ 1 , μ 2 , and μ 3 平衡不同损失函数的超参数。
循环一致性损失函数的定义是:
(11)
在哪里是L1的标准,而且
描述锐利图像的分布.
对抗性损失函数的计算方法如下:
(12)
在哪里 D b 是鉴别者。它加强了尖锐和模糊的限制,并减少了两个流中的错误信息。
我们需要频率重建损失[ 9 []从模糊图像中恢复高频细节,并保存模糊图像的边缘和纹理细节。定义如下:
(13)
在哪里 F 表示快速傅立叶变换(FFT),它将图像信号传输到频率.
3.4.2模糊域翻译流中的丢失函数
模糊域翻译流中的丢失函数包括周期一致性损失 L 循环2 ,对抗性损失 L 提前2 ,对比约束损失 L ct2 和结构相似性损失
.
(14)
Here, λ 1 , λ 2 ,及及 3 是非负的超参数来调整不同于损失对整体影响的影响。我们衡量每个损失,以平衡每个组件的重要性.
循环一致性损失函数的定义是:
(15)
在哪里
表示模糊图像的分布。
对抗性损失功能可写为:
(16)
该模型使模型能够考虑生成的模糊图像之间的信息模型
以及真实的模糊图像
在我们的模型里。像素 P 的定义是:
(17)
在哪里
和
是图像的手段,
和
是图像的标准偏差,以及
是他们的协方差。通过平均每一个像素的信息信息模型,信息信息模型的损失可以表示为:
(18)
4实验和讨论
在此,我们首先介绍了我们的实验参数设置,然后分析了所提方法的基本成分的有效性。接下来,我们比较了我们的方法,在两个带有尖锐标签的基准数据集上的一些相关的最新方法,并讨论了我们的方法的优越性。最后,我们讨论了我们的结果在两个真实的数据集没有尖锐的标签。
4.1实验参数设置
4.1.1实施细节
我们在一个工作站上进行了所有的实验,有一个英特尔I5CPU和一个NVIDIA1080钛GPU。该模型采用了PITAN平台和PUTAN接口实现。参数设置如下。锐利域翻译流模型被训练为350个阶段,并且批处理的大小被设置为2。方程中的损失函数值( 13 )的设定为 1 = 1, μ 2 = 0.5, and μ 3 =0.5经验。初始学习率为10 −4 对于前100个时期,然后每20个阶段减少十分之一,直到300个阶段之后的汇合。在模糊域翻译流网络中,模型经过450个阶段的训练,批处理规模设置为2。方程中的损失函数值( 18 )的设定为 1 = 1, λ 2 = 0.5, and λ 3 =0.5经验。我们用10开始的学习率 −4 把它减到10 −6 在训练失败之后收敛。参数的优化使用自动协调系统优化器[ 32 ]用动力术语 β 1 = 0.9 and β 2 =0.990。温度参数方程( 7 ) and ( 9 默认情况下设定为0.07。
4.1.2数据集和指标
我们在表中显示的四个真实图像数据集上评估我们的方法的性能 1 .
TABLE 1. 培训和测试数据集清单
数据集 戈普罗 科勒 Rwbi 赖
训练 2103 − − −
试验的 1111 48 3112 1000
Gopro数据集[ 33 ]包括22个真实训练场景中2103对尖锐和模糊的图像,11个真实场景中1111对尖锐和模糊的图像,以1280×720分辨率进行测试。图形 6 显示一些来自Gopro培训和测试数据集的图像。桌子 2 显示训练细节。
详情在图片后面的标题中
图6
在图形查看器中打开
幻灯片
Gopro数据集上的一些图像[ 33 ]。(a)训练数据集一个部分的图像模糊,(b)训练数据集另一个部分的清晰图像模糊,(c)测试数据集的图像模糊。
TABLE 2. 关于Gopro培训数据集的培训细节
我们的网络 没有模糊标签的清晰图像数目 无清晰标签的模糊图像数目
锐利域翻译流
600 × 7 − − −
− − − 400 × 7
模糊域翻译流
− − 613 × 7 −
− 400 × 7 − −
在训练过程中,我们将2103个Gopro训练数据随机划分为两个部分,因此在两个流中没有对应的对[ 20 ]。如表所示 2 输入的锐利图像和模糊图像在锐利域翻译流中分别来自两部分。输入锐利和模糊的图像在模糊的域翻译流是从其余两个分离部分。形象 6a,b ,前两列是从这两部分训练清晰和模糊图像的例子。
如表所示 2 ,我们通过三种方法使用平移和旋转翻转来进行增强,从而进一步扩展训练数据集。(1)缩放:我们缩小了带缩放因子的图像(0.6%,0.8)。(2)旋转:我们将图像旋转90度、180度和270度。(3)翻动:我们水平或垂直地翻动图片,每个图片的概率为0.5。因此,培训的数据是7倍。我们保证训练对没有重叠,并随机将图像分成256×256×3图像块进行训练。
柯勒数据集[ 34 包含48幅模糊图像供实验测试。这些模糊图像是通过对这六幅清晰图像分别采用两个模糊轨迹生成的。图形 7 描述一些模糊的图像在科勒数据集。每两幅图像都来自同一个清晰的图像和不同的模糊。
详情在图片后面的标题中
图7
在图形查看器中打开
幻灯片
柯勒数据集上的一些模糊图像[ 34 ].
Rwbi数据集[ 18 包含3112个不同的模糊图像,没有尖锐的标签,在实验中进行测试。它们分为15个不同的场景。图形 8 显示一些模糊的图像在Rwbi数据集。
详情在图片后面的标题中
图8
在图形查看器中打开
幻灯片
真实世界模糊图像(Rwbi)数据集上的一些模糊图像[ 18 没有尖锐的标签。
会计师协会数据集[ 35 ]包含100个真实世界的模糊图像,在真实场景中从不同的摄像机和不同的设置(曝光时间,孔径大小,ISO等)。)及不同的使用者。它们都用于实验中的测试。一些模糊的图像在图中显示 9 .
详情在图片后面的标题中
图9
在图形查看器中打开
幻灯片
赖的数据集有些图像模糊[ 35 没有尖锐的标签。
我们使用两个著名的参考指标:峰值信噪比[ 36 ]及统计信息系统指数[ 37 ],评估戈普罗和科勒数据集上的图像。我们亦使用两个无参考的品质指标[ 38 ]及[ 39 ],评估真实世界中Rwbi和赖数据集的模糊图像。
4.2消融研究
如表所示 3 ,我们对Gopro数据集进行了消融研究,以研究我们模型中重要组件的有效性。为了进行公平比较,基线模型的配置和参数与拟议方法相同。
TABLE 3. Gopro数据集中不同成分的有效性分析
成分 模式1 模式2 模式3 模式4 我们的模型
锐利域翻译流 √ √ √ √ √
模糊域翻译流 − √ √ √ √
截面对比约束损失 3.3 − − √ √ √
没有 L 元素元素 和
− − − √ −
公式中的损失函数( 13 ) and ( 18 ) − − − − √
Psnr 27.126 28.381 29.752 30.341 30.856
主席团成员 0.761 0.804 0.860 0.895 0.918
结果见表 3 通过逐步添加每个组件,我们的方法有四个变体。表的最后两行列出了每一模型的平均净信噪比和净信噪比。 3 .
图形 10 在Gopro数据集上显示上述组件的可视化结果。桌子 3 数字化 10 结果表明,没有其他方法可以获得竞争性性能.具体而言,我们可以得出以下结论:
详情在图片后面的标题中
图10
在图形查看器中打开
幻灯片
不同组件的视觉结果:(a)图像模糊,(b)模型1,(c)模型2,(d)模型3,(e)模型4,(f)我们的模型。
首先,与模型1相比,模型2是一个双向翻译的循环一致的方式。锐利域翻译流只选择真实锐利样本作为输入图像。 G b .然而,两条小溪同时具有真正的尖锐和模糊的深层特征。 G b 和 G s 取得的成果优于模式1。
其次,我们考虑了对比约束损失的影响。根据表格 3 在训练中,只有应用翻译网络比融合中间对比约束效果要差。在对比约束下,模型3的性能优于模型2。结果表明,对比约束是该方法的一个重要因素。
第三,我们通过考虑Gopro数据集上损失函数的不同组合来评估脱模糊性能。模型4采用循环一致性损失、对抗性损失和残余对比损失,所得的PNSR和SSY值高于模型3。在最后一个列中,增加的PSRR和SSY值表明,我们的方法具有不同的损失函数,可以得到比模型4优越的结果。
总的来说,我们提出的方法的组件对它的性能有积极的影响.
4.3与最先进的戈普罗和科勒数据集的比较
为了全面评价该方法的性能,我们对Gopro和Kohler数据集中的六种最先进的脱模糊方法进行了比较。具体地说,我们比较了三种监督方法,舒勒等。[ 5 ],库平等人。[ 11 ],陶等人。[ 6 ,半监督法,张等人。[ 18 和两种无监督的方法,朱等人。[ 19 ),还有温等人。[ 20 ]。这些方法的实现基于作者提供的公开代码。所有比较过的方法都重新测试了它们的默认参数,以便进行公平的比较。
平均个人和家庭资源比例[ 36 ] and SSIM [ 37 ]从Gopro数据集中去除模糊图像的值列于表中。 4 .PSRR/SSY值越高,结果越好。桌子 4 结果表明,与六种最先进的方法相比,本方法获得了具有竞争性的PSRR和SSY值。
TABLE 4. Gopro和Kohler数据集的量化比较结果
戈普罗 科勒
方法 Psnr 主席团成员 Psnr 主席团成员
监督的 舒勒等人[ 5 ] 24.110 0.718 25.420 0.762
库平等人。[ 11 ] 27.673 0.908 27.120 0.824
陶等人。[ 6 ] 30.719 0.915 28.895 0.835
半监督的 张等人。[ 18 ] 30.722 0.907 26.743 0.851
无监督的 朱等人。[ 19 ] 25.002 0.851 25.582 0.804
温等人。[ 20 ] 26.247 0.867 26.783 0.829
我们的 30.856 0. 918 28.830 0.880
数字 11 到 13 在Gopro数据集上描述三幅图像的定性结果。我们的方法和被监督的方法一样可取[ 6 和半监督方法[ 18 ]。受监督的方法[ 5 , 11 有一些模糊的细节和文物。DBGAN发电机[ 18 ],BGAN模块对GOPO培训数据集上的输入模糊图像进行了预处理。对于DBGAN的鉴别器,与其他GAN方法不同的是,这些假数据是公共数据集中真实的锐利图像。尽管以上两个原因使DBGAN的去模糊结果比其他简单去模糊的方法更好,但它仍然依靠成对的图像来获得良好的性能。原西格人[ 19 不能比其他方法更好地维护边缘和细节信息。与西格安相比[ 19 我们的方法产生了更好的效果,更清晰的结构和更清晰的细节。即使在明显模糊的区域,比如在第一张图片中的步行者的手和腿 11 ,我们的网络仍然可以产生令人满意的结果。因此,该方法在Gopro数据集上取得了相对满意的视觉效果。(图 12 )
详情在图片后面的标题中
图11
在图形查看器中打开
幻灯片
从Gopro数据集获得的第一张图像的视觉比较:(a)模糊的图像,(b)舒勒等人。[ 5 ],(c)库平等人。[ 11 ],(d)陶等人[ 6 张等人[ 18 ],(f)朱等人[ 19 ),(g)我们的,和(h)尖锐的形象。
详情在图片后面的标题中
图12
在图形查看器中打开
幻灯片
从Gopro数据集获得的第二张图像的视觉比较:(a)模糊图像,(b)舒勒等人。[ 5 ],(c)库平等人。[ 11 ],(d)陶等人[ 6 张等人[ 18 ],(f)朱等人[ 19 ),(g)我们的,和(h)尖锐的形象。
详情在图片后面的标题中
图13
在图形查看器中打开
幻灯片
从Gopro数据集获得的第三幅图像的视觉比较:(a)模糊的图像;(b)舒勒等人。[ 5 ],(c)库平等人。[ 11 ],(d)陶等人[ 6 张等人[ 18 ],(f)朱等人[ 19 ),(g)我们的,和(h)尖锐的形象。
桌子 5 在Gopro数据集上显示这些方法的平均运行时间。在这里,我们看到我们的方法与大多数监督方法相比,保持了相对竞争的速度。即使时间比张等人稍长。[ 18 和朱等人。[ 19 由于我们复杂的网络结构,我们的方法仍在改进无监督方法。我们的方法打破了监督方法中一对一映射的局限性,并且在实际应用中灵活地学习未配对映射的图像模糊。
TABLE 5. 不同方法在Gopro数据集上的平均脱模糊时间
方法 舒勒等人[ 5 ] 库平等人。[ 11 ] 陶等人。[ 6 ] 张等人。[ 18 ] 朱等人。[ 19 ] 我们的
时间 32.34 0.85 1.60 0.41 0.28 0.65
4.4Rwbi和LEI数据集的性能
我们使用两个没有尖锐标签的真实模糊图像数据集,即RWbi数据集,评估上述所有方法[ 18 ]及自动化系统数据集[ 35 ]. Table 6 比较无参考的品质指标[ 38 ]及[ 39 ]。布里斯克/尼克值越低,结果越好。我们可以看到,我们的方法比其他最先进的方法获得的NQE值要低。
TABLE 6. Rwbi和LEI数据集的量化比较结果
Rwbi 赖
方法 布里斯克 Niqe 布里斯克 Niqe
监督的 舒勒等人[ 5 ] 59.654 14.256 63.778 16.120
库平等人。[ 11 ] 55.868 13.125 59.381 14.645
陶等人。[ 6 ] 51.163 12.615 56.261 12.820
半监督的 张等人。[ 18 ] 45.965 11.177 55.014 11.865
无监督的 朱等人。[ 19 ] 49.810 13.968 59.267 13.601
我们的 42.540 10.655 54.216 11.761
我们将Rwbi数据集中一些模糊的结果显示在图表中 14 - 16 .受监督的方法[ 5 , 6 , 11 及半监督方法[ 18 包含一些模糊的细节和文物。原因是这些受监督的方法难以处理真实图像中的模糊。对于无监督的方法,恢复的原始赛克列根影像[ 19 有一些视觉艺术品。其原因是真实模糊的分布非常复杂,而原始的半边形,如果没有改进,就很难做到。与这些方法相比,我们的方法以更清晰的结构和纹理细节显示出更好看的输出。
详情在图片后面的标题中
图14
在图形查看器中打开
幻灯片
从Rwbi数据集中获得的第一幅图像的视觉比较:(a)模糊图像,(b)Kupyn等。[ 11 ],(c)陶等人[ 6 ],(d)张等人。[ 18 ],(e)朱等人。[ 19 ], and (f) Ours.
详情在图片后面的标题中
图15
在图形查看器中打开
幻灯片
从Rwbi数据集中获取的第二幅图像的视觉比较:(a)模糊图像,(b)Kupyn等。[ 11 ],(c)陶等人[ 6 ],(d)张等人。[ 18 ],(e)朱等人。[ 19 ], and (f) Ours.
详情在图片后面的标题中
图16
在图形查看器中打开
幻灯片
从RWbi数据集中获得的第三幅图像的视觉比较:(a)模糊图像,(b)Kupyn等。[ 11 ],(c)陶等人[ 6 ],(d)张等人。[ 18 ],(e)朱等人。[ 19 ], and (f) Ours.
通过对四个数据集的上述所有实验,我们得出结论,与一些最先进的监督和无监督方法相比,我们的方法产生了更好的视觉效果。[ 5 ],库平等人。[ 11 ],陶等人。[ 6 张等人。[ 18 朱等人。[ 19 ),还有温等人。[ 20 ]在Gopro和Kohler数据集上有尖锐的标签,Rwbi和LY数据集上没有尖锐的标签。测试时间相对较短。我们的方法可以通过增加更多的真实数据来改进网络的性能.
5.结论
针对未配对运动图像模糊问题,提出了一种具有对比约束的域翻译网络.不同于以往的工作,我们的方法不需要配对训练图像,使其足够灵活,以使现实世界的运动图像去模糊。我们表明,尖锐和模糊的领域翻译流可以处理无对的尖锐和模糊的深入特征从现实世界。通过在两个流的深中间水平上整合对比约束损失,我们的方法产生的模糊结果接近实际的锐利图像。不同的损失函数保留边缘和纹理细节的模糊图像.综合实验评价说明了我们的方法对未配对运动图像去模糊的有效性。
