本文是一篇计算机论文,笔者认为图像去雾领域技术虽然蓬勃发展,但仍然存在许多问题亟待解决,例如传统去雾方法始终存在局限性,无法适用于所有雾天图像;深度学习去雾方法则依赖于合成雾图数据集,缺乏真实雾天图像数据集导致真实雾图的复原结果不理想。
1 绪论
1.1 引言
随着科技的发展以及人们对生态环境的重视,空气污染状况相较之前已经有了很大改善,但雾霾情况却仍然无法根除,大多数城市仍然不时出现雾霾天气。在这种天气下,室外监控设备虽然可以正常运行,但拍摄到的画面总是被雾霾遮挡,严重影响了视频或者图像的后续处理,例如目标检测、路况判断等。因此,近年来,图像去雾逐渐成为图像处理领域的重点研究方向,越来越多的研究人员参与这项研究。图像去雾也从最开始的只依赖大气散射模型到丰富的先验信息,再到图像增强、融合等技术也被应用到去雾领域,时至今日,深度学习也被运用到图像去雾中。此外,雾天图像数据集也越来越丰富,从简单场景的合成雾图到复杂的真实雾图,从室内雾图到室外雾图,从淡雾图到浓雾图,去雾领域的数据越来越充足。
虽然去雾技术在不断发展,但仍然存在许多不足,例如传统方法中先验方法往往只对某几类雾图效果很好,无法适用于所有雾图,同时不依赖于物理模型的方法则往往对浓雾效果不佳,而深度学习的去雾方法同样也存在这样的问题,这类方法往往需要耗费大量计算资源以及存储空间,很难实现在移动或小内存监控设备上的实时去雾。针对上述问题,不断有学者提出解决问题的方法,例如传统领域不断有学者提出对先验方法缺陷的补全策略[1],[2]、利用数学模型直接学习雾图到透射率的联系、不断将去雾领域,增强领域以及其他领域的知识进行连接[3]等等;深度学习领域的研究学者也不断构建出更加真实、数量更多的数据集,同时也有学者尝试直接生成符合自然规律的雾图,来实现扩充数据集的同时让网络复原图像更加接近真实图像,另外越来越小的网络以及越来越快的运行速度也促进了图像去雾技术的飞速发展。
1.2 研究目的与意义
雾霾天气下所拍摄的图像通常被认为是由两部分光成像所得到,分别是经过大气层后衰减的场景反射光以及随场景深度变化的空气光。场景反射光为从由场景反射到摄像头的光束,经过大气层时一部分光被空气中的粒子散射、吸收,导致这部分光线被衰减。空气光为飘浮的大气颗粒(如灰尘、薄雾和烟雾)对大气光进行散射被摄像头接受的光束。因此雾霾天收集到的图像容易出现模糊、对比度降低以及噪声等现象[4],有些噪声人眼无法分辨,而使用大气散射模型的去雾方法大多依赖于对图像细节的放大,因此这些微小的噪声会在去雾过程中被放大,这就导致去雾结果总是存在严重的噪声。图像存在噪声,不仅主观效果不佳,同时也会对例如目标检测这一类视觉任务造成干扰。例如会对卫星监控、飞机航行、路面实时监控视觉任务产生非常大的影响[5]。雾霾对场景细节的遮挡会影响后续设备的判断,而处理结果产生的伪影以及噪声同样也会导致目标检测等失效,如可能会导致航班取消、监控报警失效等等问题。图像去雾技术不仅可以应用在简单的雾天图像上,同时也可以应用在监控视频上,例如室外监控、交通监控以及卫星监控。雾天情况下,首先由于雾霾天气下雾气的遮挡,容易导致路面监控视频中车牌等关键信息模糊不清,进一步导致无法准确找出违章车辆的车主信息,容易对交通执法带来较大的影响。去雾技术恰好可以对雾天图像或视频的细节进行复原,可以有效的辅助交通执法人员的日常执法任务。同时雾霾也会对卫星监控产生影响,雾霾对物体的遮挡可能导致监控信息不全面,运用去雾技术同样也能帮助工作人员找出隐藏在雾层之下的诸多细节。因此对图像去雾技术的研究具有重大的价值和意义。
2 基于改进大气散射模型的单幅图像去雾方法
2.1 概述
由于雾霾天气中雾气和微小颗粒等介质的影响,所捕获的图像会出现对比度低,色彩丢失及噪声等问题。目前,许多传统的去雾方法主要着眼于解决光衰减造成的对比度低、色彩损失等问题,而没有考虑空气中灰尘颗粒散射隐藏的噪声光,导致图像去雾效果较差,结果中易出现大量的噪声。针对上述问题,本章提出一种基于改进大气散射模型的单幅图像去雾算法。该算法首先结合雾霾天气的特点,通过增加空气中介质散射的噪声光对传统雾天成像的大气散射模型进行改进;接着,针对暗通道先验计算透射率不准确的问题,根据改进的模型构建一种透射率精细化的求取方法;最后,结合全变分模型保边抑噪的思想,构造一种新的目标函数,进行迭代求解获得最后的去雾图像。大量的实验结果和对比分析表明,本文提出的方法能够有效地去除图像中的雾,并且能减少去雾结果中的噪声,同时也能保留图像中丰富的纹理信息。
2.2 相关工作
根据2.1式可知,大气散射模型将有雾图像分解为两部分,分别可看作场景光和空气光的成像。
传统的去雾方法一般通过求解模型中的透射率以及大气光值来获得去雾后的图像。而大气光值通常被假设为常数,透射率则认为与场景的深度相关,这样获得的空气光会比真实的更简单,因为真实的空气光中还包含灰尘等各种粒子引起的噪声光。这部分噪声光在成像过程中往往被忽略,而在去雾过程中就会被放大,使得恢复的去雾图像存在大量的噪声点,导致主观效果不佳。
3 基于暗通道先验引导的图像去雾网络 .................................... 24
3.1 概述 ..................................... 24
3.2 网络框架 ................................... 24
4 总结与展望 ......................................... 37
4.1 工作总结 ..................................... 35
4.2 研究展望 ....................................... 36
3 基于暗通道先验引导的图像去雾网络
3.1 概述
雾天情况下捕获的图像通常都存在对比度低、细节丢失等现象,对后续目标识别、室外监控等视觉任务带来了很大的挑战。目前基于深度学习的去雾方法大都是直接学习有雾图像和无雾图像之间的映射关系,由于没有结合雾图自身的特点,存在雾信息检测不精确,去雾不彻底的问题。基于此,本章提出一种基于暗通道先验引导的端到端去雾网络(DCPDNet)。在DCPDNet中,为增强图像特征空间信息的相关性,一个特征增强模块(FEB)被构建。在该模块中首先对提取的初始特征图执行两次下采样,减少模型的运算量同时也扩大了卷积核的感受野,利用多层的卷积来提取全局特征;然后,将提取的特征与浅层特征进行合并,通过特征图与浅层特征图相乘,来增加图像特征内部的相关性及实现图像特征的增强。为了使提取的特征更关注雾的区域,本章还提出一种基于引导图的特征校正模块(FCB),该模块利用雾图自身的特点,使用暗通道理论构建一个引导图像,利用引导图来评估有雾图像的透射率,利用提取的透射率特征图自适应地放大有雾区域的特征值,将网络学习的注意力引导到有雾区域,对提取的特征图做进一步的细化和校正。最后利用残差结构,从原始雾图中补充网络需要的浅层特征,最终经过卷积细化后得到去雾后图像。大量的实验证明DCPDNet可以在保持模型轻量性以及运行速度较快的情况下实现良好的去雾效果。
4 总结与展望
4.1 工作总结
图像去雾作为图像处理的热门领域之一,近年来有越来越多学者投身这一领域。图像去雾技术作为底层的图像处理技术,可以运用在众多的高级图像处理任务中,例如目标检测、遥感监测等等。本文也针对图像去雾问题,提出了自己的解决方法。论文的主要工作总结如下:
(1) 传统的去雾方法依赖于理论知识,通常估计大气散射模型中的变量来实现图像去雾,但估计变量的过程中出现的误差经常导致去雾结果主观效果不佳,出现例如伪影、色偏等问题。同时传统方法多使用图像先验等信息来估计透射率,这导致该类方法大多只适用于某一类雾天图像。针对这一问题,本文提出了基于改进大气散射模型的单幅图像去雾方法,该方法同样也基于暗通道先验来计算透射率值,但为了解决暗通道先验类方法不适用于天空区域的问题,我们提出雾气权重估算,其中天空区域属于雾气浓重区域,我们对图像使用阈值进行分区,将天空区域以及雾气浓重区域的权重值使用阈值代替来解决暗通道先验在天空区域失效的问题,同时也可以解决雾气浓重区域的透射率容易被低估的问题,进一步减轻了图像复原结果出现伪影、噪声等情况。为了更彻底的解决复原图像的噪声问题,接着对传统大气散射模型进行改进,将噪声项加入模型当中,并提出自己的目标函数,同时加入权重限定噪声区域,最终实现图像去雾的同时解决噪声问题。
(2) 基于深度学习的去雾方法通常通过学习雾图以及对应的清晰图像之间的映射关系来实现去雾的目标。但有些深度学习的方法模型较大,耗费内存以及计算资源较多,有些虽然属于轻量级网络,模型较小,但去雾结果并不理想。基于此,本文提出一个基于暗通道先验引导的图像去雾网络(DCPDNet),DCPDNet属于残差结构图像去雾网络,其中包含两个主要模块特征增强模块(FEB)以及特征校正模块(FCB)。首先,为了能更全面有效的提取图像中的特征,同时对提取到的特征进行增强,本文构建了FEB模块。在FEB模块中使用下采样操作降低模型的计算量,加入多次跳转连接补充部分浅层特征,同时通过将浅层特征以及深层特征相乘来实现特征的增强操作。由于深度学习的过程属于黑盒子,因此很难知晓网络在学习的过程中是否有集中在图像中的有雾区域,只能通过网络输出的质量来简单的判断。
参考文献(略)