① 图像去雾(Haze Removal)
在环境日益污染的现代社会,雾霾问题日益凸显,影响着我们的日常生活和众多技术应用,如视频监控和自动驾驶。图像去雾因此成为一项关键的技术,旨在提升在雾霾环境下图像的清晰度,以便于计算机视觉任务的执行。本文着重于介绍图像去雾的基本原理和一些主流算法。
研究领域中,去雾方法大致分为基于图像增强和基于图像复原两大类。增强类算法如直方图均衡化、AHE、CLAHE等,着重于增强对比度,而复原类如暗通道去雾、单幅图像去雾等,是基于大气退化模型进行处理。近年来,深度学习的引入,如利用CNN进行参数估计或直接生成去雾图像,也取得了显着进展。
其中,何恺明的暗通道先验是去雾领域的经典理论。它基于对大量无雾图像的统计,发现暗通道(最小颜色通道值)在非天空区域通常接近0。这一理论用于指导去雾过程,首先确定透射率的预估值。在实际应用中,需要结合暗通道图获取全球大气光值,然后通过修正公式恢复无雾图像,可能还需引入软matting和guided image filtering等技术来优化效果。
实验部分,作者分享了软硬件环境和参数调整对去雾效果的影响。例如,窗口大小和ω值的改变会影响去雾的精确度,而导向滤波的使用则有助于减少块效应和光环效应,使图像更自然。最终,通过设定特定参数,如暗通道窗口大小为15,ω值为0.95,导向滤波窗口大小为15,可获得相对理想的去雾效果。
尽管如此,图像去雾算法仍有提升空间,特别是对于包含天空的雾图像和可能出现的失真问题。未来的研究将可能进一步改进这些不足,推动技术的进一步发展。
② 基于饱和度估计传输图的快速图像去雾算法
本文介绍了一种在《图像处理》(TIP)上发表的快速单幅图像去雾算法,特别关注于饱和度估计和传输图的改进。
传统的去雾方法依赖于大气散射模型,其中A和t(x)是关键参数。然而,错误估计A可能导致图像偏色,而暗通道先验(DCP)算法在低估t(x)时会丢失颜色信息,产生过饱和和色彩失真。本文提出的新方法挑战了DCP的局限性,通过图像饱和度来估计介质传输,无需先验假设,且在已知大气光条件下,透射率与饱和度关联。
作者通过定义新的饱和度分量和传输图计算公式,解决了原有方法的纹理和边缘丢失问题。利用暗通道先验和饱和度信息,文章提出了一个简单快速的白平衡算法,以修正图像偏色。实验证明,该算法虽不依赖大气光的精确寻找,但去雾速度快且无光晕伪影,具有较高的去雾效果。
在性能评估上,对于SOTS数据集,虽然基于机器学习的方法在某些情况下表现更好,但提出的算法在室外数据集上取得最佳PSNR和SSIM分数,生成的图像与真实无雾图像更为接近。虽然主观评价结果可能因数据集而异,但该算法展示了其在去雾效果上的竞争力。
③ 图像去雾学习笔记八:Self-guided image dehazing using progressive feature fusion(IEEE2022)
基于渐进式特征融合的自引导图像去雾是一种有效的算法,旨在从输入的雾天图像本身发掘有用信息作为去雾指导。算法首先使用深度预去雾器生成中间结果,该结果包含清晰结构,用作参考图像。为了更好地挖掘生成参考图像中的引导信息,算法接着开发了渐进式特征融合模块,融合雾天图像与参考图像的特征。最后,图像复原模块接收融合后的特征作为输入,利用引导信息进行清晰图像复原。所有模块以端到端方式训练。
传统方法单独估计透射率和大气光值易导致图像色彩失真。而端到端可训练网络通常缺乏设计以提高性能的有效指导原则。因此,本文提出的方法旨在通过深度预去雾器生成参考图像,该图像从模糊图像中提取清晰结构。接着,渐进式特征融合模块逐步聚合雾天图像与参考图像的特征,以更深入地探索引导信息。图像复原模块最后利用这些融合特征进行图像复原。
算法流程包括深度预去雾器、渐进式特征融合模块和图像复原模块。深度预去雾器生成参考图像,提供清晰结构的指导。渐进式特征融合模块进一步聚合特征,提取更多引导信息。图像复原模块则利用这些信息恢复清晰图像。在深度预去雾器阶段,算法利用雾天图像生成参考图像,其中可能含有部分雾霾残留但包含清晰结构,便于后续去雾。渐进式特征融合模块通过两个更新和融合块改进融合特征,优化引导信息提取。图像复原模块利用融合后的特征进行图像复原。
网络结构包括用于估计透射率和大气光值的深度预去雾器,以及用于改进融合特征的渐进式特征融合模块。损失函数用于约束网络训练,保持输出图像边缘清晰,同时去除伪影。数据集包括室内和室外场景的合成训练集,以及室内测试集、室外测试集和合成客观测试集,用于训练和评估算法性能。
通过这篇论文,对图像去雾领域的数据集有了更深入的理解。算法流程清晰,采用特征融合方法,并利用大量数据集证明了算法的有效性,具有很高的借鉴价值。同时,通过GitHub上的代码实现,提供了一个实际应用的平台,使得研究者和开发者能够更方便地理解和实现这一算法。
④ 图像去雾算法简述
NTIRE2018比赛是CVPR2018中的一个Workshop,涵盖了图像超分辨、图像去雾和彩色图像还原等领域。我主要参与了图像去雾的比赛。
图像去雾分为室内图像去雾和室外图像去雾两个子项。这次比赛的一个主要难题是使用的数据集都是在真实环境下拍摄的清晰原图和带雾图片,这些图片都是通过人工制造雾来拍摄的。过去,学术界为了评估图像去雾算法的性能,采用的是RGBD图像,通过大气光模型算法生成。然而,过去在模拟带雾图像上有效的算法在真实图片上可能并不适用。
大气光模型是去雾算法的基础,它认为有雾图像的形成是由物体反射的光线和大气光共同组成的。雾的削弱和放射性能用公式表示,它与物体到摄像机的景深有关。如果有物体的景深,就可以使用随机的散射系数和大气光来模拟带雾图片。
传统去雾研究的主要任务是计算成雾的通透图和大气光。
我在这次比赛中主要做了以下工作:首先,查阅了CVPR、ECCV和ICCV等顶会上关于图像去雾的论文,对相关领域有了大致的了解。然后,对比赛数据进行了分析,发现数据量较少,只有70张图片,其中50张为训练集,10张为测试集,剩下10张为不公开的测试集。每张图片的大小为4k。
我们最初使用了超分辨率中较为成功的网络,通过残差链接的深度网络来学习有雾图像到其对应雾的通透图的映射。这个过程使用了残差网络ResNet,它能保证网络加深的同时,不会出现梯度消失的问题,同时能加快网络收敛。与标准的ResNet不同,我们没有使用BN进行归一化,因为在低层视觉问题中,BN会影响网络输出结果的性能。
在研究学术界的方法时,我们发现现有方法都存在一个问题,即它们都着重于对通透图的模拟。虽然这种方法有一定的效果,但它不是端到端的,不能直接应用到像分类识别这样的任务中。超分辨率中大部分的方法都可以直接端到端地输出结果。通过对数据的研究,我们发现图像去雾非常依赖于对全局信息的依赖。实验结果表明,只有获取了全局的光照信息,网络才能有效地估计出雾的浓度。然而,过去人们的研究中,网络的感受野都较小,因为像在分类识别、风格迁移等任务中,会应用池化来增加网络感受野。而去雾对输入的原始信息要求很高,使用池化会损失信息,所以几乎没有人使用。
因此,我们尝试了采用空洞卷积来增强网络感受野,这在deeplabv3、PSPNet等图像分割的任务中被广泛使用。空洞卷积通过在卷积核中挖空的方式对特征图进行卷积,从而增大网络感受野。
⑤ 监控图像模糊怎么处理
图像模糊,无线监控 ,尤其无线视频监控系统 是一个硬伤, 随着数字图像技术的发展和市场需求的推动,新的数字处理技术和设备不断出现,同时行业对图像清晰度的要求不断提高。模糊图像处理技术应用领域非常广泛,几乎有数字图像的地方都可能应用到模糊图像处理技术。 虽然很多模糊图像的处理方法在实际应用中取得了很好的效果,但是当前仍然有一些因素制约着模糊图像处理的进一步发展,主要如下: 算法的高度针对性 绝大部分的模糊图像处理算法只适用于特定图像,而算法本身无法智能决定某个算法模块的开启还是关闭。举例来说,对于有雾的图像,“去雾算法”可以取得很好的处理效果,但是作用于正常图像,反而导致图像效果下降,“去雾算法”模块的打开或者关闭需要人工介入。 算法参数复杂性 模糊图像处理里面所有的算法都会包含大量的参数,这些参数的选择需要和实际的图像表现相结合,直接决定最终的处理效果。就目前的算法,还没有办法智能地选择哪些是最优的参数。 算法流程的经验性 由于实际图像非常复杂,需要处理多种情况,这就需要一个算法处理流程,对于一个具体的模糊视频,需要人工选择一个合适的方法,只能靠经验。