① 圖像去霧(Haze Removal)
在環境日益污染的現代社會,霧霾問題日益凸顯,影響著我們的日常生活和眾多技術應用,如視頻監控和自動駕駛。圖像去霧因此成為一項關鍵的技術,旨在提升在霧霾環境下圖像的清晰度,以便於計算機視覺任務的執行。本文著重於介紹圖像去霧的基本原理和一些主流演算法。
研究領域中,去霧方法大致分為基於圖像增強和基於圖像復原兩大類。增強類演算法如直方圖均衡化、AHE、CLAHE等,著重於增強對比度,而復原類如暗通道去霧、單幅圖像去霧等,是基於大氣退化模型進行處理。近年來,深度學習的引入,如利用CNN進行參數估計或直接生成去霧圖像,也取得了顯著進展。
其中,何愷明的暗通道先驗是去霧領域的經典理論。它基於對大量無霧圖像的統計,發現暗通道(最小顏色通道值)在非天空區域通常接近0。這一理論用於指導去霧過程,首先確定透射率的預估值。在實際應用中,需要結合暗通道圖獲取全球大氣光值,然後通過修正公式恢復無霧圖像,可能還需引入軟matting和guided image filtering等技術來優化效果。
實驗部分,作者分享了軟硬體環境和參數調整對去霧效果的影響。例如,窗口大小和ω值的改變會影響去霧的精確度,而導向濾波的使用則有助於減少塊效應和光環效應,使圖像更自然。最終,通過設定特定參數,如暗通道窗口大小為15,ω值為0.95,導向濾波窗口大小為15,可獲得相對理想的去霧效果。
盡管如此,圖像去霧演算法仍有提升空間,特別是對於包含天空的霧圖像和可能出現的失真問題。未來的研究將可能進一步改進這些不足,推動技術的進一步發展。
② 基於飽和度估計傳輸圖的快速圖像去霧演算法
本文介紹了一種在《圖像處理》(TIP)上發表的快速單幅圖像去霧演算法,特別關注於飽和度估計和傳輸圖的改進。
傳統的去霧方法依賴於大氣散射模型,其中A和t(x)是關鍵參數。然而,錯誤估計A可能導致圖像偏色,而暗通道先驗(DCP)演算法在低估t(x)時會丟失顏色信息,產生過飽和和色彩失真。本文提出的新方法挑戰了DCP的局限性,通過圖像飽和度來估計介質傳輸,無需先驗假設,且在已知大氣光條件下,透射率與飽和度關聯。
作者通過定義新的飽和度分量和傳輸圖計算公式,解決了原有方法的紋理和邊緣丟失問題。利用暗通道先驗和飽和度信息,文章提出了一個簡單快速的白平衡演算法,以修正圖像偏色。實驗證明,該演算法雖不依賴大氣光的精確尋找,但去霧速度快且無光暈偽影,具有較高的去霧效果。
在性能評估上,對於SOTS數據集,雖然基於機器學習的方法在某些情況下表現更好,但提出的演算法在室外數據集上取得最佳PSNR和SSIM分數,生成的圖像與真實無霧圖像更為接近。雖然主觀評價結果可能因數據集而異,但該演算法展示了其在去霧效果上的競爭力。
③ 圖像去霧學習筆記八:Self-guided image dehazing using progressive feature fusion(IEEE2022)
基於漸進式特徵融合的自引導圖像去霧是一種有效的演算法,旨在從輸入的霧天圖像本身發掘有用信息作為去霧指導。演算法首先使用深度預去霧器生成中間結果,該結果包含清晰結構,用作參考圖像。為了更好地挖掘生成參考圖像中的引導信息,演算法接著開發了漸進式特徵融合模塊,融合霧天圖像與參考圖像的特徵。最後,圖像復原模塊接收融合後的特徵作為輸入,利用引導信息進行清晰圖像復原。所有模塊以端到端方式訓練。
傳統方法單獨估計透射率和大氣光值易導致圖像色彩失真。而端到端可訓練網路通常缺乏設計以提高性能的有效指導原則。因此,本文提出的方法旨在通過深度預去霧器生成參考圖像,該圖像從模糊圖像中提取清晰結構。接著,漸進式特徵融合模塊逐步聚合霧天圖像與參考圖像的特徵,以更深入地探索引導信息。圖像復原模塊最後利用這些融合特徵進行圖像復原。
演算法流程包括深度預去霧器、漸進式特徵融合模塊和圖像復原模塊。深度預去霧器生成參考圖像,提供清晰結構的指導。漸進式特徵融合模塊進一步聚合特徵,提取更多引導信息。圖像復原模塊則利用這些信息恢復清晰圖像。在深度預去霧器階段,演算法利用霧天圖像生成參考圖像,其中可能含有部分霧霾殘留但包含清晰結構,便於後續去霧。漸進式特徵融合模塊通過兩個更新和融合塊改進融合特徵,優化引導信息提取。圖像復原模塊利用融合後的特徵進行圖像復原。
網路結構包括用於估計透射率和大氣光值的深度預去霧器,以及用於改進融合特徵的漸進式特徵融合模塊。損失函數用於約束網路訓練,保持輸出圖像邊緣清晰,同時去除偽影。數據集包括室內和室外場景的合成訓練集,以及室內測試集、室外測試集和合成客觀測試集,用於訓練和評估演算法性能。
通過這篇論文,對圖像去霧領域的數據集有了更深入的理解。演算法流程清晰,採用特徵融合方法,並利用大量數據集證明了演算法的有效性,具有很高的借鑒價值。同時,通過GitHub上的代碼實現,提供了一個實際應用的平台,使得研究者和開發者能夠更方便地理解和實現這一演算法。
④ 圖像去霧演算法簡述
NTIRE2018比賽是CVPR2018中的一個Workshop,涵蓋了圖像超分辨、圖像去霧和彩色圖像還原等領域。我主要參與了圖像去霧的比賽。
圖像去霧分為室內圖像去霧和室外圖像去霧兩個子項。這次比賽的一個主要難題是使用的數據集都是在真實環境下拍攝的清晰原圖和帶霧圖片,這些圖片都是通過人工製造霧來拍攝的。過去,學術界為了評估圖像去霧演算法的性能,採用的是RGBD圖像,通過大氣光模型演算法生成。然而,過去在模擬帶霧圖像上有效的演算法在真實圖片上可能並不適用。
大氣光模型是去霧演算法的基礎,它認為有霧圖像的形成是由物體反射的光線和大氣光共同組成的。霧的削弱和放射性能用公式表示,它與物體到攝像機的景深有關。如果有物體的景深,就可以使用隨機的散射系數和大氣光來模擬帶霧圖片。
傳統去霧研究的主要任務是計算成霧的通透圖和大氣光。
我在這次比賽中主要做了以下工作:首先,查閱了CVPR、ECCV和ICCV等頂會上關於圖像去霧的論文,對相關領域有了大致的了解。然後,對比賽數據進行了分析,發現數據量較少,只有70張圖片,其中50張為訓練集,10張為測試集,剩下10張為不公開的測試集。每張圖片的大小為4k。
我們最初使用了超解析度中較為成功的網路,通過殘差鏈接的深度網路來學習有霧圖像到其對應霧的通透圖的映射。這個過程使用了殘差網路ResNet,它能保證網路加深的同時,不會出現梯度消失的問題,同時能加快網路收斂。與標準的ResNet不同,我們沒有使用BN進行歸一化,因為在低層視覺問題中,BN會影響網路輸出結果的性能。
在研究學術界的方法時,我們發現現有方法都存在一個問題,即它們都著重於對通透圖的模擬。雖然這種方法有一定的效果,但它不是端到端的,不能直接應用到像分類識別這樣的任務中。超解析度中大部分的方法都可以直接端到端地輸出結果。通過對數據的研究,我們發現圖像去霧非常依賴於對全局信息的依賴。實驗結果表明,只有獲取了全局的光照信息,網路才能有效地估計出霧的濃度。然而,過去人們的研究中,網路的感受野都較小,因為像在分類識別、風格遷移等任務中,會應用池化來增加網路感受野。而去霧對輸入的原始信息要求很高,使用池化會損失信息,所以幾乎沒有人使用。
因此,我們嘗試了採用空洞卷積來增強網路感受野,這在deeplabv3、PSPNet等圖像分割的任務中被廣泛使用。空洞卷積通過在卷積核中挖空的方式對特徵圖進行卷積,從而增大網路感受野。
⑤ 監控圖像模糊怎麼處理
圖像模糊,無線監控 ,尤其無線視頻監控系統 是一個硬傷, 隨著數字圖像技術的發展和市場需求的推動,新的數字處理技術和設備不斷出現,同時行業對圖像清晰度的要求不斷提高。模糊圖像處理技術應用領域非常廣泛,幾乎有數字圖像的地方都可能應用到模糊圖像處理技術。 雖然很多模糊圖像的處理方法在實際應用中取得了很好的效果,但是當前仍然有一些因素制約著模糊圖像處理的進一步發展,主要如下: 演算法的高度針對性 絕大部分的模糊圖像處理演算法只適用於特定圖像,而演算法本身無法智能決定某個演算法模塊的開啟還是關閉。舉例來說,對於有霧的圖像,「去霧演算法」可以取得很好的處理效果,但是作用於正常圖像,反而導致圖像效果下降,「去霧演算法」模塊的打開或者關閉需要人工介入。 演算法參數復雜性 模糊圖像處理裡面所有的演算法都會包含大量的參數,這些參數的選擇需要和實際的圖像表現相結合,直接決定最終的處理效果。就目前的演算法,還沒有辦法智能地選擇哪些是最優的參數。 演算法流程的經驗性 由於實際圖像非常復雜,需要處理多種情況,這就需要一個演算法處理流程,對於一個具體的模糊視頻,需要人工選擇一個合適的方法,只能靠經驗。