灰度圖像分割演算法

① 傳統的圖像分割方法有哪些

1.基於閾值的分割方法

灰度閾值分割法是一種最常用的並行區域技術，它是圖像分割中應用數量最多的一類。閾值分割方法實際上是輸入圖像f到輸出圖像g的變化
其中，T為閾值；對於物體的圖像元素，g(i,j)=1，對於背景的圖像元素，g(i,j)=0。

由此可見，閾值分割演算法的關鍵是確定閾值，如果能確定一個適合的閾值就可准確地將圖像分割開來。閾值確定後，閾值與像素點的灰度值比較和像素分割可對各像素並行地進行，分割的結果直接給出圖像區域。

閾值分割的優點是計算簡單、運算效率較高、速度快。在重視運算效率的應用場合（如用於軟體實現），它得到了廣泛應用。

2.基於區域的分割方法

區域生長和分裂合並法是兩種典型的串列區域技術，其分割過程後續步驟的處理要根據前面步驟的結果進行判斷而確定。

(1)區域生長

區域生長的基本思想是將具有相似性質的像素集合起來構成區域。具體先對每個需要分割的區域找一個種子像素作為生長的起點，然後將種子像素周圍鄰域中與種子像素有相同或相似性質的像素（根據某種事先確定的生長或相似准則來判定）合並到種子像素所在的區域中。將這些新像素當作新的種子像素繼續進行上面的過程，直到再沒有滿足條件的像素可被包括進來。這樣一個區域就長成了。

(2)區域分裂合並

區域生長是從某個或者某些像素點出發，最後得到整個區域，進而實現目標提取。分裂合並差不多是區域生長的逆過程：從整個圖像出發，不斷分裂得到各個子區域，然後再把前景區域合並，實現目標提取。分裂合並的假設是對於一幅圖像，前景區域是由一些相互連通的像素組成的，因此，如果把一幅圖像分裂到像素級，那麼就可以判定該像素是否為前景像素。當所有像素點或者子區域完成判斷以後，把前景區域或者像素合並就可得到前景目標。

3.基於邊緣的分割方法

基於邊緣的分割方法是指通過邊緣檢測，即檢測灰度級或者結構具有突變的地方，確定一個區域的終結，即另一個區域開始的地方。不同的圖像灰度不同，邊界處一般有明顯的邊緣，利用此特徵可以分割圖像。

4.基於特定理論的分割方法

圖像分割至今尚無通用的自身理論。隨著各學科新理論和新方法的提出，出現了與一些特定理論、方法相結合的圖像分割方法，主要有：基於聚類分析的圖像分割方法、基於模糊集理論的分割方法等。

5.基於基因編碼的分割方法

基於基因編碼的分割方法是指把圖像背景和目標像素用不同的基因編碼表示，通過區域性的劃分，把圖像背景和目標分離出來的方法。該方法具有處理速度快的優點，但演算法實現起來比較難。

6.基於小波變換的分割方法

小波變換是近年來得到廣泛應用的數學工具，它在時域和頻域都具有良好的局部化性質，並且小波變換具有多尺度特性，能夠在不同尺度上對信號進行分析，因此在圖像處理和分析等許多方面得到應用。

基於小波變換的閾值圖像分割方法的基本思想是首先由二進小波變換將圖像的直方圖分解為不同層次的小波系數，然後依據給定的分割准則和小波系數選擇閾值門限，最後利用閾值標出圖像分割的區域。整個分割過程是從粗到細，由尺度變化來控制，即起始分割由粗略的L2(R)子空間上投影的直方圖來實現，如果分割不理想，則利用直方圖在精細的子空間上的小波系數逐步細化圖像分割。分割演算法的計算會與圖像尺寸大小呈線性變化。

7.基於神經網路的分割方法

近年來，人工神經網路識別技術已經引起了廣泛的關注，並應用於圖像分割。基於神經網路的分割方法的基本思想是通過訓練多層感知機來得到線性決策函數，然後用決策函數對像素進行分類來達到分割的目的。這種方法需要大量的訓練數據。神經網路存在巨量的連接，容易引入空間信息，能較好地解決圖像中的雜訊和不均勻問題。選擇何種網路結構是這種方法要解決的主要問題。

② 在圖像處理中有哪些演算法

1、圖像變換：

由於圖像陣列很大，直接在空間域中進行處理，涉及計算量很大。採用各種圖像變換的方法，如傅立葉變換、沃爾什變換、離散餘弦變換等間接處理技術，將空間域的處理轉換為變換域處理，可減少計算量，獲得更有效的處理。它在圖像處理中也有著廣泛而有效的應用。

2、圖像編碼壓縮：

圖像編碼壓縮技術可減少描述圖像的數據量，以便節省圖像傳輸、處理時間和減少所佔用的存儲器容量。

壓縮可以在不失真的前提下獲得，也可以在允許的失真條件下進行。

編碼是壓縮技術中最重要的方法，它在圖像處理技術中是發展最早且比較成熟的技術。

3、圖像增強和復原：

圖像增強和復原的目的是為了提高圖像的質量，如去除雜訊，提高圖像的清晰度等。

圖像增強不考慮圖像降質的原因，突出圖像中所感興趣的部分。如強化圖像高頻分量，可使圖像中物體輪廓清晰，細節明顯；如強化低頻分量可減少圖像中雜訊影響。

4、圖像分割：

圖像分割是數字圖像處理中的關鍵技術之一。

圖像分割是將圖像中有意義的特徵部分提取出來，其有意義的特徵有圖像中的邊緣、區域等，這是進一步進行圖像識別、分析和理解的基礎。

5、圖像描述：

圖像描述是圖像識別和理解的必要前提。

一般圖像的描述方法採用二維形狀描述，它有邊界描述和區域描述兩類方法。對於特殊的紋理圖像可採用二維紋理特徵描述。

6、圖像分類：

圖像分類屬於模式識別的范疇，其主要內容是圖像經過某些預處理（增強、復原、壓縮）後，進行圖像分割和特徵提取，從而進行判決分類。

圖像分類常採用經典的模式識別方法，有統計模式分類和句法模式分類。

(2)灰度圖像分割演算法擴展閱讀：

圖像處理主要應用在攝影及印刷、衛星圖像處理、醫學圖像處理、面孔識別、特徵識別、顯微圖像處理和汽車障礙識別等。

數字圖像處理技術源於20世紀20年代，當時通過海底電纜從英國倫敦到美國紐約傳輸了一幅照片，採用了數字壓縮技術。

數字圖像處理技術可以幫助人們更客觀、准確地認識世界，人的視覺系統可以幫助人類從外界獲取3/4以上的信息，而圖像、圖形又是所有視覺信息的載體，盡管人眼的鑒別力很高，可以識別上千種顏色，

但很多情況下，圖像對於人眼來說是模糊的甚至是不可見的，通過圖象增強技術，可以使模糊甚至不可見的圖像變得清晰明亮。

③ 圖像處理的演算法有哪些

圖像處理基本演算法操作從處理對象的多少可以有如下劃分：
一）點運算：處理點單元信息的運算
二）群運算：處理群單元 （若干個相鄰點的集合）的運算
1.二值化操作
圖像二值化是圖像處理中十分常見且重要的操作，它是將灰度圖像轉換為二值圖像或灰度圖像的過程。二值化操作有很多種，例如一般二值化、翻轉二值化、截斷二值化、置零二值化、置零翻轉二值化。
2.直方圖處理
直方圖是圖像處理中另一重要處理過程，它反映圖像中不同像素值的統計信息。從這句話我們可以了解到直方圖信息僅反映灰度統計信息，與像素具體位置沒有關系。這一重要特性在許多識別類演算法中直方圖處理起到關鍵作用。
3.模板卷積運算
模板運算是圖像處理中使用頻率相當高的一種運算，很多操作可以歸結為模板運算，例如平滑處理，濾波處理以及邊緣特徵提取處理等。這里需要說明的是模板運算所使用的模板通常說來就是NXN的矩陣（N一般為奇數如3,5,7,...），如果這個矩陣是對稱矩陣那麼這個模板也稱為卷積模板，如果不對稱則是一般的運算模板。我們通常使用的模板一般都是卷積模板。如邊緣提取中的Sobel運算元模板。

④ 我所了解的圖像分割

圖像分割是我大二2019年做的東西，這篇文章用來總結。

分語義【像素級別圖像】，實例【分割物體有進一步分類】。

基於圖像的灰度特徵來計算一個或多個灰度閾值，並將圖像中每個像素的灰度值與閾值作比較，最後將像素根據比較結果分到合適的類別中。

確定某個准則函數來求解最佳灰度閾值。【閾值法特別適用於目標和背景占據不同灰度級范圍的圖。】

值得一提的是：特徵點檢測也有此方法

直接尋找區域。有兩種基本形式：一種是區域生長，從單個像素出發，逐步合並以形成所需要的分割區域；另一種是從全局出發，逐步切割至所需的分割區域。

基於邊緣檢測的圖像分割演算法試圖通過檢測包含不同區域的邊緣來解決分割問題。它可以說是人們最先想到也是研究最多的方法之一。通常不同區域的邊界上像素的灰度值變化比較劇烈，如果將圖片從空間域通過傅里葉變換到頻率域，邊緣就對應著高頻部分，這是一種非常簡單的邊緣檢測演算法。

常規卷積

常規卷積+殘差【解決梯度消失，網路變深】

Efficient Neural Network（ENet）

ResNet-38

full-resolution resial network(FRRN)

AdapNey

由目標檢測發展而來（R-CNN、Fast R-CNN）

在Faster R-CNN的結構基礎上加上了Mask預測分支，並且改良了ROI Pooling，提出了ROI Align。

評價函數只對目標檢測的候選框進行打分，而不是分割模板

（1）ReSeg模型【FCN改進】

FCN的不足：沒有考慮到局部或者全局的上下文依賴關系，而在語義分割中這種依賴關系是非常有用的。所以在ReSeg中作者使用RNN去檢索上下文信息，以此作為分割的一部分依據。

卷積神經網路在進行采樣的時候會丟失部分細節信息，這樣的目的是得到更具特徵的價值。但是這個過程是不可逆的，有的時候會導致後面進行操作的時候圖像的 解析度太低 ，出現 細節丟失 等問題。因此我們通過上采樣在一定程度上可以不全一些丟失的信息，從而得到更加准確的分割邊界。

卷積後進行一次上采樣，得到segment map。

優點：

FCN對圖像進行了像素級的分類，從而解決了 語義級別 的圖像分割問題；

FCN可以 接受任意尺寸的輸入圖像 ，可以保留下原始輸入圖像中的空間信息；

缺點：

得到的結果由於上采樣的原因比較模糊和平滑，對圖像中的 細節不敏感 ；

對各個像素分別進行分類，沒有充分考慮 像素與像素的關系，缺乏空間一致性。

恢復在深度卷積神經網路中下降的解析度，從而獲取更多的上下文信息。

DeepLab是結合了深度卷積神經網路和概率圖模型的方法，應用在語義分割的任務上，目的是做逐像素分類，其先進性體現在DenseCRFs（概率圖模型）和DCNN的結合。是將每個像素視為CRF節點，利用遠程依賴關系並使用CRF推理直接優化DCNN的損失函數。

在圖像分割領域，FCN的一個眾所周知的操作就是平滑以後再填充，就是先進行卷積再進行pooling,這樣在降低圖像尺寸的同時增大感受野，但是在先減小圖片尺寸（卷積）再增大尺寸（上采樣）的過程中一定有一些信息損失掉了，所以這里就有可以提高的空間。

DeepLab提出空洞卷積解決這一問題

（1）常規圖像分割

交叉熵Loss

Focal Loss【解決難易樣本不均衡】

（2）醫療影像分割

Dice Loss（該損失函數的提出有一個背景，直接優化性能度量，涉及到我的另一個課題非凸優化）

IOU（常做為評價指標）

基於以上幾個基本的Loss還有各種各樣的改進

因為相鄰臨的像素對應感受野內的圖像信息太過相似了，如果臨近的像素都屬於所需分割區域的內部，那麼這種『相似』是有利的，但是如果相鄰 像素剛好處在所需分割區域的邊界上，那麼這種相似就是有害的了。

上下文特徵是很常見的，其實上下文大概去理解就是圖像中的每一個像素點不可能是孤立的，一個像素一定和周圍像素是有一定的關系的，大量像素的互相聯系才產生了圖像中的各種物體，所以上下文特徵就指像素以及周邊像素的某種聯系。

1、對網路輸出的分割的邊界增加額外的損失，或者讓網路對邊界的特徵和區域內部的特徵分開建模學習。其本質上的思想還是讓網路同時做兩個任務：分割和邊緣檢測。另外，提高輸入圖像的輸入解析度和中間層特徵圖的解析度同樣也是簡單有效的。

2、利用loss動態加權或者在圖像二維空間上采樣來解決同一張圖像中不同語義的像素個數不均衡以及學習的難易程度不同的問題。

3、利用半監督或者弱監督學習的方法減少標注昂貴的問題。利用多個標簽有雜訊的樣本或其特徵構建虛擬的標簽干凈的虛擬樣本或特徵來減少標簽的雜訊。

4、利用合理的上下文的建模機制，幫助網路猜測遮擋部分的語義信息。

5、在網路中構建不同圖像之間損失或者特徵交互模塊。