『壹』 圖像分割演算法總結
圖像處理的很多任務都離不開圖像分割。因為圖像分割在cv中實在太重要(有用)了，就先把圖像分割的常用演算法做個總結。
接觸機器學習和深度學習時間已經不短了。期間看過各種相關知識但從未總結過。本文過後我會盡可能詳細的從工程角度來總結，從傳統機器學習演算法，傳統計算機視覺庫演算法到深度學習目前常用演算法和論文，以及模型在各平台的轉化，量化，服務化部署等相關知識總結。
圖像分割常用演算法大致分為下面幾類。由於圖像的能量范函，邊緣追蹤等方法的效果往往只能解決特定問題，效果並不理想，這里不再闡述。當然二值化本身也可以分割一些簡單圖像的。但是二值化演算法較多，我會專門做一個文章來總結。這里不再贅述。
1.基於邊緣的圖像分割演算法：
有利用圖像梯度的傳統演算法運算元的sobel，roberts，prewitt,拉普拉斯以及canny等。
這些演算法的基本思想都是採用合適的卷積運算元，對圖像做卷積。從而求出圖像對應的梯度圖像。(至於為什麼通過如圖1這樣的運算元卷積，即可得到圖像的梯度圖像，請讀者復習下卷積和倒數的概念自行推導)由於圖像的邊緣處往往是圖像像素差異較大，梯度較大地方。因此我們通過合適的卷積核得到圖像的梯度圖像，即得到了圖像的邊緣圖像。至於二階運算元的推導，與一階類似。優點：傳統運算元梯度檢測，只需要用合適的卷積核做卷積，即可快速得出對應的邊緣圖像。缺點：圖像邊緣不一定準確，復雜圖像的梯度不僅僅出現在圖像邊緣，可以能出現在圖像內部的色彩和紋理上。
也有基於深度學習方法hed，rcf等。由於這類網路都有同一個比較嚴重的缺陷，這里只舉例hed網路。hed是基於FCN和VGG改進，同時引出6個loss進行優化訓練，通過多個層輸出不同scale的粒度的邊緣，然後通過一個訓練權重融合各個層的邊緣結果。hed網路結構如下：
可以得到一個比較完整的梯度圖像，可參考github的hed實現。優點：圖像的梯度細節和邊緣完整性，相比傳統的邊緣運算元要好很多。但是hed對於邊緣的圖像內部的邊緣並不能很好的區分。當然我們可以自行更改loss來嘗試只擬合外部的圖像邊緣。但最致命的問題在於，基於vgg的hed的網路表達能力有限，對於圖像和背景接近，或者圖像和背景部分相融的圖片，hed似乎就有點無能為力了。
2.基於區域分割的演算法：
區域分割比較常用的如傳統的演算法結合遺傳演算法，區域生長演算法，區域分裂合並，分水嶺演算法等。這里傳統演算法的思路是比較簡單易懂的，如果有無法理解的地方，歡迎大家一起討論學習。這里不再做過多的分析。
基於區域和語意的深度學習分割演算法，是目前圖像分割成果較多和研究的主要方向。例如FCN系列的全卷積網路，以及經典的醫學圖像分割常用的unet系列，以及rcnn系列發展下的maskrcnn，以及18年底的PAnet。基於語意的圖像分割技術，無疑會成為圖像分割技術的主流。
其中，基於深度學習語意的其他相關演算法也可以間接或直接的應用到圖像分割。如經典的圖像matting問題。18年又出現了許多非常優秀的演算法和論文。如Deep-Image-Matting，以及效果非常優秀的MIT的 semantic soft segmentation(sss).
基於語意的圖像分割效果明顯要好於其他的傳統演算法。我在解決圖像分割的問題時，首先嘗試用了hed網路。最後的效果並不理想。雖然也參考github，做了hed的一些fine-tune,但是還是上面提到的原因，在我多次嘗試後，最終放棄。轉而適用FCN系列的網路。但是fcn也無法解決圖像和背景相融的問題。圖片相融的分割，感覺即需要大的感受野，又需要未相融部分原圖像細節，所以單原FCN的網路，很難做出准確的分割。中間還測試過很多其他相關的網路，但都效果不佳。考慮到感受野和原圖像細節，嘗試了resnet和densenet作為圖像特徵提取的底層。最終我測試了unet系列的網路：
unet的原始模型如圖所示。在自己拍照爬蟲等手段採集了將近1000張圖片。去掉了圖片質量太差的，圖片內容太過類似的。爬蟲最終收集160多張，自己拍照收集200張圖片後，又用ps手動p了邊緣圖像，採用圖像增強變換，大約有300*24張圖片。原生unet網路的表現比較一般。在將unet普通的卷積層改為resnet後，網路的表達能力明顯提升。在將resnet改為resnet101，此時，即使對於部分相融的圖像，也能較好的分割了。但是unet的模型體積已經不能接受。
在最後階段，看到maskrcnn的實例分割。maskrcnn一路由rcnn,fasterrcnn發展過來。於是用maskrcnn來加入自己的訓練數據和label圖像進行訓練。maskrcnn的結果表現並不令人滿意，對於邊緣的定位，相比於其他演算法，略顯粗糙。在產品應用中，明顯還不合適。
3.基於圖的分割演算法
基於深度學習的deepgrab,效果表現並不是十分理想。deepgrab的git作者backbone採用了deeplabv2的網路結構。並沒有完全安裝原論文來做。
論文原地址參考： https://arxiv.org/pdf/1707.00243.pdf
整體結構類似於encode和decoder。並沒有太仔細的研究，因為基於resent101的結構，在模型體積，速度以及deeplab的分割精度上，都不能滿足當前的需求。之前大致總結過計算機視覺的相關知識點，既然目前在討論移動端模型，那後面就分模塊總結下移動端模型的應用落地吧。
由於時間實在有限。這里並沒有針對每個演算法進行詳細的講解。後續我會從基礎的機器學習演算法開始總結。
『貳』 圖像分割演算法分為幾類
從學術角度講圖像分割主要分成3大類，一是基於邊緣的，二是基於區域的，三是基於紋理的。由於基於紋理的也可以看成是基於區域的，所以有些專家也把分割方法分成基於邊緣和基於區域兩大類。
選擇演算法的時候主要參考你要分割的圖像樣本的特點。
如果圖像的邊界特別分明，比如綠葉和紅花，在邊界處紅綠明顯不同，可以精確提取到邊界，這時候用基於邊緣的方法就可行。但如果是像醫學圖像一樣，輪廓不是特別明顯，比如心臟圖像，左心房和左心室顏色比較接近，它們之間的隔膜僅僅是顏色比它們深一些，但是色彩上來說很接近，這時候用基於邊緣的方法就不合適了，用基於區域的方法更好。再比如帶紋理的圖像，例如條紋衫，如果用基於邊緣的方法很可能就把每一條紋都分割成一個物體，但實際上衣服是一個整體，這時候用基於紋理的方法就能把紋理相同或相似的區域分成一個整體。
不過總體來說，基於區域的方法近些年更熱一些，如Meanshift分割方法、測地線活動輪廓模型、JSEG等。
『叄』 我所了解的圖像分割
圖像分割是我大二2019年做的東西，這篇文章用來總結。
分語義【像素級別圖像】，實例【分割物體有進一步分類】。
基於圖像的灰度特徵來計算一個或多個灰度閾值，並將圖像中每個像素的灰度值與閾值作比較，最後將像素根據比較結果分到合適的類別中。
確定某個准則函數來求解最佳灰度閾值。【閾值法特別適用於目標和背景占據不同灰度級范圍的圖。】
值得一提的是：特徵點檢測也有此方法
直接尋找區域。有兩種基本形式：一種是區域生長，從單個像素出發，逐步合並以形成所需要的分割區域；另一種是從全局出發，逐步切割至所需的分割區域。
基於邊緣檢測的圖像分割演算法試圖通過檢測包含不同區域的邊緣來解決分割問題。它可以說是人們最先想到也是研究最多的方法之一。通常不同區域的邊界上像素的灰度值變化比較劇烈，如果將圖片從空間域通過傅里葉變換到頻率域，邊緣就對應著高頻部分，這是一種非常簡單的邊緣檢測演算法。
常規卷積
常規卷積+殘差【解決梯度消失，網路變深】
Efficient Neural Network（ENet）
ResNet-38
full-resolution resial network(FRRN)
AdapNey
由目標檢測發展而來（R-CNN、Fast R-CNN）
在Faster R-CNN的結構基礎上加上了Mask預測分支，並且改良了ROI Pooling，提出了ROI Align。
評價函數只對目標檢測的候選框進行打分，而不是分割模板
（1）ReSeg模型【FCN改進】
FCN的不足：沒有考慮到局部或者全局的上下文依賴關系，而在語義分割中這種依賴關系是非常有用的。所以在ReSeg中作者使用RNN去檢索上下文信息，以此作為分割的一部分依據。
卷積神經網路在進行采樣的時候會丟失部分細節信息，這樣的目的是得到更具特徵的價值。但是這個過程是不可逆的，有的時候會導致後面進行操作的時候圖像的 解析度太低 ，出現 細節丟失 等問題。因此我們通過上采樣在一定程度上可以不全一些丟失的信息，從而得到更加准確的分割邊界。
卷積後進行一次上采樣，得到segment map。
優點：
FCN對圖像進行了像素級的分類，從而解決了 語義級別 的圖像分割問題；
FCN可以 接受任意尺寸的輸入圖像 ，可以保留下原始輸入圖像中的空間信息；
缺點：
得到的結果由於上采樣的原因比較模糊和平滑，對圖像中的 細節不敏感 ；
對各個像素分別進行分類，沒有充分考慮 像素與像素的關系，缺乏空間一致性。
恢復在深度卷積神經網路中下降的解析度，從而獲取更多的上下文信息。
DeepLab是結合了深度卷積神經網路和概率圖模型的方法，應用在語義分割的任務上，目的是做逐像素分類，其先進性體現在DenseCRFs（概率圖模型）和DCNN的結合。是將每個像素視為CRF節點，利用遠程依賴關系並使用CRF推理直接優化DCNN的損失函數。
在圖像分割領域，FCN的一個眾所周知的操作就是平滑以後再填充，就是先進行卷積再進行pooling,這樣在降低圖像尺寸的同時增大感受野，但是在先減小圖片尺寸（卷積）再增大尺寸（上采樣）的過程中一定有一些信息損失掉了，所以這里就有可以提高的空間。
DeepLab提出空洞卷積解決這一問題
（1）常規圖像分割
交叉熵Loss
Focal Loss【解決難易樣本不均衡】
（2）醫療影像分割
Dice Loss（該損失函數的提出有一個背景，直接優化性能度量，涉及到我的另一個課題非凸優化）
IOU（常做為評價指標）
基於以上幾個基本的Loss還有各種各樣的改進
因為相鄰臨的像素對應感受野內的圖像信息太過相似了，如果臨近的像素都屬於所需分割區域的內部，那麼這種『相似』是有利的，但是如果相鄰 像素剛好處在所需分割區域的邊界上，那麼這種相似就是有害的了。
上下文特徵是很常見的，其實上下文大概去理解就是圖像中的每一個像素點不可能是孤立的，一個像素一定和周圍像素是有一定的關系的，大量像素的互相聯系才產生了圖像中的各種物體，所以上下文特徵就指像素以及周邊像素的某種聯系。
1、對網路輸出的分割的邊界增加額外的損失，或者讓網路對邊界的特徵和區域內部的特徵分開建模學習。其本質上的思想還是讓網路同時做兩個任務：分割和邊緣檢測。另外，提高輸入圖像的輸入解析度和中間層特徵圖的解析度同樣也是簡單有效的。
2、利用loss動態加權或者在圖像二維空間上采樣來解決同一張圖像中不同語義的像素個數不均衡以及學習的難易程度不同的問題。
3、利用半監督或者弱監督學習的方法減少標注昂貴的問題。利用多個標簽有雜訊的樣本或其特徵構建虛擬的標簽干凈的虛擬樣本或特徵來減少標簽的雜訊。
4、利用合理的上下文的建模機制，幫助網路猜測遮擋部分的語義信息。
5、在網路中構建不同圖像之間損失或者特徵交互模塊。