灰度图像分割算法

① 传统的图像分割方法有哪些

1.基于阈值的分割方法

灰度阈值分割法是一种最常用的并行区域技术，它是图像分割中应用数量最多的一类。阈值分割方法实际上是输入图像f到输出图像g的变化
其中，T为阈值；对于物体的图像元素，g(i,j)=1，对于背景的图像元素，g(i,j)=0。

由此可见，阈值分割算法的关键是确定阈值，如果能确定一个适合的阈值就可准确地将图像分割开来。阈值确定后，阈值与像素点的灰度值比较和像素分割可对各像素并行地进行，分割的结果直接给出图像区域。

阈值分割的优点是计算简单、运算效率较高、速度快。在重视运算效率的应用场合（如用于软件实现），它得到了广泛应用。

2.基于区域的分割方法

区域生长和分裂合并法是两种典型的串行区域技术，其分割过程后续步骤的处理要根据前面步骤的结果进行判断而确定。

(1)区域生长

区域生长的基本思想是将具有相似性质的像素集合起来构成区域。具体先对每个需要分割的区域找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素（根据某种事先确定的生长或相似准则来判定）合并到种子像素所在的区域中。将这些新像素当作新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来。这样一个区域就长成了。

(2)区域分裂合并

区域生长是从某个或者某些像素点出发，最后得到整个区域，进而实现目标提取。分裂合并差不多是区域生长的逆过程：从整个图像出发，不断分裂得到各个子区域，然后再把前景区域合并，实现目标提取。分裂合并的假设是对于一幅图像，前景区域是由一些相互连通的像素组成的，因此，如果把一幅图像分裂到像素级，那么就可以判定该像素是否为前景像素。当所有像素点或者子区域完成判断以后，把前景区域或者像素合并就可得到前景目标。

3.基于边缘的分割方法

基于边缘的分割方法是指通过边缘检测，即检测灰度级或者结构具有突变的地方，确定一个区域的终结，即另一个区域开始的地方。不同的图像灰度不同，边界处一般有明显的边缘，利用此特征可以分割图像。

4.基于特定理论的分割方法

图像分割至今尚无通用的自身理论。随着各学科新理论和新方法的提出，出现了与一些特定理论、方法相结合的图像分割方法，主要有：基于聚类分析的图像分割方法、基于模糊集理论的分割方法等。

5.基于基因编码的分割方法

基于基因编码的分割方法是指把图像背景和目标像素用不同的基因编码表示，通过区域性的划分，把图像背景和目标分离出来的方法。该方法具有处理速度快的优点，但算法实现起来比较难。

6.基于小波变换的分割方法

小波变换是近年来得到广泛应用的数学工具，它在时域和频域都具有良好的局部化性质，并且小波变换具有多尺度特性，能够在不同尺度上对信号进行分析，因此在图像处理和分析等许多方面得到应用。

基于小波变换的阈值图像分割方法的基本思想是首先由二进小波变换将图像的直方图分解为不同层次的小波系数，然后依据给定的分割准则和小波系数选择阈值门限，最后利用阈值标出图像分割的区域。整个分割过程是从粗到细，由尺度变化来控制，即起始分割由粗略的L2(R)子空间上投影的直方图来实现，如果分割不理想，则利用直方图在精细的子空间上的小波系数逐步细化图像分割。分割算法的计算会与图像尺寸大小呈线性变化。

7.基于神经网络的分割方法

近年来，人工神经网络识别技术已经引起了广泛的关注，并应用于图像分割。基于神经网络的分割方法的基本思想是通过训练多层感知机来得到线性决策函数，然后用决策函数对像素进行分类来达到分割的目的。这种方法需要大量的训练数据。神经网络存在巨量的连接，容易引入空间信息，能较好地解决图像中的噪声和不均匀问题。选择何种网络结构是这种方法要解决的主要问题。

② 在图像处理中有哪些算法

1、图像变换：

由于图像阵列很大，直接在空间域中进行处理，涉及计算量很大。采用各种图像变换的方法，如傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术，将空间域的处理转换为变换域处理，可减少计算量，获得更有效的处理。它在图像处理中也有着广泛而有效的应用。

2、图像编码压缩：

图像编码压缩技术可减少描述图像的数据量，以便节省图像传输、处理时间和减少所占用的存储器容量。

压缩可以在不失真的前提下获得，也可以在允许的失真条件下进行。

编码是压缩技术中最重要的方法，它在图像处理技术中是发展最早且比较成熟的技术。

3、图像增强和复原：

图像增强和复原的目的是为了提高图像的质量，如去除噪声，提高图像的清晰度等。

图像增强不考虑图像降质的原因，突出图像中所感兴趣的部分。如强化图像高频分量，可使图像中物体轮廓清晰，细节明显；如强化低频分量可减少图像中噪声影响。

4、图像分割：

图像分割是数字图像处理中的关键技术之一。

图像分割是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，这是进一步进行图像识别、分析和理解的基础。

5、图像描述：

图像描述是图像识别和理解的必要前提。

一般图像的描述方法采用二维形状描述，它有边界描述和区域描述两类方法。对于特殊的纹理图像可采用二维纹理特征描述。

6、图像分类：

图像分类属于模式识别的范畴，其主要内容是图像经过某些预处理（增强、复原、压缩）后，进行图像分割和特征提取，从而进行判决分类。

图像分类常采用经典的模式识别方法，有统计模式分类和句法模式分类。

(2)灰度图像分割算法扩展阅读：

图像处理主要应用在摄影及印刷、卫星图像处理、医学图像处理、面孔识别、特征识别、显微图像处理和汽车障碍识别等。

数字图像处理技术源于20世纪20年代，当时通过海底电缆从英国伦敦到美国纽约传输了一幅照片，采用了数字压缩技术。

数字图像处理技术可以帮助人们更客观、准确地认识世界，人的视觉系统可以帮助人类从外界获取3/4以上的信息，而图像、图形又是所有视觉信息的载体，尽管人眼的鉴别力很高，可以识别上千种颜色，

但很多情况下，图像对于人眼来说是模糊的甚至是不可见的，通过图象增强技术，可以使模糊甚至不可见的图像变得清晰明亮。

③ 图像处理的算法有哪些

图像处理基本算法操作从处理对象的多少可以有如下划分：
一）点运算：处理点单元信息的运算
二）群运算：处理群单元 （若干个相邻点的集合）的运算
1.二值化操作
图像二值化是图像处理中十分常见且重要的操作，它是将灰度图像转换为二值图像或灰度图像的过程。二值化操作有很多种，例如一般二值化、翻转二值化、截断二值化、置零二值化、置零翻转二值化。
2.直方图处理
直方图是图像处理中另一重要处理过程，它反映图像中不同像素值的统计信息。从这句话我们可以了解到直方图信息仅反映灰度统计信息，与像素具体位置没有关系。这一重要特性在许多识别类算法中直方图处理起到关键作用。
3.模板卷积运算
模板运算是图像处理中使用频率相当高的一种运算，很多操作可以归结为模板运算，例如平滑处理，滤波处理以及边缘特征提取处理等。这里需要说明的是模板运算所使用的模板通常说来就是NXN的矩阵（N一般为奇数如3,5,7,...），如果这个矩阵是对称矩阵那么这个模板也称为卷积模板，如果不对称则是一般的运算模板。我们通常使用的模板一般都是卷积模板。如边缘提取中的Sobel算子模板。

④ 我所了解的图像分割

图像分割是我大二2019年做的东西，这篇文章用来总结。

分语义【像素级别图像】，实例【分割物体有进一步分类】。

基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值作比较，最后将像素根据比较结果分到合适的类别中。

确定某个准则函数来求解最佳灰度阈值。【阈值法特别适用于目标和背景占据不同灰度级范围的图。】

值得一提的是：特征点检测也有此方法

直接寻找区域。有两种基本形式：一种是区域生长，从单个像素出发，逐步合并以形成所需要的分割区域；另一种是从全局出发，逐步切割至所需的分割区域。

基于边缘检测的图像分割算法试图通过检测包含不同区域的边缘来解决分割问题。它可以说是人们最先想到也是研究最多的方法之一。通常不同区域的边界上像素的灰度值变化比较剧烈，如果将图片从空间域通过傅里叶变换到频率域，边缘就对应着高频部分，这是一种非常简单的边缘检测算法。

常规卷积

常规卷积+残差【解决梯度消失，网络变深】

Efficient Neural Network（ENet）

ResNet-38

full-resolution resial network(FRRN)

AdapNey

由目标检测发展而来（R-CNN、Fast R-CNN）

在Faster R-CNN的结构基础上加上了Mask预测分支，并且改良了ROI Pooling，提出了ROI Align。

评价函数只对目标检测的候选框进行打分，而不是分割模板

（1）ReSeg模型【FCN改进】

FCN的不足：没有考虑到局部或者全局的上下文依赖关系，而在语义分割中这种依赖关系是非常有用的。所以在ReSeg中作者使用RNN去检索上下文信息，以此作为分割的一部分依据。

卷积神经网络在进行采样的时候会丢失部分细节信息，这样的目的是得到更具特征的价值。但是这个过程是不可逆的，有的时候会导致后面进行操作的时候图像的 分辨率太低 ，出现 细节丢失 等问题。因此我们通过上采样在一定程度上可以不全一些丢失的信息，从而得到更加准确的分割边界。

卷积后进行一次上采样，得到segment map。

优点：

FCN对图像进行了像素级的分类，从而解决了 语义级别 的图像分割问题；

FCN可以 接受任意尺寸的输入图像 ，可以保留下原始输入图像中的空间信息；

缺点：

得到的结果由于上采样的原因比较模糊和平滑，对图像中的 细节不敏感 ；

对各个像素分别进行分类，没有充分考虑 像素与像素的关系，缺乏空间一致性。

恢复在深度卷积神经网络中下降的分辨率，从而获取更多的上下文信息。

DeepLab是结合了深度卷积神经网络和概率图模型的方法，应用在语义分割的任务上，目的是做逐像素分类，其先进性体现在DenseCRFs（概率图模型）和DCNN的结合。是将每个像素视为CRF节点，利用远程依赖关系并使用CRF推理直接优化DCNN的损失函数。

在图像分割领域，FCN的一个众所周知的操作就是平滑以后再填充，就是先进行卷积再进行pooling,这样在降低图像尺寸的同时增大感受野，但是在先减小图片尺寸（卷积）再增大尺寸（上采样）的过程中一定有一些信息损失掉了，所以这里就有可以提高的空间。

DeepLab提出空洞卷积解决这一问题

（1）常规图像分割

交叉熵Loss

Focal Loss【解决难易样本不均衡】

（2）医疗影像分割

Dice Loss（该损失函数的提出有一个背景，直接优化性能度量，涉及到我的另一个课题非凸优化）

IOU（常做为评价指标）

基于以上几个基本的Loss还有各种各样的改进

因为相邻临的像素对应感受野内的图像信息太过相似了，如果临近的像素都属于所需分割区域的内部，那么这种‘相似’是有利的，但是如果相邻 像素刚好处在所需分割区域的边界上，那么这种相似就是有害的了。

上下文特征是很常见的，其实上下文大概去理解就是图像中的每一个像素点不可能是孤立的，一个像素一定和周围像素是有一定的关系的，大量像素的互相联系才产生了图像中的各种物体，所以上下文特征就指像素以及周边像素的某种联系。

1、对网络输出的分割的边界增加额外的损失，或者让网络对边界的特征和区域内部的特征分开建模学习。其本质上的思想还是让网络同时做两个任务：分割和边缘检测。另外，提高输入图像的输入分辨率和中间层特征图的分辨率同样也是简单有效的。

2、利用loss动态加权或者在图像二维空间上采样来解决同一张图像中不同语义的像素个数不均衡以及学习的难易程度不同的问题。

3、利用半监督或者弱监督学习的方法减少标注昂贵的问题。利用多个标签有噪声的样本或其特征构建虚拟的标签干净的虚拟样本或特征来减少标签的噪声。

4、利用合理的上下文的建模机制，帮助网络猜测遮挡部分的语义信息。

5、在网络中构建不同图像之间损失或者特征交互模块。