‘壹’ 图像的特征提取都有哪些算法
图像的经典特征提取方法:
1 HOG(histogram of Oriented Gradient,方向梯度直方图)
2 SIFT(Scale-invariant features transform,尺度不变特征变换)
3 SURF(Speeded Up Robust Features,加速稳健特征,对sift的改进)
4 DOG(Difference of Gaussian,高斯函数差分)
5 LBP(Local Binary Pattern,局部二值模式)
6 HAAR(haar-like ,haar类特征,注意haar是个人名,haar这个人提出了一个用作滤波器的小波,为这个滤波器命名为haar滤波器,后来有人把这个滤波器用到了图像上,就是图像的haar特征)
图像的一般提取特征方法:
1 灰度直方图,颜色直方图
2 均值,方差
3 信号处理类的方法:灰度共生矩阵,Tamura纹理特征,自回归纹理特征,小波变换。
4 傅里叶形状描述符,小波描述符等,
‘贰’ 纹理特征提取方法:LBP, 灰度共生矩阵
搬运自本人 CSDN 博客: 《纹理特征提取方法:LBP, 灰度共生矩阵》
注:本文中大量行内 Latex 公式在中不支持,如果想要仔细参阅,请移步上面的 CSDN 博客链接。
在前面的博文 《图像纹理特征总体简述》 中,笔者总结了图像纹理特征及其分类。在这里笔者对其中两种算法介绍并总结。
参考网址:
《纹理特征提取》
《【纹理特征】LBP 》
《灰度共生矩阵(GLCM)理解》
《灰度共生矩阵的理解》
《图像的纹理特征之灰度共生矩阵 》
参考论文:
《基于灰度共生矩阵提取纹理特征图像的研究》——冯建辉
《灰度共生矩阵纹理特征提取的Matlab实现》——焦蓬蓬
LBP方法(Local binary patterns, 局部二值模式)是一种用来描述图像局部纹理特征的算子;它的作用是进行特征提取,提取图像的局部纹理特征。
LBP是一个计算机视觉中用于图像特征分类的一个方法,用于纹理特征提取。后来LBP方法与HOG特征分类器与其他机器学习算法联合使用。
LBP算法的核心思想,是以某个像素点为中心,与其邻域像素点共同计算。关于邻域像素点的选择方法,其实并不唯一:
这里选择环形邻域的方法进行说明:
窗口中心的像素点作为中心,该像素点的像素值作为阈值。然后将周围8个像素点的灰度值与该阈值进行比较,若周围某像素值大于中心像素值,则该像素点位置被标记为1;反之,该像素点标记为0。
如此这样,该窗口的8个点可以产生8位的无符号数,这样就得到了该窗口的LBP值,该值反应了该窗口的纹理信息。如下图所示:
图中,中心像素点的像素值作为阈值,其值v = 3;周围邻域8个像素值中,有3个比阈值小的像素点置0,5个比阈值大的像素点置1。
LBP算法的计算公式如下:
$$ LBP_{P, R}(x_{c},y_{c}) = sum_{p=0}^{P-1}s(g_{p} - g_{c})2^p, s(x)=left{egin{matrix}1 : x geq 0 0 : x leq 0 end{matrix} ight. $$
LBP纹理特征向量,一般以图像分块LBP直方图表示。具体步骤如下:
得到了整幅图像的LBP纹理特征后,便可以利用SVM或者其他机器学习算法进行分类了。
这两天笔者将会对源码进行测试封装,以后会上传到我的GitHub网站上。
灰度共生矩阵法(GLCM, Gray-level co-occurrence matrix),就是通过计算灰度图像得到它的共生矩阵,然后透过计算该共生矩阵得到矩阵的部分特征值,来分别代表图像的某些纹理特征(纹理的定义仍是难点)。灰度共生矩阵能反映图像灰度关于<font color = red> 方向、相邻间隔、变化幅度等 </font>综合信息,它是分析图像的局部模式和它们排列规则的基础。
对于灰度共生矩阵的理解,需要明确几个概念:方向,偏移量和灰度共生矩阵的阶数。
计算纹理特征第一步,就是将多通道的图像(一般指RGB图像)转换为灰度图像,分别提取出多个通道的灰度图像。
纹理特征是一种结构特征,使用不同通道图像得到的纹理特征都是一样的,所以可以任意选择其一。
一般在一幅图像中的灰度级有256级,从0--255。但在计算灰度共生矩阵时我们并不需要256个灰度级,且计算量实在太大,所以一般分为8个灰度级或16个灰度级。
而且当分成8个灰度级时,如果直接将像素点的灰度值除以32取整,会引起影像清晰度降低,所以进行灰度级压缩时,首先我们会将图片进行直方图均衡化处理,增加灰度值的动态范围,这样就增加了影像的整体对比效果。
注:笔者后文中的例子中,为了简要说明,所以灰度等级简单设置为4。
计算特征值前,先选择计算过程中的一些参数:
下面分部且适当的使用一些例子说明计算过程:
为了达到简单说明计算纹理特征值的目的,笔者此处做简要的假设:灰度被分为4阶,灰度阶从0--3;窗口大小为6 × 6;
窗口A的灰度矩阵A如下:
窗口B的灰度矩阵B如下:
此处以左上角元素为坐标原点,原点记为(1, 1);以此为基础举例,第四行第二列的点记为(4, 2);
情景1:d = 1,求0°方向矩阵A的共生矩阵:
则按照0°方向(即水平方向 从左向右,从右向左两个方向 ),统计矩阵值(1, 2),则如下图所示:
$$
P_{A}(d=1, heta =0^o)=egin{vmatrix}
0 & 8 & 0 & 7
8 & 0 & 8 & 0
0 & 8 & 0 & 7
7 & 0 & 7 & 0
end{vmatrix}
$$
情景2:d = 1,求45°方向矩阵A的共生矩阵:
按照情景1,同理可得此时的统计矩阵结果如下:
$$
P_{A}(d=1, heta =45^o)=egin{vmatrix}
12 & 0 & 0 & 0
0 & 14 & 0 & 0
0 & 0 & 12 & 0
0 & 0 & 0 & 12
end{vmatrix}
$$
情景3:d = 1,求0°与45°方向矩阵B的共生矩阵:
与前面同理,可以得到矩阵B的统计及矩阵结果如下:
$$
P_{B}(d=1, heta =0^o)=egin{vmatrix}
24 & 4 & 0 & 0
4 & 8 & 0 & 0
0 & 0 & 12 & 2
0 & 0 & 2 & 4
end{vmatrix}
$$
$$
P_{B}(d=1, heta =45^o)=egin{vmatrix}
18 & 3 & 3 & 0
3 & 6 & 1 & 1
3 & 1 & 6 & 1
0 & 1 & 1 & 2
end{vmatrix}
$$
矩阵A, B的其余90°、135°矩阵与上面同理,所以笔者偷懒略去。
这样,我们就已经计算得到了单个窗口的灰度共生矩阵的各个方向的矩阵,下面就要用刚才算出的矩阵计算灰度共生矩阵特征值。
用P表示灰度共生矩阵的归一化频率矩阵,其中i, j表示按照某方向同时出现于两个像素的某两个级别的灰度值,所以P(i, j)表示满足这种情况的两个像素出现的概率。
以上述情景2中的矩阵为例:
原矩阵为:
$$
P(d=1, heta =45^o)=egin{vmatrix}
12 & 0 & 0 & 0
0 & 14 & 0 & 0
0 & 0 & 12 & 0
0 & 0 & 0 & 12
end{vmatrix}
$$
归一化后,矩阵形式变为:
$$
P(d=1, heta =45^o)=egin{vmatrix}
12/50 & 0 & 0 & 0
0 & 14/50 & 0 & 0
0 & 0 & 12/50 & 0
0 & 0 & 0 & 12/50
end{vmatrix}
$$
灰度共生矩阵理论的前辈Haralick等人用灰度共生矩阵提出了14中特征值,但由于灰度共生矩阵的计算量很大,所以为了简便,我们一般采用四个最常用的特征来提取图像的纹理特征:<font color=red> 能量、对比度、相关度、熵 </font>。
$ ASM = sum_{i} sum_{j}P(i, j)^2 $
能量是灰度共生矩阵各元素的平方和,又被称角二阶距。它是图像纹理灰度变化均一的度量,反映了图像灰度分布均匀程度和纹理粗细程度。
$ CON = sum_{i} sum_{j} (i-j)^2 P(i,j) $
对比度是灰度共生矩阵主对角线附近的惯性矩,它体现矩阵的值如何分布,反映了图像的清晰度和纹理沟纹的深浅。
$ CORRLN = [sum_{i} sum_{j}((ij)P(i,j)) - mu_{x} mu_{y}]/ sigma_{x} sigma_{y} $
相关度体现了空间灰度共生矩阵元素在行或列方向上的相似程度,反映了图像局部灰度相关性。
$ ENT = - sum_{i} sum_{j} P(i,j) log P(i,j) $
熵体现了图像纹理的随机性。若共生矩阵中所有值都相等,取得最大值;若共生矩阵中的值不均匀,则其值会变得很小。
求出该灰度共生矩阵各个方向的特征值后,再对这些特征值进行均值和方差的计算,这样处理就消除了方向分量对纹理特征的影响。
一个滑动窗口计算结束后,该窗口就可以移动一个像素点,形成另一个小窗口图像,重复进行上一步的计算,生成新窗口图像的共生矩阵和纹理特征值;
以此类推,滑动窗口遍历完所有的图像像素点后,整个图像就形成了一个由纹理特征值构成的一个纹理特征值矩阵。
之后,就可以将这个纹理特征值矩阵转换成纹理特征图像。
笔者已经对源码进行测试了封装,并上传到了笔者的GitHub网站上。
GitHub: https://github.com/upcAutoLang/GLCM-OpenCV
‘叁’ matlab 中有提取图像特征点的函数吗
本人恰巧正在做角点的提取与匹配,特征点有很多种,看是基于区域还是边缘,先是要检测特征点,这个主要是利用微分,然后再提取,貌似没有现成的函数,这个给你参考一下,效果还可以
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% Harris提取算法
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
clc,clear all;
filename='camera2.bmp';
X= imread(filename); % 读取图像
Info=imfinfo(filename); %这个要习惯用
% f=rgb2gray(X);
f=X;
ori_im=double(f)/255; %unit8转化为64为双精度double64
fx = [-2 -1 0 1 2]; % x方向梯度算子(用于Harris角点提取算法)
Ix = filter2(fx,ori_im); % x方向滤波 善于使用filter
% fy = [5 8 5;0 0 0;-5 -8 -5]; % 高斯函数一阶微分,y方向(用于改进的Harris角点提取算法)
fy = [-2;-1;0;1;2]; % y方向梯度算子(用于Harris角点提取算法)
Iy = filter2(fy,ori_im); % y方向滤波
Ix2 = Ix.^2;
Iy2 = Iy.^2;
Ixy = Ix.*Iy;
clear Ix;
clear Iy; %消除变量哈
h= fspecial('gaussian',[10 10 ],2); % 产生7*7的高斯窗函数,sigma=2
Ix2 = filter2(h,Ix2);
Iy2 = filter2(h,Iy2);
Ixy = filter2(h,Ixy); %分别进行高斯滤波
height = size(ori_im,1);
width = size(ori_im,2);
result = zeros(height,width); % 纪录角点位置,角点处值为1 ,背景都是黑色的哈
R = zeros(height,width);
Rmax = 0; % 图像中最大的R值 以便设置门限
for i = 1:height
for j = 1:width
M = [Ix2(i,j) Ixy(i,j);Ixy(i,j) Iy2(i,j)]; %2*2的矩阵
R(i,j) = det(M)-0.06*(trace(M))^2; % 计算R ,求得RMAX,看来是整体求得的,角点响应函数
if R(i,j) > Rmax
Rmax = R(i,j);
end;
end;
end;
cnt = 0; %记录点数的
for i = 2:height-1
for j = 2:width-1 % 进行非极大抑制,窗口3*3
if R(i,j) > 0.01*Rmax && R(i,j) > R(i-1,j-1) && R(i,j) > R(i-1,j) && R(i,j) > R(i-1,j+1) && R(i,j) > R(i,j-1) && R(i,j) > R(i,j+1) && R(i,j) > R(i+1,j-1) && R(i,j) > R(i+1,j) && R(i,j) > R(i+1,j+1)
result(i,j) = 1;
cnt = cnt+1;
end;
end;
end;
%
% i=1;
% for j=1:height
% for k=1:width
% if result(j,k)==1;
% corners1(i,1)=j;
% corners1(i,2)=k;
% i=i+1;
% end;
% end;
% end;
[posc, posr] = find(result == 1);
cnt % 角点个数
imshow(ori_im*255) %和 X的效果是一样的
hold on;
plot(posr,posc,'g+');
‘肆’ 图像特征提取方法
特点:
1、局部特征
2、对旋转,缩放,亮度变化保持不变性
3、高速性
缺点:
1、局部特征
2、对边缘光滑的图像难以准确提取特征点
原理:
1、在尺度空间(例如高斯金字塔)上搜寻keypoints兴趣点(对于尺度和旋转不变)
2、筛选上一步获得的兴趣点
(1)对空间中的极值点进行精确定位
(2)用Hessian矩阵消除边缘效应3、在选定的尺度下,在兴趣点附近构造梯度方向直方图
4、对直方图进行统计,以此来描述此keypoints
总结:
这个方法是通过寻找通过高斯模糊来构造不同尺度下的高斯尺度空间金字塔,通过遍历所有点,找出尺度空间中的极值点(与26个点进行比较,分别是这一层的周围8个点,以及上下两层的9个点)。在初步探查之后,通过对尺度空间下的DoG函数进行拟合,来确定keypoints的精确位置。DoG算子的缺点是有较强的边缘效应,在消除边缘效应之后,得到的就是筛选后的精确keypoints。最后就是对找到的keypoints统计梯度方向直方图,并将其向量化。
简单来说,这个方法由于其旋转及尺度不变性,主要被应用于图片匹配的应用中。
参考链接1
参考链接2
原理:
1、图片预处理:灰度化,亮度空间标准化
2、计算图中每个像素的梯度
3、将图像划分成一个个cell
4、统计每个cell内的梯度直方图
5、将每几个cell组成一个block,将该block内的所有cell的的梯度特征串起来组成该block内的HoG特征
6、将整张图内的所有block的HoG向量串起来组成此图的HoG特征向量(可归一化)
总结:
这个方法通过设定不同大小的cell以及block作为参数,统计出整张图像的梯度特征(梯度可以反应物体的形状,边缘等特征),通过cell以及block的形式去统计局部特征。该方法配合SVM曾是图像分类任务中最为常用的。
参考链接1
参考链接2
步骤:
1、确定cell大小
2、遍历cell中的像素,将其周围的8个像素与其相比较,若大于中心像素,则对应像素标记为1,否则为0
3、统计cell中的二值直方图,全部串起来组成图像的特征向量
总结:
这个方法通过二值降维的方式,提取出了图像的纹理特征,并且有效的减少了高频噪声的影响。
参考链接
步骤:
1、构建Hessian矩阵,生成所有的边缘点
2、构建尺度空间金字塔
3、keypoints定位,对第一步生成的所有边缘点进行尺度空间中的极值筛选
4、进行SIFT中的精确定位
5、特征点主方向选择,与SIFT不同的是,SURF采用的是Harr算法中的扇形统计
6、统计4*4cell中的梯度值,并整合成特征向量
总结:
这个方法是SIFT的优化算法,通过在第一步构造Hessian矩阵选出边缘点作为第一批keypoints,减少了SIFT中所有点在尺度空间中的极值对比。同时,通过该用Harr的扇形统计并沿主方向统计特征,使得每一个cell中的向量维度由原来的128降到了64 。
参考链接
‘伍’ 求matlab彩色图片的颜色特征提取算法的代码,和纹理特征提取的代码。传统方法即可。
其实学数字图像处理,关键的不是源代码(和一般编程还是有区别的,这个是经验之谈,其实一般博导未必会编程,但是你和他说说你的方法,他一般都能切中要害),而是你能理解基于概念及适用场所。
基于颜色、纹理、形状都属于低层特征,这些你理解就够了,关键是对你的课题适合哪种方法来映射到高层语义上面,例如:识别物体轮廓,那可能形状就比较适合等。
我之所以写上面那段话,主要是我感觉你索取代码也不说明具体要求,也就是方向不明确。
如今颜色特征提取算法有很多,诸如颜色直方图、颜色矩、颜色集、颜色聚合向量、颜色相关图等,既然你没说,我就给个IEEE CSVT 2001的一篇关于颜色直方图法的论文(源码版权归作者所有):
function colorhist = colorhist(rgb)
% CBIR_colorhist() --- color histogram calculation
% input: MxNx3 image data, in RGB
% output: 1x256 colorhistogram == (HxSxV = 16x4x4)
% as the MPEG-7 generic color histogram descriptor
% [Ref] Manjunath, B.S.; Ohm, J.-R.; Vasudevan, V.V.; Yamada, A., "Color and texture descriptors"
% IEEE Trans. CSVT, Volume: 11 Issue: 6 , Page(s): 703 -715, June 2001 (section III.B)
% check input
if size(rgb,3)~=3
error('3 components is needed for histogram');
end
% globals
H_BITS = 4; S_BITS = 2; V_BITS = 2;
%rgb2hsv可用rgb2hsi代替,见你以前的提问。
hsv = uint8(255*rgb2hsv(rgb));
imgsize = size(hsv);
% get rid of irrelevant boundaries
i0=round(0.05*imgsize(1)); i1=round(0.95*imgsize(1));
j0=round(0.05*imgsize(2)); j1=round(0.95*imgsize(2));
hsv = hsv(i0:i1, j0:j1, :);
% histogram
for i = 1 : 2^H_BITS
for j = 1 : 2^S_BITS
for k = 1 : 2^V_BITS
colorhist(i,j,k) = sum(sum( ...
bitshift(hsv(:,:,1),-(8-H_BITS))==i-1 &...
bitshift(hsv(:,:,2),-(8-S_BITS))==j-1 &...
bitshift(hsv(:,:,3),-(8-V_BITS))==k-1 ));
end
end
end
colorhist = reshape(colorhist, 1, 2^(H_BITS+S_BITS+V_BITS));
% normalize
colorhist = colorhist/sum(colorhist);
%基于纹理特征提取灰度共生矩阵用于纹理判断
% Calculates cooccurrence matrix
% for a given direction and distance
%
% out = cooccurrence (input, dir, dist, symmetric);
%
% INPUT:
% input: input matrix of any size
%
% dir: direction of evaluation
% "dir" value Angle
% 0 0
% 1 -45
% 2 -90
% 3 -135
% 4 -180
% 5 +135
% 6 +90
% 7 +45
%
% dist: distance between pixels
%
% symmetric: 1 for symmetric version
% 0 for non-symmetric version
%
% eg: out = cooccurrence (input, 0, 1, 1);
% Author: Baran Aydogan (15.07.2006)
% RGI, Tampere University of Technology
% [email protected]
function out = cooccurrence (input, dir, dist, symmetric);
input = round(input);
[r c] = size(input);
min_intensity = min(min(input));
max_intensity = max(max(input));
out = zeros(max_intensity-min_intensity+1);
if (dir == 0)
dir_x = 0; dir_y = 1;
end
if (dir == 1)
dir_x = 1; dir_y = 1;
end
if (dir == 2)
dir_x = 1; dir_y = 0;
end
if (dir == 3)
dir_x = 1; dir_y = -1;
end
if (dir == 4)
dir_x = 0; dir_y = -1;
end
if (dir == 5)
dir_x = -1; dir_y = -1;
end
if (dir == 6)
dir_x = -1; dir_y = 0;
end
if (dir == 7)
dir_x = -1; dir_y = 1;
end
dir_x = dir_x*dist;
dir_y = dir_y*dist;
out_ind_x = 0;
out_ind_y = 0;
for intensity1 = min_intensity:max_intensity
out_ind_x = out_ind_x + 1;
out_ind_y = 0;
[ind_x1 ind_y1] = find (input == intensity1);
ind_x1 = ind_x1 + dir_x;
ind_y1 = ind_y1 + dir_y;
for intensity2 = min_intensity:max_intensity
out_ind_y = out_ind_y + 1;
[ind_x2 ind_y2] = find (input == intensity2);
count = 0;
for i = 1:size(ind_x1,1)
for j = 1:size(ind_x2,1)
if ( (ind_x1(i) == ind_x2(j)) && (ind_y1(i) == ind_y2(j)) )
count = count + 1;
end
end
end
out(out_ind_x, out_ind_y) = count;
end
end
if (symmetric)
if (dir < 4)
dir = dir + 4;
else
dir = mod(dir,4);
end
out = out + cooccurrence (input, dir, dist, 0);
end