① OpenCV+Python特征提取算法与图像描述符之SIFT / SURF / ORB
算法效果比较博文
用于表示和量化图像的数字列表，简单理解成将图片转化为一个数字列表世灶表示。特征向量中用来描述图片的各种属性的向量称为特征矢量。
参考
是一种算法和方法，输入1个图像，返回多个特征向量（主要用来处理图像的局部，往往会把多个特征向量组成一个一维的向量）。主要用于图像匹配（视觉检测），匹配图像中的物品。
SIFT论文
原理
opencv官网解释
实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。
尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。
其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。
对现实中物体的描述一定要在一个十分重要的前提下进行，这个前提就是对自然界建模时的尺度。当用一个机器视觉系统分析未知场景时，计算机没有办法预先知道图像中物体的尺度，因此我们需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。图像的尺度空间表达指的是图像的所有尺度下的描述。
KeyPoint数据结构解析
SURF论文
原理
opencv官网解释
SURF是SIFT的加速版，它善于处理具有模糊和旋转的图像，但是不善于处理视角变化和光照变化。在SIFT中使用DoG对LoG进行近似，而在SURF中使用盒子滤波器对LoG进行近似，这样就可以使用积分图像了（计算图像中某个窗口内所有像素和时，计算量的大小与窗口大小无关）。总之，SURF最大的特点在于采用了Haar特征以及积分图改团像的概念，大大加快了程序的运行效率。
因为专利原因，OpenCV3.3开核返橘始不再免费开放SIFT\SURF，需要免费的请使用ORB算法
ORB算法综合了FAST角点检测算法和BRIEFF描述符。
算法原理
opencv官方文档
FAST只是一种特征点检测算法，并不涉及特征点的特征描述。
论文
opencv官方文档
中文版
Brief是Binary Robust Independent Elementary Features的缩写。这个特征描述子是由EPFL的Calonder在ECCV2010上提出的。主要思路就是在特征点附近随机选取若干点对，将这些点对的灰度值的大小，组合成一个二进制串，并将这个二进制串作为该特征点的特征描述子。文章同样提到，在此之前，需要选取合适的gaussian kernel对图像做平滑处理。
1：不具备旋转不变性。
2：对噪声敏感
3：不具备尺度不变性。
ORB论文
OpenCV官方文档
ORB采用了FAST作为特征点检测算子，特征点的主方向是通过矩（moment）计算而来解决了BRIEF不具备旋转不变性的问题。
ORB还做了这样的改进，不再使用pixel-pair，而是使用9×9的patch-pair，也就是说，对比patch的像素值之和，解决了BRIEF对噪声敏感的问题。
关于计算速度：
ORB是sift的100倍，是surf的10倍。
对图片数据、特征分布的一种统计
对数据空间(bin)进行量化
Kmeans
边缘：尺度问题->不同的标准差 捕捉到不同尺度的边缘
斑点 Blob：二阶高斯导数滤波LoG
关键点(keypoint)：不同视角图片之间的映射，图片配准、拼接、运动跟踪、物体识别、机器人导航、3D重建
SIFT\SURF
② 图像的特征提取都有哪些算法
图像的经典特征提取方法：
1 HOG(histogram of Oriented Gradient,方向梯度直方图）
2 SIFT(Scale-invariant features transform,尺度不变特征变换）
3 SURF(Speeded Up Robust Features,加速稳健特征，对sift的改进）
4 DOG(Difference of Gaussian，高斯函数差分)
5 LBP(Local Binary Pattern,局部二值模式）
6 HAAR(haar-like ,haar类特征，注意haar是个人名，haar这个人提出了一个用作滤波器的小波，为这个滤波器命名为haar滤波器，后来有人把这个滤波器用到了图像上，就是图像的haar特征）
图像的一般提取特征方法：
1 灰度直方图，颜色直方图
2 均值，方差
3 信号处理类的方法：灰度共生矩阵，Tamura纹理特征，自回归纹理特征，小波变换。
4 傅里叶形状描述符，小波描述符等，
③ 图像的特征提取都有哪些算法
常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。
一 颜色特征
（一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。
（二）常用的特征提取与匹配方法
（1） 颜色直方图
其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。
最常用的颜色空间：RGB颜色空间、HSV颜色空间。
颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。
（2） 颜色集
颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从 RGB颜色空间转化成视觉均衡的颜色空间（如 HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系
（3） 颜色矩
这种方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。
（4） 颜色聚合向量
其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。
（5） 颜色相关图
二 纹理特征
（一）特点：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。
例如，水中的倒影，光滑的金属面互相反射造成的影响等都会导致纹理的变化。由于这些不是物体本身的特性，因而将纹理信息应用于检索时，有时这些虚假的纹理会对检索造成“误导”。
在检索具有粗细、疏密等方面较大差别的纹理图像时，利用纹理特征是一种有效的方法。但当纹理之间的粗细、疏密等易于分辨的信息之间相差不大的时候，通常的纹理特征很难准确地反映出人的视觉感觉不同的纹理之间的差别。
（二）常用的特征提取与匹配方法
纹理特征描述方法分类
（1）统计方法统计方法的典型代表是一种称为灰度共生矩阵的纹理特征分析方法Gotlieb 和 Kreyszig 等人在研究共生矩阵中各种统计特征基础上，通过实验，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性。统计方法中另一种典型方法，则是从图像的自相关函数（即图像的能量谱函数）提取纹理特征，即通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数
（2）几何法
所谓几何法，是建立在纹理基元（基本的纹理元素）理论基础上的一种纹理特征分析方法。纹理基元理论认为，复杂的纹理可以由若干简单的纹理基元以一定的有规律的形式重复排列构成。在几何法中，比较有影响的算法有两种：Voronio 棋盘格特征法和结构法。
（3）模型法
模型法以图像的构造模型为基础，采用模型的参数作为纹理特征。典型的方法是随机场模型法，如马尔可夫（Markov）随机场（MRF）模型法和 Gibbs 随机场模型法
（4）信号处理法
纹理特征的提取与匹配主要有：灰度共生矩阵、Tamura 纹理特征、自回归纹理模型、小波变换等。
灰度共生矩阵特征提取与匹配主要依赖于能量、惯量、熵和相关性四个参数。Tamura 纹理特征基于人类对纹理的视觉感知心理学研究，提出6种属性，即：粗糙度、对比度、方向度、线像度、规整度和粗略度。自回归纹理模型（simultaneous auto-regressive, SAR）是马尔可夫随机场（MRF）模型的一种应用实例。
三 形状特征
（一）特点：各种基于形状特征的检索方法都可以比较有效地利用图像中感兴趣的目标来进行检索，但它们也有一些共同的问题，包括：①目前基于形状的检索方法还缺乏比较完善的数学模型；②如果目标有变形时检索结果往往不太可靠；③许多形状特征仅描述了目标局部的性质，要全面描述目标常对计算时间和存储量有较高的要求；④许多形状特征所反映的目标形状信息与人的直观感觉不完全一致，或者说，特征空间的相似性与人视觉系统感受到的相似性有差别。另外，从 2-D 图像中表现的 3-D 物体实际上只是物体在空间某一平面的投影，从 2-D 图像中反映出来的形状常不是 3-D 物体真实的形状，由于视点的变化，可能会产生各种失真。
（二）常用的特征提取与匹配方法
Ⅰ几种典型的形状特征描述方法
通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。
几种典型的形状特征描述方法：
（1）边界特征法该方法通过对边界特征的描述来获取图像的形状参数。其中Hough 变换检测平行直线方法和边界方向直方图方法是经典方法。Hough 变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法，其基本思想是点—线的对偶性；边界方向直方图法首先微分图像求得图像边缘，然后，做出关于边缘大小和方向的直方图，通常的方法是构造图像灰度梯度方向矩阵。
（2）傅里叶形状描述符法
傅里叶形状描述符(Fourier shape descriptors)基本思想是用物体边界的傅里叶变换作为形状描述，利用区域边界的封闭性和周期性，将二维问题转化为一维问题。
由边界点导出三种形状表达，分别是曲率函数、质心距离、复坐标函数。
（3）几何参数法
形状的表达和匹配采用更为简单的区域特征描述方法，例如采用有关形状定量测度（如矩、面积、周长等）的形状参数法（shape factor）。在 QBIC 系统中，便是利用圆度、偏心率、主轴方向和代数不变矩等几何参数，进行基于形状特征的图像检索。
需要说明的是，形状参数的提取，必须以图像处理及图像分割为前提，参数的准确性必然受到分割效果的影响，对分割效果很差的图像，形状参数甚至无法提取。
（4）形状不变矩法
利用目标所占区域的矩作为形状描述参数。
（5）其它方法
近年来，在形状的表示和匹配方面的工作还包括有限元法（Finite Element Method 或 FEM）、旋转函数（Turning Function）和小波描述符（Wavelet Descriptor）等方法。
Ⅱ 基于小波和相对矩的形状特征提取与匹配
该方法先用小波变换模极大值得到多尺度边缘图像，然后计算每一尺度的 7个不变矩，再转化为 10 个相对矩，将所有尺度上的相对矩作为图像特征向量，从而统一了区域和封闭、不封闭结构。
四 空间关系特征
（一）特点：所谓空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。通常空间位置信息可以分为两类：相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况，如上下左右关系等，后一种关系强调的是目标之间的距离大小以及方位。显而易见，由绝对空间位置可推出相对空间位置，但表达相对空间位置信息常比较简单。
空间关系特征的使用可加强对图像内容的描述区分能力，但空间关系特征常对图像或目标的旋转、反转、尺度变化等比较敏感。另外，实际应用中，仅仅利用空间信息往往是不够的，不能有效准确地表达场景信息。为了检索，除使用空间关系特征外，还需要其它特征来配合。
（二）常用的特征提取与匹配方法
提取图像空间关系特征可以有两种方法：一种方法是首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；另一种方法则简单地将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引。
④ 指纹识别是怎么进行的
导语：指纹识别技术通常使用指纹的总体特征如纹形、三角点等来进行分类，再用局部特征如位置和方向等来进行用户身份识别。尽管指纹只是人体皮肤的小部分，但是，它蕴涵着大量的信息。那么，接下来就让我们一起来具体的了解以下关于指纹识别是怎么进行的内容吧。文章仅供大家的参考!
1.指纹图像的获取
指纹图像的采集是自动指纹识别系统的重要组成部分。早期的指纹采集都是通过油墨按压在纸张上产生的。20世纪80年代，随着光学技术和计算机技术的发展，现代化的采集设备开始出现。
传感器是一种能把物理量或化学量变成便于利用的电信号的器件。在测量系统中它是一种前置部件，它是被测量信号输入后的第一道关口，是生物认证系统中的采集设备。
这些传感器根据探测对象的不同，可分为光学传感器、热敏传感器和超声传感器;根据器件的不同，可分为CMOS器件传感器和CCD器件传感器。它们的工作原理都是：将生物特征经过检测后转化为系统可以识别的图像信息。在生物认证系统中，可靠和廉价的'图像采集设备是系统运行正常、可靠的关键。
2.指纹图像的增强
常见的预处理方法如下：
(1)采用灰度的均衡化，可以消除不同图像之间对比度的差异。
(2)使用简单的低通滤波消除斑点噪声、高斯噪声。
(3)计算出图像的边界，进行图像的裁剪，这样可以减少多余的计算量，提高系统的速度。
常用图像增强算法具体包括以下几种：
(1)基于傅里叶滤波的低质量指纹增强算法;
(2)基于Gabor滤波的增强方法;
(3)多尺度滤波方法;
(4)改进的方向图增强算法;
(5)基于知识的指纹图像增强算法;
(6)非线性扩散模型及其滤波方法;
(7)改进的非线性扩散滤波方法。
目前最新的分割算法有以下几种：
(1)基于正态模型进行的指纹图像分割算法;
(2)基于马尔科夫随机场的指纹图像分割算法;
(3)基于数学形态学闭运算的灰度方差法;
(4)基于方向场的指纹图像分割算法。
3.指纹特征的提取
近年来，新的指纹特征提取算法主要包括以下几种：
(1)基于Gabor滤波方法对指纹局部特征的提取算法。
(2)基于CNN通用编程方法对指纹特征的提取算法。
(3)基于IFS编码的图像数字化技术，即建立IFS模型，计算源图像与再生图像之间的相似性，快速提取指纹图像的特征。
(4)基于脊线跟踪的指纹图像特征点提取算法。该算法可以直接从灰度指纹图像中有效提取细节点和脊线骨架信息。
(5)基于小波变换和ART(自适应共振理论)神经网络的指纹特征提取算法。
4.指纹图像的分类与压缩
常用的指纹分类技术有以下几种：
(1)基于规则的方法，即根据指纹奇异点的数目和位置分类。
(2)基于句法的方法。这种方法的语法复杂，推导语法的方法复杂、不固定。这种方法已经逐渐被淘汰了。
(3)结构化的方法，即寻找低层次的特征到高层次的结构之间相关联的组织。
(4)统计的方法。
(5)结合遗传算法和BP神经元网络的方法。
(6)多分类器方法。
常用的压缩算法有以下两种：
(1)图像压缩编码方法：包括无损压缩(熵编码)和有损压缩(量化)。
(2)基于小波变换的指纹压缩算法：包括WSQ算法、DjVu算法、改进的EZW算法等。
5.指纹图像的匹配
传统的指纹匹配算法有很多种：
(1)基于点模式的匹配方法：如基于Hough变换的匹配算法、基于串距离的匹配算法、基于N邻近的匹配算法等。
(2)图匹配及其他方法：如基于遗传算法的匹配、基于关键点的初匹配等。
(3)基于纹理模式的匹配：如PPM匹配算法等。
(4)混合匹配方法等。
近几年，又出现了如下新的匹配算法：
(1)基于指纹分类的矢量匹配。该法首先利用指纹分类的信息进行粗匹配，然后利用中心点和三角点的信息进一步匹配，最后以待识别图像和模板指纹图像的中心点为基准点，将中心点与邻近的36个细节点形成矢量，于是指纹的匹配就转变为矢量组数的匹配。
(2)基于PKI(Public Key Infrastructure，公钥基础设施)的开放网络环境下的指纹认证系统。
(3)实时指纹特征点匹配算法。该算法的原理是：通过由指纹分割算法得到圆形匹配限制框和简化计算步骤来达到快速匹配的目的。
(4)一种基于FBI(Federal Bureauof Investigation)细节点的二次指纹匹配算法。
(5)基于中心点的指纹匹配算法。该算法利用奇异点或指纹有效区域的中心点寻找匹配的基准特征点对和相应的变换参数，并将待识别指纹相对于模板指纹作姿势纠正，最后采用坐标匹配的方式实现两个指纹的比对。