Ⅰ OpenCV+python特征提取算法与图像描述符之SIFT / SURF / ORB
算法效果比较博文
用于表示和量化图像的数字列表,简单理解成将图片转化为一个数字列表世灶表示。特征向量中用来描述图片的各种属性的向量称为特征矢量。
参考
是一种算法和方法,输入1个图像,返回多个特征向量(主要用来处理图像的局部,往往会把多个特征向量组成一个一维的向量)。主要用于图像匹配(视觉检测),匹配图像中的物品。
SIFT论文
原理
opencv官网解释
实质是在不同的尺度空间上查找关键点(特征点),并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出,不会因光照,仿射变换和噪音等因素而变化的点,如角点、边缘点、暗区的亮点及亮区的暗点等。
尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征,它在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量。
其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。
对现实中物体的描述一定要在一个十分重要的前提下进行,这个前提就是对自然界建模时的尺度。当用一个机器视觉系统分析未知场景时,计算机没有办法预先知道图像中物体的尺度,因此我们需要同时考虑图像在多尺度下的描述,获知感兴趣物体的最佳尺度。图像的尺度空间表达指的是图像的所有尺度下的描述。
KeyPoint数据结构解析
SURF论文
原理
opencv官网解释
SURF是SIFT的加速版,它善于处理具有模糊和旋转的图像,但是不善于处理视角变化和光照变化。在SIFT中使用DoG对LoG进行近似,而在SURF中使用盒子滤波器对LoG进行近似,这样就可以使用积分图像了(计算图像中某个窗口内所有像素和时,计算量的大小与窗口大小无关)。总之,SURF最大的特点在于采用了Haar特征以及积分图改团像的概念,大大加快了程序的运行效率。
因为专利原因,OpenCV3.3开核返橘始不再免费开放SIFT\SURF,需要免费的请使用ORB算法
ORB算法综合了FAST角点检测算法和BRIEFF描述符。
算法原理
opencv官方文档
FAST只是一种特征点检测算法,并不涉及特征点的特征描述。
论文
opencv官方文档
中文版
Brief是Binary Robust Independent Elementary Features的缩写。这个特征描述子是由EPFL的Calonder在ECCV2010上提出的。主要思路就是在特征点附近随机选取若干点对,将这些点对的灰度值的大小,组合成一个二进制串,并将这个二进制串作为该特征点的特征描述子。文章同样提到,在此之前,需要选取合适的gaussian kernel对图像做平滑处理。
1:不具备旋转不变性。
2:对噪声敏感
3:不具备尺度不变性。
ORB论文
OpenCV官方文档
ORB采用了FAST作为特征点检测算子,特征点的主方向是通过矩(moment)计算而来解决了BRIEF不具备旋转不变性的问题。
ORB还做了这样的改进,不再使用pixel-pair,而是使用9×9的patch-pair,也就是说,对比patch的像素值之和,解决了BRIEF对噪声敏感的问题。
关于计算速度:
ORB是sift的100倍,是surf的10倍。
对图片数据、特征分布的一种统计
对数据空间(bin)进行量化
Kmeans
边缘:尺度问题->不同的标准差 捕捉到不同尺度的边缘
斑点 Blob:二阶高斯导数滤波LoG
关键点(keypoint):不同视角图片之间的映射,图片配准、拼接、运动跟踪、物体识别、机器人导航、3D重建
SIFT\SURF
Ⅱ 使用OpenCV和Python进行图像拼接
么是图像拼接呢?简单来说,对于输入应该有一组图像,输出是合成图像。同时,必须保留图像之间的逻辑流。
首先让我们了解图像拼接的概念。基本上,如果你想捕捉一个大的场景,你的相机只能提供一个特定分辨率的图像(如:640×480),这当然不足以捕捉大的全景。所以,我们可以做的是捕捉整个场景的多个图像,然后把所有的碎片放在一起,形成一个大的图像。这些有序的照片被称为全景。获取多幅图像并将其转换成全景图的整个过程称为图像拼接。
首先,需要安装opencv 3.4.2.16。
接下来我们将导入我们将在Python代码中使用的库:
在我们的教程中,我们将拍摄这张精美的照片,我们会将其分成两张左右两张照片,然后我们会尝试拍摄相同或非常相似的照片。
因此,我将此图像切成两个图像,它们会有某种重叠区域:
在此,我们将列出我们应采取的步骤,以取得最终的结果:
因此,从第一步开始,我们将导入这两个图像并将它们转换为灰度,如果您使用的是大图像,我建议您使用cv2.resize,因为如果您使用较旧的计算机,它可能会非常慢并且需要很长时间。如果要调整图像大小,即调整50%,只需将fx = 1更改为fx = 0.5即可。
我们还需要找出两幅图像中匹配的特征。我们将使用opencv_contrib的SIFT描述符。SIFT (Scale constant Feature Transform)是一种非常强大的OpenCV算法。这些最匹配的特征作为拼接的基础。我们提取两幅图像的关键点和sift描述符如下:
kp1和kp2是关键点,des1和des2是图像的描述符。如果我们用特征来画这幅图,它会是这样的:
左边的图像显示实际图像。右侧的图像使用SIFT检测到的特征进行注释:
一旦你有了两个图像的描述符和关键点,我们就会发现它们之间的对应关系。我们为什么要这么做?为了将任意两个图像连接成一个更大的图像,我们必须找到重叠的点。这些重叠的点会让我们根据第一幅图像了解第二幅图像的方向。根据这些公共点,我们就能知道第二幅图像是大是小还是旋转后重叠,或者缩小/放大后再fitted。所有此类信息的产生是通过建立对应关系来实现的。这个过程称为registration。
对于匹配图像,可以使用opencv提供的FLANN或BFMatcher方法。我会写两个例子证明我们会得到相同的结果。两个示例都匹配两张照片中更相似的特征。当我们设置参数k = 2时,这样我们就要求knnMatcher为每个描述符给出2个最佳匹配。“matches”是列表的列表,其中每个子列表由“k”个对象组成。以下是Python代码:
FLANN匹配代码:
BFMatcher匹配代码:
通常在图像中,图像的许多地方可能存在许多特征。所以我们过滤掉所有的匹配来得到最好的。因此我们使用上面得到的前2个匹配项进行比值检验。如果下面定义的比值大于指定的比值,则考虑匹配。
现在我们定义在图像上绘制线条的参数,并给出输出以查看当我们在图像上找到所有匹配时的样子:
这是输出的匹配图像:
这部分完整Python代码:
因此,一旦我们获得了图像之间的最佳匹配,我们的下一步就是计算单应矩阵。如前所述,单应矩阵将与最佳匹配点一起使用,以估计两个图像内的相对方向变换。
在OpenCV中估计单应性是一项简单的任务,只需一行代码:
在开始编码拼接算法之前,我们需要交换图像输入。所以img_现在会取右图像img会取左图像。
那么让我们进入拼接编码:
因此,首先,我们将最小匹配条件count设置为10(由MIN_MATCH_COUNT定义),并且只有在匹配良好的匹配超出所需匹配时才进行拼接。否则,只需显示一条消息,说明匹配不够。
因此,在if语句中,我们将关键点(从匹配列表)转换为findHomography()函数的参数。
只需在这段代码中讨论cv2.imshow(“original_image_overlapping.jpg”,img2),我们就会显示我们收到的图像重叠区域:
因此,一旦我们建立了单应性,我们需要扭曲视角,我们将以下单应矩阵应用于图像:
所以我们使用如下:
在上面两行Python代码中,我们从两个给定的图像中获取重叠区域。然后在“dst”中我们只接收到没有重叠的图像的右侧,因此在第二行代码中我们将左侧图像放置到最终图像。所以在这一点上我们完全拼接了图像:
剩下的就是去除图像的黑色,所以我们将编写以下代码来从所有图像边框中删除黑边:
这是我们调用修剪边界的最终定义函数,同时我们在屏幕上显示该图像。如果您愿意,也可以将其写入磁盘:
使用上面的Python代码,我们将首先收到原始图片:
这是完整的最终代码:
在本教程中,我们学习了如何使用OpenCV执行图像拼接和全景构造,并编写了最终的图像拼接代码。
我们的图像拼接算法需要四个主要步骤:检测关键点和提取局部不变描述符; 获得图像之间的匹配描述符; 应用RANSAC估计单应矩阵; 使用单应矩阵应用warping transformation。
当仅为两个图像构建全景图时,该算法在实践中工作良好。
Ⅲ python怎么安装opencv
1.安装Numpy
安装pip
若上面安装出现没找到python,先安装pip。输入python -m pip install -U pip
安装pip
安装完后将pip的路径加到PATH里,例如”C:Python27Scripts”
再安装numpy
现在开始安装numpy,打开cmd,输入pip install numpy
安装numpy
测试:
测试numpy
1.安装opencv
在官网自行下载,这里下载的是opencv2.4.10安装。
(1)复制cv2.pyd
将”opencvuildpython2.7x64”或”opencvuildpython2.7x86”(根据python版本)文件夹中找到cv2.pyd”,复制到Python安装文件的”C:Python27Libsite-packages”文件夹中。
测试:
测试opencv
使用pycharm,用下面代码进行测试:
import cv2
import numpy as np
img = cv2.imread("C:lena.jpg")
cv2.imshow("lena",img)
cv2.waitKey(10000)
Ⅳ 在python中已经安装过opencv了,可是运行还是报错
我们是世纪的幸运儿,更要懂得幸福生活的来之不易。我们要发奋学习,艰苦朴素,不辜负先烈们
寄托在我们身上的希望。正因如此,我们更应该珍惜拥有的一切。我们要靠今天的努力,为祖国贡献一
份力量,这是对革命先烈们的最好回报!
参观过后,我们又来到了生态园野炊。同学们围坐在一起,谈笑风生,让我感到欣慰的是:我们心
中已经埋下了爱护大自然的意识--尽管我们制造了不少垃圾,但同学们都非常自觉的清理着垃圾。
收拾得井井有条,地面上没有一点儿残留的剩物。
在返回的途中,我自信的对老师说:“这次春游我受益非浅,长天后,我一定要继承革命先烈遗
志,成为国家的有用之才。那么,我就要从现在做起,不仅要发奋图强,努力学习,更要懂得做一个感
因之人!"这次春游将成为我最美好的回忆!
Ⅳ 论述在Python程序中如何导入OpenCV以及matplotlib库中的pyplot
首先分两个:第一个:
Python程序中如何导入OpenCV
解决方法:
找到opencv源代码中的cv2文件夹
复制到anaconda的lib文件夹中
再导入cv2,就好了。
然后python 3.7中导入
没有安装anaconda,只安装了python的也可以将cv2复制到python的安装路径下的(C:Program FilesPython37Libsite-packages)文件夹中。
opencv4.3.0中的cv2
是opencv4.3.0可以看到,应该是其支持这几个版本的python。
现在仅仅是可以将cv2导入,但是由于python和opencv的版本支持问题,并不一定可以使用cv2中所有的方法,若遇到问题,可以在评论区写下,一起探索下奥。
以上内容为学习交流使用,纯属个人经验,采纳需谨慎!
解决方式如下:
解决方法:更换低版本matplotlib
pip3 uninstall matplotlib就可以解导入matplotlib库中的pyplot的问题了!
希望这些能帮助到你!