图像拼接计算法

‘壹’ 基于SIFT尺度不变特征变换的图像拼接算法

工业管道在工矿企业中广泛应用，但因特殊工作环境，易发生堵塞和爆裂，影响设备安全甚至造成人员伤亡。目前，大多数无损检测技术受限于管道材质、壁厚和成本，不适用于工业热力管道检测。为解决此问题，本文研究基于工业内窥镜的管道视频图像无损检测方法。内窥镜采集的视频图像需通过展开、拼接等操作，实现二维平面重建和探伤面积统计，提高检测精度与效率，降低成本，不受管道属性限制。

目前，管道无损检测主要采用超声波、漏磁和光学检测方法。超声波检测便捷，不受壁厚和材料影响，适用于腐蚀检测，但对均质流体敏感，受尺寸限制，不适用于不规则探伤。漏磁检测法有效识别中型管道缺陷，避免漏检，但检测范围有限，壁厚限制为12mm，易受干扰，空间分辨率差。传统光学检测依赖人工图像采集，图像处理耗时耗力，结果精度不足。

我国对管道在线检测技术高度重视，但研究多集中在检测技术方面，对内部探伤检测研究较少。常用降低输送流量和重复检测，但存在高漏检率、长作业周期和成本高问题，影响居民生活和企业生产。工业内窥镜结合图像处理技术，能有效放大检测范围，通过高清摄像头获得清晰图像，直观观测损伤信息，结合数字图像处理实现高效检测统计，不受管道材料限制，设备简单易操作。已有多学者进行技术研究，取得理论成果，但至今尚未有相应检测设备问世。

图像拼接技术是图像融合的基础，包括图像配准和融合。80年代，Kuslin和Hines提出基于相位的图像拼接方法，利用傅里叶变换和互功率谱计算图像间相位平移，最终得到完整拼接图像。Burt P提出拉普拉斯金字塔变换，根据不同尺度分解图像，提取边缘、纹理等特征信息，融合信息后逆变换得到拼接结果。Harris提出角点检测算法，结合自相关函数，具有尺度旋转、平移不变性，鲁棒性好。Fonseca等人提出通过小波变换模值的极大值确定边缘特征信息。Lowe提出尺度不变特征变换（SIFT）算法，具有良好的尺度不变性和旋转不变性，对物理干扰有鲁棒性。Ba Y提出速度更快的SURF算法，Jungpil Shin提出能量谱相关技术消除拼接后图像重影。

图像拼接技术近年来在中国取得一定研究成果。张祖勋等人提出基于传感器和空间分辨率的图像快速匹配法。侯舒维等人利用金字塔分层结构和特征块匹配快速拼接。张建奇、杨翠等人提出新的彩色图像配准方法，利用最邻近匹配和参数计算进行图像配准。刘美莹等人提出基于角点特征的图像拼接方法，具有高定位精度、算法速度快、鲁棒性好的特点。白廷柱等人结合距离配准与向量空间余弦相似性配准降低误匹配率。雒培磊等人提出基于深度学习的图像拼接算法，利用卷积神经网络分析不同深度特征，解决传统算法在遥感影像拼接中无法充分利用丰富特征的问题。

图像拼接结果包括初始匹配点、基础矩阵约束、匹配点均匀分布和最终拼接结果。通过这些步骤，实现高质量图像拼接，提高检测效果，为管道无损检测提供重要支持。

‘贰’ 图像的特征提取都有哪些算法

常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。

一 颜色特征

（一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。

（二）常用的特征提取与匹配方法

（1） 颜色直方图

其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。

最常用的颜色空间：RGB颜色空间、HSV颜色空间。

颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。

（2） 颜色集

颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从 RGB颜色空间转化成视觉均衡的颜色空间（如 HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系

（3） 颜色矩

这种方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。

（4） 颜色聚合向量

其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。

（5） 颜色相关图

二 纹理特征

（一）特点：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。

例如，水中的倒影，光滑的金属面互相反射造成的影响等都会导致纹理的变化。由于这些不是物体本身的特性，因而将纹理信息应用于检索时，有时这些虚假的纹理会对检索造成“误导”。

在检索具有粗细、疏密等方面较大差别的纹理图像时，利用纹理特征是一种有效的方法。但当纹理之间的粗细、疏密等易于分辨的信息之间相差不大的时候，通常的纹理特征很难准确地反映出人的视觉感觉不同的纹理之间的差别。

（二）常用的特征提取与匹配方法

纹理特征描述方法分类

（1）统计方法统计方法的典型代表是一种称为灰度共生矩阵的纹理特征分析方法Gotlieb 和 Kreyszig 等人在研究共生矩阵中各种统计特征基础上，通过实验，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性。统计方法中另一种典型方法，则是从图像的自相关函数（即图像的能量谱函数）提取纹理特征，即通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数

（2）几何法

所谓几何法，是建立在纹理基元（基本的纹理元素）理论基础上的一种纹理特征分析方法。纹理基元理论认为，复杂的纹理可以由若干简单的纹理基元以一定的有规律的形式重复排列构成。在几何法中，比较有影响的算法有两种：Voronio 棋盘格特征法和结构法。

（3）模型法

模型法以图像的构造模型为基础，采用模型的参数作为纹理特征。典型的方法是随机场模型法，如马尔可夫（Markov）随机场（MRF）模型法和 Gibbs 随机场模型法

（4）信号处理法

纹理特征的提取与匹配主要有：灰度共生矩阵、Tamura 纹理特征、自回归纹理模型、小波变换等。

灰度共生矩阵特征提取与匹配主要依赖于能量、惯量、熵和相关性四个参数。Tamura 纹理特征基于人类对纹理的视觉感知心理学研究，提出6种属性，即：粗糙度、对比度、方向度、线像度、规整度和粗略度。自回归纹理模型（simultaneous auto-regressive, SAR）是马尔可夫随机场（MRF）模型的一种应用实例。

三 形状特征

（一）特点：各种基于形状特征的检索方法都可以比较有效地利用图像中感兴趣的目标来进行检索，但它们也有一些共同的问题，包括：①目前基于形状的检索方法还缺乏比较完善的数学模型；②如果目标有变形时检索结果往往不太可靠；③许多形状特征仅描述了目标局部的性质，要全面描述目标常对计算时间和存储量有较高的要求；④许多形状特征所反映的目标形状信息与人的直观感觉不完全一致，或者说，特征空间的相似性与人视觉系统感受到的相似性有差别。另外，从 2-D 图像中表现的 3-D 物体实际上只是物体在空间某一平面的投影，从 2-D 图像中反映出来的形状常不是 3-D 物体真实的形状，由于视点的变化，可能会产生各种失真。

（二）常用的特征提取与匹配方法

Ⅰ几种典型的形状特征描述方法

通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。

几种典型的形状特征描述方法：

（1）边界特征法该方法通过对边界特征的描述来获取图像的形状参数。其中Hough 变换检测平行直线方法和边界方向直方图方法是经典方法。Hough 变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法，其基本思想是点—线的对偶性；边界方向直方图法首先微分图像求得图像边缘，然后，做出关于边缘大小和方向的直方图，通常的方法是构造图像灰度梯度方向矩阵。

（2）傅里叶形状描述符法

傅里叶形状描述符(Fourier shape descriptors)基本思想是用物体边界的傅里叶变换作为形状描述，利用区域边界的封闭性和周期性，将二维问题转化为一维问题。

由边界点导出三种形状表达，分别是曲率函数、质心距离、复坐标函数。

（3）几何参数法

形状的表达和匹配采用更为简单的区域特征描述方法，例如采用有关形状定量测度（如矩、面积、周长等）的形状参数法（shape factor）。在 QBIC 系统中，便是利用圆度、偏心率、主轴方向和代数不变矩等几何参数，进行基于形状特征的图像检索。

需要说明的是，形状参数的提取，必须以图像处理及图像分割为前提，参数的准确性必然受到分割效果的影响，对分割效果很差的图像，形状参数甚至无法提取。

（4）形状不变矩法

利用目标所占区域的矩作为形状描述参数。

（5）其它方法

近年来，在形状的表示和匹配方面的工作还包括有限元法（Finite Element Method 或 FEM）、旋转函数（Turning Function）和小波描述符（Wavelet Descriptor）等方法。

Ⅱ 基于小波和相对矩的形状特征提取与匹配

该方法先用小波变换模极大值得到多尺度边缘图像，然后计算每一尺度的 7个不变矩，再转化为 10 个相对矩，将所有尺度上的相对矩作为图像特征向量，从而统一了区域和封闭、不封闭结构。

四 空间关系特征

（一）特点：所谓空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。通常空间位置信息可以分为两类：相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况，如上下左右关系等，后一种关系强调的是目标之间的距离大小以及方位。显而易见，由绝对空间位置可推出相对空间位置，但表达相对空间位置信息常比较简单。

空间关系特征的使用可加强对图像内容的描述区分能力，但空间关系特征常对图像或目标的旋转、反转、尺度变化等比较敏感。另外，实际应用中，仅仅利用空间信息往往是不够的，不能有效准确地表达场景信息。为了检索，除使用空间关系特征外，还需要其它特征来配合。

（二）常用的特征提取与匹配方法
提取图像空间关系特征可以有两种方法：一种方法是首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；另一种方法则简单地将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引。

‘叁’ 比如我有分割开的2部分图片但尺寸不同，如何准确拼接

首先，将其中一个图像的宽度通过“图像--图像大小”将宽度调整到与另一个图像一致（比如我调整的是头像部分）。其次，新建一个宽度与先前确认的图像宽度一致，高度足够拼接两张图片的空白图，依次复制粘贴--自由变换调整位置，将两张图完美拼接，若高度设置过大，框选裁切即可。

‘肆’ GPU上图像拼接的快速计算

图像拼接已被研究并广泛应用于计算机科学的许多领域，但在特征匹配、扭曲和混合步骤中存在大量计算。从而无法满足某些应用的实时性需求。幸运的是，已经在图形处理器单元 (GPU) 上开发并实现了一些可以加快拼接过程的相关并行操作。在本文中，我们使用统一计算设备架构 (CUDA) 提出了基于 GPU 的图像拼接的并行实现。我们在执行时间方面获得了比在中央处理单元 (CPU) 上实现更好的结果。在实验中使用集成 GPU GTX745 时，我们对大输入图像实现了高达 27.6 倍的加速比。

典型的拼接过程主要包括三个不同的图像处理步骤，即配准、扭曲和插值以及混合。图像配准是图像拼接的关键任务。配准是指在描绘同一场景的一对图像之间建立几何变换，该变换由一个8自由度的平面单应性决定。

GPU以其强大的并行计算能力吸引许多领域的研究，作为一种协处理器对计算量大的算法加速已成为实践的重要途径。在前人的研究中，他们都避免了考虑两个极其耗时的步骤，即特征匹配和随机样本共识（RANSAC）。作为图像配准中的两个关键过程，在提出的 GPU 加速并行算法中应考虑它们。

使用GPU并行计算会遇到两个限制

CUDA的出现解决了上述问题，并且CUDA使用C语言，最初为CPU编写的C语言函数可以移植到CUDA内核，无需修改。

在CUDA中，一定数量的线程被分组到一个块中，一定数量的块以规则的网格模式在逻辑上排列（见图1）。每个块都映射到一个多处理器，一个多处理器可以同时运行多个线程块。由于本地资源（寄存器和共享内存）在块之间进行划分，包含在同一块中的线程可以访问相同的共享内存并快速实现同步操作。但是，不同块中的线程并不能直接实现通信和同步。除了本地寄存器和共享内存，所有线程都可以访问全局内存、常量内存和纹理内存。

A. 特征匹配

令点 经过仿射变换后得到 ，即

向量 是平移分量， 控制缩放、旋转效果。利用齐次坐标系，方程(2)也可以写为

接着计算两幅图像特征点之间的欧几里得距离，并将距离按照升序排序，比较升序排序中第一和第二的比值如果小于某个阈值，则认为是匹配点。

由于 中有六个未知参数，随机选择3对不共线的点匹配 ，使用该矩阵 计算剩余 对匹配点的误差。执行大量迭代，直到内点对最多。可以使用最小二乘估计器估计所有六个参数。

B. 变形和插值

扭曲变形过程中，可能使像素点位置出现负值或者没有数值与之对应，在这种抢矿下需要插值算法创建更平滑和准确的数值，进一步减少翘曲中产生的变形。最常用的插值方法是最近邻插值、双线性插值和双三次插值。考虑到精度和计算复杂度之间的权衡，实验采用双线性插值算法。

C. 混合

为了实现并行计算，本文采用了基于羽化的混合方法，其混合函数可以表示为：

其中 是像素 的权重函数。

A. 并行匹配

匹配分为粗匹配和精匹配。粗匹配过程中，块线程数由特征元素数决定，每个块可以实现一个关键点之间的匹配，每个线程计算两个图像两个特征向量的距离。在计算完所有距离后，使用并行计算的归并排序对距离值排序。最后，所有块得到的匹配结果存储在全局内存中，然后传送到CPU。

精匹配过程，设计内核执行RANSAC迭代，只启动一个block，线程数为 ，首先用CPU将三个非共线点计算得到的变换矩阵 ，然后将 、阈值和剩余 个点传到GPU，判断内外点。

通过内存分配，可以实现精细匹配优化。

B. 平行变形和插值

将 矩阵的逆矩阵 存放在常量内存中，由于需要频繁地调用。将待校正的图像存放在纹理内存中，纹理内存是专门为本地访问模式设计的。

为了进一步提升性能，若两个坐标小数部分小于0.2则强度值分配为整数部分，否则使用双线性插值。

C. 并行混合

由于混合数是像素和像素的混合，因此线程数等于重叠部分包含的像素。令重叠图像的列数设置为16的倍数。 gridDim.x的大小等于重叠图像的行数，gridDim.y的大小等于重叠图像的列数重叠图像除以16。

基于 CPU 的算法在配备 16GMB DDR3 RAM 的 Intel Core i7-4790、3.60GHz 处理器上实现。基于 GPU 的算法在 NVIDIA GeForce GTX745 集成显卡上进行测试，每块最大 1024 个线程和 4096 MB 全局内存。

可以清楚地看到，这两种图像之间几乎没有差异。原因是实验中使用的GPU卡支持浮点计算，与CPU版本相比产生的误差非常小。

在本文中，我们提出了一种使用 CUDA 架构在 GPU 上运行的并行图像拼接方法。顺序算法通过几个 CUDA 内核转换为并行版本。通过使用不同类型的内存，我们实现了并行算法的优化。同时，将GPU获得的结果与CPU获得的结果进行比较，我们实现了高达27.6的加速比。尽管所提出的方法显着提高了计算性能，但仍有许多工作要做。例如，更精确的插值方法（双三次插值）和可变权重 c( x, y) 可以考虑进一步改善镶嵌结果。此外，并行镶嵌算法也可以在多个GPU平台上运行，对于大数据可以更有效地执行算法。在今后的工作中，我们将一一处理这些问题。