圖像拼接計演算法

『壹』 基於SIFT尺度不變特徵變換的圖像拼接演算法

工業管道在工礦企業中廣泛應用，但因特殊工作環境，易發生堵塞和爆裂，影響設備安全甚至造成人員傷亡。目前，大多數無損檢測技術受限於管道材質、壁厚和成本，不適用於工業熱力管道檢測。為解決此問題，本文研究基於工業內窺鏡的管道視頻圖像無損檢測方法。內窺鏡採集的視頻圖像需通過展開、拼接等操作，實現二維平面重建和探傷面積統計，提高檢測精度與效率，降低成本，不受管道屬性限制。

目前，管道無損檢測主要採用超聲波、漏磁和光學檢測方法。超聲波檢測便捷，不受壁厚和材料影響，適用於腐蝕檢測，但對均質流體敏感，受尺寸限制，不適用於不規則探傷。漏磁檢測法有效識別中型管道缺陷，避免漏檢，但檢測范圍有限，壁厚限制為12mm，易受干擾，空間解析度差。傳統光學檢測依賴人工圖像採集，圖像處理耗時耗力，結果精度不足。

我國對管道在線檢測技術高度重視，但研究多集中在檢測技術方面，對內部探傷檢測研究較少。常用降低輸送流量和重復檢測，但存在高漏檢率、長作業周期和成本高問題，影響居民生活和企業生產。工業內窺鏡結合圖像處理技術，能有效放大檢測范圍，通過高清攝像頭獲得清晰圖像，直觀觀測損傷信息，結合數字圖像處理實現高效檢測統計，不受管道材料限制，設備簡單易操作。已有多學者進行技術研究，取得理論成果，但至今尚未有相應檢測設備問世。

圖像拼接技術是圖像融合的基礎，包括圖像配准和融合。80年代，Kuslin和Hines提出基於相位的圖像拼接方法，利用傅里葉變換和互功率譜計算圖像間相位平移，最終得到完整拼接圖像。Burt P提出拉普拉斯金字塔變換，根據不同尺度分解圖像，提取邊緣、紋理等特徵信息，融合信息後逆變換得到拼接結果。Harris提出角點檢測演算法，結合自相關函數，具有尺度旋轉、平移不變性，魯棒性好。Fonseca等人提出通過小波變換模值的極大值確定邊緣特徵信息。Lowe提出尺度不變特徵變換（SIFT）演算法，具有良好的尺度不變性和旋轉不變性，對物理干擾有魯棒性。Ba Y提出速度更快的SURF演算法，Jungpil Shin提出能量譜相關技術消除拼接後圖像重影。

圖像拼接技術近年來在中國取得一定研究成果。張祖勛等人提出基於感測器和空間解析度的圖像快速匹配法。侯舒維等人利用金字塔分層結構和特徵塊匹配快速拼接。張建奇、楊翠等人提出新的彩色圖像配准方法，利用最鄰近匹配和參數計算進行圖像配准。劉美瑩等人提出基於角點特徵的圖像拼接方法，具有高定位精度、演算法速度快、魯棒性好的特點。白廷柱等人結合距離配准與向量空間餘弦相似性配准降低誤匹配率。雒培磊等人提出基於深度學習的圖像拼接演算法，利用卷積神經網路分析不同深度特徵，解決傳統演算法在遙感影像拼接中無法充分利用豐富特徵的問題。

圖像拼接結果包括初始匹配點、基礎矩陣約束、匹配點均勻分布和最終拼接結果。通過這些步驟，實現高質量圖像拼接，提高檢測效果，為管道無損檢測提供重要支持。

『貳』 圖像的特徵提取都有哪些演算法

常用的圖像特徵有顏色特徵、紋理特徵、形狀特徵、空間關系特徵。

一 顏色特徵

（一）特點：顏色特徵是一種全局特徵,描述了圖像或圖像區域所對應的景物的表面性質。一般顏色特徵是基於像素點的特徵，此時所有屬於圖像或圖像區域的像素都有各自的貢獻。由於顏色對圖像或圖像區域的方向、大小等變化不敏感，所以顏色特徵不能很好地捕捉圖像中對象的局部特徵。另外，僅使用顏色特徵查詢時，如果資料庫很大，常會將許多不需要的圖像也檢索出來。顏色直方圖是最常用的表達顏色特徵的方法，其優點是不受圖像旋轉和平移變化的影響，進一步藉助歸一化還可不受圖像尺度變化的影響，基缺點是沒有表達出顏色空間分布的信息。

（二）常用的特徵提取與匹配方法

（1） 顏色直方圖

其優點在於：它能簡單描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所佔的比例，特別適用於描述那些難以自動分割的圖像和不需要考慮物體空間位置的圖像。其缺點在於：它無法描述圖像中顏色的局部分布及每種色彩所處的空間位置，即無法描述圖像中的某一具體的對象或物體。

最常用的顏色空間：RGB顏色空間、HSV顏色空間。

顏色直方圖特徵匹配方法：直方圖相交法、距離法、中心距法、參考顏色表法、累加顏色直方圖法。

（2） 顏色集

顏色直方圖法是一種全局顏色特徵提取與匹配方法，無法區分局部顏色信息。顏色集是對顏色直方圖的一種近似首先將圖像從 RGB顏色空間轉化成視覺均衡的顏色空間（如 HSV 空間），並將顏色空間量化成若干個柄。然後，用色彩自動分割技術將圖像分為若干區域，每個區域用量化顏色空間的某個顏色分量來索引，從而將圖像表達為一個二進制的顏色索引集。在圖像匹配中，比較不同圖像顏色集之間的距離和色彩區域的空間關系

（3） 顏色矩

這種方法的數學基礎在於：圖像中任何的顏色分布均可以用它的矩來表示。此外，由於顏色分布信息主要集中在低階矩中，因此，僅採用顏色的一階矩（mean）、二階矩（variance）和三階矩（skewness）就足以表達圖像的顏色分布。

（4） 顏色聚合向量

其核心思想是：將屬於直方圖每一個柄的像素分成兩部分，如果該柄內的某些像素所佔據的連續區域的面積大於給定的閾值，則該區域內的像素作為聚合像素，否則作為非聚合像素。

（5） 顏色相關圖

二 紋理特徵

（一）特點：紋理特徵也是一種全局特徵，它也描述了圖像或圖像區域所對應景物的表面性質。但由於紋理只是一種物體表面的特性，並不能完全反映出物體的本質屬性，所以僅僅利用紋理特徵是無法獲得高層次圖像內容的。與顏色特徵不同，紋理特徵不是基於像素點的特徵，它需要在包含多個像素點的區域中進行統計計算。在模式匹配中，這種區域性的特徵具有較大的優越性，不會由於局部的偏差而無法匹配成功。作為一種統計特徵，紋理特徵常具有旋轉不變性，並且對於雜訊有較強的抵抗能力。但是，紋理特徵也有其缺點，一個很明顯的缺點是當圖像的解析度變化的時候，所計算出來的紋理可能會有較大偏差。另外，由於有可能受到光照、反射情況的影響，從2-D圖像中反映出來的紋理不一定是3-D物體表面真實的紋理。

例如，水中的倒影，光滑的金屬面互相反射造成的影響等都會導致紋理的變化。由於這些不是物體本身的特性，因而將紋理信息應用於檢索時，有時這些虛假的紋理會對檢索造成「誤導」。

在檢索具有粗細、疏密等方面較大差別的紋理圖像時，利用紋理特徵是一種有效的方法。但當紋理之間的粗細、疏密等易於分辨的信息之間相差不大的時候，通常的紋理特徵很難准確地反映出人的視覺感覺不同的紋理之間的差別。

（二）常用的特徵提取與匹配方法

紋理特徵描述方法分類

（1）統計方法統計方法的典型代表是一種稱為灰度共生矩陣的紋理特徵分析方法Gotlieb 和 Kreyszig 等人在研究共生矩陣中各種統計特徵基礎上，通過實驗，得出灰度共生矩陣的四個關鍵特徵：能量、慣量、熵和相關性。統計方法中另一種典型方法，則是從圖像的自相關函數（即圖像的能量譜函數）提取紋理特徵，即通過對圖像的能量譜函數的計算，提取紋理的粗細度及方向性等特徵參數

（2）幾何法

所謂幾何法，是建立在紋理基元（基本的紋理元素）理論基礎上的一種紋理特徵分析方法。紋理基元理論認為，復雜的紋理可以由若干簡單的紋理基元以一定的有規律的形式重復排列構成。在幾何法中，比較有影響的演算法有兩種：Voronio 棋盤格特徵法和結構法。

（3）模型法

模型法以圖像的構造模型為基礎，採用模型的參數作為紋理特徵。典型的方法是隨機場模型法，如馬爾可夫（Markov）隨機場（MRF）模型法和 Gibbs 隨機場模型法

（4）信號處理法

紋理特徵的提取與匹配主要有：灰度共生矩陣、Tamura 紋理特徵、自回歸紋理模型、小波變換等。

灰度共生矩陣特徵提取與匹配主要依賴於能量、慣量、熵和相關性四個參數。Tamura 紋理特徵基於人類對紋理的視覺感知心理學研究，提出6種屬性，即：粗糙度、對比度、方向度、線像度、規整度和粗略度。自回歸紋理模型（simultaneous auto-regressive, SAR）是馬爾可夫隨機場（MRF）模型的一種應用實例。

三 形狀特徵

（一）特點：各種基於形狀特徵的檢索方法都可以比較有效地利用圖像中感興趣的目標來進行檢索，但它們也有一些共同的問題，包括：①目前基於形狀的檢索方法還缺乏比較完善的數學模型；②如果目標有變形時檢索結果往往不太可靠；③許多形狀特徵僅描述了目標局部的性質，要全面描述目標常對計算時間和存儲量有較高的要求；④許多形狀特徵所反映的目標形狀信息與人的直觀感覺不完全一致，或者說，特徵空間的相似性與人視覺系統感受到的相似性有差別。另外，從 2-D 圖像中表現的 3-D 物體實際上只是物體在空間某一平面的投影，從 2-D 圖像中反映出來的形狀常不是 3-D 物體真實的形狀，由於視點的變化，可能會產生各種失真。

（二）常用的特徵提取與匹配方法

Ⅰ幾種典型的形狀特徵描述方法

通常情況下，形狀特徵有兩類表示方法，一類是輪廓特徵，另一類是區域特徵。圖像的輪廓特徵主要針對物體的外邊界，而圖像的區域特徵則關繫到整個形狀區域。

幾種典型的形狀特徵描述方法：

（1）邊界特徵法該方法通過對邊界特徵的描述來獲取圖像的形狀參數。其中Hough 變換檢測平行直線方法和邊界方向直方圖方法是經典方法。Hough 變換是利用圖像全局特性而將邊緣像素連接起來組成區域封閉邊界的一種方法，其基本思想是點—線的對偶性；邊界方向直方圖法首先微分圖像求得圖像邊緣，然後，做出關於邊緣大小和方向的直方圖，通常的方法是構造圖像灰度梯度方向矩陣。

（2）傅里葉形狀描述符法

傅里葉形狀描述符(Fourier shape descriptors)基本思想是用物體邊界的傅里葉變換作為形狀描述，利用區域邊界的封閉性和周期性，將二維問題轉化為一維問題。

由邊界點導出三種形狀表達，分別是曲率函數、質心距離、復坐標函數。

（3）幾何參數法

形狀的表達和匹配採用更為簡單的區域特徵描述方法，例如採用有關形狀定量測度（如矩、面積、周長等）的形狀參數法（shape factor）。在 QBIC 系統中，便是利用圓度、偏心率、主軸方向和代數不變矩等幾何參數，進行基於形狀特徵的圖像檢索。

需要說明的是，形狀參數的提取，必須以圖像處理及圖像分割為前提，參數的准確性必然受到分割效果的影響，對分割效果很差的圖像，形狀參數甚至無法提取。

（4）形狀不變矩法

利用目標所佔區域的矩作為形狀描述參數。

（5）其它方法

近年來，在形狀的表示和匹配方面的工作還包括有限元法（Finite Element Method 或 FEM）、旋轉函數（Turning Function）和小波描述符（Wavelet Descriptor）等方法。

Ⅱ 基於小波和相對矩的形狀特徵提取與匹配

該方法先用小波變換模極大值得到多尺度邊緣圖像，然後計算每一尺度的 7個不變矩，再轉化為 10 個相對矩，將所有尺度上的相對矩作為圖像特徵向量，從而統一了區域和封閉、不封閉結構。

四 空間關系特徵

（一）特點：所謂空間關系，是指圖像中分割出來的多個目標之間的相互的空間位置或相對方向關系，這些關系也可分為連接/鄰接關系、交疊/重疊關系和包含/包容關系等。通常空間位置信息可以分為兩類：相對空間位置信息和絕對空間位置信息。前一種關系強調的是目標之間的相對情況，如上下左右關系等，後一種關系強調的是目標之間的距離大小以及方位。顯而易見，由絕對空間位置可推出相對空間位置，但表達相對空間位置信息常比較簡單。

空間關系特徵的使用可加強對圖像內容的描述區分能力，但空間關系特徵常對圖像或目標的旋轉、反轉、尺度變化等比較敏感。另外，實際應用中，僅僅利用空間信息往往是不夠的，不能有效准確地表達場景信息。為了檢索，除使用空間關系特徵外，還需要其它特徵來配合。

（二）常用的特徵提取與匹配方法
提取圖像空間關系特徵可以有兩種方法：一種方法是首先對圖像進行自動分割，劃分出圖像中所包含的對象或顏色區域，然後根據這些區域提取圖像特徵，並建立索引；另一種方法則簡單地將圖像均勻地劃分為若干規則子塊，然後對每個圖像子塊提取特徵，並建立索引。

『叄』 比如我有分割開的2部分圖片但尺寸不同，如何准確拼接

首先，將其中一個圖像的寬度通過「圖像--圖像大小」將寬度調整到與另一個圖像一致（比如我調整的是頭像部分）。其次，新建一個寬度與先前確認的圖像寬度一致，高度足夠拼接兩張圖片的空白圖，依次復制粘貼--自由變換調整位置，將兩張圖完美拼接，若高度設置過大，框選裁切即可。

『肆』 GPU上圖像拼接的快速計算

圖像拼接已被研究並廣泛應用於計算機科學的許多領域，但在特徵匹配、扭曲和混合步驟中存在大量計算。從而無法滿足某些應用的實時性需求。幸運的是，已經在圖形處理器單元 (GPU) 上開發並實現了一些可以加快拼接過程的相關並行操作。在本文中，我們使用統一計算設備架構 (CUDA) 提出了基於 GPU 的圖像拼接的並行實現。我們在執行時間方面獲得了比在中央處理單元 (CPU) 上實現更好的結果。在實驗中使用集成 GPU GTX745 時，我們對大輸入圖像實現了高達 27.6 倍的加速比。

典型的拼接過程主要包括三個不同的圖像處理步驟，即配准、扭曲和插值以及混合。圖像配準是圖像拼接的關鍵任務。配準是指在描繪同一場景的一對圖像之間建立幾何變換，該變換由一個8自由度的平面單應性決定。

GPU以其強大的並行計算能力吸引許多領域的研究，作為一種協處理器對計算量大的演算法加速已成為實踐的重要途徑。在前人的研究中，他們都避免了考慮兩個極其耗時的步驟，即特徵匹配和隨機樣本共識（RANSAC）。作為圖像配准中的兩個關鍵過程，在提出的 GPU 加速並行演算法中應考慮它們。

使用GPU並行計算會遇到兩個限制

CUDA的出現解決了上述問題，並且CUDA使用C語言，最初為CPU編寫的C語言函數可以移植到CUDA內核，無需修改。

在CUDA中，一定數量的線程被分組到一個塊中，一定數量的塊以規則的網格模式在邏輯上排列（見圖1）。每個塊都映射到一個多處理器，一個多處理器可以同時運行多個線程塊。由於本地資源（寄存器和共享內存）在塊之間進行劃分，包含在同一塊中的線程可以訪問相同的共享內存並快速實現同步操作。但是，不同塊中的線程並不能直接實現通信和同步。除了本地寄存器和共享內存，所有線程都可以訪問全局內存、常量內存和紋理內存。

A. 特徵匹配

令點 經過仿射變換後得到 ，即

向量 是平移分量， 控制縮放、旋轉效果。利用齊次坐標系，方程(2)也可以寫為

接著計算兩幅圖像特徵點之間的歐幾里得距離，並將距離按照升序排序，比較升序排序中第一和第二的比值如果小於某個閾值，則認為是匹配點。

由於 中有六個未知參數，隨機選擇3對不共線的點匹配 ，使用該矩陣 計算剩餘 對匹配點的誤差。執行大量迭代，直到內點對最多。可以使用最小二乘估計器估計所有六個參數。

B. 變形和插值

扭曲變形過程中，可能使像素點位置出現負值或者沒有數值與之對應，在這種搶礦下需要插值演算法創建更平滑和准確的數值，進一步減少翹曲中產生的變形。最常用的插值方法是最近鄰插值、雙線性插值和雙三次插值。考慮到精度和計算復雜度之間的權衡，實驗採用雙線性插值演算法。

C. 混合

為了實現並行計算，本文採用了基於羽化的混合方法，其混合函數可以表示為：

其中 是像素 的權重函數。

A. 並行匹配

匹配分為粗匹配和精匹配。粗匹配過程中，塊線程數由特徵元素數決定，每個塊可以實現一個關鍵點之間的匹配，每個線程計算兩個圖像兩個特徵向量的距離。在計算完所有距離後，使用並行計算的歸並排序對距離值排序。最後，所有塊得到的匹配結果存儲在全局內存中，然後傳送到CPU。

精匹配過程，設計內核執行RANSAC迭代，只啟動一個block，線程數為 ，首先用CPU將三個非共線點計算得到的變換矩陣 ，然後將 、閾值和剩餘 個點傳到GPU，判斷內外點。

通過內存分配，可以實現精細匹配優化。

B. 平行變形和插值

將 矩陣的逆矩陣 存放在常量內存中，由於需要頻繁地調用。將待校正的圖像存放在紋理內存中，紋理內存是專門為本地訪問模式設計的。

為了進一步提升性能，若兩個坐標小數部分小於0.2則強度值分配為整數部分，否則使用雙線性插值。

C. 並行混合

由於混合數是像素和像素的混合，因此線程數等於重疊部分包含的像素。令重疊圖像的列數設置為16的倍數。 gridDim.x的大小等於重疊圖像的行數，gridDim.y的大小等於重疊圖像的列數重疊圖像除以16。

基於 CPU 的演算法在配備 16GMB DDR3 RAM 的 Intel Core i7-4790、3.60GHz 處理器上實現。基於 GPU 的演算法在 NVIDIA GeForce GTX745 集成顯卡上進行測試，每塊最大 1024 個線程和 4096 MB 全局內存。

可以清楚地看到，這兩種圖像之間幾乎沒有差異。原因是實驗中使用的GPU卡支持浮點計算，與CPU版本相比產生的誤差非常小。

在本文中，我們提出了一種使用 CUDA 架構在 GPU 上運行的並行圖像拼接方法。順序演算法通過幾個 CUDA 內核轉換為並行版本。通過使用不同類型的內存，我們實現了並行演算法的優化。同時，將GPU獲得的結果與CPU獲得的結果進行比較，我們實現了高達27.6的加速比。盡管所提出的方法顯著提高了計算性能，但仍有許多工作要做。例如，更精確的插值方法（雙三次插值）和可變權重 c( x, y) 可以考慮進一步改善鑲嵌結果。此外，並行鑲嵌演算法也可以在多個GPU平台上運行，對於大數據可以更有效地執行演算法。在今後的工作中，我們將一一處理這些問題。