1. LabVIEW圖像模式匹配（基礎篇—11）
圖像模式匹配是指通過分析模板圖像和目標圖像中灰度、邊緣、外形結構以及對應關系等特徵的相似性和一致性，從目標圖像中尋找與模板圖像相同或相似區域的過程。圖像模式匹配是機器視覺系統最重要的功能之一，基於它可以實現目標對准、測量、檢測以及分類等應用。
圖像的模式匹配過程一般包括學習（Learning）和匹配（Matching）兩個階段。在學習階段，演算法會從模板圖像中提取用於進行圖像匹配的特徵信息，並將它們以便於搜索的方式存放在模板圖像中以備後用。在圖像匹配階段，演算法從被測目標圖像中提取同類型的特徵信息，分析它們與模板圖像中特徵信息的相似性和一致性，以確定目標圖像中與模板圖像相匹配的區域。圖像匹配過程一般以模板圖像和被測的目標圖像作為輸入，輸出匹配目標的數量、位置、角度相對於模板的縮放比例，以及用得分值表示的與模板圖像之間的相似程度。
根據所基於的特徵模式不同，圖像模式匹配可分為灰度匹配、幾何匹配和色彩匹配幾大類，在本章中僅講解灰度匹配和幾何匹配。
圖像的灰度匹配（Grayscale Matching）以像素灰度或灰度梯度信息為特徵，通過計算模板圖像與目標圖像區域之間的歸一化的互相關值（Normalized Cross-Correlation）來確定匹配區域。
幾何匹配（Geometric Matching）又可分為基於邊緣曲線（Edge Based）的幾何匹配和基於目標外形特徵(Feature Based）的幾何匹配兩大類。基於邊緣曲線的幾何匹配使用圖像中邊緣曲線上每個像素點的梯度角度和像素相對模板中心的位置，實現圖像的模式匹配過程。基於目標外形特徵的幾何匹配則先從圖像中的邊緣曲線中提取角點、線段、矩形、圓形或橢圓等幾何形狀，然後再基於這些幾何形狀進行圖像匹配。
下圖對幾類圖像模式匹配過程的典型應用、演算法、優缺點以及常見輸出進行了匯總。其中也會紹圖像的灰度匹配和幾何匹配技術，色彩匹配將在後文再進行詳細介紹。
要使機器視覺系統的圖像模式匹配過程具有實用性，必須設法使模式匹配過程對以下幾種環境仍能保持相對一致的計算結果。
1、平移和旋轉
機器視覺系統的被測目標不一定都固定在視場內某一位置，而是可能在視場內平移或旋轉。圖像模式匹配演算法應仍具有平移不變性（Shift-Invariant）或旋轉不變性（RotateIlnvariant）。也就是說，即使被測目標在視場內有平移或旋轉，演算法也能准確匹配圖像中的被測目標，並返回其位置和相對模板圖像的旋轉角度。
2、尺度變化
圖像模式匹配演算法應仍具有尺度不變性（Scale-Invariant）。當被測目標的尺寸在機器視覺系統採集到的多個圖像中不固定時，演算法應能對多個圖像具有相對一致的匹配結果，並返回匹配目標相對於模板圖像的縮放比例。
3、目標交疊
圖像模式匹配演算法應具有對交疊（Partial Occlusion）目標檢測的能力，當被測目標之間有相互覆蓋的情況時，演算法應仍能正確匹配到目標，並返回被覆蓋部分佔整個目標的比例。下圖給出了一個圖像中被測目標旋轉、縮放及交疊的例子。
4、光源強度線性或非線性變化
圖像模式匹配演算法應對光源強度線性或非線性變化保持不變性。當機器視覺系統的光源強度整體變暗或變亮（圖像整體變暗或變亮），或視場中的光強呈非線性變化（圖像中各部分亮度不同）時，演算法仍能獲得相對一致的匹配結果。下圖顯示了光源強度線性變化和非線性變化時對機器視覺系統所採集圖像的影響。
5、雜訊和模糊目標
圖像模式匹配過程在圖像中含有雜訊或者被測目標模糊不清時，仍能准確匹配被測目標。例如對於下圖（b）和（c）中的雜訊圖像和模糊目標，演算法應仍能正確從中匹配模板圖像所示的電路板一角。
之前博文講到，圖像的灰度匹配過程以像素灰度或灰度梯度信息為特徵，通過計算模板圖像與目標圖像區域之間的歸一化的互相關值（Normalized Cross-Correlation）來確定匹配區域。
常見的圖像灰度匹配方法包括金字塔匹配法（Pyramidal Matching）和低差異采樣匹配法（Low Discrepancy Sampling，LDS）兩大類，其中金字塔匹配法又可分為基於灰度（Grayscale Based）的金字塔匹配法和基於閾值過濾梯度（GradientsBased）的金字塔匹配法兩種。
下圖對幾種圖像灰度匹配方法的特徵、匹配條件和策略以及優缺點進行了匯總：
Nl Vision使用位於LabVIEW的視覺與運動→Machine Vision→Searching andMatching函數選板中的IMAQ Learn Pattern 4和位於Machine Vision→Find Patterns函數選板中的IMAQ Find Pattern 4封裝了上述3種圖像灰度匹配方法。
其中，IMAQ Learn Pattern 4用於對模板進行學習，IMAQ Match Pattern 4用於進行模板匹配，如下圖所示：
函數說明及使用可參見幫助手冊：
圖像灰度匹配具有平移不變性，且能將旋轉不變性和實時性提高到實際應用可接受的范圍，但是它卻不支持尺度不變性。與圖像的灰度匹配不同，圖像的幾何匹配過程以被測目標的邊緣輪廓或其幾何外形作為特徵，通過比較模板圖像與目標圖像中這些特徵的差異來確定匹配區域。而被測目標的幾何外形是綜合角點、線段、矩形、圓形或橢圓等邊緣曲線對目標的抽象描述。相對於灰度匹配來說，幾何匹配具有平移/旋轉不變性、尺度不變性、重疊不變性、線性或非線性光源變化不變性、對比度反轉不變性以及抗噪性強等優點。
圖像幾何匹配分為基於邊緣曲線的幾何匹配和基於目標外形特徵的幾何匹配兩種，兩種方法均以邊緣曲線提取（Curve Extraction）為基礎。
基於邊緣曲線的幾何匹配對於對檢測目標的形狀沒有要求，只要從目標圖像中檢測到的邊緣能重現模板中的邊緣即可。但是，基於邊緣曲線的幾何匹配計算量較大，而且計算過程需要佔用較大內存，尤其在需要支持圖像縮放和旋轉時，顯得速度較慢。
基於目標外形特徵的幾何匹配方法在從圖像中提取到邊緣曲線後，會先從圖像中學習各種抽象層次較高的幾何特徵。學習過程對每個邊緣曲線進行多邊形近似擬合，並用可歸類到所擬合多邊形的邊緣線段構建完整的多邊形。這就會生成各種線性或拐角特徵，而基於這些特徵可進一步構建抽象層次更高的矩形目標輪廓。那些不能近似擬合為多邊形或直線的邊緣曲線或線段則用來創建圓形或橢圓特徵。在得到各種抽象層次較高的矩形、圓形或橢圓特徵後，演算法會根據特徵的類型、強度和明顯程度（Saliency）對特徵進行排序，並選取最佳特徵作為代表模板的特徵。用於排序的特徵類型包括矩形、圓形（或橢圓）、線段和拐角。而強度是特徵對幾何形狀描述的精確程度，明顯程度則用來描述特徵是否具有代表性。
特徵提取和排序過程後，是模板模型（Template Model）的構建過程。演算法根據各種特徵之間的空間關系，使用空間距離向量來描述它們在圖像中的分布，抽象出代表模板的模型。利用模板模型，可以在圖像匹配過程中對匹配區域進行驗證。下圖給出了一個幾何特徵提取的示例及檢測到的特徵分布。
在實際應用中，若發現機器視覺系統的被測目標可由矩形、圓形、橢圓、線段或拐角等明顯幾何形狀來表示，則可以使用基於目標外形特徵的幾何匹配方法來提高匹配過程的實時性。下圖對兩種圖像幾何匹配方法使用的特徵、匹配過程及優缺點進行了匯總。
NI Vision使用位於LabVIEW的視覺與運動→Machine Vision→Searching and Matching函數選板中的IMAQ Setup Learn Geometric Pattern 2、IMAQ Learn Geometric Pattern 2和IMAQ Setup Match Geometric Pattern 2、IMAQ MatchGeometric Pattern 2以及Geometric Matching Advanced (Edge Based）子選板中的IMAQ Advanced Setup Learn Geometric Pattern 2和IMAQ Advanced SetupMatch Geometric Pattern 2來實現基於邊緣曲線的幾何匹配過程。基於目標外形特徵的幾何匹配過程由Geometric Pattern Matching（Feature Based）子選板及其Geometric Matching Advanced （Feature Based）子選板中的VI來實現。
這兩種匹配方法的學習和匹配過程，均先使用參數設置VI對演算法進行配置，然後才使用配置參數調用VI完成學習或匹配過程，具體使用技巧各位可參見說明手冊，這里不再贅述。
在工業環境下，如果圖像背景可控，將圖像的減法運算和閾值化處理結合，可以快速有效地建立機器視覺系統。如果將同一目標在不同時間拍攝的圖像或在不同波段的圖像相減，即可獲得圖像的差影。圖像差影可用於動態監測、運動目標的檢測和跟蹤、圖像背景的消除及目標識別等。差影技術還可以用於消除圖像中不必要的疊加圖像，將混合圖像中重要的信息分離出來。
使用圖像減法運算進行缺陷檢測的原理較為簡單，但要直接使用它進行缺陷檢測，參與運算的圖像需要具備以下條件。
目標圖像和模板圖像中的被測件圖像尺寸相同；
目標圖像和模板圖像中的被測件圖像准確對准；
目標圖像中的被測件相對於模板圖像不存在畸變或畸變已經被矯正；
目標圖像和模板圖像中的被測件圖像不存在整體灰度差異；
其他雜訊的影響應提前被消除。
這些條件使得直接減法運算很難解決現實世界中的實際問題。例如，在下圖所示的硬碟機械針劃傷檢測實例中，模板圖像和故障圖像中的硬碟針圖像不僅尺寸相同，可准確對准，整體上不存在灰度差異，且無畸變，因此可以直接通過圖像減法獲得缺陷圖像。但是現實中，任何圖像錯位、圖像畸變、圖像灰度變化或雜訊，都會影響圖像減法運算進行缺陷檢測的結果。
由此可見，要使用圖像減法運算在實際工業環境中進行缺陷檢測，除了要確保被測件尺度不變外，還需要事先設法矯正圖像畸變，對准被測件圖像，盡量消除整體灰度差異和雜訊對圖像減法運算結果的影響。
黃金模板比較（Golden Template Comparison）正是基於圖像減法運算，綜合應用圖像對准、投影畸變矯正、灰度差異處理以及忽略部分邊緣等措施，在實際工業環境中進行目標缺陷檢測的一種方法。下圖匯總了黃金模板比較法的原理、輸出結果以及為提高演算法實用性在圖像減法運算的基礎上所採取的優化措施。
模板和目標圖像的對准對黃金模板比較法的正常執行至關重要，未對準的圖像進行減法運算的結果會產生差影。例如，在下圖所示的某微光瞄準鏡缺陷檢測實例中，若採集到的瞄準鏡視場發生了偏移，則通過減法運算得到的結果中不僅包含缺陷點，還包含圖像的差影，而且差影還佔了主要部分。
Nl Vision使用位於LabVIEW的視覺與運動→Machine Vision→Inspection函數選板中的IMAQ Learn Golden Template和IMAQ Compare Golden Template來實現圖像的黃金模板比較過程。其中IMAQ Learn Golden Template用於在程序運行時創建黃金模板，IMAQ Compare Golden Template用於綜合各種措施對目標圖像和模板進行比較，如下圖所示：
函數說明及使用可參見幫助手冊：