❶ 圖像處理
第三章 圖像處理
輸出圖像的像素值僅僅由輸入圖像的像素值決定。
1.1 像素變換
根據像素產生輸出像素，注意，這里的像素可以是多副圖片的像素。
1.2 顏色變換
彩色圖像的各通道間具有很強的相關性。
1.3 合成和映射
將前景對象從圖像背景中提取出來，被稱為摳圖；將對象插入另一圖像被稱為合成。
1.4 直方圖均衡化
對比度和亮度參數可以提升圖像的外觀，為了自動調節這兩個參數，有兩種方法，一種方法是尋找圖像中最亮的值和最暗的值，將它們映射到純白和純黑，另一種方法是尋找圖像的像素平均值，將其作為像素的中間灰度值，然後充滿范圍盡量達到可顯示的值。
局部自適應直方圖均衡化，對於不同的區域採用不同的均衡化方法。缺點是會產生區塊效應，即塊的邊界處亮度不連續，為了消除這一效應，常採用移動窗口，或者在塊與塊之間的轉換函數進行平滑插值。
1.5 應用:色調調整
點運算元的常用領域是對照片的對比度和色調進行操作。
與點運算元相對應的鄰域運算元是根據選定像素及周圍的像素來決定該像素的 輸出。鄰域運算元不僅用於局部色調調整，還用於圖像平滑和銳化，圖像的去噪。
鄰域運算元的重要概念是卷積和相關，它們都是線性移不變運算元，滿足疊加原理和移位不變原理。
填塞，當卷積核超出圖像邊界時，會產生邊界效應。有多種填塞方法，0填塞，常數填塞，夾取填塞，重疊填塞，鏡像填塞，延長。
2.1 可分濾波器
如果一個卷積運算可以分解為一維行向量卷積和一維列向量卷積，則稱該卷積核可分離。2D核函數可以看作一個矩陣K，當且僅當K的第一個奇異值為0時，K可分離。
2.2 線性濾波器舉例
最簡單的濾波器是移動平均或方框濾波器，其次是雙線性濾波器（雙線性核），高斯濾波器（高斯核），以上均為低通核，模糊核，平滑核。對於這些核函數效果的度量採用傅里葉分析。還有Sobel運算元和角點運算元。
2.3 帶通和導向濾波器
Sobel運算元是帶方向的濾波器的近似，先用高斯核平滑圖像，再用方向導數（拉普拉斯運算元)作用於圖像，得到導向濾波器，導向具有潛在的局部性以及很好的尺度空間特性。導向濾波器常用來構造特徵描述子和邊緣檢測器，線性結構通常被認為是類似邊緣的。
區域求和表是指一定區域內所有像素值的和，又稱為積分圖像，它的有效計算方法是遞歸演算法（光柵掃描演算法），區域求和表用於對其他卷積核的近似，人臉檢測中的多尺度特徵，以及立體視覺中的差分平方和的計算。
遞歸濾波器稱為無限脈沖響應(IIR)，有時用於二維距離函數和連通量的計算，也可計算大面積的平滑計算。
3.1 非線性濾波器
中值濾波可以去除散粒雜訊，它的另一個優點是保邊平滑，即在濾除高頻雜訊時，邊緣不容易被柔化。
雙邊濾波器思想的精髓在於，抑制與中心像素值差別較大的像素，而不是抑制固定百分比 的像素。在加權濾波器的基礎上，對權重系數進行了控制，即取決於定義域核（高斯核）和值域核（與中心像素值的相似度），兩者相乘得到雙邊濾波器核。
迭代自適應平滑核各項異性擴散。
3.2 形態學
非線性濾波常用於二值圖像處理，二值圖像中最常見的運算元是形態學運算元，將二值結構元素與二值圖像卷積，根據卷積結果的閾值選擇二值輸出，結構元素可以是任何形狀。
常見的形態學操作有膨脹，腐蝕，過半，開運算，閉運算。過半使銳利的角變得平滑，開運算和閉運算去除圖像中小的點和孔洞，並使圖像平滑。
3.3 距離變換
距離變換通過使用兩遍光柵掃描法，快速預計算到曲線或點集的距離，包括城街距離變換和歐氏距離變換。符號距離變換是基本距離變換的擴展，計算了所有像素到邊界像素的距離。
3.4 連通域
檢測圖像的連通量是半全局的圖像操作，連通量定義為具有相同輸入值的鄰接像素的區域，二值或多值圖像被分割成連通量形式後，對每個單獨區域計算統計量，面積，周長，質心，二階矩，可用於區域排序和區域匹配。
傅里葉變換用於對濾波器的頻域特徵進行分析，FFT能快速實現大尺度核的卷積。
思想：為了分析濾波器的頻率特徵，將一個已知頻率的正弦波通過濾波器，觀察正弦波變弱的程度。傅里葉變換可認為是輸入信號為正弦信號s(x)，經過濾波器h(x)後，產生的輸出響應為正弦信號o(x)=s(x)*h(x),即兩者的卷積。傅里葉變換是對每個頻率的幅度和相位響應的簡單羅列。傅里葉變換不僅可以用於濾波器，還能用於信號和圖像。
傅里葉變換的性質：疊加，平移，反向，卷積，相關，乘，微分，定義域縮放，實值圖像，Parseval定理。
4.1 傅里葉變換對
常見的傅里葉變換對，連續的和離散的。方便進行傅里葉變換。
高頻成分將在降采樣中導致混疊。
4.2 二維傅里葉變換
為了對二維圖像及濾波器進行處理，提出了二維傅里葉變換，與一維傅里葉變換類似，只不過用向量代替標量，用向量內積代替乘法。
4.3 維納濾波器
傅里葉變換還可用於分析一類圖像整體的頻譜，維納濾波器應運而生。假定這類圖像位於隨機雜訊場中，每個頻率的期望幅度通過功率譜給出，信號功率譜捕獲了空間統計量的一階描述。維納濾波器適用於去除功率譜為P的圖像雜訊的濾波器。
維納濾波器的性質，對於低頻具有 單位增益，對於高頻，具有減弱的效果。
離散餘弦變換(DCT）常用於處理以塊為單位的圖像壓縮，它的計算方法是將以N為寬度的塊內的像素與一系列不同頻率的餘弦值進行點積來實現。
DCT變換的實質是對自然圖像中一些小的區域的最優KL分解（PCA主成分分析的近似），KL能有效對信號去相關。
小波演算法和DCT交疊變種能有效去除區塊效應。
4.4 應用:銳化，模糊，去噪
銳化和去雜訊能有效增強圖像，傳統的方法是採用線性濾波運算元，現在廣泛採用非線性濾波運算元，例如加權中值和雙邊濾波器，各向異性擴散和非局部均值，以及變分方法。
度量圖像去噪演算法效果時，一般採用峰值信噪比(PNSR)，結構相似性(SSIM)索引。
迄今為止所研究的圖像變換輸出圖像大小均等於輸入圖像的大小，為了對不同解析度的圖像進行處理，比如，對小圖像進行插值使其與電腦的解析度相匹配，或者減小圖像的大小來加速演算法的執行或節省存儲空間和傳輸時間。
由於不知道處理圖像所需的解析度，故由多幅不同的圖像構建圖像金字塔，從而進行多尺度的識別和編輯操作。改變圖像解析度較好的濾波器是插值濾波器和降采樣濾波器。
5.1 插值
為將圖像變大到較高解析度，需要用插值核來卷積圖像，二次插值常用方法是雙線性插值，雙三次插值，窗函數。窗函數被認為是品質最高的插值器，因為它既可以保留低解析度圖像中的細節，又可以避免混疊。
5.2 降采樣
降采樣是為了降低圖像解析度，先用低通濾波器卷積圖像，避免混疊，再保持第r個樣例。常用的降采樣濾波器有線性濾波器，二次濾波器，三次濾波器，窗餘弦濾波器，QMF-9濾波器，JPEG2000濾波器。
5.3 多解析度表示
通過降采樣和插值演算法，能夠對圖像建立完整的圖像金字塔，金字塔可以加速由粗到精的搜索演算法，以便在不同的尺度上尋找物體和模式，或進行多解析度融合操作。
計算機視覺中最有名的金字塔是拉普拉斯金字塔，採用大小為2因子對原圖像進行模糊和二次采樣，並將它存儲在金字塔的下一級。
5.4 小波變換
小波是在空間域和頻率域都定位一個信號的濾波器，並且是在不同層次的尺度上定義的。小波可以進行多尺度有向濾波和去噪。與常規的金字塔相比，小波具有更好的方向選擇性，並提供了緊致框架。
提升小波被稱為第二代小波，很容易適應非常規采樣拓撲，還有導向可移位多尺度變換，它們的表述不僅是過完備的，而且是方向選擇的。
5.5 應用:圖像融合
拉普拉斯金字塔的應用，混合合成圖像。要產生混合圖像，每個原圖像先分解成它自己的拉普拉斯金字塔，之後每個帶被乘以一個大小正比於金字塔級別的平滑加權函數 。最簡單的方法是建立一個二值掩膜圖像，根據此圖像產生一個高斯金字塔，再將拉普拉斯金字塔和高斯掩膜，這兩個帶權金字塔的和產生最終圖像。
相對於點操作改變了圖像的值域范圍，幾何變換關注於改變圖像的定義域。原先採用的方法是全局參數化2D變換，之後的注意力將轉向基於網格的局部變形等更多通用變形。
6.1 參數變換
參數化變換對整幅圖像進行全局變換，其中變換的行為由少量的參數控制，反向卷繞或反向映射的性能優於前向卷繞，主要在於其能夠避免空洞和非整數位置重采樣的問題。而且可以用高質量的濾波器來控制混疊。
圖像卷繞問題可形式化為給定一個從目標像素x'到原像素x的映射來重采樣一副原圖像。類似的反向法應用場合有光流法預測光流以及矯正透鏡的徑向畸變。
重采樣過程的插值濾波器有，二次插值，三次插值，窗插值，二次插值追求速度，三次插值和窗插值追求視覺品質。
MIP映射是一種紋理映射的快速預濾波圖像工具。
MIP圖是標準的圖像金字塔，每層用一個高質量的濾波器濾波而不是低質量的近似，重采樣時，需要預估重采樣率r。
橢圓帶權平均濾波器(EWA)，各向異性濾波，多通變換。
有向二位濾波和重采樣操作可以用一系列一維重采樣和剪切變換來近似，使用一系列一維變換的優點是它們比大的，不可分離的二位濾波核更有效。
6.2 基於網格扭曲
為了獲得更自由的局部變形，產生了網格卷繞。稀疏控制點，稠密集，有向直線分割，位移場的確定。
6.3 應用:基於特徵的形態學
卷繞常用於改變單幅圖像的外觀以形成動畫，也可用於多幅圖像的融合以產生強大的變形效果，在兩幅圖像之間進行簡單的漸隱漸顯會導致鬼影，但採用圖像卷繞建立了良好的對應關系，相應的特徵便會對齊。
用一些優化准則明確表達想要變換的目標，再找到或推斷出這個准則的解決辦法。正則化和變分法，構建一個描述解特性的連續全局能量函數，然後用稀疏線性系統或相關迭代方法找到最小能量解，貝葉斯統計學對產生輸入圖像的有雜訊的測量過程和關於解空間的先驗假設進行建模，通常用馬爾科夫隨機場進行編碼。常見示例有散列數據的表面插值，圖像去噪和缺失區域恢復，將圖像分為前景和背景區域。
7.1 正則化
正則化理論試圖用模型來擬合嚴重欠約束解空間的數據。即用一個平滑的表面穿過或是靠近一個測量數據點集合的問題。這樣的問題是病態的和不適定的。這樣由采樣數據點d(xi,yi)恢復完整圖像f(x,y)的問題被稱為逆問題。
為了定義平滑解，常在解空間上定義一個范數，對於一維函數，函數一階導數的平方進行積分，或對函數二階導數的平方進行積分，這種能量度量是泛函的樣例，是將函數映射到標量值的運算元，這種方法被稱為變分法，用於度量函數的變化（非平滑性）。
7.2 馬爾科夫隨機場
7.3 應用:圖像復原
❷ 人臉識別的演算法
1、人體面貌識別技術的內容
人體面貌識別技術包含三個部分：
（1） 人體面貌檢測
面貌檢測是指在動態的場景與復雜的背景中判斷是否存在面像，並分離出這種面像。一般有下列幾種方法：
①參考模板法
首先設計一個或數個標准人臉的模板，然後計算測試採集的樣品與標准模板之間的匹配程度，並通過閾值來判斷是否存在人臉；
②人臉規則法
由於人臉具有一定的結構分布特徵，所謂人臉規則的方法即提取這些特徵生成相應的規則以判斷測試樣品是否包含人臉；
③樣品學習法
這種方法即採用模式識別中人工神經網路的方法，即通過對面像樣品集和非面像樣品集的學習產生分類器；
④膚色模型法
這種方法是依據面貌膚色在色彩空間中分布相對集中的規律來進行檢測。
⑤特徵子臉法
這種方法是將所有面像集合視為一個面像子空間，並基於檢測樣品與其在子孔間的投影之間的距離判斷是否存在面像。
值得提出的是，上述5種方法在實際檢測系統中也可綜合採用。
（2）人體面貌跟蹤
面貌跟蹤是指對被檢測到的面貌進行動態目標跟蹤。具體採用基於模型的方法或基於運動與模型相結合的方法。
此外，利用膚色模型跟蹤也不失為一種簡單而有效的手段。
（3）人體面貌比對
面貌比對是對被檢測到的面貌像進行身份確認或在面像庫中進行目標搜索。這實際上就是說，將采樣到的面像與庫存的面像依次進行比對，並找出最佳的匹配對象。所以，面像的描述決定了面像識別的具體方法與性能。目前主要採用特徵向量與面紋模板兩種描述方法：
①特徵向量法
該方法是先確定眼虹膜、鼻翼、嘴角等面像五官輪廓的大小、位置、距離等屬性，然後再計算出它們的幾何特徵量，而這些特徵量形成一描述該面像的特徵向量。
②面紋模板法
該方法是在庫中存貯若干標准面像模板或面像器官模板，在進行比對時，將采樣面像所有象素與庫中所有模板採用歸一化相關量度量進行匹配。
此外，還有採用模式識別的自相關網路或特徵與模板相結合的方法。
人體面貌識別技術的核心實際為「局部人體特徵分析」和「圖形/神經識別演算法。」這種演算法是利用人體面部各器官及特徵部位的方法。如對應幾何關系多數據形成識別參數與資料庫中所有的原始參數進行比較、判斷與確認。一般要求判斷時間低於1秒。
2、人體面貌的識別過程
一般分三步：
（1）首先建立人體面貌的面像檔案。即用攝像機採集單位人員的人體面貌的面像文件或取他們的照片形成面像文件，並將這些面像文件生成面紋（Faceprint）編碼貯存起來。
（2）獲取當前的人體面像
即用攝像機捕捉的當前出入人員的面像，或取照片輸入，並將當前的面像文件生成面紋編碼。
（3）用當前的面紋編碼與檔案庫存的比對
即將當前的面像的面紋編碼與檔案庫存中的面紋編碼進行檢索比對。上述的「面紋編碼」方式是根據人體面貌臉部的本質特徵和開頭來工作的。這種面紋編碼可以抵抗光線、皮膚色調、面部毛發、發型、眼鏡、表情和姿態的變化，具有強大的可靠性，從而使它可以從百萬人中精確地辯認出某個人。
人體面貌的識別過程，利用普通的圖像處理設備就能自動、連續、實時地完成。