kalman目標跟蹤演算法原理

① 基於卡爾曼濾波的目標跟蹤怎麼做

在cnki上下篇kalman目標跟蹤的碩士論文吧，很多的，當然期刊也可以，不過一般情況下碩士論文講的能詳細點，然後找准一篇仔細研讀，這樣子基本上理論就沒啥問題了，編程就用MATLAB，用C很麻煩，很多演算法都沒有得自己從頭編，matlab集成了很多的演算法的，只要找出來調用就行了。

這里給你說下kalman跟蹤的思路吧：

0.如果你的視頻是實際錄得話，為防止檢測到偽目標，首先要對輸入的圖像進行濾波，簡單的有中值均值濾波。

1.對視頻序列採用背景差分或幀間差分就可以得到運動區域了，這里重點就是背景建模，如果嫌麻煩也就別看什麼單高斯或多高斯的了，直接找一個空幀(沒有運動目標)當背景就OK了，差分後就有了運動區域，然後二值化方便以後的處理。然後視有沒有陰影而進行陰影去除的工作。

2.上邊這步也就是檢測出了運動區域，按你的檢測出來是要給邊邊畫圈，這個在matlab上好好研究研究怎樣提取目標邊緣的點，在原點陣圖圖上把邊緣的點改變成一個同像素值就行了，這樣檢測就完了。

3.跟蹤，首先得找到目標的中心，因為目標不只是一個像素，必須有一個中心來表示它的坐標位置，這個方法自己想啦，什麼取均值求外接矩形中心啊都可以的，然後每一幀都這么做就有一系列的中心坐標了。

4.Kalman，Kalman的作用還是以濾波為主，相當於把第三步的那些坐標都當成信號序列，用Kalman濾波，邊檢測邊濾波，kalman主要記住那5個公式，知道它的遞推過程就基本能編出來了，至於濾波器參數就在參考文獻里找吧，編出來kalman部分的程序沒多少行的，別怕。

5.如果是多目標跟蹤的話就進行目標匹配的工作，相當於每幀都檢測出兩個目標，你要知道最新一幀中的每個分別對應的是前邊幀的哪個目標。

上邊這些給你一個大體的思路，你根據自己的任務選擇做哪些工作，這個題目不難的，要有信心

② 卡爾曼濾波的詳細原理

卡爾曼濾波（Kalman filtering）是一種利用線性系統狀態方程，通過系統輸入輸出觀測數據，對系統狀態進行最優估計的演算法。由於觀測數據中包括系統中的雜訊和干擾的影響，所以最優估計也可看作是濾波過程。
斯坦利·施密特(Stanley Schmidt)首次實現了卡爾曼濾波器。卡爾曼在NASA埃姆斯研究中心訪問時，發現他的方法對於解決阿波羅計劃的軌道預測很有用，後來阿波羅飛船的導航電腦使用了這種濾波器。 關於這種濾波器的論文由Swerling (1958), Kalman (1960)與 Kalman and Bucy (1961)發表。

數據濾波是去除雜訊還原真實數據的一種數據處理技術, Kalman濾波在測量方差已知的情況下能夠從一系列存在測量雜訊的數據中，估計動態系統的狀態. 由於, 它便於計算機編程實現, 並能夠對現場採集的數據進行實時的更新和處理, Kalman濾波是目前應用最為廣泛的濾波方法, 在通信, 導航, 制導與控制等多領域得到了較好的應用.

表達式
X(k)=A X(k-1)+B U(k)+W(k)

背景
斯坦利·施密特(Stanley Schmidt)首次實
現了卡爾曼濾波器。卡爾曼在NASA埃姆斯研究中心訪問時,發現他的方法對於解決阿波羅計劃的軌道預測很有用,後來阿波羅飛船的導航電腦使用了這種濾波器。關於這種濾波器的論文由Swerling (1958), Kalman (1960)與 Kalman and Bucy (1961)發表。

定義
傳統的濾波方法，只能是在有用信號與雜訊具有不同頻帶的條件下才能實現．20世紀40年代，N．維納和A．H．柯爾莫哥羅夫把信號和雜訊的統計性質引進了濾波理論，在假設信號和雜訊都是平穩過程的條件下，利用最優化方法對信號真值進行估計，達到濾波目的，從而在概念上與傳統的濾波方法聯系起來，被稱為維納濾波。這種方法要求信號和雜訊都必須是以平穩過程為條件。60年代初，卡爾曼(R．E．Kalman)和布塞(R． S．Bucy)發表了一篇重要的論文《線性濾波和預測 理論的新成果》，提出了一種新的線性濾波和預測理由論，被稱之為卡爾曼濾波。特點是在線性狀態空間表示的基礎上對有雜訊的輸入和觀測信號進行處理，求取系統狀態或真實信號。
這種理論是在時間域上來表述的，基本的概念是：在線性系統的狀態空間表示基礎上，從輸出和輸入觀測數據求系統狀態的最優估計。這里所說的系統狀態，是總結系統所有過去的輸入和擾動對系統的作用的最小參數的集合，知道了系統的狀態就能夠與未來的輸入與系統的擾動一起確定系統的整個行為。
卡爾曼濾波不要求信號和雜訊都是平穩過程的假設條件。對於每個時刻的系統擾動和觀測誤差（即雜訊），只要對它們的統計性質作某些適當的假定，通過對含有雜訊的觀測信號進行處理，就能在平均的意義上，求得誤差為最小的真實信號的估計值。因此，自從卡爾曼濾波理論問世以來，在通信系統、電力系統、航空航天、環境污染控制、工業控制、雷達信號處理等許多部門都得到了應用，取得了許多成功應用的成果。例如在圖像處理方面，應用卡爾曼濾波對由於某些雜訊影響而造成模糊的圖像進行復原。在對雜訊作了某些統計性質的假定後，就可以用卡爾曼的演算法以遞推的方式從模糊圖像中得到均方差最小的真實圖像，使模糊的圖像得到復原。

性質
①卡爾曼濾波是一個演算法，它適用於線性、離散和有限維系統。每一個有外部變數的自回歸移動平均系統(ARMAX)或可用有理傳遞函數表示的系統都可以轉換成用狀態空間表示的系統，從而能用卡爾曼濾波進行計算。
②任何一組觀測數據都無助於消除x(t)的確定性。增益K(t)也同樣地與觀測數據無關。
③當觀測數據和狀態聯合服從高斯分布時用卡爾曼遞歸公式計算得到的是高斯隨機變數的條件均值和條件方差，從而卡爾曼濾波公式給出了計算狀態的條件概率密度的更新過程線性最小方差估計，也就是最小方差估計。

形式
卡爾曼濾波已經有很多不同的實現，卡爾曼最初提出的形式一般稱為簡單卡爾曼濾波器。除此以外，還有施密特擴展濾波器、信息濾波器以及很多Bierman, Thornton 開發的平方根濾波器的變種。最常見的卡爾曼濾波器是鎖相環，它在收音機、計算機和幾乎任何視頻或通訊設備中廣泛存在。

實例
卡爾曼濾波的一個典型實例是從一組有限的，對物體位置的，包含雜訊的觀察序列中預測出物體的坐標位置及速度。在很多工程應用(雷達、計算機視覺)中都可以找到它的身影。同時，卡爾曼濾波也是控制理論以及控制系統工程中的一個重要話題。

應用
比如，在雷達中，人們感興趣的是跟蹤目標，但目標的位置、速度、加速度的測量值往往在任何時候都有雜訊。卡爾曼濾波利用目標的動態信息,設法去掉雜訊的影響，得到一個關於目標位置的好的估計。這個估計可以是對當前目標位置的估計(濾波)，也可以是對於將來位置的估計(預測)，也可以是對過去位置的估計(插值或平滑)。

擴展卡爾曼濾波（EXTEND KALMAN FILTER, EKF）
是由kalman filter考慮時間非線性的動態系統，常應用於目標跟蹤系統。

狀態估計
狀態估計是卡爾曼濾波的重要組成部分。一般來說，根據觀測數據對隨機量進行定量推斷就是估計問題，特別是對動態行為的狀態估計，它能實現實時運行狀態的估計和預測功能。比如對飛行器狀態估計。狀態估計對於了解和控制一個系統具有重要意義，所應用的方法屬於統計學中的估計理論。最常用的是最小二乘估計，線性最小方差估計、最小方差估計、遞推最小二乘估計等。其他如風險准則的貝葉斯估計、最大似然估計、隨機逼近等方法也都有應用。

狀態量
受雜訊干擾的狀態量是個隨機量，不可能測得精確值，但可對它進行一系列觀測，並依據一組觀測值，按某種統計觀點對它進行估計。使估計值盡可能准確地接近真實值，這就是最優估計。真實值與估計值之差稱為估計誤差。若估計值的數學期望與真實值相等，這種估計稱為無偏估計。卡爾曼提出的遞推最優估計理論，採用狀態空間描述法，在演算法採用遞推形式，卡爾曼濾波能處理多維和非平穩的隨機過程。

理論
卡爾曼濾波理論的提出，克服了威納濾波理論的局限性使其在工程上得到了廣泛的應用，尤其在控制、制導、導航、通訊等現代工程方面。

③ 圖解卡爾曼濾波及匹配演算法進行多目標跟蹤

狀態預測（位置、速度等）的准不準，影響了目標之間能否正確匹配（目標編號）。

上圖是多目標跟蹤的一戚老個例子，有效跟蹤范圍為x=0到x=200之間， 紅線 表示卡爾曼濾波的 初始化 及 更新 階段， 綠線 表示 預測 階段。

當t=1時，

當t=2時，

當t=3時，

當t=4時，

當t=5時，

當t=6時，

由上述分析可高笑升知，卡爾曼濾波演算法對多目標的狀態進行估計，匈牙利演算法對多目標進行匹配，實現多升清目標跟蹤。

參考 https://www.pianshen.com/article/9795849360/
公式中 A和H為轉移矩陣

④ 無人駕駛(三)行人跟蹤演算法

姓名：王夢妮

學號：20021210873

學院：電子工程學院

【嵌牛導讀】本文主要介紹了無人駕駛中所需的拿肢行人跟蹤演算法

【嵌牛鼻子】無人駕駛 環境感知 計算機視覺 卡爾曼濾波 粒子濾波 均值漂移

【嵌牛提問】無人駕駛中所用到的行人跟蹤演算法有哪些

【嵌牛正文】

行人跟蹤一直是視覺領域的一個難點，實際應用環境復雜、遮擋以及行人姿態變化等外界因素都影響著行人跟蹤演算法的研究。行人跟蹤演算法模型主要分為生成模型和判別模型。

（一）生成式模型

生成式模型是一種通過在線學習行人目標特徵，建立行人跟蹤模型，然後使用模型來搜索誤差最小的目標區域，從而完成對行人的跟蹤。這種演算法在構建模型只考慮了行人本身的特徵，忽略了背景信息，沒有做到有效利用圖像中的全部信息。其中比較經典的演算法主要有卡爾曼濾波，粒子濾波，mean-shift等。

（1）卡爾曼濾波演算法

卡爾曼濾波演算法是一種通過對行人構建狀態方程和觀測方程為基礎，計算最小均方誤差來實現跟蹤的最優線性遞歸濾波演算法，通過遞歸行人的運動狀態來預測行人軌跡的變化。

首先設定初始參數，讀取視頻序列。然後進行背景估計，產生初始化背景圖像。然後依次讀取視頻序列，利用Kahnan濾波演算法，根據上一幀估計的背景和當前幀數據得到當前幀的前景目標。然後對前景目標進行連通計算，檢測出運動目標的軌跡。經典的卡爾曼濾波演算法．只能對線性運動的行人實現跟蹤，之後學者改進了卡爾曼濾波演算法，能夠實現對非線性運動的行人進行跟蹤，計算量小，能實現實時跟蹤，但是跟蹤效果不理想。

（2）粒子濾波

    粒子濾波的核心就是貝葉斯推理和重要性采樣。粒子濾波可用於非線性非高斯模型，這是由於貝葉斯推理採用蒙特卡洛法，以某個時間點事件出現的頻率表示其概率。通過一組粒子消宴世對整個模型的後驗概率分布進行近似的表示，通過這個表示來估計整個非線性非高斯系統的狀態。重要性採用就是通過粒子的置信度來賦予不同的權重，置信度高的粒子，賦予較大的權重，通過權重的分布形式表示相似程度。

（3）均值漂移（mean-shift）

    Mean-shift演算法屬於核密度估計法。不必知道先驗概率，密度函數值由采樣點的特徵空間計算。通過計算當前幀目標區域的像素特徵值概率來描述目標模型，並對候選區域進行統一描述，使用相似的函數表示目標模型與候選模板之間的相似度，然後選擇在具有相似函數值最大的候選模型中，您將獲得關於目標模型的均值漂移向量，該向量表示目標從當前位置移動到下一個位置的向量。通過連續迭代地計算均值偏移矢量，行人跟蹤演算法將最終收斂到行人的實際位置，從而實現行人跟蹤。

（二） 判別式模型

判別模型與生成模型不同，行人跟蹤被視為二分類問題。提取圖像中的行人和背景信息，並用於訓練分類器。通過分類將行人從圖像背景中分離出來，以獲取行人的當前位置。以行人區域為正樣本，背景區域為負樣本，通過機器學習演算法對正樣本和負樣本進行訓練，訓練後的分類器用於在下一幀中找到相似度最高的區域，以完成行人軌跡更新。判別式模型不像生成式模型僅僅利用了行人的信息，還利用了背景信息，因此判別式模型的跟蹤效果普遍優於生成式模型。

（1）基於相關濾波的跟蹤演算法

      核相關濾波(KCF)演算法是基於相關濾波的經典跟蹤演算法，具有優良的跟蹤效果和跟蹤速度。這是由於其採用了循環移位的方式來進行樣本生產，用生成的樣本來訓練分類器，通過高斯核函數來計算當前幀行人與下一幀中所有候選目標之間的相似概率圖，找到相似概率圖最大的那個候選目標，就得到了行人的新位置。KCF演算法為了提高跟蹤精度，使用HOG特徵對行人進行描述，同時結合了離散傅里葉變換來降低計算量。

（2）基於深度學習的跟蹤演算法

    近年來，深度學習在圖像和語音方面取得了較大的成果，因此有許多科研人員將深度學習與行人跟蹤相結合，取得了比傳統跟蹤演算法更好的性能。DLT就是一個基於深度學習的行人跟蹤演算法，利用深度模型自動編碼器通過離線訓練的方式，在大規模行人數據集上得到一個行人模型，然後在線對行人進行跟蹤來微調模型。首先通過粒子濾波獲取候選行人目標，然後利用自動編碼器進行預測，最終得到行人的預測位置即最大輸出值的候選行人目標位置。2015年提出的MDNet演算法採用了分域訓練的方式祥森。對於每個類別，一個單獨的全連接層用於分類，並且全連接層前面的所有層都是共享，用於特徵提取。2017年提出的HCFT演算法使用深度學習對大量標定數據進行訓練，得到強有力的特徵表達模型，結合基於相關濾波的跟蹤演算法，用於解決在線進行跟蹤過程中行人樣本少、網路訓練不充分的問題。此外，通過深度學習提取特徵，利用數據關聯的方法來實現跟蹤的演算法，其中最為著名的就JPDAF與MHT這兩種方法。

⑤ 目標跟蹤檢測演算法（四）——多目標擴展

姓名：劉帆；學號：20021210609；學院：電子工程學院

https://blog.csdn.net/qq_34919792/article/details/89893665

【嵌牛導讀】基於深度學習的演算法在圖像和視頻識別任務中取得了廣泛的應用和突破性的進展。從圖像分類問題到行人重識別問題，深度學習方法相比傳統方法表現出極大的優勢。與行人重識別問題緊密相關的是行人的多目標跟蹤問題。

【嵌牛鼻子】深度多目標跟蹤演算法

【嵌牛提問】深度多目標跟蹤演算法有哪些？

【嵌牛正文】

第一階段（概率統計最大化的追蹤）

1）多假設多目標追蹤演算法（MHT，基於kalman在多目標上的拓展）

多假設跟蹤演算法(MHT)是非常經典的多目標跟蹤演算法，由Reid在對雷達信號的自動跟蹤研究中提出，本質上是基於Kalman濾波跟蹤演算法在多目標跟蹤問題中的擴展。

卡爾曼濾波實際上是一種貝葉斯推理的應用，通過歷史關聯的預測量和k時刻的預測量來計算後驗概率：

關聯假設的後驗分布是歷史累計概率密度的連乘，轉化為對數形式，可以看出總體後驗概率的對數是每一步觀察似然和關聯假設似然的求和。但是若同時出現多個軌跡的時候，則需要考慮可能存在的多個假設關聯。

左圖為k-3時刻三個檢測觀察和兩條軌跡的可能匹配。對於這種匹配關系，可以繼續向前預測兩幀，如圖右。得到一種三層的假設樹結構，對於假設樹根枝乾的剪枝，得到k-3時刻的最終關聯結果。隨著可能性增加，假設組合會爆炸性增多，為此，只為了保留最大關聯性，我們需要對其他的節點進行裁剪。下式為選擇方程

實際上MHT不會單獨使用，一般作為單目標追蹤的擴展添加。

2）基於檢測可信度的粒子濾波演算法

這個演算法分為兩個步驟：

1、對每一幀的檢測結果，利用貪心匹配演算法與已有的對象軌跡進行關聯。

其中tr表示一個軌跡，d是某一個檢測，他們的匹配親和度計算包含三個部分：在線更新的分類學習模型(d)，用來判斷檢測結果是不是屬於軌跡tr; 軌跡的每個粒子與檢測的匹配度，採用中心距離的高斯密度函數求和(d-p)表示；與檢測尺寸大小相關的閾值函數g(tr,d)，表示檢測與軌跡尺度的符合程度, 而α是預設的一個超參數。

計算出匹配親和度矩陣之後，可以採用二部圖匹配的Hungarian演算法計算匹配結果。不過作者採用了近似的貪心匹配演算法，即首先找到親和度最大的那個匹配，然後刪除這個親和度，尋找下一個匹配，依次類推。貪心匹配演算法復雜度是線性，大部分情況下，也能得到最優匹配結果。

2、利用關聯結果，計算每個對象的粒子群權重，作為粒子濾波框架中的觀察似然概率。

其中tr表示需要跟蹤的對象軌跡，p是某個粒子。指示函數I(tr)表示第一步關聯中，軌跡tr是不是關聯到某個檢測結果，當存在關聯時，計算與關聯的檢測d 的高斯密度P{n}(p-d )；C{tr}§是對這個粒子的分類概率；§是粒子通過檢測演算法得到的檢測可信度，(tr)是一個加權函數，計算如下：

3）基於馬爾科夫決策的多目標跟蹤演算法

作者把目標跟蹤看作為狀態轉移的過程，轉移的過程用馬爾科夫決策過程(MDP)建模。一個馬爾科夫決策過程包括下面四個元素：(S, A, T(.),R(.))。其中S表示狀態集合，A表示動作集合，T表示狀態轉移集合，R表示獎勵函數集合。一個決策是指根據狀態s確定動作a, 即 π: SA。一個對象的跟蹤過程包括如下決策過程：

從Active狀態轉移到Tracked或者Inactive狀態：即判斷新出現的對象是否是真。

從Tracked狀態轉移到Tracked或者Lost狀態：即判斷對象是否是持續跟蹤或者暫時處於丟失狀態。

從Lost狀態轉移到Lost或者Tracked或者Inactive狀態：即判斷丟失對象是否重新被跟蹤，被終止，或者繼續處於丟失狀態。

作者設計了三個獎勵函數來描述上述決策過程：

第一個是：

即判斷新出現的對象是否為真，y(a)=1時表示轉移到跟蹤狀態，反之轉移到終止狀態。這是一個二分類問題，採用2類SVM模型學習得到。這里用了5維特徵向量：包括x-y坐標、寬、高和檢測的分數。

第二個是：

這個函數用來判斷跟蹤對象下一時刻狀態是否是出於繼續跟蹤，還是處於丟失，即跟蹤失敗。這里作者用了5個歷史模板，每個模板和當前圖像塊做光流匹配，emedFB表示光流中心偏差， 表示平均重合率。 和 是閾值。

第三個是：

這個函數用來判斷丟失對象是否重新跟蹤，或者終止，或者保持丟失狀態不變。這里當丟失狀態連續保持超過 (=50)時，則轉向終止，其他情況下通過計算M個檢測匹配，來判斷是否存在最優的匹配使上式(3-14)獎勵最大，並大於0。這里涉及兩個問題如何設計特徵以及如何學習參數。這里作者構造了12維與模板匹配相關的統計值。而參數的學習採用強化學習過程，主要思想是在犯錯時候更新二類分類器值。

第二階段 深度學習應用

1）基於對稱網路的多目標跟蹤演算法

關於Siamese網路在單目標跟蹤深度學習中有了介紹，在這里不再介紹，可以向前參考。

2）基於最小多割圖模型的多目標跟蹤演算法

上述演算法中為了匹配兩個檢測採用LUV圖像格式以及光流圖像。Tang等人在文獻中發現採用深度學習計算的類光流特徵(DeepMatching)，結合表示能力更強的模型也可以得到效果很好的多目標跟蹤結果。

基於DeepMatching特徵，可以構造下列5維特徵：

其中MI,MU表示檢測矩形框中匹配的點的交集大小以及並集大小，ξv和ξw表示檢測信任度。利用這5維特徵可以學習一個邏輯回歸分類器。

同樣，為了計算邊的匹配代價，需要設計匹配特徵。這里，作者採用結合姿態對齊的疊加Siamese網路計算匹配相似度，如圖9，採用的網路模型StackNetPose具有最好的重識別性能。

綜合StackNetPose網路匹配信任度、深度光流特徵(deepMatching)和時空相關度，作者設計了新的匹配特徵向量。類似於[2], 計算邏輯回歸匹配概率。最終的跟蹤結果取得了非常突出的進步。在MOT2016測試數據上的結果如下表：

3）通過時空域關注模型學習多目標跟蹤演算法

除了採用解決目標重識別問題的深度網路架構學習檢測匹配特徵，還可以根據多目標跟蹤場景的特點，設計合適的深度網路模型來學習檢測匹配特徵。Chu等人對行人多目標跟蹤問題中跟蹤演算法發生漂移進行統計分析，發現不同行人發生交互時，互相遮擋是跟蹤演算法產生漂移的重要原因[4]。如圖10。

在這里插入圖片描述

針對這個問題，文獻[4]提出了基於空間時間關注模型(STAM)用於學習遮擋情況，並判別可能出現的干擾目標。如圖11，空間關注模型用於生成遮擋發生時的特徵權重，當候選檢測特徵加權之後，通過分類器進行選擇得到估計的目標跟蹤結果，時間關注模型加權歷史樣本和當前樣本，從而得到加權的損失函數，用於在線更新目標模型。

該過程分三步，第一步是學習特徵可見圖：

第二步是根據特徵可見圖，計算空間關注圖(Spatial Attention):

其中fatt是一個局部連接的卷積和打分操作。wtji是學習到的參數。

第三步根據空間注意圖加權原特徵圖：

對生成的加權特徵圖進行卷積和全連接網路操作，生成二元分類器判別是否是目標自身。最後用得到分類打分選擇最優的跟蹤結果。

4）基於循環網路判別融合表觀運動交互的多目標跟蹤演算法

上面介紹的演算法採用的深度網路模型都是基於卷積網路結構，由於目標跟蹤是通過歷史軌跡信息來判斷新的目標狀態，因此，設計能夠記憶歷史信息並根據歷史信息來學習匹配相似性度量的網路結構來增強多目標跟蹤的性能也是比較可行的演算法框架。

考慮從三個方面特徵計算軌跡歷史信息與檢測的匹配：表觀特徵，運動特徵，以及交互模式特徵。這三個方面的特徵融合以分層方式計算。

在底層的特徵匹配計算中，三個特徵都採用了長短期記憶模型(LSTM)。對於表觀特徵，首先採用VGG-16卷積網路生成500維的特徵ϕtA，以這個特徵作為LSTM的輸入計算循環。

對於運動特徵，取相對位移vit為基本輸入特徵，直接輸入LSTM模型計算沒時刻的輸出ϕi，對於下一時刻的檢測同樣計算相對位移vjt+1,通過全連接網路計算特徵ϕj，類似於表觀特徵計算500維特徵ϕm，並利用二元匹配分類器進行網路的預訓練。

對於交互特徵，取以目標中心位置周圍矩形領域內其他目標所佔的相對位置映射圖作為LSTM模型的輸入特徵，計算輸出特徵ϕi，對於t+1時刻的檢測計算類似的相對位置映射圖為特徵，通過全連接網路計算特徵ϕj，類似於運動模型，通過全連接網路計算500維特徵ϕI，進行同樣的分類訓練。

當三個特徵ϕA，ϕM，ϕI都計算之後拼接為完整的特徵，輸入到上層的LSTM網路，對輸出的向量進行全連接計算，然後用於匹配分類，匹配正確為1，否則為0。對於最後的網路結構，還需要進行微調，以優化整體網路性能。最後的分類打分看作為相似度用於檢測與軌跡目標的匹配計算。最終的跟蹤框架採用在線的檢測與軌跡匹配方法進行計算。

5）基於雙線性長短期循環網路模型的多目標跟蹤演算法

在對LSTM中各個門函數的設計進行分析之後，Kim等人認為僅僅用基本的LSTM模型對於表觀特徵並不是最佳的方案，在文獻[10]中，Kim等人設計了基於雙線性LSTM的表觀特徵學習網路模型。

除了利用傳統的LSTM進行匹配學習，或者類似[5]中的演算法，拼接LSTM輸出與輸入特徵，作者設計了基於乘法的雙線性LSTM模型，利用LSTM的隱含層特徵(記憶)信息與輸入的乘積作為特徵，進行匹配分類器的學習。

這里對於隱含層特徵ht-1,必須先進行重新排列(reshape)操作，然後才能乘以輸入的特徵向量xt。

其中f表示非線性激活函數，mt是新的特徵輸入。而原始的檢測圖像採用ResNet50提取2048維的特徵，並通過全連接降為256維。下表中對於不同網路結構、網路特徵維度、以及不同LSTM歷史長度時，表觀特徵的學習對跟蹤性能的影響做了驗證。

可以看出採用雙線性LSTM(bilinear LSTM)的表觀特徵性能最好，此時的歷史相關長度最佳為40，這個值遠遠超過文獻[5]中的2-4幀歷史長度。相對來說40幀歷史信息影響更接近人類的直覺。

⑥ 目標跟蹤檢測演算法（一）——傳統方法

姓名：劉帆；學號：20021210609；學院：電子工程學院

https://blog.csdn.net/qq_34919792/article/details/89893214

【嵌牛導讀】目標跟蹤演算法研究難點與挑戰在於實際復雜的應用環境 、背景相似干擾、光照條件的變化、遮擋等外界因素以及目標姿態變化，外觀變形，尺度變化、平面外旋轉、平面內旋轉、出視野、快速運動和運動模糊等。而且當目標跟蹤演算法投入實際應用時，不可避免的一個問題——實時性問題也是非常的重要。正是有了這些問題，才使得演算法研究充滿著難點和挑戰。

【嵌牛鼻子】目標跟蹤演算法，傳統演算法

【嵌牛提問】利用目標跟蹤檢測演算法要達到何目的?第一階段的單目標追蹤演算法包括什麼?具體步驟有哪些?它們有何特點?

【嵌牛正文】

第一階段

目標跟蹤分為兩個部分，一個是對指定目標尋找可以跟蹤的特徵，常用的有顏色，輪廓，特徵點，軌跡等，另一個是對目標特徵進行跟蹤。

1、靜態背景

1）背景差： 對背景的光照變化、雜訊干擾以及周期性運動等進行建模。通過當前幀減去背景圖來捕獲運動物體的過程。

2）幀差： 由於場景中的目標在運動，目標的影像在不同圖像幀中的位置不同。該類演算法對時間上連續的兩幀或三幀圖像進行差分運算，不同幀對應的像素點相減，判斷灰度差的絕對值，當絕對值超過一定閾值時，即可判斷為運動目標，從而實現目標的檢測功能。

與二幀差分法不同的是，三幀差分法（交並運算）去除了重影現象，可以檢測出較為完整的物體。幀間差分法的原理簡單，計算量小，能夠快速檢測出場景中的運動目標。但幀間差分法檢測的目標不完整，內部含有「空洞」，這是因為運動目標在相鄰幀之間的位置變化緩慢，目標內部在不同幀圖像中相重疊的部分很難檢測出來。幀間差分法通常不單獨用在目標檢測中，往往與其它的檢測演算法結合使用。

3）Codebook

演算法為圖像中每一個像素點建立一個碼本，每個碼本可以包括多個碼元（對應閾值范圍），在學習階段，對當前像素點進行匹配，如果該像素值在某個碼元的學習閾值內，也就是說與之前出現過的某種歷史情況偏離不大，則認為該像素點符合背景特徵，需要更新對應點的學習閾值和檢測閾值。

如果新來的像素值與每個碼元都不匹配，則可能是由於動態背景導致，這種情況下，我們需要為其建立一個新的碼元。每個像素點通過對應多個碼元，來適應復雜的動態背景。

在應用時，每隔一段時間選擇K幀通過更新演算法建立CodeBook背景模型，並且刪除超過一段時間未使用的碼元。

4）GMM

混合高斯模型（Gaussian of Micture Models，GMM）是較常用的背景去除方法之一（其他的還有均值法、中值法、滑動平均濾波等）。

首先我們需要了解單核高斯濾波的演算法步驟：

混合高斯建模GMM（Gaussian Mixture Model）作為單核高斯背景建模的擴展，是目前使用最廣泛的一種方法，GMM將背景模型描述為多個分布，每個像素的R、G、B三個通道像素值的變化分別由一個混合高斯模型分布來刻畫，符合其中一個分布模型的像素即為背景像素。作為最常用的一種背景建模方法，GMM有很多改進版本，比如利用紋理復雜度來更新差分閾值，通過像素變化的劇烈程度來動態調整學習率等。

5）ViBe（2011）

ViBe演算法主要特點是隨機背景更新策略，這和GMM有很大不同。其步驟和GMM類似。具體的思想就是為每個像素點存儲了一個樣本集，樣本集中采樣值就是該像素點過去的像素值和其鄰居點的像素值，然後將每一個新的像素值和樣本集進行比較來判斷是否屬於背景點。

其中pt（x）為新幀的像素值，R為設定值，p1、p2、p3….為樣本集中的像素值，以pt（x）為圓心R為半徑的圓被認為成一個集，當樣本集與此集的交集大於設定的閾值#min時，可認為此為背景像素點（交集越大，表示新像素點與樣本集越相關）。我們可以通過改變#min的值與R的值來改變模型的靈敏度。

Step1：初始化單幀圖像中每個像素點的背景模型。假設每一個像素和其鄰域像素的像素值在空域上有相似的分布。基於這種假設，每一個像素模型都可以用其鄰域中的像素來表示。為了保證背景模型符合統計學規律，鄰域的范圍要足夠大。當輸入第一幀圖像時，即t=0時，像素的背景模型。其中，NG（x,y）表示空域上相鄰的像素值，f(xi,yi)表示當前點的像素值。在N次的初始化的過程中，NG（x,y）中的像素點(xi,yi)被選中的可能次數為L=1,2,3,…,N。

Step2：對後續的圖像序列進行前景目標分割操作。當t=k時，像素點(x,y)的背景模型為BKm(x,y)，像素值為fk(x,y)。按照下面判斷該像素值是否為前景。這里上標r是隨機選的；T是預先設置好的閾值。當fk(x,y)滿足符合背景#N次時，我們認為像素點fk(x,y)為背景，否則為前景。

Step3：ViBe演算法的更新在時間和空間上都具有隨機性。每一個背景點有1/ φ的概率去更新自己的模型樣本值，同時也有1/ φ的概率去更新它的鄰居點的模型樣本值。更新鄰居的樣本值利用了像素值的空間傳播特性，背景模型逐漸向外擴散，這也有利於Ghost區域的更快的識別。同時當前景點計數達到臨界值時將其變為背景，並有1/ φ的概率去更新自己的模型樣本值（為了減少緩慢移動物體的影響和攝像機的抖動）。

可以有如下總結，ViBe中的每一個像素點在更新的時候都有一個時間和空間上隨機影響的范圍，這個范圍很小，大概3x3的樣子，這個是考慮到攝像頭抖動時會有坐標的輕微來回變化，這樣雖然由於ViBe的判別方式仍認為是背景點，但是也會對後面的判別產生影響，為了保證空間的連續性，隨機更新減少了這個影響。而在樣本值保留在樣本集中的概率隨著時間的增大而變小，這就保證了像素模型在時間上面的延續特性。

6）光流

光流是由物體或相機的運動引起的圖像對象在兩個連續幀之間的視在運動模式。它是2D矢量場，其中每個矢量是一個位移矢量，顯示點從第一幀到第二幀的移動。

光流實際上是一種特徵點跟蹤方法，其計算的為向量，基於三點假設：

1、場景中目標的像素在幀間運動時亮度（像素值或其衍生值）不發生變化；2、幀間位移不能太大；3、同一表面上的鄰近點都在做相同的運動；

光流跟蹤過程：1）對一個連續視頻幀序列進行處理；2）對每一幀進行前景目標檢測；3）對某一幀出現的前景目標，找出具有代表性的特徵點（Harris角點）；4）對於前後幀做像素值比較，尋找上一幀在當前幀中的最佳位置，從而得到前景目標在當前幀中的位置信息；5）重復上述步驟，即可實現目標跟蹤

2、運動場（分為相機固定，但是視角變化和相機是運動的）

1）運動建模（如視覺里程計運動模型、速度運動模型等）

運動學是對進行剛性位移的相機進行構型，一般通過6個變數來描述，3個直角坐標，3個歐拉角（橫滾、俯仰、偏航）。

Ⅰ、對相機的運動建模

由於這個不是我們本次所要討論的重點，但是在《概率機器人》一書中提出了很多很好的方法，相機的運動需要對圖像內的像素做位移矩陣和旋轉矩陣的坐標換算。除了對相機建立傳統的速度運動模型外，也可以用視覺里程計等通關過置信度的更新來得到概率最大位置。

Ⅱ、對於跟蹤目標的運動建模

該方法需要提前通過先驗知識知道所跟蹤的目標對象是什麼，比如車輛、行人、人臉等。通過對要跟蹤的目標進行建模，然後再利用該模型來進行實際的跟蹤。該方法必須提前知道要跟蹤的目標對象是什麼，然後再去跟蹤指定的目標，這是它的局限性，因而其推廣性相對比較差。（比如已知跟蹤的物體是羽毛球，那很容易通過前幾幀的取點，來建立整個羽毛球運動的拋物線模型）

2）核心搜索演算法（常見的預測演算法有Kalman(卡爾曼)濾波、擴展卡爾曼濾波、粒子濾波）

Ⅰ、Kalman 濾波

Kalman濾波器是通過前一狀態預測當前狀態，並使用當前觀測狀態進行校正，從而保證輸出狀態平穩變化，可有效抵抗觀測誤差。因此在運動目標跟蹤中也被廣泛使用。

在視頻處理的運動目標跟蹤里，每個目標的狀態可表示為(x,y,w,h)，x和y表示目標位置，w和h表示目標寬高。一般地認為目標的寬高是不變的，而其運動速度是勻速，那麼目標的狀態向量就應該擴展為(x,y,w,h,dx,dy)，其中dx和dy是目標當前時刻的速度。通過kalman濾波器來估計每個時刻目標狀態的大致過程為：

對視頻進行運動目標檢測，通過簡單匹配方法來給出目標的第一個和第二個狀態，從第三個狀態開始，就先使用kalman濾波器預測出當前狀態，再用當前幀圖像的檢測結果作為觀測值輸入給kalman濾波器，得到的校正結果就被認為是目標在當前幀的真實狀態。(其中，Zt為測量值，為預測值，ut為控制量，Kt為增益。)

Ⅱ、擴展卡爾曼濾波（EKF）和無跡卡爾曼濾波（UKF）

由於卡爾曼濾波的假設為線性問題，無法直接用在非線性問題上，EKF和UKF解決了這個問題（這個線性問題體現在用測量量來計算預測量的過程中）。EKF是通過構建線性函數g(x)，與非線性函數相切，並對每一時刻所求得的g（x）做KF，如下圖所示。

UKF與EKF去求解雅可比矩陣擬合線性方程的方法不同，通過對那個先驗分布中的採集點，來線性化隨機變數的非線性函數。與EKF所用的方法不同，UKF產生的高斯分布和實際高斯分布更加接近，其引起的近似誤差也更小。

Ⅲ、粒子濾波

1、初始狀態：基於粒子濾波的目標追蹤方法是一種生成式跟蹤方法，所以要有一個初始化的階段。對於第一幀圖像，人工標定出待檢測的目標，對該目標區域提出特徵；

2、搜索階段：現在已經知道了目標的特徵，然後就在目標的周圍撒點(particle), 如：a)均勻的撒點;b)按高斯分布撒點，就是近的地方撒得多，遠的地方撒的少。論文里使用的是後一種方法。每一個粒子都計算所在區域內的顏色直方圖，如初始化提取特徵一樣，然後對所有的相似度進行歸一化。文中相似性使用的是巴氏距離；

3、重采樣：根據粒子權重對粒子進行篩選，篩選過程中，既要大量保留權重大的粒子，又要有一小部分權重小的粒子；

4、狀態轉移：將重采樣後的粒子帶入狀態轉移方程得到新的預測粒子；

5、測量及更新：對目標點特徵化，並計算各個粒子和目標間的巴氏距離，更新粒子的權重；

6、決策階段：每個粒子都獲得一個和目標的相似度，相似度越高，目標在該范圍出現的可能性越高，將保留的所有粒子通過相似度加權後的結果作為目標可能的位置。

3）Meanshift演算法

MeanShift演算法屬於核密度估計法，它不需要任何先驗知識而完全依靠特徵空間中樣本點的計算其密度函數值。對於一組采樣數據，直方圖法通常把數據的值域分成若干相等的區間，數據按區間分成若干組，每組數據的個數與總參數個數的比率就是每個單元的概率值；核密度估計法的原理相似於直方圖法，只是多了一個用於平滑數據的核函數。採用核函數估計法，在采樣充分的情況下，能夠漸進地收斂於任意的密度函數，即可以對服從任何分布的數據進行密度估計。

Meanshift演算法步驟

1、通過對初始點（或者上一幀的目標點）為圓心，繪制一個半徑為R的圓心，尋找特徵和該點相似的點所構成的向量；

2、所有向量相加，可以獲得一個向量疊加，這個向量指向特徵點多的方向；

3、取步驟二的向量終點為初始點重復步驟一、二，直到得到的向量小於一定的閾值，也就是說明當前位置是特徵點密度最密集的地方，停止迭代，認為該點為當前幀的目標點；

4）Camshift演算法

Camshift演算法是MeanShift演算法的改進，稱為連續自適應的MeanShift演算法。Camshift 是由Meanshift 推導而來 Meanshift主要是用在單張影像上，但是獨立一張影像分析對追蹤而言並無意義，Camshift 就是利用MeanShift的方法，對影像串列進行分析。

1、首先在影像串列中選擇目標區域。

2、計算此區域的顏色直方圖（特徵提取）。

3、用MeanShift演演算法來收斂欲追蹤的區域。

4、通過目標點的位置和向量信息計算新的窗口大小，並標示之。

5、以此為參數重復步驟三、四。

Camshift 關鍵就在於當目標的大小發生改變的時候，此演算法可以自適應調整目標區域繼續跟蹤。

3、小結

第一階段的單目標追蹤演算法基本上都是傳統方法，計算量小，在嵌入式等設備中落地較多，opencv中也預留了大量的介面。通過上面的兩節的介紹，我們不難發現，目標檢測演算法的步驟分為兩部分，一部分是對指定目標尋找可以跟蹤的特徵，常用的有顏色，輪廓，特徵點，軌跡等，另一部分是對目標特徵進行跟蹤，如上文所提及的方法。所以目標檢測方法的發展，也可總結為兩個方面，一個是如何去獲得更加具有區分性的可跟蹤的穩定特徵，另一個是如何建立幀與幀之間的數據關聯，保證跟蹤目標是正確的。

隨著以概率為基礎的卡爾曼濾波、粒子濾波或是以Meanshift為代表向量疊加方法在目標檢測的運用，使得目標檢測不再需要假設自身的一個狀態為靜止的，而是可以是運動的，更加符合復雜場景中的目標跟蹤。

⑦ 目標跟蹤演算法

(7)kalman目標跟蹤演算法原理擴展閱讀

目標跟蹤的演算法大致可以分為以下四種：

1) 均值漂移演算法，即meanshift演算法，此方法可以通過較少的迭代次數快速找到與目標最相似的位置，效果也挺好的。但是其不能解決目標的遮擋問題並且不能適應運動目標的的形狀和大小變化等。對其改進的演算法有camshift演算法，此方法可以適應運動目標的大小形狀的改變，具有較好的跟蹤效果，但當背景色和目標顏色接近時，容易使目標的區域變大，最終有可能導致目標跟蹤丟失。

2) 基於Kalman濾波的目標跟蹤，該方法是認為物體的運動模型服從高斯模型，來對目標的運動狀態進行預測，然後通過與觀察模型進行對比，根據誤差來更新運動目標的狀態，該演算法的精度不是特高。

3) 基於粒子濾波的目標跟蹤，每次通過當前的跟蹤結果重采樣粒子的分布，然後根據粒子的分布對粒子進行擴散，再通過擴散的結果來重新觀察目標的狀態，最後歸一化更新目標的`狀態。此演算法的特點是跟蹤速度特別快，而且能解決目標的部分遮擋問題，在實際工程應用過程中越來越多的被使用。

4) 基於對運動目標建模的方法。該方法需要提前通過先驗知識知道所跟蹤的目標對象是什麼，比如車輛、行人、人臉等。通過對要跟蹤的目標進行建模，然後再利用該模型來進行實際的跟蹤。該方法必須提前知道要跟蹤的目標對象是什麼，然後再去跟蹤指定的目標，這是它的局限性，因而其推廣性相對比較差。