A. 無人駕駛(二)行人檢測演算法
姓名：王夢妮
學號：20021210873
學院：電子工程學院
【嵌牛導讀】本文主要介紹了無人駕駛中所需的行人檢測演算法
【嵌牛鼻子】無人駕駛 環境感知 計算機視覺 SVM Adaboost演算法 R.CNN
【嵌牛提問】無人駕駛中所用到的行人檢測演算法有哪些
【嵌牛正文】
在同樣的交通路況下，無人車通過對自身運動狀態及行駛環境信息進行分析，決策出最佳行駛策略和行駛方案代替駕駛員完成一系列駕駛行為，從而降低道路交通事故的發生率。而在無人駕駛中最為重要的技術便是環境感知，而在城市道路上有大量的行人出行，只有準確快速地檢測出行人與對其進行跟蹤，才能避免車撞人。
計算機視覺是研究賦予機器「人眼」功能的科學，通過多個感測器來獲取一定范圍內的色彩數據，用演算法分析得到的數據從而理解周圍環境，這個過程模擬了人眼以及大腦的處理過程，從而賦予機器視覺感知能力。現有的行人檢測技術大多都是檢測照片中的行人目標，這種照片的拍攝大多是拍攝的靜止目標，圖像的解析度和像素點包含的語義信息都及其豐富，對應的演算法在這樣的圖片上往往能取得理想的效果，但是用於無人車的「眼睛」，演算法的魯棒性就表現的非常差。這是因為在實際的道路環境中，攝像頭需要搭載的車身上，在行進過程中跟隨車以一定的速度移動，並且在實際道路中，行人目標往往是在運動的，由此提取出拍攝視頻中的一幀就會出現背景虛化，造成像素點包含的語義信息大量減少，增加了行人檢測的難度。
行人檢測是計算機視覺領域的一個重要研究課題。在實際生活中，行人大多處於人口密集、背景復雜的城市環境中，並且行人的姿態各不相同，如何將行人從色彩豐富、形狀相似的環境中快速准確地提取出來，是行人檢測演算法的難點。
行人檢測演算法分為兩大類，一類是基於傳統圖像處理，另一類是基於深度學習的方法。近年來隨著計算機計算速度的大幅提升，基於深度學習的方法有著越來越高的檢測速度與檢測精度，在行人檢測領域應用越加廣泛。
（一）基於傳統圖像處理的行人檢測演算法
使用傳統的圖像處理方法來做行人檢測一般都是由兩個步驟組成，第一就是需要手工設計一個合理的特徵，第二就是需要設計一個合理的分類器。手工設計特徵就是找到一種方法對圖像內容進行數學描述，用於後續計算機能夠區分該圖像區域是什麼物體，分類器即是通過提取的特徵判斷該圖像區域屬於行人目標還是屬於背景。在傳統的圖像處理領域，手工特徵有許多種，比如顏色特徵、邊緣特徵(canny運算元和sobel運算元)以及基於特徵點的描述子(方向梯度直方圖)等。 學者們一致認為方向梯度直方圖是最適合行人檢測的人工特徵，其主要原理是對圖像的梯度方向直方圖進行統計來表徵圖像。該特徵是由Dalal於2005提出的，並與SVM分類器相結合，在行人檢測領域取得了前所未有的成功。
傳統的行人檢測方法首先需要通過提取手工設計特徵，再使用提取好的特徵來訓練分類器，得到一個魯棒性良好的模型。在行人檢測中應用最廣泛的分類器就是SVM和Adaboost。SVM分類器就是要找到一個超平面用來分割正負樣本，這個超平面的滿足條件就是超平面兩側的樣本到超平面的距離要最大，即最大化正負樣本邊界。下圖即為線性SVM的示意圖。
Adaboost分類演算法的主要原理不難理解，就是採用不同的方法訓練得到一系列的弱分類器，通過級聯所有的弱分類器來組成一個具有更高分類精度的強分類器，屬於一種迭代演算法。原理簡單易於理解且有著良好的分類效果，唯一不足就是練多個弱分類器非常耗時。下圖為面對一個二分類問題，Adaboost演算法實現的細節。
（二）基於深度學習的行人檢測演算法
近年來，隨著硬體計算能力的不斷增強，基於卷積神經網路的深度學習飛速發展，在目標檢測領域取得了更好的成績。卷積神經網路不再需要去手動設計特徵，只需要將圖片輸入進網路中，通過多個卷積層的卷積操作，提取出圖像的深層語義特徵。要想通過深度學習的方法得到一個性能良好的模型，需要大量的樣本數據，如果樣本過少，就很難學習到泛化能力好的特徵，同時在訓練時，由於涉及到大量的卷積操作，需要進行大量計算，要求硬體設備具有極高的算力，同時訓練起來也很耗時。隨著深度學習的飛速發展，越來越多基於深度學習的模型和方法不斷被提出，深度學習在目標檢測領域會有更加寬廣的發展空間。
Ross Girshick團隊提出了R.CNN系列行人檢測演算法，其中Faster R—CNN 演算法通過一個區域提議網路來生成行人候選框，在最後的特徵圖上滑動來確定候選框。Faster RCNN是首個實現端到端訓練的網路，通過一個網路實現了特徵提取、候選框生成、邊界框回歸和分類，這樣的框架大大提高了整個網路的檢測速度。 He Kaiming等人在2017年提出Mask R—CNN演算法，該演算法改進了Faster·R—CNN， 在原有的網路結構上增加了一個分支進行語義分割，並用ROI Align替代了ROI Pooling，取得了COCO數據集比賽的冠軍。
B. 基於行人軌跡預測的無人駕駛汽車主動避撞的演算法是什麼
1、針對傳統軌跡預測演算法無法深度挖掘行人步行意圖信息，無法提前預測行人軌跡，導致無人駕駛汽車主動避碰演算法、道路行人圖像信息和位置信息存在缺陷的問題通過車載感測器獲取道路行人的行為特徵，基於卷積神經網路識別道路行人的行為特徵，分析其步行意圖。使用卡爾曼濾波演算法得到狀態估計的預測值，結合行人主觀意圖進行修正，輸出符合行人主觀意圖的預測軌跡。通過行人車輛交叉口的特徵，建立不同行人軌跡類別的估計安全距離模型，並基於道路對行人軌跡進行預測，結果表明當行人行為特徵發生變化時，基於行為特徵的行人軌跡預測演算法分析可以提前預測行人軌跡變化，有效保證道路行人的安全。
4、該演算法基於對行人軌跡位置點的連續預測，結合行人步行意圖，預測動態系統的最優狀態，得到符合行人主觀意圖的最優軌跡，提供實時有效的行人行人主動避碰演算法的軌跡信息。 分析人車混合環境下的交通事故風險，根據人車交叉點建立估計的安全距離模型。測試結果表明，所提出的行人主動避碰演算法能夠有效保證道路行人的安全，能夠保證制動減速過程的平穩性和交通流的平穩性。
C. 無人駕駛(三)行人跟蹤演算法
姓名：王夢妮
學號：20021210873
學院：電子工程學院
【嵌牛導讀】本文主要介紹了無人駕駛中所需的拿肢行人跟蹤演算法
【嵌牛鼻子】無人駕駛 環境感知 計算機視覺 卡爾曼濾波 粒子濾波 均值漂移
【嵌牛提問】無人駕駛中所用到的行人跟蹤演算法有哪些
【嵌牛正文】
行人跟蹤一直是視覺領域的一個難點，實際應用環境復雜、遮擋以及行人姿態變化等外界因素都影響著行人跟蹤演算法的研究。行人跟蹤演算法模型主要分為生成模型和判別模型。
（一）生成式模型
生成式模型是一種通過在線學習行人目標特徵，建立行人跟蹤模型，然後使用模型來搜索誤差最小的目標區域，從而完成對行人的跟蹤。這種演算法在構建模型只考慮了行人本身的特徵，忽略了背景信息，沒有做到有效利用圖像中的全部信息。其中比較經典的演算法主要有卡爾曼濾波，粒子濾波，mean-shift等。
（1）卡爾曼濾波演算法
卡爾曼濾波演算法是一種通過對行人構建狀態方程和觀測方程為基礎，計算最小均方誤差來實現跟蹤的最優線性遞歸濾波演算法，通過遞歸行人的運動狀態來預測行人軌跡的變化。
首先設定初始參數，讀取視頻序列。然後進行背景估計，產生初始化背景圖像。然後依次讀取視頻序列，利用Kahnan濾波演算法，根據上一幀估計的背景和當前幀數據得到當前幀的前景目標。然後對前景目標進行連通計算，檢測出運動目標的軌跡。經典的卡爾曼濾波演算法．只能對線性運動的行人實現跟蹤，之後學者改進了卡爾曼濾波演算法，能夠實現對非線性運動的行人進行跟蹤，計算量小，能實現實時跟蹤，但是跟蹤效果不理想。
（2）粒子濾波
粒子濾波的核心就是貝葉斯推理和重要性采樣。粒子濾波可用於非線性非高斯模型，這是由於貝葉斯推理採用蒙特卡洛法，以某個時間點事件出現的頻率表示其概率。通過一組粒子消宴世對整個模型的後驗概率分布進行近似的表示，通過這個表示來估計整個非線性非高斯系統的狀態。重要性採用就是通過粒子的置信度來賦予不同的權重，置信度高的粒子，賦予較大的權重，通過權重的分布形式表示相似程度。
（3）均值漂移（mean-shift）
Mean-shift演算法屬於核密度估計法。不必知道先驗概率，密度函數值由采樣點的特徵空間計算。通過計算當前幀目標區域的像素特徵值概率來描述目標模型，並對候選區域進行統一描述，使用相似的函數表示目標模型與候選模板之間的相似度，然後選擇在具有相似函數值最大的候選模型中，您將獲得關於目標模型的均值漂移向量，該向量表示目標從當前位置移動到下一個位置的向量。通過連續迭代地計算均值偏移矢量，行人跟蹤演算法將最終收斂到行人的實際位置，從而實現行人跟蹤。
（二） 判別式模型
判別模型與生成模型不同，行人跟蹤被視為二分類問題。提取圖像中的行人和背景信息，並用於訓練分類器。通過分類將行人從圖像背景中分離出來，以獲取行人的當前位置。以行人區域為正樣本，背景區域為負樣本，通過機器學習演算法對正樣本和負樣本進行訓練，訓練後的分類器用於在下一幀中找到相似度最高的區域，以完成行人軌跡更新。判別式模型不像生成式模型僅僅利用了行人的信息，還利用了背景信息，因此判別式模型的跟蹤效果普遍優於生成式模型。
（1）基於相關濾波的跟蹤演算法
核相關濾波(KCF)演算法是基於相關濾波的經典跟蹤演算法，具有優良的跟蹤效果和跟蹤速度。這是由於其採用了循環移位的方式來進行樣本生產，用生成的樣本來訓練分類器，通過高斯核函數來計算當前幀行人與下一幀中所有候選目標之間的相似概率圖，找到相似概率圖最大的那個候選目標，就得到了行人的新位置。KCF演算法為了提高跟蹤精度，使用HOG特徵對行人進行描述，同時結合了離散傅里葉變換來降低計算量。
（2）基於深度學習的跟蹤演算法
近年來，深度學習在圖像和語音方面取得了較大的成果，因此有許多科研人員將深度學習與行人跟蹤相結合，取得了比傳統跟蹤演算法更好的性能。DLT就是一個基於深度學習的行人跟蹤演算法，利用深度模型自動編碼器通過離線訓練的方式，在大規模行人數據集上得到一個行人模型，然後在線對行人進行跟蹤來微調模型。首先通過粒子濾波獲取候選行人目標，然後利用自動編碼器進行預測，最終得到行人的預測位置即最大輸出值的候選行人目標位置。2015年提出的MDNet演算法採用了分域訓練的方式祥森。對於每個類別，一個單獨的全連接層用於分類，並且全連接層前面的所有層都是共享，用於特徵提取。2017年提出的HCFT演算法使用深度學習對大量標定數據進行訓練，得到強有力的特徵表達模型，結合基於相關濾波的跟蹤演算法，用於解決在線進行跟蹤過程中行人樣本少、網路訓練不充分的問題。此外，通過深度學習提取特徵，利用數據關聯的方法來實現跟蹤的演算法，其中最為著名的就JPDAF與MHT這兩種方法。
