機器視覺運動目標檢測檢測演算法

Ⅰ 視覺檢驗的原理

視覺檢測
視覺檢測就是用機器代替人眼來做測量和判斷。視覺檢測是指通過機器視覺產品（即圖像攝取裝置，分 CMOS 和CCD 兩種）將被攝取目標轉換成圖像信號，傳送給專用的圖像處理系統，根據像素分布和亮度、顏色等信息，轉變成數字化信號；圖像系統對這些信號進行各種運算來抽取目標的特徵，進而根據判別的結果來控制現場的設備動作。是用於生產、裝配或包裝的有價值的機制。它在檢測缺陷和防止缺陷產品被配送到消費者的功能方面具有不可估量的價值。基本內容

視覺檢測是計算機學科的一個重要分支，它綜合了光學、機械、電子、計算機軟硬體等方面的技術，涉及到計算機、圖像處理、模式識別、人工智慧、信號處理、光機電一體化等多個領域。自起步發展至今，已經有20多年的歷史，其功能以及應用范圍隨著工業自動化的發展逐漸完善和推廣，其中特別是目前的數字圖像感測器、CMOS和CCD攝像機、DSP、FPGA、ARM等嵌入式技術、圖像處理和模式識別等技術的快速發展，大大地推動了機器視覺的發展。簡而言之，機器視覺解決方案就是利用機器代替人眼來作各種測量和判斷。

解決過程
1、工件定位檢測器探測到物體已經運動至接近攝像系統的視野中心，向圖像採集部分發送觸發脈 沖，可分為連續觸發和外部觸發。

2、圖像採集部分按照事先設定的程序和延時，分別向攝像機和照明系統發出啟動脈沖。

3、攝像機停止目前的掃描，重新開始新的一幀掃描，或者攝像機在啟動脈沖來到之前處於等待狀態，啟動脈沖到來後啟動一幀掃描。

4、攝像機開始新的一幀掃描之前打開曝光機構，曝光時間可以事先設定。

5、另一個啟動脈沖打開燈光照明，燈光的開啟時間應該與攝像機的曝光時間匹配。

6、攝像機曝光後，正式開始一幀圖像的掃描和輸出。

7、圖像採集部分接收模擬視頻信號通過A/D將其數字化，或者是直接接收攝像機數字化後的數字視頻數據。

8、圖像採集部分將數字圖像存放在處理器或計算機的內存中。

9、處理器對圖像進行處理、分析、識別，獲得測量結果或邏輯控制值。

10、處理結果控制流水線的動作、進行定位、糾正運動的誤差等。

從上述的工作流程可以看出，機器視覺解決方案是一種比較復雜的系統。因為大多數系統監控對象都是運動物體，系統與運動物體的匹配和協調動作尤為重要，所以給系統各部分的動作時間和處理速度帶來了嚴格的要求。在某些應用領域，例如機器人、飛行物體導制等，對整個系統或者系統的一部分的重量、體積和功耗都會有嚴格的要求。

優勢
1、非接觸測量，對於觀測者與被觀測者都不會產生任何損傷，從而提高系統的可靠性。

2、具有較寬的光譜響應范圍，例如使用人眼看不見的紅外測量，擴展了人眼的視覺范圍。

3、長時間穩定工作，人類難以長時間對同一對象進行觀察，而機器視覺則可以長時間地作測量、分析和識別任務。

4、利用了機器視覺解決方案，可以節省大量勞動力資源，為公司帶來可觀利益

Ⅱ 機器視覺定位是什麼和機器視覺檢測有什麼不同

視覺定位類項目通常結合機器人學，軸組運動學控制，常常使用仿射變換，幾何學，手眼標定等演算法，在數學原理層面要熟悉常用的矩陣轉換公式，幾何平面學公式等。追求的是高精度定位效果，通常定位抓取精度在0.01mm。應用場景包括2D定位，3D無序定位抓取等。需要對自動化設備，機器人學等十分了解。機器視覺檢測通常指的是目標檢測和缺陷檢測，在工業上，需要對CCD感測器得到的圖像做圖像處理找到某些缺陷，在演算法層方面需要掌握Blob分析，預處理演算法，邊緣提取等，偏重於圖像處理本身。在計算機視覺方向，視覺檢測還有目標檢測，通常用卷積神經網路實現對目標的檢測和分類，比如說現在的人臉識別，自動駕駛等。綜合以上，機器視覺定位更偏向於視覺演算法和自動化結合，視覺檢測更注重於圖像演算法本身。

Ⅲ 機器視覺演算法有哪些

機器視覺演算法基本步驟；
1、圖像數據解碼
2、圖像特徵提取
3、識別圖像中目標。
機器視覺是人工智慧正在快速發展的一個分支。
簡單說來，機器視覺就是用機器代替人眼來做測量和判斷。
機器視覺系統是通過機器視覺產品(即圖像攝取裝置，分CMOS和CCD兩種)將被攝取目標轉換成圖像信號，傳送給專用的圖像處理系統，得到被攝目標的形態信息，根據像素分布和亮度、顏色等信息，轉變成數字化信號;圖像系統對這些信號進行各種運算來抽取目標的特徵，進而根據判別的結果來控制現場的設備動作。

現在做視覺檢測的公司比較多，國內國外都有，許多視覺算是很好的。
能提供完整的機器視覺軟體解決方案，也可以為客戶提供演算法級的定製，覆蓋所有的工業應用領域，適用范圍比較廣。機器視覺的應用會越來越多，因為計算的水平越來越高，可以處理更復雜的視覺演算法；其實好多的東西，包括現在流行的GPS，最早都是外國的公司在做，程序都是中國人在做外包；
光機電的應用我個人覺得已經很成熟了，不會再有新東西。

Ⅳ 機器視覺檢測主要是什麼原理

機器視覺的缺陷檢測原理是基於對人眼檢測的模擬，用簡單的歸納思維來進行識別。正如生活中醫生對病人進行診斷，就是一個典型的歸納分類的行為。從最古老的望聞問切，到現在的B超，CT等現代化設備儀器，沒有哪一個醫生能夠單純靠肉眼就能直接判斷病情，只能觀察病人表現出的症狀和各種化驗檢測數據來推斷病情，這個時候，醫生所使用的就是一種歸納分類的思路，病人的單一症狀的分類與復合症狀的精確分類。
機器視覺缺陷檢測系統採用C攝像設備將被檢測的目標轉換成圖像信號，傳送給專用的圖像處理系統，根據像素分布和亮度、顏色等信息，轉變成數字化信號，圖像處理系統對這些信號進行各種運算來抽取目標的分類特徵，如面積、數量、位置、長度，再根據預設的允許度和其他條件輸出結果，包括尺寸、角度、個數、合格 / 不合格、有 / 無等，實現自動識別功能。
由於有了圖像處理還有計算機等等自動化設備的幫忙，機器視覺其實是遠遠超過人類的極限的，所以它的優勢也十分明顯，包括高效率、高精度、高自動化，以及能夠很好適應比較差的環境。所以在一些不適合人工作業的危險的工作環境，或者是我們人類視覺很難滿足要求的場合，機器視覺是可以用來代替人工視覺的。在這種檢測、測量、識別和定位等功能上，機器視覺更是能夠更好地勝任。除了以上這些，它還能夠提高生產效率以及自動化的程度，實現信息集成，所以在工業領域應用很廣泛，是智能製造很重要的基礎。

Ⅳ 無人駕駛(二)行人檢測演算法

姓名：王夢妮

學號：20021210873

學院：電子工程學院

【嵌牛導讀】本文主要介紹了無人駕駛中所需的行人檢測演算法

【嵌牛鼻子】無人駕駛 環境感知 計算機視覺 SVM Adaboost演算法 R.CNN

【嵌牛提問】無人駕駛中所用到的行人檢測演算法有哪些

【嵌牛正文】

在同樣的交通路況下，無人車通過對自身運動狀態及行駛環境信息進行分析，決策出最佳行駛策略和行駛方案代替駕駛員完成一系列駕駛行為，從而降低道路交通事故的發生率。而在無人駕駛中最為重要的技術便是環境感知，而在城市道路上有大量的行人出行，只有準確快速地檢測出行人與對其進行跟蹤，才能避免車撞人。

計算機視覺是研究賦予機器「人眼」功能的科學，通過多個感測器來獲取一定范圍內的色彩數據，用演算法分析得到的數據從而理解周圍環境，這個過程模擬了人眼以及大腦的處理過程，從而賦予機器視覺感知能力。現有的行人檢測技術大多都是檢測照片中的行人目標，這種照片的拍攝大多是拍攝的靜止目標，圖像的解析度和像素點包含的語義信息都及其豐富，對應的演算法在這樣的圖片上往往能取得理想的效果，但是用於無人車的「眼睛」，演算法的魯棒性就表現的非常差。這是因為在實際的道路環境中，攝像頭需要搭載的車身上，在行進過程中跟隨車以一定的速度移動，並且在實際道路中，行人目標往往是在運動的，由此提取出拍攝視頻中的一幀就會出現背景虛化，造成像素點包含的語義信息大量減少，增加了行人檢測的難度。

行人檢測是計算機視覺領域的一個重要研究課題。在實際生活中，行人大多處於人口密集、背景復雜的城市環境中，並且行人的姿態各不相同，如何將行人從色彩豐富、形狀相似的環境中快速准確地提取出來，是行人檢測演算法的難點。

行人檢測演算法分為兩大類，一類是基於傳統圖像處理，另一類是基於深度學習的方法。近年來隨著計算機計算速度的大幅提升，基於深度學習的方法有著越來越高的檢測速度與檢測精度，在行人檢測領域應用越加廣泛。

（一）基於傳統圖像處理的行人檢測演算法

使用傳統的圖像處理方法來做行人檢測一般都是由兩個步驟組成，第一就是需要手工設計一個合理的特徵，第二就是需要設計一個合理的分類器。手工設計特徵就是找到一種方法對圖像內容進行數學描述，用於後續計算機能夠區分該圖像區域是什麼物體，分類器即是通過提取的特徵判斷該圖像區域屬於行人目標還是屬於背景。在傳統的圖像處理領域，手工特徵有許多種，比如顏色特徵、邊緣特徵(canny運算元和sobel運算元)以及基於特徵點的描述子(方向梯度直方圖)等。 學者們一致認為方向梯度直方圖是最適合行人檢測的人工特徵，其主要原理是對圖像的梯度方向直方圖進行統計來表徵圖像。該特徵是由Dalal於2005提出的，並與SVM分類器相結合，在行人檢測領域取得了前所未有的成功。

傳統的行人檢測方法首先需要通過提取手工設計特徵，再使用提取好的特徵來訓練分類器，得到一個魯棒性良好的模型。在行人檢測中應用最廣泛的分類器就是SVM和Adaboost。SVM分類器就是要找到一個超平面用來分割正負樣本，這個超平面的滿足條件就是超平面兩側的樣本到超平面的距離要最大，即最大化正負樣本邊界。下圖即為線性SVM的示意圖。

Adaboost分類演算法的主要原理不難理解，就是採用不同的方法訓練得到一系列的弱分類器，通過級聯所有的弱分類器來組成一個具有更高分類精度的強分類器，屬於一種迭代演算法。原理簡單易於理解且有著良好的分類效果，唯一不足就是練多個弱分類器非常耗時。下圖為面對一個二分類問題，Adaboost演算法實現的細節。

           

 

（二）基於深度學習的行人檢測演算法

    近年來，隨著硬體計算能力的不斷增強，基於卷積神經網路的深度學習飛速發展，在目標檢測領域取得了更好的成績。卷積神經網路不再需要去手動設計特徵，只需要將圖片輸入進網路中，通過多個卷積層的卷積操作，提取出圖像的深層語義特徵。要想通過深度學習的方法得到一個性能良好的模型，需要大量的樣本數據，如果樣本過少，就很難學習到泛化能力好的特徵，同時在訓練時，由於涉及到大量的卷積操作，需要進行大量計算，要求硬體設備具有極高的算力，同時訓練起來也很耗時。隨著深度學習的飛速發展，越來越多基於深度學習的模型和方法不斷被提出，深度學習在目標檢測領域會有更加寬廣的發展空間。

Ross Girshick團隊提出了R.CNN系列行人檢測演算法，其中Faster R—CNN 演算法通過一個區域提議網路來生成行人候選框，在最後的特徵圖上滑動來確定候選框。Faster RCNN是首個實現端到端訓練的網路，通過一個網路實現了特徵提取、候選框生成、邊界框回歸和分類，這樣的框架大大提高了整個網路的檢測速度。 He Kaiming等人在2017年提出Mask R—CNN演算法，該演算法改進了Faster·R—CNN， 在原有的網路結構上增加了一個分支進行語義分割，並用ROI Align替代了ROI Pooling，取得了COCO數據集比賽的冠軍。

Ⅵ 什麼是機器視覺工作原理是什麼

機器視覺是人工智慧正在快速發展的一個分支。簡單說來，機器視覺就是用機器代替人眼來做測量和判斷。機器視覺系統是通過機器視覺產品(即圖像攝取裝置，分CMOS和CCD兩種)將被攝取目標轉換成圖像信號，傳送給專用的圖像處理系統，得到被攝目標的形態信息，根據像素分布和亮度、顏色等信息，轉變成數字化信號;圖像系統對這些信號進行各種運算來抽取目標的特徵，進而根據判別的結果來控制現場的設備動作。
工作原理：
機器視覺檢測系統採用CCD照相機將被檢測的目標轉換成圖像信號，傳送給專用的圖像處理系統，根據像素分布和亮度、顏色等信息，轉變成數字化信號，圖像處理系統對這些信號進行各種運算來抽取目標的特徵，如面積、數量、位置、長度，再根據預設的允許度和其他條件輸出結果，包括尺寸、角度、個數、合格 / 不合格、有 / 無等，實現自動識別功能。

Ⅶ 機器視覺檢測都檢測什麼原理是什麼

工業機器視覺檢測在很多情況下，又被稱為缺陷檢測、缺陷分割，是指機器通過視覺感測器（攝像頭），將被攝取目標的像素分布、亮度、顏色等信息統統轉化為圖像信號，並通過運算抓取圖像中目標物的特徵從而對目標物特徵進行識別，最後將缺陷像素從背景中分割出來，實現良品和次品的區分。

工業機器視覺可使用的范圍比較廣，據我所知，僅在缺陷監測方面，目前的視覺檢測技術就已經可以識別斑點、刮痕、凹凸、結點、黑點、印子、氣泡、雜質、壓傷、褶皺、蟲斑、針孔、錫點、結石等缺陷。

而在工業機器視覺領域，思謀算是一直走在行業的前列，其推出的（思謀）SMore ViMo（智能工業平台）能夠無縫對接SMore ViNeo VN800、ViScanner VS1000 Pro等不同功能的工業機器視覺感測器和大量的一體化設備。通過不同產品和演算法的搭配組合，可大大滿足軸承外觀檢測、小型鋰離子外觀點膠檢測、負極外殼缺陷檢測、無線充電線圈檢測、矽片字元視覺檢測等多樣化的檢測需求。
另外，思謀還做到了零代碼，整個搭建過程中無需代碼編程，就可將復雜的模型訓練過程簡化，便利性極高。

Ⅷ 視覺檢測的工作原理

視覺檢測涉及拍攝物體的圖像，對其進行檢測並轉化為數據供系統處理和分析，確保符合其製造商的質量標准。不符合質量標準的對象會被跟蹤和剔除。
掌握視覺檢測系統的工作原理對評估該系統對公司運作所做的貢獻十分重要。必須充分在設置視覺檢測系統時所涉及到的變數。正確設置這些變數，採用合適的容差，這對確保在動態的生產環境中有效而可靠地運行系統而言至關重要。如果一個變數調整或設計不正確，系統將連續出現錯誤剔除，證明使用不可靠。

Ⅸ 請問，機器人視覺抓取關鍵技術有哪些，各有哪些實現方法，有何優缺點

首先，我們要了解，機器人領域的視覺（Machine Vision）跟計算機領域（Computer Vision）的視覺有一些不同：機器視覺的目的是給機器人提供操作物體的信息。所以，機器視覺的研究大概有這幾塊：

物體識別（Object Recognition）：在圖像中檢測到物體類型等，這跟 CV 的研究有很大一部分交叉；

位姿估計（Pose Estimation）：計算出物體在攝像機坐標系下的位置和姿態，對於機器人而言，需要抓取東西，不僅要知道這是什麼，也需要知道它具體在哪裡；

相機標定（Camera Calibration）：因為上面做的只是計算了物體在相機坐標系下的坐標，我們還需要確定相機跟機器人的相對位置和姿態，這樣才可以將物體位姿轉換到機器人位姿。

當然，我這里主要是在物體抓取領域的機器視覺；SLAM 等其他領域的就先不講了。

由於視覺是機器人感知的一塊很重要內容，所以研究也非常多了，我就我了解的一些，按照由簡入繁的順序介紹吧：

0. 相機標定

這其實屬於比較成熟的領域。由於我們所有物體識別都只是計算物體在相機坐標系下的位姿，但是，機器人操作物體需要知道物體在機器人坐標系下的位姿。所以，我們先需要對相機的位姿進行標定。內參標定就不說了，參照張正友的論文，或者各種標定工具箱；外參標定的話，根據相機安裝位置，有兩種方式：

Eye to Hand：相機與機器人極坐標系固連，不隨機械臂運動而運動

Eye in Hand：相機固連在機械臂上，隨機械臂運動而運動 兩種方式的求解思路都類似，首先是眼在手外（Eye to Hand）

只需在機械臂末端固定一個棋盤格，在相機視野內運動幾個姿態。由於相機可以計算出棋盤格相對於相機坐標系的位姿 、機器人運動學正解可以計算出機器人底座到末端抓手之間的位姿變化 、而末端爪手與棋盤格的位姿相對固定不變。這樣，我們就可以得到一個坐標系環

而對於眼在手上（Eye in Hand）的情況，也類似，在地上隨便放一個棋盤格（與機器人基座固連），然後讓機械臂帶著相機走幾個位姿，然後也可以形成一個 的坐標環

1. 平面物體檢測

這是目前工業流水線上最常見的場景。目前來看，這一領域對視覺的要求是：快速、精確、穩定。所以，一般是採用最簡單的邊緣提取+邊緣匹配/形狀匹配的方法；而且，為了提高穩定性、一般會通過主要打光源、採用反差大的背景等手段，減少系統變數。

目前，很多智能相機（如 cognex）都直接內嵌了這些功能；而且，物體一般都是放置在一個平面上，相機只需計算物體的 三自由度位姿即可。另外，這種應用場景一般都是用於處理一種特定工件，相當於只有位姿估計，而沒有物體識別。 當然，工業上追求穩定性無可厚非，但是隨著生產自動化的要求越來越高，以及服務類機器人的興起。對更復雜物體的完整位姿 估計也就成了機器視覺的研究熱點。

2. 有紋理的物體

機器人視覺領域是最早開始研究有紋理的物體的，如飲料瓶、零食盒等表面帶有豐富紋理的都屬於這一類。當然，這些物體也還是可以用類似邊緣提取+模板匹配的方法。但是，實際機器人操作過程中，環境會更加復雜：光照條件不確定（光照）、物體距離相機距離不確定（尺度）、相機看物體的角度不確定（旋轉、仿射）、甚至是被其他物體遮擋（遮擋）。

幸好有一位叫做 Lowe 的大神，提出了一個叫做 SIFT （Scale-invariant feature transform）的超強局部特徵點：Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110.具體原理可以看上面這篇被引用 4萬+ 的論文或各種博客，簡單地說，這個方法提取的特徵點只跟物體表面的某部分紋理有關，與光照變化、尺度變化、仿射變換、整個物體無關。因此，利用 SIFT 特徵點，可以直接在相機圖像中尋找到與資料庫中相同的特徵點，這樣，就可以確定相機中的物體是什麼東西（物體識別）。

對於不會變形的物體，特徵點在物體坐標系下的位置是固定的。所以，我們在獲取若干點對之後，就可以直接求解出相機中物體與資料庫中物體之間的單應性矩陣。如果我們用深度相機（如Kinect）或者雙目視覺方法，確定出每個特徵點的 3D 位置。那麼，直接求解這個 PnP 問題，就可以計算出物體在當前相機坐標系下的位姿。

↑ 這里就放一個實驗室之前畢業師兄的成果當然，實際操作過程中還是有很多細節工作才可以讓它真正可用的，如：先利用點雲分割和歐氏距離去除背景的影響、選用特徵比較穩定的物體（有時候 SIFT 也會變化）、利用貝葉斯方法加速匹配等。而且，除了 SIFT 之外，後來又出了一大堆類似的特徵點，如 SURF、ORB 等。

3. 無紋理的物體

好了，有問題的物體容易解決，那麼生活中或者工業里還有很多物體是沒有紋理的：

我們最容易想到的就是：是否有一種特徵點，可以描述物體形狀，同時具有跟 SIFT 相似的不變性？不幸的是，據我了解，目前沒有這種特徵點。所以，之前一大類方法還是採用基於模板匹配的辦法，但是，對匹配的特徵進行了專門選擇（不只是邊緣等簡單特徵）。

這里，我介紹一個我們實驗室之前使用和重現過的演算法 LineMod：Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.

簡單而言，這篇論文同時利用了彩色圖像的圖像梯度和深度圖像的表面法向作為特徵，與資料庫中的模板進行匹配。由於資料庫中的模板是從一個物體的多個視角拍攝後生成的，所以這樣匹配得到的物體位姿只能算是初步估計，並不精確。但是，只要有了這個初步估計的物體位姿，我們就可以直接採用 ICP 演算法（Iterative closest point）匹配物體模型與 3D 點雲，從而得到物體在相機坐標系下的精確位姿。

當然，這個演算法在具體實施過程中還是有很多細節的：如何建立模板、顏色梯度的表示等。另外，這種方法無法應對物體被遮擋的情況。（當然，通過降低匹配閾值，可以應對部分遮擋，但是會造成誤識別）。針對部分遮擋的情況，我們實驗室的張博士去年對 LineMod 進行了改進，但由於論文尚未發表，所以就先不過多涉及了。

4. 深度學習

由於深度學習在計算機視覺領域得到了非常好的效果，我們做機器人的自然也會嘗試把 DL 用到機器人的物體識別中。

首先，對於物體識別，這個就可以照搬 DL 的研究成果了，各種 CNN 拿過來用就好了。有沒有將深度學習融入機器人領域的嘗試？有哪些難點？ - 知乎 這個回答中，我提到 2016 年的『亞馬遜抓取大賽』中，很多隊伍都採用了 DL 作為物體識別演算法。 然而， 在這個比賽中，雖然很多人採用 DL 進行物體識別，但在物體位姿估計方面都還是使用比較簡單、或者傳統的演算法。似乎並未廣泛採用 DL。 如@周博磊所說，一般是採用 semantic segmentation network 在彩色圖像上進行物體分割，之後，將分割出的部分點雲與物體 3D 模型進行 ICP 匹配。

當然，直接用神經網路做位姿估計的工作也是有的，如這篇：Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

它的方法大概是這樣：對於一個物體，取很多小塊 RGB-D 數據（只關心一個patch，用局部特徵可以應對遮擋）；每小塊有一個坐標（相對於物體坐標系）；然後，首先用一個自編碼器對數據進行降維；之後，用將降維後的特徵用於訓練Hough Forest。

5. 與任務/運動規劃結合

這部分也是比較有意思的研究內容，由於機器視覺的目的是給機器人操作物體提供信息，所以，並不限於相機中的物體識別與定位，往往需要跟機器人的其他模塊相結合。

我們讓機器人從冰箱中拿一瓶『雪碧』，但是這個 『雪碧』 被『美年達』擋住了。我們人類的做法是這樣的：先把 『美年達』 移開，再去取 『雪碧』 。所以，對於機器人來說，它需要先通過視覺確定雪碧在『美年達』後面，同時，還需要確定『美年達』這個東西是可以移開的，而不是冰箱門之類固定不可拿開的物體。 當然，將視覺跟機器人結合後，會引出其他很多好玩的新東西。由於不是我自己的研究方向，所以也就不再班門弄斧了。

機器人家上有關於這個很詳細的圖文講解，你可以看下，希望對你有用