[發明專利]一種基于視覺的無人機實時運動目標分類與檢測方法

有效

• 申請號: 201711076871.1
• 申請日: 2017-11-04
• 公開（公告）號: CN107909600B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 廖振星;段文博;高月山;張偉
• 申請（專利權）人: 南京奇蛙智能科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/33;G06T5/00;G01C11/36
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于視覺的無人機實時運動目標分類與檢測方法，目標識別借助深度學習的前沿技術，無人機通過先進的YOLOv2算法準確識別視頻中同類目標物，并對其進行統計和標記，以便用戶使用；當用戶在地面站選定已識別同類目標物中的某一個特定目標物后，無人機系統用ORB算法提取其特征，之后不斷與每幀視頻中提取的同類目標物特征進行匹配，并結合選定目標的運動軌跡趨勢，綜合得到最終匹配的特定目標及其位置。特定目標識別為后續的目標自動跟蹤、精準降落等自動化功能提供了保障。通過上述方法解決了無人機在復雜動態背景中的實時機載目標識別和檢測，包括同類目標物和特定目標物識別，兼顧檢測速度和精度等要求。

技術領域

本發明屬于無人機圖像處理技術和計算機視覺領域，具體而言涉及一種基于視覺和深度學習的無人機對實時運動目標的分類和檢測方法。

背景技術

運動目標在復雜動態背景下的實時識別是無人機朝著全自主應用必經的步驟，而由于應用平臺的特殊性，在小型無人機系統下，傳統的檢測方法如基于分割、基于分類器、基于特征點等，由于基于滑動窗口的區域選擇策略沒有針對性，時間復雜度高，窗口冗余，對于動態背景的檢測魯棒性不高；而基于深度學習以R-CNN為代表的結合region proposal和CNN分類的目標檢測框架，因為不能在無人機平臺上兼顧檢測精度和檢測速度的應用要求，無法實現對于運動目標在復雜動態背景中的實時機載檢測。

發明內容

本發明的目的在于提供一種基于視覺的無人機實時運動目標分類與檢測方法，克服現有技術中無人機在復雜動態背景中的實時機載目標識別和檢測，不能兼顧檢測速度和精度等要求的技術問題。

為了解決上述問題，本發明采取如下技術方案：

一種基于視覺的無人機實時運動目標分類與檢測方法，其特征在于，通過無人機系統完成對目標的識別與檢測，所述無人機系統包括無人機和地面站系統，其中無人機包括無人機本體和設置在無人機本體上的云臺、相機、機載嵌入式處理器、飛行控制器和無線數字傳輸設備，相機、飛行控制器和無線數字傳輸設備均與機載嵌入式處理器之間通過導線連接，無人機和地面站系統通過無線數字傳輸設備進行無線通訊；

無人機系統對目標的識別與檢測包括如下步驟：

1)、控制無人機飛行到目標所在區域后，控制云臺和相機對目標所在區域進行視頻拍攝；

2)、無人機機載嵌入式處理器對所拍攝視頻進行畸變校正，并壓縮成能夠進行目標識別的尺寸；

3)、機載嵌入式處理器采用經過訓練的YOLOv2算法識別視頻中同類目標；

4)、無人機將視頻和同類目標的識別結果通過無線數字傳輸設備傳輸給地面站系統，地面站系統根據識別結果統計、標定視頻中的同類目標物，便于用戶執行后續操作；

5)、當需要無人機執行跟蹤或者降落到某一特定目標的任務時，通過人為操作在地面站系統中選擇已標定同類目標中的一個作為特定目標，以進一步識別與跟蹤，并將已選定特定目標的結果上傳給無人機；

6)、機載嵌入式處理器通過ORB算法提取特定目標的特征并保存；

7)、無人機進行特定目標識別，采用YOLOv2算法識別所拍攝視頻中每一幀圖像中所有的同類目標，縮小特征提取范圍、提高識別精度；

8)、機載嵌入式處理器采用ORB算法提取每一幀中已識別的同類目標的特征，并與特定目標的特征進行特征匹配；同時，預估特定目標的移動軌跡，計算所有同類目標位置與預估特定目標移動軌跡的匹配度；

9)、綜合特征匹配度和軌跡匹配度：

9.1)、當所有同類目標中的一個目標的匹配度滿足設定閾值時，則認定該目標為特定目標，然后尋找到每一幀圖像中特定目標所在位置，并標注，進而進行后續跟蹤、降落等處理；