[發明專利]一種基于視覺的無人機實時運動目標分類與檢測方法

有效

• 申請號: 201711076871.1
• 申請日: 2017-11-04
• 公開（公告）號: CN107909600B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 廖振星;段文博;高月山;張偉
• 申請（專利權）人: 南京奇蛙智能科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/33;G06T5/00;G01C11/36
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于視覺的無人機實時運動目標分類與檢測方法，其特征在于，通過無人機系統完成對目標的識別與檢測，所述無人機系統包括無人機和地面站系統，其中無人機包括無人機本體和設置在無人機本體上的云臺、相機、機載嵌入式處理器、飛行控制器和無線數字傳輸設備，相機、飛行控制器和無線數字傳輸設備均與機載嵌入式處理器之間通過導線連接，無人機和地面站系統通過無線數字傳輸設備進行無線通訊；

無人機系統對目標的識別與檢測包括如下步驟：

1)、控制無人機飛行到目標所在區域后，控制云臺和相機對目標所在區域進行視頻拍攝；

2)、無人機機載嵌入式處理器對所拍攝視頻進行畸變校正，并壓縮成能夠進行目標識別的尺寸；

3)、機載嵌入式處理器采用經過訓練的YOLOv2算法識別視頻中同類目標；

4)、無人機將視頻和同類目標的識別結果通過無線數字傳輸設備傳輸給地面站系統，地面站系統根據識別結果統計、標定視頻中的同類目標物，便于用戶執行后續操作；

5)、當需要無人機執行跟蹤或者降落到某一特定目標的任務時，通過人為操作在地面站中選擇已標定同類目標中的一個作為特定目標，以進一步識別與跟蹤，并將已選定特定目標的結果上傳給無人機；

6)、機載嵌入式處理器通過ORB算法提取特定目標的特征并保存；

7)、無人機進行特定目標識別，采用YOLOv2算法識別所拍攝視頻中每一幀圖像中所有的同類目標，縮小特征提取范圍、提高識別精度；

8)、機載嵌入式處理器采用ORB算法提取每一幀中已識別的同類目標的特征，并與特定目標的特征進行特征匹配；同時，預估特定目標的移動軌跡，計算所有同類目標位置與預估特定目標移動軌跡的匹配度；

9)、綜合特征匹配度和軌跡匹配度：

9.1)、當所有同類目標中的一個目標的特征匹配度或軌跡匹配度滿足設定閾值時，則認定該目標為特定目標，然后尋找到每一幀圖像中特定目標所在位置，并標注，進而進行后續跟蹤、降落處理；

9.2)、當所有同類目標的特征匹配度或軌跡匹配度均不滿足設定閾值時，需要在地面站系統上重新選定特定目標。

2.根據權利要求1所述的基于視覺的無人機實時運動目標分類與檢測方法，其特征在于，對所拍攝視頻進行畸變校正的步驟如下：

1)、使用無人機所選定相機對標準平面標定板進行多角度拍攝，拍攝圖像數量為12～20張；

2)、通過MATLAB或OpenCV庫對所拍攝標定板視圖進行處理，獲取相機畸變參數；

3)、根據相機畸變參數修正視頻畸變誤差。

3.根據權利要求1或2所述的基于視覺的無人機實時運動目標分類與檢測方法，其特征在于，采用YOLOv2算法識別目標的步驟如下：

1)、調用開源的神經網絡框架Darknet框架，輸入所拍攝視頻，輸出檢測結果，所述檢測結果包括目標包圍矩形框的對角坐標和目標類別；

2)、將檢測結果輸出為xml格式文件；

3)、在輸入視頻圖像中繪制出矩形框，可視化檢測結果；

4)、對檢測結果按照需求進行統計。

4.根據權利要求3所述的基于視覺的無人機實時運動目標分類與檢測方法，其特征在于，采用ORB算法提取目標特征的步驟如下：

1)、構造尺度金字塔；

2)、在每層金字塔上采用Fast算法提取特征點，采用Harris角點響應函數，按角點響應值排序，選取前N個特征點，N的取值范圍為和檢測出的特征點個數有關，N為檢測出特征點個數的20％～60％，且N為正整數；

3)、計算每個特征點的主方向；

4)、旋轉每個特征點的Patch到主方向；

5)、采用漢明距離進行特征點匹配。