[發明專利]基于機器視覺的多無人機探測定位跟蹤系統及方法

有效

• 申請號: 202111139618.2
• 申請日: 2021-09-28
• 公開（公告）號: CN113589848B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 鄭燦倫;鄭業;張嘯宇;陳飛;趙世鈺
• 申請（專利權）人: 西湖大學
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 賈玉霞

1.一種基于機器視覺的空中多無人機實時檢測定位方法，其特征在于，該方法基于探測定位裝置來實現，所述探測定位裝置包括基座，以及固定在所述基座上的rtk定位天線、慣性測量模塊、計算終端和若干個攝像模塊；若干個攝像模塊的排布保證整個裝置的360°的探測區域都能被兩個及以上的攝像模塊的視場覆蓋，用于對空中的運動無人機進行檢測；所述慣性測量模塊和兩個rtk定位天線分別用于測得整個裝置的位置和姿態數據；

所述攝像模塊為180°全景相機，共有四個，水平并排固定在所述基座的頂端的四個角上，且相鄰兩個攝像模塊之間夾角為90°；每個所述攝像模塊均有四個并排的攝像頭，四個攝像頭朝向與相機中線夾角分別為-67.5°、-22.5°、22.5°和67.5°，單個攝像頭的視場角能覆蓋50度以上的范圍；

所述計算終端用于接收若干個攝像模塊的圖像數據，并將其輸入內置的無人機探測算法中，得到無人機的檢測結果；并將無人機的檢測結果、圖像數據以及整個裝置的位置和姿態數據輸入雙目定位算法，得到探測到的無人機在地球坐標系中的位置；

所述實時檢測定位方法包括如下步驟：

（1）將視場重合的兩個攝像頭組成一個雙目相機組，保證所有的雙目相機組共同覆蓋360度場景；并對所有攝像模塊中的攝像頭進行內外參標定；其中，外參標定包括計算第k個探測定位裝置中的第j個攝像頭的子坐標系S_k-j到第k個探測定位裝置的坐標系S_k的旋轉矩陣R_k-j和平移矩陣T_k-j；

其中，所述坐標系S_k定義為：坐標原點為基座的頂層中點；x軸為經過兩個rtk定位天線的方向；z軸指向基座正上方；y軸為滿足右手螺旋法則的方向；

（2）通過攝像頭實時采集包含運動無人機的圖像，然后縮小圖像尺寸；

（3）將縮小尺寸后的圖像轉換成灰度圖，采用運動目標檢測算法獲取圖像的前景掩碼圖，然后對前景掩碼圖做形態學處理，得到檢測到的運動物體的集合；

同時將縮小尺寸后的圖像輸入到yolo算法中，得到識別出的通用物體的集合；

（4）計算集合B_mov和B_yolo的交并比IoU，從B_mov中刪除通用物體集合中檢測的通用物體bbox_yolo，得到疑似度高的運動目標的集合；

（5）刪除中重疊的檢測框，并得到處理后的目標檢測集合B_uav；

（6）對處理后的檢測框內進行圖像識別，識別得到無人機檢測集合；將前后幀的無人機檢測集合進行數據關聯IoU匹配；對未匹配到的檢測對象，創建新的跟蹤器跟蹤新的檢測對象；對匹配到的跟蹤對象利用當前的目標狀態更新跟蹤器；刪除未匹配到跟蹤對象的跟蹤器；

（7）將雙目相機組檢測到的圖像和無人機檢測集合輸入到特征點提取算法，從各組的圖像雙目探測重合區域內提取特征點，將雙目相機組的兩張圖像中的特征點進行匹配，通過極線約束對目標框內匹配的特征點進行篩選，若兩個目標框中心滿足極線約束，且相互匹配的特征點數目最多，則定義為相互匹配的目標框；從相互匹配的兩個目標框內圖像中提取特征點，根據極線約束對匹配的特征點進行篩選，每組匹配的特征點計算得到一個三維空間位置；將所有符合極線約束的特征點的三維空間位置的平均值作為觀測到的第i個無人機在第k個探測定位裝置的第j個相機坐標系S_k-j中的三維空間位置p_k-uavi-j；

（8）將p_k-uavi-j通過坐標轉換，得到無人機在地球坐標系S_earth下的位置p_k-uavi。