[發明專利]一種針對無人機集群的光電探測跟蹤方法及系統

在審

• 申請號: 202110292911.6
• 申請日: 2021-03-18
• 公開（公告）號: CN112884811A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 賈圣德;陳善勇;王夢云
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/33;G06T7/73;G06T5/00;G06T3/40;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 邱軼

1.一種針對無人機集群的光電探測跟蹤方法，其特征在于，所述方法包括：

通過大視場仿生光學組件拍攝得到無人機集群的多組運動視頻；所述大視場仿生光學組件由前級球形物鏡和后級小口徑透鏡組陣列組成；

根據所述多組運動視頻提取多組視頻幀的序列圖像，將所述序列圖像按視頻幀拼接得到無人機集群的全景圖像；

通過訓練好的yolov4第一網絡模型對所述全景圖像中的多無人機圖像進行識別與定位，得到多個無人機的目標檢測框和類別信息；

通過訓練好的yolov4第二網絡模型對前一幀和當前幀的所述全景圖像的所述目標檢測框進行特征比對，并結合所述類別信息，得到前一幀和當前幀中多個目標檢測框的匹配關系，根據所述匹配關系確定與前一幀目標檢測框匹配的當前幀目標檢測框，將所述同一目標的目標檢測框的中心點作為軌跡點，根據所述軌跡點繪制無人機目標的跟蹤軌跡。

2.根據權利要求1所述的方法，其特征在于，根據所述多組運動視頻提取多組視頻幀的序列圖像，將所述序列圖像按視頻幀拼接得到無人機集群的全景圖像，包括：

根據所述多組運動視頻提取多組視頻幀的序列圖像；

對所述序列圖像進行幾何畸變校正和噪點抑制的預處理；

通過基于SIFT的配準算法對預處理后的所述序列圖像進行圖像配準；

通過像素級融合中的加權平均法對配準后的所述序列圖像進行拼接，得到無人機集群的全景圖像。

3.根據權利要求1所述的方法，其特征在于，所述yolov4第一網絡模型的訓練步驟包括：

建立包含多種無人機場景圖像的訓練集和測試集；

使用數據標注工具獲取所述訓練集中待識別目標的檢測框；

以darknet53作為主干網絡，空間金字塔池化模塊和路徑聚合網絡模塊作為頸部，yolov4作為頭部搭建yolov4網絡模型；

設置所述yolov4網絡模型的訓練參數，通過標注了檢測框的所述訓練集對所述yolov4網絡模型進行迭代訓練，直到損失函數收斂，得到預備模型；

將所述測試集輸入所述預備模型進行檢測，若輸出正確率沒有達到預先設定的閾值，則重新設置所述訓練參數并迭代訓練，直到所述預備模型對所述測試集的正確率達到所述閾值，得到訓練好的所述yolov4第一網絡模型。

4.根據權利要求3所述的方法，其特征在于，所述通過訓練好的yolov4第二網絡模型對前一幀和當前幀的所述全景圖像的所述目標檢測框進行特征比對，并結合所述類別信息，得到前一幀和當前幀中多個目標檢測框的匹配關系，根據所述匹配關系確定與前一幀目標檢測框匹配的當前幀目標檢測框，將所述同一目標的目標檢測框的中心點作為軌跡點，根據所述軌跡點繪制無人機目標的跟蹤軌跡，包括：

將前一幀的所述全景圖像的所述目標檢測框作為目標區域，通過第一神經網絡模型提取所述目標區域的特征；

將當前幀的所述全景圖像的所述目標檢測框作為搜索區域，通過第二神經網絡模型提取所述搜索區域的特征；

對所述目標區域的特征和所述搜索區域的特征進行特征比對，得到前一幀和當前幀中多個目標檢測框的匹配關系；

根據所述匹配關系確定與前一幀目標檢測框匹配的當前幀目標檢測框，將所述同一目標的目標檢測框的中心點作為軌跡點，根據所述軌跡點繪制無人機目標的跟蹤軌跡。

5.根據權利要求4所述的方法，其特征在于，根據所述軌跡點繪制無人機目標的跟蹤軌跡之后，還包括：

將所述跟蹤軌跡數據發送到地面站系統，在所述地面站系統中進行實時高清顯示。

6.根據權利要求5所述的方法，其特征在于，根據所述多組運動視頻提取多組視頻幀的序列圖像，將所述序列圖像按視頻幀拼接得到無人機集群的全景圖像，包括：

根據所述多組運動視頻提取多組視頻幀的序列圖像，通過多GPU將所述序列圖像按視頻幀拼接得到無人機集群的全景圖像。

7.根據權利要求1至6任一項所述的方法，其特征在于，根據所述多組運動視頻提取多組視頻幀的序列圖像，包括：

根據所述多組運動視頻，通過OpenCV技術提取多組視頻幀的序列圖像。