[發明專利]一種基于孿生神經網絡的紅外無人機目標跟蹤方法

在審

• 申請號: 202111490901.X
• 申請日: 2021-12-08
• 公開（公告）號: CN114241306A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 楊博;楊珊;宋偉紅
• 申請（專利權）人: 四川中科朗星光電科技有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06N3/04;G06N3/08;G06V20/40
• 代理公司: 深圳市廣諾專利代理事務所(普通合伙) 44611
• 代理人: 劉飛

本發明公開了一種基于孿生神經網絡的紅外無人機目標跟蹤方法，融合孿生神經網絡和區域候選網絡，以ResNet為特征提取網絡，并采用多層特征融合，增強模型特征表達能力，提升模型的跟蹤性能，將深度可分離卷積引入相似度度量機制，提升模型的跟蹤速度，主要步驟包括：(1)構建紅外無人機目標圖像數據集，目標跟蹤模型訓練和驗證；(2)初始紅外圖像中無人機目標定位；(3)以初始紅外圖像中無人機目標作為模板，跟蹤網絡跟蹤后續紅外圖像中的無人機目標，輸出無人機所在位置以及置信度；(4)根據跟蹤網絡輸出的置信度更新模板，所述的目標跟蹤方法具有較好的跟蹤魯棒性與實時性，適用于紅外無人機目標跟蹤。

技術領域

本發明實施例涉及無人機領域，具體涉及一種基于孿生神經網絡的紅外無人機目標跟蹤方法。

背景技術

隨著民用無人機產業高速發展，無意亂飛、黑飛等事件頻發。由于民用無人機具有放飛簡單、起飛突然、目標小，難以發現等特點，對民航安全構成了較大威脅，同樣給大型活動、重大會議的安保帶來了巨大挑戰。

光電探測和目標跟蹤技術是空中目標探測重要手段，具有無線電靜默、反應快、定位精度高、探測結果直觀可視等優勢。但由于空中目標距離遠、體積小，其紅外輻射特征較低。使得通過紅外探測的發現距離大大縮短。同時，光電探測技術受天氣能見度、濕度等影響較大，在實際使用中應充分考慮環境因素。針對空中目標的探測，需進一步提升信號處理水平，在現有探測器硬件基礎上，進一步提高系統的探測距離和探測概率，從而適應更多場景應用并保證實時性與準確性，因此研究目標跟蹤算法具有重要意義。

目標跟蹤是指在每一幀圖像中提取感興趣的目標，并輸出目標框在圖像中的位置。目標跟蹤的方法經歷了從經典算法到基于核相關濾波算法，再到基于深度學習的跟蹤算法的過程。經典跟蹤算法主要有光流法(Optical Flow)，Meanshift，粒子濾波等；核相關濾波算法主要有MOSSE，KCF，DSST等；深度學習的跟蹤算法主要是基于孿生神經網絡的跟蹤算法。基于深度學習的方法能夠提取更高層次的語義特征，對目標運動過程中發生的變化具有更強的魯棒性。

孿生網絡中的核心問題在于現有的孿生網絡目標跟蹤算法如SiamFC和SiamRPN等，只能用比較淺的卷積網絡(如AlexNet)，無法利用深層神經網絡為跟蹤算法提升精度，而直接引入深層神經網絡甚至會使性能大幅衰減。由于卷積操作的padding會破壞嚴格的平移不變性，孿生網絡在使用深度神經網絡存在位置偏見問題。基于深層孿生網絡的目標跟蹤算法對于復雜場景下的無人機目標具有良好的檢測跟蹤能力，對尺度變化、形變等具有較強的魯棒性。

發明內容

為此，本發明實施例提供一種基于孿生神經網絡的紅外無人機目標跟蹤方法，以解決現有技術中的問題。

為了實現上述目的，本發明實施例提供如下技術方案：一種基于孿生神經網絡的紅外無人機目標跟蹤方法，所述具體步驟如下：

S1：基于SiamRPN++結構，以深度殘差網絡ResNet為特征提取器，網絡會提取后三個block的結果放入輸出結果形狀相同的SiamRPN網絡，然后通過直接加權求和各個結果，在網絡相似度度量機制中采用深度可分離卷積，以減少模型計算量。

S2:紅外無人機目標圖像數據集構建。采集多種場景、多類型無人機、多姿態飛行紅外圖像數據集，然后對紅外圖像數據集進行標注。

S3:基于步驟1的模型和步驟2構建的數據集，選擇相應的數據增強技術、迭代次數、學習率、損失函數等訓練驗證模型并保存。

S4:基于步驟3保存的模型，通過手動框選和自動目標檢測初始紅外圖像中無人機目標的位置，給出目標框，即左上角像素坐標、目標框寬和高。以此框內無人機目標作為模型模板輸入，并提取此模板的特征，網絡模型跟蹤后續紅外圖像中的無人機目標，輸出無人機的目標框和置信度。