[發明專利]一種無人機觀測目標的實時跟蹤方法及系統

在審

• 申請號: 202110610286.5
• 申請日: 2021-06-01
• 公開（公告）號: CN113379797A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 陳余慶;孫鈺涵;徐慧樸;紀勛;余明裕;劉田禾
• 申請（專利權）人: 大連海事大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 李馨

本發明提供一種無人機觀測目標的實時跟蹤方法及系統。方法包括：通過無人機獲取目標視頻序列，所述目標視頻序列的各幀均包括跟蹤目標；由所述目標視頻序列識別出跟蹤目標，并通過預先訓練的孿生神經網絡處理所述目標視頻序列，得到后續視頻幀中跟蹤目標的位置；基于視頻序列中相鄰幀中跟蹤目標的位置，計算跟蹤目標偏移量；對像素坐標與大地坐標系進行轉換，根據所述跟蹤目標偏移量獲取實際無人機對應的移動角度與移動距離，從而實現目標跟蹤。本發明通過孿生神經網絡提取圖像的深度特征，對跟蹤目標的識別與捕捉更加準確且快速，網絡屬于輕量級網絡，能夠實時的應用于無人機平臺。

技術領域

本發明涉及無人機觀測目標的實時跟蹤系統，具體而言，尤其涉及一種無人機觀測目標的實時跟蹤方法及系統。

背景技術

當前無人機目標跟蹤算法普遍采用特征點匹配算法，該方法計算速度快，但準確性不高。還有一些方案采用光流法進行目標跟蹤任務，該算法準確度較高，但無法有效應對目標被遮擋問題。在無人機目標跟蹤中，由于其提取的手工特征效果較差，算法準確性不高，并且無法應對目標快速移動以及目標遮擋問題。

發明內容

根據上述提出無人機跟總技術無法應對目標快速移動以及目標遮擋問題的技術問題，而提供一種無人機觀測目標的實時跟蹤方法及系統。本發明主要利用生神經網絡提取圖像的深度特征，對跟蹤目標的識別與捕捉更加準確且快速，網絡屬于輕量級網絡，能夠實時的應用于無人機平臺。

本發明采用的技術手段如下：

一種無人機觀測目標的實時跟蹤方法，包括：

通過無人機獲取目標視頻序列，所述目標視頻序列包含跟蹤目標；

由所述目標視頻序列識別出跟蹤目標，并通過預先訓練的孿生神經網絡處理所述目標視頻序列，得到后續視頻幀中跟蹤目標的位置；

基于視頻序列中相鄰幀中跟蹤目標的位置，計算跟蹤目標偏移量；

對像素坐標與大地坐標系進行轉換，根據所述跟蹤目標偏移量獲取實際無人機對應的移動角度與移動距離，從而實現目標跟蹤。

進一步地，所述孿生神經網絡包括兩條相同的特征提取通道，所述特征提取通道上設置有一個ResNet50殘差網絡座位特征提取網絡。

進一步地，所述孿生神經網絡的訓練過程包括：

通過無人機采集地面目標視頻圖像作為訓練數據集；

對所述目標視頻圖像的每一幀中包含的跟蹤目標進行標注，框選內部區域作為正樣本，框選區域以外的部分作為負樣本，對所述孿生神經網絡進行訓練。

進一步地，所述孿生神經網絡的訓練過程還包括：

構建損失函數，所述損失函數形式如下：

l(y,v)＝log(1+e^-yu)

其中y∈{1,-1}表示樣本的標簽值，當前點在目標區域則為1，不在目標區域則為-1；v表示相似度分布矩陣中該點對應的相似度值。

本發明還提供了一種無人機觀測目標的實時跟蹤系統，包括：

視頻獲取單元，用于通過無人機獲取目標視頻序列，所述目標視頻序列包含跟蹤目標；

位置識別單元，用于由所述目標視頻序列識別出跟蹤目標，并通過預先訓練的孿生神經網絡處理所述目標視頻序列，得到后續視頻幀中跟蹤目標的位置；

計算單元，用于基于視頻序列中相鄰幀中跟蹤目標的位置，計算跟蹤目標偏移量；

轉換單元，用于對像素坐標與大地坐標系進行轉換，根據所述跟蹤目標偏移量獲取實際無人機對應的移動角度與移動距離，從而實現目標跟蹤。