[發明專利]基于孿生網絡和中心邏輯損失的無人機對地目標跟蹤方法

在審

• 申請號: 202010198544.9
• 申請日: 2020-03-20
• 公開（公告）號: CN111340850A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 林白;耿洋洋;李冬冬;蒯楊柳
• 申請（專利權）人: 軍事科學院系統工程研究院系統總體研究所;中國人民解放軍國防科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 中國和平利用軍工技術協會專利中心 11215
• 代理人: 劉光德

本發明公開了一種基于孿生網絡和中心邏輯損失的無人機對地目標跟蹤方法，以解決現有目標跟蹤技術中網絡參數多、計算量大以及正負訓練樣本不均衡等問題，屬于計算機圖像處理技術領域。該方法包括：利用第一特征提取網絡提取已知目標位置的第一幀圖像的目標特征圖，利用第二特征提取網絡提取第二幀圖像的搜索特征圖；根據所述目標特征圖、搜索特征圖計算第二幀圖像的搜索區域與第一幀圖像的目標區域之間的互相關性，得到第二幀圖像的得分響應圖，進而根據第二幀圖像的得分響應圖得到第二幀圖像的目標位置；其中，所述第一特征提取網絡、第二特征提取網絡為孿生卷積網絡的兩個分支，且分別由輕量級卷積神經網絡構成。

技術領域

本發明屬于計算機圖像處理技術領域，尤其是涉及一種基于孿生網絡和中心邏輯損失的無人機對地目標跟蹤方法。

背景技術

基于深度學習的視覺跟蹤算法，例如圖1所示的基于全卷積孿生網絡的視覺跟蹤算法，已被廣大開發人員和用戶接受和認可。

該方法將第一幀提取的模板圖像和每一幀提取出的搜索圖像分別輸入兩個子網絡提取高層語義特征，然后對高層語義特征進行互相關從而得到模板圖像在搜索圖像中每個位置的相似度。通常，兩個子網絡中的參數是共享的，可以利用訓練數據離線學習得到。高級語義特征具有和目標類別相關的豐富語義特性，所以對由遮擋、畸變等造成的目標外觀變化具有很強的魯棒性，并且網絡在追蹤的過程中不需要更新，大大減少了算法的計算量，保證了算法的實時性。網絡有兩個輸入：目標模板圖像和搜索區域圖像，兩個輸入通過共享參數的孿生神經網絡的孿生子網進行特征提取。

然而，此類方法主要面向通用的視覺跟蹤任務，而無法滿足計算和存儲資源受限的無人機硬件平臺。首先，卷積神經網絡中存在大量的權值參數，保存大量權值參數對設備的內存要求很高。其次，無人機等嵌入式硬件平臺的計算資源有限，因而難以實現卷積神經網絡中高效、實時的卷積計算。

同時，在實際跟蹤的過程中，此類實現方式需要在搜索區域的每個位置上對目標進行密集檢測。對于無人機航拍圖像，搜索區域中一般包含很多的簡單背景中的負樣本(如圖2中的區域3)、少數的困難負樣本(如圖2中的區域1) 以及包含前景目標的正樣本(如圖2中的區域2)，而大量的簡單背景負樣本會導致訓練樣本不均衡，并主導網絡的訓練，從而導致模型退化。

發明內容

本發明旨在針對無人機硬件平臺的特點，提供一種基于孿生網絡和中心邏輯損失的無人機對地目標跟蹤方法，以解決現有目標跟蹤技術中網絡參數多、計算量大以及正負訓練樣本不均衡等問題。

根據本發明的第一方面，一種無人機對地目標視覺跟蹤模型的訓練方法，所述跟蹤模型為孿生卷積網絡，該孿生卷積網絡的兩個分支分別為第一特征提取網絡、第二特征提取網絡，該訓練方法包括：

獲取視頻序列數據集，該數據集包括成對的模板圖像和搜索圖像；

利用第一特征提取網絡提取模板圖像的目標特征圖，利用第二特征提取網絡提取搜索圖像的搜索特征圖；

根據所述目標特征圖、搜索特征圖計算搜索圖像的搜索區域與模板圖像的目標區域之間的互相關性，得到搜索圖像的得分響應圖；

根據中心邏輯損失函數計算所述得分響應圖與真實值的差異，得到差異結果；以及

對所述差異結果進行反向傳播，以調整所述孿生神經網絡中各層的權重；

其中，所述第一特征提取網絡、第二特征提取網絡分別由輕量級卷積神經網絡構成。

可選地，所述輕量級卷積神經網絡為MobileNetV2模型。

可選地，所述中心邏輯損失函數為：