[發(fā)明專利]一種基于生成對抗的目標跟蹤方法

在審

• 申請?zhí)枺?/td>: 202011045916.0
• 申請日: 2020-09-29
• 公開（公告）號: CN112232150A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計）人: 史再峰;孫誠;羅韜;樊強強
• 申請（專利權(quán)）人: 天津大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務(wù)所 12201
• 代理人: 韓帥

1.一種基于生成對抗的目標跟蹤方法，包括如下步驟：

步驟1：搭建基于生成對抗的目標跟蹤網(wǎng)絡(luò)；

步驟2：基于錨點生成掩膜來修改圖像；

步驟3：訓練基于尺度自適應(yīng)對抗式訓練的目標跟蹤網(wǎng)絡(luò)；

步驟4：實施目標跟蹤；

其特征在于，在所述目標跟蹤網(wǎng)絡(luò)的搭建引入掩膜生成網(wǎng)絡(luò)過程：

特征提取網(wǎng)絡(luò)用于提取輸入圖像的深度特征，然后將提取出的圖像特征矩陣輸入二分類網(wǎng)絡(luò)；同時，將上一幀計算出的目標坐標作為當前幀目標特征矩陣所在位置，將目標特征矩陣輸入掩膜生成網(wǎng)絡(luò)；

所述掩膜生成網(wǎng)絡(luò)將輸出一個被改變的目標特征矩陣，用被改變的目標特征矩陣替代圖像特征矩陣中之前的目標矩陣部分，然后將新的圖像特征矩陣輸入二分類網(wǎng)絡(luò)。

所述二分類網(wǎng)絡(luò)用于計算出目標坐標，該網(wǎng)絡(luò)首先根據(jù)前一幀的跟蹤框坐標，在以該框為中心的一定范圍內(nèi)生成大量的樣本框，然后根據(jù)每個樣本框中的圖像特征矩陣，計算出每個框的分類概率，將分類概率最高的樣本框作為目標的位置并輸出。

2.根據(jù)權(quán)利要求1所述的一種基于生成對抗的目標跟蹤方法，其特征在于,所述步驟3中訓練基于尺度自適應(yīng)對抗式訓練的目標跟蹤網(wǎng)絡(luò)步驟如下：

S1、構(gòu)建數(shù)據(jù)集，將數(shù)據(jù)集劃分為訓練集和測試集；

S2、初始化目標跟蹤網(wǎng)絡(luò):不引入掩膜生成網(wǎng)絡(luò)，直接將特征提取網(wǎng)絡(luò)與二分類網(wǎng)絡(luò)相連組成目標跟蹤網(wǎng)絡(luò)，利用訓練集和分類損失函數(shù)訓練網(wǎng)絡(luò)，訓練至f1次迭代以上且分類損失函數(shù)值在p次迭代內(nèi)最大值與最小值相差小于h。

S3、訓練掩膜生成網(wǎng)絡(luò)：在上一步得到的網(wǎng)絡(luò)中引入掩膜生成網(wǎng)絡(luò)，固定目標跟蹤網(wǎng)絡(luò)中的參數(shù)，將基于錨點生成掩膜修改的9張圖像輸入二分類網(wǎng)絡(luò)進行推理，然后選擇輸出的概率最低的有掩膜圖像作為標簽M；利用訓練集和生成損失函數(shù)訓練掩膜生成網(wǎng)絡(luò)，訓練至f2次迭代以上且生成損失函數(shù)值在p次迭代內(nèi)最大值與最小值相差小于h；

S4、訓練基于生成對抗的目標跟蹤網(wǎng)絡(luò)：固定掩膜生成網(wǎng)絡(luò)的參數(shù)，并使用掩膜生成網(wǎng)絡(luò)修改目標特征矩陣；用修改后的圖像特征矩陣和對抗損失函數(shù)訓練基于生成對抗的目標跟蹤網(wǎng)絡(luò)中，訓練至f3次迭代以上且對抗損失函數(shù)值在p次迭代內(nèi)最大值與最小值相差小于h；

S5.重復S1步到S4步，訓練多個基于生成對抗的目標跟蹤網(wǎng)絡(luò)，用測試集比較網(wǎng)絡(luò)輸出的坐標與真實坐標間的平均歐式距離，選擇平均歐式距離最低的網(wǎng)絡(luò)實施目標跟蹤。

3.根據(jù)權(quán)利要求1所述的一種基于生成對抗的目標跟蹤方法，其特征在于,所述步驟4中實施目標跟蹤過程：

S1、將第一幀的跟蹤圖像和目標位置標簽輸入跟蹤網(wǎng)絡(luò)，利用分類損失函數(shù)更新二分類網(wǎng)絡(luò)的全連接層；

S2、利用掩膜生成網(wǎng)絡(luò)生成大量目標特征矩陣被修改的圖像，利用修改過的圖像和分類損失函數(shù)更新二分類網(wǎng)絡(luò)的全連接層，迭代50次。

S3、然后輸入需要跟蹤的后續(xù)圖像到目標跟蹤網(wǎng)絡(luò)，跟蹤網(wǎng)絡(luò)將輸出目標的坐標，以此對目標物體進行準確、魯棒的跟蹤定位。

4.根據(jù)權(quán)利要求1所述的一種基于生成對抗的目標跟蹤方法，其特征在于,所述目標跟蹤網(wǎng)絡(luò)共設(shè)置損失函數(shù)3個損失函數(shù)，分別為：分類損失函數(shù)、生成損失函數(shù)和對抗損失函數(shù)；其中：分類損失函數(shù)用于訓練二分類網(wǎng)絡(luò)，生成損失函數(shù)和對抗損失函數(shù)用于訓練掩膜生成網(wǎng)絡(luò)；

所述生成損失函數(shù)被定義為：

L_G＝D(G(C)·C)·log(1-D(G(C)·C))+λ||G(C)-M||²

所述對抗損失函數(shù)被定義為：

L_D＝-logD(M·C)-D(G(C)·C)·log(1-D(G(C）·C))

其中，G為掩膜生成網(wǎng)絡(luò)，D為只包含特征提取網(wǎng)絡(luò)和二分類網(wǎng)絡(luò)的目標跟蹤網(wǎng)絡(luò)；G(C)為掩膜生成網(wǎng)絡(luò)生成的掩膜矩陣，G(C)·C為被掩膜生成網(wǎng)絡(luò)修改的目標特征矩陣；D(M·C)為跟蹤網(wǎng)絡(luò)對被錨點生成的掩膜矩陣修改的目標特征矩陣推理得到的概率，D(G(C)·C)為跟蹤網(wǎng)絡(luò)對被掩膜生成網(wǎng)絡(luò)修改的目標特征矩陣推理得到的概率；M為基于錨點生成的掩膜矩陣，M·C為被錨點掩膜修改的目標特征矩陣，||G(C)-M||為兩個掩膜矩陣間的歐氏距離。

5.根據(jù)權(quán)利要求1-4任一項所述的一種基于生成對抗的目標跟蹤方法，其特征在于,所述掩膜生成網(wǎng)絡(luò)由反卷積層、卷積層和全連接層組成，所述掩膜生成網(wǎng)絡(luò)是通過輸入圖像特征矩陣中的目標特征矩陣生成一個代表權(quán)重的矩陣，用于改變目標特征矩陣的一部分特征值。