[發明專利]一種基于SIAM-FC網絡的目標跟蹤方法

有效

• 申請號: 202110019510.3
• 申請日: 2021-01-07
• 公開（公告）號: CN112767440B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 馬漢達;殷達
• 申請（專利權）人: 江蘇大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于SIAM-FC網絡的目標跟蹤方法，其特征在于，包括如下步驟：

S1輸入圖像：輸入需要追蹤目標的視頻，在視頻第一幀選定被追蹤的目標，框選一個大于目標尺寸的范圍，稱為搜索區x，用于后續追蹤；

S2設置模板：以視頻第一幀選定被追蹤的目標為中心，框選一個圖像作為目標跟蹤模板z，用于后續追蹤對比；

S3特征提取：從第二幀開始，使用相同參數的兩個vgg網絡提取視頻中搜索區的特征信息(x)和目標跟蹤模板的特征信息所述步驟S3中，使用相同參數的兩個vgg網絡提取視頻中搜索區的特征信息和目標跟蹤模板的特征信息包括如下步驟：

3.1)將所述輸入圖像預處理成224x224x3；

3.2)提取block3的卷積層特征，尺寸為56x56x256，作為淺層特征；

3.3)提取block5的卷積層特征，尺寸為14*14*512，作為深層特征；

S4判斷目標：將搜索區的特征信息與目標跟蹤模板的特征信息進行相似度匹配，根據匹配結果判斷出目標最有可能存在的位置；

所述步驟S4包括以下內容：

4.1)將搜索區的特征信息與目標跟蹤模板的特征信息進行互相關操作，分別得到深層和淺層的響應圖，公式為：

其中，f(x，z)為響應圖，b為偏差值，*為互相關操作；

4.2)將深層和淺層的響應圖分別進行插值達到一樣的分辨率；

4.3)將兩張響應圖按一定的比例參數融合，得到最終響應圖，公式如下：

f(z₁，z₂，x)＝ω₁×f(z₁，x)+ω₁×f(z₂，x)

其中f(z₁，x)和f(z₂，x)分別為深層與淺層的響應圖，f(z₁，z₂，x)為最終響應圖，ω₁和ω₂即代表深層和淺層的響應圖的融合比例，此參數在離線訓練神經網絡時確定；

4.4)最終響應圖中最高響應值的地方，即判斷為目標最有可能存在的位置，以此為中心截取新的搜索區x^’；

S5更新模板：每隔n幀，使用基于APCE的siamFC網絡模板更新策略判斷是否需要更新模板，需要時執行模板更新所述步驟S5中的模板更新策略包括如下步驟：

5.1)對于淺層特征而言，在vgg網絡中提取得到搜索區x^’的特征F_i，以當前幀判斷的目標位置為中心截取圖片，在網絡中提取得到新目標跟蹤模板z^’的特征T_i；

5.2)計算特征響應圖每個像素的響應，公式為：

response＝T_i*F_i；其中得到的最大響應F_max＝max(response)；

5.3)計算APCE值，公式為：

其中，F_w，h代表w行h列的響應，F_max，F_min分別為最大和最小響應，mean()表示取平均；

5.4)F_max和APCE同時滿足歷史平均值的一定比例時，判斷是否執行更新目標跟蹤模板，所述比例的判斷公式如下：

5.5)當判斷需要更新目標跟蹤模板時，執行模板更新；新目標跟蹤模板同時結合了初始目標跟蹤模板、上一個目標跟蹤模板和當前幀提取的目標跟蹤模板，公式為：

T＝w₁×T₀+w₂×T_last+w₃×T_i，w₁+w₂+w₃＝1

其中，T₀為初始目標跟蹤模板，T_last為上一個目標跟蹤模板，T_i為當前幀提取的目標跟蹤模板，w₁、w₂、w₃分別為三種模板的結合權重，w₁、w₂比例固定；

5.6)對于深層特征而言，對vgg網絡提取的深層特征，同樣使用5.1)到5.5)的步驟。

2.根據權利要求1所述一種基于SIAM-FC網絡的目標跟蹤方法，其特征在于：所述深層模板更新為每三幀執行一次是否更新的判斷，判斷需要更新則執行更新；所述淺層模板更新為每n幀執行一次是否更新的判斷，判斷需要更新則執行更新，n大于等于3。