[發明專利]一種基于空間注意力特征聚合的視覺跟蹤方法

有效

• 申請號: 202011149132.2
• 申請日: 2020-10-23
• 公開（公告）號: CN112258557B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 柯逍;李悅洲;葉宇
• 申請（專利權）人: 福州大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V20/52;G06V20/40;G06K9/62;G06N3/04;G06N3/08;G06V10/774
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

1.一種基于空間注意力特征聚合的視覺跟蹤方法，其特征在于，包括以下步驟：

步驟S1：獲取視頻或圖像序列的首幀標注信息，微調VGG-16的網絡結構，將首幀圖像輸入孿生網絡跟蹤架構的模板分支，對區域目標提取淺層特征、中間層特征、深層特征；其中孿生網絡跟蹤架構包括模板分支與搜索分支；

步驟S2：構造空間注意力掩模，計算掩模運算后的特征；

步驟S3：對淺層特征計算精確性質量值，對中間層特征計算魯棒性質量值；基于區域特征聚合方法選取特征通道，連接特征張量作為聚合結果；

步驟S4：根據先驗標簽使用回歸方法調整深層部分網絡參數，重計算深層特征的輸出并聚合，利用得到的所有聚合特征作為模板在孿生網絡跟蹤架構的搜索分支經過卷積運算得到輸出結果；

步驟S1具體為：

步驟S11：將首幀圖像輸入孿生網絡跟蹤架構的模板分支；其中，圖中的標注區域記為P＝[P₁,P₂,P₃,P₄]，其中P₁為目標左上角點的橫向位置信息，P₂為目標左上角點的縱向位置信息，P₃為目標的寬度信息，P₄為目標的高度信息；

步驟S12：使用分類任務預訓練VGG-16網絡及其參數，去除網絡深度層數大于8的所有池化運算模塊，得到微調后的VGG-16網絡，記為H，將其作為孿生網絡跟蹤架構中模板分支與搜索分支中的主干網絡；

步驟S13：所述模板分支利用主干網絡對輸入的圖像和標注提取子窗口特征，令I表示輸入的圖像，I'為跟蹤子窗口圖像，根據目標標注P計算得到子窗口位置描述U＝[U₁,U₂,U₃,U₄]，其中U₁＝P₁+P₃×0.5-U₃為跟蹤子窗口左上角點的橫向位置信息，U₂＝P₂+P₄×0.5-U₄為子窗口左上角點的縱向位置信息；利用主干網絡完成對輸入的跟蹤子窗口圖像I'進行特征提取，令H(·)表示主干網絡對于圖像的映射函數，則對輸入I'有X＝H(I')，其中X＝{X₁,X₂,X₃}表示不同層次的特征集合，其中X₁、X₂、X₃分別為淺層特征、中間層特征、深層特征；

步驟S3具體為：

步驟S31：對淺層特征計算精確性質量值AccValue：

式中，G_AP(*)為全局池化平均操作，|E_1e|代表E_1e的通道個數，|E_1c|代表E_1c的通道個數，且有|E_1e|＝|E_1c|；

步驟S32：對中間層特征計算魯棒性值RobValue：

式中，|E_2c|代表E_2c的通道個數；

步驟S33：對AccValue和RobValue中的每個值，保留大于0的通道，將新通道的集合記為AccAgg和RobAgg；基于張量操作聯結AccAgg和RobAgg，得到的張量記為AggChan；其中淺層的目標特征E₁與精確性特征掩模Me計算得特征E_1e，與魯棒性特征掩模Mc計算得特征E_1c；中間層目標特征E₂與魯棒性特征掩模Mc計算得特征E_2c。