[發明專利]一種融合孿生網絡與相關濾波的目標跟蹤方法

在審

• 申請號: 202110982258.6
• 申請日: 2021-08-25
• 公開（公告）號: CN113793359A
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 胡秀華;陳媛;劉煥;惠燕;梁穎宇;吳璽
• 申請（專利權）人: 西安工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62;G06N3/04
• 代理公司: 西安賽嘉知識產權代理事務所(普通合伙) 61275
• 代理人: 王偉超

1.一種融合孿生網絡與相關濾波的目標跟蹤方法，其特征在于，包括如下步驟：

步驟一、利用ResNet50網絡提取圖像特征；

步驟二、通過注意力機制，將不同網絡層次的特征進行融合，得到融合邊緣與語義特性的判別性特征；

步驟三、將自適應尺度與學習速率調整的背景感知相關濾波模型引入網絡結構，設計更新策略，實現對目標模板信息進行有效更新。

2.如權利要求1所述的一種融合孿生網絡與相關濾波的目標跟蹤方法，其特征在于：所述步驟一、利用ResNet50網絡提取圖像特征的具體過程是:

S201、輸入圖像經過7*7卷積層，步長為2，生成64通道圖像；

S202、進行歸一化及步長為2的池化處理；

S203、依次傳入4個Bottleneck子網絡，輸出圖像大小逐層遞減至原始參數的1/32，通道數為2048；

S204、通過全連接層設計得到預期維度的目標特征。

3.如權利要求1所述的一種融合孿生網絡與相關濾波的目標跟蹤方法，其特征在于：所述注意力機制包括通道注意力模塊、空間注意力模塊以及交叉注意力模塊。

4.如權利要求3所述的一種融合孿生網絡與相關濾波的目標跟蹤方法，其特征在于：所述通道注意力模塊的處理過程是：

首先，利用全局平均池化操作對目標特征圖進行處理，將大小為w×h×n的特征圖轉換成大小為1×1×n的向量b_k，即

其中，k為向量個數，k＝1,2,3...n表示特征圖通道數量，向量b_k中各元素值為每個通道內特征值的平均和，n為特征圖通道數量個數；

其次，將向量b_k作為全連接層的輸入，利用激活函數ReLU進行激活操作，為將通道權重參數歸一化；

再次，連接全連接層并用激活函數sigmoid進行處理，使得通道權重位于[0，1]，通過網絡迭代訓練得到通道權重系數ε，其中單個元素計算方式ε_k如下：

其中，σ_i和σ_j分別表示網絡權重，對其賦予隨機初始值；

最后，將單個元素權重系數ε_k與目標特征圖單個通道進行點乘運算，獲取通道注意力模塊優化的特征圖：

其中，·表示點乘。

5.如權利要求3所述的一種融合孿生網絡與相關濾波的目標跟蹤方法，其特征在于：所述空間注意力模塊的處理過程是：

首先，以目標特征圖作為輸入，利用1×1尺寸卷積核對輸入特征進行降維操作；

其次，利用不同殘差塊對降維特征進行優化：

其中，μ₁、μ₂、μ₃表示不同的卷積核，卷積核大小依次為3×3，3×3，5×5，殘差塊包括殘差塊1特征c₁，殘差塊2特征c₂，殘差塊3特征c₃；

再次，將殘差塊2特征c₂進行轉置操作，同時與殘差塊1特征c₁進行點乘操作，利用softmax激活函數對相似結果進行歸一化處理獲得大小與特征圖等同的空間注意力圖；其中，i和j均取不同數值，同時a和b均取不同數值，其元素值表示特征圖中不同位置的重要性程度，即

其中，T表示特征圖的轉置操作，Y_i,j表示特征圖中第i個與第j個位置的相關性；

最后，將空間注意力圖Y_i,j與殘差塊3特征c₃進行點乘操作，獲取經空間注意力機制優化后的目標特征圖，即