[發明專利]一種基于多分辨率神經網絡的目標跟蹤方法及系統

有效

• 申請號: 201710570207.6
• 申請日: 2017-07-13
• 公開（公告）號: CN107369166B
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 王振楠;鄒文斌;吳迪;徐晨;李霞
• 申請（專利權）人: 深圳大學
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 王利彬

1.一種基于多分辨率神經網絡的目標跟蹤方法，其特征在于，包括：

接收待檢測的當前視頻幀，獲取所述當前視頻幀的上一幀，在所述上一幀上提取檢測塊；

提取所述檢測塊的多層不同分辨率的深度特征；

利用核相關濾波模型計算各層深度特征的目標位移響應圖；

根據各層的目標位移響應圖，利用多分辨率神經網絡進行位移估計得到估計目標位移，并更新所述核相關濾波模型；

根據所述估計目標位移，利用尺度估計模型進行尺度估計得到估計值，并更新所述尺度估計模型；

其中，所述根據各層的目標位移響應圖，利用多分辨率神經網絡進行位移估計得到估計目標位移，并更新所述核相關濾波模型包括：

以各層的目標位移響應圖作為輸入，利用所述多分辨率神經網絡進行位移估計，得到估計目標位移；

根據所述目標位移響應圖對核相關濾波模型進行自適應更新；

其中，所述多分辨率神經網絡由若干卷積層、池化層和全連接層組成，以a-b×b的形式表示所述卷積層，其中a表示卷積核數目，b表示卷積核尺寸，則所述多分辨率神經網絡的結構為：

所述目標位移響應圖→16-3×3卷積層→16-3×3卷積層→2×2的最大池化層→32-3×3卷積層→32-3×3卷積層→2×2的最大池化層→32-3×3卷積層→256個神經元的全連接層→輸出目標位移；

所述卷積層的激勵函數為Relu；

所述多分辨率神經網絡的損失函數定義為預測偏差的均方根值：

其中L_pos表示損失函數，Δx和Δy表示預測的目標位移，Δx’和Δy’表示實際的目標位移。

2.如權利要求1所述的目標跟蹤方法，其特征在于，所述在所述上一幀上提取檢測塊包括：

確定所述上一幀的跟蹤目標的位置；

以所述上一幀的跟蹤目標的位置為中心，按照預置比例選取所述檢測塊，并將所述檢測塊的尺寸歸一化到固定尺寸。

3.如權利要求2所述的目標跟蹤方法，其特征在于，所述提取所述檢測塊的多層不同分辨率的深度特征包括：

利用預訓練的深度神經網絡模型提取尺寸歸一化后的檢測塊的多層不同分辨率的深度特征，所述預訓練的深度神經網絡模型包括AlexNet、GoogleNet、VGGNet或ResNet中的一種。

4.如權利要求1所述的目標跟蹤方法，其特征在于，所述利用核相關濾波模型計算各層深度特征的目標位移響應圖包括：

利用核相關濾波模型，對每一層深度特征分別進行核相關濾波操作，計算每一層深度特征對應的目標位移響應圖，所述目標位移響應圖是表示跟蹤目標可能性的二維矩陣，所述二維矩陣的行和列表示所述跟蹤目標在兩個方向的位移。

5.如權利要求4所述的目標跟蹤方法，其特征在于，所述根據所述目標位移響應圖對核相關濾波模型進行自適應更新包括：

計算每一層核相關濾波模型的自適應學習率；

以表示第t幀檢測塊的第k個目標位移響應圖的相關濾波模型的學習率，η表示基礎學習率，表示第t幀檢測塊的第k個目標位移響應圖的預測穩定性，則

其中，表示第t幀檢測塊的第k個目標位移響應圖的最大響應值和目標位移處的響應值的差值，和表示在固定時間長度Δt內的均值和標準差，表示第t幀檢測塊的第k個目標位移響應圖，(x_p，y_p)表示第t幀檢測塊中跟蹤目標的位移估計值；

根據每一層核相關濾波模型的自適應學習率，更新每一層核相關濾波模型；

所述核相關濾波模型包括濾波器和核相關變量，以表示第t幀檢測塊的第k個核相關濾波模型的濾波器，表示第t幀檢測塊的第k個核相關濾波模型的核相關變量，則：