[發明專利]一種基于雙分支時空正則化相關濾波器的目標跟蹤方法

有效

• 申請號: 201811383638.2
• 申請日: 2018-11-20
• 公開（公告）號: CN109727272B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 雎學文;朱松豪;朱靜怡;郭文波
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/08;G06N3/04
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 王素琴

1.一種基于雙分支時空正則化相關濾波器的目標跟蹤方法，用于基于視頻中的圖像幀進行追蹤目標的追蹤操作，其特征在于，所述方法包括步驟：

S1、在包含外觀分支網絡和語義分支網絡的孿生全卷積網絡上添加由相關濾波器構成的相關濾波器層，實現相關濾波器與孿生全卷積網絡相互之間的端對端訓練學習；

S2、所述外觀分支網絡和語義分支網絡通過加權平均相結合，以提升所述孿生全卷積網絡在目標追蹤過程中對包含追蹤目標的圖像幀的判別力；

S3、采用時空正則化所述相關濾波器，并使用通過時空正則化的所述相關濾波器處理所述圖像幀，實現對追蹤目標的追蹤；

所述外觀分支網絡的輸入為(t^a,R^a)，所述外觀分支網絡對應的特征提取用f_a(·)，所述外觀分支網絡的響應圖由公式h_a(t^a,R^a)＝corr(f_a(t^a),f_a(R^a))進行描述，corr表示相關運算；

所述語義分支網絡為預訓練好的所述孿生全卷積網絡，并在追蹤目標圖像與互相關運算間加入相關濾波器塊w＝ω(f_ρ(t))得到標準的相關濾波器模板；且所述語義分支網絡的輸入為(t^s,R^s)，并通過等式h_s(t^s,R^s)＝corr(v×w(f_s(t^s)),f_s(R^s))+b表示所述語義分支網絡的響應圖；

所述圖像幀的熱圖通過所述外觀分支網絡和語義分支網絡的加權平均值構成，由公式h(t^s,R)＝λh_a(t^a,R^a)+(1-λ)h_s(t^s,R^s)表示，其中，λ表示權重參數，用來平衡所述外觀分支網絡和語義分支網絡，h(t^s,R)中最大值的位置表示追蹤目標的中心位置；

步驟S3中采用時空正則化所述相關濾波器的公式為其中f_k-1表示第k-1個圖像幀中的相關濾波器，μ表示正則化參數；f表示濾波器模板，y表示預設的高斯形狀標簽；表示時間正則化，||f-f_k-1||²表示空間正則化。

2.根據權利要求1所述的基于雙分支時空正則化相關濾波器的目標跟蹤方法，其特征在于，步驟S1包括：

S11、在每一幀圖像中由相關濾波器層構成一線性模板，利用所述線性模板來區分圖像幀與圖像幀之間的平移，并采用快速傅里葉變換對每一所述圖像幀進行再次訓練；

S12、將所述相關濾波器層中具有閉合解的所述相關濾波器層作為所述孿生全卷積網絡中語義分支網絡的可微層。

3.根據權利要求2所述的基于雙分支時空正則化相關濾波器的目標跟蹤方法，其特征在于，所述相關濾波器層中具有閉合解的相關濾波器由公式h_ρ，v，b(t，R)＝v×ω(f_ρ(t))*f_ρ(R)+b表示，其中，t代表追蹤目標，R代表搜索區域，v表示尺度變量，b為一常量，表示偏差；ρ表示全卷積網絡的學習速率，f_ρ(t)和f_ρ(R)分別表示追蹤目標t和搜索區域R的特征圖。

4.根據權利要求3所述的基于雙分支時空正則化相關濾波器的目標跟蹤方法，其特征在于，步驟S11包括：

S111、利用所述特征圖f_ρ(t)和f_ρ(R)求解快速傅里葉變換中的嶺回歸問題，并在所述追蹤目標t和搜索區域R相互之間加入相關濾波器塊w＝ω(f_ρ(t))得到標準的相關濾波器模板。

5.根據權利要求1所述的基于雙分支時空正則化相關濾波器的目標跟蹤方法，其特征在于，所述孿生全卷積網絡的輸入為視頻中的第一圖像幀和當前圖像幀。

6.根據權利要求1所述的基于雙分支時空正則化相關濾波器的目標跟蹤方法，其特征在于，所述外觀分支網絡的所有參數均由通過相似性學習進行訓練，并通過最小化邏輯損失函數優化，其中，θ_a表示外觀分支網絡中的所有參數，N表示訓練樣本的個數，并且Y_i表示搜索區域內正確標注的響應圖。