[發明專利]一種在線自監督學習場景適應的單目標跟蹤方法

有效

• 申請號: 202110278727.6
• 申請日: 2021-03-16
• 公開（公告）號: CN113052873B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 王利平;杭津如;陳霄宇;韓靜;張毅;何豐郴;陳名洋;魏馳恒
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T3/40;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京蘇創專利代理事務所(普通合伙) 32273
• 代理人: 張艷

1.一種在線自監督學習場景適應的單目標跟蹤方法，其特征在于：包括如下步驟：

對于輸入待測視頻序列D_test的每一幀圖像I：

步驟一：加載SiamFC離線訓練得到的匹配模型；

步驟二：對輸入圖像I經過裁剪縮放得到模板圖像z和搜索區域圖像x；

步驟三：對尺寸為127×127×3模板圖像z進行邊緣填充，令其尺寸變為255×255×3，從而與搜索區域x輸入網絡時的尺寸一致，將此時經過邊緣填充的模板圖像記為z′；

步驟四：將經過邊緣填充的模板圖像z′與尺寸為255×255×3的搜索區域圖像x分別通過參數相同、權重共享的特征提取網絡提取特征，得到尺寸為22×22×128的模板特征圖和尺寸為22×22×128的搜索區域特征圖

步驟五：將模板特征圖看作卷積核，在搜索區域特征圖上進行卷積運算，可以得到正向響應得分圖score_i，此時預測到的目標位置可能存在誤差，故需要進行修正；

步驟六：搭建在線自監督學習框架：

步驟6.1：構建模板中的目標位置標簽gt：對于初始幀，由于目標位于模板中心，所以gt為一個17×17的高斯標簽，中心區域亮，四周區域暗；對于后續幀，gt根據上一幀預測到的目標在模板中的位置計算得到；

步驟6.2：將搜索區域特征圖看作卷積核，在模板特征圖上進行卷積運算，可以得到自監督學習階段的響應得分圖score_z′；

步驟6.3：計算自監督學習階段的響應得分圖score_z′與目標位置標簽gt間的損失函數L(score_z′，gt)，并設置損失函數閾值L_thr；當L(score_z′，gt)＞L_thr時，采用梯度優化器對L(score_z′，gt)進行迭代優化；當L(score_z′，gt)≤L_thr時，結束自監督學習過程，轉至步驟七；

步驟七：輸出優化后的響應得分圖score_i，作為最終響應圖response_map；

步驟八：對最終響應圖response_map進行歸一化、尺度懲罰處理后，獲取響應值最大位置的坐標，并將其映射到原圖像中的對應位置，作為預測到的目標中心位置，即bbox的中心位置，并根據學習得到的尺度參數對bbox原本的尺度進行更新，輸出最終的bbox作為當前幀的跟蹤結果。

2.根據權利要求1所述的在線自監督學習場景適應的單目標跟蹤方法，其特征在于：所述步驟五中，預測到的目標位置誤差的修正過程為：將搜索區域特征圖作為卷積核，模板特征圖作為待卷積區域，進行卷積運算可以得到逆向自監督學習階段的響應得分圖score_e，

采用在線一致性約束損失函數對自監督學習階段的響應圖score_e與模板中的目標位置標簽gt計算Loss，并進行在線迭代優化，設定閾值L_thr，直到損失函數值低于L_thr時，表示目標位置已經修正完畢，此時結束自監督學習過程，繼續接下來的跟蹤過程。

3.根據權利要求1所述的在線自監督學習場景適應的單目標跟蹤方法，其特征在于：所述步驟五中正向響應得分圖計算方法為：

假設網絡輸入的模板圖像為z，搜索區域圖像為x，對模板圖像z進行邊緣填充得到z′，將經過邊緣填充得到的模板圖像z′和搜索區域圖像x經過參數相同的特征提取網絡后，提取到模板圖像z′的特征圖和搜索區域圖像x的特征圖則在正向跟蹤過程中，將模板圖像z′的特征圖看作卷積核，在搜索區域特征圖上進行卷積運算，得到正向響應得分圖score_i，

式(1)中，*為卷積運算符，b_i為響應圖上每個位置對應的值。