[發明專利]一種基于目標檢測和特征融合的目標跟蹤方法及系統

有效

• 申請號: 202011421927.4
• 申請日: 2020-12-08
• 公開（公告）號: CN112560620B
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 李愛民;劉騰;李稼川;王建文;劉笑含
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/25;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06T3/00;G06T3/40;G06T3/60
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆圣娟

1.一種基于目標檢測和特征融合的目標跟蹤方法，其特征是：包括建立雙層網絡的FTCTrack跟蹤器，上層網絡用于輸入樣本圖像，采用柔性注意力機制，獲取目標特征，使得模型能夠區分類內實例；下層網絡用于輸入當前要查詢的圖像，添加時間線索模塊，獲取連續幀之間時間線索，形成帶有時間線索的上下文特征，將目標特征和上下文特征進行融合，實現目標的準確跟蹤；

FTCTrack跟蹤器包括兩個主干網絡，其中一個主干網絡中依次設置第一特征提取模塊、柔性注意力機制模塊、第一區域特征聚集模塊和更新器；另一個主干網絡中依次設置第二特征提取模塊、第二區域特征聚集模塊和時間線索模塊；還包括加權模塊，所述加權模塊的輸入端分別連接更新器和時間線索模塊；

柔性注意力機制模塊用于使網絡獲取目標的感興趣區域，時間線索模塊用于提取連續視頻幀前后的時間線索；

時間線索模塊通過雙向長短時記憶網絡捕獲待當前圖像連續幀之間的雙向依賴關系，在視頻幀之間建立雙向的上下文信息。

2.如權利要求1所述的一種基于目標檢測和特征融合的目標跟蹤方法，其特征是，包括如下步驟：

獲取樣本圖像及待識別的當前圖像；

將樣本圖像和待識別圖像分別輸入FTCTrack跟蹤器中，輸出目標跟蹤結果。

3.如權利要求1所述的一種基于目標檢測和特征融合的目標跟蹤方法，其特征是：主干網絡采用ResNet50網絡。

4.如權利要求1所述的一種基于目標檢測和特征融合的目標跟蹤方法，其特征是：第一特征提取模塊和第二特征提取模塊分別用于提取輸入圖像的conv_5特征。

5.如權利要求1所述的一種基于目標檢測和特征融合的目標跟蹤方法，其特征是：第一區域特征聚集模塊和第二區域特征聚集模塊，分別采用RoIAlign提取更深層次的特征。

6.如權利要求1所述的一種基于目標檢測和特征融合的目標跟蹤方法，其特征是：FTCTrack跟蹤器還包括卷積網絡，卷積網絡連接加權模塊的輸出端，用于將加權模塊輸出的特征通過采用卷積算法獲得目標框的位置。

7.如權利要求6所述的一種基于目標檢測和特征融合的目標跟蹤方法，其特征是：所述卷積網絡后端設置目標框位置提取模塊以及目標判斷模塊。

8.如權利要求6所述的一種基于目標檢測和特征融合的目標跟蹤方法，其特征是：目標框位置提取模塊采用Box Head來求目標框的位置。

9.如權利要求6所述的一種基于目標檢測和特征融合的目標跟蹤方法，其特征是：目標判斷模塊采用Class Head用來確定該目標框中目標準確性。

10.如權利要求2所述的一種基于目標檢測和特征融合的目標跟蹤方法，其特征是：將樣本圖像和待識別圖像分別輸入至FTCTrack跟蹤器中，輸出目標跟蹤結果的方法，包括如下步驟：

針對樣本圖像提取輸入圖像的conv_5特征；

根據獲取的conv_5特征采用柔性注意力機制使網絡獲取目標的感興趣區域；

采用RoI Align提取更深層特征，獲得正確打標記的RoI對齊的特征數據，獲得對樣本圖像識別后的目標外觀數據；

將針對待識別的當前圖像提取輸入圖像的conv_5特征，并進一步采用RoI Align提取更深層特征，通過時間線索模塊提取視頻幀前后的時間線索，將收集的新目標外觀送到更新器中進行更新，獲得針對當前圖像的待測特征數據；

將待測特征數據與目標外觀數據進行加權計算，識別待測當前圖像中每幀圖像中的目標位置即為目標識別結果。

11.如權利要求1所述的一種基于目標檢測和特征融合的目標跟蹤方法，其特征是：通過采用MAML算法對FTCTrack跟蹤器進行訓練。