[發明專利]一種基于目標檢測和特征融合的目標跟蹤方法及系統

有效

• 申請號: 202011421927.4
• 申請日: 2020-12-08
• 公開（公告）號: CN112560620B
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 李愛民;劉騰;李稼川;王建文;劉笑含
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/25;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06T3/00;G06T3/40;G06T3/60
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆圣娟

本公開提出了一種基于目標檢測和特征融合的目標跟蹤方法及系統，包括如下步驟：獲取樣本圖像及待識別的當前圖像；將樣本圖像和待識別圖像分別輸入至改進后的FTCTrack跟蹤器中，輸出目標跟蹤結果；所述改進后的FTCTrack跟蹤器的主干網絡中包括柔性注意力機制模塊和時間線索模塊。將柔性注意力機制應用在跟蹤器模型中，使跟蹤器模型關注輸入圖像的感興趣區域，以此來解決如何區分類內實例的問題。其次，在跟蹤器模型中增加時間線索模塊，使用BiLSTM獲取連續幀之間時間線索，有效的解決在跟蹤中出現遮擋、變形、背景雜亂等問題，從而融合目標檢測方法進行目標跟蹤，提高目標跟蹤的準確率與成功率。

技術領域

本公開涉及目標跟蹤相關技術領域，具體的說，是涉及一種基于目標檢測和特征融合的目標跟蹤方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，并不必然構成在先技術。

目標跟蹤是根據第一幀中選擇的一個區域作為目標，在接下來的視頻幀中自動找到該目標，并輸出該目標的位置信息的任務。近年來，隨著計算機處理能力的提升和深度學習的高速發展，目標跟蹤領域得到了迅速發展，目標跟蹤依舊是計算機視覺研究中的熱門領域。盡管如此，目標跟蹤中一些不確定性因素，例如目標的形變、遮擋等問題，使得目標跟蹤仍然面臨著很大的挑戰。

目標檢測這幾年發展快速，目標檢測和目標跟蹤有著密切的聯系，致使很多研究者將目標檢測的理念遷移到目標跟蹤中來。到目前為止，很多目標檢測技術被應用到目標跟蹤領域，并在目標跟蹤中體現出非常好的性能。例如目標檢測中的區域推薦網絡模塊(PRN)，就被很多跟蹤器借鑒。還有一些學者研究了當下目標檢測器與目標跟蹤器的區別，致力于將目標檢測器轉換為目標跟蹤器的研究。目標檢測任務和目標跟蹤任務極為相似，他們均為以圖片(或者視頻幀)作為模型的輸入，經過處理后，輸出一堆代表目標物體位置的矩形框。它們之間最大的區別體現在對“目標物體”的定義和是否考慮圖片(或者視頻幀)之間的聯系。發明人發現，為了更好的區分類內實例和更充分地利用視頻幀之間的時間線索，有人提出了將現有的目標檢測器改造成目標跟蹤器一種通用的統一的架構和方法，用以克服了兩者的不同，將目標檢測器轉變成優良的目標跟蹤器，但是，跟蹤效果受跟蹤視頻中目標遮擋、變形等不確定因素對跟蹤結果準確度影響較大。

發明內容

本公開為了解決上述問題，為了彌補檢測器無法區分類內實例和無法充分利用連續幀之間的時間線索這兩個問題，以及減少目標遮擋、變形、背景雜亂等問題在跟蹤中對跟蹤結果的影響，提出了一種基于目標檢測和特征融合的目標跟蹤方法及系統，將柔性注意力機制應用在跟蹤模型中，使跟蹤模型關注輸入圖像的感興趣區域，以此來解決如何區分類內實例的問題。其次，在跟蹤模型中增加時間線索模塊，使用BiLSTM獲取連續幀之間時間線索，有效的解決在跟蹤中出現遮擋、變形、背景雜亂等問題，從而融合目標檢測方法進行目標跟蹤，提高目標跟蹤的準確率與成功率。

為了實現上述目的，本公開采用如下技術方案：

一個或多個實施例提供了一種基于目標檢測和特征融合的目標跟蹤方法，包括建立雙層網絡的FTCTrack跟蹤器，上層網絡用于輸入樣本圖像，采用柔性注意力機制，獲取目標特征，使得模型能夠區分類內實例；下層網絡用于輸入當前要查詢的圖像，添加時間線索模塊，獲取連續幀之間時間線索，形成帶有時間線索的上下文特征，將目標特征和上下文特征進行融合，實現目標的準確跟蹤。

一個或多個實施例提供了一種基于目標檢測和特征融合的目標跟蹤系統，其特征是：包括視頻信息采集裝置以及處理器，所述處理器執行權利要求1-7任一項所述的一種基于目標檢測和特征融合的目標跟蹤方法。

一種電子設備，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成上述方法所述的步驟。

一種計算機可讀存儲介質，用于存儲計算機指令，所述計算機指令被處理器執行時，完成上述方法所述的步驟。

與現有技術相比，本公開的有益效果為：