[發明專利]基于注意力-關鍵點預測模型的單目標跟蹤系統及方法

有效

• 申請號: 202110547260.0
• 申請日: 2021-05-19
• 公開（公告）號: CN113379794B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 孫開偉;王支浩;郭豪;鄧名新;劉期烈
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/11;G06N3/0464;G06N3/084
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 陳棟梁

本發明請求保護一種基于注意力?關鍵點預測模型的單目標跟蹤系統及方法，包括：目標狀態估計和目標定位兩個模塊，在目標定位模塊，通過進行兩個關鍵點的預測來確定目標位置，關鍵點指的是bounding_box左上角和右下角兩個角點。在目標狀態估計模塊，添加注意力機制來提高模型的判別能力和魯棒性，并且用bounding_box來明確標出目標的完全狀態。

技術領域

本發明屬于深度學習、圖像處理，目標跟蹤技術領域，尤其是將關鍵角點的檢測和注意力機制分別加入到目標定位和目標狀態估計模塊，增強了模型的判別能力和魯棒性。

背景技術

在單目標跟蹤的背景下，通常有必要將目標定位和目標狀態估計區分為兩個獨立但相關的子任務。目標定位基本上是為了確定待跟蹤目標位于圖像中某個位置。但是，目標定位模塊只能獲取位置信息，即目標在圖像中的坐標狀態，目標狀態估計的目的是找到完全狀態。近幾年來，國外很多著名的研究學者在目標定位的任務中，通過在線訓練強大的分類器成功解決了這一問題，特別地，基于相關濾波跟蹤器已經得到廣泛應用。然而，相關濾波跟蹤器對目標的很多方面都不敏感，例如當目標發生大幅度形變時，無法精確估計目標的完整狀態，這主要是因為，基于相關濾波的算法沒有將目標定位和目標狀態估計任務分離。研究者們認為對于邊界框的精確估計是復雜的任務，需要高水平的先驗知識。不能將其建模為簡單的圖像變換(例如均勻圖像縮放)。

由于存在遮擋、光照變化、尺度變化等一系列問題，單目標跟蹤的實際落地應用一直都存在較大的挑戰。過去兩年中，商湯智能視頻團隊在孿生網絡上做了一系列工作，包括將檢測引入跟蹤后實現第一個高性能孿生網絡跟蹤算法的SiamRPN，更好地利用訓練數據增強判別能力的DaSiamRPN，以及最新的解決跟蹤無法利用到深網絡問題的SiamRPN++。其中SiamRPN++在多個數據集上都完成了10％以上的超越。

大多數的跟蹤算法把跟蹤考慮成定位問題，但它和檢測問題也比較類似，在定位的同時也需要對目標邊界框進行預測。為此，SiamRPN將跟蹤問題抽象成單樣本檢測問題，即需要設計一個算法，使其能夠通過第一幀的信息來初始化的一個局部檢測器。為此，SiamRPN結合了跟蹤中的孿生網絡和檢測中的區域推薦網絡：孿生網絡實現對跟蹤目標的適應，讓算法可以利用被跟蹤目標的信息，完成檢測器的初始化；區域推薦網絡可以讓算法可以對目標位置進行更精準的預測。經過兩者的結合，SiamRPN可以進行端到端的訓練。目前的跟蹤算法已經能夠做到在無干擾的情況下進行精確定位，但是如果周圍有很多相似目標，跟蹤器會受到較大影響，導致關鍵點定位到一個相似的目標上。其次，目前的跟蹤算法不能夠適應目標的大尺度變化，當目標發生大尺度形變或者不可逆轉的形變時，跟蹤器無法繼續跟蹤目標。本發明就這兩個問題逐一解決，訓練出一個具有較強魯棒性和判別能力的跟蹤器。

發明內容

本發明旨在解決以上現有技術的問題。提出了一種基于注意力-關鍵點預測模型的單目標跟蹤系統及方法。本發明的技術方案如下：

一種基于注意力-關鍵點預測模型的單目標跟蹤系統，其包括目標狀態估計模塊和目標定位模塊，將注意力機制加入到單目標跟蹤的目標狀態估計模塊，將關鍵點檢測加入到目標定位模塊，目標狀態估計模塊用于通過添加注意力機制，并且用bounding_box來明確標出目標的完全狀態，目標定位模塊用于通過進行兩個關鍵點的預測來確定目標位置，bounding_box指的是目標的矩形邊界框，關鍵點指的是bounding_box左上角和右下角兩個角點。

進一步的，所述目標定位模塊通過進行兩個關鍵點的預測來確定目標位置，關鍵點指的是bounding_box左上角和右下角兩個角點，具體包括：首先找到第一幀bounding_box中的左上角和右下角兩個點，并且以這兩個點為中心，以r為半徑畫圓，生成2個峰值為1的的高斯分布區域，圖像的其余像素區域規定為0，生成target_map。