[發明專利]一種聯合注意力機制端到端訓練的行人多目標跟蹤方法

在審

• 申請號: 202011453228.8
• 申請日: 2020-12-11
• 公開（公告）號: CN112560656A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 閆超;黃俊潔;韓強
• 申請（專利權）人: 成都東方天呈智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06T7/11
• 代理公司: 成都君合集專利代理事務所(普通合伙) 51228
• 代理人: 尹玉

1.一種聯合注意力機制端到端訓練的行人多目標跟蹤方法，其特征在于，包括以下步驟：

步驟S100：收集帶標簽的視頻序列的行人數據集，并利用標簽中每個視頻的第一幀真實邊界框初始化跟蹤框，作為模板樣本，再根據跟蹤框的中心在第二幀中裁剪出正搜索區域樣本，以及在不是同類目標的區域裁剪出負搜索區域樣本；所述模板樣本、正搜索區域樣本、負搜索區域樣本組成三元組，作為訓練樣本輸出；

步驟S200：構建深度神經網絡模型，利用卷積神經網絡部分提取樣本的特征信息，再使用注意力機制模塊指導網絡模型傾向重要的特征信息，最后計算相似度和數據關聯；

步驟S300：設定指導網絡模型訓練的損失函數分為驗證損失函數、單目標追蹤損失函數以及數據對損失函數；

步驟S400：預先制定優化策略衰減損失值，以及設定相關超參數，重復計算，直至損失值收斂，精度最優。

2.根據權利要求1所述的一種聯合注意力機制端到端訓練的行人多目標跟蹤方法，其特征在于，所述步驟S200包括以下步驟：

步驟S201：構建分別處理模板樣本、正搜索區域樣本、負搜索區域樣本的模板樣本分支、正搜索區域樣本分支、負搜索樣本分支的三個網絡結構分支，所述模板樣本分支、正搜索區域樣本分支、負搜索樣本分支的主干網絡結構相同，并共享權重參數；

步驟S202：所述正搜索區域樣本分支和負搜索樣本分支都采用感興趣區域對齊層下采樣特征點信息，所述正搜索區域樣本分支和負搜索樣本分支的主干網絡與感興趣區域對齊層之間設置有注意力機制模塊，實現在訓練過程中更加關注行人出現的區域；

步驟S203：最后模板樣本分支、正搜索區域樣本分支、負搜索樣本分支都采用全局平均池化層壓縮成一維特征向量。

3.根據權利要求2所述的一種聯合注意力機制端到端訓練的行人多目標跟蹤方法，其特征在于，所述步驟S201中模板樣本分支、正搜索區域樣本分支、負搜索樣本分支的主干網絡結構依次包括：從前至后將卷積層、批標準化層、激活函數層封裝成卷積模塊；從前至后將卷積模塊、深度可分離卷積層、批標準化層、激活函數層、卷積層構成線性瓶頸模塊，最后由預設個數和不同超參數的線性瓶頸模塊組成倒殘差模塊。

4.根據權利要求3所述的一種聯合注意力機制端到端訓練的行人多目標跟蹤方法，其特征在于，所述模板樣本分支、正搜索區域樣本分支、負搜索樣本分支的主干網絡結構中包含3個倒殘差模塊，每個倒殘差模塊分別包含1、2、3個線性瓶頸模塊。

5.根據權利要求3所述的一種聯合注意力機制端到端訓練的行人多目標跟蹤方法，其特征在于，所述激活函數層采用參數修正線性單元層。

6.根據權利要求2所述的一種聯合注意力機制端到端訓練的行人多目標跟蹤方法，其特征在于，所述步驟S202中的注意力機制模塊包括兩個連續的第一卷積層、第二卷積層，所述第一卷積層對特征信息進行整合，第二卷積層對特征信息的通道數進行改變得到注意力圖；然后使用S型激活函數將注意力圖歸一化到0-1之間，最后將注意圖與原特征信息進行融合。

7.根據權利要求2所述的一種聯合注意力機制端到端訓練的行人多目標跟蹤方法，其特征在于，所述步驟S203中通過向量運算計算出相似度，選擇與候選檢測結果相似度最高的預測跟蹤結果，并將對應的目標身份標識號分配給跟蹤結果。