[發明專利]基于孿生網絡結構和注意力機制的在線多目標跟蹤方法

有效

• 申請號: 202110545060.1
• 申請日: 2021-05-19
• 公開（公告）號: CN113379793B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 陳光柱;李春江
• 申請（專利權）人: 成都理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于孿生網絡結構和注意力機制的在線多目標跟蹤方法，其特征在于，包括以下步驟：

步驟1：檢測和跟蹤融合框架的設計過程；對YOLOv3算法與KCF算法進行了改進以及融合：首先，對KCF算法進行改進：丟棄KCF模型的初始化過程和相關向量更新迭代過程；在此基礎上，將優化后的KCF模型與YOLOv3算法進行融合：將YOLOv3中的DBL模塊作為共用網絡(孿生結構)，完成特征的提取，其DBL模塊用于KCF前期的特征提取以及檢測分支，該檢測分支為YOLOv3除去DBL模塊后的框架；

步驟2：檢測和跟蹤融合框架的計算過程如下：

首先，將上一幀所跟蹤的目標以及上一幀圖像作為輸入，通過改進的KCF算法，計算獲得每個目標的濾波模板，注意這里每個目標都對應了一個濾波模板；

隨后，將上一幀所跟蹤到的目標以及當前幀圖像作為輸入，通過已經計算好濾波模板的KCF算法獲取到相應目標在當前幀圖像中的邊界框Box_t，其為預跟蹤過程；在預跟蹤的同時，利用檢測分支檢測當前幀出現的目標Box_d，其為每一幀的檢測過程；由于這里出現了兩種邊界框，因此設計線性回歸模塊，對Box_t和Box_d結果進行融合獲得最新的邊界框Box_new：

Box_new＝α×Box_d+β×Box_t，

其中，α和β為平衡參數Box_t、Box_d和Box_new的形式表示為[Top,bottom,left,right]，[Top,left],[bottom,right]分別代表了邊界框在圖像中左上角和右下角的坐標；

所述Box_d是無序的，而Box_t是有序的，因此，通過圖像注意力機制對每個目標獨有的辨別信息進行提取，并最終利用圖像結構相似性完成目標與估計的關聯，包括以下步驟：

步驟21：首先需要完成注意力模板的在線訓練；以一個M*M，通道數為{3，C}的卷積核為注意力模板，隨后進行全連接，最后完成圖像的二分類；主要以N幅圖像作為訓練樣本，其中k幅圖像為某一條軌跡的歷史觀測信息圖，為正樣本；剩余的N-k幅圖像為其他軌跡的歷史觀測信息圖，為負樣本；在在線訓練的過程中，需要對訓練的圖像樣本統一為W*H的圖像；這里需要注意的是每一條軌跡對應了不同的注意力模板；

步驟22：在完成注意力模板的訓練后，首先對兩個圖像樣本x，y統一為寬度為W，高度為H的三通道圖像，隨后進行特征提取獲得F_x和F_y，這兩個特征都為W*H*C的矩陣，其中，特征提取過程包括注意力模板的卷積、BatchNormal以及Sigmoid；隨后，由于圖像的高度和寬度是不相等的，因此，通過以下兩式獲得兩個圖像的高度和寬度方向的自相關矩陣SCor以及互相關矩陣CCor：

其中，x,y為兩個待計算相似程度的樣本；SCor_x和SCor_y分別為x,y樣本的自相關矩陣，CCor為x,y樣本的互相關矩陣，F_x，F_y分別為x,y樣本的特征圖，分別為F_x，F_y樣本的特征圖的轉置；

步驟23：在完成SCor和CCor的計算后，通過以下方法計算出圖像的高度和寬度兩個方向的相似度SD_w和SD_h；由于兩個方向的計算方式是一樣的，因此以SD_w的計算為例進行說明：

1)相似性得分IdxS的計算，在計算得到圖像的高度和寬度兩個方向的SCor_x、SCor_y和CCor后，使用歐氏距離計算相關指數得分IdxS，其表達公式如下：

其中，ED為歐式距離；

2)通過互均方差CMSE計算出兩個方向上的SD_w，如下式所示：

其中，sum為求和操作；

通過上述步驟，同時也可得到SD_h，x,y之間的相似度由圖像的高度和寬度兩個方向上的相似度的均值SD得到，如下式所示：

通過建立如下公式計算目標與軌跡的相關性得分CS，其范圍限制于0到1之間；

其中，SD₁為某一軌跡上的兩個最新歷史觀測信息之間的相似程度；SD₂為檢測出的某一目標與SD₁所對應軌跡的最新歷史觀測信息的相似程度；當SD₁和SD₂越接近時，即目標與軌跡的關聯性越強時，CS收斂于1，反之為0；將閾值設定為0.6，當目標與軌跡的之間的CS大于時，其表示目標有可能為相應軌跡的延展，反之目標不可為相應軌跡的延展。

2.根據權利要求1所述的基于孿生網絡結構和注意力機制的在線多目標跟蹤方法，其特征在于，注意力機制的圖像相似性辨別性計算稱之為SSC；多目標跟蹤策略的設計，其中主要處理三種匹配狀態：孤立匹配、競爭匹配和失敗匹配，其特征在于，包括以下步驟：

步驟1：當匹配狀態為孤立匹配狀態時，對目標與相匹配的預跟蹤所預判的位置進行線性回歸模型以及軌跡延展，并更新注意力模板；

步驟2：當匹配狀態為競爭狀態時，其競爭狀態的目標和軌跡如下兩種狀態表示：

Com_obj＝{obj,tra₁,tra₂,…,tra_i}，

Com_tra＝{tra,obj₁,obj₂,…,obj_j}，

其中，i,j∈N，obj為通過檢測器檢測到的目標，以下稱為目標；tra為通過跟蹤器跟蹤到的目標，以下稱為軌跡；Com_obj和Com_tra分別表示為多個軌跡與單個目標和多個目標與單個軌跡的競爭狀態，以下稱為兩種競爭狀態；

對于兩種競爭狀態的處理主要利用SSC進行判斷，表達為如下兩種情況：

CS_obj＝{SSC(obj,tra_m)},m∈[0,i]，

CS_tra＝{SSC(obj_n,tra)},n∈[0,j]，

其中，CS_obj和CS_tra分別代表了兩種競爭狀態的相關性得分；

當完成計算得到CS后，通過下面兩式得到最佳匹配：

其中，argmax表示最大值的索引，即表示目標和軌跡的匹配關系；BestMatch_obj和BestMatch_tra表示為兩種競爭情況的最佳匹配；

如果滿足上述條件，這軌跡將有相應的目標進行延展，并更新相應的注意力模板；反之，即被判為失敗狀態；這里匹配失敗的軌跡將被歸為不活躍軌跡的存儲器，并且不再參與當前幀的跟蹤計算；

步驟3：對于匹配失敗的目標，這些目標將與歷史所計算得到的不活躍軌跡利用SSC進行關聯；在關聯成功后進行軌跡延展以及注意力機制模板的更新，反之如果關聯失敗，則匹配失敗的目標將會初試化出一條新的軌跡；而失敗的軌跡依舊會被放入不活躍軌跡的存儲器中，如果在不活躍軌跡的存儲器中的存放的時間大于了一定幀數，則當為相應目標的最終軌跡，不再參與后續的判斷和延展。