[發明專利]一種基于Mask R-CNN和表觀特征融合的多目標跟蹤方法

有效

• 申請號: 202110631768.9
• 申請日: 2021-06-07
• 公開（公告）號: CN113506317B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 崔澤鵬;宋禹;明悅;蔣欣欣;于文豪
• 申請（專利權）人: 北京百卓網絡技術有限公司;北京郵電大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62;G06N3/04;G06N3/08;G06T7/215;G06V10/80
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 黃曉軍

1.一種基于Mask R-CNN和表觀特征融合的多目標跟蹤方法，其特征在于，包括：

在Mask R-CNN主干網絡上連接四個任務分支，分別實現分類、回歸、分割和特征提取，通過Mask R-CNN網絡搜索待識別的圖像，獲得圖像中的目標的候選區域及特征圖；

基于候選區域在特征圖上切割出特征作為孿生神經網絡的輸入，生成特征矩陣；通過空間注意力模塊根據所述特征矩陣對所述圖像中關鍵區域進行空間結構加強處理，得到具有空間注意力加權的目標特征；

通過長短時記憶網絡利用所述具有空間注意力加權的特征對目標軌跡的歷史位置信息進行計算，得到預測的目標位置信息；

通過級聯數據關聯，引入分割掩膜交并比、外觀相似度、運動相似度進行檢測目標和跟蹤軌跡的相似度計算，使用匈牙利算法基于相似度進行匹配，獲得目標的實時跟蹤軌跡信息。

2.根據權利要求1所述的方法，其特征在于，所述的通過Mask R-CNN網絡搜索待識別的圖像，獲得圖像中的目標的候選區域及特征圖，包括：

通過Mask R-CNN主干網絡搜索待識別的圖像，在Mask R-CNN主干網絡上連接四個任務分支，分別實現分類、回歸、分割和特征提取，獲得圖像中的目標的候選區域及特征圖；

Mask R-CNN主干網絡采用特征金字塔FPN網絡提取特征，將圖像作為輸入通過FPN網絡提取固定大小的特征圖，在RPN網絡中通過一個3×3的滑動窗口遍歷所有的特征圖，對于每個窗口按照(1∶2，1∶1，2∶1)的比例和尺度生成9個錨框，通過全連接層實現初步分類和邊界框回歸，通過非極大值抑制NMS的限制選擇設定數量的候選區域；

每個候選區域通過RoI Align劃分為16×16個單元并選取四個標準位置，采用雙線性插值的方法對標準位置進行精調，在回歸分類分支中通過全連接層映射為4096維的特征向量。

3.根據權利要求1所述的方法，其特征在于，所述的基于候選區域在特征圖上切割出特征作為孿生神經網絡的輸入，生成特征矩陣，包括：

從特征金字塔FPN網絡通過上采樣融合不同層級的特征得到具有上下文信息的特征圖，將當前幀檢測響應與前一幀檢測響應對應的特征圖作為孿生網絡的輸入，通過孿生網絡得到兩個具有判別性的特征矩陣。

4.根據權利要求3所述的方法，其特征在于，所述的通過空間注意力模塊根據所述特征矩陣對所述圖像中關鍵區域進行空間結構加強處理，得到具有空間注意力加權的目標特征，包括：

構建包括最大池化層、中值池化層和平均池化層的空間注意力模塊，將從孿生神經網絡架構匹配層中提取的特征矩陣作為所述空間注意力模塊的輸入，通過空間注意力模塊對所述特征矩陣中的目標的空間特征進行推理得到空間強化特征，得到具有空間注意力加權的目標特征，將兩個具有空間加權的特征矩陣通過全連接網絡層進行特征融合得到特征向量，之后通過邏輯回歸模型計算分類類別的概率，實現兩個輸入響應之間的相同性驗證，計算相似度，用于目標之間的數據關聯。

5.根據權利要求1至4任一項所述的方法，其特征在于，所述的通過長短時記憶網絡利用所述具有空間注意力加權的特征對目標軌跡的歷史位置信息進行計算，得到預測的目標位置信息，包括：

通過長短時記憶網絡利用所述具有空間注意力加權的特征對目標軌跡的歷史位置信息進行計算，獲得運動特征向量，將運動特征向量通過全連接層映射為運動軌跡向量；通過高斯函數對預測的運動軌跡向量和實際的運動軌跡真值進行距離度量，獲得目標軌跡之間的運動相似度Λ；

運動相似度Λ的計算方式如公式(2-12)所示：

Λ＝G(Δx-μ_m，δ_m) (2-12)

其中，Δx服從均值為μ_m，標準差為δ_m的高斯分布函數，Δx是多幀運動預測中相重疊時間中的平均距離；

綜合多幀預測結果使用高斯分布函數對目標軌跡之間的運動相似度Λ進行距離度量，根據距離度量結果得到預測的目標位置信息。

6.根據權利要求5所述的方法，其特征在于，所述的通過長短時記憶網絡利用所述具有空間注意力加權的特征對目標軌跡的歷史位置信息進行計算，得到預測的目標位置信息，包括：

采用嵌入實例分割網絡進行檢測跟蹤，通過增加掩碼的形式進行級聯數據關聯，流程包括采用分割掩膜交并比、外觀相似度、運動相似度進行檢測目標和跟蹤軌跡的相似度計算，在級聯數據關聯匹配中采用基于Mask掩碼交并比的數據關聯，目標掩碼交并比的計算如公式(2-4)所示，A，B分別代表掩碼對應點的數量：

使用匈牙利算法基于相似度進行匹配，獲得新的跟蹤軌跡信息。