[發明專利]一種多目標跟蹤方法與設備

在審

• 申請號: 202110551890.5
• 申請日: 2021-05-20
• 公開（公告）號: CN113191314A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 朱月萍;羅余洋;潘柳華;徐麟
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06N3/04
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王奎宇

1.一種多目標跟蹤方法，其中，所述方法包括：

從輸入視頻中提取視頻幀圖像，并對每張所述視頻幀圖像中的目標進行標注；

搭建以所述視頻幀圖像為輸入的網絡結構，其中，搭建所述網絡結構的過程包括：將所述視頻幀圖像輸入卷積神經網絡中進行特征提取得到對應的特征圖，對所述特征圖進行卷積操作得到對應的注意力圖；

基于所述網絡結構，設置訓練參數及損失函數，訓練得到多目標跟蹤模型；

利用所述多目標跟蹤模型進行多目標跟蹤。

2.根據權利要求1所述的方法，其中，搭建所述網絡結構的過程還包括：

利用所述注意力圖生成熱力圖，并根據所述熱力圖回歸出若干個目標對應的目標框位置信息。

3.根據權利要求1所述的方法，其中，搭建所述網絡結構的過程還包括：

將所述特征圖與所述注意力圖的M個通道逐元素相乘，得到M個部分特征圖組合，其中，所述注意力圖由M個通道構成；

合并該M個部分特征圖組合得到新特征圖，對該新特征圖進行卷積操作后得到分類輸出和重識別特征輸出。

4.根據權利要求1所述的方法，其中，搭建所述網絡結構的過程還包括：

基于所述注意力圖的特征響應，選取特征響應大于預定響應閾值的若干張注意力圖，分別對該若干張注意力圖進行數據擴增。

5.根據權利要求4所述的方法，其中，對該若干張注意力圖進行數據擴增，包括：

將所述注意力圖中大于預定裁剪閾值的元素置為1，其他元素置為0；

基于所述注意力圖中的元素值為1的區域，生成對應的裁剪區域；

將所述裁剪區域擴增后，將擴增后的所述裁剪區域映射回所述視頻幀圖像，并在所述視頻幀圖像中根據擴增后的所述裁剪區域進行裁剪得到裁剪圖片；

將所述裁剪圖片采樣至所述多目標跟蹤模型的輸入圖片大小，其中，處理后的所述裁剪圖片作為所述多目標跟蹤模型的新的輸入圖片。

6.根據權利要求4所述的方法，其中，對該若干張注意力圖進行數據擴增，包括：

將所述注意力圖中小于預定擦除閾值的元素置為1，其他元素置為0；

基于所述注意力圖中的元素值為1的區域，生成對應的擦除區域；

將所述擦除區域映射回所述視頻幀圖像后，在所述視頻幀圖像中根據所述擦除區域進行擦除，得到所述多目標跟蹤模型的新的輸入圖片。

7.根據權利要求1至6中任一項所述的方法，其中，訓練得到多目標跟蹤模型，包括：

將所述視頻幀圖像輸入所述網絡結構得到輸出信息，將所述輸出信息與標注信息通過所述損失函數計算得到輸出的可信度；

模型訓練經過若干次迭代，當計算得到輸出的可信度大于預定可信閾值時，得到所述多目標跟蹤模型。

8.一種多目標跟蹤設備，其中，所述設備包括：

數據準備模塊，用于從輸入視頻中提取視頻幀圖像，并對每張所述視頻幀圖像中的目標進行標注；

網絡搭建模塊，用于搭建以所述視頻幀圖像為輸入的網絡結構，其中，搭建所述網絡結構的過程包括：將所述視頻幀圖像輸入卷積神經網絡中進行特征提取得到對應的特征圖，對所述特征圖進行卷積操作得到對應的注意力圖；

模型訓練模塊，用于基于所述網絡結構，設置訓練參數及損失函數，訓練得到多目標跟蹤模型；

跟蹤模塊，用于利用所述多目標跟蹤模型進行多目標跟蹤。

9.一種計算設備，其中，該設備包括用于存儲計算機程序指令的存儲器和用于執行計算機程序指令的處理器，其中，當該計算機程序指令被該處理器執行時，觸發所述設備執行權利要求1至7中任一項所述的方法。

10.一種計算機可讀介質，其上存儲有計算機程序指令，所述計算機可讀指令可被處理器執行以實現如權利要求1至7中任一項所述的方法。