[發明專利]一種基于深度學習的視頻多目標跟蹤方法、裝置及設備

在審

• 申請號: 202011193698.5
• 申請日: 2020-10-30
• 公開（公告）號: CN112417988A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 孫悅;李天馳;王帥
• 申請（專利權）人: 深圳點貓科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 廣東良馬律師事務所 44395
• 代理人: 張柯

1.一種基于深度學習的視頻多目標跟蹤方法,其特征在于,所述方法包括：

獲取待跟蹤的視頻，對視頻進行解析，生成視頻對應的幀圖像；

將幀圖像輸入訓練好的編碼器-解碼器網絡，根據編碼器-解碼器網絡提取幀圖像對應的高分辨率特征圖；

根據高分辨率特征圖分別對邊界框和行人重識別特征進行預測，生成預測結果；

提取預測結果中的特征進行邊界框時序聯結，完成視頻多目標跟蹤。

2.根據權利要求1所述的基于深度學習的視頻多目標跟蹤方法，其特征在于，所述獲取待跟蹤的視頻，對視頻進行解析，生成視頻對應的幀圖像前，包括：

預先對解碼器-編碼器網絡進行構建。

3.根據權利要求2所述的基于深度學習的視頻多目標跟蹤方法，其特征在于，所述預先對解碼器-編碼器網絡進行構建，包括:

預先構建殘差網絡作為解碼器-編碼器網絡；

根據深層聚合算子對解碼器-編碼器網絡進行優化，生成訓練好的編碼器-解碼器網絡。

4.根據權利要求3所述的基于深度學習的視頻多目標跟蹤方法，其特征在于，所述解碼器-編碼器網絡設置有上采樣單元，所述根據深層聚合算子對解碼器-編碼器網絡進行優化，生成訓練好的編碼器-解碼器網絡，包括：

根據深層聚合算子對上采樣單元中的卷積層替換為可變形的卷積層，生成訓練好的編碼器-解碼器網絡。

5.根據權利要求4所述的基于深度學習的視頻多目標跟蹤方法，其特征在于，所述根據高分辨率特征圖分別對邊界框和行人重識別特征進行預測，生成預測結果，包括：

根據高分辨率特征圖分別對邊界框和行人重識別特征進行預測，生成熱力、對象中心偏移和邊界框大小。

6.根據權利要求5所述的基于深度學習的視頻多目標跟蹤方法，其特征在于，所述根據高分辨率特征圖分別對邊界框和行人重識別特征進行預測，生成預測后的熱圖、對象中心偏移和邊界框大小，包括：

獲取高分辨率特征圖，對高分率特征圖應用特定大小的卷積核進行卷積運算，完成三個并行回歸頭；

通過三個并行回歸頭分別對邊界框和行人重識別特征進行預測，生成預測后的熱圖、對象中心偏移和邊界框大小。

7.根據權利要求6所述的基于深度學習的視頻多目標跟蹤方法，其特征在于，所述根據編碼器-解碼器網絡提取幀圖像對應的高分辨率特征圖后，還包括：

根據anchor-free目標檢測方法，估計高分辨率特征圖的目標中心。

8.一種基于深度學習的視頻多目標跟蹤裝置，其特征在于，所述裝置包括：

幀圖像解析模塊，用于獲取待跟蹤的視頻，對視頻進行解析，生成視頻對應的幀圖像；

特征提取模塊，用于將幀圖像輸入訓練好的編碼器-解碼器網絡，根據編碼器-解碼器網絡提取幀圖像對應的高分辨率特征圖；

特征預測模塊，用于根據高分辨率特征圖分別對邊界框和行人重識別特征進行預測，生成預測結果；

聯結模塊，用于提取預測結果中的特征進行邊界框時序聯結，完成視頻多目標跟蹤。

9.一種基于深度學習的視頻多目標跟蹤設備，其特征在于，所述設備包括至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-7任一項所述的基于深度學習的視頻多目標跟蹤方法。

10.一種非易失性計算機可讀存儲介質，其特征在于，所述非易失性計算機可讀存儲介質存儲有計算機可執行指令，該計算機可執行指令被一個或多個處理器執行時，可使得所述一個或多個處理器執行權利要求1-7任一項所述的基于深度學習的視頻多目標跟蹤方法。