[發明專利]一種多目標的行為識別方法及系統

在審

• 申請號: 202010883352.1
• 申請日: 2020-08-28
• 公開（公告）號: CN112016461A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 黃躍珍;王乃洲;趙清利;梁添才
• 申請（專利權）人: 深圳市信義科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 林梅繁

1.一種多目標的行為識別方法，其特征在于，包括以下步驟：

S1、對視頻幀進行目標檢測，輸出每一幀中全部目標的目標位置；

S2、對視頻幀中的目標進行跟蹤，獲得視頻幀的目標信息；

S3、抽取視頻幀，對目標信息進行單目標位置并集運算，得到每個目標在不同視頻幀中的共同位置，進一步獲得每個目標的視頻序列；

S4、建立行為識別網絡模型，根據每個目標的視頻序列，對目標的行為進行識別，輸出目標的行為識別結果。

2.根據權利要求1所述的行為識別方法，其特征在于，步驟S3包括：

步驟S31、維護一個長度為一固定值m的數據隊列，該數據隊列從步驟S2獲取視頻幀的目標信息；從該數據隊列中抽取一固定數量n的視頻幀的目標信息，其中n＜m；

步驟S32、將所抽取的n個視頻幀的目標信息進行單目標位置并集運算，獲得每個目標在不同視頻幀中的共同位置；

步驟S33、根據每個目標的共同位置，拷貝n個視頻幀中對應位置的圖片數據組成每個目標的視頻序列。

3.根據權利要求2所述的行為識別方法，其特征在于，步驟S31從m個視頻幀中抽取其中的n個，采用前面少取、后面多取的策略，或采用等間隔抽取的策略，或采用前面多取、后面少取的策略。

4.根據權利要求1所述的行為識別方法，其特征在于，步驟S4包括：

將每個目標視頻序列的n個視頻幀圖像分別輸入到n個主干網絡中，分別進行2D-CNN視頻幀空間特征提取，其中n個主干網絡共享權值；

提取視頻幀的空間特征后，對n個視頻幀的空間特征進行時間軸拼接，達到空間特征融合的目的；空間特征融合后得到的特征，通過PCM-ResNet網絡進行時空特征學習與提取。

5.根據權利要求4所述的行為識別方法，其特征在于，步驟S4還包括：

時空特征提取得到相應的特征后，依次進行全局平均池化、全連接層和Softmax函數操作，最后得到視頻中目標的行為類別。