[發明專利]行為檢測方法、裝置、電子設備及存儲介質

在審

• 申請號: 202111363403.9
• 申請日: 2021-11-17
• 公開（公告）號: CN114037958A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 袁熙;王宇杰
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V10/25;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 袁忠林

1.一種行為檢測方法，其特征在于，包括：

獲取待識別的目標視頻幀；

對各個所述目標視頻幀進行特征提取，生成中間特征數據；其中，所述中間特征數據在時間維度上對應有多個提取時間，以及在空間維度上對應有多個通道；

將所述中間特征數據中至少一個所述通道的特征數據沿著所述時間維度進行偏移處理，生成目標特征數據；

基于所述目標特征數據，確定所述目標視頻幀中所述目標對象的行為類別。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在確定所述目標視頻幀中所述目標對象的行為類別為目標行為類別的情況下，生成警示信息。

3.根據權利要求1或2所述的方法，其特征在于，所述獲取待識別的目標視頻幀，包括：

獲取對目標場地進行檢測得到的檢測視頻；

從所述檢測視頻中選取多個視頻幀，并對各個視頻幀進行目標檢測，確定每個視頻幀中包括的目標對象的檢測框信息；

基于所述目標對象的檢測框信息和所述多個視頻幀，生成所述待識別的目標視頻幀。

4.根據權利要求3所述的方法，其特征在于，所述從所述檢測視頻中選取多個視頻幀，包括：

對所述檢測視頻進行解碼處理，生成所述檢測視頻對應的圖片流數據；

從所述圖片流數據中選取多個視頻幀。

5.根據權利要求3或4所述的方法，其特征在于，所述基于所述目標對象的檢測框信息和所述多個視頻幀，生成所述待識別的目標視頻幀，包括：

基于所述目標對象的檢測框信息指示的檢測框在所述多個視頻幀中的位置信息，確定所述目標對象在所述檢測視頻中的移動軌跡信息；

將所述多個視頻幀中與所述移動軌跡信息不匹配的像素點的像素信息調整為預設像素值，得到待識別的目標視頻幀。

6.根據權利要求1～5任一所述的方法，其特征在于，所述將所述中間特征數據中至少一個所述通道的特征數據沿著所述時間維度進行偏移處理，生成目標特征數據，包括：

從所述中間特征數據包括的多個通道中選取至少一個目標通道；

將所述目標通道沿著所述時間維度的第一偏移方向移動預設偏移量；以及

將移動后的目標通道上，因移動而缺失的特征數據補充為預設特征數據，以及因移動所溢出的特征數據刪除，得到目標特征數據；

其中，所述預設特征數據包括預設特征值，或者，所述預設特征數據基于相鄰的特征位置處的特征數據確定。

7.根據權利要求1～6任一所述的方法，其特征在于，所述目標對象的行為類別為利用訓練后的行為檢測神經網絡得到的，所述行為檢測神經網絡中包括行為識別模塊；根據下述步驟訓練所述行為識別模塊：

獲取多個訓練視頻幀；其中，所述訓練視頻幀對應有樣本對象的樣本檢測框信息和樣本檢測框對應的標注行為類別；

基于所述多個訓練視頻幀、所述多個訓練視頻幀分別對應的樣本對象的樣本檢測框信息、和待訓練的行為識別模塊，得到每個所述訓練視頻幀對應的預測行為類別；

基于所述預測行為類別和所述訓練視頻幀對應的所述標注行為類別，對所述待訓練的行為識別模塊進行訓練，得到訓練后的行為識別模塊。