[發明專利]人體行為識別方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202211289157.1
• 申請日: 2022-10-20
• 公開（公告）號: CN115909479A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 羅冠;關俊洋;劉雨帆;李兵;胡衛明
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/80;G06V10/82;G06V20/40
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 周淑娟

1.一種人體行為識別方法，其特征在于，包括：

從壓縮視頻數據中提取壓縮域信息，其中，所述壓縮域信息中包括多個I幀、殘差以及運動矢量，所述I幀與所述殘差之間具有對應關系；

將各所述I幀及各目標殘差所對應的深層特征進行融合處理，得到各所述I幀對應的局部時空特征，其中，所述目標殘差為所述I幀對應的殘差；將相鄰兩個所述局部時空特征進行融合處理，得到所述壓縮視頻數據對應的全局時空特征；

基于所述全局時空特征、所述運動矢量及所述殘差，確定所述壓縮視頻數據對應的目標特征，并基于所述目標特征確定所述壓縮視頻數據對應的人體行為識別結果。

2.根據權利要求1所述的人體行為識別方法，其特征在于，所述從壓縮視頻數據中提取壓縮域信息，包括：

將所述壓縮視頻數據進行熵解碼，得到所述壓縮域中的運動矢量以及所述壓縮域中每個宏塊對應的離散余弦變換系數；

將所述離散余弦變換系數進行反離散余弦變換，得到所述壓縮域中每個視頻幀對應的殘差；

識別各目標宏塊，并將各所述目標宏塊進行環路濾波處理，得到所述I幀，其中，所述目標宏塊為所述I幀對應的宏塊。

3.根據權利要求1或2所述的人體行為識別方法，其特征在于，在所述從壓縮視頻數據中提取壓縮域信息之后，所述方法還包括：

對所述壓縮域信息進行預處理，得到預處理后的壓縮域信息。

4.根據權利要求1所述的人體行為識別方法，其特征在于，所述將各所述I幀及各目標殘差所對應的深層特征進行融合處理，得到各所述I幀對應的局部時空特征，包括：

針對每一個所述I幀及對應的目標殘差，將所述I幀輸入至第一網絡模型，得到所述I幀對應的第一淺層特征；將所述目標殘差輸入至第二網絡模型，得到所述目標殘差對應的第二淺層特征，其中，所述第一網絡模型和所述第二網絡模型包括單個卷積層，單個卷積層包括二維卷積層、池化層及批歸一化層；

將所述第一淺層特征和所述第二淺層特征進行融合處理，得到所述I幀及所述目標殘差對應的融合特征；

將所述融合特征輸入至第三網絡模型，得到所述I幀對應的第一深層特征；將所述第二淺層特征輸入至第四網絡模型，得到所述目標殘差對應的第二深層特征，其中，所述第三網絡模型和所述第四網絡模型包括多個卷積層，每個卷積層包括二維卷積層、池化層及批歸一化層；

將所述第一深層特征及所述第二深層特征進行融合處理，得到所述I幀對應的所述局部時空特征。

5.根據權利要求1所述的人體行為識別方法，其特征在于，所述將相鄰兩個所述局部時空特征進行融合處理，得到所述壓縮視頻數據對應的全局時空特征，包括：

對各所述I幀對應的局部時空特征進行特征增強處理，得到各所述I幀對應的目標局部時空增強特征；

將相鄰兩個所述目標局部時空增強特征進行融合處理，得到所述壓縮視頻數據對應的全局時空特征。

6.根據權利要求5所述的人體行為識別方法，其特征在于，所述對各所述I幀對應的局部時空特征進行特征增強處理，得到各所述I幀對應的目標局部時空增強特征，包括：

針對每一個所述I幀對應的局部時空特征，將所述局部時空特征輸入至第五網絡模型，得到所述局部時空特征對應的局部時空增強特征，其中，所述第五網絡模型包括單個卷積層，單個卷積層包括二維卷積層和批歸一化層；

將相鄰兩個所述局部時空增強特征進行作差處理，得到相鄰兩個I幀的局部時空增強特征差；

基于所述局部時空增強特征差，確定所述局部時空增強特征對應的注意力權重；

將所述注意力權重及所述局部時空增強特征進行融合處理，得到所述I幀對應的目標局部時空增強特征。

7.根據權利要求5所述的人體行為識別方法，其特征在于，所述將相鄰兩個所述目標局部時空增強特征進行融合處理，得到所述壓縮視頻數據對應的全局時空特征，包括：

將相鄰兩個所述目標局部時空增強特征對應的通道特征進行替換，得到所述壓縮視頻數據對應的全局時空特征。