[發明專利]人體行為識別方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202211289157.1
• 申請日: 2022-10-20
• 公開（公告）號: CN115909479A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 羅冠;關俊洋;劉雨帆;李兵;胡衛明
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/80;G06V10/82;G06V20/40
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 周淑娟

本發明提供一種人體行為識別方法、裝置、電子設備及可讀存儲介質，其中人體行為識別方法包括：從壓縮視頻數據中提取壓縮域信息，壓縮域信息中包括多個I幀、殘差以及運動矢量；將各I幀及各目標殘差所對應的深層特征進行融合處理，得到各I幀對應的局部時空特征；將相鄰兩個局部時空特征進行融合處理，得到壓縮視頻數據對應的全局時空特征；基于全局時空特征、運動矢量及殘差，確定壓縮視頻數據對應的目標特征，并基于目標特征確定壓縮視頻數據對應的人體行為識別結果。通過將各I幀及各目標殘差進行融合，能得到表達能力更強的局部時空特征以及全局時空特征，基于全局時空特征、運動矢量及殘差進行人體行為識別，能夠提高人體行為識別的準確率。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種人體行為識別方法、裝置、電子設備及可讀存儲介質。

背景技術

隨著計算機視覺技術的發展，視頻人體行為識別技術已經在各領域得到了廣泛的應用。視頻人體行為識別技術作為智能視頻分析中的重要一環，是指對一段視頻中人體目標所做的動作進行分類，進而識別出人體行為類型的技術。視頻人體行為識別技術作為目前視頻分析與理解中的熱門研究課題,在人機交互、自動駕駛、智能監控、安防以及運動分析等方面具有廣闊的應用前景。

視頻人體行為識別算法的核心在于提取視頻中人體的動態特征。在實際應用中，為了便于視頻的傳輸和存儲，互聯網上的視頻大都經過了壓縮編碼處理，因此需要對壓縮視頻進行解碼進而提取人體的動態特征。

然而，在相關技術中，從壓縮視頻中提取到的人體動態特征不能夠充分的反映視頻中的動態信息，從而導致對視頻人體行為進行識別的準確率較低。

發明內容

針對現有技術存在的問題，本發明提供一種人體行為識別方法、裝置、電子設備及可讀存儲介質。

本發明提供一種人體行為識別方法，包括：

從壓縮視頻數據中提取壓縮域信息，其中，所述壓縮域信息中包括多個I幀、殘差以及運動矢量，所述I幀與所述殘差之間具有對應關系；

將各所述I幀及各目標殘差所對應的深層特征進行融合處理，得到各所述I幀對應的局部時空特征，其中，所述目標殘差為所述I幀對應的殘差；將相鄰兩個所述局部時空特征進行融合處理，得到所述壓縮視頻數據對應的全局時空特征；

基于所述全局時空特征、所述運動矢量及所述殘差，確定所述壓縮視頻數據對應的目標特征，并基于所述目標特征確定所述壓縮視頻數據對應的人體行為識別結果。

可選地，所述從壓縮視頻數據中提取壓縮域信息，包括：

將所述壓縮視頻數據進行熵解碼，得到所述壓縮域中的運動矢量以及所述壓縮域中每個宏塊對應的離散余弦變換系數；

將所述離散余弦變換系數進行反離散余弦變換，得到所述壓縮域中每個視頻幀對應的殘差；

識別各目標宏塊，并將各所述目標宏塊進行環路濾波處理，得到所述I幀，其中，所述目標宏塊為所述I幀對應的宏塊。

可選地，在所述從壓縮視頻數據中提取壓縮域信息之后，所述方法還包括：

對所述壓縮域信息進行預處理，得到預處理后的壓縮域信息。

可選地，所述將各所述I幀及各目標殘差所對應的深層特征進行融合處理，得到各所述I幀對應的局部時空特征，包括：

針對每一個所述I幀及對應的目標殘差，將所述I幀輸入至第一網絡模型，得到所述I幀對應的第一淺層特征；將所述目標殘差輸入至第二網絡模型，得到所述目標殘差對應的第二淺層特征，其中，所述第一網絡模型和所述第二網絡模型包括單個卷積層，單個卷積層包括二維卷積層、池化層及批歸一化層；

將所述第一淺層特征和所述第二淺層特征進行融合處理，得到所述I幀及所述目標殘差對應的融合特征；