[發明專利]動作識別方法、裝置、設備及存儲介質

有效

• 申請號: 202010431706.9
• 申請日: 2020-05-20
• 公開（公告）號: CN111598026B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 李斌泉
• 申請（專利權）人: 廣州市百果園信息技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06N3/0464;H04N19/172;H04N19/52;G06V40/20;G06V10/82
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種動作識別方法，其特征在于，包括：

對原始壓縮視頻數據進行分組處理，得到分組視頻數據；

將所述分組視頻數據輸入至第一預設模型中，并根據所述第一預設模型的輸出結果確定包含動作的目標分組視頻數據，其中，所述第一預設模型的訓練樣本中標記的標簽包括包含動作標簽以及非包含動作標簽；

對所述目標分組視頻數據進行解碼，得到待識別分組視頻數據；

將所述待識別分組視頻數據輸入至第二預設模型中，并根據所述第二預設模型的輸出結果確定所述待識別分組視頻數據中包含的動作類型，其中，所述第二預設模型的訓練樣本中標記多分類標簽。

2.根據權利要求1所述的方法，其特征在于，所述對原始壓縮視頻數據進行分組處理，得到分組視頻數據，包括：

基于預設分組規則對原始壓縮視頻數據進行區間劃分，得到區間壓縮視頻；

基于預設提取策略提取所述區間壓縮視頻中的關鍵幀I幀數據和前向預測編碼幀P幀數據，得到分組視頻數據，其中，所述P幀數據包含P幀對應的運動矢量信息和/或色素變化殘差信息。

3.根據權利要求2所述的方法，其特征在于，所述第一預設模型中包含第一2D殘差網絡、第一拼接層和第一全連接層；

所述分組視頻數據被輸入至所述第一預設模型中后，經由所述第一2D殘差網絡得到對應的維度相同的特征圖；

所述特征圖經由所述第一拼接層得到按照幀的先后順序進行拼接操作后的拼接特征圖；

所述拼接特征圖經由所述第一全連接層得到是否包含動作的分類結果。

4.根據權利要求3所述的方法，其特征在于，基于預設提取策略提取所述區間壓縮視頻中的I幀數據和P幀數據，得到分組視頻數據，包括：

基于預設提取策略提取所述區間壓縮視頻中的I幀數據和P幀數據；

對所述P幀數據進行累加變換，以使得變換后的P幀數據依賴于前向相鄰的I幀；

根據所述I幀數據和變換后的P幀數據確定分組視頻數據；

相應的，所述第一預設模型中還包括位于所述拼接層之前的相加層，所述特征圖中對應P幀數據的特征圖記為P幀特征圖，所述特征圖中對應I幀數據的特征圖記為I幀特征圖；

所述P幀特征圖和所述I幀特征圖經由所述相加層得到在所述I幀特征圖基礎上經過相加操作后的P幀特征圖；

所述I幀特征圖和所述經過相加操作后的P幀特征圖經由所述第一拼接層得到按照幀的先后順序進行拼接操作后的拼接特征圖。

5.根據權利要求3所述的方法，其特征在于，在所述第一2D殘差網絡的殘差結構前包括特征變換層；

所述分組視頻數據在進入所述殘差結構前，經由所述特征變換層得到經過向上特征變換和/或向下特征變換的分組視頻數據。

6.根據權利要求2所述的方法，其特征在于，基于預設提取策略提取所述區間壓縮視頻中的P幀數據，包括：

采用等間隔方式提取所述區間壓縮視頻中的預設數量的P幀數據；

其中，在所述第一預設模型的訓練階段，采用隨機間隔方式提取區間壓縮視頻中的預設數量的P幀數據。

7.根據權利要求1所述的方法，其特征在于，所述對所述目標分組視頻數據進行解碼，得到待識別分組視頻數據，包括：

對所述目標分組視頻數據進行解碼，得到待識別分段視頻圖像；

獲取所述待識別分段視頻圖像中的頻域信息，根據所述頻域信息生成對應的頻域圖；

將所述待識別分段視頻圖像和對應的頻域圖作為待識別分組視頻數據。

8.根據權利要求7所述的方法，其特征在于，所述第二預設模型包括基于用于在線視頻理解的高效卷積網絡ECO架構的模型。