[發明專利]視頻動作識別方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010817688.8
• 申請日: 2020-08-14
• 公開（公告）號: CN112115788A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 曹中強
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

1.一種視頻動作識別方法，其特征在于，包括：

從目標視頻幀序列中確定第一數據，所述第一數據是基于所述目標視頻幀序列中的多個連續視頻幀得到的；

將所述第一數據輸入預先訓練的第一識別模型，得到所述目標視頻幀序列的第一識別結果；其中，所述第一識別模型用于識別動作特征；

從所述目標視頻幀序列中確定第二數據，所述第二數據是基于所述多個連續視頻幀中的單個視頻幀得到的；

將所述第二數據輸入預先訓練的第二識別模型，得到所述目標視頻幀序列的第二識別結果；其中，所述第二識別模型用于識別外觀特征；

根據所述第一識別結果以及所述第二識別結果，確定所述目標視頻幀序列中所包含動作的類別。

2.根據權利要求1所述的視頻動作識別方法，其特征在于，所述從目標視頻幀序列中確定第一數據，包括：

從所述目標視頻幀序列中選取多個連續的RGB幀；

為所述多個連續的RGB幀中的相鄰RGB幀求差值，得到由多個相鄰殘差幀組成的堆疊殘差幀；

根據所述堆疊殘差幀，獲取所述第一數據。

3.根據權利要求2所述的視頻動作識別方法，其特征在于，所述根據所述堆疊殘差幀，獲取所述第一數據，包括：

將所述堆疊殘差幀作為所述第一數據；和/或，

對所述堆疊殘差幀進行隨機裁剪和隨機水平翻轉處理，并將處理結果作為所述第一數據。

4.根據權利要求1所述的視頻動作識別方法，其特征在于，

所述第一識別模型是基于3D卷積神經網絡訓練得到的；和/或，

所述第二識別模型是基于2D卷積神經網絡模型訓練得到的。

5.根據權利要求4所述的視頻動作識別方法，其特征在于，所述3D卷積神經網絡包括殘差模塊，所述殘差模塊包括最大池化層與卷積層。

6.根據權利要求1所述的視頻動作識別方法，其特征在于，所述根據所述第一識別結果以及所述第二識別結果，確定所述目標視頻幀序列中所包含動作的類別，包括：

采用平均值融合方法將所述第一識別結果與第二識別結果進行融合，確定所述目標視頻幀序列中所包含動作的類別。

7.根據權利要求1-6任一項所述的視頻動作識別方法，其特征在于，方法還包括：

從樣本視頻幀序列中確定第三數據；

對所述樣本視頻幀序列所包含的動作進行標記，得到所述樣本視頻幀序列的動作類別信息；

將所述樣本視頻幀序列中的第三數據作為訓練使用的輸入數據，將所述樣本視頻幀序列的動作類別信息作為標簽，采用3D卷積神經網絡進行訓練，得到用于識別目標視頻幀序列所包含動作的動作類別的第一識別模型；

以及，

從樣本視頻幀序列中確定第四數據；

將所述樣本視頻幀序列中的第四數據作為訓練使用的輸入數據，將所述樣本視頻幀序列的動作類別信息作為標簽，采用2D卷積神經網絡進行訓練，得到用于識別目標視頻幀序列所包含動作的動作類別的第二識別模型。

8.一種視頻動作識別裝置，其特征在于，包括：

第一數據確定模塊，用于從目標視頻幀序列中確定第一數據，所述第一數據是基于所述目標視頻幀序列中的多個連續視頻幀得到的；

第一識別結果生成模塊，用于將所述第一數據輸入預先訓練的第一識別模型，得到所述目標視頻幀序列的第一識別結果；其中，所述第一識別模型用于識別動作特征；

第二數據確定模塊，用于從所述目標視頻幀序列中確定第二數據，所述第二數據是基于所述多個連續視頻幀中的單個視頻幀得到的；

第二識別結果生成模塊，用于將所述第二數據輸入預先訓練的第二識別模型，得到所述目標視頻幀序列的第二識別結果；其中，所述第二識別模型用于識別外觀特征；

識別結果確定模塊，用于根據所述第一識別結果以及所述第二識別結果，確定所述目標視頻幀序列中所包含動作的類別。