[發(fā)明專利]視頻動(dòng)作識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010302004.0
• 申請(qǐng)日: 2020-04-16
• 公開（公告）號(hào): CN111539290B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設(shè)計(jì)）人: 趙家成
• 申請(qǐng)（專利權(quán)）人: 咪咕文化科技有限公司;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V20/40;G06V10/82;G06N3/0464
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王宇楊

1.一種視頻動(dòng)作識(shí)別方法，其特征在于，包括：

從待識(shí)別的視頻得到第一幀圖像序列；

根據(jù)所述第一幀圖像序列生成第一差分圖像序列；

提取所述第一幀圖像序列中的幀圖像在時(shí)間和空間上的特征，根據(jù)幀圖像在時(shí)間和空間上的特征得到第一視頻動(dòng)作識(shí)別結(jié)果；

提取所述第一差分圖像序列中的差分圖像在時(shí)間和空間上的特征，根據(jù)差分圖像在時(shí)間和空間上的特征得到第二視頻動(dòng)作識(shí)別結(jié)果；

根據(jù)所述第一視頻動(dòng)作識(shí)別結(jié)果與所述第二視頻動(dòng)作識(shí)別結(jié)果，得到所述第一幀圖像序列的最終視頻動(dòng)作識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的視頻動(dòng)作識(shí)別方法，其特征在于，所述提取所述第一幀圖像序列中的幀圖像在時(shí)間和空間上的特征，根據(jù)幀圖像在時(shí)間和空間上的特征得到第一視頻動(dòng)作識(shí)別結(jié)果包括：

將所述第一幀圖像序列輸入第一視頻動(dòng)作識(shí)別模型，由所述第一視頻動(dòng)作識(shí)別模型提取所述第一幀圖像序列中的幀圖像在時(shí)間和空間上的特征，根據(jù)幀圖像在時(shí)間和空間上的特征得到第一視頻動(dòng)作識(shí)別結(jié)果；

以及，所述提取所述第一差分圖像序列中的差分圖像在時(shí)間和空間上的特征，根據(jù)差分圖像在時(shí)間和空間上的特征得到第二視頻動(dòng)作識(shí)別結(jié)果包括：

將所述第一差分圖像序列輸入第二視頻動(dòng)作識(shí)別模型，由所述第二視頻動(dòng)作識(shí)別模型提取所述第一差分圖像序列中的差分圖像在時(shí)間和空間上的特征，根據(jù)差分圖像在時(shí)間和空間上的特征得到第二視頻動(dòng)作識(shí)別結(jié)果；

其中，所述第一視頻動(dòng)作識(shí)別模型是基于樣本視頻中提取的樣本幀圖像序列、所述樣本幀圖像序列對(duì)應(yīng)的動(dòng)作識(shí)別結(jié)果訓(xùn)練得到的；

所述第二視頻動(dòng)作識(shí)別模型是基于樣本視頻所生成的樣本差分圖像序列、所述樣本差分圖像序列對(duì)應(yīng)的動(dòng)作識(shí)別結(jié)果訓(xùn)練得到的。

3.根據(jù)權(quán)利要求2所述的視頻動(dòng)作識(shí)別方法，其特征在于，所述第二視頻動(dòng)作識(shí)別模型是在3D卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，將注意力模塊內(nèi)置于3D卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)部所得到的模型；其中，所述注意力模塊用于增強(qiáng)3D卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)所述第一差分圖像序列中動(dòng)作發(fā)生區(qū)域的關(guān)注；

所述第一視頻動(dòng)作識(shí)別模型是在3D卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，將注意力模塊內(nèi)置于3D卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)部所得到的模型；其中，所述注意力模塊用于增強(qiáng)3D卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)所述第一幀圖像序列中動(dòng)作發(fā)生區(qū)域的關(guān)注。

4.根據(jù)權(quán)利要求2所述的視頻動(dòng)作識(shí)別方法，其特征在于，所述第二視頻動(dòng)作識(shí)別模型包括第二卷積層以及第二注意力模塊；其中，

所述第二注意力模塊用于對(duì)所述第二卷積層輸出的特征進(jìn)行平均池化與卷積操作，得到第二注意力權(quán)重，并將所述第二注意力權(quán)重賦予所述第二卷積層輸出的特征。

5.根據(jù)權(quán)利要求2所述的視頻動(dòng)作識(shí)別方法，其特征在于，所述第一視頻動(dòng)作識(shí)別模型包括第一卷積層以及第一注意力模塊；其中，

所述第一注意力模塊用于對(duì)所述第一卷積層輸出的特征進(jìn)行平均池化與卷積操作，得到第一注意力權(quán)重，并將所述第一注意力權(quán)重賦予所述第一卷積層輸出的特征。

6.根據(jù)權(quán)利要求2所述的視頻動(dòng)作識(shí)別方法，其特征在于，還包括：

從樣本視頻得到樣本幀圖像序列；

根據(jù)所述樣本幀圖像序列得到對(duì)應(yīng)的動(dòng)作識(shí)別結(jié)果；

將樣本幀圖像序列作為訓(xùn)練使用的輸入數(shù)據(jù)，將樣本幀圖像序列對(duì)應(yīng)的動(dòng)作識(shí)別結(jié)果作為標(biāo)簽，采用深度學(xué)習(xí)方式進(jìn)行訓(xùn)練，得到用于生成待識(shí)別視頻的視頻動(dòng)作識(shí)別結(jié)果的第一視頻動(dòng)作識(shí)別模型。

7.根據(jù)權(quán)利要求2所述的視頻動(dòng)作識(shí)別方法，其特征在于，還包括：

從樣本視頻得到樣本幀圖像序列；

根據(jù)所述樣本幀圖像序列得到樣本差分圖像序列；

根據(jù)所述樣本差分圖像序列得到對(duì)應(yīng)的動(dòng)作識(shí)別結(jié)果；

將樣本差分圖像序列作為訓(xùn)練使用的輸入數(shù)據(jù)，將樣本差分圖像序列對(duì)應(yīng)的動(dòng)作識(shí)別結(jié)果作為標(biāo)簽，采用深度學(xué)習(xí)方式進(jìn)行訓(xùn)練，得到用于生成待識(shí)別視頻的視頻動(dòng)作識(shí)別結(jié)果的第二視頻動(dòng)作識(shí)別模型。