[發明專利]視頻動作識別方法及裝置、電子設備和存儲介質

在審

• 申請號: 201810387535.7
• 申請日: 2018-04-26
• 公開（公告）號: CN108681695A
• 公開（公告）日: 2018-10-19
• 發明（設計）人: 趙岳;熊元駿;林達華;湯曉鷗
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種視頻動作識別方法，其特征在于，

基于待檢測視頻中的連續圖像幀，得到待檢測區域；

對所述待檢測區域進行特征提取，得到視覺底層特征；

將所述視覺底層特征拆分為至少一個動作分支特征，并依據各個動作分支特征對應的動作分支識別網絡分別對所述各個動作分支特征進行分類預測；

對所述各個動作分支特征的分類預測結果進行融合處理，得到所述待檢測視頻的動作識別結果。

2.根據權利要求1所述的方法，其特征在于，所述動作分支特征包括靜態外貌特征、表觀動作特征、外貌變化特征中的任一項或多項組合。

3.根據權利要求2所述的方法，其特征在于，

所述方法還包括：訓練所述靜態外貌特征對應的動作分支識別網絡；

所述訓練所述靜態外貌特征對應的動作分支識別網絡包括：

基于視頻樣本的樣本視覺底層特征，通過重復二維卷積、二維池化及時域池化的操作，從樣本視覺底層特征中提取出外貌靜態特征；

根據所述外貌靜態特征對卷積神經網絡進行分類訓練，得到所述靜態外貌特征對應的動作分支識別網絡。

4.根據權利要求2所述的方法，其特征在于，

所述方法還包括：訓練所述表觀動作特征對應的動作分支識別網絡；

所述訓練所述表觀動作特征對應的動作分支識別網絡包括：

基于視頻樣本的樣本視覺底層特征，通過基于逐像素相關構造代價體，并從代價體中推導出每個像素的運動場，從而得到所述表觀動作特征；

根據所述表觀動作特征對卷積神經網絡進行分類訓練，得到所述表觀動作特征對應的動作分支識別網絡。

5.根據權利要求4所述的方法，其特征在于，所述從代價體中推導出每個像素的運動場包括：

針對所述代價體，根據匹配相似度，確定出每個像素的運動場；和/或，

根據代價體每個像素的強度計算出加權系數，并根據所述加權系數計算出每個像素的期望位移，從而確定出每個像素的運動場。

6.根據權利要求2所述的方法，其特征在于，

所述方法還包括：訓練所述外貌變化特征對應的動作分支識別網絡；

所述訓練所述外貌變化特征對應的動作分支識別網絡包括：

基于視頻樣本的樣本視覺底層特征，通過運動場補償差值的方式，得到所述外貌變化特征；

根據所述外貌變化特征對卷積神經網絡進行分類訓練，得到所述外貌變化特征對應的動作分支識別網絡。

7.根據權利要求6所述的方法，其特征在于，所述基于視頻樣本的樣本視覺底層特征，通過運動場補償差值的方式，得到所述外貌變化特征，包括：

從樣本視覺底層特征中得到兩幀圖像或兩幀特征圖，并預先獲取所述樣本視覺底層特征的運動場；

利用所述運動場將第一幀圖像或第一幀特征圖進行變形處理，得到變形后第一幀圖像或變形后第一幀特征圖；

計算變形后第一幀圖像與第二幀圖像之間的差值或變形后第一幀特征圖與第二幀特征圖之間的差值；

由所述差值表示所述外貌變化特征。

8.一種視頻動作識別裝置，其特征在于，包括：

待檢測區域獲取單元，用于基于待檢測視頻中的連續圖像幀，得到待檢測區域；

特征提取單元，用于對所述待檢測區域進行特征提取，得到視覺底層特征；

動作分支特征獲取單元，用于將所述視覺底層特征拆分為至少一個動作分支特征；

分類預測單元，用于依據各個動作分支特征對應的動作分支識別網絡分別對所述各個動作分支特征進行分類預測；

融合處理單元，用于對所述各個動作分支特征的分類預測結果進行融合處理，得到所述待檢測視頻的動作識別結果。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1-7任一項所述方法。

10.一種電子設備，包括用于存儲計算機程序的存儲器和處理器，其特征在于，所述處理器執行所述計算機程序時實現權利要求1-7任一項所述方法。