[發明專利]一種動作識別方法、裝置、計算設備及存儲介質

在審

• 申請號: 202011018719.X
• 申請日: 2020-09-24
• 公開（公告）號: CN112257511A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 朱州
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 冀婷

本申請公開了一種動作識別方法、裝置、計算設備及存儲介質。所述方法包括：采用CPM網絡提取單幀圖像中與手臂相關的若干個關鍵點的熱圖；采用PAF連接每幀圖像的所述若干個關鍵點；將多幀圖像的關鍵點位置組合為一個時間序列的張量；采用多層TCN分類器對所述張量進行分類，實現動作識別。所述裝置包括：提取模塊、連接模塊、組合模塊和分類模塊。所述計算設備包括存儲器、處理器和存儲在所述存儲器內并能由所述處理器運行的計算機程序，所述處理器執行所述計算機程序時實現本申請所述的方法。所述存儲介質內存儲有計算機程序，所述計算機程序在由處理器執行時實現本申請所述的方法。

技術領域

本申請涉及圖像視頻的動作識別技術，特別是涉及一種動作識別方法、裝置、計算設備及存儲介質。

背景技術

面對添加了時序信息的圖像信息進行動作識別，目前有兩種主流方法：

第一種是基于時序分析的技術，即利用LSTM這類時序模型對時間維度建模，在這種方法下，對時長的把握由LSTM中的記憶模塊來控制，這樣的方法是黑盒的，通常很難指導模型針對性的去學習；

第二種是基于3D卷積的技術，這類技術在常用的2D卷積基礎上增加了一個時間維度，所以時長的感受野體現在核函數的大小上，這樣的方法幾乎是等步長的遍歷了所有時長可能性，這樣就考慮了很多相近的情況，雖然很全面但很消耗計算資源，并且3D卷積由于增加了一個維度，在運行過程中計算量和存儲要求也會相應變大，這樣會降低處理速度，難以達到實時需求。

發明內容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據本申請的一個方面，提供了一種動作識別方法，包括：

采用CPM網絡提取單幀圖像中與手臂相關的若干個關鍵點的熱圖；

采用PAF連接每幀圖像的所述若干個關鍵點；

將多幀圖像的關鍵點位置組合為一個時間序列的張量；

采用多層TCN分類器對所述張量進行分類，實現動作識別，所述多層TCN分類器是在TCN分類器的基礎上進行多層疊加，每一層TCN對應不同的感受野大小。

可選地，所述的與手臂相關的若干個關鍵點的數量為6。

可選地，所述的采用多層TCN分類器對所述張量進行分類，實現動作識別包括：

將每組連續幀劃分為多個小組，小組數量與所述多層TCN分類器的層數相等，每一小組對應多層TCN分類器的一層；

用所述多層TCN分類器的每一層TCN分類器分別提取對應小組的信息，所述信息包括時序動作特征；

將每一層TCN分類器獲取的結果進行加權，得到分類結果。

可選地，所述方法還包括：

當連續若干張圖像被分為同一類時，動作識別結果有效。

可選地，所述的連續若干張圖像為連續的24張圖像。

根據本申請的另一個方面，還提供了一種動作識別裝置，包括：

提取模塊，其配置成采用CPM網絡提取單幀圖像中與手臂相關的若干個關鍵點的熱圖；

連接模塊，其配置成采用PAF連接每幀圖像的所述若干個關鍵點；

組合模塊，其配置成將多幀圖像的關鍵點位置組合為一個時間序列的張量；和

分類模塊，其配置成采用多層TCN分類器對所述張量進行分類，實現動作識別，所述多層TCN分類器是在TCN分類器的基礎上進行多層疊加，每一層TCN對應不同的感受野大小。

可選地，所述的分類模塊包括：