[發明專利]動作識別方法、裝置、設備及存儲介質

在審

• 申請號: 202010850142.2
• 申請日: 2020-08-21
• 公開（公告）號: CN111931679A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 李巖;康斌
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王兆林

本申請實施例公開了一種動作識別方法、裝置、設備及存儲介質，該方法包括：將待識別的視頻序列劃分為T個視頻段；通過特征提取網絡提取T個視頻段各自對應的圖像特征；根據T個視頻段各自對應的圖像特征間的差異度，對T個視頻段各自對應的圖像特征進行特征融合處理，得到目標視頻特征；根據目標視頻特征確定視頻序列中運動目標的動作類別。該方法能夠保證準確識別視頻序列中運動目標的動作類別。

技術領域

本申請涉及人工智能(Artificial Intelligence，AI)技術領域，尤其涉及一種動作識別方法、裝置、設備及存儲介質。

背景技術

基于視頻的動作識別任務，是指識別一段視頻序列中運動目標進行的動作所屬的類別。與普通的圖片分類任務僅需考慮單張圖片不同，基于視頻的動作識別任務需要更多地考量時間維度的信息，才能準確地識別視頻序列中運動目標的動作類別，例如，對于不同泳姿的區分，往往需要綜合考慮時間序列內多張圖片的信息才能做出準確地判斷。

相關技術目前主要基于通道偏移算法(Temporal Shift Moduel，TSM)實現基于視頻的動作識別任務，該TSM算法在特征提取網絡中加入了時間維度的特征融合策略，可以針對相鄰視頻段間的圖像特征進行特征融合處理，從而在時間維度上實現特征信息的交換與特征信息的融合。

然而，經本申請發明人研究發現，上述實現方式往往難以保證交換融合的特征信息中包含參考價值較高的時間信息，這對于最終動作識別結果的準確性也會產生影響。

發明內容

本申請實施例提供了一種動作識別方法、裝置、設備及存儲介質，能夠保證準確識別視頻序列中運動目標的動作類別。

有鑒于此，本申請第一方面提供了一種動作識別方法，所述方法包括：

獲取待識別的視頻序列；

將所述視頻序列劃分為T個視頻段，所述T為大于1的整數；

通過特征提取網絡對所述T個視頻段進行特征提取處理，得到所述T個視頻段各自對應的圖像特征；

根據所述T個視頻段各自對應的圖像特征之間的差異度，對所述T個視頻段各自對應的圖像特征進行特征融合處理，得到目標視頻特征；

根據所述目標視頻特征，確定所述視頻序列中運動目標的動作類別。

本申請第二方面提供了一種動作識別裝置，所述裝置包括：

視頻獲取模塊，用于獲取待識別的視頻序列；

視頻劃分模塊，用于將所述視頻序列劃分為T個視頻段，所述T為大于1的整數；

特征提取模塊，用于通過特征提取網絡對所述T個視頻段進行特征提取處理，得到所述T個視頻段各自對應的圖像特征；

特征融合模塊，用于根據所述T個視頻段各自對應的圖像特征之間的差異度，對所述T個視頻段各自對應的圖像特征進行特征融合處理，得到目標視頻特征；

動作識別模塊，用于根據所述目標視頻特征，確定所述視頻序列中運動目標的動作類別。

本申請第三方面提供了一種設備，所述設備包括處理器以及存儲器：

所述存儲器用于存儲計算機程序；

所述處理器用于根據所述計算機程序，執行如上述第一方面所述的動作識別方法的步驟。

本申請第四方面提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質用于存儲計算機程序，所述計算機程序用于執行上述第一方面所述的動作識別方法的步驟。