[發明專利]動作識別方法、裝置、設備及存儲介質

在審

• 申請號: 202010850142.2
• 申請日: 2020-08-21
• 公開（公告）號: CN111931679A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 李巖;康斌
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王兆林

1.一種動作識別方法，其特征在于，所述方法包括：

獲取待識別的視頻序列；

將所述視頻序列劃分為T個視頻段，所述T為大于1的整數；

通過特征提取網絡對所述T個視頻段進行特征提取處理，得到所述T個視頻段各自對應的圖像特征；

根據所述T個視頻段各自對應的圖像特征之間的差異度，對所述T個視頻段各自對應的圖像特征進行特征融合處理，得到目標視頻特征；

根據所述目標視頻特征，確定所述視頻序列中運動目標的動作類別。

2.根據權利要求1所述的方法，其特征在于，在所述通過特征提取網絡對所述T個視頻段進行特征提取處理，得到所述T個視頻段各自對應的圖像特征之后，所述方法還包括：

按照所述T個視頻段的時間順序，排列所述T個視頻段各自對應的圖像特征，得到所述T個視頻段對應的圖像特征；所述T個視頻段對應的圖像特征包括C個特征通道，所述C為大于1的整數；

在所述C個特征通道的方向上，將所述T個視頻段對應的圖像特征劃分為X個子圖像特征，所述X為大于1的整數；所述子圖像特征包括M個特征通道，所述M為小于C的正整數；

則所述根據所述T個視頻段各自對應的圖像特征之間的差異度，對所述T個視頻段各自對應的圖像特征進行信息融合處理，得到目標視頻特征，包括：

針對所述X個子圖像特征中的每個子圖像特征，根據所述子圖像特征中所述T個視頻段各自對應的圖像特征之間的差異度，對所述子圖像特征中所述T個視頻段各自對應的圖像特征進行特征偏移處理，得到所述子圖像特征對應的目標子圖像特征；

拼接所述X個子圖像特征各自對應的目標子圖像特征得到所述目標視頻特征。

3.根據權利要求2所述的方法，其特征在于，所述根據所述子圖像特征中所述T個視頻段各自對應的圖像特征之間的差異度，對所述子圖像特征中所述T個視頻段各自對應的圖像特征進行特征偏移處理，得到所述子圖像特征對應的目標子圖像特征，包括：

根據所述子圖像特征中第t+1個視頻段對應的圖像特征與第t個視頻段對應的圖像特征之間的差值，確定所述子圖像特征對應的段間差特征；所述t為大于等于1、且小于所述T的整數；

基于所述段間差特征，對所述子圖像特征中所述T個視頻段各自對應的圖像特征進行特征偏移處理，得到所述目標子圖像特征。

4.根據權利要求3所述的方法，其特征在于，所述基于所述段間差特征，對所述子圖像特征中所述T個視頻段各自對應的圖像特征進行特征偏移處理，得到所述目標子圖像特征，包括：

根據所述子圖像特征對應的所述段間差特征，確定所述子圖像特征對應的通道偏移系數；

根據為所述子圖像分配的特征偏移方向、所述通道偏移系數以及所述子圖像特征，在所述M個特征通道上對所述子圖像特征中所述T個視頻段各自對應的圖像特征進行偏移處理，得到所述目標子圖像特征。

5.根據權利要求4所述的方法，其特征在于，所述根據所述子圖像特征對應的所述段間差特征，確定所述子圖像特征對應的通道偏移系數，包括：

通過目標函數根據所述子圖像特征對應的所述段間差特征，確定所述子圖像特征對應的通道偏移系數；所述通道偏移系數與所述段間差特征成正比，所述通道偏移系數大于等于0、且小于等于1。

6.根據權利要求4或5所述的方法，其特征在于，所述根據為所述子圖像分配的特征偏移方向、所述通道偏移系數以及所述子圖像特征，在所述M個特征通道上對所述子圖像特征中所述T個視頻段各自對應的圖像特征進行偏移處理，得到所述目標子圖像特征，包括：

基于所述通道偏移系數調整所述子圖像特征，得到參考子圖像特征；

沿著為所述子圖像特征分配的特征偏移方向，在所述M個特征通道上對所述參考子圖像特征中所述T個視頻段各自對應的圖像特征進行特征偏移處理，得到特征偏移處理后的參考子圖像特征；

根據所述特征偏移處理后的參考子圖像特征、所述參考子圖像特征和所述子圖像特征，確定所述目標子圖像特征。