[發(fā)明專利]動作識別方法、裝置、電子設備和存儲介質

有效

• 申請?zhí)枺?/td>: 202110871172.6
• 申請日: 2021-07-30
• 公開（公告）號: CN113657209B
• 公開（公告）日: 2023-09-12
• 發(fā)明（設計）人: 周德森;王健;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/52;G06V20/40
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張夢瑤

1.一種動作識別方法，包括：

獲取關鍵點序列，并提取所述關鍵點序列的第一時空特征，所述關鍵點序列包括多個關鍵點的時間維度和空間維度上的信息，所述第一時空特征指的是所述關鍵點序列的時間維度和空間維度結合得到的特征；

對所述第一時空特征進行不同時間粒度的特征提取，得到每個時間粒度對應的第二時空特征；

基于每個所述時間粒度對應的第二時空特征，獲取所述關鍵點序列的目標識別動作；

所述基于每個所述時間粒度對應的第二時空特征，獲取所述關鍵點序列的目標識別動作，包括：

基于任一時間粒度的所述第二時空特征，獲取所述關鍵點序列的候選識別動作，并從多個候選識別動作中選取所述目標識別動作。

2.根據(jù)權利要求1所述的方法，其中，所述對所述第一時空特征進行不同時間粒度的特征提取，得到每個時間粒度對應的第二時空特征，包括：

針對每個所述時間粒度，對所述第一時空特征基于所述時間粒度對應的采樣率進行降采樣，得到所述時間粒度下的降采樣時空特征；

基于所述時間粒度下的降采樣時空特征，得到所述時間粒度對應的所述第二時空特征。

3.根據(jù)權利要求2所述的方法，其中，所述基于所述時間粒度下的降采樣時空特征，得到所述時間粒度對應的所述第二時空特征，包括：

基于任一所述降采樣時空特征對應的所述采樣率，獲取所述任一所述降采樣時空特征的特征提取結構；

基于所述任一所述降采樣時空特征的特征提取結構，對所述任一所述降采樣時空特征進行特征提取，獲取所述第二時空特征。

4.根據(jù)權利要求3所述的方法，其中，所述特征提取結構包括統(tǒng)一時空圖卷積G3D層，所述G3D層的數(shù)量與所述采樣率正相關。

5.根據(jù)權利要求1-4任一項所述的方法，其中，所述基于每個所述時間粒度對應的第二時空特征，獲取所述關鍵點序列的目標識別動作，包括：

獲取任一時間粒度對應的所述第二時空特征在每個動作識別類別下的候選識別分數(shù)；

針對任一動作識別類別，將每個所述時間粒度對應的所述第二時空特征的所述候選識別分數(shù)進行加權平均，獲取所述關鍵點序列在所述任一動作識別類別下的目標識別分數(shù)；

從所述目標識別分數(shù)中獲取最大目標識別分數(shù)，并將所述最大目標識別分數(shù)對應的所述動作識別類別確定為所述目標識別動作。

6.根據(jù)權利要求2-4任一項所述的方法，其中，所述基于每個所述時間粒度對應的第二時空特征，獲取所述關鍵點序列的目標識別動作之前，包括：

根據(jù)每個所述時間粒度對應的所述采樣率，對多個所述第二時空特征進行特征融合。

7.根據(jù)權利要求6所述的方法，其中，所述根據(jù)每個所述時間粒度對應的所述采樣率，對多個所述第二時空特征進行特征融合，包括：

將多個所述第二時空特征按照稀疏度從高到低進行排序，其中，所述稀疏度與所述采樣率正相關；

從排序第一的所述第二時空特征開始，將當前遍歷到的所述第二時空特征與相鄰的下一個所述第二時空特征進行特征融合，生成融合時空特征，并利用所述融合時空特征更新所述下一個所述第二時空特征，直至排序最后的所述第二時空特征更新結束。

8.一種動作識別裝置，包括：

第一提取模塊，用于獲取關鍵點序列，并提取所述關鍵點序列的第一時空特征，所述關鍵點序列包括多個關鍵點的時間維度和空間維度上的信息，所述第一時空特征指的是所述關鍵點序列的時間維度和空間維度結合得到的特征；

第二提取模塊，用于對所述第一時空特征進行不同時間粒度的特征提取，得到每個時間粒度對應的第二時空特征；

獲取模塊，用于基于每個所述時間粒度對應的第二時空特征，獲取所述關鍵點序列的目標識別動作；

所述獲取模塊，具體用于：基于任一時間粒度的所述第二時空特征，獲取所述關鍵點序列的候選識別動作，并從多個候選識別動作中選取所述目標識別動作。