[發明專利]對象動作識別方法、對象動作識別裝置和電子設備

在審

• 申請號: 202010216868.0
• 申請日: 2020-03-25
• 公開（公告）號: CN113449551A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 朱亞旋
• 申請（專利權）人: 南京人工智能高等研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京唐頌永信知識產權代理有限公司 11755
• 代理人: 匡霖

1.一種對象動作識別方法，包括：

獲取對象的多個關鍵點中的每個關鍵點的一段連續時間上的系列坐標；

對每個關鍵點的系列坐標進行一維卷積以獲得所述對象的點級特征；

基于所述點級特征進行分組和一維卷積以獲得局部特征；

基于所述點級特征使用全局網絡以獲得全局特征；以及

基于所述局部特征和所述全局特征識別所述對象的動作。

2.如權利要求1所述的對象動作識別方法，其中，基于所述點級特征進行分組和一維卷積以獲得局部特征包括：

對所述點級特征按照語義上的連接關系進行分組并進行按通道拼接和一維卷積以獲得多個第一子局部特征；以及

基于所述多個第一子局部特征獲得所述局部特征。

3.如權利要求2所述的對象動作識別方法，其中，基于所述點級特征使用全局網絡以獲得全局特征包括：

將所述多個第一子局部特征進行維度拼接并使用所述全局網絡從所述拼接后的第一子局部特征獲得所述第一子全局特征；以及

基于所述第一子全局特征獲得所述全局特征。

4.如權利要求3所述的對象動作識別方法，其中，基于所述多個第一子局部特征獲得所述局部特征包括：

對所述多個第一子局部特征按照所述對象的局部結構上的相鄰關系進行分組并進行按通道拼接和一維卷積以獲得第二子局部特征；以及

基于所述第二子局部特征獲得所述局部特征。

5.如權利要求4所述的對象動作識別方法，其中，基于所述第一子全局特征獲得所述全局特征包括：

將所述第二子局部特征進行維度拼接并使用所述全局網絡從所述拼接后的第二子局部特征獲得第二子全局特征；以及

結合所述第一子全局特征和所述第二子全局特征以獲得所述全局特征。

6.如權利要求5所述的對象動作識別方法，其中，基于所述第二子局部特征獲得所述局部特征包括：

將所述第二子局部特征按照所述對象的左半部分、右半部分、上半部分和下半部分進行分組并進行按通道拼接和一維卷積以獲得4個第三子局部特征；以及

基于所述4個第三子局部特征獲得所述局部特征。

7.如權利要求6所述的對象動作識別方法，其中，基于所述4個第三子局部特征獲得所述局部特征包括：

將所述4個第三子局部特征按照所述對象的上下半部分和左右半部分進行分組并進行按通道拼接和一維卷積以獲得2個第四子局部特征；以及

基于所述2個第四子局部特征獲得所述局部特征。

8.如權利要求6所述的對象動作識別方法，其中，基于所述2個第四子局部特征獲得所述局部特征包括：

將所述2個第四子局部特征按通道拼接以獲得拼接局部特征；以及

對所述拼接局部特征進行一維卷積以獲得所述局部特征。

9.如權利要求3所述的對象動作識別方法，其中，將所述多個第一子局部特征進行維度拼接并使用所述全局網絡從所述拼接后的第一子局部特征獲得所述第一子全局特征包括：

將所述多個第一子局部特征進行維度拼接以獲得第一拼接的子局部特征；

對所述第一拼接的子局部特征進行第一二維卷積以獲得第一二維卷積特征；

對所述第一二維卷積特征進行維度轉換以獲得第一維度轉換特征；

對所述第一維度轉換特征進行第二二維卷積以獲得第二二維卷積特征；

對所述第二二維卷積特征進行池化以獲得第一池化特征；

對所述第一池化特征進行第三二維卷積以獲得第三二維卷積特征；

對所述第三二維卷積特征進行池化以獲得第二池化特征；

對所述第二池化特征進行第四二維卷積以獲得第四二維卷積特征；以及

將所述第四二維卷積特征輸入全連接層以獲得所述第一子全局特征。