[發明專利]一種動作識別模型的訓練及動作識別方法與相關裝置

在審

• 申請號: 202110056978.X
• 申請日: 2021-01-15
• 公開（公告）號: CN112749666A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 蔡祎俊;盧江虎;項偉
• 申請（專利權）人: 百果園技術（新加坡）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種動作識別方法，其特征在于，包括：

接收視頻數據，所述視頻數據中具有多幀原始圖像數據；

從所述原始圖像數據中進行采樣，獲得目標圖像數據；

根據所述目標圖像數據在全局的特征識別在所述視頻數據中出現的動作，獲得全局動作；

根據所述目標圖像數據在局部的特征識別在所述視頻數據中出現的動作，獲得局部動作；

將所述全局動作與所述局部動作融合為在所述視頻數據中出現的目標動作。

2.根據權利要求1所述的方法，其特征在于，所述根據所述目標圖像數據在全局的特征識別在所述視頻數據中出現的動作，獲得全局動作，包括：

對所述目標圖像數據提取二維下的特征，獲得全局空間特征；

對所述目標圖像數據提取三維下的特征，獲得全局時序特征；

將所述全局空間特征與所述全局時序特征拼接為全局目標特征；

將所述全局目標特征映射為預設的動作，獲得在所述視頻數據中出現的全局動作。

3.根據權利要求2所述的方法，其特征在于，所述提取全局空間特征時按照順序劃分為多個二維階段，在每個所述二維階段中依次設置有二維投影塊、多個二維殘差塊；

所述對所述目標圖像數據提取二維下的特征，獲得全局空間特征，包括：

在當前所述二維階段中，調用所述二維投影塊對所述目標圖像數據執行二維卷積操作，依次調用多個所述二維殘差塊對所述目標圖像數據執行二維卷積操作；

判斷是否已遍歷所有所述二維階段網絡；

若是，則將所述目標圖像數據輸出為全局空間特征；

若是，則將所述目標圖像數據輸出至下一個所述二維階段網絡，返回執行在當前所述二維階段中，調用所述二維投影塊對所述目標圖像數據執行二維卷積操作，依次調用多個所述二維殘差塊對所述目標圖像數據執行二維卷積操作。

4.根據權利要求3所述的方法，其特征在于，

所述二維投影塊設置有第一二維卷積層、多個第二二維卷積層；

所述調用所述二維投影塊對所述目標圖像數據執行二維卷積操作，包括：

調用所述第一二維卷積層對所述目標圖像數據執行二維卷積操作；

依次調用多個所述第二卷積層對所述目標圖像數據執行二維卷積操作；

對所述第一二維卷積層輸出的目標圖像數據與所述第二二維卷積層輸出的目標圖像數據進行合并；

所述二維殘差塊設置有多個第三二維卷積層；

所述依次調用多個所述二維殘差塊對所述目標圖像數據執行二維卷積操作，包括：

在每個所述二維殘差塊中，依次調用多個所述第三二維卷積層對所述目標圖像數據執行二維卷積操作。

5.根據權利要求2所述的方法，其特征在于，所述提取全局時序特征時按照順序劃分為多個三維階段，第一個所述三階段中設置一個或多個三維殘差塊，其他所述三維階段中依次設置有三維投影塊、一個或多個三維殘差塊；

所述對所述目標圖像數據提取三維下的特征，獲得全局時序特征，包括：

在當前所述三維階段中，調用所述三維投影塊對所述目標圖像數據執行三維卷積操作，和/或，調用所述三維殘差塊對所述目標圖像數據執行三維卷積操作；

判斷是否已遍歷所有所述三維階段；

若是，則將所述目標圖像數據輸出為全局時序特征；

若是，則將所述目標圖像數據輸出至下一個所述三維階段網絡，返回執行在當前所述三維階段中，調用所述三維投影塊對所述目標圖像數據執行三維卷積操作，和/或，依次調用多個所述三維殘差塊對所述目標圖像數據執行三維卷積操作。