[發明專利]一種動作識別模型構建方法、裝置、存儲介質及電子設備

在審

• 申請號: 202111680863.4
• 申請日: 2021-12-31
• 公開（公告）號: CN114463842A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 余燕清;張如高;虞正華
• 申請（專利權）人: 魔視智能科技（上海）有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/59;G06N3/08;G06N3/04;G06V10/46;G06V10/82
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 王娜

1.一種動作識別模型構建方法，其特征在于，包括如下步驟：

獲取圖像訓練樣本并將所述圖像訓練樣本輸入至目標神經網絡；

利用所述目標神經網絡中的檢測分支網絡對所述圖像訓練樣本中每一張圖像中包含的目標人物整個身體、待識別動作對應的目標人物關鍵部位以及待識別動作作用物體分別進行檢測得到所述目標人物整個身體的多個身體中心點、所述待識別動作對應的目標人物關鍵部位的多個關鍵部位中心點以及所述待識別動作作用物體的多個物體中心點，每一個身體中心點、關鍵部位中心點以及物體中心點都對應一個方向向量；

根據所述多個身體中心點及每一個身體中心點對應的方向向量、所述多個關鍵部位中心點及每一個關鍵部位中心點對應的方向向量、所述多個物體中心點及其每一個物體中心點對應的方向向量，利用所述目標神經網絡中的匹配網絡進行回歸匹配處理，得到唯一身體中心點及其對應的方向向量、唯一關鍵部位中心點及其對應的方向向量以及唯一物體中心點及其對應的方向向量；

根據所述唯一關鍵部位中心點及其對應的方向向量與所述唯一物體中心點及其對應的方向向量確定所述待識別動作對應的目標人物身體作用點距離作用物體的距離中心點及其對應的方向向量；

根據所述距離中心點及其對應的方向向量和所述唯一關鍵部位中心點及其對應的方向向量確定所述距離中心點與所述唯一關鍵部位中心點的第一方向向量，根據所述距離中心點及其對應的方向向量和所述唯一物體中心點及其對應的方向向量確定所述距離中心點與所述唯一物體中心點的第二方向向量，根據所述唯一身體中心點及其對應的方向向量和所述唯一關鍵部位中心點及其對應的方向向量確定所述唯一身體中心點與所述唯一關鍵部位中心點之間的第三方向向量；

根據每一張圖像的目標人物的動作狀態和所述第一方向向量、第二方向向量、第三方向向量對預設神經網絡模型進行訓練得到動作識別模型。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述多個身體中心點、所述多個關鍵部位中心點以及所述多個物體中心點作為多個待識別目標中心點；

對于任一種類型的多個待識別目標中心點，將所述多個待識別目標中心點進行分組；

根據檢測置信度對分組后每一組中對應的所述多個待識別目標中心點進行排序；

在所述每一組內計算所述檢測置信度最高的待識別目標中心點對應的方向向量與其他待識別目標中心點對應的方向向量的距離；

將所述距離與預設閾值進行比較；

對距離小于所述預設閾值的其他中心點與其對應的方向向量進行抑制處理得到所述檢測置信度最高的待識別目標中心點與其對應的方向向量，將所述檢測置信度最高的待識別目標中心點與其對應的方向向量作為所述類型的唯一中心點與其對應的方向向量。

3.根據權利要求1所述的方法，其特征在于，所述目標神經網絡包括：VoVNet、ResNet、DenseNet、EfficientNet、ShuffleNet、MobileNet中的任意一種。

4.一種動作識別方法，其特征在于，包括如下步驟：

獲取待識別圖像；

將所述待識別圖像輸入至所述目標神經網絡得到所述第一方向向量、第二方向向量、第三方向向量；

將所述待識別圖像以及所述第一方向向量、第二方向向量、第三方向向量輸入到如權利要求1－3中任一項所述的動作識別模型構建方法得到的動作識別模型進行處理得到動作識別結果。