[發明專利]一種行為識別方法、裝置及電子設備

在審

• 申請號: 202210220925.1
• 申請日: 2022-03-08
• 公開（公告）號: CN114627552A
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 孫夢南
• 申請（專利權）人: 杭州螢石軟件有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/80;G06V10/46;G06K9/62
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

1.一種行為識別方法，其特征在于，所述方法包括：

將已獲得的針對目標對象拍攝的原始圖像輸入至已訓練的第一深度學習模型，得到用于拍攝所述原始圖像的拍攝設備的目標特征信息，所述目標特征信息至少包括：所述拍攝設備拍攝所述目標對象以得到所述原始圖像時的拍攝角度、以及預測所述拍攝設備以指定角度拍攝所述目標對象得到的預測圖像；

將所述原始圖像輸入至已訓練的人形檢測模型，得到目標檢測信息，所述目標檢測信息至少包括：目標對象中用于指示姿態的至少一個關鍵點在所述原始圖像中的二維坐標；

將所述目標特征信息和所述目標檢測信息進行融合，得到融合特征；所述融合特征用于預測所述目標對象的至少一個關鍵點的三維坐標，所述三維坐標用于預測所述目標對象的三維姿勢；

將所述融合特征輸入至已訓練的第二深度學習模型，得到所述目標對象的三維姿勢。

2.根據權利要求1所述的方法，其特征在于，所述拍攝設備拍攝所述目標對象以得到所述原始圖像時的拍攝角度至少包括：

所述拍攝設備拍攝所述目標對象以得到所述原始圖像時被設置的俯仰角pitch角度、以及翻滾角roll角度。

3.根據權利要求1所述的方法，其特征在于，所述目標檢測信息還包括：從所述原始圖像中提取出用于指示所述目標對象的對象特征；

所述將所述目標特征信息和所述目標檢測信息進行融合，得到融合特征包括：

將所述原始圖像、所述對象特征輸入至已訓練的第二深度學習模型，以依據所述對象特征從所述原始圖像提取出對應的對象特征圖；

將所述目標特征信息、所述目標檢測信息和所述對象特征圖進行融合得到融合特征。

4.根據權利要求1任一項所述的方法，其特征在于，所述第二深度學習模型至少通過以下計算層得到所述三維姿勢：

所述三維坐標信息預測層，用于依據所述融合特征，預測所述目標對象的關鍵點在三維坐標系中每一平面內的二維坐標，對該關鍵點在三維坐標系中每一平面內的二維坐標進行指定運算以得到該關鍵點的三維坐標信息，輸出該關鍵點的三維坐標信息至三維姿勢預測層；所述三維坐標系中包含三個平面，且三個平面兩兩垂直；

所述三維姿勢預測層，用于依據輸入的所述目標對象中各關鍵點的三維坐標信息預測所述目標對象的三維姿勢。

5.根據權利要求4所述的方法，其特征在于，所述依據所述融合特征，預測所述目標對象的關鍵點在三維坐標系中每一平面內的二維坐標，包括：

若當前存在所述原始圖像之前的前N幀連續視頻幀，則依據所述前N幀連續視頻幀中每一視頻幀的融合特征和所述原始圖像的融合特征確定參考三維坐標信息，依據參考三維坐標信息預測所述目標對象中各關鍵點在三維坐標系中每一平面內的二維坐標；所述參考三維坐標信息至少包含：結合所述前N幀連續視頻幀中每一視頻幀的融合特征和所述原始圖像的融合特征，基于結合后的融合特征預測出的前N幀連續視頻幀中每一視頻幀內所述目標對象中各關鍵點的三維坐標信息。

6.根據權利要求5所述的方法，其特征在于，所述依據輸入的所述目標對象中各關鍵點的三維坐標信息預測所述目標對象的三維姿勢，包括：

依據所述參考三維坐標信息和所述目標對象中各關鍵點的三維坐標信息預測所述目標對象的三維姿勢。

7.根據權利要求4所述的方法，其特征在于，所述第二深度學習模型還包括：特征圖提取層；

所述特征圖提取層，用于接收輸入的所述原始圖像和所述對象特征，依據所述對象特征從所述原始圖像提取出對應的對象特征圖。

8.根據權利要求1至7任一所述的方法，其特征在于，所述關鍵點的三維坐標信息是相對于三維坐標系中根節點的三維坐標信息，所述根節點為所述目標對象中被指定的一個關鍵點。