[發明專利]一種行為識別方法、裝置及電子設備

在審

• 申請號: 202210220925.1
• 申請日: 2022-03-08
• 公開（公告）號: CN114627552A
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 孫夢南
• 申請（專利權）人: 杭州螢石軟件有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/80;G06V10/46;G06K9/62
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

本申請實施例公開了一種行為識別方法、裝置及電子設備。本申請提供的方案將針對目標對象拍攝的原始圖像分別輸入至第一深度學習模型和人形檢測模型，得到用于拍攝原始圖像的拍攝設備的目標特征信息和目標檢測信息，然后將目標特征信息和目標檢測信息進行融合，得到融合特征，最后將融合特征輸入至已訓練的第二深度學習模型，得到目標對象的三維姿勢。上述目標特征信息包括拍攝設備拍攝目標對象時的拍攝角度，在預測目標的三維姿勢時，將拍攝設備的影響也計算了進去，限制了原始圖像從二維平面映射為三維空間的可能性，提高了行為識別的準確度，同時將多個模型得到的特征進行融合，使得預測到的目標對象的三維姿勢更準確。

技術領域

本申請涉及機器學習領域，特別涉及一種行為識別方法、裝置及電子設備。

背景技術

行為識別往往需要依據人體的深度信息為輔助對人體的姿勢進行識別，例如進行摔倒檢測時借助人體頭、腳的深度，進行坐姿識別時借助人體上半身關節深度判斷是否旋轉，以及多人場景中對多人的行為進行識別時借助人與人之間的深度距離等。

而人體的深度信息通過平面圖像是無法直接獲取的，需要將一個圖像展示的二維平面映射到三維空間。但目前對行為識別的判斷和分析的過程中，從一個圖像展示的二維平面映射到三維空間有多種可能性，拍攝該圖像的拍攝設備的姿態也會對人物的姿勢估計出現誤差，這會導致行為識別不準。

發明內容

本申請公開了一種行為識別方法、裝置及電子設備，以提高行為識別的準確度。

根據本申請實施例的第一方面，提供一種行為識別方法，該方法至少包括：

將已獲得的針對目標對象拍攝的原始圖像輸入至已訓練的第一深度學習模型，得到用于拍攝所述原始圖像的拍攝設備的目標特征信息，所述目標特征信息至少包括：所述拍攝設備拍攝所述目標對象以得到所述原始圖像時的拍攝角度、以及預測所述拍攝設備以指定角度拍攝所述目標對象得到的預測圖像；

將所述原始圖像輸入至已訓練的人形檢測模型，得到目標檢測信息，所述目標檢測信息至少包括：目標對象中用于指示姿態的至少一個關鍵點在所述原始圖像中的二維坐標；

將所述目標特征信息和所述目標檢測信息進行融合，得到融合特征；所述融合特征用于預測所述目標對象的至少一個關鍵點的三維坐標，所述三維坐標用于預測所述目標對象的三維姿勢；

將所述融合特征輸入至已訓練的第二深度學習模型，得到所述目標對象的三維姿勢。

可選的，所述拍攝設備拍攝所述目標對象以得到所述原始圖像時的拍攝角度至少包括：

所述拍攝設備拍攝所述目標對象以得到所述原始圖像時被設置的俯仰角pitch角度、以及翻滾角roll角度。

可選的，所述目標檢測信息還包括：從所述原始圖像中提取出用于指示所述目標對象的對象特征；

所述將所述目標特征信息和所述目標檢測信息進行融合，得到融合特征包括：

將所述原始圖像、所述對象特征輸入至已訓練的第二深度學習模型，以依據所述對象特征從所述原始圖像提取出對應的對象特征圖；

將所述目標特征信息、所述目標檢測信息和所述對象特征圖進行融合得到融合特征。

可選的，所述第二深度學習模型至少通過以下計算層得到所述三維姿勢：

所述三維坐標信息預測層，用于依據所述融合特征，預測所述目標對象的關鍵點在三維坐標系中每一平面內的二維坐標，對該關鍵點在三維坐標系中每一平面內的二維坐標進行指定運算以得到該關鍵點的三維坐標信息，輸出該關鍵點的三維坐標信息至三維姿勢預測層；所述三維坐標系中包含三個平面，且三個平面兩兩垂直；

所述三維姿勢預測層，用于依據輸入的所述目標對象中各關鍵點的三維坐標信息預測所述目標對象的三維姿勢。