[發明專利]一種基于人體關鍵點的人體動作識別方法及裝置

在審

• 申請號: 202011244644.7
• 申請日: 2020-11-10
• 公開（公告）號: CN112287866A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 魏子昆;王琦;聶學成
• 申請（專利權）人: 上海依圖網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李欣

1.一種基于人體關鍵點的人體動作識別方法，其特征在于，包括：

分別對待識別視頻的各視頻幀進行人體檢測，獲得各人體區域圖像；

分別針對所述各視頻幀，獲得任意一視頻幀中的人體區域圖像的各二維關鍵點坐標，通過預設的轉換方式將所述各二維關鍵點坐標轉換為關鍵點熱圖，并通過確定所述人體區域圖像的圖像深度，獲得所述人體區域圖像的深度圖；

分別針對所述各視頻幀，將任意一視頻幀中的人體區域圖像、關鍵點熱圖和深度圖輸入至已訓練的坐標轉換模型中，通過全卷積網絡對所述關鍵點熱圖、所述深度圖和該人體區域圖像進行特征提取，確定該人體區域圖像的特征向量，并通過坐標回歸網絡對所述特征向量進行坐標回歸處理，獲得該人體區域圖像的各三維關鍵點坐標，其中，所述坐標轉換模型的網絡結構至少包括全卷積網絡和坐標回歸網絡；

根據確定出的各三維關鍵點坐標，對所述待識別視頻中包含的人體進行動作識別，獲得所述人體的人體動作類別。

2.如權利要求1所述的方法，其特征在于，通過確定所述人體區域圖像的圖像深度，獲得所述人體區域圖像的深度圖，具體包括：

基于已訓練的圖像深度識別模型，以所述人體區域圖像為輸入參數，識別所述人體區域圖像的各像素點的圖像深度，并根據所述各像素點的圖像深度，確定所述人體區域圖像的深度圖，其中，所述圖像深度識別模型為根據人體區域圖像樣本集和深度圖樣本集訓練獲得的。

3.如權利要求1所述的方法，其特征在于，若所述待識別視頻為多個攝像頭拍攝的待識別視頻，則獲得任意一個視頻幀中的人體區域圖像的各二維關鍵點坐標，具體包括：

基于已訓練的圖像關聯模型，以所述任意一個視頻幀中的各人體區域圖像為輸入參數，將同一個人體對應的各人體區域圖像進行關聯，建立所述人體與各人體區域圖像之間的關聯關系，其中，所述各人體區域圖像是在相同時間點的不同角度下的人體區域圖像；

基于已訓練的人體關鍵點識別模型，以所述任意一個視頻幀中關聯的各人體區域圖像為輸入參數，對所述關聯的各人體區域圖像進行人體關鍵點檢測，確定所述關聯的各人體區域圖像的各人體關鍵點的二維關鍵點坐標和對應的屬性信息，其中，所述屬性信息為可見或不可見。

4.如權利要求3所述的方法，其特征在于，獲得該人體區域圖像的各三維關鍵點坐標之后，進一步包括：

分別針對所述各視頻幀，通過預設的坐標轉換方式將任意一視頻幀中屬性信息為可見的三維關鍵點坐標，轉換為世界坐標系下的三維關鍵點坐標，并計算各世界坐標系下的三維關鍵點坐標的坐標平均值，并將確定出的各坐標平均值作為該視頻幀中各人體關鍵點的最優的三維關鍵點坐標。

5.如權利要求1所述的方法，其特征在于，根據確定出的各三維關鍵點坐標，對所述待識別視頻中的人體進行動作識別，獲得所述人體的人體動作類別，具體包括：

分別針對各人體關鍵點，根據任意一人體關鍵點在所述各視頻幀中的三維關鍵點坐標，以及所述各視頻幀對應的時間，確定該人體關鍵點的速度信息；

基于已訓練的動作識別模型，以所述各人體關鍵點的速度信息為輸入參數，對所述待識別視頻中的人體動作進行識別，獲得所述待識別視頻對應的人體動作類別，其中，所述動作識別模型為根據包含人體動作類別的圖像樣本集進行迭代訓練獲得的。

6.如權利要求1所述的方法，其特征在于，根據確定出的各三維關鍵點坐標，對所述待識別視頻中的人體進行動作識別，獲得所述人體的人體動作類別，具體包括：

分別針對所述各視頻幀，對所述各三維關鍵點坐標進行高斯模糊處理，獲得人體區域圖像的三維關鍵點熱圖；

根據所述各三維關鍵點熱圖，以及所述各視頻幀對應的時間，確定各人體關鍵點的速度信息；

分別根據各二維關鍵點坐標和所述速度信息，對所述各人體區域圖像進行特征提取，確定所述待識別視頻的特征向量；

基于已訓練的全連接網絡模型，以所述特征向量為輸入參數，對所述待識別視頻中的人體動作進行識別，獲得所述待識別視頻對應的人體動作類別，其中，所述動作識別模型為根據特征向量樣本集和對應的人體動作類別樣本集進行迭代訓練獲得的。