[發明專利]一種人體動作識別方法及裝置

有效

• 申請號: 202011245356.3
• 申請日: 2020-11-10
• 公開（公告）號: CN112287868B
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 魏子昆;聶學成
• 申請（專利權）人: 上海依圖網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李欣

1.一種人體動作識別方法，其特征在于，包括：

分別對待識別視頻的各視頻幀進行人體檢測，獲得各人體區域圖像；

分別針對所述各視頻幀，對任意一個視頻幀中的人體區域圖像進行人體關鍵點檢測，獲得人體區域圖像中包含的各人體關鍵點對應的二維關鍵點坐標，并分別通過預設的坐標轉換方式將各二維關鍵點坐標轉換為三維關鍵點坐標；

分別針對所述各人體關鍵點，根據所述各視頻幀中的三維關鍵點坐標，以及所述各視頻幀對應的時間，確定所述人體關鍵點的速度信息，并根據所述速度信息和所述各三維關鍵點坐標，對所述待識別視頻中包含的人體進行動作識別，獲得所述人體的人體動作類別；

其中，分別針對所述各人體關鍵點，根據所述各視頻幀中的三維關鍵點坐標，以及所述各視頻幀對應的時間，確定所述人體關鍵點的速度信息，并根據所述速度信息和所述各三維關鍵點坐標對所述待識別視頻中包含的人體進行動作識別，獲得所述人體的人體動作類別，具體包括：分別針對所述各視頻幀，對所述各三維關鍵點坐標進行高斯模糊處理，獲得人體區域圖像的三維關鍵點熱圖；根據所述各三維關鍵點熱圖，以及所述各視頻幀對應的時間，確定各人體關鍵點的速度信息；分別根據各二維關鍵點坐標和所述速度信息，對所述各人體區域圖像進行特征提取，確定所述待識別視頻的特征向量；基于已訓練的全連接網絡模型，以所述特征向量為輸入參數，對所述待識別視頻中的人體動作進行識別，獲得所述待識別視頻對應的人體動作類別，其中，所述動作識別模型為根據包含人體動作類別的圖像樣本集進行迭代訓練獲得的。

2.如權利要求1所述的方法，其特征在于，對任意一個視頻幀中的人體區域圖像進行人體關鍵點檢測之前，進一步包括：

基于已訓練的圖像質量檢測模型，以所述人體區域圖像為輸入參數，確定所述人體區域圖像的圖像質量分值，其中，所述圖像質量檢測模型為根據人體區域圖像樣本集通過迭代訓練獲得的，所述人體區域圖像樣本集中包含各人體區域圖像樣本；

確定所述人體區域圖像的圖像質量分值大于等于預設分數閾值。

3.如權利要求1所述的方法，其特征在于，對任意一個視頻幀中的人體區域圖像進行人體關鍵點檢測之前，進一步包括：

確定所述人體區域圖像的圖像寬度值，并確定所述人體區域圖像的圖像高度值；

確定所述圖像寬度值大于等于預設寬度閾值，且所述圖像高度值大于等于預設高度閾值。

4.如權利要求1所述的方法，其特征在于，分別通過預設的坐標轉換方式將各二維關鍵點坐標轉換為三維關鍵點坐標，具體包括：

獲得所述人體區域圖像的二維關鍵點坐標，通過預設的轉換方式將所述二維關鍵點坐標轉換為關鍵點熱圖，并通過確定所述人體區域圖像的圖像深度，獲得所述人體區域圖像的深度圖；

分別針對所述各視頻幀，將任意一視頻幀中的人體區域圖像、關鍵點熱圖和深度圖輸入至已訓練的坐標轉換模型中，通過全卷積網絡對所述關鍵點熱圖、所述深度圖和該人體區域圖像進行特征提取，確定該人體區域圖像的特征向量，并通過坐標回歸網絡對所述特征向量進行坐標回歸處理，獲得該人體區域圖像的各三維關鍵點坐標，其中，所述坐標轉換模型的網絡結構至少包括全卷積網絡和坐標回歸網絡。

5.如權利要求4所述的方法，其特征在于，通過預設的轉換方式將所述二維關鍵點坐標轉換為關鍵點熱圖，具體包括：

對所述各二維關鍵點坐標進行高斯模糊處理，獲得所述人體區域圖像的關鍵點熱圖。

6.如權利要求5所述的方法，其特征在于，通過確定所述人體區域圖像的圖像深度，獲得所述人體區域圖像的深度圖，具體包括：

基于已訓練的圖像深度識別模型，以所述人體區域圖像為輸入參數，識別所述人體區域圖像的各像素點的圖像深度，并根據所述各像素點的圖像深度，確定所述人體區域圖像的深度圖，其中，所述圖像深度識別模型為根據人體區域圖像樣本集和深度圖樣本集訓練獲得的。