[發明專利]一種基于人體關鍵點的人體動作識別方法及裝置

在審

• 申請號: 202011244644.7
• 申請日: 2020-11-10
• 公開（公告）號: CN112287866A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 魏子昆;王琦;聶學成
• 申請（專利權）人: 上海依圖網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李欣

本申請涉及動作識別技術領域，尤其涉及一種基于人體關鍵點的人體動作識別方法及裝置，分別對待識別視頻的各視頻幀進行人體檢測，獲得各人體區域圖像，分別針對各視頻幀，獲得任意一個視頻幀中的人體區域圖像的關鍵點熱圖和深度圖，將任意一視頻幀中的人體區域圖像、關鍵點熱圖和深度圖輸入至已訓練的坐標轉換模型中，通過全卷積網絡進行特征提取，并通過坐標回歸網絡對提取到的特征向量進行坐標回歸處理，獲得該人體區域圖像的各三維關鍵點坐標，根據確定出的各三維關鍵點坐標，對人體進行動作識別，獲得人體的人體動作類別，這樣，通過將人體關鍵點的二維坐標轉換為三維坐標，并基于三維坐標對人體進行動作識別，能夠提高動作識別的準確率。

技術領域

本申請涉及動作識別技術領域，尤其涉及一種基于人體關鍵點的人體動作識別方法及裝置。

背景技術

目前，動作識別是計算機視覺領域中最具有挑戰性的研究方向之一，被廣泛應用于安防領域中。

現有技術中，在對攝像頭拍攝的視頻中的人體動作進行識別時，是基于二維的人體關鍵點進行識別的，當受到拍攝角度的影響時，視頻中的人體可能會被外界的其它物體遮擋，導致人體動作識別的準確度不高。

發明內容

本申請實施例提供一種基于人體關鍵點的人體動作識別方法及裝置，以提高人體動作識別的準確度。

本申請實施例提供的具體技術方案如下：

一種基于人體關鍵點的人體動作識別方法，包括：

分別對待識別視頻的各視頻幀進行人體檢測，獲得各人體區域圖像；

分別針對所述各視頻幀，獲得任意一視頻幀中的人體區域圖像的各二維關鍵點坐標，通過預設的轉換方式將所述各二維關鍵點坐標轉換為關鍵點熱圖，并通過確定所述人體區域圖像的圖像深度，獲得所述人體區域圖像的深度圖；

分別針對所述各視頻幀，將任意一視頻幀中的人體區域圖像、關鍵點熱圖和深度圖輸入至已訓練的坐標轉換模型中，通過全卷積網絡對所述關鍵點熱圖、所述深度圖和該人體區域圖像進行特征提取，確定該人體區域圖像的特征向量，并通過坐標回歸網絡對所述特征向量進行坐標回歸處理，獲得該人體區域圖像的各三維關鍵點坐標，其中，所述坐標轉換模型的網絡結構至少包括全卷積網絡和坐標回歸網絡；

根據確定出的各三維關鍵點坐標，對所述待識別視頻中包含的人體進行動作識別，獲得所述人體的人體動作類別。

可選的，獲得任意一個視頻幀中的人體區域圖像的各二維關鍵點坐標之前，進一步包括：

基于已訓練的圖像質量檢測模型，以所述人體區域圖像為輸入參數，確定所述人體區域圖像的圖像質量分值，其中，所述圖像質量檢測模型為根據人體區域圖像樣本集通過迭代訓練獲得的，所述人體區域圖像樣本集中包含各人體區域圖像樣本；

確定所述人體區域圖像的圖像質量分值大于等于預設分數閾值。

可選的，獲得任意一個視頻幀中的人體區域圖像的各二維關鍵點坐標之前，進一步包括：

確定所述人體區域圖像的圖像寬度值，并確定所述人體區域圖像的圖像高度值；

確定所述圖像寬度值大于等于預設寬度閾值，且所述圖像高度值大于等于預設高度閾值。

可選的，通過預設的轉換方式將所述各二維關鍵點坐標轉換為關鍵點熱圖，具體包括：

對所述各二維關鍵點坐標進行高斯模糊處理，獲得所述人體區域圖像的關鍵點熱圖。

可選的，通過確定所述人體區域圖像的圖像深度，獲得所述人體區域圖像的深度圖，具體包括：