[發明專利]人體動作識別結果的評價方法、裝置和電子設備

在審

• 申請號: 202010491566.4
• 申請日: 2020-06-02
• 公開（公告）號: CN111723688A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 戶磊;李廷照;石彪;閆祥;張舉勇
• 申請（專利權）人: 北京的盧深視科技有限公司;合肥的盧深視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李文清

1.一種人體動作識別結果的評價方法，其特征在于，包括：

將人體動作識別結果轉換成特征信息，所述特征信息為3D關鍵點信息、點云數據或人體輪廓信息；

將所述人體動作識別結果對應的待檢測人體動作的RGB-D圖像進行處理得到與所述特征信息對應的標準特征信息；

確定所述特征信息與所述標準特征信息之間的誤差度；其中，所述人體動作識別結果是對所述待檢測人體動作的RGB-D圖像進行處理得到的。

2.根據權利要求1所述的人體動作識別結果的評價方法，其特征在于，所述人體動作識別結果是對所述待檢測人體動作的RGB-D圖像進行處理得到的，具體包括：

將待檢測人體動作的RGB-D圖像進行預處理，得到無背景像素干擾的RGB圖像和無背景像素干擾的點云三維坐標圖；

將所述無背景像素干擾的RGB圖像和無背景像素干擾的點云三維坐標圖輸入姿態參數識別模型，輸出所述待檢測人體動作的姿態參數、形態參數和位移參數；

其中，所述姿態參數識別模型是基于樣本無背景像素干擾的RGB圖像和無背景像素干擾的點云三維坐標圖以及預先確定的對應于各樣本無背景像素干擾的RGB圖像的3D關鍵點坐標標簽和三維點云標簽進行訓練后得到的，所述姿態參數識別模型訓練時的損失函數基于關鍵點損失、平滑損失和點云損失構成；

將所述待檢測人體動作的姿態參數、形態參數和位移參數輸入參數化模型，輸出人體動作識別結果。

3.根據權利要求1或2所述的人體動作識別結果的評價方法，其特征在于，所述特征信息為預測的3D關鍵點集合，記作

對應地，所述將所述人體動作識別結果對應的待檢測人體動作的RGB-D圖像進行處理得到與所述特征信息對應的標準特征信息，具體包括：

通過人工手動方式將所述人體動作識別結果對應的待檢測人體動作的RGB-D圖像進行人體關鍵點的標注，得到標準的3D關鍵點集合，記作K，并人工判斷所述人體關鍵點是否有自身遮擋，根據遮擋結果形成由0和1構成的one-hot向量V；

所述確定所述特征信息與所述標準特征信息之間的誤差度，具體包括：

通過如下公式計算所述預測的3D關鍵點集合與所述標準的3D關鍵點集合K之間的誤差度err:

其中，norm為歸一化因子，V為所述one-hot向量，當所述one-hot向量中第i個元素對應的人體關鍵點有自身遮擋，則所述第i個元素取值為0，否則，所述第i個元素取值為1，i＝1,2,3,…,N_V，N_V為向量V中元素的個數。

4.根據權利要求1或2所述的人體動作識別結果的評價方法，其特征在于，所述特征信息為預測的點云數據集合，記作

對應地，所述將所述人體動作識別結果對應的待檢測人體動作的RGB-D圖像進行處理得到與所述特征信息對應的標準特征信息，具體包括：

將所述人體動作識別結果對應的待檢測人體動作的RGB-D圖像中的RGB圖像輸入標注算法得到標準的2D關鍵點坐標，再將所述標準的2D關鍵點坐標轉換為標準的3D關鍵點坐標；

基于所述標準的3D關鍵點坐標和所述RGB-D圖像中的深度圖，通過Ceres優化，得到姿態參數，將所述姿態參數輸入預設參數化模型，輸出標準的點云數據集合P；

所述確定所述特征信息與所述標準特征信息之間的誤差度，具體包括：

通過如下公式計算所述預測的點云數據集合與所述標準的點云數據集合P之間的誤差度err:

其中，norm為歸一化因子。

5.根據權利要求4所述的人體動作識別結果的評價方法，其特征在于，所述標準算法為alphapose的2D關鍵點檢測算法。