[發(fā)明專利]人體動作識別結果的評價方法、裝置和電子設備

在審

• 申請?zhí)枺?/td>: 202010491566.4
• 申請日: 2020-06-02
• 公開（公告）號: CN111723688A
• 公開（公告）日: 2020-09-29
• 發(fā)明（設計）人: 戶磊;李廷照;石彪;閆祥;張舉勇
• 申請（專利權）人: 北京的盧深視科技有限公司;合肥的盧深視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李文清

本發(fā)明實施例提供一種人體動作識別結果的評價方法、裝置和電子設備，該方法包括：將人體動作識別結果轉換成特征信息，所述特征信息為3D關鍵點信息、點云數(shù)據或人體輪廓信息；將所述人體動作識別結果對應的待檢測人體動作的RGB?D圖像進行處理得到與所述特征信息對應的標準特征信息；確定所述特征信息與所述標準特征信息之間的誤差度；其中，所述人體動作識別結果是對所述待檢測人體動作的RGB?D圖像進行處理得到的。本發(fā)明實施例提供的方法、裝置和電子設備，實現(xiàn)了評價人體動作識別結果時考慮深度信息，更適用于評價人體動作捕捉。

技術領域

本發(fā)明涉及人體動作識別技術領域，尤其涉及一種人體動作識別結果的評價方法、裝置和電子設備。

背景技術

三維人體的重建與屬性識別一直是機器視覺領域的重要研究方向，目前學術界基于深度學習的人體重建相關工作大致可以分為兩大類，參數(shù)化模型重建和非參數(shù)化模型重建。通常都是通過采集待識別人體的RGB-D圖像，然后對RGB-D圖像進行處理，識別出對應RGB-D圖像的人體動作。而識別出對應RGB-D圖像的人體動作通常通過不同的識別結果來表達，例如識別結果可以是RGB-D圖像中人體的3D關鍵點坐標，也可以是RGB-D圖像中人體的點云三維坐標，還可以是RGB-D圖像中人體的姿態(tài)參數(shù)、形態(tài)參數(shù)和位移參數(shù)，等等。上述三種識別結果實質是等效的表達識別人體動作結果的方式，它們之間可以相互轉換。

目前對于人體動作識別結果的評價指標使用的是PCK(Percentage of correctkeypoint)，最常用是PCK@0.2，該指標的計算方法是計算檢測關鍵點與參考標準(groundtruth)的歐式距離小于0.2×軀干直徑的比例。其中，軀干直徑為頭部參考標準關鍵點(head ground truth)到臀部參考標準關鍵點(hip ground truth)的歐式距離。PCK指標在評估人體重建效果時，會忽略Z維度(即深度信息)，不適用于評價人體動作捕捉。

因此，如何避免現(xiàn)有的PCK指標評價人體動作識別結果時缺乏對深度信息的考慮，無法適用于評價人體動作捕捉的情況，仍然是本領域技術人員亟待解決的問題。

發(fā)明內容

本發(fā)明實施例提供一種人體動作識別結果的評價方法、裝置和電子設備，用以解決現(xiàn)有的PCK指標評價人體動作識別結果時缺乏對深度信息的考慮，無法適用于評價人體動作捕捉的問題。

第一方面，本發(fā)明實施例提供一種人體動作識別結果的評價方法，包括：

將人體動作識別結果轉換成特征信息，所述特征信息為3D關鍵點信息、點云數(shù)據或人體輪廓信息；

將所述人體動作識別結果對應的待檢測人體動作的RGB-D圖像進行處理得到與所述特征信息對應的標準特征信息；

確定所述特征信息與所述標準特征信息之間的誤差度；

其中，所述人體動作識別結果是對所述待檢測人體動作的RGB-D圖像進行處理得到的。

優(yōu)選地，該方法中，所述人體動作識別結果是對所述待檢測人體動作的RGB-D圖像進行處理得到的，具體包括：

將待檢測人體動作的RGB-D圖像進行預處理，得到無背景像素干擾的RGB圖像和無背景像素干擾的點云三維坐標圖；

將所述無背景像素干擾的RGB圖像和無背景像素干擾的點云三維坐標圖輸入姿態(tài)參數(shù)識別模型，輸出所述待檢測人體動作的姿態(tài)參數(shù)、形態(tài)參數(shù)和位移參數(shù)；

其中，所述姿態(tài)參數(shù)識別模型是基于樣本無背景像素干擾的RGB圖像和無背景像素干擾的點云三維坐標圖以及預先確定的對應于各樣本無背景像素干擾的RGB圖像的3D關鍵點坐標標簽和三維點云標簽進行訓練后得到的，所述姿態(tài)參數(shù)識別模型訓練時的損失函數(shù)基于關鍵點損失、平滑損失和點云損失構成；

將所述待檢測人體動作的姿態(tài)參數(shù)、形態(tài)參數(shù)和位移參數(shù)輸入參數(shù)化模型，輸出人體動作識別結果。