[發明專利]人體位姿識別方法及裝置

在審

• 申請號: 201910363750.8
• 申請日: 2019-04-30
• 公開（公告）號: CN110135304A
• 公開（公告）日: 2019-08-16
• 發明（設計）人: 朱佳剛;黃冠;徐亮
• 申請（專利權）人: 北京地平線機器人技術研發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 劉杰

1.一種人體位姿識別方法，包括：

從待識別視頻中裁剪出包含人體的人體形態區域；

在所述人體形態區域對所述人體進行位姿識別，得到第一位姿識別結果和與所述人體對應的人體骨架數據；

基于所述人體骨架數據識別所述人體的位姿，得到第二位姿識別結果；

基于所述第一位姿識別結果和所述第二位姿識別結果，確定所述人體的位姿。

2.根據權利要求1所述的人體位姿識別方法，基于所述人體骨架數據識別所述人體的位姿，得到第二位姿識別結果，包括：

利用2D卷積神經網絡基于所述人體骨架數據識別所述人體的位姿，得到所述第二位姿識別結果。

3.根據權利要求1所述的人體位姿識別方法，在所述人體形態區域對所述人體進行位姿識別，得到與所述人體對應的人體骨架數據，包括：

將所述人體形態區域拆分為多個人體特征圖；

利用3D卷積神經網絡分別獲得與每個所述人體特征圖對應的人體骨架坐標；

將與各個所述人體特征圖對應的各個所述人體骨架坐標作為所述人體骨架數據。

4.根據權利要求3所述的人體位姿識別方法，利用所述3D卷積神經網絡獲得與一個所述人體特征圖對應的所述人體骨架坐標，包括：

利用所述3D卷積神經網絡獲得與所述人體特征圖中各個人體關鍵點對應的熱圖；

根據各個所述熱圖，分別確定各個所述人體關鍵點在所述人體特征圖中的坐標；

根據各個所述人體關鍵點在所述人體特征圖中的坐標，獲得與所述人體特征圖對應的所述人體骨架坐標。

5.根據權利要求4所述的人體位姿識別方法，根據所述熱圖確定所述人體關鍵點在所述人體特征圖中的坐標，包括：

利用與所述熱圖對應的訓練像素點目標，獲得所述熱圖中各個像素點歸屬于所述人體關鍵點的概率；

將所述概率中最大值對應的像素點的坐標，確定為所述人體關鍵點的第一坐標；

對所述第一坐標疊加偏置向量，獲得所述人體關鍵點的第二坐標；

基于所述熱圖和所述人體特征圖之間的比例關系，對所述第二坐標進行放大，獲得所述人體關鍵點在所述人體特征圖中的坐標。

6.根據權利要求5所述的人體位姿識別方法，在所述對所述第一坐標疊加偏置向量之前，所述方法還包括：

利用所述3D卷積神經網絡獲得與所述人體關鍵點對應的補償數據；

基于所述人體關鍵點的預測坐標和所述熱圖中像素點的坐標之間的差值，對所述補償數據進行歸一化處理，獲得所述偏置向量。

7.根據權利要求4所述的人體位姿識別方法，基于所述人體骨架數據識別所述人體的位姿，得到第二位姿識別結果，包括：

將所述人體骨架數據轉換為人體骨架張量；

向所述人體骨架張量中添加目標置信度，其中，所述目標置信度通過對每個所述熱圖進行最大池化獲得；

將添加有所述目標置信度的所述人體骨架張量輸入至2D卷積神經網絡，得到所述第二位姿識別結果。

8.根據權利要求1所述的人體位姿識別方法，還包括：

獲取在所述人體形態區域對所述人體進行位姿識別的過程中的第一任務損失；以及，獲取基于所述人體骨架數據識別所述人體的位姿的過程中的第二任務損失；

其中，基于所述第一位姿識別結果和所述第二位姿識別結果，確定所述人體的位姿，包括：

基于所述第一位姿識別結果、所述第二位姿識別結果、所述第一任務損失和所述第二任務損失，確定所述人體的位姿。

9.一種人體位姿識別裝置，包括：

裁剪模塊，用于從待識別視頻中裁剪出包含人體的人體形態區域；

第一輸出模塊，用于在所述人體形態區域對所述人體進行位姿識別，得到第一位姿識別結果和與所述人體對應的人體骨架數據；

第二輸出模塊，用于基于所述人體骨架數據識別所述人體的位姿，得到第二位姿識別結果；

確定模塊，用于基于所述第一位姿識別結果和所述第二位姿識別結果，確定所述人體的位姿。