[發明專利]一種基于三維人體姿態估計方法及裝置

有效

• 申請號: 201810426144.1
• 申請日: 2018-05-07
• 公開（公告）號: CN108830150B
• 公開（公告）日: 2019-05-28
• 發明（設計）人: 呂蕾;張凱;張桂娟;劉弘
• 申請（專利權）人: 山東師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張勇

1.一種基于三維人體姿態估計方法，其特征在于，包括：

S1：運用單目相機采集人體不同角度的深度圖像和RGB彩色圖像；

S2：基于RGB彩色圖像構造出人體骨骼關鍵點檢測神經網絡，得到關鍵點標注圖像；

S3：基于對應的RGB彩色圖像和關鍵點標注圖像，構造手部關節節點2D-3D映射網絡；

S4：標定人體相同角度的深度圖像與關鍵點標注圖像，進而對相應深度圖像進行三維點云著色轉換，得到著色深度圖像；

S5：基于關鍵點標注圖像和著色深度圖像，利用預設學習網絡來預測標注的人體骨骼關鍵點在深度圖像中對應的位置；

S6：合并步驟S3和步驟S5的輸出，實現對三維人體姿態估計的精細化估計。

2.如權利要求1所述的一種基于三維人體姿態估計方法，其特征在于，所述步驟S2中基于RGB彩色圖像構造出人體骨骼關鍵點檢測神經網絡，具體包括：

標注RGB彩色圖像中的人體骨骼關鍵點，構建出數據集；

將構建的數據集劃分為訓練集和測試集，并將訓練集輸入至預設人體骨骼關鍵點檢測神經網絡中進行訓練；

利用測試集來測試訓練后的人體骨骼關鍵點檢測神經網絡，直至達到預設要求。

3.如權利要求1所述的一種基于三維人體姿態估計方法，其特征在于，在所述步驟S3中，構造的手部關節節點2D-3D映射網絡輸出手部分割圖像，手部關節節點2D-3D映射網絡的結構為：(卷積層+ReLu激活層)+最大池化層+雙線性上采樣。

4.如權利要求1所述的一種基于三維人體姿態估計方法，其特征在于，在所述步驟S4中，得到著色深度圖像的步驟具體包括：

利用棋盤法來標定人體相同角度的深度圖像與關鍵點標注圖像；

匹配人體相同角度的關鍵點標注圖像與深度圖像；

調整匹配后的深度圖像大小并進行三維著色點云。

5.如權利要求1所述的一種基于三維人體姿態估計方法，其特征在于，在所述步驟S5中，預設學習網絡為U型強化學習網絡。

6.一種基于三維人體姿態估計裝置，其特征在于，包括：

圖像采集單元，其運用單目相機采集人體不同角度的深度圖像和RGB彩色圖像；

關鍵點標注單元，其用于基于RGB彩色圖像構造出人體骨骼關鍵點檢測神經網絡，得到關鍵點標注圖像；

手部識別單元，其用于基于對應的RGB彩色圖像和關鍵點標注圖像，構造手部關節節點2D-3D映射網絡；

深度圖像著色單元，其用于標定人體相同角度的深度圖像與關鍵點標注圖像，進而對相應深度圖像進行三維點云著色轉換，得到著色深度圖像；

深度圖像關鍵點預測單元，其用于基于關鍵點標注圖像和著色深度圖像，利用預設學習網絡來預測標注的人體骨骼關鍵點在深度圖像中對應的位置；

三維人體姿態估計單元，其用于合并手部識別單元和深度圖像關鍵點預測單元的輸出，實現對三維人體姿態估計的精細化估計。

7.如權利要求6所述的一種基于三維人體姿態估計裝置，其特征在于，所述關鍵點標注單元，包括：

數據集構建子單元，其用于標注RGB彩色圖像中的人體骨骼關鍵點，構建出數據集；

神經網絡訓練子單元，其用于將構建的數據集劃分為訓練集和測試集，并將訓練集輸入至預設人體骨骼關鍵點檢測神經網絡中進行訓練；

神經網絡檢測子單元，其用于利用測試集來測試訓練后的人體骨骼關鍵點檢測神經網絡，直至達到預設要求。

8.如權利要求6所述的一種基于三維人體姿態估計裝置，其特征在于，在所述手部識別單元中，構造的手部關節節點2D-3D映射網絡輸出手部分割圖像，手部關節節點2D-3D映射網絡的結構為：(卷積層+ReLu激活層)+最大池化層+雙線性上采樣。