[發明專利]一種三維人體姿態信息檢測方法及裝置

有效

• 申請號: 201910098332.0
• 申請日: 2019-01-31
• 公開（公告）號: CN109840500B
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 王魯陽;陳巖;任思捷
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李強;張穎玲

1.一種三維人體姿態信息檢測方法，其特征在于，所述方法包括：

獲得第一關鍵點信息；所述第一關鍵點信息表征從第一視圖圖像中獲得的對應于目標對象的肢體關鍵點的二維信息；

基于所述第一關鍵點信息和預先訓練獲得的第一網絡模型獲得第二關鍵點信息；所述第二關鍵點信息表征第二視圖圖像中的所述目標對象的肢體關鍵點的二維信息；

基于所述第一關鍵點信息和所述第二關鍵點信息獲得目標三維關鍵點信息；

其中，所述基于所述第一關鍵點信息和所述第二關鍵點信息獲得目標三維關鍵點信息，包括：

基于所述第一關鍵點信息、所述第二關鍵點信息和預先訓練獲得的第二網絡模型，獲得初始三維關鍵點信息；

對所述初始三維關鍵點信息進行調整，獲得目標三維關鍵點信息。

2.根據權利要求1所述的方法，其特征在于，所述對所述初始三維關鍵點信息進行調整，獲得目標三維關鍵點信息，包括：

基于所述第一關鍵點信息以及預設相機標定參數確定三維投影區間；

在所述三維投影區間內獲得與所述初始三維關鍵點信息之間的距離滿足預設條件的三維關鍵點信息，將所述三維關鍵點信息作為目標三維關鍵點信息。

3.根據權利要求2所述的方法，其特征在于，所述三維投影區間為與所述第一關鍵點信息之間具有投影關系的三維區間；所述三維投影區間內的每個三維關鍵點經所述預設相機標定參數向所述第一關鍵點信息所在平面投影后均與所述第一關鍵點信息對應的第一關鍵點重合。

4.根據權利要求2或3所述的方法，其特征在于，所述在所述三維投影區間內獲得與所述初始三維關鍵點信息之間的距離滿足預設條件的三維關鍵點信息，包括：

按照預設步長獲得所述三維投影區間內的多個三維關鍵點信息；

分別計算每個三維關鍵點信息與所述初始三維關鍵點信息之間的歐式距離，確定歐式距離最小的三維關鍵點信息為目標三維關鍵點信息。

5.根據權利要求1所述的方法，其特征在于，所述第一網絡模型和所述第二網絡模型的訓練過程包括：

根據獲取的樣本二維關鍵點信息和對應的樣本三維關鍵點信息訓練所述第一網絡模型和所述第二網絡模型；

其中，所述樣本二維關鍵點信息為所述第一網絡模型的輸入；所述樣本二維關鍵點信息以及所述第一網絡模型的輸出，為所述第二網絡模型的輸入；所述樣本三維關鍵點信息為期望得到的所述第二網絡模型的輸出。

6.根據權利要求1或5所述的方法，其特征在于，所述第一網絡模型和所述第二網絡模型均為全連接網絡結構模型。

7.根據權利要求1或5所述的方法，其特征在于，所述第一網絡模型和所述第二網絡模型的網絡結構相同。

8.一種三維人體姿態信息檢測裝置，其特征在于，所述裝置包括：獲取單元、二維信息處理單元和三維信息處理單元；其中，

所述獲取單元，用于獲得第一關鍵點信息；所述第一關鍵點信息表征從第一視圖圖像中獲得的對應于目標對象的肢體關鍵點的二維信息；

所述二維信息處理單元，用于基于所述獲取單元獲得的所述第一關鍵點信息和預先訓練獲得的第一網絡模型獲得第二關鍵點信息；所述第二關鍵點信息表征第二視圖圖像中的所述目標對象的肢體關鍵點的二維信息；

所述三維信息處理單元，用于基于所述第一關鍵點信息和所述二維信息處理單元獲得的所述第二關鍵點信息獲得目標三維關鍵點信息；

其中，所述三維信息處理單元包括第一處理模塊和調整模塊；其中，

所述第一處理模塊，用于基于所述第一關鍵點信息、所述第二關鍵點信息和預先訓練獲得的第二網絡模型，獲得初始三維關鍵點信息；

所述調整模塊，用于對所述第一處理模塊獲得的所述初始三維關鍵點信息進行調整，獲得目標三維關鍵點信息。