[發明專利]三維人體姿態預測方法、裝置、介質及設備

有效

• 申請號: 201810395266.9
• 申請日: 2018-04-27
• 公開（公告）號: CN108960036B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 汪旻;陳曦鵬;劉文韜;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

1.一種三維人體姿態預測方法，其特征在于，包括：

獲取待處理圖像中的人體關鍵點信息以及人體關鍵點的深度前后關系；所述人體關鍵點的深度前后關系由用于對人體關鍵點進行深度前后關系處理的第二神經網絡預測得到；

將所述人體關鍵點信息和人體關鍵點的深度前后關系提供給第一神經網絡，經由所述第一神經網絡執行三維人體姿態預測處理，以獲取三維人體姿態預測結果；

其中，所述執行三維人體姿態預測處理包括：

根據人體關鍵點的深度前后關系信息預測人體關鍵點深度值；

根據人體關鍵點深度值和人體關鍵點信息預測三維人體姿態；

其中，所述人體關鍵點的深度前后關系用于表示人體關鍵點之間的深度位置相對關系,所述人體關鍵點的深度前后關系包括：多個人體關鍵點中任意兩個人體關鍵點中用于表征其中一個人體關鍵點位于其中另一個人體關鍵點之前或之后的信息。

2.根據權利要求1所述的方法，其特征在于，所述人體關鍵點信息包括：人體關鍵點在待處理圖像中的二維坐標。

3.根據權利要求1或2所述的方法，其特征在于，所述人體關鍵點的深度前后關系包括：

人體關鍵點的深度前后關系矩陣；

其中，所述矩陣的行數和列數為人體關鍵點的數量，所述矩陣的第n行表示第n個人體關鍵點，所述矩陣的第m列表示第m個人體關鍵點，所述矩陣第n行第m列的數值表示第n個人體關鍵點在第m個人體關鍵點之前或之后的概率值。

4.根據權利要求1或2所述的方法，其特征在于，所述人體關鍵點的深度前后關系的獲取過程包括：

將所述待處理圖像提供給第二神經網絡，經由所述第二神經網絡執行人體關鍵點的深度前后關系預測處理，以獲取人體關鍵點的深度前后關系。

5.根據權利要求1或2所述的方法，其特征在于，所述三維人體姿態預測結果包括：人體關鍵點在三維空間中的坐標。

6.根據權利要求1或2所述的方法，其特征在于，所述第一神經網絡是利用多條包含有人體關鍵點樣本信息以及人體關鍵點的深度前后關系樣本信息的數據樣本訓練而成的。

7.一種神經網絡的訓練方法，其特征在于，用于訓練神經網絡的數據樣本包括：人體關鍵點樣本信息、人體關鍵點的深度前后關系樣本信息以及用于監督的標注信息，所述人體關鍵點的深度前后關系樣本信息由用于對人體關鍵點進行深度前后關系處理的第二神經網絡預測得到，所述人體關鍵點的深度前后關系樣本信息用于表示人體關鍵點之間的深度位置相對關系,所述人體關鍵點的深度前后關系樣本信息包括：多個人體關鍵點中任意兩個人體關鍵點中用于表征其中一個人體關鍵點位于其中另一個人體關鍵點之前或之后的信息，所述訓練方法包括：

將數據樣本中的人體關鍵點樣本信息以及人體關鍵點的深度前后關系樣本信息，提供給待訓練的第一神經網絡，經由所述待訓練的第一神經網絡執行三維人體姿態預測處理；

所述將數據樣本中的人體關鍵點樣本信息以及人體關鍵點的深度前后關系樣本信息，提供給待訓練的第一神經網絡，經由所述待訓練的第一神經網絡執行三維人體姿態預測處理包括：

將數據樣本中的人體關鍵點的深度前后關系樣本信息提供給待訓練的第一神經網絡中的第一神經網絡單元，經由所述第一神經網絡單元執行人體關鍵點深度預測處理后，經由第一神經網絡中的第二神經網絡單元執行三維人體姿態預測處理；

利用所述數據樣本中的標注信息對所述待訓練的第一神經網絡進行監督學習。

8.根據權利要求7所述的方法，其特征在于，所述經由所述第一神經網絡單元執行人體關鍵點深度預測處理后，經由第一神經網絡中的第二神經網絡單元執行三維人體姿態預測處理包括：

將第一神經網絡單元輸出的人體關鍵點深度值與數據樣本中的人體關鍵點在待處理圖像中的二維坐標樣本信息，作為人體關鍵點張量，提供給待訓練的第一神經網絡中的第二神經網絡單元，經由所述第二神經網絡單元執行三維人體姿態預測處理。