[發明專利]一種人體關鍵點的三維坐標的估計方法及裝置

在審

• 申請號: 202110183668.4
• 申請日: 2021-02-08
• 公開（公告）號: CN112989947A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 段祎婷;王蔚;應興德;丁澤震;聶學成
• 申請（專利權）人: 上海依圖網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃邃

1.一種人體關鍵點的三維坐標的估計方法，其特征在于，包括：

從待識別圖像中檢測獲得各包含有人體關鍵點的熱力圖，以及各人體關鍵點的二維坐標，其中，所述待識別圖像中包含有人體，所述人體中包含有各人體關鍵點；

分別針對所述各人體關鍵點，將任意一人體關鍵點的熱力圖和所述待識別圖像輸入至已訓練的深度檢測模型，確定該人體關鍵點的關鍵點特征，并基于所述關鍵點特征確定該人體關鍵點的深度信息，其中，所述深度檢測模型為根據各待識別圖像樣本、對應的各熱力圖樣本，以及各待識別圖像樣本中的各人體關鍵點的真實深度信息通過迭代訓練獲得的，所述深度信息表征該人體關鍵點位于預設的人體標定點的前側或后側；

根據所述各人體關鍵點的深度信息和對應的二維坐標，確定所述各人體關鍵點的三維坐標。

2.如權利要求1所述的方法，其特征在于，從待識別圖像中檢測獲得各包含有人體關鍵點的熱力圖，以及各人體關鍵點的二維坐標，具體包括：

基于已訓練的二維坐標識別模型，以待識別圖像為輸入參數，通過預設的圖像轉換方式，將所述待識別圖像轉換為預設數張關鍵點熱力圖，并分別從各熱力圖包含的各熱力值中選取最大熱力值對應的像素點，作為所述待識別圖像的人體關鍵點，并獲取各人體關鍵點在待識別圖像中的二維坐標。

3.如權利要求2所述的方法，其特征在于，所述二維坐標識別模型的訓練方式為：

獲取第一圖像樣本集，其中，所述第一圖像樣本集中包含有各待識別圖像樣本和對應的樣本標簽，所述樣本標簽表征待識別圖像樣本中包含的各人體關鍵點的真實二維坐標；

分別針對所述各待識別圖像樣本，將任意一張待識別圖像樣本輸入至初始的二維坐標識別模型中，確定該待識別圖像樣本中的各人體關鍵點的預測二維坐標，分別計算各預測二維坐標與對應的樣本標簽之間的誤差值，并調整所述初始的二維坐標識別模型的各參數，直至計算出的誤差值最小化，獲得訓練完成的所述二維坐標識別模型。

4.如權利要求1所述的方法，其特征在于，所述深度檢測模型的訓練方式為：

分別針對各關鍵點熱力圖樣本，將任意一張關鍵點熱力圖樣本和對應的待識別圖像樣本輸入至初始的深度檢測模型中，確定該關鍵點熱力圖樣本中包含的人體關鍵點的預測深度信息，計算所述預測深度信息與深度標簽之間的誤差值，并調整所述初始的深度檢測模型的各參數，直至計算出的誤差值最小化，獲得訓練完成的所述深度檢測模型。

5.如權利要求1所述的方法，其特征在于，根據所述各人體關鍵點的深度信息和對應的二維坐標，確定所述各人體關鍵點的三維坐標，具體包括：

分別針對所述各人體關鍵點，基于已訓練的坐標轉換模型，以任意一人體關鍵點的二維坐標和深度信息為輸入參數，將所述二維坐標和所述深度信息進行合并，生成初始三維坐標，并通過各級全連接層回歸獲得該人體關鍵點相對于所述人體標定點的三維坐標，其中，所述坐標轉換模型中至少包括多級全連接層。

6.如權利要求5所述的方法，其特征在于，所述坐標轉換模型的訓練方式為：

獲取第二圖像樣本集，其中，所述第二圖像樣本集中至少包括多個二維坐標樣本、對應的深度信息樣本和坐標標簽；

分別針對各二維坐標樣本，將任意一個二維坐標樣本和對應的深度信息樣本輸入至初始的坐標轉換模型中，確定出該人體關鍵點的預測三維坐標，計算所述預測三維坐標與坐標標簽之間的誤差值，并調整所述初始的坐標轉換模型的各參數，直至計算出的誤差值最小化，獲得訓練完成的所述坐標轉換模型。

7.如權利要求1所述的方法，其特征在于，根據所述各人體關鍵點的深度信息和對應的二維坐標，確定所述各人體關鍵點的三維坐標，具體包括：

分別針對所述各人體關鍵點，根據任意一人體關鍵點的深度信息和二維坐標，以及預設的坐標映射信息，確定該人體關鍵點的三維坐標，其中，所述坐標映射信息表征人體關鍵點的深度信息、二維坐標與三維坐標之間的映射關系。