[發(fā)明專利]基于2D檢測的物體6D姿態(tài)估計方法、裝置及計算機設備

在審

• 申請?zhí)枺?/td>: 202011581497.2
• 申請日: 2020-12-28
• 公開（公告）號: CN112614184A
• 公開（公告）日: 2021-04-06
• 發(fā)明（設計）人: 徐楓;劉金輝;楊東
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/12;G06T7/13
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

1.一種基于2D檢測的物體6D姿態(tài)估計方法，其特征在于，包括：

響應于針對單張RGB圖像的物體6D姿態(tài)估計請求，從所述單張RGB圖像中裁剪出目標物體所在的圖像區(qū)域；

獲取所述圖像區(qū)域之中所述目標物體的2D關鍵點坐標；以及

根據所述目標物體的2D關鍵點坐標和已知目標物體三維模型上對應關鍵點的三維點坐標進行匹配，以計算出所述目標物體的6D姿態(tài)。

2.根據權利要求1所述的方法，其特征在于，所述從所述單張RGB圖像中裁剪出目標物體所在的圖像區(qū)域，包括：

將所述單張RGB圖像輸入至預先訓練的目標物體檢測器，獲得所述目標物體在所述單張RGB圖像之中的位置、以及針對所述目標物體的邊界預測框；

根據所述目標物體在所述單張RGB圖像之中的位置、以及所述目標物體的邊界預測框，從所述單張RGB圖像之中裁剪出所述目標物體所在的圖像區(qū)域。

3.根據權利要求1所述的方法，其特征在于，所述獲取所述圖像區(qū)域之中所述目標物體的2D關鍵點坐標，包括：

將所述圖像區(qū)域輸入至預設的關鍵點檢測網絡中，預測所述目標物體的2D關鍵點坐標；其中，所述關鍵點檢測網絡是使用已知訓練集中的2D關鍵點坐標和3D關鍵點坐標標注訓練的。

4.根據權利要求3所述的方法，其特征在于，所述關鍵點檢測網絡通過以下方式預先訓練獲得：

將單張RGB圖像樣本輸入至像素級投票神經網絡PVNet回歸得到語義分割結果和像素級預測單位方向向量；

根據所述語義分割結果找到目標對象的像素，并隨機選擇兩個像素，將所述選擇的兩個像素點對應的預測單位方向向量的交點作為關鍵點的假設，重復N次以生成N個關鍵點的假設；

對所述N個關鍵點的假設進行投票，以選出分數最高的假設作為對應關鍵點的2D坐標預測值；

根據所述關鍵點的2D坐標預測值和所述已知訓練集中對應2D關鍵點的坐標真實值，生成損失值；

根據所述損失值訓練所述像素級投票神經網絡PVNet，獲取網絡參數，并基于所述網絡參數形成所述關鍵點檢測網絡。

5.根據權利要求3或4所述的方法，其特征在于，還包括：

根據計算得到的所述目標物體的6D姿態(tài)與所述目標物體的真實6D姿態(tài)，生成針對6D姿態(tài)估計的損失值；

根據所述針對6D姿態(tài)估計的損失值，對所述關鍵點檢測網絡進行繼續(xù)訓練。

6.根據權利要求1所述的方法，其特征在于，所述根據所述目標物體的2D關鍵點坐標和已知目標物體三維模型上對應關鍵點的三維點坐標進行匹配，以計算出所述目標物體的6D姿態(tài)，包括：

根據所述目標物體的2D關鍵點坐標和已知目標物體三維模型上對應關鍵點的三維點坐標，使用PnP算法計算所述目標物體的6D姿態(tài)。

7.一種基于2D檢測的物體6D姿態(tài)估計裝置，其特征在于，包括：

第一獲取模塊，用于響應于針對單張RGB圖像的物體6D姿態(tài)估計請求，從所述單張RGB圖像中裁剪出目標物體所在的圖像區(qū)域；

第二獲取模塊，用于獲取所述圖像區(qū)域之中所述目標物體的2D關鍵點坐標；以及

估計模塊，用于根據所述目標物體的2D關鍵點坐標和已知目標物體三維模型上對應關鍵點的三維點坐標進行匹配，以計算出所述目標物體的6D姿態(tài)。

8.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時，實現如權利要求1-6中任一所述的基于2D檢測的物體6D姿態(tài)估計方法。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行時實現如權利要求1-6中任一所述的基于2D檢測的物體6D姿態(tài)估計方法。

10.一種計算機程序產品，當所述計算機程序產品中的指令由處理器執(zhí)行時，執(zhí)行如權利要求1-6中任一所述的基于2D檢測的物體6D姿態(tài)估計方法。