[發明專利]基于顏色和深度信息融合的物體六自由度位姿估計方法

有效

• 申請號: 201911399009.3
• 申請日: 2019-12-30
• 公開（公告）號: CN111179324B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 陳啟軍;周光亮;王德明;劉成菊
• 申請（專利權）人: 同濟大學
• 主分類號: G06V10/24
• 分類號: G06V10/24;G06V10/26;G06V10/42;G06V10/44;G06V10/56;G06V10/80;G06V10/82
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

1.一種基于顏色和深度信息融合的物體六自由度位姿估計方法，其特征在于，包括以下步驟：

S1、獲取目標物體的彩色圖像和深度圖像，對所述彩色圖像進行實例分割，得到實例分割結果；

S2、根據所述實例分割結果從彩色圖像中裁剪出包含目標物體的彩色圖像塊，同時從深度圖像中得到目標物體點云；

S3、從所述彩色圖像塊中提取彩色特征，并根據像素間的對應關系，將提取到的彩色特征在像素層面結合到所述目標物體點云上；

S4、對結合顏色特征的所述目標物體點云進行點云處理，得到若干個融合了彩色信息和深度信息的點云局部區域特征和一個全局特征，并將全局特征結合到各點云局部區域特征中；

S5、基于步驟S4獲得的點云局部區域特征預測目標物體的位姿和置信度，以置信度最高對應的位姿作為最終估計結果。

2.根據權利要求1所述的基于顏色和深度信息融合的物體六自由度位姿估計方法，其特征在于，步驟S1中，通過Mask?RCNN實例分割網絡對彩色圖像進行實例分割。

3.根據權利要求1所述的基于顏色和深度信息融合的物體六自由度位姿估計方法，其特征在于，步驟S2中，根據實例分割結果，使用分割掩膜的邊界框從原始的彩色圖像中裁剪出包含目標物體的彩色圖像塊。

4.根據權利要求1所述的基于顏色和深度信息融合的物體六自由度位姿估計方法，其特征在于，步驟S2中，根據相機內參，基于實例分割結果對深度圖像上的分割區域進行轉換，獲得目標物體點云。

5.根據權利要求1所述的基于顏色和深度信息融合的物體六自由度位姿估計方法，其特征在于，步驟S3中，利用基于自編碼器結構的深度網絡從彩色圖像塊中提取彩色特征。

6.根據權利要求5所述的基于顏色和深度信息融合的物體六自由度位姿估計方法，其特征在于，所述自編碼器結構包括依次連接的Resnet18、PSPNet和Upsample模塊。

7.根據權利要求1所述的基于顏色和深度信息融合的物體六自由度位姿估計方法，其特征在于，所述點云處理具體為：

從所述目標物體點云中選擇多個彼此距離最遠的點，以這些點為中心，選擇距離其最近的固定數量的點形成若干個局部區域，對每個局部區域提取點云局部區域特征，同時對各局部區域進行融合，提取一個全局特征。

8.根據權利要求7所述的基于顏色和深度信息融合的物體六自由度位姿估計方法，其特征在于，所述點云處理還包括：

將若干個局部區域匯合為若干個局部大區域，對每個局部大區域提取點云局部區域特征。

9.根據權利要求1所述的基于顏色和深度信息融合的物體六自由度位姿估計方法，其特征在于，步驟S4中，采用PointNet++網絡對目標物體點云進行點云處理。

10.根據權利要求9所述的基于顏色和深度信息融合的物體六自由度位姿估計方法，其特征在于，所述PointNet++網絡包括若干個集合抽象模塊，各集合抽象模塊包括依次設置的采樣層、分組層和PointNet網絡。