[發明專利]基于顏色和深度信息融合的物體六自由度位姿估計方法

有效

• 申請號: 201911399009.3
• 申請日: 2019-12-30
• 公開（公告）號: CN111179324B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 陳啟軍;周光亮;王德明;劉成菊
• 申請（專利權）人: 同濟大學
• 主分類號: G06V10/24
• 分類號: G06V10/24;G06V10/26;G06V10/42;G06V10/44;G06V10/56;G06V10/80;G06V10/82
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

本發明涉及一種基于顏色和深度信息融合的物體六自由度位姿估計方法，包括以下步驟：獲取目標物體的彩色圖像和深度圖像，對彩色圖像進行實例分割；從彩色圖像中裁剪出包含目標物體的彩色圖像塊，同時從深度圖像中得到目標物體點云；從彩色圖像塊中提取彩色特征，在像素層面結合到目標物體點云上；對目標物體點云進行點云處理，得到若干個融合彩色信息和深度信息的點云局部區域特征和一個全局特征，并將全局特征結合到點云局部區域特征中；每個局部特征預測一個目標物體的位姿和置信度，以置信度最高對應的位姿作為最終估計結果。與現有技術相比，本發明結合彩色信息和深度信息，并且通過結合局部特征和全局特征的方式預測物體位姿，具有魯棒性強、準確度高等優點。

技術領域

本發明涉及機器人視覺領域，尤其是涉及一種基于顏色和深度信息融合的物體六自由度位姿估計方法。

背景技術

基于計算機視覺的物體六自由度位姿(物體相對于相機坐標系的三維平移和旋轉變換參數共計六個自由度)估計技術使機器人能夠從三維層面感知周圍的環境，是實現機器人抓取和靈巧操作的關鍵技術，對于推動服務機器人、工業機器人的應用有著重要意義。此外，該技術在自動駕駛、增強現實、虛擬現實技術等領域，也有廣闊的應用前景。

現有物體位姿估計技術主要有以下幾種：

一是基于模板匹配的方法：該方法將在線采集的圖像和離線制作好的模板進行特征匹配，根據匹配的模板確定物體的位姿；現有的此類方法存在以下問題：該方法在背景雜亂、物體混雜堆疊的情況下很難準確地把目標物體匹配到，魯棒性不高；模板匹配的時間會隨著模板數量的增加而急劇上升，很難滿足實時性的要求。

二是基于關鍵點對應的方法：該方法首先在彩色圖像中預測二維特征點，然后利用二維特征點和模型上的點的對應關系，利用PnP算法求解物體的六自由度位姿；現有的此類方法主要存在以下問題：傳統的關鍵點檢測方法難以檢測出無紋理或者弱紋理物體上的二維特征點；基于深度學習的方法對于關鍵點的檢測也易受到物體相互遮擋的影響，導致在此種情況下魯棒性不高。

三是直接回歸的方法：該方法將彩色圖像作為深度網絡的輸入，直接回歸物體的六自由度位姿；現有的此類方法主要存在以下問題：當被估測位姿的物體所處的背景雜亂且有互相堆疊時，用于估計位姿的信息除了物體本身外，不可避免的會包含背景和其他堆疊物體的信息，這對特征提取帶來了極大的影響，進而降低了物體位姿估計的精度，因此該類方法最后對初步預估結果進行位姿精修以修正預測的位姿，但位姿精修過程耗時較長，降低了算法的效率。

發明內容

本發明的目的在于克服上述現有技術存在的缺陷而提供一種基于顏色和深度信息融合的物體六自由度位姿估計方法，消除了雜亂背景和物體相互遮擋對于物體位姿估計的不利影響。

本發明的目的可以通過以下技術方案來實現：

一種基于顏色和深度信息融合的物體六自由度位姿估計方法，包括以下步驟：

S1、獲取目標物體的彩色圖像和深度圖像，對所述彩色圖像進行實例分割，得到實例分割結果；

S2、根據所述實例分割結果從彩色圖像中裁剪出包含目標物體的彩色圖像塊，同時從深度圖像中得到目標物體點云；

S3、從所述彩色圖像塊中提取彩色特征，并根據像素間的對應關系，將提取到的彩色特征在像素層面結合到所述目標物體點云上；

S4、對結合顏色特征的所述目標物體點云進行點云處理，得到若干個融合了彩色信息和深度信息的點云局部區域特征和一個全局特征，并將全局特征結合到各點云局部區域特征中；

S5、基于步驟S4獲得的點云局部區域特征預測目標物體的位姿和置信度，以置信度最高對應的位姿作為最終估計結果。

進一步地，步驟S1中，通過Mask?RCNN實例分割網絡對彩色圖像進行實例分割。