[發明專利]一種機械臂抓取物體實時三維重建方法

有效

• 申請號: 202110562896.2
• 申請日: 2021-05-24
• 公開（公告）號: CN113313815B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 崔林艷;郭政航;賴嵩
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/187
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 張乾楨;江亞平

1.一種機械臂抓取物體實時三維重建方法，其特征在于，包括以下步驟：

(1)利用RGB-D深度相機獲取場景深度信息和彩色圖像，基于深度信息進行實時背景分割，將背景從重建場景中剔除，僅保留動態物體；

(2)針對步驟(1)保留的動態物體，通過對動態物體實時位姿解算，獲取動態物體三維點云模型；方法如下：通過RGB-D深度相機通過紅外結構光原理測量像素距離，求得點在相機坐標系下的三維坐標；為減少對計算設備的壓力和保證三維重建的實時性，對相機坐標系下的點云中的點進行采樣，并對采樣后的點分別計算點云法線，采用三維點云法線方向上的ICP配準加二維RGB圖像光流法進行聯合結算，在保證實時性的同時，精確求解空間中物體運動姿態，最終推出世界坐標系下的點云位置，獲取動態物體三維點云模型，提高了機械臂抓取物體實時三維重建精度；

(3)針對步驟(2)獲取的動態物體三維點云模型，剔除動態物體三維點云模型中的機械爪，獲得機械臂抓取物體的三維點云模型；方法如下：

待重建的機械臂抓取目標物體與機械爪緊密接觸，二者同時出現在相機視場范圍內；在進行目標物體點云數據獲取時，同時會對機械爪進行點云重建；

3.1)對步驟2)獲取的動態物體三維點云模型進行聚類，首先，確定區域生長的初始種子點，先計算所有點的曲率，再依據點的曲率值對點進行排序，把曲率值最小的點設為種子點，曲率最小的點位于平坦區域，把種子點設在此處，能夠減少區域的總數，提高效率；其次，在確定出始種子點后，搜索種子點的鄰域點，對比每一個鄰域點與當前種子點之間的顏色差異，如果小于設定閾值，則將該鄰域點加入到當前區域，檢查每一個鄰域點的曲率值，小于設定曲率閾值的點成為新的種子點，并刪除之前種子點；最后，從新的種子點繼續增長，重復之前步驟，直到沒有新的種子點產生，完成了第一次顏色聚類；

在第一次聚類基礎上，對比相鄰區域的平均顏色，如果兩個鄰域的平均顏色小于設定閾值則將兩個區域合并，再檢查每一個區域點的數量，如果區域中點的數量少于設定的閾值則將該區域與最近鄰區域合并，完成最終聚類；

3.2)對3.1)聚類結果進行判別，判別出待重建目標和機械爪，機械爪抓取到目標物體后，將目標物體放置在相機前方適當距離，并將物體進行旋轉，此過程中機械爪位置一直位于目標物體上方，因此通過比較不同聚類點云的質心高度對目標物體所屬聚類進行判斷；在進行比較之前，由于所獲取點云的主方向不一定與相機坐標系的坐標軸重合，因此不便直接對點云數據的某一幾何維度進行比較；為了保證判斷結果的準確性，首先計算所獲取的機械臂與物體點云的主方向，利用主成分分析法獲得所有點云的三個主方向，獲取質心，計算協方差矩陣，求取協方差矩陣的特征值，最大的特征值對應的特征向量即為主方向；再利用所獲得的主方向和質心，將輸入點云轉換至原點，且主方向與坐標系方向重合，此時所得到的質心高度最低的聚類，即為目標物體所屬的劃分；

3.3)利用兩次分割算法，對小于預定體積的目標物體點云進行有效分割；機械爪對于體積較小的目標物體遮擋程度較高，同時相機傳感器很難在目標物體與機械爪接觸的部分準確的獲取目標物體的顏色信息，造成部分機械爪殘留；采取兩次分割的方法實現體積小于預定體積的目標物體的三維重建效果；在第一次分割中，提高顏色閾值和最小聚類的點云數量，降低分割的精細度，實現對大部分機械爪點云的去除，同時不產生過多的聚類數目，降低分割結果判斷難度，提高算法魯棒性；在第二次分割中，降低區域生長算法的顏色閾值和最小聚類的點云數目，進一步將機械爪和目標物體分開，剔除大部分機械爪；根據殘留機械爪點云數量遠遠少于目標物體點云的先驗信息，通過比較不同聚類的點云數目對聚類結果進行篩選，保留點云數目最多的聚類結果，獲得目標物體點云模型。

2.根據權利要求1所述的機械臂抓取物體實時三維重建方法，其特征在于：所述步驟(1)中，利用RGB-D深度相機獲取場景深度信息和彩色圖像，通過基于深度信息的實時背景分割技術，將背景從重建場景中剔除，僅保留動態物體，方法如下：

利用RGB-D深度相機獲取場景深度信息和彩色圖像信息，得到深度圖和彩色圖；基于深度信息進行靜態背景分割，將背景從重建場景中剔除，僅保留動態物體，在此基礎上再進行動態物體的三維重建；首先對RGB-D深度相機采集到的數據進行深度提取，對深度信息進行預處理，將深度圖與彩色圖對齊；然后根據先驗信息設定分割深度距離大小，改變深度圖的局部深度分布；最后依照處理后的深度圖對彩色圖進行像素級別的分割；為保證能夠完全剔除背景，深度分割模塊將設定距離之外的深度賦值為無窮遠，在保證精確性的基礎上又保證實時性。