[發明專利]一種基于透明物體深度補全的機械臂抓取試管方法

在審

• 申請號: 202310085582.7
• 申請日: 2023-01-12
• 公開（公告）號: CN116385518A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 陳洪波;顧趙鍵;朱萍;呂斌;董哲康;鄭軍科;邢峰;林冰晶
• 申請（專利權）人: 浙江方圓檢測集團股份有限公司
• 主分類號: G06T7/557
• 分類號: G06T7/557;B25J9/16;B25J15/08;B25J19/02;G06T7/73;G06N3/0464;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 沈淵琪

1.一種基于透明物體深度補全的機械臂抓取試管方法，其特征在于包括以下步驟：

(1)搭建透明深度補全模型；

(2)將補全后的點云投影回深度圖像，作為深度補全模塊的輸入進行訓練；

(3)利用深度相機獲取透明試管的彩色圖像和深度圖像并進行對齊，所述深度相機固定在機械臂末端；

(4)將步驟(1)搭建的深度補全模型移植到ROS開發平臺上，并加載步驟(2)中保存的網絡權重參數，對ROS中實時獲取到的試管圖像進行處理，獲得完整的深度圖像；

(5)機械臂訂閱步驟(3)中發布的話題得到試管的位置信息，結合試管頂部的中心坐標系(x_t,y_t,z_t)計算機械臂末端執行器進行抓取的位置，得到機械臂末端執行器在笛卡爾空間下的位姿信息；

(6)根據步驟(4)中得到的世界坐標系下的位姿信息，結合三次B樣條插值算法得到機械臂末端夾爪的軌跡信息。

2.根據權力要求1所述的一種基于透明物體深度補全的機械臂抓取試管方法，其特征在于所述透明深度補全模型包括點云補全模塊和深度補全模塊，所述點云補全模塊用于深度圖的預處理，所述深度補全模塊將由點云轉換而來的較為完整的深度數據輸入到深度補全模塊來進一步細化深度信息。

3.根據權力要求2所述的一種基于透明物體深度補全的機械臂抓取試管方法，其特征在于所述步驟(1)包括：

(11)構建點云補全模塊，將透明物體的深度反投影到點云，通過預測完整的點云形狀來估計正確的深度圖像；

(12)將投影后的稀疏點云作為點云補全模塊的輸入；

(121)針對步驟(12)中的無序的稀疏點云，構建一個3D網格將無序的點云信息轉換為能夠表示點云局部信息和結構的規則數據；

(122)定義一個Grid?G＝＜V,W＞，其中V、W分別表示Grid的頂點集和值集；

(123)判斷原始點云的坐標位置，計算每個頂點對應的權值；

(124)使用3D?CNN編碼器-解碼器結構來學習補全點云所需的特征數據，并通過Gridding?Reverse將Grid轉換為無序的點云；

(125)通過創建MLP來補全點云，并對粗糙點云進一步細化。

4.根據權力要求3所述的一種基于透明物體深度補全的機械臂抓取試管方法，其特征在于所述步驟(11)中，深度圖像的像素點在3D空間坐標的表征方程為：

其中(x,y,z)為空間中的一個三維坐標點，(x',y')為深度圖中的一個像素點坐標，D為深度值，f_x,f_y為相機內參；

步驟(122)中，其中表示網格中生成的每一個頂點，w_i則表示每一個頂點的權值；

步驟(123)中，原始點云為若點云中的一點p＝(x,y,z)的坐標位置滿足：

則將該點作為頂點v_i鄰域N_vi中的一點，每個頂點所對應的權值可以表示為：

其中

5.根據權力要求2-4任一所述的一種基于透明物體深度補全的機械臂抓取試管方法，其特征在于所述深度補全模塊采用編碼器-解碼器的架構，編碼器部分采用EfficientNet作為主干并構建了CECD模塊和CEC模塊，將RGB和深度圖像拼接后作為網絡的輸入，將深度數據輸入一個單通道的采樣模塊進行特征提取，并把對應分辨率的深度特征作為每一個CECD塊以及CEC塊的輸入；

解碼器為輕量級的RefineNet解碼器，主要由CRP模塊和FUSE模塊組成，其中CRP塊主要由1x1大小的卷積層和5x5大小的最大池化層構成，FUSE塊主要由倆個1x1大小的卷積層以及上采樣模塊組成，CEC模塊輸出的特征信息與原始深度信息結合作為解碼器的輸入，并恢復完整的深度信息。