[發明專利]一種基于透明物體深度補全的機械臂抓取試管方法

在審

• 申請號: 202310085582.7
• 申請日: 2023-01-12
• 公開（公告）號: CN116385518A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 陳洪波;顧趙鍵;朱萍;呂斌;董哲康;鄭軍科;邢峰;林冰晶
• 申請（專利權）人: 浙江方圓檢測集團股份有限公司
• 主分類號: G06T7/557
• 分類號: G06T7/557;B25J9/16;B25J15/08;B25J19/02;G06T7/73;G06N3/0464;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 沈淵琪

本發明公開一種基于透明物體深度補全的機械臂抓取試管方法，其特征在于包括以下步驟：搭建透明深度補全模型；將補全后的點云投影回深度圖像；利用深度相機獲取透明試管的彩色圖像和深度圖像并進行對齊；將深度補全模型移植到ROS開發平臺上，并加載網絡權重參數，對ROS中實時獲取到的試管圖像進行處理，獲得完整的深度圖像；機械臂得到試管的位置信息，結合試管頂部的中心坐標系(xsubgt;t/subgt;,ysubgt;t/subgt;,zsubgt;t/subgt;)計算機械臂末端執行器進行抓取的位置，得到機械臂末端執行器在笛卡爾空間下的位姿信息；根據得到的世界坐標系下的位姿信息，結合三次B樣條插值算法得到機械臂末端夾爪的軌跡信息。本方法能夠較為準確的估計出透明試管的位置信息，快速規劃出對應的抓取軌跡完成抓取。

技術領域

本發明屬于深度相機應用技術領域，具體是一種基于透明物體深度補全的機械臂抓取試管方法。

背景技術

化學分析實驗室中機器人的運用主要是機械手臂的抓取和移動。面對實驗室儀器設備多樣、擺放位置易變等復雜多變的環境，嚴重影響著機械臂抓取的成功率。試管是每個化學實驗室常用的儀器，實驗過程中的很多步驟都需要用到試管。然而，試管作為透明物體，具有獨特的視覺特性，這使得通用的RGB-D相機很難捕捉到其完整的深度信息。

透明物體所具有的獨特視覺特性，如折射和反射等，使得傳統的RGBD相機無法準確的獲取其深度信息。相機獲得的透明物體深度往往表現為穿過其表面背后的深度信息，或由鏡面高光引起的深度缺失。針對在化學實驗室使用的自動抓取機器人，其所使用的自動識別方式一般是通過分析各個物體表面的深度信息來定位所要抓取的位置，然而透明試管所有的視覺特性，使得傳統的算法很難得到理想的深度值，缺乏一定的靈活性和穩定性。隨著深度學習在圖像處理方面的應用不斷深入，對于透明物體的深度能進行比較完整的補全，且能應對各種復雜多變的實驗室環境，因此采用深度學習的方法對透明試管的數據進行處理能夠大幅度增加機械臂抓取的成功率。

發明內容

為了彌補現有技術的不足，本發明通過深度相機實時采集試管表面的深度信息和彩色信息，同時提出一種基于透明物體深度補全的機械臂抓取試管方法，通過深度補全網絡，對透明試管數據進行處理并得到完整的深度圖，根據獲得的深度數據推斷出試管的位置信息，再根據3D空間旋轉原理計算得到試管的抓取位姿信息，然后通過插值算法對機械臂末端軌跡進行規劃，并通過逆運動學得到關節空間內的運動信息，最后控制機械臂完成試管抓取。

所述的一種基于透明物體深度補全的機械臂抓取試管方法，其特征在于包括以下步驟：

(1)搭建透明深度補全模型；

(2)將補全后的點云投影回深度圖像，作為深度補全模塊的輸入進行訓練；

(3)利用深度相機獲取透明試管的彩色圖像和深度圖像并進行對齊，所述深度相機固定在機械臂末端；

(4)將步驟(1)搭建的深度補全模型移植到ROS開發平臺上，并加載步驟(2)中保存的網絡權重參數，對ROS中實時獲取到的試管圖像進行處理，獲得完整的深度圖像；

(5)機械臂訂閱步驟(3)中發布的話題得到試管的位置信息，結合試管頂部的中心坐標系(x_t,y_t,z_t)計算機械臂末端執行器進行抓取的位置，得到機械臂末端執行器在笛卡爾空間下的位姿信息；

(6)根據步驟(4)中得到的世界坐標系下的位姿信息，結合三次B樣條插值算法得到機械臂末端夾爪的軌跡信息。

進一步的，所述透明深度補全模型包括點云補全模塊和深度補全模塊，所述點云補全模塊用于深度圖的預處理，所述深度補全模塊將由點云轉換而來的較為完整的深度數據輸入到深度補全模塊來進一步細化深度信息。

進一步的，所述步驟(1)包括：