[發明專利]一種無監督可遷移的3D視覺物體抓取方法

在審

• 申請號: 201911289276.5
• 申請日: 2019-12-16
• 公開（公告）號: CN112989881A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 張云飛;王衍軍;丁泉;吳雙;呂忠源
• 申請（專利權）人: 深圳慧智星晨科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06N3/04;G06N3/08;G06T7/11;G06T7/80
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種無監督可遷移的3D視覺物體抓取方法。系統由一個RGBD(彩色+深度)攝像頭、一個工業機械臂、和上位機控制系統組成。方法包括以下步驟(1)獲取常見的混雜待抓取物體的4通道的RGBD圖像，人工標出待抓取物體的邊緣部分，作為源數據集；(2)獲取項目所需的特定混雜待抓取物體，只對一小部分測試集進行邊緣標注，其余圖像不用標注，作為目標數據集；(3)將源數據集和目標數據集的RGBD圖像輸入對抗性卷積神經網絡,訓練網絡同時對源數據集和目標數據集的物體邊緣進行準確識別；(4)去除深度圖中的邊緣及背景平面，分割出待抓取物體；(5)根據深度圖分割結果，識別待抓取物體中每個點的可抓取概率；(6)選取可抓取概率最大點，計算該點的坐標及法向量，發送給機器人進行抓取。

技術領域

本發明涉及一種無監督可遷移的3D視覺物體抓取方法，屬于機器人視覺抓取領域。

背景技術

產品生產過程中，混雜物體分揀是非常重要的環節，該環節直接影響產品生產線的生產速度。目前工業中的混雜物體分揀很多還是由分揀工人完成，但是人工分揀存在很多問題，例如重復勞動的疲勞問題及心理問題，長時間工作的效率問題，人工成本問題。在這樣的背景下，能夠自動識別并分揀混雜物體的機器人便尤為重要。相比于人工分揀，機器人自動分揀的適用范圍更廣，可以適應工廠特殊環境，工作時間長且穩定可靠。

通過對已公開的文獻、專利和工業產品調研發現，機器人自動分揀主要采用視覺抓取的方式，而視覺抓取主要分為兩種：基于2D視覺的伺服抓取方式和基于3D視覺的直接抓取方式。基于2D視覺伺服抓取方式是將相機固定于機械臂上，通過對比識別采集到的圖像與目標圖像的差別，從而判斷出機械臂應該改變的位姿，并發送給機械臂進行調整。然而視覺伺服控制機械臂進行混雜分揀的方法還存在以下不足：

1、傳統的2D視覺只能測量出物體的2D位置，無法測量出物體的遠近，因此很難重建出待抓取物體的具體位置，給抓取造成了較大困難。

2、視覺伺服需要進行多次迭代，抓取速度低。

3、2D視覺對光線和紋理比較敏感，容易造成錯誤識別。

3D機器視覺可以解決上述問題，因為3D相機可以直接測量出目標點的3D位置，從而可以直接作為目標位姿輸入給機器人進行抓取。同時，由于3D相機一般有主動投射光源，因此受光線，紋理影響較小，比如3D相機可以在黑夜中進行工作，因此比2D相機的魯棒性更高。基于3D視覺的直接抓取方式是將相機固定于支架上，采集當前物體的RGBD圖像，通過傳統的幾何算法或者神經網絡分割出目標物體，然后計算出目標物體幾何中心對應的中心點坐標和法向量，發送給機械臂，從而抓取目標物體。然而傳統的幾何算法和基于神經網絡的物體識別方法還有以下不足：

1、當前深度攝像頭分辨率還較低，基于深度圖的幾何分割方法很難識別貼合緊密的物體，很難達到高精度分割的要求。

2、傳統的幾何算法泛化能力不足，識別不同的目標物體可能需要設計不同的幾何算法。

3、基于神經網絡的物體識別方法一般需要標注大量的數據，對每一類新物體都要重新進行數據標注，浪費大量的人力物力。

4、傳統的抓取點估計算法一般會計算物體的幾何中心，然而這種傳統方法只適用于凸幾何體，對于包含有凹形的幾何體，其幾何中心可能會在物體外部。

發明內容

本發明需要解決混雜物體視覺分揀的問題，研制一種無監督，可遷移的3D視覺物體抓取方法，可以用于不同目標物體的混雜分揀。

本發明解決其技術問題所采用的技術方案是：

一種無監督可遷移的3D視覺物體抓取方法包括：(1)可解耦機械臂，(2)可與機械臂結合的RGBD(深度+彩色)攝像頭，(3)上位機控制系統。