[發(fā)明專利]一種無監(jiān)督可遷移的3D視覺物體抓取方法

在審

• 申請?zhí)枺?/td>: 201911289276.5
• 申請日: 2019-12-16
• 公開（公告）號: CN112989881A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計）人: 張云飛;王衍軍;丁泉;吳雙;呂忠源
• 申請（專利權(quán)）人: 深圳慧智星晨科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06N3/04;G06N3/08;G06T7/11;G06T7/80
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種無監(jiān)督可遷移的3D視覺物體抓取系統(tǒng)，其特征在于所述系統(tǒng)包括(1)可解耦機械臂，(2)可與機械臂結(jié)合的RGBD(深度+彩色)攝像頭，(3)上位機控制系統(tǒng)。所述的機械臂(1)將與RGBD攝像頭(2)結(jié)合，得到的RGBD圖像輸入到上位機控制系統(tǒng)中(3)中，根據(jù)所設(shè)計的無監(jiān)督可遷移的3D視覺物體識別方法對抓取點中心及法向量進行估計，然后由機械臂(2)進行操縱，從而抓取到目標物體。

2.根據(jù)權(quán)利要求1所述的無監(jiān)督可遷移的3D視覺物體抓取方法，其特征在于該方法基于一種對抗性神經(jīng)網(wǎng)絡(luò)，以及對于新的目標物體，只用標注少量的測試集(無監(jiān)督)，便可以對目標物體進行識別抓取(可遷移)。該系統(tǒng)不僅適用于單目標物體抓取，也適用于多目標和混雜物體抓取。

3.根據(jù)權(quán)利要求1所述的無監(jiān)督可遷移的3D視覺物體抓取方法，其特征在于待抓取物體的識別抓取分為如下幾個步驟：

S1，獲取常見的混雜待抓取物體的4通道的RGBD圖像，人工標出待抓取物體的邊緣部分，作為源數(shù)據(jù)集。獲取項目所需的特定混雜待抓取物體，只對一小部分測試集進行邊緣標注，其余圖像不用標注，作為目標數(shù)據(jù)集。

S2，將源數(shù)據(jù)集和目標數(shù)據(jù)集的RGBD圖像輸入對抗性卷積神經(jīng)網(wǎng)絡(luò),訓練網(wǎng)絡(luò)同時對源數(shù)據(jù)集和目標數(shù)據(jù)集的物體邊緣進行準確識別。

S3，將RGBD攝像頭固定于機械臂末端或者固定支架上，標定RGBD攝像頭與機械臂之間的轉(zhuǎn)換矩陣。將待抓取混雜物體放置于機械臂的運動范圍內(nèi)以及RGBD攝像頭的視野范圍內(nèi)。

S4，拍攝待抓取物體的RGBD圖像，輸入S2中訓練好的神經(jīng)網(wǎng)絡(luò)進行邊緣識別。根據(jù)其邊緣識別結(jié)果，去除深度圖中的邊緣及背景平面，分割出待抓取物體。

S5，根據(jù)深度圖分割結(jié)果，識別待抓取物體中每個點的可抓取概率。

S6，選取可抓取概率最大點，計算該點的坐標及法向量，發(fā)送給機器人進行抓取。