[發(fā)明專利]一種基于端對(duì)端網(wǎng)絡(luò)的機(jī)器人視覺推理抓取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910093952.5
• 申請(qǐng)日: 2019-01-30
• 公開（公告）號(hào): CN109919151A
• 公開（公告）日: 2019-06-21
• 發(fā)明（設(shè)計(jì)）人: 蘭旭光;張翰博;周欣文;田智強(qiáng);鄭南寧
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 徐文權(quán)

1.一種基于端對(duì)端網(wǎng)絡(luò)的機(jī)器人視覺推理抓取方法，其特征在于，包括以下步驟：

步驟一：通過(guò)RGB圖像傳感器獲取當(dāng)前包含目標(biāo)物體的場(chǎng)景圖像；

步驟二：通過(guò)深度卷積網(wǎng)絡(luò)算法，提取場(chǎng)景圖像的圖片特征；

步驟三：通過(guò)感興趣區(qū)域提取網(wǎng)絡(luò)，獲取場(chǎng)景圖像的感興趣區(qū)域；

步驟四：基于感知網(wǎng)絡(luò)，通過(guò)物體檢測(cè)器和抓取檢測(cè)器，獲取當(dāng)前場(chǎng)景中所有目標(biāo)物體的位置和對(duì)應(yīng)的抓取部位；

步驟五：以步驟三的物體檢測(cè)結(jié)果的感興趣區(qū)域?yàn)榛A(chǔ)，完成當(dāng)前場(chǎng)景操作關(guān)系樹的構(gòu)建過(guò)程；

步驟六：根據(jù)物體檢測(cè)和抓取檢測(cè)結(jié)果，結(jié)合場(chǎng)景操作關(guān)系樹，規(guī)劃抓取順序，并實(shí)施抓取。

2.根據(jù)權(quán)利要求1所述的基于端對(duì)端網(wǎng)絡(luò)的機(jī)器人視覺推理抓取方法，其特征在于：步驟二具體過(guò)程如下：

使用在視覺操作關(guān)系檢測(cè)數(shù)據(jù)集上訓(xùn)練獲取的深度卷積網(wǎng)絡(luò)算法，并以RGB圖像為輸入，進(jìn)行網(wǎng)絡(luò)的前向傳播過(guò)程，通過(guò)多層卷積和五層池化，以第五卷積階段的輸出C5作為最終的圖像特征。

3.根據(jù)權(quán)利要求2所述的基于端對(duì)端網(wǎng)絡(luò)的機(jī)器人視覺推理抓取方法，其特征在于：步驟三具體過(guò)程如下：

以第五卷積階段的輸出C5作為RPN的輸入，通過(guò)卷積操作，獲取感興趣區(qū)域候選項(xiàng)，包括定位和置信度；通過(guò)非最大值抑制技術(shù)合并重合度較大的感興趣區(qū)域候選項(xiàng)；在剩余所得的所有候選項(xiàng)中，選取置信度較高的感興趣區(qū)域候選項(xiàng)作為提取網(wǎng)絡(luò)的輸出。

4.根據(jù)權(quán)利要求2所述的基于端對(duì)端網(wǎng)絡(luò)的機(jī)器人視覺推理抓取方法，其特征在于：步驟四具體過(guò)程如下：

以第五卷積階段的輸出C5和步驟二中所得的感興趣區(qū)域同時(shí)輸入物體檢測(cè)器，得到場(chǎng)景物體檢測(cè)結(jié)果，包括物體定位和類別置信度；以第五卷積階段的輸出C5和步驟二中所得的感興趣區(qū)域同時(shí)輸入抓取檢測(cè)器，在每個(gè)感興趣區(qū)域中提取屬于該感興趣區(qū)域的抓取部位，包括抓取部位的定位和置信度。

5.根據(jù)權(quán)利要求2所述的基于端對(duì)端網(wǎng)絡(luò)的機(jī)器人視覺推理抓取方法，其特征在于：步驟五具體過(guò)程如下：

使用第五卷積階段的輸出C5和物體檢測(cè)結(jié)果作為輸入，通過(guò)物體對(duì)池化層，獲取任意物體對(duì)的特征組合，并將其送入視覺操作關(guān)系推理網(wǎng)絡(luò)，完成對(duì)場(chǎng)景中任意物體對(duì)間關(guān)系的推理和判定，最終通過(guò)融合所有物體對(duì)間的關(guān)系，完成場(chǎng)景中操作關(guān)系樹的構(gòu)建。

6.根據(jù)權(quán)利要求1所述的基于端對(duì)端網(wǎng)絡(luò)的機(jī)器人視覺推理抓取方法，其特征在于：所述的深度卷積網(wǎng)絡(luò)算法為ResNet-101網(wǎng)絡(luò)或者VGG16網(wǎng)絡(luò)。