[發(fā)明專利]一種基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法及設(shè)備

在審

• 申請?zhí)枺?/td>: 202111656936.6
• 申請日: 2021-12-30
• 公開（公告）號: CN114332209A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計）人: 陶波;唐晶;龔澤宇;尹周平
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06N3/08;G06N3/04;G06F17/16
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 孔娜

本發(fā)明屬于機(jī)器人抓取位姿檢測相關(guān)技術(shù)領(lǐng)域，其公開了一種基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法及設(shè)備，包括以下步驟：(1)基于網(wǎng)絡(luò)收斂性指標(biāo)構(gòu)建模型；(2)基于包含待抓取物體RGB?D信息和抓取位姿檢測框的抓取數(shù)據(jù)集來訓(xùn)練模型；(3)基于未知物體的RGB?D圖像及模型得到抓取質(zhì)量特征圖、抓取角度特征圖及抓取寬度特征圖；(4)索引抓取質(zhì)量最大的位置，基于此確定抓取角度及夾爪寬度，繼而確定機(jī)器人的抓取姿態(tài)；(5)計算獲得機(jī)器人坐標(biāo)系下的機(jī)器人抓取位姿。該模型參數(shù)量及浮點計算數(shù)目少，能夠在計算和存儲資源受限的邊緣計算設(shè)備上實現(xiàn)未知物體的實時抓取位姿估計，賦能基于邊緣計算設(shè)備的針對未知物體的機(jī)器人抓取領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器人抓取位姿檢測相關(guān)技術(shù)領(lǐng)域，更具體地，涉及一種基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法及設(shè)備。

背景技術(shù)

機(jī)器人自主抓取技術(shù)在現(xiàn)實生產(chǎn)生活中應(yīng)用十分廣泛，作為機(jī)器人技術(shù)中最具挑戰(zhàn)性的任務(wù)之一，其對推動工業(yè)智能化發(fā)展也有著重要的戰(zhàn)略意義。傳統(tǒng)的機(jī)器人自主抓取多基于人工示教或者機(jī)器視覺等方法實現(xiàn)，這些方法適用于單一的生產(chǎn)環(huán)境，難以應(yīng)用于大型柔性工業(yè)生產(chǎn)場景。

卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的多層前饋神經(jīng)網(wǎng)絡(luò)，其網(wǎng)絡(luò)層中包含有卷積層而因此得名，由于其具有平移不變性的特點，也被一些學(xué)者稱為平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)。針對卷積神經(jīng)網(wǎng)絡(luò)的研究從二十世紀(jì)80年代就開始了，經(jīng)過近三十多年眾多科研工作者的不懈努力，卷積神經(jīng)網(wǎng)絡(luò)相關(guān)的理論體系已經(jīng)被不斷完善，其應(yīng)用場景也被不斷發(fā)掘。但是現(xiàn)有用于機(jī)器人抓取位姿估計的卷積神經(jīng)網(wǎng)絡(luò)模型大多過參數(shù)化，需要較大算力。

目前本領(lǐng)域相關(guān)技術(shù)人員已經(jīng)做了一些研究，如中國專利201910585483.9提出了一種基于四級串聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的靈巧手抓取規(guī)劃方法，其步驟包括：獲取抓取框數(shù)據(jù)集以及抓取手勢數(shù)據(jù)集，分別對前三級卷積神經(jīng)網(wǎng)絡(luò)和第四級卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，確定網(wǎng)絡(luò)的參數(shù)，得到靈巧手的抓取模型；其中，所提出的四級串聯(lián)卷積神經(jīng)網(wǎng)絡(luò)中，前三級卷積神經(jīng)網(wǎng)絡(luò)用于獲取目標(biāo)物的最佳抓取框；第四級用于預(yù)測靈巧手的抓取手勢，以多輸入的網(wǎng)絡(luò)獲取多種抓取特征，從而根據(jù)目標(biāo)物被抓取部位圖像信息和靈巧手位姿信息，預(yù)測當(dāng)前狀態(tài)下的抓取手勢，該專利能實現(xiàn)對未知物體的精細(xì)抓取，使得靈巧手抓取不受未知物體限制，從而提高了靈巧手的抓取成功率；但是其難以抓取沒有先驗知識的未知物體，同時由于其網(wǎng)絡(luò)模型較大的問題，難以部署到邊緣側(cè)設(shè)備進(jìn)行抓取位姿的計算。又如中國專利202010690489.5提出了一種基于雙通路卷積神經(jīng)網(wǎng)絡(luò)的服務(wù)機(jī)器人抓取檢測方法，該方法包括：獲取周圍環(huán)境的原始彩色圖像和原始深度圖像，并將原始彩色圖像轉(zhuǎn)換為原始灰度圖像；獲取目標(biāo)物體包圍框，并得到第一深度圖像區(qū)域、第一灰度圖像區(qū)域；將圖像區(qū)域調(diào)整至設(shè)定尺寸；對調(diào)整尺寸的圖像區(qū)域進(jìn)行編碼，并相加；將相加后的特征圖進(jìn)行解碼，得到抓取質(zhì)量特征圖、寬度特征圖、高度特征圖、第一角度特征圖、第二角度特征圖；得到最佳抓取矩形及其在原始彩色圖像中對應(yīng)的最佳抓取檢測框，實現(xiàn)對目標(biāo)物體的抓取檢測。該方法亦存在網(wǎng)絡(luò)模型較大，難以部署到邊緣計算設(shè)備的問題，難以應(yīng)用于邊緣側(cè)工業(yè)機(jī)器人的抓取。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法及設(shè)備，其解決了當(dāng)前工業(yè)機(jī)器人對于未知物體抓取姿態(tài)估計困難、所需計算設(shè)備要求高的問題。

為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法，所述檢測方法主要包括以下步驟：

(1)基于網(wǎng)絡(luò)收斂性指標(biāo)構(gòu)建輕量級卷積神經(jīng)網(wǎng)絡(luò)模型；

(2)對包含待抓取物體RGB-D信息和抓取位姿檢測框的抓取數(shù)據(jù)集進(jìn)行增強(qiáng)操作，基于增強(qiáng)后的包含抓取物體RGB-D信息和抓取位姿檢測框的抓取數(shù)據(jù)集來訓(xùn)練輕量級卷積神經(jīng)網(wǎng)絡(luò)模型；

(3)將所獲取的、未知物體的RGB-D圖像信息輸入訓(xùn)練好的輕量級卷積神經(jīng)網(wǎng)絡(luò)模型，以得到RGB-D圖像對應(yīng)的抓取質(zhì)量特征圖、抓取角度特征圖及抓取寬度特征圖；