[發(fā)明專利]一種基于輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法及設(shè)備

在審

• 申請?zhí)枺?/td>: 202111656936.6
• 申請日: 2021-12-30
• 公開（公告）號(hào): CN114332209A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 陶波;唐晶;龔澤宇;尹周平
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06T7/70
• 分類號(hào): G06T7/70;G06N3/08;G06N3/04;G06F17/16
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 孔娜

1.一種輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法，其特征在于，該方法包括以下步驟：

(1)基于網(wǎng)絡(luò)收斂性指標(biāo)構(gòu)建輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型；

(2)對包含待抓取物體RGB-D信息和抓取位姿檢測框的抓取數(shù)據(jù)集進(jìn)行增強(qiáng)操作，基于增強(qiáng)后的包含抓取物體RGB-D信息和抓取位姿檢測框的抓取數(shù)據(jù)集來訓(xùn)練輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型；

(3)將所獲取的、未知物體的RGB-D圖像信息輸入訓(xùn)練好的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型，以得到RGB-D圖像對應(yīng)的抓取質(zhì)量特征圖、抓取角度特征圖及抓取寬度特征圖；

(4)索引抓取質(zhì)量特征圖中的抓取質(zhì)量最大的位置，同時(shí)基于抓取角度特征圖及抓取寬度特征圖確定抓取角度及夾爪寬度，繼而確定圖像坐標(biāo)系下機(jī)器人的抓取姿態(tài)；

(5)基于圖像坐標(biāo)系與機(jī)器人坐標(biāo)系之間的轉(zhuǎn)換關(guān)系及圖像坐標(biāo)系下機(jī)器人的抓取姿態(tài)計(jì)算獲得機(jī)器人坐標(biāo)系下的機(jī)器人抓取位姿。

2.如權(quán)利要求1所述的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法，其特征在于：未知物體的RGB-D圖像是通過本地的深度相機(jī)獲取的。

3.如權(quán)利要求1所述的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法，其特征在于：所述輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型由一個(gè)9*9卷積層、三個(gè)3*3MBconv塊、兩個(gè)5*5MBconv塊、兩個(gè)4*4反卷積層和一個(gè)9*9反卷積層順次連接構(gòu)成。

4.如權(quán)利要求1所述的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法，其特征在于：網(wǎng)絡(luò)收斂性指標(biāo)的計(jì)算公式為：

其中，對應(yīng)于普通卷積層和反卷積層的網(wǎng)絡(luò)收斂性指標(biāo)，對應(yīng)于殘差塊的網(wǎng)絡(luò)收斂性指標(biāo)，對應(yīng)于MBconv塊的網(wǎng)絡(luò)收斂性指標(biāo)。

5.如權(quán)利要求4所述的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法，其特征在于：

其中，d是卷積層的深度，為每層卷積層的維度，L是對應(yīng)殘差塊或者M(jìn)Bconv塊的個(gè)數(shù)，為殘差塊中非shortcut通路的放縮系數(shù)，η_SE為MBconv塊中SE層內(nèi)非shortcut通路的放縮系數(shù)，η_MB為MBconv塊中非shortcut通路的放縮系數(shù)。

6.如權(quán)利要求1所述的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法，其特征在于：訓(xùn)練過程中使用的損失函數(shù)為：

其中：

式中，是第i張圖片上的第k個(gè)抓取真實(shí)值，是模型對于第i張圖片上的第k個(gè)抓取的預(yù)測。

7.如權(quán)利要求1所述的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法，其特征在于：圖像坐標(biāo)系下機(jī)器人的抓取姿態(tài)為：

G_r＝(Q，P，Φ_r，W_r)

其中，Q是機(jī)器人抓取質(zhì)量分?jǐn)?shù)，P＝(x，y，z)是機(jī)器人坐標(biāo)系下機(jī)器人最優(yōu)抓取位置的中心，Φ_r是機(jī)器人末端抓取姿態(tài)在機(jī)器人坐標(biāo)系中的轉(zhuǎn)角，W_r是機(jī)器人末端執(zhí)行器在機(jī)器人坐標(biāo)系中所張開的角度。

8.如權(quán)利要求1所述的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的抓取位姿檢測方法，其特征在于：從圖像坐標(biāo)系到相機(jī)坐標(biāo)系間機(jī)器人抓取的轉(zhuǎn)換關(guān)系為:

G_r＝T_rc(T_ci(G_i))

其中，T_rc是從相機(jī)坐標(biāo)系到機(jī)器人坐標(biāo)系的轉(zhuǎn)換矩陣，T_ci是從RGB-D坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣；其中，

G_i＝(Q，S，Φ_i，W_i)

其中，Q是機(jī)器人抓取質(zhì)量分?jǐn)?shù)，S＝(u，v)是RGB-D圖像坐標(biāo)系下機(jī)器人最優(yōu)抓取位置的中心，Φ_i是機(jī)器人末端抓取姿態(tài)在圖像坐標(biāo)系中的轉(zhuǎn)角，W_i是機(jī)器人末端執(zhí)行器在圖像坐標(biāo)系中所張開的角度。