[發(fā)明專利]一種基于深度學(xué)習(xí)的雙臂協(xié)作抓取方法

有效

• 申請?zhí)枺?/td>: 202110943699.5
• 申請日: 2021-08-17
• 公開（公告）號: CN113771027B
• 公開（公告）日: 2023-03-31
• 發(fā)明（設(shè)計）人: 王萬良;錢宇彤;尤文波;屠杭垚;陳嘉誠;潘杰;趙燕偉
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J18/00;G06F18/25;G06N3/048;G06N3/045;G06N3/08;G06N3/082
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵

1.一種基于深度學(xué)習(xí)的雙臂協(xié)作抓取方法，包括如下步驟：

S1：構(gòu)建右機械臂的抓取檢測模型，實現(xiàn)對抓取位姿的估計，具體包括：

S11：抓取檢測模型主干網(wǎng)絡(luò)部分的設(shè)計：主干網(wǎng)絡(luò)部分以Darknet-53網(wǎng)絡(luò)為基礎(chǔ)，以提取目標(biāo)特征；

S12：抓取檢測模型特征融合部分的設(shè)計：特征融合部分的設(shè)計采用類似FPN的上采樣和融合的方式，融合了三種不同的特征尺度和/在多個尺度的特征融合圖上分別做獨立的抓取位置檢測，提升網(wǎng)絡(luò)在較小抓取位置處的檢測精度；

S13：抓取檢測模型輸出結(jié)果部分的設(shè)計：輸出結(jié)果部分采用多尺度預(yù)測的思想，讓S12中的三種不同特征尺度的特征圖分別經(jīng)歷一系列卷積操作后，將通道數(shù)減少到固定值，最后在此基礎(chǔ)上進行抓取框的預(yù)測；抓取框定義為：

R＝{x,y,w,h,confidence,c,α} (1)

其中，x與y分別表示抓取框中心點的橫坐標(biāo)與縱坐標(biāo)，w與h分別表示抓取框的寬度及長度，confidence表示該抓取框的置信度；將機械臂抓取旋轉(zhuǎn)角度θ的預(yù)測轉(zhuǎn)化為預(yù)測抓取框類別c和回歸部分具體角α的組合問題，定義為：

θ＝c×δ+α (2)

其中，c∈{0,1,2,...,n}，n∈N；將旋轉(zhuǎn)角度θ從0°～180°每間隔δ為一類，依次劃分為個類別；α表示檢測模型回歸預(yù)測的部分具體角度，α∈[0°,δ)；

S14：抓取檢測模型的損失函數(shù)設(shè)計：損失函數(shù)分為中心偏移損失L_xy、寬高損失L_wh、置信度損失L_con、類別損失L_class以及旋轉(zhuǎn)角部分具體角度損失L_α；上述損失函數(shù)定義為：

其中，S²表示網(wǎng)格的數(shù)量，B表示每個網(wǎng)格產(chǎn)生的候選框數(shù)量；表示第i個網(wǎng)格的第j個候選框是否負(fù)責(zé)這個對象的預(yù)測，如果負(fù)責(zé)預(yù)測，則/反之，則/σ()表示sigmoid函數(shù)；S²、B、σ()和/含義下同；λ_xy表示中心偏移損失的加權(quán)系數(shù)，/與/分別表示第i個網(wǎng)格的第j個候選框所預(yù)測的中心點橫、縱坐標(biāo)，/與/則表示相應(yīng)的真實候選框中心點橫、縱坐標(biāo)；其損失函數(shù)采用BCE損失函數(shù)；

其中，λ_wh表示寬高損失的加權(quán)系數(shù)，與/分別表示第i個網(wǎng)格的第j個候選框所預(yù)測的寬、高值，/與/則表示相應(yīng)的真實候選框的寬、高值；其損失函數(shù)采用MSE損失函數(shù)；

其中，λ_con表示置信度損失的加權(quán)系數(shù)；由于圖像中大部分內(nèi)容是不包含待檢測抓取框的，因此引入無對象加權(quán)系數(shù)λ_noobj，來避免模型傾向于預(yù)測網(wǎng)格內(nèi)無對象；表示第i個網(wǎng)格的第j個候選框所預(yù)測的置信度值，/則表示相應(yīng)的真實候選框的置信度值；

其中，λ_class表示類別損失的加權(quán)系數(shù)；表示第i個網(wǎng)格的第j個候選框所預(yù)測的類別，則表示相應(yīng)的真實候選框的類別；

其中，λ_α表示部分具體角度損失的加權(quán)系數(shù)；表示第i個網(wǎng)格的第j個候選框所預(yù)測的部分具體角，/則表示相應(yīng)的真實候選框的部分具體角；其損失函數(shù)采用SmoothL1函數(shù)；

故，模型總損失定義為：

L_detect＝L_xy+L_wh+L_con+L_c+L_α (8)

S2：構(gòu)建左機械臂的遮擋檢測模型，實現(xiàn)對移除遮擋物位姿的估計，具體包括：

S21：遮擋檢測模型網(wǎng)絡(luò)的設(shè)計：左機械臂的末端抓取結(jié)構(gòu)是一個依靠虹吸效應(yīng)的吸盤；也就是說，它在移除遮擋物的操作上不需要像右臂抓取那樣進行精確的抓取框計算；在這個情況下，以檢測精度的降低來換檢測速度的提高是一個不錯的策略；遮擋檢測模型網(wǎng)絡(luò)是在右機械臂的抓取檢測模型網(wǎng)絡(luò)的基礎(chǔ)上，通過對通道進行剪枝，減少網(wǎng)絡(luò)參數(shù)冗余得來；具體剪枝步驟如下：

S22：在S21中的模型網(wǎng)絡(luò)中，除了輸出結(jié)果部分外，其余每個卷積層后都有一個BN層；對這些卷積層進行帶比例因子的歸一化，具體定義如下：

其中，σ²和分別代表一個min-batch里的方差和均值，γ和β分別表示可訓(xùn)練的比例因子和偏移量；

S23：為了合理、有效地區(qū)分重要的通道和不重要的通道，通過對S22中比例因子γ使用sign()函數(shù)來進行通道稀疏性訓(xùn)練，具體定義如下：

其中，ξ是懲罰因子；

S24：引入全局閾值η和安全閾值μ；全局閾值用來確定是否要修剪特征通道，以控制修剪比例；安全閾值防止卷積層通道的過度修剪，并保持網(wǎng)絡(luò)連接的完整性；當(dāng)S23中的比例因子γ小于η與μ二者最小值時，開始修剪通道；

S25：根據(jù)全局閾值和安全閾值為所有卷積層初始化一個剪枝遮罩；丟棄原網(wǎng)絡(luò)結(jié)構(gòu)中的maxpool層與upsample層；route層按順序連接其接入層的剪枝遮罩，并將其接入層的遮罩作為route層的剪枝遮罩；保證所有與shortcut連接的圖層都有相同的通道數(shù)；

S26：在S25的基礎(chǔ)上，遮擋檢測模型還需要在訓(xùn)練集上進行參數(shù)微調(diào)以及手動剪枝；

S27：迭代S22至S26，直至結(jié)果合理、有效；

S3：S1與S2中的目標(biāo)檢測模型在實時檢測時，需要先對相機采集的輸入圖像進行尺寸上的預(yù)處理；最終目標(biāo)檢測模型預(yù)測得到待抓取物體、障礙物在像素坐標(biāo)系下的抓取位姿；

S31：模型的抓取框篩選算法設(shè)計：抓取框的篩選算法能解決同一圖像的多重抓取框問題，通過局部最大搜索，提取檢測結(jié)果中置信度最高的抓取框；

S4：采用ROS系統(tǒng)作為操作雙機械臂的通信系統(tǒng)；

S41：調(diào)用左臂遮擋檢測模型，識別有無遮擋物；若有，將遮擋物抓取框的位置和旋轉(zhuǎn)角通過ROS話題‘shadow’發(fā)送到訂閱該話題的左臂系統(tǒng),以便左臂展開移除遮擋物的操作；若無，則直接進入S43；

S42：再次調(diào)用遮擋檢測模型，確認(rèn)無遮擋物；若有，則重復(fù)S41操作；

S43：調(diào)用右臂抓取檢測模型，識別待抓取物體的抓取框；若有，將抓取框的位置和旋轉(zhuǎn)角通過ROS話題‘box’發(fā)送到訂閱該話題的右臂系統(tǒng)，以便右臂展開抓取操作；若無，則退出程序；

S44：重復(fù)S43操作至進程終止。

2.如權(quán)利要求1所述的一種基于深度學(xué)習(xí)的雙臂協(xié)作抓取方法，其特征在于：步驟S31所述的算法具體包括：

S311.按照置信度排列相應(yīng)的抓取框；

S312.選取最大的作為初始保留框，并刪除與其IOU大于設(shè)定閾值的框；

S313重復(fù)執(zhí)行步驟S312中操作，直至遍歷所有抓取框。