[發(fā)明專利]一種基于深度學(xué)習(xí)目標(biāo)檢測與圖像分割的機械手抓取方法

有效

• 申請?zhí)枺?/td>: 202211649680.0
• 申請日: 2022-12-21
• 公開（公告）號: CN115816460B
• 公開（公告）日: 2023-06-09
• 發(fā)明（設(shè)計）人: 徐本連;趙康;李震;魯明麗;從金亮;吳迪;周理想
• 申請（專利權(quán)）人: 蘇州科技大學(xué)
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06T1/00;G06T7/13;G06T7/194;G06T7/73;G06V10/82;G06V10/774;G06V10/766;G06N3/045;G06N3/082
• 代理公司: 哈爾濱市陽光惠遠(yuǎn)知識產(chǎn)權(quán)代理有限公司 23211
• 代理人: 呂永芳

1.一種基于深度學(xué)習(xí)目標(biāo)檢測與圖像分割的機械手抓取方法，其特征在于，所述方法包括：

步驟S1：利用機械手自帶拍攝設(shè)備采集包含有待抓取目標(biāo)的圖像，并利用基于深度學(xué)習(xí)YOLOv4的目標(biāo)檢測網(wǎng)絡(luò)輸出待抓取目標(biāo)的檢測框；所述機械手自帶拍攝設(shè)備包括深度相機；

步驟S2：以YOLOv4的目標(biāo)檢測網(wǎng)絡(luò)輸出待抓取目標(biāo)的檢測框作為GrabCut算法的先驗框，將待抓取目標(biāo)從背景中分割出來；

步驟S3：對分割出來的待抓取目標(biāo)進行邊緣提取，以繪制其邊緣輪廓的最小外接矩形；

步驟S4：以待抓取目標(biāo)邊緣輪廓的最小外接矩形的中心點作為機械手抓取點位置，結(jié)合機械手自帶拍攝設(shè)備與機械手末端的位置關(guān)系計算機械手抓取點坐標(biāo)，進而實現(xiàn)對應(yīng)的抓取任務(wù)；

所述步驟S1中的基于深度學(xué)習(xí)YOLOv4的目標(biāo)檢測網(wǎng)絡(luò)包括四部分，輸入端、主干部分、頸部、和頭部；其中輸入端利用馬賽克數(shù)據(jù)增強和自對抗訓(xùn)練策略SAT以豐富檢測數(shù)據(jù)集；主干部分采用CSPDarknet53網(wǎng)絡(luò)框架作為網(wǎng)絡(luò)提取骨干用于特征提取；頸部采用空間金字塔池化模塊SPP融合不同尺度大小的特征圖、增加主干特征的接收范圍，利用自頂向下的FPN特征金字塔和自底向上的PAN特征金字塔來提升網(wǎng)絡(luò)的特征提取能力；頭部的損失函數(shù)在計算邊界框回歸時，同時考慮了預(yù)測框A和真實框B的重疊面積、中心點距離和寬高比。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括對所述基于深度學(xué)習(xí)YOLOv4的目標(biāo)檢測網(wǎng)絡(luò)進行訓(xùn)練，包括：

Step1構(gòu)建檢測數(shù)據(jù)集：對各類抓取樣本進行照片拍攝采集，以構(gòu)建所述基于深度學(xué)習(xí)YOLOv4的目標(biāo)檢測網(wǎng)絡(luò)的檢測數(shù)據(jù)集；

Step2對所述檢測數(shù)據(jù)集中的圖像進行標(biāo)注：使用圖像標(biāo)注軟件LabelImg標(biāo)注工具對所采集到的圖像進行標(biāo)注，用矩形框?qū)⑿枰獧z測的抓取樣本種類框選出來，所述矩形框即為真實框B，并標(biāo)記出每個種類的標(biāo)簽，保存并輸出標(biāo)注文件；

Step3擴充所述檢測數(shù)據(jù)集：對Step1采集到的圖像進行圖像亮度調(diào)整、圖像色調(diào)調(diào)整、增加噪聲、隨機縮放、旋轉(zhuǎn)、仿射以擴充所述檢測數(shù)據(jù)集，得到擴充后的檢測數(shù)據(jù)集，并將其劃分為訓(xùn)練集和測試集；

Step4利用所述訓(xùn)練集對所述基于深度學(xué)習(xí)YOLOv4的目標(biāo)檢測網(wǎng)絡(luò)進行訓(xùn)練，所述基于深度學(xué)習(xí)YOLOv4的目標(biāo)檢測網(wǎng)絡(luò)的損失函數(shù)L_CIOU為：

其中，Distance_2為預(yù)測框A和真實框B中心點的歐式距離，Distance_C為預(yù)測框A和真實框B最小外接矩形的對角線距離，IOU計算公式為：

其中，∩表示兩者的并集，∩表示兩者的交集；

v計算公式為：

其中，w^gt、h^gt分別為真實框B的寬和高，w^p、h^p分別為預(yù)測框A的寬和高，arctan為反正切函數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟S2包括：

分別對目標(biāo)和背景使用包含多個高斯分量的全協(xié)方差混合高斯模型GMM進行建模，將圖像中的每個像素歸屬于目標(biāo)或背景的GMM的某個高斯分量；通過確定GMM的參數(shù)每個高斯分量的權(quán)重、每個高斯分量的均值向量和協(xié)方差矩陣，將一個像素的RGB顏色值帶入求解像素分別屬于目標(biāo)和背景的概率；其主要算法步驟如下：

1)以YOLOv4檢測框作為先驗框，先驗框外即為背景；

2)通過先驗框外的背景數(shù)據(jù)，區(qū)分先驗框中的前景和背景區(qū)域；

3)利用GMM對背景和前景建模，并將未定義的像素進行標(biāo)記，表示可能為前景或者背景；

4)虛構(gòu)出虛擬邊，將圖像中的每個像素與周邊的像素進行連接，每個像素節(jié)點都與一個背景后前景節(jié)點相連接；基于虛擬邊與周邊像素顏色的相似性，確定每條邊屬于前景或背景的概率；

5)在節(jié)點完成連接后，若節(jié)點之間的邊屬于不同的終端，即一個節(jié)點是前景，一個節(jié)點是背景，則切斷兩個像素節(jié)點之間的聯(lián)系，從而將圖像中的前景部分分割出來。