[發明專利]一種基于深度學習目標檢測與圖像分割的機械手抓取方法

有效

• 申請號: 202211649680.0
• 申請日: 2022-12-21
• 公開（公告）號: CN115816460B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 徐本連;趙康;李震;魯明麗;從金亮;吳迪;周理想
• 申請（專利權）人: 蘇州科技大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06T1/00;G06T7/13;G06T7/194;G06T7/73;G06V10/82;G06V10/774;G06V10/766;G06N3/045;G06N3/082
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 呂永芳

本發明公開了一種基于深度學習目標檢測與圖像分割的機械手抓取方法，屬于智能機器人領域。該方法包括YOLOv4模型訓練檢測、GrabCut算法圖像分割和機械臂抓取位姿計算三部分；通過機械手上深度相機拍攝圖像，利用YOLOv4訓練模型框選識別出抓取目標。GrabCut算法圖像分割部分將YOLOv4檢測框中的抓取目標從背景中分割出來，生成最小外接矩，確定機械手抓取點坐標及抓取角度。機械臂抓取位姿計算部分將圖像中抓取點的二維平面像素坐標轉換為機器人本體坐標系下的三維坐標，通過此坐標和抓取角度實現對物體的抓取。本申請方法可以使得機械臂智能自主的進行抓取目標的識別與抓取，提高智能性與抓取準確率。

技術領域

本發明涉及一種基于深度學習目標檢測與圖像分割的機械手抓取方法，屬于智能機器人領域。

背景技術

機械手是機械化、自動化生產過程中發展起來的一種重要裝置，被廣泛應用于自動化生產線中，通過編程來完成各種預期的作業任務。為了完成各種作業任務，抓取放置功能是機械手必備功能之一，而隨著智能機器人的應用發展，為機械手增加感知環境的能力，使其能夠進行智能化自主抓取成為該領域內的重要研究內容。

早期的機械手自主抓取方法，主要是將抓取對象放在一個簡單的場景下，根據其物體幾何形狀，通過力學分析來制定抓取的方案。這樣的抓取方法在確定抓取時需要滿足一些靜力學和運動學的公式，計算比較復雜。隨著研究的深入，抓取的方法也逐漸通過模仿人類的抓取策略進行抓取檢測，這樣可以避免復雜的物理和數學模型的計算。通過模仿人類的抓取策略通常有基于人工示教的方式，即通過人工操控機械臂到達示教點，記錄下各關節活動的角度，根據此數據編寫程序使機械臂自動執行。但這種方式只能應對單一情況，可拓展性差。隨著視覺傳感器性能提高，相關的算法的研究也不斷深入，基于視覺的機械手抓取技術已成為多應用場景(比如抓取未知物體的場景)的首選方案。

現有對于機械手抓取未知物體的檢測方法可分為基于感知的抓取檢測方法和基于深度學習的抓取檢測方法。基于感知的方法通過視覺識別被抓物體的結構或特征，生成和排序候選抓取位姿，而基于深度學習的抓取檢測方法是將數據輸入到卷積神經網絡中，使用分類器確定圖像哪部分的抓取成功率最高，輸出最佳抓取檢測框。

傳統基于感知的方法可以識別被抓物體的特征結構，但難以快速清晰的對抓取目標的種類進行篩選甄別，智能自主的識別抓取物的能力欠缺。現有基于深度學習的抓取檢測方法可以通過訓練模型的方式有效識別抓取目標的種類，但即時抓取時對時間要求較高，需要選用實時性較強的深度學習檢測方法，并且復雜環境對檢測的結果也有一定影響。

發明內容

為了解決上述問題，本發明提供了一種基于深度學習目標檢測與圖像分割的機械手抓取方法，包括：

步驟S1：利用機械手自帶拍攝設備采集包含有待抓取目標的圖像，并利用基于深度學習YOLOv4的目標檢測網絡輸出待抓取目標的檢測框；所述機械手自帶拍攝設備包括深度相機；

步驟S2：以YOLOv4的目標檢測網絡輸出待抓取目標的檢測框作為GrabCut算法的先驗框，將待抓取目標從背景中分割出來；

步驟S3：對分割出來的待抓取目標進行邊緣提取，以繪制其邊緣輪廓的最小外接矩形；

步驟S4：以待抓取目標邊緣輪廓的最小外接矩形的中心點作為機械手抓取點位置，結合機械手自帶拍攝設備與機械手末端的位置關系計算機械手抓取點坐標，進而實現對應的抓取任務。

可選的，所述步驟S1中的基于深度學習YOLOv4的目標檢測網絡包括四部分，輸入端、主干部分、頸部、和頭部；其中輸入端利用馬賽克數據增強和自對抗訓練策略SAT以豐富檢測數據集；主干部分采用CSPDarknet53網絡框架作為網絡提取骨干用于特征提取；頸部采用空間金字塔池化模塊SPP融合不同尺度大小的特征圖、增加主干特征的接收范圍，利用自頂向下的FPN特征金字塔和自底向上的PAN特征金字塔來提升網絡的特征提取能力；頭部的損失函數在計算邊界框回歸時，同時考慮了預測框A和真實框B的重疊面積、中心點距離和寬高比。