[發明專利]一種基于深度學習的雙臂協作抓取方法

有效

• 申請號: 202110943699.5
• 申請日: 2021-08-17
• 公開（公告）號: CN113771027B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 王萬良;錢宇彤;尤文波;屠杭垚;陳嘉誠;潘杰;趙燕偉
• 申請（專利權）人: 浙江工業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J18/00;G06F18/25;G06N3/048;G06N3/045;G06N3/08;G06N3/082
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

本發明公開了一種基于深度學習的雙臂協作抓取方法，包括首先構建右臂抓取檢測模型，通過數據集訓練，來讓模型達到識別未知物體的抓取位置的效果；通過在抓取檢測模型的基礎上加入通道剪枝訓練，來得到一個輕量的左臂遮擋檢測模型，大大加快檢測速度；用相機采集操作畫面，對圖像進行尺寸上的變化和預處理，以便模型更好的操作；最后將檢測到的信息按照一定邏輯通過ROS系統與機器人進行通信，以實現清除遮擋物、抓取物體的操作。本發明將深度學習與雙臂協作的思想帶入到非結構化的物體抓取中，提高了抓取的效率。同時由剪枝訓練得到輕量級左臂遮擋檢測模型，更進一步加快了操作的速度。

技術領域

本發明屬于機器人智能控制與計算機視覺領域，是一種基于深度學習的雙臂協作抓取方法。

背景技術

隨著科學技術和社會的發展，機器人的應用領域不斷擴大，逐步進入醫藥生化、家庭清潔、醫療康復等服務業領域中。在這些新應用領域，傳統機器人已經無法滿足用戶需求，開發能夠與環境共融的智能協作機器人是當前國內外高校、研究機構的熱門、前沿領域。在一背景下，研究一種方法來打破現有機器人在雜亂環境中自主拾取、放置物體的局限性具有重要意義。

傳統機器人往往工作在結構化環境中，采用人工設計的待抓取物體的特征和三維模型來建立數據庫，保存抓取經驗等方法。這種方法在當前越來越多的非結構化環境中暴露出極大的局限性，因為非結構化環境中，如家庭、藥房等，包含大量未知物體，且待抓取物體的尺寸存在變化以及物體間存在重疊遮擋等諸多因素。針對此問題，常用的方法是基于深度學習的方法，例如神經網絡等，通過迭代訓練得到深度學習模型。依靠深度學習模型的魯棒性和強泛化能力，將抓取經驗遷移到未知物體的抓取上。

但一方面，為了提高抓取框檢測的精確度，網絡結構也越來越復雜，隨之帶來的是預測時間的變長以及對硬件性能要求的提高；另一方面，單機械臂在有遮擋物時抓取效率變低。因此，如何在利用深度學習方法的同時，兼顧網絡的效率和實時性，同時使用雙臂協作的方法提高抓取效率就成為協作機器人急需解決的一個問題。

發明內容

針對目前存在的問題，本發明提供了一種基于深度學習的雙臂協作抓取方法。該方法能夠在減少網絡模型參數量的同時，不影響抓取的速度和精度，以滿足其實時抓取的要求，也保障其在非結構環境下的自主抓取的能力。

本發明為達上述目的，所采用的技術方案為，一種基于深度學習的雙臂協作抓取方法，包括以下步驟：

S1：構建右機械臂的抓取檢測模型，實現對抓取位姿的估計，具體包括：

S11：抓取檢測模型主干網絡部分的設計：主干網絡部分以Darknet-53網絡為基礎，以提取目標特征。

S12：抓取檢測模型特征融合部分的設計：特征融合部分的設計采用類似FPN的上采樣和融合的方式，融合了三種不同的特征尺度和/在多個尺度的特征融合圖上分別做獨立的抓取位置檢測，提升網絡在較小抓取位置處的檢測精度。

S13：抓取檢測模型輸出結果部分的設計：輸出結果部分采用多尺度預測的思想，讓S12中的三種不同特征尺度的特征圖分別經歷一系列卷積操作后，將通道數減少到固定值，最后在此基礎上進行抓取框的預測。抓取框定義為：

R＝{x,y,w,h,confidence,c,α} (1)

其中，x與y分別表示抓取框中心點的橫坐標與縱坐標，w與h分別表示抓取框的寬度及長度，confidence表示該抓取框的置信度。本發明將機械臂抓取旋轉角度θ的預測轉化為預測抓取框類別c和回歸部分具體角α的組合問題，定義為：

θ＝c×δ+α (2)

其中，c∈{0,1,2,...,n}，n∈N。將旋轉角度θ從0°～180°每間隔δ為一類，依次劃分為個類別；α表示檢測模型回歸預測的部分具體角度，α∈[0°,δ)。