[發明專利]一種基于級聯卷積神經網絡的機器人非規則物體抓取位姿快速檢測方法

在審

• 申請號: 201810268775.5
• 申請日: 2018-03-29
• 公開（公告）號: CN108510062A
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 錢堃;夏晶;劉環;張曉博;馬家樂;康栓緊
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06T7/70
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 顧進

本發明涉及一種基于級聯卷積神經網絡的機器人非規則物體抓取位姿快速檢測方法，首先構建位置?姿態由粗到細的級聯式兩階段卷積神經網絡模型，第一階段采用基于區域的全卷積網絡（R?FCN）實現抓取定位以及抓取角度的粗估計，第二階段通過構造一種新的Angle?Net模型實現抓取角度精確計算；其次采集當前含待抓物體的場景圖像作為待訓練的原始現場圖像樣本，借助遷移學習機制對兩階段卷積神經網絡模型進行訓練，然后在線運行中將采集的每一幀單目彩色圖像輸入到級聯式兩階段卷積神經網絡模型，最后以所得抓取位置和姿態驅動機器人末端執行器進行物體抓取控制。本方法的抓取檢測精度高，有效加快了機器人非規則物體抓取位姿的檢測速度，提高了抓取姿態檢測算法運行的實時性。

技術領域

本發明涉及一種機器人自主抓取姿態檢測的方法，具體地說是一種基于級聯卷積神經網絡的機器人非規則物體抓取位姿快速檢測方法，屬于機器人視覺技檢測與抓取控制技術領域。

背景技術

在機器人分揀、搬運等抓取作業任務中，包括頂抓（Top-grasp）和側抓（Side-grasp）兩種方式的平面抓取（Planar Grasp）是機器人最為常用的抓取策略。對于任意姿態的未知不規則物體，在光照不均、背景復雜的場景下，如何利用低成本的單目相機實現快速可靠的機器人自主抓取姿態檢測具有很大的挑戰。

機器人自主抓取姿態規劃方法根據感知信息的不同可分為兩類：一類是基于物體模型的抓取姿態估計，一類是不依賴物體模型的抓取姿態檢測。基于模型的方法需要給定精確、完整的物體三維模型, 然而低成本相機成像噪聲大,很難掃描建立精確模型。另外,基于三維模型的方法計算復雜,難以適應機器人實時抓取判斷的需求。

不依賴物體模型的方法借助機器學習技術,其實質是將抓取位姿檢測問題轉化成目標識別問題。機器學習方法的出現令抓取檢測不局限于已知物體。早期的學習方法（見“Jiang Y, Moseson S, Saxena A, Efficient grasping from RGBD images: Learningusing a new rectangle representation, IEEE ICRA 2011”）需要人為針對特定物體設定特定的視覺特征，不具備靈活性。近年來，深度學習發展迅速，其優越性正在于可自主提取與抓取位姿有關的特征。

機器人抓取檢測問題包括兩個部分：抓取位置確定和抓取姿態估計。傳統的位置檢測方法根據二值化的圖像計算物體重心作為抓取位置，但可抓取位置不在重心處的物體甚多。通常采用滑動窗口法（見“Lenz I, Lee H, Saxena A. Deep learning fordetecting robotic grasps. The International Journal of Robotics Research,2015”）解決抓取點不在重心上的問題，但此方法以遍歷搜索獲得最優解，時間代價大。一種改進方法（見“杜學丹, 蔡瑩皓, 魯濤等. 一種基于深度學習的機械臂抓取方法. 機器人,2017”）是通過縮小搜索區域范圍并減少搜索窗旋轉次數以實現時間的優化。在抓取姿態估計方面，一些最新的方法（見“Guo D, Sun F, Liu H, et al. A hybrid deeparchitecture for robotic grasp detection, IEEE ICRA 2017”）將最優搜索窗的旋轉角度作為抓取角度，但這些屬于粗估計方法，低精度的抓取角度可導致機器人在實際抓取時因受力點錯誤而抓取失敗。因此，減少抓取定位時間消耗和提升姿態估計精度是機器人在線抓取檢測時亟待解決的兩個問題。

深度神經網絡用于機器人抓取位姿檢測的另一個問題是, 已有公開模型都是在封閉大數據集上訓練所得，通常需要隨機器人部署而擴展關于實際特定抓取對象的小樣本數據集。遷移學習為特定任務小樣本集下深度網絡模型訓練提供了方法。自建的數據集規模雖小，但可在已經過百萬級封閉數據集訓練并具有基本特征提取能力的模型上微調訓練，令在特定小樣本集下訓練的模型仍具有卓越的性能。這樣不僅縮短訓練周期，還可提升整個系統的拓展性。