[發明專利]一種基于端對端網絡的機器人視覺推理抓取方法

在審

• 申請號: 201910093952.5
• 申請日: 2019-01-30
• 公開（公告）號: CN109919151A
• 公開（公告）日: 2019-06-21
• 發明（設計）人: 蘭旭光;張翰博;周欣文;田智強;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

本發明公開了一種基于端對端卷積神經網絡的機器人視覺推理抓取方法。通過以RGB圖片為輸入，以一次卷積網絡的前向傳播，同時完成物體檢測、操作關系推理和抓取部位檢測。通過提取物體的感興趣區域，完成對每個物體上的抓取部位進行檢測。通過視覺操作關系推理，獲取場景的視覺操作關系樹，對正確的抓取順序進行決策。本發明與之前的發明相比，速度更快，準確率和魯棒性更高。通過使用深度學習和深度特征對場景進行理解，提升了方法的有效性和可靠性。

技術領域

本發明屬于計算機視覺與智能機器人領域，具體涉及一種基于端對端網絡的機器人視覺推理抓取方法。

背景技術

隨著計算機視覺技術的快速發展，對于非結構化環境的理解和感知技術日新月異，為機器人在復雜場景和非結構化環境中的作業提供了基礎。傳統的機器人抓取方法使用場景點云為輸入，通過融合多種傳感器信息，完成對目標物體的三維建模，并使用分析和優化的方法，尋找力封閉或形封閉的抓取部位和配置，完成抓取。然而，這類抓取方法不能適應一些應用場景的需求，尤其是對于完整環境信息獲取較為困難的場景。在這類場景中，由于場景環境信息過于復雜等因素，對于完整場景的三維重建難度較大，并且需要耗費大量的計算資源，不能滿足實時性等需求。其次，由于傳統的分析和優化方法對環境的分析能力的局限性，對于復雜的非結構化場景，往往不能取得令人滿意的性能。近期的研究表明深度學習對于非結構化環境的處理有很大的優勢，但在基于深度學習的方法中，處理復雜堆疊場景的智能抓取算法往往采用級聯各部分(如物體檢測、抓取部位檢測、抓取順序推理等部分)來完成。使用這類方法時，由于系統各部分通過級聯完成最終任務，因此誤差在各部分間會存在累積效應，最終使算法性能下降明顯。為此，如何設計一種端對端的適用于復雜場景和非結構化環境下的物體抓取算法，以安全、可靠、快速的方式完成對目標物體的操作和抓取，并減小由于部分間級聯造成的誤差累積，提升抓取算法的性能和抓取的準確率和魯棒性，是目前的突出問題。

發明內容

本發明的目的在于克服上述不足，提供一種基于端對端網絡的機器人視覺推理抓取方法，能夠適應于多目標物體的復雜場景的作業任務，在保證作業執行過程中的安全性和可靠性的同時，克服由于級聯系統造成的誤差累積效應，提升方法的性能，同時滿足實時性的需求。

為了達到上述目的，本發明包括以下步驟：

一種基于端對端網絡的機器人視覺推理抓取方法，包括以下步驟：

步驟一：通過RGB圖像傳感器獲取當前包含目標物體的場景圖像；

步驟二：通過深度卷積網絡算法，提取場景圖像的圖片特征；

步驟三：通過感興趣區域提取網絡，獲取場景圖像的感興趣區域；

步驟四：基于感知網絡，通過物體檢測器和抓取檢測器，獲取當前場景中所有目標物體的位置和對應的抓取部位；

步驟五：以步驟三的物體檢測結果的感興趣區域為基礎，完成當前場景操作關系樹的構建過程；

步驟六：根據物體檢測和抓取檢測結果，結合場景操作關系樹，規劃抓取順序，并實施抓取。

作為本發明的進一步改進，步驟二具體過程如下：

使用在視覺操作關系檢測數據集上訓練獲取的深度卷積網絡算法，并以RGB圖像為輸入，進行網絡的前向傳播過程，通過多層卷積和五層池化，以第五卷積階段的輸出C5作為最終的圖像特征。

作為本發明的進一步改進，其特征在于：步驟三具體過程如下：

以第五卷積階段的輸出C5作為RPN的輸入，通過卷積操作，獲取感興趣區域候選項，包括定位和置信度；通過非最大值抑制技術合并重合度較大的感興趣區域候選項；在剩余所得的所有候選項中，選取置信度較高的感興趣區域候選項作為提取網絡的輸出。

作為本發明的進一步改進，步驟四具體過程如下：