[發明專利]一種基于計算機視覺和深度學習的平面抓取檢測方法

在審

• 申請號: 202110207871.0
• 申請日: 2021-02-25
• 公開（公告）號: CN112906797A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 石敏;路昊;朱登明;李兆歆
• 申請（專利權）人: 華北電力大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T5/50;G06T7/73
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 張文寶

本發明屬于公開了機械臂抓取計算領域的一種基于計算機視覺和深度學習的平面抓取檢測方法，其步驟包括：收集或自制抓取數據集，并進行特定的數據增強；利用深度補全算法補全深度圖信息，并對數據集進行深度信息融合、統一裁剪以及訓練驗證劃分；根據訓練得到的抓取檢測模型，利用真實圖像數據作為網絡輸入，抓取質量分數及抓取框五維表示作為輸出，采用反向傳播算法和基于標準梯度的優化算法，通過排序優化轉換為抓取框四個頂點信息，實現可視化，最終映射到真實世界坐標。使得檢測得到的抓取框與真實值差異最小化；本發明解決了經驗抓取檢測方法為實現泛化性而很難滿足精準性的問題；解決了抓取檢測方法在真實場景中難以保證實時性的問題。

技術領域

本發明屬于機械臂抓取技術領域，特別涉及一種基于計算機視覺和深度學習的平面抓取檢測方法。

背景技術

機器人的抓取力遠遠落后于人類的表現，并且是機器人領域中尚未解決的問題。當人們看到新穎的物體時，他們根據自己的經驗本能地快速輕松地抓住任何未知物體。近年來展開了許多與機器人抓取和操縱有關的工作，但是實時的抓取檢測仍然是一個挑戰。機器人抓取問題可分為三個連續階段：抓握檢測，軌跡規劃和執行。抓取檢測是一種視覺識別問題，其中機器人使用其傳感器來檢測其環境中的可抓取物體。用于感知機器人環境的傳感器通常是3D視覺系統或RGB-D攝像機。關鍵任務是根據傳感器信息預測潛在的抓取并將像素值映射到真實世界的坐標。這是執行抓握的關鍵步驟，因為后續步驟取決于在此步驟中計算出的坐標。然后，將計算出的真實世界坐標轉換為機器人手臂末端工具的位置和方向。然后計劃機械臂的最佳軌跡，以達到目標抓握位置。隨后，使用開環或閉環控制器執行機械臂的規劃。

隨著越來越多的研究，機器人變得比以往更加智能，人們越來越需要一種通用技術來檢測對機器人所遇到的任何物體的快速而穩健的抓取。而這其中，最主要的問題之一就是如何將機器人學到的知識精確地轉移到新穎的現實世界對象上，這不僅要求算法的實時性和精準性，新的發展需求對泛化性也提出了要求。

抓取檢測主要分為兩類方法，一種是分析法，一種是經驗法。分析法指的是依據機械手的各種參數，通過設計符合穩定性和靈活性等條件的力閉合約束條件來限定抓取位姿。這類方法，可以理解為一種基于動力學、幾何學的約束問題的求解和優化。當抓取位姿滿足力閉合條件時物體被夾具夾住，并在靜摩擦力的作用下使得物體不再發生位移或旋轉，從而維持抓取的穩定。分析法生成的抓取位姿能夠確保目標物體的成功抓取，但這種方法通常只能應用在簡單的理想模型上。實際場景的多變性、物體擺放的隨機性、以及圖像傳感器的噪聲等等，一方面增加了計算的復雜度，另一方面計算的精度無法得到保證。經驗法就是利用知識庫中的信息，去檢測抓取位姿及判斷其合理性。從物體的特征出發，利用相似性進行分類和位姿估計，從而達到抓取的目的。不需要像分析法那樣需要預知目標物體的摩擦系數等等參數，具有更好的魯棒性。但是經驗法通常并不能兼顧實現精準性和實時性。

發明內容

本發明的目的提出一種基于計算機視覺和深度學習的平面抓取檢測方法，其特征在于，包括：

步驟1：收集或自制抓取數據集，其中包括RGB圖像及相應的標注信息和深度信息；對數據集進行尺度變換、平移、翻轉和旋轉的數據增強，擴充數據集；

步驟2：根據步驟1得到的擴充后的數據集制作并劃分訓練數據；利用深度補全算法補全深度圖信息，并完成RGB圖像與深度信息的融合；對融合圖像進行裁剪及縮放，使其滿足抓取檢測模型的輸入格式，并按照9：1的比例隨機劃分訓練集與驗證集，分別用于抓取檢測模型的訓練和驗證；

步驟3：利用訓練數據對提出的抓取檢測模型進行訓練，采用反向傳播算法和基于標準梯度的優化算法來優化目標函數的梯度，使得檢測得到的抓取框與真實值差異最小化；同時利用驗證集對抓取檢測模型進行測試，來調整抓取檢測模型訓練過程中的學習率，并一定程度避免抓取檢測模型的過擬合；其中目標函數的定義為：

L_toral＝L_boxes+L_Q+L_angle