[發明專利]一種基于計算機視覺和深度學習的平面抓取檢測方法

在審

• 申請號: 202110207871.0
• 申請日: 2021-02-25
• 公開（公告）號: CN112906797A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 石敏;路昊;朱登明;李兆歆
• 申請（專利權）人: 華北電力大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T5/50;G06T7/73
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 張文寶

1.一種基于計算機視覺和深度學習的平面抓取檢測方法，其特征在于，包括：

步驟1：收集或自制抓取數據集，其中包括RGB圖像及相應的標注信息，及深度信息；對數據集進行尺度變換、平移、翻轉和旋轉的數據增強，擴充數據集；

步驟2：根據步驟1得到的擴充后的數據集制作并劃分訓練數據；利用深度補全算法補全深度圖信息，并完成RGB圖像與深度信息的融合；對融合圖像進行裁剪及縮放，使其滿足抓取框的輸入格式，并按照9∶1的比例隨機劃分訓練集與驗證集，分別用于抓取檢測模型的訓練和驗證；

步驟3：利用訓練數據對提出的抓取檢測模型進行訓練，采用反向傳播算法和基于標準梯度的優化算法來優化目標函數的梯度，使得檢測得到的抓取框與真實值差異最小化；同時利用驗證集對抓取檢測模型進行測試，來調整抓取檢測模型訓練過程中的學習率，并一定程度避免抓取檢測模型的過擬合；其中目標函數的定義為：

L_total＝L_boxes+L_Q+L_angle

其中L_boxes為boxes損失、L_Q抓取質量分數損失、L_angle角度預測損失；

步驟4：根據訓練得到的抓取檢測模型，利用真實圖像數據作為網絡輸入，抓取質量分數及抓取框五維表示作為抓取檢測模型輸出，通過排序選取最優并將其轉換為抓取框四個頂點信息，實現可視化，最終映射到真實世界坐標。

2.根據權利要求1所述基于計算機視覺和深度學習的平面抓取檢測方法，其特征在于，所述五維抓取表示，在近年的相關工作中得到了廣泛的應用；五維抓取表示為把抓取框描述為：

g＝{x，y，，θ，h，w}

所述抓取檢測模型輸出為：

g＝{x，y，θ，h，w，Q}

其中(x，y)為抓取框的中心點，h和w分別為抓取框的高和寬，θ為其相對于圖像水平軸的方向，Q為抓取質量分數，用0到1之間的一個數值來評估抓取的可能性，Q越大表示該抓取框的可行性越大。

3.根據權利要求1所述基于計算機視覺和深度學習的平面抓取檢測方法，其特征在于，所述抓取檢測模型(網絡模型)設計包括前端的特征提取器和后端的抓取預測器；其中特征提取器部分設計包括卷積模塊、注意力殘差模塊和跨級局部模塊等模塊連接組合。

4.根據權利要求1所述基于計算機視覺和深度學習的平面抓取檢測方法，其特征在于，所述完成RGB圖像與深度信息的融合包含了深度信息提取、深度圖補全以及RGB圖像與補全后的深度圖融合為RGD圖像，其中RGD圖像將作為模型訓練數據。

5.根據權利要求1所述基于計算機視覺和深度學習的平面抓取檢測方法，其特征在于，所述完成RGB圖像與深度信息的融合，對RGB數據進行訓練的方式包括單模態訓練方式和多模態訓練方式；其中RGD數據使用Depth圖像替換RGB圖像中的B通道融合而成，這一設計實現了多模態，提供了更多的可利用信息，并在實驗中展示了良好的效果；針對數據集中深度信息提取，設計了如下公式：

其中(x，y，z)為點云信息中的坐標，Max為根據場景設定的深度值上限，Min為根據場景設定的深度值下限，限定閾值范圍的設計可以從一定程度上過濾無效信息，此外可以實現全局的歸一化，并非針對單一圖像進行歸一化，使得數據更加標準化；歸一化后的值擴大255倍，調整至RGB通道值的尺度，使其滿足RGD融合的條件。

6.根據權利要求1所述基于計算機視覺和深度學習的平面抓取檢測方法，其特征在于，所述利用驗證集對抓取檢測模型進行測試，將深度圖像與RGB實現通道替換，隨后將每張圖片進行數據擴增，擴增策略：隨機上下平移0-50像素，隨機旋轉0-360°；最終沿中心截取固定大小正方形區域作為訓練圖像；利用卷積模塊和卷積操作進行了抓取框的預測。其中抓取框位置及大小信息進行了直接的回歸；抓取質量分數同樣利用直接回歸的方式，但是在最終輸出時進行了sigmoid，將預測得到的抓取質量分數輸出范圍控制在0-1之間，可以很好的表示抓取置信度；角度則是通過分類的方式進行預測。