[發明專利]一種基于深度學習的料框內散亂多物體機器人分揀方法

有效

• 申請號: 201711194494.1
• 申請日: 2017-11-24
• 公開（公告）號: CN108126914B
• 公開（公告）日: 2020-01-21
• 發明（設計）人: 劉文海;錢暉;潘震宇;邵全全;馬進;王偉明;胡潔;戚進;張濤;周兵
• 申請（專利權）人: 上海發那科機器人有限公司
• 主分類號: B07C5/342
• 分類號: B07C5/342;B07C5/36;G06N3/04;G06T7/80
• 代理公司: 31272 上海申新律師事務所
• 代理人: 俞滌炯

1.一種基于深度學習的料框內散亂多物體機器人分揀方法，包括RGB-D攝像頭和具有六自由度機械臂的機器人，所述六自由度機械臂的末端設有吸盤手爪，其特征在于，所述分揀方法包括：

步驟S1：將包含若干種散亂堆放物體的料框放置于所述RGB-D攝像頭的視野范圍內，所述RGB-D攝像頭對所述料框的邊緣進行視覺檢測以確定所述料框的范圍；

步驟S2：在所述料框的范圍內選取若干可分揀候選區域，將每一所述可分揀候選區域的圖像和深度圖輸入CNN分揀預測網絡以判斷是否為可分揀區域，并將所述可分揀區域的中心標記為可分揀點；

步驟S3：記錄所有的所述可分揀點，通過聚類算法選取較優的所述可分揀點，計算較優的所述可分揀點的法向量，并結合所述法向量、所述機器人的可達位置、所述料框的防碰撞剔除不合格的所述可分揀點；

步驟S4：從剩余的所述可分揀點中隨機選擇一所述可分揀點，通過所選擇的所述可分揀點的坐標和法向量控制所述六自由度機械臂和所述吸盤手爪分揀所述可分揀點的物體；

步驟S5：重復所述步驟S2至所述步驟S4，直至所述料框內的物體分揀完成；

在所述步驟S1中，所述RGB-D攝像頭與所述六自由度機械臂進行外參數坐標標定，從所述RGB-D攝像頭獲取的RGB圖像中檢測所述料框的邊緣以確定所述料框的范圍。

2.根據權利要求1所述的基于深度學習的料框內散亂多物體機器人分揀方法，其特征在于，在所述步驟S2中，選取若干可分揀候選區域的方法為逐行逐列獲取，通過步幅設置覆蓋所述料框的所有范圍。

3.根據權利要求1所述的基于深度學習的料框內散亂多物體機器人分揀方法，其特征在于，在所述步驟S2中，所述可分揀區域為正方形，所述可分揀區域的邊長為所述物體中的最大物體的尺寸的60～80％。

4.根據權利要求1所述的基于深度學習的料框內散亂多物體機器人分揀方法，其特征在于，在所述步驟S3中，所述聚類算法通過判斷連續分揀點，選取行列連續的可分揀點的中間值作為較優的所述可分揀點。

5.根據權利要求1所述的基于深度學習的料框內散亂多物體機器人分揀方法，其特征在于，所述CNN分揀預測網絡包括CNN網絡構建、訓練數據庫的搜集、CNN網絡權重的學習和CNN網絡預測。

6.根據權利要求5所述的基于深度學習的料框內散亂多物體機器人分揀方法，其特征在于，所述CNN分揀預測網絡還包括：池化層、全連接層、Relu層和softmax輸出層，其中輸入層的大小和所述可分揀候選區域的大小相同，所述輸入層為RGB三通道圖像或者RGB-D四通道圖像。

7.根據權利要求5所述的基于深度學習的料框內散亂多物體機器人分揀方法，其特征在于，所述訓練數據庫的建立方法包括：

拍攝所述料框內的待分揀物體散堆狀態照片，人工選擇出若干所述可分揀候選區域；

以所述自由度機械臂和所述吸盤手爪的實際分揀結果將人工選擇出的若干所述可分揀候選區域的RGB圖像和深度圖分別標記為可分揀或不可分揀，并以此建立一個獨立樣本，搜集若干獨立樣本作為數據集。

8.根據權利要求6所述的基于深度學習的料框內散亂多物體機器人分揀方法，其特征在于，所述訓練數據庫的建立方法還包括數據增多方法：

以所述可分揀候選區域的中心為圓心，每10°采樣一次，分揀標簽不變。

9.根據權利要求5所述的基于深度學習的料框內散亂多物體機器人分揀方法，其特征在于，所述CNN網絡權重的學習方法包括：

將采集的數據集分為訓練集和測試集，對所述訓練集的數據采用隨機梯度下降法優化所述CNN網絡權重，用所述測試集的數據測試CNN網絡準確率。