[發明專利]一種基于深度學習的垃圾分類與拾取機器人

在審

• 申請號: 202011013621.5
• 申請日: 2020-09-24
• 公開（公告）號: CN112149573A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 王耀南;蔡偉;繆志強;齊可心;張蘭;豐佳
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/70;G06N3/04;E01H1/00;H04N5/232
• 代理公司: 長沙市護航專利代理事務所(特殊普通合伙) 43220
• 代理人: 莫曉齊

1.一種的基于深度學習的垃圾分類與拾取機器人，其特征在于，用于對垃圾的分類拾取存放，包括移動底座(1)、控制室(2)、機械臂(3)、攝像頭及垃圾箱，所述攝像頭包括用于控制所述移動底座(1)運動方向的導航攝像頭(4)，及用于垃圾分類與拾取的分類攝像頭(5)，所述導航攝像頭(4)及所述分類攝像頭(5)均與所述控制室(2)通信連接，所述機械臂(3)與所述控制室(2)通信連接，所述移動底座(1)與所述控制室(2)通信連接，所述控制室(2)包括用于對所述導航攝像頭(4)及所述分類攝像頭(5)獲取的圖片信息進行深度學習的深度學習神經網絡，以及控制機械臂工作的手眼標定控制系統。

2.根據權利要求1所述的一種的基于深度學習的垃圾分類與拾取機器人，其特征在于，所述導航攝像頭(4)與地面成20°角進行拍攝，所述分類攝像頭(5)平行于地面，垂直拍攝。

3.根據權利要求1所述的一種的基于深度學習的垃圾分類與拾取機器人，其特征在于，所述垃圾箱包括干垃圾箱(6)、濕垃圾箱(7)、有害垃圾箱(8)和可回收垃圾箱(9)。

4.根據權利要求1所述的一種的基于深度學習的垃圾分類與拾取機器人，其特征在于，所述深度學習神經網絡包括主干特征提取網絡、特征增強提取網絡和根據提取到的特征完成分類任務的分類網絡。

5.根據權利要求4所述的一種的基于深度學習的垃圾分類與拾取機器人，其特征在于，所述深度學習神經網絡的訓練過程如下：

輸入圖像，經過數據增強之后，進入主干特征提取網絡，經過數次包括卷積池化的操作，再進入特征增強提取網絡，在這里把利用不同大小的池化層進行處理后的結果堆疊，并且引入特征金字塔結構，實現特征的增強提取；

通過上述的所有特征增強提取網絡處理過后的有效特征層將被傳到分類網絡，通過卷積之后通道數會變成程序為每個點設置的先驗框的數目乘上垃圾的種類數再加五，獲得表示每個先驗框內是否有垃圾、垃圾的種類以及先驗框該如何調整的數據；

之后先通過程序事先設定好的閾值做第一步的篩選，然后再做非極大抑制找出對每一個物體而言，程序認為最合適的預測框。

6.根據權利要求1所述的一種的基于深度學習的垃圾分類與拾取機器人，其特征在于，所述的深度學習神經網絡的輸出包括用于分類存放時選擇的目標垃圾的種類，以及用于所述機械臂(3)對目標垃圾的抓取對應的預測框的坐標。

7.根據權利要求1所述的一種的基于深度學習的垃圾分類與拾取機器人，其特征在于，對垃圾的分類拾取存放過程包括以下幾個步驟：

步驟S1：通過視覺導航攝像頭(4)，采集圖像，傳入視覺網絡后，根據網絡輸出結果調整行進方向；

步驟S2：通過分類攝像頭(5)，采集圖像，傳入視覺網絡后，根據網絡輸出結果，確定目標垃圾是否進入可抓取范圍，未到可抓取范圍則繼續行進，到達進入可抓取范圍，移動底座(1)停止移動；

步驟S3：移動底座(1)停止向前，基于分類攝像頭(5)抓取的圖片，通過仿射變換，得到抓取時需要的角度信息，以便后續進行機械臂(3)末端的位姿估計；

步驟S4：通過USB通信，將網絡輸出的種類、在圖像坐標系中的位置以及角度信息傳給機械臂(3)；

利用手眼標定得到的矩陣，轉換得到物體在機械臂(3)坐標系中的位置；利用機械臂(3)的逆運動求解和笛卡爾空間規劃，控制機械臂(3)移動到目標位置，再進行機械臂(3)末端位姿估計并進行目標垃圾的抓取；

以垃圾分類準則為標準，將各種類垃圾再次劃分為幾大類之后，根據目標垃圾的種類，機械臂(3)旋轉到相應垃圾箱上方進行投放，完成對垃圾的分類存放；

步驟S5：將分類攝像頭(5)視野內，機械臂(3)可及的垃圾全部完成分類抓取存放之后，移動底座(1)進入可移動狀態。