[發明專利]一種基于深度學習的垃圾分類與拾取機器人

在審

• 申請號: 202011013621.5
• 申請日: 2020-09-24
• 公開（公告）號: CN112149573A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 王耀南;蔡偉;繆志強;齊可心;張蘭;豐佳
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/70;G06N3/04;E01H1/00;H04N5/232
• 代理公司: 長沙市護航專利代理事務所(特殊普通合伙) 43220
• 代理人: 莫曉齊

本發明提供了一種的基于深度學習的垃圾分類與拾取機器人。所述的基于深度學習的垃圾分類與拾取機器人包括移動底座、控制室、機械臂、攝像頭及垃圾箱，所述攝像頭包括用于控制所述移動底座運動方向的導航攝像頭，及用于垃圾分類與拾取的分類攝像頭，所述導航攝像頭及所述分類攝像頭均與所述控制室通信連接，所述機械臂與所述控制室通信連接，所述移動底座與所述控制室通信連接，所述控制室包括用于對所述導航攝像頭及所述分類攝像頭獲取的圖片信息進行深度學習的深度學習神經網絡，以及控制機械臂工作的手眼標定控制系統。本發明從生產源頭上對生活垃圾進行分類存放，能更充分利用資源并有效避免二次污染。

技術領域

本發明涉及基于深度學習的垃圾分類與拾取機器人技術領域，特別涉及一種的基于深度學習的垃圾分類與拾取機器人。

背景技術

隨著經濟社會的發展與人口的逐日遞增，據不完全統計，全球每天產生550萬噸生活垃圾，并且除去生活垃圾，還有各種各樣其他來源的垃圾，譬如：工業垃圾、農業垃圾、建筑垃圾、醫療垃圾等等。這是一個令人驚嘆的數字，但是更令人驚嘆的是，據統計在生活垃圾中，大約有1/3是可回收的，在如今的時代，可持續發展是一個必然的趨勢，那么資源的循環利用就是不可或缺的一環。值得一提的是，生活垃圾中還包含有一部分有害垃圾，如果不針對處理，將會對我們生活的自然環境產生不可估量的傷害，由此看來，垃圾分類存放的確是大勢所趨。

正如上述所言，全球垃圾生產速度驚人，如此巨量的垃圾如果寄希望于先集中后分類，這無疑是一個讓人“聞而生畏”的工作；反之，如果從垃圾的產生源頭就對其分類，對于垃圾的后續處理無疑是一條“捷徑”。然而，強制進行垃圾分類無疑會成為降低人們生活品質，壓榨閑暇時間的沉重負擔。

發明內容

本發明提供了一種的基于深度學習的垃圾分類與拾取機器人，其目的是為了解決背景技術中垃圾分類工作繁雜、給人帶來沉重負擔的問題，從根源上對生活垃圾進行分類存放，便于后續的回收或者其他處理。

為了達到上述目的，本發明的實施例提供的一種的基于深度學習的垃圾分類與拾取機器人，用于對垃圾的分類拾取存放，包括移動底座、控制室、機械臂、攝像頭、垃圾箱，所述攝像頭包括用于控制所述移動底座運動方向的導航攝像頭，及用于垃圾分類與拾取的分類攝像頭，所述導航攝像頭及所述分類攝像頭均與所述控制室通信連接，所述機械臂與所述控制室通信連接，所述移動底座與所述控制室通信連接，所述控制室包括用于對所述導航攝像頭及所述分類攝像頭獲取的圖片信息進行深度學習的深度學習神經網絡，以及控制機械臂工作的手眼標定控制系統。

優選地，所述導航攝像頭與地面成20°角進行拍攝，所述分類攝像頭平行于地面，垂直拍攝。

優選地，所述垃圾箱包括干垃圾箱、濕垃圾箱、有害垃圾箱和可回收垃圾箱。

優選地，所述深度學習神經網絡包括主干特征提取網絡、特征增強提取網絡和根據提取到的特征完成分類任務的分類網絡。

優選地，所述深度學習神經網絡的訓練過程如下：

輸入圖像，經過數據增強之后，進入主干特征提取網絡，經過數次包括卷積池化的操作，在進入特征增強提取網絡，在這里把利用不同大小的池化層進行處理后的結果堆疊，并且引入特征金字塔結構，實現特征的增強提取；

通過上述的所有特征增強提取網絡處理過后的有效特征層將被傳到分類網絡，通過卷積之后通道數會變成程序為每個點設置的先驗框的數目乘上垃圾的種類數再加五，獲得表示每個先驗框內是否有垃圾、垃圾的種類以及先驗框該如何調整的數據；

之后先通過程序事先設定好的閾值做第一步的篩選，然后再做非極大抑制找出對每一個物體而言，程序認為最合適的預測框。

優選地，所述的深度學習神經網絡的輸出包括用于分類存放時選擇的目標垃圾的種類，以及用于所述機械臂對目標垃圾的抓取對應的預測框的坐標。