[發明專利]基于單次人手示教的垃圾分類方法、裝置及分揀智能系統

有效

• 申請號: 202111593222.5
• 申請日: 2021-12-24
• 公開（公告）號: CN113971746B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 彭悅言;高翔;楊旭韻;李偉;溫志慶
• 申請（專利權）人: 季華實驗室
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;B07C5/36
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 李晶

本公開涉及目標檢測領域，具體涉及基于單次人手示教的垃圾分類方法、裝置及分揀智能系統，利用垃圾類別基礎數據集對元學習目標檢測基礎網絡進行訓練，利用單一新物體多角度數據對元學習目標檢測基礎網絡進行強化訓練，及新加類別強化訓練，使元學習目標檢測基礎網絡快速學習以獲取垃圾的物體類別信息和位置信息，通過單次人手示教對垃圾分類網絡進行訓練使垃圾分類網絡學習將待抓取垃圾抓取至對應的垃圾分類桶，利用垃圾抓取基礎數據集對抓取網絡進行訓練以使抓取網絡學習用于抓取待抓取垃圾的抓取位姿，并根據抓取位姿控制將待抓取垃圾抓取至對應垃圾分類桶。通過本公開技術方案，提升垃圾分揀效率，改善工人工作環境，操作方便且魯棒性強。

技術領域

本公開涉及目標檢測領域，尤其涉及一種基于單次人手示教的垃圾分類方法、裝置及分揀智能系統。

背景技術

在高度提倡文明的當今社會，垃圾分類成為了不可避免的議題。盡管大部分人可以做到自覺遵守相關規定，分類投放垃圾，仍有部分因大意或概念不清導致的垃圾錯誤分類扔擲情況，這無疑大大加重了環保工人的負擔。

每戶每天產生的垃圾較多，且垃圾站環境惡劣，工人逐個分揀較為困難；而日常產生的垃圾種類繁多，外表特征各異，普通的深度神經網絡需對同樣樣本的多角度采樣方可識別分類定位，效率低，且遠程實現困難。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本公開提供了一種基于單次人手示教的垃圾分類方法、裝置及分揀智能系統，提升垃圾分揀效率，改善工人工作環境，操作方便且魯棒性強。

第一方面，本公開提供了一種基于少樣本的目標檢測方法，包括：

利用垃圾類別基礎數據集對元學習目標檢測基礎網絡進行訓練，利用單一新物體多角度數據對所述元學習目標檢測基礎網絡進行強化訓練，及新加類別強化訓練，以使所述元學習目標檢測基礎網絡快速學習以獲取垃圾的物體類別信息和位置信息；

通過單次人手示教對垃圾分類網絡進行訓練以使所述垃圾分類網絡學習將待抓取垃圾抓取至對應的垃圾分類桶；

利用垃圾抓取基礎數據集對抓取網絡進行訓練以使所述抓取網絡學習用于抓取待抓取垃圾的抓取位姿，并根據所述抓取位姿控制將待抓取垃圾抓取至對應的垃圾分類桶。

可選地，利用垃圾類別基礎數據集對元學習目標檢測基礎網絡進行訓練，利用單一新物體多角度數據對所述元學習目標檢測基礎網絡進行強化訓練，及新加類別強化訓練，以使所述元學習目標檢測基礎網絡快速學習以獲取垃圾的物體類別信息和位置信息，包括：

獲取輸入圖片的特征圖并獲取所述特征圖的劃分區域；

根據所述劃分區域并采用注意力機制生成垃圾候選區域；

根據所述垃圾候選區域獲取垃圾的物體類別信息和位置信息。

可選地，利用垃圾類別基礎數據集對元學習目標檢測基礎網絡進行訓練以使所述元學習目標檢測基礎網絡學習獲取垃圾的物體類別信息和位置信息，還包括：

多角度并行計算參考垃圾與訓練垃圾的相似度以強化同類垃圾的特征關聯性。

可選地，通過單次人手示教對垃圾分類網絡進行訓練以使所述垃圾分類網絡學習將待抓取垃圾抓取至對應的垃圾分類桶，包括：

通過不同卷積核提取待抓取垃圾的分類標識特征；

對所述垃圾分類桶進行定位；

識別人手。

可選地，通過單次人手示教對垃圾分類網絡進行訓練以使所述垃圾分類網絡學習將待抓取垃圾抓取至對應的垃圾分類桶，包括：

通過實時人手示教對垃圾分類網絡進行訓練以使所述垃圾分類網絡學習將待抓取垃圾抓取至對應的垃圾分類桶；或者，