[發明專利]一種垃圾自動分類模型的構建方法、垃圾分揀方法和系統

在審

• 申請號: 202110796264.2
• 申請日: 2021-07-14
• 公開（公告）號: CN113469264A
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 李慶;張洋;董雪;陳苑鋒;其他發明人請求不公開姓名
• 申請（專利權）人: 南通通琦自動化科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T7/13;G06T7/246;B07C5/34;B07C5/36
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種垃圾自動分類模型的構建方法，其特征在于：包括，

獲取多種垃圾在多種外部環境下的圖像，對所述圖像進行標記；

將標記后的圖像按比例分成訓練集和測試集；

獲取YOLOv4網絡結構中，對YOLOv4網絡的分支網絡中添加注意力機制模塊生成目標網絡結構；

依次通過所述訓練集、所述測試集對所述目標網絡結構進行訓練、測試，生成垃圾自動分類模型。

2.根據權利要求1所述的一種垃圾自動分類模型的構建方法，其特征在于：所述圖像的標記信息包括垃圾類別和圖像中垃圾邊框的左上角和右下角坐標。

3.根據權利要求1所述的一種垃圾自動分類模型的構建方法，其特征在于：所述對YOLOv4網絡的分支網絡中添加注意力機制的方法為：對YOLOv4的CSPDarknet53網絡輸出的多個通道，通過SENet模塊進行加權處理，或使用CBAM模塊對YOLOv4的CSPDarknet53網絡輸出的特征圖進行像素的加權處理。

4.根據權利要求3所述的一種垃圾自動分類模型的構建方法，其特征在于：訓練過程在Pytorch框架中進行訓練，采用隨機梯度訓練模型更新YOLOv4網絡的參數，批量大小設置為64，基礎學習率為，動量為0.95，重量衰減為0.0005，進行50次完整訓練。

5.一種垃圾分揀方法，其特征在于：包括，

通過傳送帶帶動垃圾運行，獲取傳送帶上的垃圾圖像；

通過預訓練的垃圾自動分類模型確定被跟蹤的目標垃圾所屬的類別；

對識別為可回收垃圾的目標垃圾進行多目標跟蹤，對跟蹤的目標垃圾順序編號并確定編號對應的垃圾類別；

計算目標垃圾在圖像中的坐標，并基于坐標變換獲得目標垃圾相對執行器的角度信息；

在目標垃圾進入執行器的執行范圍內時，根據分類結果將目標垃圾移動到對應的目的地。

6.根據權利要求5所述的一種垃圾分揀方法，其特征在于：所述多目標跟蹤的方法如下：

構建用來放置目標垃圾的跟蹤池，初始狀態跟蹤池為空；

將目標垃圾與跟蹤池內的跟蹤物體進行交并比IoU的計算；

如果跟蹤池內的所有跟蹤物體與目標垃圾的交并比均滿足，為交并比閾值，將目標垃圾加入到跟蹤池內，對目標垃圾編號，將目標垃圾的檢測邊界框作為該編號的跟蹤邊界框；

否則，查找跟蹤池內與該目標垃圾的IoU數值最大的跟蹤物體，將查找到的跟蹤物體的跟蹤邊界框與該目標垃圾的檢測邊界框進行匹配；

通過匈牙利算法對檢測邊界框和跟蹤邊界框進行匹配，如果匹配成功，則，其中，i為跟蹤物體對應的編號；

如果匹配失敗且目標垃圾的跟蹤邊界超出跟蹤范圍，則刪除當前跟蹤目標，否則，令；

如果匹配失敗且目標垃圾的跟蹤邊界未超出跟蹤范，令，則刪除當前跟蹤目標。

7.根據權利要求5所述的一種垃圾分揀方法，其特征在于：所述的計算目標垃圾相對執行器的角度信息的方法為：

對獲取的圖像使用矩形框進行裁剪分割為不同的個體；

將裁剪后的圖像轉化為灰度圖，對灰度圖進行中值濾波，消除圖像噪點；

對灰度圖進行圖像二值化處理，將圖像與背景分割；

對圖像做形態學處理，先進行膨脹操作再進行腐蝕用，以使被黑色分割開的白色感興趣區域聯通；

如果裁剪后的灰度圖上存在多個最小外接矩形，以與跟蹤框的IoU值最大的外接矩形框作為最小外接矩形；

求解最小外接矩形在圖像中的角度信息，通過坐標變換轉化為執行器的角度信息。

8.根據權利要求5所述的一種垃圾分揀方法，其特征在于：所述執行器包括沿傳送帶行進方向依次設置的吸盤和六軸機器人。

9.根據權利要求5所述的一種垃圾分揀方法，其特征在于：通過RGB相機獲取傳送帶上的垃圾圖像。

10.一種垃圾自動分揀系統，其特征在于：包括，

圖像獲取模塊，用于通過傳送帶驅動垃圾運行，獲取傳送帶上的垃圾圖像；

垃圾分類模塊，用于使用垃圾自動分類模型確定被跟蹤物體所屬的類別；

多目標跟蹤摸，用于對識別為可回收垃圾的目標垃圾進行多目標跟蹤，對跟蹤的目標垃圾順序編號并確定編號對應的垃圾類別；

角度計算模塊，用于計算目標垃圾在圖像中的坐標，并基于坐標變換獲得目標垃圾相對執行器的角度信息；

執行模塊，用于在目標垃圾進入執行器的執行范圍內時，根據分類結果將目標垃圾移動到對應的目的地。