[發(fā)明專利]一種垃圾自動(dòng)分類模型的構(gòu)建方法、垃圾分揀方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110796264.2
• 申請(qǐng)日: 2021-07-14
• 公開（公告）號(hào): CN113469264A
• 公開（公告）日: 2021-10-01
• 發(fā)明（設(shè)計(jì)）人: 李慶;張洋;董雪;陳苑鋒;其他發(fā)明人請(qǐng)求不公開姓名
• 申請(qǐng)（專利權(quán)）人: 南通通琦自動(dòng)化科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08;G06T7/13;G06T7/246;B07C5/34;B07C5/36
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及一種垃圾自動(dòng)分類模型的構(gòu)建方法、垃圾分揀方法和系統(tǒng)，屬于垃圾分類技術(shù)領(lǐng)域，獲取多種垃圾在多種外部環(huán)境下的圖像，對(duì)所述圖像進(jìn)行標(biāo)記；將標(biāo)記后的圖像按比例分成訓(xùn)練集和測(cè)試集；獲取YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)中，對(duì)YOLOv4網(wǎng)絡(luò)的分支網(wǎng)絡(luò)中添加注意力機(jī)制模塊生成目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)；依次通過所述訓(xùn)練集、所述測(cè)試集對(duì)所述目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練、測(cè)試，生成垃圾自動(dòng)分類模型。本發(fā)明還進(jìn)一步公開了使用該分類模型的垃圾分揀方法和系統(tǒng)。本發(fā)明通過小樣本訓(xùn)練實(shí)現(xiàn)了高精度分類，并通過多目標(biāo)跟蹤和角度計(jì)算，實(shí)現(xiàn)了可回收垃圾的自動(dòng)分揀，提高了工作效率，具有良好的社會(huì)效益和經(jīng)濟(jì)效益。

技術(shù)領(lǐng)域

本發(fā)明涉及垃圾分類識(shí)別領(lǐng)域，尤其涉及一種垃圾自動(dòng)分類模型的構(gòu)建方法、垃圾分揀方法和系統(tǒng)。

背景技術(shù)

隨著經(jīng)濟(jì)的不斷發(fā)展和生活水平的提高，我國(guó)因?yàn)槔鴨栴}造成的社會(huì)相關(guān)矛盾不斷增加，在城市垃圾分類回收以及資源管理上迫切需要得到有效的解決。城市垃圾分類回收以及資源管理無法有效解決，給市民的生活和生態(tài)環(huán)境保護(hù)都帶來了眾多的壓力和困擾。當(dāng)前垃圾處理的主要手段就是填埋和焚燒，垃圾填埋占用大量土地資源；垃圾焚燒則造成嚴(yán)重的空氣污染，且投資消耗大。智能可回收垃圾分揀系統(tǒng)能高效地完成分揀任務(wù)、加快資源的回收利用。

世界上第一個(gè)機(jī)器人垃圾分揀系統(tǒng)是芬蘭的ZenRobotics公司（ZenRoboticsLtd.）設(shè)計(jì)的，ZenRobotics垃圾分揀系統(tǒng)能夠使用機(jī)械臂識(shí)別分揀出需要的固體垃圾。ZenRobotics分揀系統(tǒng)24小時(shí)持續(xù)工作的情況下能夠處理約1000噸垃圾。ZenRobotics垃圾分揀系統(tǒng)中傳感器包括：三維激光掃描儀，金屬探測(cè)器，NIR-近紅外光譜傳感器，可見光譜傳感器，高分辨率 RGB攝像頭等。種類豐富的傳感器結(jié)合深度學(xué)習(xí)算法為ZenRobotics提供了完善的感知信息，然而該垃圾分揀系統(tǒng)的傳感器成本過高，限制了它的廣泛應(yīng)用。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法對(duì)于可回收垃圾領(lǐng)域的針對(duì)性研究不足，且數(shù)據(jù)集規(guī)模小，算法泛化性能對(duì)垃圾的視覺特征研究不充分等特性。對(duì)于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)算法，為了提高算法本身的泛化能力及識(shí)別性能，亟需建立一個(gè)大規(guī)模的可回收垃圾目標(biāo)檢測(cè)數(shù)據(jù)集以滿足視覺算法的研究和實(shí)際可回收垃圾識(shí)別的需求。

分揀系統(tǒng)中的動(dòng)態(tài)抓取比節(jié)拍式抓取效率高很多，而動(dòng)態(tài)抓取的整個(gè)過程中傳送帶保持運(yùn)動(dòng)，容易漏抓和空抓。為了避免這種情況，必須對(duì)每個(gè)被檢測(cè)到的物體進(jìn)行ID分配和跟蹤，其中SORT和DEEPSORT是當(dāng)前主流的多目標(biāo)跟蹤算法，它們都基于卡爾曼濾波對(duì)物體運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，而一旦檢測(cè)中某幾幀漏檢，就極易出現(xiàn)ID切換，從而導(dǎo)致機(jī)械臂抓取目標(biāo)垃圾時(shí)候重復(fù)抓取，嚴(yán)重影響抓取效率。考慮到傳送帶上物體運(yùn)動(dòng)簡(jiǎn)單，物體本身形變少，且傳送帶本身作為背景比較簡(jiǎn)單，跟蹤時(shí)間較短，基于視覺特征的跟蹤方法更為適合當(dāng)前應(yīng)用場(chǎng)景。近年來，MOSSE、KCF及CN等相關(guān)濾波類算法表現(xiàn)突出，在速度及精度方面都獲得了很好的表現(xiàn)。其中，KCF算法針對(duì)MOSSE算法中特征通道為單通道的缺點(diǎn)，使用HOG特征進(jìn)行跟蹤，并使用循環(huán)矩陣生成樣本訓(xùn)練回歸器，提高了訓(xùn)練樣本量，并利用循環(huán)矩陣傅里葉變換對(duì)角化的性質(zhì)大大降低了計(jì)算量,使跟蹤速度達(dá)到實(shí)時(shí)。但基于視覺特征的單目標(biāo)跟蹤方法受外界光照等環(huán)境因素影響較大，在一些特定場(chǎng)景下的跟蹤性能可能會(huì)大打折扣。因此，工業(yè)領(lǐng)域中跟蹤的應(yīng)用需要考慮現(xiàn)實(shí)場(chǎng)景選用合適的跟蹤方法并對(duì)跟蹤策略做出相應(yīng)的調(diào)整和改進(jìn)，才能獲得良好的跟蹤效果。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題在于針對(duì)現(xiàn)有技術(shù)中的缺陷，提供一種基于視覺圖像對(duì)垃圾進(jìn)行分類的模型的構(gòu)建方法，以及基于該方法構(gòu)建的模型進(jìn)行垃圾分揀的方法和系統(tǒng)。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：一種垃圾自動(dòng)分類模型的構(gòu)建方法，包括，

獲取多種垃圾在多種外部環(huán)境下的圖像，對(duì)所述圖像進(jìn)行標(biāo)記；

將標(biāo)記后的圖像按比例分成訓(xùn)練集和測(cè)試集；

獲取YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)中，對(duì)YOLOv4網(wǎng)絡(luò)的分支網(wǎng)絡(luò)中添加注意力機(jī)制模塊生成目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)；