[發(fā)明專利]一種垃圾自動(dòng)分揀多目標(biāo)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210123927.9
• 申請(qǐng)日: 2022-02-10
• 公開(kāi)（公告）號(hào): CN114494884A
• 公開(kāi)（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 杜金蓮;黃紅蝶;蘇航;金雪云;趙青
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06V20/10
• 分類(lèi)號(hào): G06V20/10;G06V10/44;G06V10/764;G06V10/82;G06V10/80;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

本發(fā)明公開(kāi)了一種垃圾自動(dòng)分揀多目標(biāo)檢測(cè)方法，包括，步驟一：輸入圖像，并將圖像規(guī)格化為網(wǎng)絡(luò)結(jié)構(gòu)的標(biāo)準(zhǔn)輸入大小。步驟二：預(yù)處理是指對(duì)圖像進(jìn)行降噪。步驟三：特征提取器包括五個(gè)特征提取單元和小目標(biāo)提取單元，將這五個(gè)特征以及小目標(biāo)提取單元提取到的特征進(jìn)行特征融合。步驟四：將步驟三得到的特征作為此部分全連接層的輸入，輸出值作為softmax函數(shù)的輸入，得到最終的分類(lèi)結(jié)果。步驟五：輸出分類(lèi)結(jié)果。使用局部注意力機(jī)制與全局注意力機(jī)制相結(jié)合的方法，使網(wǎng)絡(luò)關(guān)注檢測(cè)目標(biāo)而忽略對(duì)特征提取有干擾的背景信息。使用反卷積增大負(fù)責(zé)檢測(cè)小目標(biāo)的特征層conv7的特征圖，將特征圖與特征提取單元獲得的特征圖進(jìn)行融合，從而提高對(duì)體積較小目標(biāo)檢測(cè)準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于基于深度學(xué)習(xí)的圖像分類(lèi)領(lǐng)域，涉及目標(biāo)檢測(cè)和分類(lèi)任務(wù)，具體為針對(duì)垃圾的目標(biāo)檢測(cè)及分類(lèi)方法。

背景技術(shù)

。垃圾是對(duì)人類(lèi)有益的還是有害的，在很大程度上取決于人類(lèi)處理垃圾的方式。我國(guó)各地區(qū)對(duì)生活垃圾分類(lèi)標(biāo)準(zhǔn)有不同的規(guī)定，大致可以分為廚余垃圾、可回收垃圾、有害垃圾、其他垃圾，將不同種類(lèi)的垃圾進(jìn)行不同處理，可以高效挖掘垃圾的可利用價(jià)值，同時(shí)有效降低垃圾對(duì)環(huán)境的污染程度。但是，由于傳統(tǒng)的垃圾分類(lèi)方法一直是將垃圾分為可回收和不可回收兩類(lèi)，民眾難以在較短時(shí)間內(nèi)形成新的垃圾分類(lèi)意識(shí)，導(dǎo)致在垃圾分類(lèi)的過(guò)程中，出現(xiàn)較多分類(lèi)錯(cuò)誤現(xiàn)象。

在機(jī)器學(xué)習(xí)出現(xiàn)以前，一直是依賴人工進(jìn)行垃圾分類(lèi)，浪費(fèi)大量人力的同時(shí)，也因?yàn)槿斯し謷挠邢扌裕瑢?dǎo)致大量可重復(fù)利用的垃圾不能重新利用，造成一定程度上的資源浪費(fèi)。機(jī)器學(xué)習(xí)出現(xiàn)以后，許多學(xué)者將機(jī)器學(xué)習(xí)算法應(yīng)用到垃圾分類(lèi)中，主要通過(guò)設(shè)計(jì)算法手動(dòng)提取圖像的相關(guān)特征，結(jié)合分類(lèi)器完成垃圾的分類(lèi)。吳健等人在使用機(jī)器學(xué)習(xí)進(jìn)行垃圾分類(lèi)的過(guò)程中，首先選用灰度共生矩陣和統(tǒng)計(jì)量進(jìn)行紋理特征提取，再?gòu)幕叶染仃囍校崛?duì)比度、熵、逆差距、相關(guān)等參數(shù)作為紋理分析的特征量，完成垃圾分類(lèi)的工作。Mindy Yang等人在 TrashNet Dataset數(shù)據(jù)集上用基于SVM的機(jī)器學(xué)習(xí)方法進(jìn)行了垃圾分類(lèi)。他們提出的方法是以SIFT特征作為支持向量機(jī)的特征，然后用k-means算法進(jìn)行聚類(lèi)。Stephenn L.Rabano等人將輕量級(jí)神經(jīng)網(wǎng)絡(luò)MobileNet應(yīng)用到TrashNet Dataset數(shù)據(jù)集上，較SVM的算法準(zhǔn)確率有所提升。TrashNet Dataset數(shù)據(jù)集包含玻璃、紙張、塑料、金屬和一般垃圾六種可回收類(lèi)別，此數(shù)據(jù)集中的圖像是通過(guò)將物體放在白色海報(bào)板上并使用陽(yáng)光或室內(nèi)照明來(lái)拍攝獲取的，統(tǒng)一的白色背景為分類(lèi)減少了很大的干擾，但是現(xiàn)實(shí)生活中垃圾的背景環(huán)境是多種多樣的，很明顯這是遠(yuǎn)遠(yuǎn)不能滿足當(dāng)前的生活垃圾分類(lèi)需求的。相比于國(guó)外，國(guó)內(nèi)對(duì)于垃圾分類(lèi)的研究算法較少，且存在主要針對(duì)較大體積垃圾的分類(lèi)而忽視了對(duì)如干電池、瓜子皮等體積較小的垃圾分類(lèi)的問(wèn)題。

為了實(shí)現(xiàn)對(duì)復(fù)雜背景環(huán)境下的生活垃圾進(jìn)行特征提取及分類(lèi)，提高對(duì)體積較小的垃圾的識(shí)別準(zhǔn)確率，從而提高垃圾分類(lèi)的整體準(zhǔn)確率，以滿足日益增長(zhǎng)的需求問(wèn)題，有必要對(duì)垃圾自動(dòng)分揀中目標(biāo)檢測(cè)及分類(lèi)算法進(jìn)行探索與研究，解決上述問(wèn)題。

發(fā)明內(nèi)容

為了實(shí)現(xiàn)在復(fù)雜的背景環(huán)境下對(duì)生活垃圾進(jìn)行特征提取及分類(lèi)，以及提高對(duì)體積較小的垃圾的識(shí)別準(zhǔn)確率，從而提高垃圾分類(lèi)的整體準(zhǔn)確率，以滿足日益增長(zhǎng)的需求問(wèn)題，有必要對(duì)垃圾自動(dòng)分揀中目標(biāo)檢測(cè)及分類(lèi)算法進(jìn)行探索與研究，解決上述問(wèn)題，進(jìn)而提出的一種垃圾自動(dòng)分揀中多目標(biāo)檢測(cè)方法，將目標(biāo)檢測(cè)算法運(yùn)用到分類(lèi)任務(wù)中，實(shí)現(xiàn)多分類(lèi)任務(wù)。針對(duì)生活垃圾的紋理特征比較復(fù)雜，大小不固定，部分類(lèi)別易發(fā)生形變導(dǎo)致形狀不固定的特點(diǎn)，有效特征的提取對(duì)于分類(lèi)結(jié)果有著至關(guān)重要的影響。本發(fā)明以SSD模型作為目標(biāo)檢測(cè)網(wǎng)絡(luò)，使用 resnet101網(wǎng)絡(luò)替代原本的VGG網(wǎng)絡(luò)，提取更加豐富的語(yǔ)義信息。為實(shí)現(xiàn)在復(fù)雜的背景環(huán)境下對(duì)生活垃圾進(jìn)行特征提取及分類(lèi)，本發(fā)明使用了局部注意力機(jī)制與全局注意力機(jī)制相結(jié)合的方法，使網(wǎng)絡(luò)關(guān)注檢測(cè)目標(biāo)而忽略對(duì)特征提取有干擾的背景信息。針對(duì)SSD模型對(duì)小目標(biāo)檢測(cè)能力不足的問(wèn)題，本發(fā)明使用反卷積增大負(fù)責(zé)檢測(cè)小目標(biāo)的特征層conv7的特征圖，將此特征圖與特征提取單元獲得的特征圖進(jìn)行融合，從而提高對(duì)體積較小的如干電池，瓜子皮等較小體積的目標(biāo)檢測(cè)準(zhǔn)確率。