[發(fā)明專利]一種基于深度學(xué)習(xí)模型的回收瓶分類方法

在審

• 申請?zhí)枺?/td>: 202010884925.2
• 申請日: 2020-08-28
• 公開（公告）號: CN112016462A
• 公開（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: 楊海東;李俊宇;黃坤山;彭文瑜;林玉山
• 申請（專利權(quán)）人: 佛山市南海區(qū)廣工大數(shù)控裝備協(xié)同創(chuàng)新研究院;佛山市廣工大數(shù)控裝備技術(shù)發(fā)展有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;B07C5/12;B07C5/342
• 代理公司: 廣州科沃園專利代理有限公司 44416
• 代理人: 馬盼

1.一種基于深度學(xué)習(xí)模型的回收瓶分類方法，其特征在于，包括如下步驟：

S01：獲取回收瓶圖像，對各個(gè)回收瓶圖像進(jìn)行標(biāo)注和定義類別，形成訓(xùn)練圖像數(shù)據(jù)集、驗(yàn)證圖像數(shù)據(jù)集和測試圖像數(shù)據(jù)集；

S02：建立深度學(xué)習(xí)模型，采用訓(xùn)練圖像數(shù)據(jù)集對所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練；所述深度學(xué)習(xí)模型包括主分支網(wǎng)絡(luò)、預(yù)測分支和修正分支；

S03：采用驗(yàn)證圖像數(shù)據(jù)集和測試圖像數(shù)據(jù)集對訓(xùn)練之后的深度學(xué)習(xí)模型進(jìn)行驗(yàn)證和測試，若驗(yàn)證或測試結(jié)果達(dá)不到設(shè)定值，則返回步驟S02繼續(xù)進(jìn)行深度學(xué)習(xí)模型訓(xùn)練；若驗(yàn)證或測試結(jié)果達(dá)到設(shè)定值，則得到預(yù)測模型；

S04：對預(yù)測模型加載在回收裝置中，所述預(yù)測模型的輸出結(jié)果控制機(jī)械手對回收瓶進(jìn)行分類。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)模型的回收瓶分類方法，其特征在于，所述步驟S01具體包括：

S011：利用工業(yè)相機(jī)拍攝傳送帶上回收瓶視頻；

S012：提取視頻中相同幀間隔的圖像，獲得回收瓶圖像；

S013：刪除回收瓶圖像中不合格圖像，對剩余圖像進(jìn)行標(biāo)注和定義類別；

S014：將標(biāo)注和定義類別之后的圖像分類形成訓(xùn)練圖像數(shù)據(jù)集、驗(yàn)證圖像數(shù)據(jù)集和測試圖像數(shù)據(jù)集。

3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)模型的回收瓶分類方法，其特征在于，所述步驟S014中訓(xùn)練圖像數(shù)據(jù)集、驗(yàn)證圖像數(shù)據(jù)集和測試圖像數(shù)據(jù)集中圖像的個(gè)數(shù)比例為6:2:2。

4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)模型的回收瓶分類方法，其特征在于，所述主分支網(wǎng)絡(luò)包括特征提取部分和定位部分，所述預(yù)測分支和修正分支嵌入在特征增強(qiáng)部分和定位部分之間。

5.根據(jù)權(quán)利要求4所述的一種基于深度學(xué)習(xí)模型的回收瓶分類方法，其特征在于，所述深度學(xué)習(xí)模型采用RepPointsV2模型。

6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)模型的回收瓶分類方法，其特征在于，所述主分支網(wǎng)絡(luò)為anchor-free目標(biāo)預(yù)測模型。

7.根據(jù)權(quán)利要求4所述的一種基于深度學(xué)習(xí)模型的回收瓶分類方法，其特征在于，所述深度學(xué)習(xí)模型的損失函數(shù)L＝L_RepPoints+λ₁L_corner+λ₂L_foreground，其中，L_RepPoints表示主分支網(wǎng)絡(luò)的損失函數(shù)，L_corner表示修正分支的損失函數(shù)，L_foreground表示預(yù)測分支的損失函數(shù)；λ₁和λ₂表示設(shè)置的損失函數(shù)系數(shù)。

8.根據(jù)權(quán)利要求4所述的一種基于深度學(xué)習(xí)模型的回收瓶分類方法，其特征在于，所述步驟S02中，訓(xùn)練圖像數(shù)據(jù)集中的圖像輸入至深度學(xué)習(xí)模型中，所述特征提取部分輸出特征圖；特征圖同時(shí)進(jìn)入定位部分、預(yù)測分支和修正分支；

所述特征圖進(jìn)入定位部分形成預(yù)測框；

所述特征圖進(jìn)入預(yù)測分支中的共享卷積層后得到用于預(yù)測前景的分熱圖；

所述特征圖進(jìn)入修正分支中進(jìn)行角點(diǎn)池化，輸出值用于指導(dǎo)預(yù)測框的修正。

9.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)模型的回收瓶分類方法，其特征在于，所述回收裝置包括相機(jī)、傳輸線、位于傳輸線末端的機(jī)械手以及不同類別回收瓶的回收筐，回收瓶在傳輸線上傳輸時(shí)，相機(jī)實(shí)時(shí)拍攝圖像并將圖像傳輸至預(yù)測模型進(jìn)行識別，所述預(yù)測模型輸出對應(yīng)圖像的位置以及類別，并將輸出結(jié)果轉(zhuǎn)換為機(jī)械手的控制信號，控制機(jī)械手將對應(yīng)回收瓶放置在對應(yīng)的回收筐中。

10.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)模型的回收瓶分類方法，其特征在于，所述步驟S04中還包括將預(yù)測模型加載在回收裝置中并進(jìn)行現(xiàn)場測試，若預(yù)測模型的準(zhǔn)確率低于閾值，需要重新進(jìn)行深度學(xué)習(xí)模型的訓(xùn)練。