[發(fā)明專利]基于深度相機(jī)與機(jī)器學(xué)習(xí)的糖果缺陷檢測裝置及分類方法

有效

• 申請?zhí)枺?/td>: 202110264308.7
• 申請日: 2021-03-11
• 公開（公告）號: CN112950602B
• 公開（公告）日: 2022-01-18
• 發(fā)明（設(shè)計(jì)）人: 倪超;王錦亞;李振業(yè);程磊;居榮華
• 申請（專利權(quán)）人: 南京林業(yè)大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/12;G06T7/62;G06T7/90;G06V10/764;G06V10/82;G06V10/762;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京申云知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32274
• 代理人: 田沛沛;邱興天

本發(fā)明公開了一種基于深度相機(jī)與機(jī)器學(xué)習(xí)的糖果缺陷檢測裝置及分類方法，深度相機(jī)采集光源反射的糖果圖像，并傳輸至工控機(jī)，工控機(jī)對糖果圖像進(jìn)行處理后，控制分選機(jī)構(gòu)完成缺陷糖果的剔除工作；本發(fā)明的分類方法將機(jī)器視覺算法與深度學(xué)習(xí)算法相結(jié)合，利用機(jī)器視覺算法在RGB顏色空間對圖像進(jìn)行特征提取，并對圖像中粘連的糖果進(jìn)行分割，保證了算法在工業(yè)環(huán)境下運(yùn)行的穩(wěn)定性；利用深度學(xué)習(xí)算法中的卷積神經(jīng)網(wǎng)絡(luò)Resnet18檢測缺陷糖果，通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行糖果分類，并輸出糖果缺陷面積。本發(fā)明降低了人工分揀的誤檢率和漏檢率與企業(yè)的生產(chǎn)成本，滿足了企業(yè)的生產(chǎn)需求，提高了生產(chǎn)效率。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺領(lǐng)域，具體涉及機(jī)器視覺和深度學(xué)習(xí)技術(shù)在缺陷檢測尤其是缺陷糖果檢測分類中的應(yīng)用，更具體而言，涉及一種基于深度相機(jī)與機(jī)器學(xué)習(xí)的糖果缺陷檢測裝置及分類方法。

背景技術(shù)

糖果是以糖類為主要成份的一種小吃，糖果行業(yè)作為我國傳統(tǒng)的兩大支柱零食產(chǎn)業(yè)之一，保持著快速的增長。然而，糖果在生產(chǎn)過程中，由于上料不足或運(yùn)輸磕碰不可避免地造成糖果缺陷，缺陷糖果不僅種類多，且形狀各異，體積偏小。目前，缺陷糖果的分類由人工完成，使用人工目測的方法來對缺陷糖果進(jìn)行識(shí)別和分類，其缺點(diǎn)是人為因素影響大、識(shí)別速度慢、分類精度低，且已無法滿足日益增長的消費(fèi)需求。因此需要設(shè)計(jì)一種裝置，并探尋一種算法來識(shí)別并分類含有缺陷的糖果。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種基于深度相機(jī)與機(jī)器學(xué)習(xí)的糖果缺陷檢測裝置及分類方法。

一種基于深度相機(jī)與機(jī)器學(xué)習(xí)的糖果缺陷檢測裝置，包括：糖果進(jìn)料斗、傳送帶、深度相機(jī)、光源、工控機(jī)和分選機(jī)構(gòu)，所述糖果進(jìn)料斗和分選機(jī)構(gòu)分別設(shè)置在傳送帶的兩端，所述深度相機(jī)和光源設(shè)置在傳動(dòng)帶上；所述深度相機(jī)與工控機(jī)連接，深度相機(jī)采集的糖果圖像傳輸至工控機(jī)，工控機(jī)實(shí)現(xiàn)糖果圖像的計(jì)算與分類，并根據(jù)分類結(jié)果控制分選機(jī)構(gòu)動(dòng)作，收集缺陷糖果；糖果分類采用機(jī)器視覺算法與深度學(xué)習(xí)算法相結(jié)合來實(shí)現(xiàn)，首先采用機(jī)器視覺算法對深度相機(jī)采集的原始圖像進(jìn)行特征提取，對圖像中粘連的糖果進(jìn)行分割，保證了算法在工業(yè)環(huán)境下運(yùn)行的穩(wěn)定性，分割后的子圖像劃分為訓(xùn)練集和驗(yàn)證集，并輸入至卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)計(jì)算并輸出缺陷糖果類型和缺陷糖果缺損面積。

作為優(yōu)選，所述糖果進(jìn)料斗上內(nèi)設(shè)置有隔斷冷卻履帶，在所述隔斷冷卻履帶上設(shè)置有隔斷冷卻板，實(shí)現(xiàn)剛凝固定型的糖果的等量分割；所述分選機(jī)構(gòu)包括設(shè)置在傳送帶末端的高速噴閥和設(shè)置在高速噴閥下方的收集箱；工控機(jī)處理識(shí)別出缺陷糖果后，經(jīng)過一定時(shí)間的延時(shí)，高速噴閥吹出含有缺陷的糖果至收集箱中。

作為優(yōu)選，所述深度相機(jī)通過相機(jī)固定架設(shè)置在傳動(dòng)送帶上方，采集均勻落在傳送帶上的糖果的圖像。

作為優(yōu)選，所述光源采用兩根條形光源，條形光源通過可轉(zhuǎn)動(dòng)的光源固定架設(shè)置在相機(jī)固定架上，兩根條形光源實(shí)現(xiàn)交叉照射。

作為優(yōu)選，所述工控機(jī)設(shè)置有采集卡和GPU，采集卡將深度相機(jī)采集的圖像傳輸?shù)焦た貦C(jī)，GPU保證傳統(tǒng)機(jī)器視覺算法與卷積神經(jīng)網(wǎng)絡(luò)的快速實(shí)現(xiàn)。

一種基于深度相機(jī)與機(jī)器學(xué)習(xí)的缺陷糖果分類方法，采用機(jī)器視覺算法，對深度相機(jī)采集的糖果圖像進(jìn)行特征提取，并對圖像中的粘連糖果進(jìn)行凸包分割；分割后的圖像輸入至卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷糖果分類，輸出糖果類型和缺陷糖果的缺損面積。

作為優(yōu)選，所述缺陷糖果分類方法包含下述步驟：

步驟S1：獲取糖果圖像；

步驟S2：用機(jī)器視覺算法提取糖果特征；

步驟S3：對圖像進(jìn)行分割；

步驟S4：將分割后的子圖像劃分為訓(xùn)練集和驗(yàn)證集；

步驟S5：構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，利用訓(xùn)練集中的子圖像對網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

步驟S6：基于預(yù)訓(xùn)練的網(wǎng)絡(luò)，對驗(yàn)證集中的子圖像進(jìn)行分類；