[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)的高清攝像機布料疵點檢測方法

在審

• 申請?zhí)枺?/td>: 202010026201.4
• 申請日: 2020-01-10
• 公開（公告）號: CN111047655A
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計）人: 徐斌;曾祥永
• 申請（專利權(quán)）人: 北京盛開互動科技有限公司
• 主分類號: G06T7/90
• 分類號: G06T7/90;G06T7/40;G06T7/13;G06T7/11;G06T7/00;G06N3/08;G06N3/04;G01N21/93;G01N21/88
• 代理公司: 天津市杰盈專利代理有限公司 12207
• 代理人: 趙尊生

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的高清攝像機布料疵點檢測方法，其特征在于：通過高清攝像機拍攝待檢測布料，并對拍攝環(huán)境進行補光，保證采集圖像包含清晰紋理、顏色信息；然后判定布料是否處于待檢測狀態(tài)，若布料位置信息準(zhǔn)確，自動拍攝并將圖片送入設(shè)計的神經(jīng)網(wǎng)絡(luò)，經(jīng)過深度學(xué)習(xí)算法提取特征，檢測并標(biāo)記布料疵點位置，輸出識別結(jié)果，并將識別結(jié)果通過UI界面；具體包括的步驟：

1)采集布料疵點數(shù)據(jù)集，并建立以一千萬以上數(shù)量級的訓(xùn)練卷積網(wǎng)絡(luò)的數(shù)據(jù)集；

(1)采集、建立疵點數(shù)據(jù)集

以布料生產(chǎn)線上的多種顏色包括藏藍色、金灰色、暗紅色、粉紅色多紋理布料為采集對象，

a、布料疵點圖像數(shù)據(jù)集，作為負樣本包括類型：

疵點顏色：黑色、粉色、紅色、紫色、棕色；

疵點形狀：臟污、刮紗、織稀、跳花；

疵點大小：直徑大小精確至以毫米為單位；

b、與上述對應(yīng)類型的無疵點圖像建立數(shù)據(jù)集，作為正樣本；

所述無疵點布料圖像正樣本數(shù)據(jù)集為500萬；

所述布料疵點圖像數(shù)據(jù)集負樣本500萬；

所述布料疵點圖像數(shù)據(jù)集困難樣本200萬：由于疵點形態(tài)大小各異新增困難樣本；

(2)疵點選擇

首先將采集的數(shù)據(jù)集切分為待訓(xùn)練的像素塊，像素塊大小范圍為64*64-512*512不等；優(yōu)選128*128像素塊；

將采集的數(shù)據(jù)集切分為128*128像素的bmp、jpg格式，并送入訓(xùn)練網(wǎng)絡(luò)；

2)：通過對比實驗設(shè)置最佳卷積網(wǎng)絡(luò)模型

(1)卷積網(wǎng)絡(luò)結(jié)構(gòu)包括：

多個卷積層、激活函數(shù)層，其后接損失函數(shù)層；優(yōu)選：7個卷積層、6個激活函數(shù)層，1個softmax層的卷積網(wǎng)絡(luò)結(jié)構(gòu)，其中前6個卷積層每層接一個激勵函數(shù)，卷積層之間采用反向傳播梯度下降算法進行權(quán)值更新，最后一層與改進的NMS算法通過交叉熵損失函數(shù)連接；此網(wǎng)絡(luò)模型通過加深特征提取深度取代池化層；通過卷積方式直接進行特征映射替代全連接層；該所述網(wǎng)絡(luò)結(jié)構(gòu)無全連接層，可對疵點圖像進行縮放且縮放后不影響檢測結(jié)果；

(2)訓(xùn)練網(wǎng)絡(luò)模型

由高清攝像機拍攝布料紋理細節(jié)采集的數(shù)據(jù)集，卷積網(wǎng)絡(luò)根據(jù)布料紋理學(xué)習(xí)，構(gòu)建圖像樣本集，并采用RGB均值法確定包含圖像邊緣信息的數(shù)據(jù)集，該類數(shù)據(jù)影響疵點判定，篩選出該類數(shù)據(jù)集并做單獨訓(xùn)練；

通過對比試驗，確定卷積網(wǎng)絡(luò)結(jié)構(gòu)后，利用反向傳播算法確定卷積權(quán)值，利用權(quán)值共享減少網(wǎng)絡(luò)參數(shù)；

3)：將上述大量的原始目標(biāo)圖像數(shù)據(jù)集，不斷訓(xùn)練卷積網(wǎng)絡(luò)模型，增強魯棒性；并使用改進NMS算法判別，采用多框合并的計算方式過濾疵點，減少誤檢，即過濾誤檢，其中黃色為卷積網(wǎng)絡(luò)檢測的誤檢框，紅色為改進的NMS最終判定的誤檢框；

4)：搭建高清攝像機裝置

按照布料生產(chǎn)線布料的實際環(huán)境，空間狀態(tài)搭建所需要的高清相機裝置，高清攝像機裝置包括：高清攝像機、補光燈裝置、底座、硬件運算平臺；

(1)每個高清攝像機前置鏡頭前連接補光燈裝置，攝像頭與檢測布料距離匹配，以便保證獲取清晰紋理信息；底座用來固定目標(biāo)布料，根據(jù)布料空間狀態(tài)確定相對應(yīng)的空間狀態(tài)的底座形狀，包括平面、立體及不規(guī)則形狀；

(2)高清攝像機的安裝空間位置和個數(shù)與布料疵點所需檢測對應(yīng)匹配，包括：布料正面和布料反面以及其它角度；

(3)硬件運算平臺包括GPU、CPU或計算棒，進行計算。

2.根據(jù)權(quán)利要求1所述的檢測方法，其特征在于所述的網(wǎng)絡(luò)結(jié)構(gòu)，包含7個卷積層，前四層卷積網(wǎng)絡(luò)步長為2，為保證布料數(shù)據(jù)完整性，通道數(shù)由32隨卷積層數(shù)逐層成倍增加；第五、六層卷積網(wǎng)絡(luò)步長為1，通道數(shù)分別為256、512；第7層網(wǎng)絡(luò)步長為1并輸出兩個高維特征；將裁剪的128*128檢測圖像送入網(wǎng)絡(luò)后，通過7層網(wǎng)絡(luò)判定該圖片是否存在疵點。