[發(fā)明專利]一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的表面疵點(diǎn)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010173891.6
• 申請(qǐng)日: 2020-03-13
• 公開（公告）號(hào): CN111402226A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 朱威;任振峰;陳悅峰;岑寬;何德峰;鄭雅羽
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/62;G06N3/04
• 代理公司: 杭州賽科專利代理事務(wù)所(普通合伙) 33230
• 代理人: 郭薇

1.一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的表面疵點(diǎn)檢測(cè)方法，其特征在于：

所述方法包括以下步驟：

步驟1：搭建基于Cascade R-CNN的疵點(diǎn)檢測(cè)網(wǎng)絡(luò)；

步驟2：訓(xùn)練并優(yōu)化所述疵點(diǎn)檢測(cè)網(wǎng)絡(luò)；

步驟3：使用工業(yè)相機(jī)實(shí)時(shí)采集待檢測(cè)產(chǎn)品的圖像；

步驟4：利用訓(xùn)練并優(yōu)化后的疵點(diǎn)檢測(cè)網(wǎng)絡(luò)對(duì)圖像進(jìn)行檢測(cè)。

2.根據(jù)權(quán)利要求1所述的一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的表面疵點(diǎn)檢測(cè)方法，其特征在于：所述步驟1中，基于Cascade R-CNN的疵點(diǎn)檢測(cè)網(wǎng)絡(luò)包括順次配合設(shè)置的以下結(jié)構(gòu)：

(1)ResNeXt網(wǎng)絡(luò)，作為特征提取網(wǎng)絡(luò)，輸出的特征圖輸入至FPN；

(2)特征金字塔FPN，F(xiàn)PN所有輸出的新特征圖輸入至RPN網(wǎng)絡(luò)；

(3)區(qū)域建議網(wǎng)絡(luò)RPN，用于在FPN生成的所有新特征圖上生成不同大小、不同尺寸的錨點(diǎn)框，由兩個(gè)3×3卷積層分別預(yù)測(cè)這些錨點(diǎn)框的分?jǐn)?shù)和坐標(biāo)修正值，錨點(diǎn)框經(jīng)坐標(biāo)修正后，作為候選框輸入至后續(xù)的級(jí)聯(lián)網(wǎng)絡(luò)中；

(4)級(jí)聯(lián)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的表面疵點(diǎn)檢測(cè)方法，其特征在于：所述ResNeXt網(wǎng)絡(luò)包括5個(gè)卷積部分，每個(gè)卷積部分由若干個(gè)基本的卷積單元塊堆疊組成，每個(gè)卷積部分中均采用可變形卷積，輸入圖像在經(jīng)過(guò)每個(gè)卷積部分的運(yùn)算后即生成特征圖，且每經(jīng)過(guò)一個(gè)卷積部分，特征圖的分辨率縮小一半，后四個(gè)卷積部分輸出的特征圖均輸入至FPN。

4.根據(jù)權(quán)利要求3所述的一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的表面疵點(diǎn)檢測(cè)方法，其特征在于：所述ResNeXt網(wǎng)絡(luò)其中，C為卷積部分個(gè)數(shù)，x、y分別為輸入和輸出，Ti(x)為單個(gè)卷積部分中卷積單元塊的堆疊結(jié)構(gòu)。

5.根據(jù)權(quán)利要求3所述的一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的表面疵點(diǎn)檢測(cè)方法，其特征在于：所述ResNeXt網(wǎng)絡(luò)中，每個(gè)卷積部分使用3×3的可變形卷積核，卷積后輸出的像素值為y(p₀)，其中，p₀為當(dāng)前卷積窗口的中心點(diǎn)，p₀+p_n為標(biāo)準(zhǔn)卷積窗口中的每個(gè)采樣點(diǎn)，△p_n為對(duì)標(biāo)準(zhǔn)卷積核中的每個(gè)采樣點(diǎn)的位置增加的偏移變量，R為卷積核的大小，w為卷積核中的系數(shù)，x為當(dāng)前卷積窗口中每個(gè)像素點(diǎn)的像素值。

6.根據(jù)權(quán)利要求3所述的一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的表面疵點(diǎn)檢測(cè)方法，其特征在于：所述特征金字塔FPN將ResNeXt網(wǎng)絡(luò)中四個(gè)部分輸出的特征圖分別連接一個(gè)1×1卷積層，每個(gè)卷積層的卷積結(jié)果與下一個(gè)分辨率的特征圖的上采樣結(jié)果進(jìn)行相加，最后連接一個(gè)3×3的卷積層，得到4個(gè)新的特征圖；再將ResNeXt網(wǎng)絡(luò)的第5個(gè)特征圖經(jīng)過(guò)步長(zhǎng)為2的最大值池化操作后，得到新的第5個(gè)特征圖；FPN所有輸出的特征圖輸入至RPN網(wǎng)絡(luò)中。

7.根據(jù)權(quán)利要求2所述的一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的表面疵點(diǎn)檢測(cè)方法，其特征在于：所述區(qū)域建議網(wǎng)絡(luò)RPN中，設(shè)置參數(shù)用于生成錨點(diǎn)框，所述參數(shù)包括生成錨點(diǎn)框的長(zhǎng)寬比ratios、生成錨點(diǎn)框面積scales和生成錨點(diǎn)框的比例數(shù)量；以θ1用于檢測(cè)橫向的細(xì)長(zhǎng)疵點(diǎn)，θ1的取值范圍為[10,50]，以θ2用于檢測(cè)縱向的細(xì)長(zhǎng)疵點(diǎn)，θ2的取值范圍為[0.02,0.1]。

8.根據(jù)權(quán)利要求2所述的一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的表面疵點(diǎn)檢測(cè)方法，其特征在于：所述級(jí)聯(lián)網(wǎng)絡(luò)包括三組對(duì)應(yīng)設(shè)置的區(qū)域?qū)R層ROI Align和R-CNN網(wǎng)絡(luò)；每個(gè)R-CNN網(wǎng)絡(luò)包括兩層全連接層，這兩層全連接層的輸出分別輸入至分類層和回歸層、用于預(yù)測(cè)分類和目標(biāo)框修正值；每個(gè)R-CNN網(wǎng)絡(luò)中，回歸層的輸出將經(jīng)過(guò)區(qū)域?qū)R層ROI Align固定成7×7尺寸后輸入至下一個(gè)R-CNN結(jié)構(gòu)中進(jìn)一步分類和修正。