[發(fā)明專利]一種基于特征融合的深度神經(jīng)網(wǎng)絡(luò)表面缺陷檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010469022.8
• 申請(qǐng)日: 2020-05-28
• 公開(kāi)（公告）號(hào): CN111627012B
• 公開(kāi)（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: 曹錦綱;楊國(guó)田;徐婷婷;楊錫運(yùn);張冀;張銘泉;梅華威
• 申請(qǐng)（專利權(quán)）人: 華北電力大學(xué)（保定）
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06N3/04;G06N3/08;G01N21/88
• 代理公司: 石家莊開(kāi)言知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 13127
• 代理人: 李志民

1.一種基于特征融合的深度神經(jīng)網(wǎng)絡(luò)表面缺陷檢測(cè)方法，采用編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)提取表面缺陷各卷積層特征，其特征在于，利用編碼特征融合模塊和兩級(jí)級(jí)聯(lián)解碼模塊將特征提取模塊的各卷積層特征深度融合；

其中，用于提取特征的特征提取模塊是基于ResNet50構(gòu)成，其包括5個(gè)卷積層：1個(gè)輸入卷積層和4個(gè)殘差卷積層，5個(gè)卷積層的輸出直接與編碼特征融合模塊相連，作為編碼特征融合模塊輸入；

編碼特征融合模塊，是由若干特征交叉融合模塊構(gòu)成，由所述特征提取模塊各卷積層輸出的特征圖尺寸是不同的，特征交叉融合模塊先利用3×3步長(zhǎng)為2的卷積操作對(duì)低層特征圖進(jìn)行下采樣，使其特征圖與高層特征圖尺寸相同；然后對(duì)下采樣后的低層特征圖進(jìn)行兩種處理：一種是先進(jìn)行平均池化操作，再進(jìn)行1×1步長(zhǎng)為1的卷積操作；另一種是只進(jìn)行1×1步長(zhǎng)為1的卷積操作，將第一種處理方式得到的特征圖先與進(jìn)行了1×1步長(zhǎng)為1的卷積操作的高層特征圖相乘，再與第二種處理方式得到的特征圖相加；

如果特征交叉融合模塊輸入不包含特征提取模塊輸出的最高層特征圖，則再與特征提取模塊輸出的最高層特征圖相加，最后，各層特征圖再進(jìn)行一次卷積操作，統(tǒng)一各層特征圖輸出的通道數(shù)，由編碼特征融合模塊輸出包含全局信息的各層特征圖；

所述解碼器的兩級(jí)級(jí)聯(lián)解碼結(jié)構(gòu)實(shí)現(xiàn)表面缺陷特征的深度融合并將兩級(jí)解碼器輸出特征圖融合作為最終檢測(cè)結(jié)果；

所述兩級(jí)級(jí)聯(lián)解碼模塊包含若干特征融合解碼模塊，特征融合解碼模塊先將輸入的兩個(gè)特征圖相加，再進(jìn)行1×1步長(zhǎng)為1卷積操作，然后其結(jié)果分別進(jìn)行最大池化和全連接操作及平均池化和全連接操作，并將兩部分特征圖相加后進(jìn)行sigmoid變換，最后與1×1步長(zhǎng)為1卷積操作后的特征圖相乘，得到特征融合解碼模塊的輸出特征圖；輸入特征圖是來(lái)自編碼特征融合模塊或下層特征融合解碼模塊；

所述的兩級(jí)解碼器各級(jí)采用相同的結(jié)構(gòu)，第1級(jí)解碼器最上層的特征融合解碼模塊的輸出與該級(jí)其他各層的特征融合解碼模塊輸出相加后送入到第2級(jí)解碼器，而最上層特征融合解碼模塊的輸出直接送到第2級(jí)解碼器，各級(jí)解碼器的輸出經(jīng)過(guò)邊緣求精模塊后進(jìn)行拼接，再經(jīng)過(guò)卷積融合得到最終檢測(cè)結(jié)果。