[發(fā)明專利]基于多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的手機導(dǎo)光板缺陷可視化檢測方法

在審

• 申請?zhí)枺?/td>: 202010814511.2
• 申請日: 2020-08-13
• 公開（公告）號: CN111951249A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計）人: 李俊峰;李越;姚家輝
• 申請（專利權(quán)）人: 浙江理工大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/136;G06N3/04;G06K9/62
• 代理公司: 杭州中成專利事務(wù)所有限公司 33212
• 代理人: 金祺

1.一種基于多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的手機導(dǎo)光板缺陷可視化檢測方法，其特征在于，包括以下步驟：

步驟1、采集導(dǎo)光板圖像：

在手機導(dǎo)光板生產(chǎn)線末端，設(shè)置導(dǎo)光板圖像采集裝置，采用高分辨率線掃相機進行圖像采集，然后將采集到的導(dǎo)光板圖像傳到上位機進行處理；

步驟2、圖像預(yù)處理：

在上位機中，利用閾值分割技術(shù)來剔除步驟1中采集得到的導(dǎo)光板圖像中所包含的黑色背景，獲得導(dǎo)光板ROI的區(qū)域圖像；

然后將導(dǎo)光板ROI的區(qū)域圖像裁剪成一組尺寸為H×W×1的小圖像，相鄰的圖像之間有1/10圖像寬度的重疊，H＝224，W＝224，以下出現(xiàn)的H、W均與之相同；

步驟3、建立并訓(xùn)練、測試多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)，包括特征提取、特征融合、分割頭Segmentation Head和分類頭Classification Head四個子網(wǎng)絡(luò)，然后保存并輸出訓(xùn)練好的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)；

步驟4、使用訓(xùn)練好的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)進行缺陷檢測，并輸出結(jié)果：

使用特征提取子網(wǎng)絡(luò)對步驟2獲得的H×W×1的小圖像提取多尺度特征圖，然后通過特征融合子網(wǎng)絡(luò)使用特征融合的方式對提取出來的多尺度特征圖進行交互，使每一單一尺度特征獲得多個尺度的特征表達，然后再利用分割頭Segmentation Head子網(wǎng)絡(luò)定位缺陷的具體位置，最后利用分類頭Classification Head子網(wǎng)絡(luò)完成對缺陷的分類任務(wù)，輸出結(jié)果包括二部分：一個是分割頭Segmentation Head子網(wǎng)絡(luò)語義分割輸出的缺陷掩膜，是尺寸為H×W×1的黑白圖像，另一個是分類頭Classification Head子網(wǎng)絡(luò)的輸出結(jié)果，是預(yù)測為缺陷樣本的概率，最后，將上述結(jié)果在上位機上顯示并存儲。

2.根據(jù)權(quán)利要求1所述的一種基于多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的手機導(dǎo)光板缺陷可視化檢測方法，其特征在于所述步驟3建立并訓(xùn)練、測試多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的步驟具體如下：

步驟3-1、構(gòu)建特征提取子網(wǎng)絡(luò)：

將步驟2圖像預(yù)處理獲得的H×W×1的小圖像輸入特征提取子網(wǎng)絡(luò)，首先經(jīng)過一個步長為1的核尺寸為3*3的卷積，隨后經(jīng)過編碼器基本單元，得到尺寸為H×W×C第一特征圖，隨后將步長為2的3×3卷積、編碼器基本單元操作連續(xù)重復(fù)三次，依次得到尺寸為H/2×W/2×2C的第二特征圖、尺寸為H/4×W/4×4C的第三特征圖、尺寸為H/8×W/8×8C的第四特征圖；

步驟3-2、構(gòu)建特征融合子網(wǎng)絡(luò)：

所述特征融合子網(wǎng)絡(luò)包括四層結(jié)構(gòu)，通過對特征提取子網(wǎng)絡(luò)輸出的四種尺寸不同的特征圖，分別以逐步特征融合的方式進行層與層之間的交互，對應(yīng)輸出四種尺寸的特征圖，尺寸分別為H×W×C，H/2×W/2×2C,H/4×W/4×4C,H/8×W/8×8C；

所述交互方式包括上采樣和下采樣兩種；逐步特征融合為：首先將相鄰的兩個尺度特征進行特征融合，然后再進行相鄰三個的特征融合；特征融合包括高分辨率向低分辨率特征圖進行特征融合和低分辨率向高分辨率特征圖進行特征融合；高分辨率向低分辨率特征圖進行特征融合為高分辨率特征圖通過步長為2核大小為3×3的卷積進行下采樣操作，獲得與原低分辨率特征圖分辨率、通道均一致的特征圖，然后與原低分辨率特征圖進行相加操作進行特征融合，形成新的低分辨率特征圖；低分辨率向高分辨率特征圖進行特征融合為低分辨率特征圖通過步長為1核大小3×3的卷積加上雙線性插值上采樣操作，獲得與原高分辨率特征圖的分辨率、通道均一致的特征圖，然后與原高分辨率特征圖進行相加操作進行特征融合，形成新的高分辨率特征圖；

步驟3-3、構(gòu)建分割頭Segmentation Head子網(wǎng)絡(luò)

分割頭Segmentation Head子網(wǎng)絡(luò)包括四層步長為1的核尺寸為3*3的卷積，分別對步驟3-2輸出的四種尺寸的特征圖進行操作，分別將四種尺寸的特征圖通道數(shù)變?yōu)镃，四個特征圖尺寸分別為H×W×C、H/2×W/2×C、H/4×W/4×C和H/8×W/8×C；然后，進行雙線性插值上采樣為四個分辨率為H×W的特征圖，進而將四個特征圖進行拼接形成H×W×4C的特征圖，最后，進行步長為1的核尺寸為1*1的卷積生成缺陷掩膜，是尺寸為H×W×1的黑白圖像；

步驟3-4、構(gòu)建分類頭(Classification Head)子網(wǎng)絡(luò)

將步驟3-2中特征融合子網(wǎng)絡(luò)輸出的H/4×W/4×4C的特征圖通過步長為2的編碼器基本單元與步驟3-2中特征融合子網(wǎng)絡(luò)輸出的H/8×W/8×8C的特征圖進行相加，再依次經(jīng)過步長為2的編碼器基本單元與步長為1的核尺寸為1*1的卷積，最后進行全局最大池化global max-pool與全局平均池化global avg-pool，形成64個神經(jīng)元；將步驟3-3中分割頭Segmentation Head子網(wǎng)絡(luò)輸出的H×W×1的缺陷掩膜進行全局最大池化global max-pool與全局平均池化global avg-pool后與前述64個神經(jīng)元連接為66個輸出神經(jīng)元，這66個輸出神經(jīng)元經(jīng)過全連接層Fully Connected后形成最終的神經(jīng)元輸出P：預(yù)測為缺陷樣本的概率；

最后將步驟3-1構(gòu)建的特征提取子網(wǎng)絡(luò)、步驟3-2構(gòu)建的特征融合子網(wǎng)絡(luò)、步驟3-3構(gòu)建的分割頭Segmentation Head子網(wǎng)絡(luò)和步驟3-4構(gòu)建的分類頭Classification Head子網(wǎng)絡(luò)連接成一個完整的網(wǎng)絡(luò)得到建立好的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)；

步驟3-5、訓(xùn)練并測試多任務(wù)學(xué)習(xí)網(wǎng)絡(luò):

步驟3-5-1、建立數(shù)據(jù)集

在手機導(dǎo)光板生產(chǎn)線末端，通過導(dǎo)光板圖像采集裝置，采用高分辨率工業(yè)相機進行采集工業(yè)現(xiàn)場的導(dǎo)光板圖像，然后按步驟2對圖像預(yù)處理后建立訓(xùn)練和測試用的數(shù)據(jù)集，包括232張缺陷圖像和3048張不含缺陷的圖像：將數(shù)據(jù)集中30％作為訓(xùn)練集，包含70張缺陷圖像和945張不含缺陷的圖像，數(shù)據(jù)集中30％作為測試集，包含162張缺陷圖像和2103張不含缺陷的圖像；然后將訓(xùn)練集的每個圖像設(shè)置兩種手工標(biāo)簽：一種是語義分割掩膜標(biāo)簽，另一種是分類標(biāo)簽：含缺陷對應(yīng)1，不含缺陷圖像對應(yīng)0；對每個圖像建立一份訓(xùn)練樣本，包括每個圖像對應(yīng)的語義分割標(biāo)簽與分類標(biāo)簽；為了防止數(shù)據(jù)的過擬合，在訓(xùn)練集中使用5-折交叉驗證，將4/5的訓(xùn)練集作為真實的訓(xùn)練集，1/5的訓(xùn)練集作為真實的驗證集；

步驟3-5-2、建立損失函數(shù)

多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的損失函數(shù)為：

Net_loss＝Seg_loss+Cls_loss，

其中Seg_loss為分割頭Segmentation Head子網(wǎng)絡(luò)的損失函數(shù)，Cls_loss為分類頭Classification Head子網(wǎng)絡(luò)損失函數(shù)，

Seg_loss＝BCE_loss-log(Dice_cofficient)，

其中，y_ij是樣本標(biāo)簽，正樣本標(biāo)簽為1，負樣本標(biāo)簽為0，p_ij是對應(yīng)預(yù)測正樣本的概率，H為圖像的高，W為圖像的寬，i為像素點的縱坐標(biāo)，j為像素點的橫坐標(biāo)，

pred是缺陷分割的概率圖，label是樣本真實的標(biāo)簽；

Cls_loss＝y(tǒng)·log(p)+(1-y)log(1-p)，

其中，y是樣本的分類標(biāo)簽，正樣本標(biāo)簽為1，負樣本標(biāo)簽為0，p為對應(yīng)預(yù)測樣本分類為正樣本的概率；

步驟3-5-3、網(wǎng)絡(luò)訓(xùn)練

使用tensorflow2.0搭建網(wǎng)絡(luò)進行訓(xùn)練和測試，訓(xùn)練中批大小取6，優(yōu)化器采用Adam優(yōu)化器，學(xué)習(xí)率為0.001；訓(xùn)練中每個批大小的樣本數(shù)據(jù)中，設(shè)置成含有一半批大小的正樣本與一半批大小的負樣本；

將訓(xùn)練集輸入到所述建立好的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)中進行訓(xùn)練，多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的輸出預(yù)測結(jié)果與樣本對應(yīng)的語義分割掩膜標(biāo)簽與分類標(biāo)簽通過損失函數(shù)Net_loss計算當(dāng)前輪次多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的損失，通過反向傳播算法和梯度下降算法調(diào)整網(wǎng)絡(luò)參數(shù)使訓(xùn)練集損失不斷下降；若當(dāng)前訓(xùn)練輪次中驗證集損失低于上一輪次中驗證集損失，則保存當(dāng)前輪次的模型，多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)共訓(xùn)練200輪；

訓(xùn)練完成后得到訓(xùn)練好的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)；

步驟3-5-4、離線測試

使用測試集對訓(xùn)練好的多任務(wù)學(xué)習(xí)網(wǎng)進行檢測，統(tǒng)計離線測試結(jié)果：TP＝161，F(xiàn)N＝1，TN＝2103，F(xiàn)P＝0，準(zhǔn)確率達到了99.96％；準(zhǔn)確率Acc定義如下：

其中，TP是將正樣本預(yù)測為正樣本的數(shù)目，F(xiàn)N是將正樣本預(yù)測為負樣本的數(shù)目，TN是將負樣本預(yù)測為負樣本的數(shù)目，F(xiàn)P是將負樣本預(yù)測為正樣本的數(shù)目。