[發(fā)明專利]一種基于深度學習語義分割的缺陷檢測方法

在審

• 申請?zhí)枺?/td>: 201910673139.5
• 申請日: 2019-07-24
• 公開（公告）號: CN110473173A
• 公開（公告）日: 2019-11-19
• 發(fā)明（設(shè)計）人: 趙青;梅爽;宋瑞超
• 申請（專利權(quán)）人: 熵智科技(深圳)有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10
• 代理公司: 42102 湖北武漢永嘉專利代理有限公司
• 代理人: 胡琳萍<國際申請>=<國際公布>=<進入

1.一種基于語義分割的缺陷檢測方法，其特征在于具體包括以下步驟：

S1、制作物體表面缺陷訓(xùn)練圖像集，在同一場景下對不同空間位姿下的物體表面進行表面缺陷圖像樣本采集；

S2、制作物體表面缺陷圖像集，采用圖像增強技術(shù)完成表面缺陷圖像的手動標注；

S3、利用表面缺陷訓(xùn)練圖像集TrainSet_Defect為輸入，表面缺陷標注訓(xùn)練圖像集TrainLabelSet_Defect為輸出，搭建應(yīng)用于物體表面缺陷檢測的深度學習語義分割缺陷檢測模型；

S4、進行深度學習語義分割缺陷檢測模型的訓(xùn)練；

S5、基于已訓(xùn)練的深度學習語義分割缺陷檢測模型，進行物體表面缺陷檢測；得到對應(yīng)輸出的具有缺陷種類標簽圖像，獲得缺陷檢測結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于語義分割的缺陷檢測方法，其特征在于步驟S1中，采集樣本圖像數(shù)量為N幅，N≥300。

3.根據(jù)權(quán)利要求1所述的基于語義分割的缺陷檢測方法，其特征在于步驟S2中，在物體表面缺陷圖像集制作中，要求表面缺陷面積截取圖像的1/3，否則不被視為缺陷圖像；在一幅缺陷圖像中，缺陷數(shù)據(jù)要遠少于背景數(shù)據(jù)；經(jīng)過物體表面缺陷圖像增強處理算法后，圖像中缺陷數(shù)據(jù)與背景數(shù)據(jù)的比值接近1:1；步驟S2中圖像增強技術(shù)包括圖像翻轉(zhuǎn)變換、隨機修剪、色彩抖動、平移變換、尺度變換、對比度變換、噪聲擾動以及旋轉(zhuǎn)變換/反射變換中的至少一種。

4.根據(jù)權(quán)利要求1所述的基于語義分割的缺陷檢測方法，其特征在于步驟S2手動標注表面缺陷圖像時，記錄表面缺陷訓(xùn)練圖像集為TrainSet_Defect，圖像格式為[m,n,3]，記錄表面缺陷標注訓(xùn)練圖像集對應(yīng)為TrainLabelSet_Defect，圖像格式為[m,n]，m為圖像尺寸對應(yīng)長度，n為圖像尺寸對應(yīng)寬度。

5.根據(jù)權(quán)利要求1所述的基于語義分割的缺陷檢測方法，其特征在于步驟S3中所述深度學習語義分割缺陷檢測模型設(shè)置為對圖像中每個像素進行分類理解，針對物體表面缺陷區(qū)域?qū)?yīng)像素進行圖像分割，按照不同缺陷種類進行分類，對于同一種類的不同表面缺陷給予相同的缺陷種類標簽并進行輸出；如果圖像中包含同一類別的兩個目標，則其對應(yīng)具有相同的類別標簽，即屬于同一種類的不同表面缺陷會給予相同的缺陷種類標簽。

6.根據(jù)權(quán)利要求1所述的基于語義分割的缺陷檢測方法，其特征在于步驟S3中深度學習語義分割缺陷檢測模型包含四個主要組成部分：卷積層、池化層、降采樣層和上采樣層；在降采樣層完成特征向量的降維采樣；輸入數(shù)據(jù)格式為[m,n,3]的缺陷圖像數(shù)據(jù)，輸出的標簽圖像為[m,n]格式的標簽圖像，標簽圖像中包含不同類別的缺陷種類以及背景。

7.根據(jù)權(quán)利要求1所述的基于語義分割的缺陷檢測方法，其特征在于步驟S3中深度學習語義分割缺陷檢測模型設(shè)置的圖像輸入格式為[m,n,3]，經(jīng)過模型卷積層、池化層后壓縮形成壓縮特征向量[w,h,d]，其中w為特征向量的跨度，h為特征向量的高度，d為特征向量的深度；縮特征向量[w,h,d]經(jīng)過降采樣層輸入到模型上采樣層，重建與深度學習語義分割缺陷檢測模型網(wǎng)絡(luò)的輸入層維度相同的輸出向量[m,n]，即輸出與輸入圖像對應(yīng)的具有缺陷類別的標簽圖像[m,n]。

8.根據(jù)權(quán)利要求1所述的基于語義分割的缺陷檢測方法，其特征在于步驟S4中進行深度學習語義分割缺陷檢測模型的訓(xùn)練按以下方式進行：

針對缺陷圖像集ImageSet_Defect與缺陷標注圖像集合LabelImageSet_Defect，將圖像中背景信息設(shè)置為0類檢測項，包括裂紋類的缺陷信息設(shè)置為1類檢測項，對應(yīng)權(quán)重比值按對應(yīng)像素統(tǒng)計比值進行設(shè)置，即對應(yīng)圖像中0類和1類檢測項對應(yīng)像素點數(shù)量比值為1：k，k為常數(shù)，則對應(yīng)訓(xùn)練權(quán)重比值為k：1；然后設(shè)置最大訓(xùn)練迭代次數(shù)為N＝30000，N對應(yīng)數(shù)值盡可能大，在實際訓(xùn)練過程中若loss值已收斂，則可停止訓(xùn)練，進而檢測測試效果。