[發(fā)明專利]一種基于目標(biāo)檢測的缺陷檢測方法

有效

• 申請?zhí)枺?/td>: 201910303500.5
• 申請日: 2019-04-16
• 公開（公告）號: CN110175982B
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計）人: 李卓蓉;封超;吳明暉;顏暉
• 申請（專利權(quán)）人: 浙江大學(xué)城市學(xué)院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/136;G06K9/00;G06K9/46
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

1.一種基于目標(biāo)檢測的缺陷檢測方法，其特征在于，包括以下步驟：

步驟S1，采集訓(xùn)練圖像，其步驟如下：

步驟S1.1，通過CCD攝像機采集圖像，包括含缺陷的圖像和不含缺陷的圖像；

步驟S1.2，對缺陷位置進行人工標(biāo)記，生成二值標(biāo)記圖像；

步驟S2，缺陷圖像數(shù)據(jù)擴增，其步驟如下：

步驟S2.1，缺陷定位和裁剪；

步驟S2.2，缺陷區(qū)域圖像預(yù)處理；

步驟S2.3，圖像融合，其步驟如下：

步驟S2.3.1：對預(yù)處理后的缺陷區(qū)域圖像進行局部自適應(yīng)閾值分割，提取出更精確的缺陷區(qū)域圖像；

步驟S2.3.2：隨機選取無缺陷圖像；

步驟S2.3.3：在無缺陷圖像尺寸范圍內(nèi)隨機生成一個位置坐標(biāo)，并將缺陷區(qū)域圖像的中心點與該坐標(biāo)對齊，用缺陷區(qū)域圖像像素值替換無缺陷圖像像素值從而完成缺陷區(qū)域圖像和無缺陷圖像的融合；

步驟S3，缺陷區(qū)域標(biāo)記；

步驟S4，構(gòu)建缺陷檢測模型；

步驟S5，模型訓(xùn)練；

步驟S6，輸出缺陷檢測結(jié)果；

其中所述步驟S2.1包括如下步驟：

步驟S2.1.1：遍歷二值化標(biāo)記圖像，生成一個邊界與圖像坐標(biāo)軸平行，并將缺陷區(qū)域完全包含的最小矩形；

步驟S2.1.2：以得到的最小矩形為裁剪邊界，得到缺陷區(qū)域圖像；

所述步驟S2.2包括如下步驟：

步驟S2.2.1：對缺陷區(qū)域圖像行縮放；

步驟S2.2.2：對缺陷區(qū)域圖像進行垂直翻轉(zhuǎn)和水平翻轉(zhuǎn)；

步驟S2.2.3：對缺陷區(qū)域圖像進行旋轉(zhuǎn)；

步驟S2.2.4：對缺陷區(qū)域圖像進行隨機仿射變換；

其中所述步驟S3包括如下步驟：

步驟S3.1：遍歷二值化標(biāo)記圖像，得到缺陷區(qū)域圖像中所有像素點的坐標(biāo)最大值(x_max，y_max)和最小值(x_min，y_min)，對于擴增數(shù)據(jù)，坐標(biāo)值由步驟S2.3.2生成的隨機坐標(biāo)計算得到；

步驟S3.2：缺陷區(qū)域像素點坐標(biāo)最大值和最小值的歸一化處理：(x_max/width，y_max/height)，x_min/width，y_min/height)，其中width、height分別是圖像的寬度和高度；

其中所述步驟S4包括如下步驟：

步驟S4.1，對輸入到卷積神經(jīng)網(wǎng)絡(luò)中的圖像進行特征提取，從而得到特征圖；

步驟S4.2，根據(jù)特征圖提取候選框，并得到候選框范圍內(nèi)特征信息；

步驟S4.3，對特征信息使用分類器對缺陷類別進行分類；

步驟S4.4，對于某一特征的候選框，使用回歸器調(diào)整位置，使候選框位置更精確。

2.如權(quán)利要求1所述的方法，其特征在于，所述步驟S4.2包括如下步驟：

步驟S4.2.1：在步驟S4.1得到的特征圖上，進行卷積操作得到每個位置的特征向量；

步驟S4.2.2：基于步驟S4.2.1得到特征向量，每個位置生成不同長寬的候選框；

步驟S4.2.3：根據(jù)候選框的置信度進行排序，按置信度從高到低選取最終的候選框。

3.如權(quán)利要求1所述的方法，其特征在于，所述步驟S5中，模型訓(xùn)練指的是利用隨機梯度下降法優(yōu)化目標(biāo)函數(shù)(1)：

公式(1)中第一項為分類損失，第二項為回歸損失，i為候選框的序號，p_i為候選框包含目標(biāo)缺陷的概率；p_i^*為標(biāo)簽，表示目標(biāo)缺陷是否在候選框內(nèi)，包含目標(biāo)時取值為1，不包含目標(biāo)時取值為0；t_i＝{t_x,t_y,t_w，t_h}是一個向量，表示候選框預(yù)測的偏移量，其中t_x、t_y、t_w、t_h分別代表候選框左上方頂點的橫坐標(biāo)、縱坐標(biāo)、候選框?qū)挾取⒑蜻x框高度預(yù)測的偏移量；t_i^*是與t_i相同維度的向量，表示候選框相對于實際標(biāo)記的偏移量；N_cls為候選框的數(shù)目；N_reg為特征圖的尺寸；λ控制候選框的精確度；∑_i表示對所有候選框的損失進行求和；

L_cls(p_i,p_i^*)為包含目標(biāo)缺陷和不包含目標(biāo)缺陷兩個類別的對數(shù)損失，由公式(2)決定：

L_cls (p_i，p_i^*)＝-log[p_i^*p_i+(1-p_i^*)(1-p_i)] (2)

L_reg(t_i,t_i^*)為分類框范圍的回歸損失，由公式(3)決定，其中σ是使損失函數(shù)平滑的范圍；