[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、工件表面缺陷分類與檢測(cè)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911293863.1
• 申請(qǐng)日: 2019-12-13
• 公開（公告）號(hào): CN111080622A
• 公開（公告）日: 2020-04-28
• 發(fā)明（設(shè)計(jì)）人: 梅爽;宋瑞超
• 申請(qǐng)（專利權(quán)）人: 熵智科技（深圳）有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/73;G06K9/62;G01N21/88
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 胡琳萍;張宇

1.一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，包括：

基于包含不同缺陷類別的樣本圖像，提取各所述樣本圖像的目標(biāo)區(qū)域分別構(gòu)成目標(biāo)圖像，其中，所述目標(biāo)區(qū)域包括缺陷區(qū)域；

對(duì)各所述目標(biāo)圖像中的缺陷區(qū)域像素值進(jìn)行標(biāo)注，以區(qū)分不同的缺陷類型，并提取各所述目標(biāo)圖像中的缺陷區(qū)域的坐標(biāo)值，由各所述目標(biāo)圖像、各所述目標(biāo)圖像的缺陷類型及各所述目標(biāo)圖像中的缺陷區(qū)域的坐標(biāo)值構(gòu)成第一訓(xùn)練樣本集，由所述第一訓(xùn)練樣本集訓(xùn)練缺陷定位模型；

由各所述目標(biāo)圖像及經(jīng)過(guò)像素值標(biāo)注后的目標(biāo)圖像構(gòu)成第二訓(xùn)練樣本集，由所述第二訓(xùn)練樣本集訓(xùn)練缺陷分割模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)各所述目標(biāo)圖像中的缺陷區(qū)域像素值進(jìn)行標(biāo)注，以區(qū)分不同的缺陷類型，包括：

提取各所述目標(biāo)圖像中的缺陷區(qū)域的輪廓，并將各輪廓內(nèi)的區(qū)域像素值全部置為缺陷類別對(duì)應(yīng)的像素值；

所述提取各所述目標(biāo)圖像中的缺陷區(qū)域的坐標(biāo)值，包括：

提取各所述目標(biāo)圖像中的缺陷區(qū)域的外接矩形，并記錄各外接矩形對(duì)應(yīng)坐標(biāo)值x1,y1,x2,y2，其中，x1為外接矩形左上角點(diǎn)x方向的像素坐標(biāo)，y1為外接矩形左上角點(diǎn)y方向的像素坐標(biāo)，x2為外接矩形右下角x方向的像素坐標(biāo)，y2為外接矩形右下角y方向的像素坐標(biāo)。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述缺陷定位模型由若干個(gè)卷積層和若干個(gè)全連接層構(gòu)成，所述缺陷定位模型的輸出張量由x，y，w，h，pro，class構(gòu)成，其中，參數(shù)x為預(yù)測(cè)的缺陷定位框左上角的x方向像素坐標(biāo)，y為預(yù)測(cè)的缺陷定位框左上角的y方向像素坐標(biāo)，w為預(yù)測(cè)的缺陷定位框的長(zhǎng)，h為預(yù)測(cè)的缺陷定位框的寬，class為預(yù)測(cè)缺陷對(duì)應(yīng)的類別，pro為預(yù)測(cè)缺陷對(duì)應(yīng)類別的概率。

4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述缺陷分割模型采用端到端的卷積網(wǎng)絡(luò)，并引入下采樣恢復(fù)預(yù)測(cè)的圖像大小尺寸，其中，所述缺陷分割模型的輸出為對(duì)應(yīng)輸入圖像的每一個(gè)像素的類別。

5.一種工件表面缺陷分類與檢測(cè)方法，其特征在于，包括：

將待處理圖像輸入缺陷定位模型，由所述缺陷定位模型得到所述待處理圖像中各缺陷的位置；

由各缺陷的位置裁剪所述待處理圖像，將裁剪的各圖像輸入缺陷分割模型，由所述缺陷分割模型得到包含各缺陷的缺陷圖像，其中，各所述缺陷圖像分別與對(duì)應(yīng)的輸入圖像尺寸一致；

將各所述缺陷圖像還原至所述待處理圖像中的對(duì)應(yīng)位置，進(jìn)而獲得所述待處理圖像中各缺陷類型及缺陷檢測(cè)結(jié)果；

其中，所述缺陷定位模型及所述缺陷分割模型由權(quán)利要求1至4任意一項(xiàng)所述的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法訓(xùn)練得到。

6.一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練裝置，其特征在于，包括：

第一提取單元，用于基于包含不同缺陷類別的樣本圖像，提取各所述樣本圖像的目標(biāo)區(qū)域分別構(gòu)成目標(biāo)圖像，其中，所述目標(biāo)區(qū)域包括缺陷區(qū)域；

標(biāo)注單元，用于對(duì)各所述目標(biāo)圖像中的缺陷區(qū)域像素值進(jìn)行標(biāo)注，以區(qū)分不同的缺陷類型；

第二提取單元，用于提取各所述目標(biāo)圖像中的缺陷區(qū)域的坐標(biāo)值；

第一訓(xùn)練單元，用于由各所述目標(biāo)圖像、各所述目標(biāo)圖像的缺陷類型及各所述目標(biāo)圖像中的缺陷區(qū)域的坐標(biāo)值構(gòu)成第一訓(xùn)練樣本集，由所述第一訓(xùn)練樣本集訓(xùn)練缺陷定位模型；

第二訓(xùn)練單元，用于由各所述目標(biāo)圖像及經(jīng)過(guò)像素值標(biāo)注后的目標(biāo)圖像構(gòu)成第二訓(xùn)練樣本集，由所述第二訓(xùn)練樣本集訓(xùn)練缺陷分割模型。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述標(biāo)注單元，用于提取各所述目標(biāo)圖像中的缺陷區(qū)域的輪廓，并將各輪廓內(nèi)的區(qū)域像素值全部置為缺陷類別對(duì)應(yīng)的像素值；

所述第二提取單元，用于提取各所述目標(biāo)圖像中的缺陷區(qū)域的外接矩形，并記錄各外接矩形對(duì)應(yīng)坐標(biāo)值x1,y1,x2,y2，其中，x1為外接矩形左上角點(diǎn)x方向的像素坐標(biāo)，y1為外接矩形左上角點(diǎn)y方向的像素坐標(biāo)，x2為外接矩形右下角x方向的像素坐標(biāo)，y2為外接矩形右下角y方向的像素坐標(biāo)。