[發(fā)明專利]一種基于知識(shí)圖譜的工業(yè)產(chǎn)品缺陷圖像分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911250467.0
• 申請(qǐng)日: 2019-12-09
• 公開(kāi)（公告）號(hào): CN111161213B
• 公開(kāi)（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 余永強(qiáng);樓利璇;劉小為
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06V10/764;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 賈玉霞

1.一種基于知識(shí)圖譜的工業(yè)產(chǎn)品缺陷圖像分類方法，其特征在于，該方法包括以下步驟：

S1：分別創(chuàng)建缺陷圖庫(kù)X、每個(gè)缺陷圖對(duì)應(yīng)的標(biāo)簽庫(kù)Y以及缺陷類別對(duì)應(yīng)的附加屬性向量V；

S2：利用圖像增強(qiáng)技術(shù)對(duì)缺陷圖進(jìn)行增強(qiáng)得到增強(qiáng)后的缺陷圖庫(kù)X′；

S3：構(gòu)建缺陷圖像特征提取網(wǎng)絡(luò)，然后不斷地從經(jīng)過(guò)S2增強(qiáng)后的缺陷圖庫(kù)X′中獲取圖像批次x_B和其對(duì)應(yīng)的標(biāo)簽y_B；將缺陷圖片批次x_B輸入所述的缺陷圖像特征提取網(wǎng)絡(luò)中，得到該圖像批次不同粒度下的圖像特征，并進(jìn)行歸一化，得到歸一化后的圖像特征e_B；

所述的缺陷圖像特征提取網(wǎng)絡(luò)包括Imagenet訓(xùn)練好的VGG網(wǎng)絡(luò)特征提取的主干網(wǎng)絡(luò)和分層雙線性池化網(wǎng)絡(luò)共同完成；在VGG網(wǎng)絡(luò)特征提取的主干網(wǎng)絡(luò)提取到圖像的不同粒度下的特征u，v，w后，利用雙線性池化網(wǎng)絡(luò)捕獲局部特性的跨層間交互；雙線性池化網(wǎng)絡(luò)H有如下形式：

H(u，v，w)＝P^Tconcat(U^Tu*V^Tv，U^Tu*W^Tw，V^Tv*W^Tw)

其中P為分類矩陣，U，V，W分別為u，v，w的投影矩陣，H(u，v，w)為圖像批次不同粒度下的圖像特征；

S4：設(shè)計(jì)圖嵌入方式；

將從S3中得到的e_B中的每張缺陷的特征和S1中的缺陷類別對(duì)應(yīng)的附加屬性向量V嵌入到無(wú)向圖中，從而得到批次圖像特征的圖批次g_B；

S5：構(gòu)建圖特征提取的圖卷積網(wǎng)絡(luò)，將S4中的圖批次g_B輸入到所述的圖卷積網(wǎng)絡(luò)中，從而得到圖批次g_B的特征o_B；

S6：對(duì)S5中的o_B進(jìn)行特征變換得到其變換后的特征o′_B；

S7：構(gòu)建單層線性判別網(wǎng)絡(luò)，然后將S3中的特征e_B與S6中得到的o′_B一起作為所述的判別網(wǎng)絡(luò)的輸入，所述的判別網(wǎng)絡(luò)的輸出為缺陷圖像批次x_B對(duì)應(yīng)的判別標(biāo)簽y′_B；

S8：由損失函數(shù)計(jì)算出缺陷圖像批次x_B的真實(shí)標(biāo)簽y_B和S7中得到的判別標(biāo)簽y′_B之間的損失l_d；

S9：用反向傳播算法同時(shí)優(yōu)化l_d、所述的缺陷圖像特征提取網(wǎng)絡(luò)、所述的圖卷積網(wǎng)絡(luò)和所述的判別網(wǎng)絡(luò)，直到l_d收斂，最終得到整個(gè)缺陷圖像的分類模型；

S10：將待分類缺陷圖片及缺陷類別對(duì)應(yīng)的附加屬性向量進(jìn)行上述S3～S6過(guò)程的特征處理后輸入到S9得到的所述的缺陷圖像的分類模型中，所述的S3-S7中的缺陷圖像特征提取網(wǎng)絡(luò)、圖卷積網(wǎng)絡(luò)、單層線性判別網(wǎng)絡(luò)均為優(yōu)化后的網(wǎng)絡(luò)，最終得到缺陷所屬的缺陷類別。

2.根據(jù)權(quán)利要求1所述的基于知識(shí)圖譜的工業(yè)產(chǎn)品缺陷圖像分類方法，其特征在于，所述的S2中利用圖像增強(qiáng)技術(shù)對(duì)缺陷樣本進(jìn)行增強(qiáng)包括對(duì)負(fù)樣本隨機(jī)進(jìn)行翻轉(zhuǎn)、偏移、改變對(duì)比度、飽和度、亮度和增加噪點(diǎn)中的任意一種或多種；同時(shí)在數(shù)據(jù)增強(qiáng)時(shí)，要確保缺陷的意義不發(fā)生變化。

3.根據(jù)權(quán)利要求1所述的基于知識(shí)圖譜的工業(yè)產(chǎn)品缺陷圖像分類方法，其特征在于，所述的S6的特征變換依靠以下規(guī)則來(lái)計(jì)算：

R(x)＝Conv1D(f(x))

其中R為圖卷積特征的逆轉(zhuǎn)換函數(shù)，Conv1D為一維卷積網(wǎng)絡(luò)，f為線性整流函數(shù)具體形式如下：

4.根據(jù)權(quán)利要求1所述的基于知識(shí)圖譜的工業(yè)產(chǎn)品缺陷圖像分類方法，其特征在于，

所述的S8中的損失l_d由交叉熵?fù)p失來(lái)計(jì)算，對(duì)于其輸入判別類別概率m和缺陷類別標(biāo)簽n，n∈B^j，

其中，α為類別概率m的所屬權(quán)重，j為缺陷類別的個(gè)數(shù)，B^j為缺陷類別標(biāo)簽的向量集合。