[發明專利]一種基于知識圖譜的工業產品缺陷圖像分類方法

有效

• 申請號: 201911250467.0
• 申請日: 2019-12-09
• 公開（公告）號: CN111161213B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 余永強;樓利璇;劉小為
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 賈玉霞

本發明公開一種基于知識圖譜的工業產品缺陷圖像分類方法，該方法能結合工業生產當中的經驗知識和缺陷本身圖像特征來對工業產品缺陷進行分類，解決了以往卷積神經網絡僅從圖像本身的特征對缺陷進行分類的缺點。本方法可在減少對缺陷樣本依賴的同時，大大提高深度學習在工業產品缺陷分類時的準確度。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于知識圖譜的工業產品缺陷圖像分類方法。

背景技術

在工業生產中，為了優化生產過程，提高生產質量，對產品生產過程中的缺陷進行正確的分類有著十分重要的意義。通常，工業產品缺陷的分類必須經由專業培訓后的工人才能進行有效的分類，這種方式效率低下，準確度也往往難以得到有效保證。一方面，企業要為此付出高昂的人工成本，另一方面圖像分類的過程極為枯燥，崗位輪換率很高。隨著工業4.0的提出和人工智能技術的發展，以深度學習為代表的圖像分類技術得到了廣泛的應用。和傳統的分類算法相比，深度學習不需要復雜的特征工程，適應性強，易于轉換，可以滿足生產彈性化，快速適應生產迭代的技術需求，在工業產品缺陷圖像分類的應用中有著很強的優勢。

然而與自然場景下的圖像分類不同，工業圖像的缺陷分類規則往往基于工廠的生產經驗，而不僅僅根據圖像本身的特征。此外，很多情況下不相同類型的缺陷之間差異小，不同類型的缺陷之間類別的缺陷往往不平衡，這些為深度學習應用于工業圖像的缺陷分類帶來了很大的挑戰。

發明內容

針對現有技術的不足，本發明提供一種基于知識圖譜的工業產品缺陷圖像分類方法，該方法采用圖卷積神經網絡和卷積神經網絡相結合的形式將工業生產缺陷的先驗知識和缺陷圖像本身的特征結合進行端對端地訓練，可在減少對缺陷樣本依賴的同時，大大提高深度學習在工業產品缺陷分類時的準確度。

本發明的目的通過如下的技術方案來實現：

S1：分別創建缺陷圖庫X、每個缺陷圖對應的標簽庫Y以及缺陷類別對應的附加屬性向量V；

S2：利用圖像增強技術對缺陷圖進行增強得到增強后的缺陷圖庫X′。

S3：構建缺陷圖像特征提取網絡，然后不斷地從經過S2增強后的缺陷圖庫X′中獲取圖像批次x_B和其對應的標簽y_B。將缺陷圖片批次x_B輸入所述的缺陷圖像特征提取網絡中，得到該圖像批次不同粒度下的圖像特征，并進行歸一化，得到歸一化后的圖像特征e_B；

所述的缺陷圖像特征提取網絡包括Imagenet訓練好的VGG網絡特征提取的主干網絡和分層雙線性池化網絡共同完成。在VGG網絡特征提取的主干網絡提取到圖像的不同粒度下的特征u，v，w后，利用雙線性池化網絡捕獲局部特性的跨層間交互。雙線性池化網絡H有如下形式：

H(u，v，w)＝P^Tconcat(U^Tu*V^Tv，U^Tu*W^Tw，V^Tv*W^Tw)

其中P為分類矩陣，U，V，W分別為u，v，w的投影矩陣，H(u，v，w)為圖像批次不同粒度下的圖像特征。

S4：設計圖嵌入方式；

將從S3中得到的e_B中的每張缺陷的特征和S1中的缺陷類別對應的附加屬性向量V嵌入到無向圖中，從而得到批次圖像特征的圖批次g_B；

S5：構建圖特征提取的圖卷積網絡，將S4中的圖批次g_B輸入到所述的圖卷積網絡中，從而得到圖批次g_B的特征o_B；

S6：對S5中的o_B進行特征變換得到其變換后的特征o′_B。