[發明專利]基于圖像處理及神經網絡分類的高反光表面缺陷檢測方法

有效

• 申請號: 201810258749.4
• 申請日: 2018-03-27
• 公開（公告）號: CN108520274B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 王鵬;陳豐;孫長庫
• 申請（專利權）人: 天津大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/762;G06K9/62;G06N3/04;G06T7/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉玥

1.一種基于圖像處理及神經網絡分類的高反光表面缺陷檢測方法，其特征在于，包括以下步驟：

步驟一，對采集的基礎圖像進行背景減除、降噪處理，剔除干擾；

步驟二，對剔除干擾后的圖像進行輪廓提取、篩選和聚類，得到一系列具有固定大小的矩形區塊；

步驟三，將步驟二得到的矩形區塊進行局部特征區域圖塊的截取，局部特征區域圖塊即為可能具有目標缺陷的圖像區域；

步驟四，將局部特征區域圖塊輸入神經網絡分類器進行逐個判定，輸出一個0/1序列，若判定結果中含有“1”則表明該局部特征區域圖塊對應的被測件是殘次品，反之則為合格；其中，

所述的神經網絡分類器具體包括三部分內容：網絡模型的搭建、數據集制作、訓練模型測試篩選；

所述的網絡模型的搭建是采用基本的多層神經網絡結構，通過不同卷積核尺寸下的循環降維卷積得到不同尺度的區域細節，之后進行深度疊加綜合各層次的特征，最后進行特征的聚類進而得到一個判定值，分為三個部分：輸入預處理層、特征提取層、預測輸出層；

所述的特征提取層的內部處理層包含三個首尾相接的同結構處理模塊，每個所述處理模塊有兩個輸入及兩個輸出，分別對應多尺度特征處理結構和全局特征傳遞結構，所述多尺度特征處理結構和全局特征傳遞結構為各自所屬的處理模塊產生一個獨立輸出；其中，第一個處理模塊的兩個輸入均取自輸入預處理層的單個輸出；

1)多尺度特征處理結構

多尺度特征處理結構的處理對象是上一個處理模塊的兩個輸出進行深度疊加后得到的元組，稱為輸入元組；對輸入元組分別進行四路處理：第一路對輸入元組進行3*3核大小步長為1的最大池化聚類及對1/3原深度進行下采樣的一次1*1核大小步長為一的卷積；第二路對輸入元組進行步長為1、核大小為1*1的卷積運算；第三路和第四路首先對輸入元組進行一次卷積核為1*1的深度降維采樣，然后分別再進行核大小為3*3、5*5的卷積運算；最后對四路處理得到的四個同高寬尺寸的輸出進行深度疊加，并對疊加后結果進行一次核大小為3*3、步長為2的最大池化，得到第一個輸出；

其中，三個多尺度特征處理結構中，第二、三、四路卷積運算的輸出的通道數依次設置為[32,16,16],[64,32,32],[96,64,64]；

2)全局特征傳遞結構

全局特征傳遞結構對輸入進行一次核大小為3*3、步長為2的最大池化特征聚類，產生第二個輸出；

在得到兩個輸出后，進行深度疊加傳給下一個處理模塊的多尺度特征處理結構，而全局特征傳遞結構僅接受上一個處理模塊中全局特征傳遞結構的輸出；在得到第三個處理模塊的輸出后，對此兩個輸出進行深度疊加得到結合了聚類后的全局原始特征及循環卷積處理后的特征綜合元組，并對特征綜合元組依次進行核大小為3*3、步長為1的一次平均池化、深度下采樣卷積及一次核大小3*3、步長為2的最大池化，將特征綜合元組重塑為2維特征向量，得到的2維特征向量即為整個特征提取層的輸出。

2.根據權利要求1所述的一種基于圖像處理及神經網絡分類的高反光表面缺陷檢測方法，其特征在于，步驟一中，所述的背景減除具體為：利用多幅固定工件位置上的合格件圖像作為標準圖組制作背景減除的樣本，并根據被測件形貌特征制作掩膜，在后續處理各個樣本的過程中，通過以樣本圖像減除掩膜的方式，去除大部分由背景及光照條件所引入的圖像干擾。

3.根據權利要求1所述的一種基于圖像處理及神經網絡分類的高反光表面缺陷檢測方法，其特征在于，步驟二具體包括：加入閾值過濾模塊，得到可能的瑕疵輪廓，并根據瑕疵輪廓的位置、大小信息進行特征聚類，得到一系列具有固定大小的矩形區塊。

4.根據權利要求1所述的一種基于圖像處理及神經網絡分類的高反光表面缺陷檢測方法，其特征在于，所述的輸入預處理層的內部處理層包括：交替進行的兩次卷積核大小為3*3、步長為1的卷積計算，以及兩次核大小3*3、步長為2的最大池化。