[發明專利]一種基于特征融合的深度神經網絡表面缺陷檢測方法

有效

• 申請號: 202010469022.8
• 申請日: 2020-05-28
• 公開（公告）號: CN111627012B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 曹錦綱;楊國田;徐婷婷;楊錫運;張冀;張銘泉;梅華威
• 申請（專利權）人: 華北電力大學（保定）
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08;G01N21/88
• 代理公司: 石家莊開言知識產權代理事務所(普通合伙) 13127
• 代理人: 李志民

一種基于特征融合的深度神經網絡表面缺陷檢測方法。該方法采用了編碼器?解碼器網絡結構，特征提取模塊采用ResNet50提取表面缺陷特征，得到各卷積層特征；然后利用編碼特征融合模塊將各卷積層特征融合，有利于表面缺陷的準確檢測；最后利用兩級級聯解碼模塊，實現表面缺陷的檢測。編碼特征融合模塊和兩級級聯解碼模塊能夠實現表面缺陷特征的深度融合，使表面缺陷定位更準確。在各級解碼模塊的輸出端增加了邊界求精模塊，并通過卷積融合拼接后的兩級解碼模塊輸出，得到最終檢測結果。本方法可以有效提高表面缺陷檢測的準確性。

技術領域

本發明涉及表面缺陷檢測領域，尤指一種基于特征融合的深度神經網絡的表面缺陷檢測方法。

背景技術

隨著深度學習技術的快速發展,基于圖像的深度學習識別技術在人臉和車牌識別等領域得到了應用，體現了其優越性。同時，在表面缺陷的自動化檢測研究中，研究者們對基于圖像的深度學習表面缺陷檢測進行了大量深入地研究。有研究者基于太陽能缺陷在不同光譜上的特征不同，設計了一個具有三分支的卷積網絡模型來判別太陽能的缺陷類型，各分支網絡結構相同；也有研究者采用深度卷積神經網絡實現對圖像中橋梁裂縫的檢測，檢測時采用滑動窗口掃描整個圖像，并通過對每個窗口圖像的分類，來實現對橋梁裂縫的檢測，但他們的模型主要用于缺陷分類識別,沒有對缺陷進行定位檢測。為此，有研究人員通過將路面裂縫圖像分成若干的小圖像塊，先利用卷積神經網絡對圖像塊進行分類識別，再采用改進的窗口滑動算法對裂縫進行檢測，但該方法存在著計算量較大的缺陷。也是研究者采用特征金字塔和層次提升網絡進行路面裂縫的檢測，其利用特征金字塔方式將上下文信息匯集到低層特征以進行裂縫的檢測，并利用特征金字塔各層特征進行監督訓練和特征融合，實現對路面裂縫的檢測，但該模型檢測的裂縫精細度不夠，精準率有待進一步提升。還有研究者利用金字塔特征融合和注意力機制實現對表面缺陷的檢測，其首先對VGG16網絡提取的表面缺陷最高層特征利用不同數量和不同類型的卷積進行特征再次提取，然后利用全局上下文注意力模塊進行相鄰特征的融合，并將各層特征上采樣后拼接融合得到表面缺陷檢測結果，該表面缺陷檢測模型在表面缺陷檢測的性能上仍有較大提升空間。

在表面缺陷檢測過程中，由于采集的圖像尺寸和表面缺陷結構(包括表面缺陷的顏色、形狀和大小等)的差異，給表面缺陷的檢測帶來了困難。為了解決檢測目標尺度變化的問題，有研究者提出了如采用空間金字塔SPP結構和采用空洞卷積的空間金字塔ASPP結構，但SPP結構的池化操作以損失局部信息為代價，ASPP的空洞卷積操作易出現棋盤偽影效應。同時，光照變化和光照不均也會對檢測產生較大影響。

發明內容

為解決上述問題，本發明主要目的在于，提供一種自動準確地進行表面缺陷檢測手段，以提高表面缺陷檢測的效率。本發明主要是將深度學習技術應用于表面缺陷檢測,提出了一個基于特征深度融合的表面缺陷檢測網絡。

本發明的該網絡是基于編碼器-解碼器網絡框架，其可采用ResNet50作為特征提取模塊，用以提取表面缺陷的特征；為使ResNet50各卷積層的特征具有全局信息，設計了編碼特征融合模塊實現對各卷積層特征的信息融合。

另外，本發明的方案在解碼階段，采用了兩級解碼器結構，各級解碼器結構相同，以實現高低層特征的深度融合。最后，通過卷積進行各級解碼器輸出的融合，實現表面缺陷的檢測，提高表面缺陷檢測的準確性。

具體來說，本發明的一種基于特征融合的深度神經網絡的表面缺陷檢測方法，采用編碼器-解碼器網絡框架，為提高表面缺陷檢測的準確性，并充分利用編碼器各卷積層得到的特征，采用編碼特征融合模塊融合特征提取模塊各卷積層特征，使各層特征都包含全局信息。