[發明專利]一種基于特征融合的卷積神經網絡瑕疵檢測方法

有效

• 申請號: 201911104107.X
• 申請日: 2019-11-13
• 公開（公告）號: CN110992311B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 許玉格;鐘銘;吳宗澤
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/80;G06V10/766;G06V10/764;G06V10/82;G06N3/045;G06N3/0464;G06N3/082
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于特征融合的卷積神經網絡瑕疵檢測方法，包括步驟：1)對數據集進行預處理；2)對輸入到模型卷積網絡中的圖片，進行resize、padding和歸一化操作；3)將瑕疵圖片和模板圖片輸入到Resnet101卷積網絡中進行特征提取，并分別構建出瑕疵圖片和模板圖片的FPN網絡；4)將瑕疵圖片和模板圖片的FPN網絡中對應的特征層的通道進行疊加，采用卷積的方式進行融合；5)基于融合后的特征層進行初步的候選區域提取，再進行ROI池化操作；6)級聯多個ROI池化層和分類、回歸層構成Cascade?R?CNN網絡，對輸入的候選區域進行分類和回歸；7)選定優化器，對模型進行訓練；8)將待預測圖片輸入到訓練好的模型中，輸出瑕疵檢測結果。本發明可提高瑕疵檢測過程中對瑕疵的分類準確率和mAP值。

技術領域

本發明涉及瑕疵檢測的技術領域，尤其是指一種基于特征融合的卷積神經網絡瑕疵檢測方法。

背景技術

在工業生產制造行業中，關于產品的瑕疵檢測是影響產品品質的關鍵問題。工業制造過程是一個復雜的、多變量的過程，在產品制造過程及運輸過程中，由于設備故障或者人為因素的干擾容易在產品上造成各種瑕疵，影響產品的質量。而瑕疵檢測可以轉換為一個缺陷檢測中的分類和定位問題。在產品的生產及運輸過程中由于各種因素的影響會產生不同的瑕疵，而生成瑕疵的形狀、大小和數量等都是不規則的。這就導致了產品瑕疵不僅在數量分布上是高度不平衡的，在瑕疵的尺寸和形狀上也會為瑕疵檢測帶來很大的困難。

傳統的機器學習算法往往是基于圖像處理和模式識別技術，通過提取產品表面紋理特征的功率譜密度進行分析，來完成對產品瑕疵的檢測。這種檢測方案過于依賴先驗知識，且檢測結果的準確率不高，無法定位產品中瑕疵的位置。在實際的工業應用場景中瑕疵檢測的準確率是一個關鍵的指標，即在瑕疵檢測的場景中，算法的召回率往往更被看中，準確識別出含有瑕疵的樣本，分析瑕疵樣本的數量、種類及尺寸等信息，更有助于工業生產中的設備調整，完善生產進程。因此，應當注重研究提升瑕疵識別的準確率及瑕疵的位置分布等信息的檢測方法。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提出了一種基于特征融合的卷積神經網絡瑕疵檢測方法，該方法通過在已有的深層神經網絡中引入特征融合技術，將數據集中的模板圖片和瑕疵圖片的特征提取后進行卷積融合，之后再進行瑕疵類別的分類及瑕疵框的回歸，該方法可以有效提高瑕疵檢測的準確率及評判瑕疵定位精度指標mAP值，進而增強產品生產過程中瑕疵檢測環節的整體性能。

為實現上述目的，本發明所提供的技術方案為：一種基于特征融合的卷積神經網絡瑕疵檢測方法，包括以下步驟：

1)對數據進行預處理：對初始的樣本圖片X_defect進行切割和翻轉，分別得到數據集X_{defect_croped}和X_{defeect_fliped}，同時得到對應切割和翻轉后的瑕疵標簽文件；該預處理僅針對瑕疵圖片，對于模板圖片不做預處理；

2)對輸入到卷積網絡中的圖片，包括X_{defeect_fliped}中的瑕疵圖片和模板圖片，進行resize、padding和歸一化操作，同時對瑕疵標簽結合圖片resize時的縮放比例進行縮放，對圖片進行padding時，應將瑕疵標簽結合padding時的參數進行調整，而對圖片進行歸一化處理時，不用對瑕疵標簽進行特定處理；

3)將瑕疵圖片和模板圖片輸入到Resnet101卷積網絡中進行特征提取，選擇提取出來的特征圖中的特定4層進行特征金字塔網絡(Feature?Pyramid?Network，簡稱FPN)的構建，并分別構建出瑕疵圖片和模板圖片的FPN網絡；

4)將瑕疵圖片的FPN網絡和模板圖片的FPN網絡中對應的特征層的通道進行疊加，之后采用卷積的方式進行融合，得到融合后的特征層；