[發明專利]一種基于特征融合的卷積神經網絡瑕疵檢測方法

有效

• 申請號: 201911104107.X
• 申請日: 2019-11-13
• 公開（公告）號: CN110992311B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 許玉格;鐘銘;吳宗澤
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/80;G06V10/766;G06V10/764;G06V10/82;G06N3/045;G06N3/0464;G06N3/082
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.一種基于特征融合的卷積神經網絡瑕疵檢測方法，其特征在于，包括以下步驟：

1)對數據集進行預處理：對初始的數據集中的圖片X_defect進行切割和翻轉，分別得到數據集X_{defect_croped}和X_{defeect_fliped}，同時得到對應的切割和翻轉后的瑕疵標簽文件；該預處理僅針對瑕疵圖片，對于模板圖片不做預處理；

2)對輸入到模型卷積網絡中的圖片，包括X_{defeect_fliped}中的瑕疵圖片和模板圖片，進行resize、padding和歸一化操作，同時對瑕疵標簽結合圖片resize時的縮放比例進行縮放，對圖片進行padding時，應將瑕疵標簽結合padding時的參數進行調整，而對圖片進行歸一化操作時，不用對瑕疵標簽進行特定處理；

3)將瑕疵圖片和模板圖片輸入到Resnet101卷積網絡中進行特征提取，選擇提取出來的特征圖中特定的4層進行特征金字塔網絡FPN的構建，并分別構建出瑕疵圖片和模板圖片的FPN網絡，包括以下步驟：

3.1)將預處理完畢后的瑕疵圖片和模板圖片分別輸入到Resnet101網絡中，進行特征提取，Resnet101網絡包括4個階段，分別選取網絡每個階段中的最后一個特征層用來構建FPN網絡；

3.2)FPN網絡的構建包括瑕疵圖片的FPN網絡和模板圖片的FPN網絡，構建方式為：將選定的4個特征層分別進行1×1的卷積，得到通道數為256，特征圖尺寸和輸入特征圖尺寸一致的C2、C3、C4、C5層；

對于C5層，直接對其進行3×3卷積，得到尺寸及通道數和輸入特征層一致的P5層；

對于C4層，先對C4層進行3×3卷積，得到尺寸及通道數和C4層一致的輸出特征層，之后加上對P5層進行兩倍上采樣后的特征層，得到P4層；

對于C3層，先對C3層進行3×3卷積，得到尺寸及通道數和輸入層一致的輸出特征層，之后加上對P4層進行兩倍上采樣后的特征層，得到P3層；

對于C2層，先對C2層進行3×3卷積，得到尺寸及通道數和C2層一致的輸出特征層，之后加上對P3層進行兩倍上采樣后的特征層，得到P2層；

直接對C5層對應的原始特征層進行3×3的卷積，得到尺寸及通道數保持不變的P6層；

3.3)模板圖片和瑕疵圖片經過FPN網絡后輸出的對應特征層分別表示為P_{defect_i}和P_{template_i}，i＝{2,3,4,5,6}，其中i表示FPN網絡中的層數；

3.4)輸入模板特征和瑕疵特征，對FPN網絡輸出的P_{defect_i}和P_{template_i}，

i＝{2,3,4,5}，分別取瑕疵圖片和模板圖片對應的特征層P_{defect_k}和P_{template_j}，k＝j∈{1,2,3,4,5}，將其通道進行疊加，之后采用1×1卷積進行融合，融合后尺寸保持不變，通道數減半，得到融合后的特征層P_{fused_i}，i＝{2,3,4,5}；

3.5)對于P_{defect_6}和P_{template_6}，為保證之后進行候選框提取時包含所需數量的高語義瑕疵特征信息，不對P_{defect_6}和P_{template_6}進行融合，直接取P_{defect_6}為P_{fused_6}；

4)將瑕疵圖片的FPN網絡和模板圖片的FPN網絡中對應的特征層的通道進行疊加，之后采用卷積的方式進行融合，得到融合后的特征層；

5)基于融合后的特征層進行初步的候選區域提取，該提取包含分類和回歸操作，將提取得到的候選區域進行感興趣區域池化操作，即ROI?pooling操作；

6)級聯多個ROI?pooling層和分類、回歸層構成Cascade?R-CNN，對輸入的候選區域進行進一步的分類和回歸；由ROI池化層和分類、回歸層的級聯構成Cascade?R-CNN網絡，包括以下步驟：

6.1)設定新的IOU閾值，為保證級聯后瑕疵框精度的提升，該閾值應當大于上一輪中所使用的IOU閾值，取值范圍為[0.6,0.8]，按照該閾值將輸入的預候選框分類為前景和背景，并對預候選框進行進一步的回歸，擬合其和瑕疵標簽中真實瑕疵的位置，進行非極大值抑制排序后輸出；

6.2)為進一步提升瑕疵框的精度，設定新的IOU閾值，取值范圍為[0.7,0.8]，按照該閾值將輸入的預候選框分類為前景和背景，并對預候選框進行進一步的回歸，擬合其和瑕疵標簽中真實瑕疵的位置，進行非極大值抑制排序后輸出得到的分類結果即是該圖片中所包含瑕疵的類別，回歸結果即是該圖片中所包含的瑕疵位置；

7)選定優化器，設定優化器參數及迭代次數，對模型進行訓練；訓練過程中，每個批次更新一次模型權重，直到迭代完成，得到最終的權重文件；

8)將待預測圖片輸入到訓練好的模型中，輸出結果便是輸入圖片中的瑕疵類別、類別置信度和瑕疵框的位置。