[發明專利]基于區域關聯神經網絡的工業產品表面缺陷檢測方法

在審

• 申請號: 202010921747.6
• 申請日: 2020-09-04
• 公開（公告）號: CN112200766A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 顏成鋼;白俊杰;龔鏢;孫垚棋;張繼勇;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04;G06N3/08;G01N21/956
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.基于區域關聯神經網絡的工業產品表面缺陷檢測方法，其特征在于，步驟如下：

步驟1：對圖像進行預處理；

步驟2：構建區域關聯神經網絡；

所述的區域關聯神經網絡包括目標檢測網絡分支和光流預測網絡分支：

所述的目標檢測網絡分支采用YOLO v3，通過YOLO v3中的Darknet53網絡結構對輸入圖像進行特征提?。?/p>

所述的光流預測網絡分支采用FlowNetC光流預測網絡，進行特征提取和特征關聯；

步驟3：將訓練集中的圖像進行隨機反轉，輸入區域關聯神經網絡中進行特征提??；

步驟4：對目標檢測網絡分支和光流預測網絡分支的特征信息進行融合；

步驟5：通過目標檢測網絡分支進行缺陷預測；

通過目標檢測網絡分支對步驟4獲得的融合后的特征圖進行缺陷預測，由于只預測是否存在缺陷，所以目標檢測網絡分支的目標預測類別為1。

2.根據權利要求1所述的基于區域關聯神經網絡的工業產品表面缺陷檢測方法，其特征在于，步驟1具體步驟如下：

1).將測試圖像和模版圖像進行特征匹配，使兩張圖像的區域相對應；

2).對匹配后的圖像進行裁剪，使得每張圖像大小為512×512；

3).把圖像分成訓練集和測試集；

5).對圖像進行像素歸一化，把像素從[0，255]轉化為[0，1]。

3.根據權利要求2所述的基于區域關聯神經網絡的工業產品表面缺陷檢測方法，其特征在于，步驟3具體操作如下：

通過目標檢測網絡分支對輸入的訓練集中的測試圖像進行特征提取，輸出大小為64×64×256、大小為32×32×770和大小為16×16×1026的特征圖；

將測試圖像和模版圖像輸入光流預測網絡分支中；通過FlownetC網絡的前三層卷積塊對測試圖像和模版圖像進行下采樣，提取它們的特征信息；

通過FlownetC網絡的卷積關聯模塊對提取出的測試圖像信息和模版圖像信息進行特征關聯，其數學表達為：

其中f₁和f₂分別表示測試圖像和模版圖像中參與關聯的圖像區域，x₁和x₂表示f₁和f₂的中心坐標；

對關聯后得到的特征圖進行上采樣和下采樣，下采樣的特征圖和上采樣生成的特征圖進行組合生成新的特征圖和光流信息，在光流預測網絡分支中生成三種不同尺度的光流和特征圖的組合信息：大小為64×64×386的sacle1，大小為32×32×770的scale2和大小為16×16×1026的scale3。

4.根據權利要求3所述的基于區域關聯神經網絡的工業產品表面缺陷檢測方法，其特征在于，步驟4具體步驟如下：

1)在光流預測網絡中選取scale1與目標檢測網絡分支中生成的64×64×256大小的特征圖通過合并操作融合形成新的特征圖，同時通過目標檢測網絡分支中的卷積塊下采樣生成32×32×512大小的特征圖；

2)光流預測網絡中的scale2與目標檢測網絡分支中生成的大小為32×32×512的特征圖合并融合形成新的特征圖，同時通過目標檢測網絡分支下采樣生成16×16×1024大小的特征圖；

3)光流預測網絡中的scale3與目標檢測網絡分支中生成的大小為16×16×1024的特征圖合并融合形成新的特征圖，并通過卷積生成新的特征圖，大小為16×16×1024。

5.根據權利要求4所述的基于區域關聯神經網絡的工業產品表面缺陷檢測方法，其特征在于，步驟5具體操作如下：

1)為了充分利用目標檢測網絡分支中提取的特征信息，在目標預測過程中依舊采用特征金字塔結構；

2)對目標檢測分子網絡中生成的16×16×1024的特征圖上采樣，并與之前生成的大小為32×32×512的特征圖合并組合，生成新的32×32×768用于目標的預測；

3)對生成的32×32×768大小的特征圖上采樣，并與之前生成的64×64×256的特征圖合并組合，生成新的64×64×384大小的特征圖用于目標的預測；

4)對通過三種尺度的特征圖預測出的目標進行非極大值抑制，篩選出符合要求的預測結果，并進行下一步的計算，最后把預測出的結果進行可視化，把預測出的缺陷繪制在測試圖像中。