[發明專利]一種工業場景下產品表面缺陷檢測方法

在審

• 申請號: 202210021615.7
• 申請日: 2022-01-10
• 公開（公告）號: CN114359245A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 王星;莊開宇;楊根科
• 申請（專利權）人: 上海交通大學寧波人工智能研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 上海劍秋知識產權代理有限公司 31382
• 代理人: 徐浩俊;徐海兵

1.一種工業場景下產品表面缺陷檢測方法，其特征在于，所述方法包括以下步驟：

步驟1、圖像采集，獲取工業流水線上產品的表面圖像；

步驟2、圖像標注，對所述表面圖像進行缺陷標注，得到表面缺陷數據集；

步驟3、數據增強，對所述表面缺陷數據集進行數據增強，為以下一種或者若干種數據增強方式的組合，所述數據增強方式包括隨機裁剪、隨機水平翻轉、隨機垂直翻轉、尺度抖動、顏色抖動、Mosaic或Mixup；

步驟4、表面缺陷檢測模型構建；

步驟5、表面缺陷檢測模型訓練；

步驟6、表面缺陷檢測模型預測；

其中，

在所述步驟4中，包括以下步驟：

步驟4.1、通過Swin Transformer建立提取多尺度特征的主干網絡；

步驟4.2、通過BiFPN網絡對所述主干網絡提取的所述多尺度特征進行多尺度融合，增強不同分辨率的所述多尺度特征；

步驟4.3、基于融合增強后的所述多尺度特征，使用anchor-free模型的FCOS網絡作為detection head，生成所述表面缺陷檢測模型。

2.如權利要求1所述的工業場景下產品表面缺陷檢測方法，其特征在于，在所述步驟4.1中，利用步長為4的7*7卷積實現圖像塊劃分，在不同階段之間的特征圖中利用步長為2的3*3卷積實現下采樣；每個移位窗口塊中，在不重疊的局部窗口中計算自注意力；假設每個所述局部窗口包含M*M個圖像塊，所述整個表面圖像含有h*w個圖像塊，則全局多頭自注意力和基于窗口的多頭自注意力的計算復雜度分別為：

Ω(MSA)＝4hwC²+2(hw)²C；

Ω(W-MSA)＝4hwC²+2M²hwC；

其中，MSA為全局多頭自注意力，Ω(MSA)為全局多頭自注意力的復雜度，W-MSA為基于窗口的多頭自注意力，Ω(W-MSA)為基于窗口的多頭自注意力的復雜度，C為圖像通道；h為圖像高度H方向的圖像塊數量；w為圖像寬度W方向的圖像塊數量。

3.如權利要求2所述的工業場景下產品表面缺陷檢測方法，其特征在于，在所述步驟4.1中，允許跨窗口連接來提高效率；在連續的所述移位窗口塊間實現移位窗口分區，分別采用所述W-MSA和SW-MSA機制，具體計算如下：

其中，W-MSA為基于窗口的多頭自注意力，LN為層歸一化，MLP為多層感知機，SW-MSA為基于移位窗口的多頭自注意力。

4.如權利要求1所述的工業場景下產品表面缺陷檢測方法，其特征在于，在所述步驟4.2中，包括以下步驟：

步驟4.2.1、所述BiFPN網絡刪除所述主干網絡中只有一條輸入邊的節點；

步驟4.2.2、如果原始輸入節點與輸出節點處于同一層，則在所述原始輸入節點與所述輸出節點之間添加額外的邊；

步驟4.2.3、所述BiFPN網絡將每個雙向即自上而下和自下而上的路徑視為一個特征網絡層，并多次重復同一層，以實現更高層的特征融合，使用快速歸一化融合加權特征，使歸一化后權重的值在0與1之間。

5.如權利要求1所述的工業場景下產品表面缺陷檢測方法，其特征在于，在所述步驟4.3中，所述anchor-free模型的所述FCOS網絡將位置(x，y)視為訓練樣本；所述FCOS網絡在不同特征層間參數共享，共有三個分支：Classification分支、Regression分支和Center-ness分支；所述Classification分支預測當前層特征圖位置(x，y)屬于C類缺陷的概率；所述Regression分支預測當前層特征圖位置(x，y)對應的缺陷邊界框坐標；所述Center-ness分支預測當前層特征圖位置(x，y)的center-ness；通過將所述Classification分支預測的類別置信度與所述Center-ness分支預測的所述center-ness相乘用作最終后處理的置信度得分。