[發明專利]一種工業場景下產品表面缺陷檢測方法

在審

• 申請號: 202210021615.7
• 申請日: 2022-01-10
• 公開（公告）號: CN114359245A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 王星;莊開宇;楊根科
• 申請（專利權）人: 上海交通大學寧波人工智能研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 上海劍秋知識產權代理有限公司 31382
• 代理人: 徐浩俊;徐海兵

本發明公開了一種工業場景下產品表面缺陷檢測方法，涉及工業場景下產品表面缺陷檢測與機器視覺的技術領域，所述方法包括以下步驟：步驟1、圖像采集，獲取工業流水線上產品的表面圖像；步驟2、圖像標注，對所述表面圖像進行缺陷標注，得到表面缺陷數據集；步驟3、數據增強，對所述表面缺陷數據集進行數據增強，為以下一種或者若干種數據增強方式的組合，所述數據增強方式包括隨機裁剪、隨機水平翻轉、隨機垂直翻轉、尺度抖動、顏色抖動、Mosaic或Mixup；步驟4、表面缺陷檢測模型構建；步驟5、表面缺陷檢測模型訓練；步驟6、表面缺陷檢測模型預測。

技術領域

本發明涉及工業場景下產品表面缺陷檢測與機器視覺的技術領域，尤其涉及一種工業場景下產品表面缺陷檢測方法。

背景技術

在工業場景下，高效、穩定的質量檢測是產品制造流程的重要環節。質量檢測的速度與精度會直接影響流水線產能以及產品的最終品質。產品表面有無缺陷是衡量產品是否滿足工業質量要求的重要依據。在工業生產制造過程中，對產品表面進行缺陷檢測大都是通過人工質檢來完成，但人工檢測方法需要高昂的人力成本，且存在較高的誤檢率和漏檢率，滿足不了實時檢測的需求。為適應當今制造業信息化、智能化的趨勢，在生產環節上需要擺脫傳統人力手工對產能和效率的束縛。

基于傳統機器視覺的產品表面缺陷檢測方法是通過圖像處理的方式對缺陷特征進行選擇與提取。首先，獲取到的產品表面圖像受到多變不確定的外界工業生產環境以及產品本身復雜背景紋理影響。此外，人工設計的特征無法包含所有缺陷特征且提取復雜、泛化性差。上述缺點限制了基于傳統機器視覺的產品表面缺陷檢測方法的應用。

近年來，基于深度學習的機器視覺一直是研究熱點，這也為產品表面缺陷檢測提供了新的解決方案。卷積神經網絡(Convolutional Neural Networks,CNN)是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表性算法。卷積神經網絡具有局部連接、權值共享等優點，通過卷積操作對圖像局部鄰域內的像素點建模，充分考慮了像素點與周圍像素點之間的關系。卷積神經網絡通過多層卷積層逐步從圖像中提取復雜高級的特征信息，具有強大的表征學習能力。在工業場景下的產品表面缺陷檢測領域中，使用最為廣泛的是利用卷積神經網絡提取圖像特征的目標檢測網絡模型YOLO(You Look OnlyOnce)系列。YOLO系列檢測模型能夠識別圖像中的缺陷類別并輸出缺陷的邊界框坐標，實現缺陷定位。

但現有的工業場景下產品表面缺陷檢測方法仍存在以下問題：

1、目前絕大多數通過卷積神經網絡實現的產品表面缺陷檢測方法，受網絡中每層特征圖的感受野限制，檢測模型無法對圖像中感受野以外的像素建模。由于卷積操作固有的局部建模特性，基于卷積神經網絡的缺陷檢測方法難以捕獲數據中長距離依賴關系，導致缺陷檢測的精度不高；

2、目前大多數檢測方法采用PANet網絡對主干網絡提取的多尺度特征進行融合。PANet網絡雖然融合了不同尺度的輸入特征，但只是簡單地對它們求和，沒有區分。不同尺度的輸入特征具有不同的分辨率，通常對融合后的輸出特征的貢獻是不相同的。傳統方法會導致微小缺陷檢測效果不佳；

3、目前大多數檢測方法的detection head是anchor-based模型，需要在特征圖上密集地放置預定義的不同大小和縱橫比的anchor boxes。為了獲得好的檢測性能，需要在模型訓練前進行聚類分析并確定最佳的anchor boxes。由于工業流水線上產品表面缺陷是隨機的、多樣的、未知的，預定義的anchor boxes會導致檢測方法的泛化能力較差；

4、目前大多數檢測方法為圖像中的ground truth和background分配正負訓練樣本時，通常采用固定的標簽分配策略，但對各種大小、形狀和類別的標注采用固定的分配策略，會導致次優分配結果。

因此，本領域的技術人員致力于開發一種工業場景下產品表面缺陷檢測方法，解決現有技術中存在的上述問題。

發明內容