[發明專利]一種面向智能制造精微結構表面缺陷的視覺檢測方法

在審

• 申請號: 202210363820.1
• 申請日: 2022-04-08
• 公開（公告）號: CN114820471A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 何十全;王旭博;王小保
• 申請（專利權）人: 成都上富智感科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N20/00;G06V10/80;G06V10/82;G06V10/52;G06K9/62
• 代理公司: 北京奧肯律師事務所 11881
• 代理人: 王娜

本發明公開了一種面向智能制造精微結構表面缺陷的視覺檢測方法，所述視覺檢測方法基于深度學習和機器學習的融合，所述視覺檢測方法包括下述步驟：S1.制作工件表面缺陷訓練圖像集；S2.搭建基于YOLOv3的深度學習網絡模型；S3.設置模型訓練參數，完成深度學習缺陷檢測模型的訓練；S4.將深度學習訓練模型的輸出圖像傳送到后一級的機器學習環節，對中間輸出圖像進行更進一步的特征提取；S5.基于已訓練的深度學習和機器學習融合缺陷檢測模型，對工件表面缺陷進行檢測。本發明能夠自動化、高效率的對工件表面進行缺陷檢測，從而實現工件表面缺陷的自動識別以及缺陷檢測結果的量化處理，當檢測物表面不規則或者場景復雜度上升后，能夠很好兼顧檢測效果和檢測效率。

技術領域

本發明屬于缺陷檢測技術領域，具體涉及一種面向智能制造精微結構表面缺陷的視覺檢測方法。

背景技術

隨著現代工業的發展，缺陷檢測技術被廣泛應用于布匹瑕疵檢測、工件表面質量檢測、航空航天領域等。相對于簡單場景下的工件表面缺陷檢測，現代工業對缺陷檢測技術提出了更為嚴格的要求。伴隨著計算機技術、人工智能等科學技術的出現以及發展，基于機器視覺技術的工件表面缺陷檢測技術應運而生，極大程度上改善了工件表面缺陷檢測效果并提高了工件表面缺陷檢測速率，同時避免了因場景條件、主觀判斷等因素影響缺陷檢測結果的準確性。在機器視覺技術領域中，工件表面缺陷檢測技術通過計算機視覺來模擬人類視覺功能，對具體的被測實物進行圖像的采集處理計算，最終實現工業視覺實際檢測、控制以及相應的場景應用。

但是，目前的大多數機器視覺技術的工件表面缺陷檢測技術都是針對表面規則或者檢測場景簡單的情況，當檢測物表面不規則或者場景復雜度上升后，檢測效果和檢測效率就無法兼顧，嚴重影響了缺陷檢測的適用性。而深度學習方法相比較于機器學習方法，在一些視覺識別任務中取得了巨大的成功，并在精度和魯棒性方面都優于大多數機器學習方法，但無法滿足工業生產中的實時性要求，并且分類不夠準確。

發明內容

針對上述背景技術所提出的問題，本發明的目的是：旨在提供一種面向智能制造精微結構表面缺陷的視覺檢測方法。

為實現上述技術目的，本發明采用的技術方案如下：

一種面向智能制造精微結構表面缺陷的視覺檢測方法，所述視覺檢測方法基于深度學習和機器學習的融合，所述視覺檢測方法包括下述步驟：

S1.制作工件表面缺陷訓練圖像集；

在同一場景下對不同空間位姿下的工件表面進行缺陷圖像采集，采集樣本圖像數量為N幅；

通過圖像增強技術完成表面缺陷圖像的手動標注，記錄缺陷圖像集為Image，記錄缺陷標注圖像集合對應為Image_Label；

制作要求如下，在工件表面缺陷圖像集制作中，要求表面缺陷面積截取圖像的1/3，否則不被視為缺陷圖像，在一幅缺陷圖像中，缺陷數據要遠少于背景數據；

為提高工件表面缺陷檢測效果，引入圖像數據增強技術，其包括圖像翻轉變換、隨機修剪、色彩抖動、平移變換、尺度變換、對比度變換、噪聲擾動以及旋轉變換/反射變換，經過工件表面缺陷圖像增強處理后，圖像中缺陷與背景數據的比值接近1:1；

S2.搭建基于YOLOv3的深度學習網絡模型；

以圖像分類深度卷積神經網絡為基礎，對缺陷圖像中的每一個像素做出分類，即在像素級別上對圖像進行理解；

缺陷檢測模型網絡包含三個主要組成部分：卷積層、降采樣層和上采樣層；

工件表面缺陷圖像輸入格式為[m,n,3]，經過模型卷積層、池化層后圖像壓縮表示為[w,h,d]的特征向量，其中w為特征向量的跨度，h為特征向量的高度，d為特征向量的深度，相對于原始圖像輸入數據，該壓縮向量對應空間維度較低但是更為緊致，將此壓縮向量輸入到模型上采樣層，重建與模型輸入層維度相同的輸出向量，即輸入圖像對應的缺陷類別標簽圖像；