[發明專利]一種面向智能制造精微結構表面缺陷的視覺檢測方法

在審

• 申請號: 202210363820.1
• 申請日: 2022-04-08
• 公開（公告）號: CN114820471A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 何十全;王旭博;王小保
• 申請（專利權）人: 成都上富智感科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N20/00;G06V10/80;G06V10/82;G06V10/52;G06K9/62
• 代理公司: 北京奧肯律師事務所 11881
• 代理人: 王娜

1.一種面向智能制造精微結構表面缺陷的視覺檢測方法，其特征在于：所述視覺檢測方法基于深度學習和機器學習的融合，所述視覺檢測方法包括下述步驟：

S1.制作工件表面缺陷訓練圖像集；

在同一場景下對不同空間位姿下的工件表面進行缺陷圖像采集，采集樣本圖像數量為N幅；

通過圖像增強技術完成表面缺陷圖像的手動標注，記錄缺陷圖像集為Image，記錄缺陷標注圖像集合對應為Image_Label；

制作要求如下，在工件表面缺陷圖像集制作中，要求表面缺陷面積截取圖像的1/3，否則不被視為缺陷圖像，在一幅缺陷圖像中，缺陷數據要遠少于背景數據；

為提高工件表面缺陷檢測效果，引入圖像數據增強技術，其包括圖像翻轉變換、隨機修剪、色彩抖動、平移變換、尺度變換、對比度變換、噪聲擾動以及旋轉變換/反射變換，經過工件表面缺陷圖像增強處理后，圖像中缺陷與背景數據的比值接近1:1；

S2.搭建基于YOLOv3的深度學習網絡模型；

以圖像分類深度卷積神經網絡為基礎，對缺陷圖像中的每一個像素做出分類，即在像素級別上對圖像進行理解；

缺陷檢測模型網絡包含三個主要組成部分：卷積層、降采樣層和上采樣層；

工件表面缺陷圖像輸入格式為[m,n,3]，經過模型卷積層、池化層后圖像壓縮表示為[w,h,d]的特征向量，其中w為特征向量的跨度，h為特征向量的高度，d為特征向量的深度，相對于原始圖像輸入數據，該壓縮向量對應空間維度較低但是更為緊致，將此壓縮向量輸入到模型上采樣層，重建與模型輸入層維度相同的輸出向量，即輸入圖像對應的缺陷類別標簽圖像；

S3.設置模型訓練參數，完成深度學習缺陷檢測模型的訓練，其中，模型訓練參數包括：缺陷類別對應權重比值、最大訓練迭代次數等；

S4.將深度學習訓練模型的輸出圖像傳送到后一級的機器學習環節，該環節處理SIFT、ORB以及直方圖在內的多種傳統機器學習處理方案，對中間輸出圖像進行更進一步的特征提取；

深度學習環節主要提取缺陷圖像中的大尺度特征，機器學習環節主要提取小尺度特征，通過深度學習和機器學習的融合，實現“大小顆粒”特征的全面提取，提高缺陷模型的識別率；

機器學習環節具體操作流程如下：

首先，將深度學習處理過的缺陷圖像經過SIFT算子處理，SIFT是一種檢測局部特征的算法，該算法通過求待檢測缺陷圖中的特征點(interest points，corner points)及其有關尺度和方向的描述子得到特征并進行圖像特征點匹配，進一步提取到深度學習環節不能提取到的小尺度特征，需要補充的是，SIFT特征不只具有尺度不變性，即使改變旋轉角度，圖像亮度或拍攝視角，仍然能夠得到好的檢測效果；

其次，當工業環境中的待檢測缺陷工件視角變換不大且對速度和空間有要求時，使用ORB算子替代SIFT算子；ORB是一種類似于SIFT的提取方法，相比于SIFT計算速度更快，計算時間大概為SIFT的1％，由于ORB使用了FAST來加速特征點的提取，另外，還使用了BRIEF算法計算描述子，該描述子特有的二進制串的表現形式不僅節約存儲空間，而且大大縮短匹配的時間，但是ORB相比于SIFT，在尺度變換能力較弱；

最后，采用直方圖算法作用在SIFT或ORB算法，用以進一步優化缺陷圖片，其基本思想是：先將連續的浮點特征值離散化成x個整數，同時構造一個寬度為x的直方圖，即將浮點數的范圍均分成若干整數區間，在遍歷數據的時候，根據離散化后的值作為索引在直方圖中累積統計量，當遍歷一次數據后，直方圖累積了需要的統計量，然后根據直方圖的離散值，遍歷尋找最優的分割點，通過使用直方圖進一步處理，加強了檢測模型的魯棒性、以及模型穩定性；

S5.基于已訓練的深度學習和機器學習融合缺陷檢測模型，對工件表面缺陷進行檢測，過程如下，將上一步驟中，已訓練好的缺陷檢測融合模型進行固化，對應模型輸入為缺陷圖像，輸出為缺陷圖像標簽。