[發明專利]一種基于深度學習的金屬部件表面缺陷檢測方法

在審

• 申請號: 202010863641.5
• 申請日: 2020-08-25
• 公開（公告）號: CN112184619A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 劉冬;梅華威;李根;張帥
• 申請（專利權）人: 華北電力大學（保定）
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/32;G06N3/04
• 代理公司: 石家莊新世紀專利商標事務所有限公司 13100
• 代理人: 張棟然

本發明涉及一種基于深度學習的金屬部件表面缺陷檢測方法，其包括如下步驟：獲取視頻文件，對其進行截幀處理，將截取的圖像進行剪切和/或旋轉變換，使金屬部件處于圖片中心位置；特征提取；區域建議網絡RPN，利用RPN網絡獲得圖像中的位置信息與分類信息；通過 RPN 獲得候選區域后，利用Fast?RCNN進行檢測。本發明利用 Resnet 網絡進行特征提取，采用 RPN 方法提取缺陷的候選目標矩形區域，在候選區域基礎上進行缺陷檢測。該檢測系統能有效克服金屬表面的反射以及環境因素的影響；同時利用基于 Faster?RCNN 框架的方法進行缺陷檢測，較好地解決了金屬表面缺陷檢測能力弱的問題。

技術領域

本發明涉及一種基于深度學習的金屬部件表面缺陷檢測方法。

背景技術

當前金屬部件表面缺陷檢測主要有兩種方法，一是基于模板匹配的方法；二是利用圖像特征進行識別的方法。

基于模板匹配的方法，需要將照相底片數字化 ,然后進行數字圖像去噪和增強處理 ,改善圖像質量。在此基礎上去除背景 ,分割提取缺陷并進行二值化處理。從二值化處理后的圖像提取缺陷特征值 ,用模糊神經網絡模式識別方法實現計算機識別。此種方法運用對圖片數據來源要求較為苛刻，需要同一金屬部件的較多圖片作為基礎數據，識別方法缺乏通用性，計算機對圖片的處理步驟較多，圖片識別耗費的時間較長，該方法要求待檢測圖像與模板圖像之間必須擁有精確的匹配度，否則容易出現誤檢、漏檢等情況。

利用圖像特征的方法，抓住圖像的顏色，紋理，灰度直方圖等特征，提取能夠區分無缺陷圖與有缺陷圖的差異特征向量，然后設計分類器，經過訓練、調整參數后得到最佳網絡。在檢測時，利用預先訓練好的分類器實現對目標圖像的實時特征提取，判別是否存在缺陷及是哪種缺陷。該方法雖然檢測速度快，但僅適用于背景簡單且缺陷特征較明顯的場合，因為以上特征提取方法都不可避免地會遺漏某些細節特征。同時面臨著如光照不均、缺陷與非缺陷之間對比度低、噪音與細微缺陷相似度高等問題，造成識別精度偏低。

發明內容

本發明所要解決的技術問題是提供一種基于深度學習的金屬部件表面缺陷檢測方法，可以有效克服金屬表面的反射以及環境因素的影響。

本發明所采用的技術方案是：一種基于深度學習的金屬部件表面缺陷檢測方法，其包括如下步驟：

獲取視頻文件，對其進行截幀處理，將截取的圖像進行剪切和/或旋轉變換，使金屬部件處于圖片中心位置；

特征提取；

區域建議網絡RPN，利用RPN網絡獲得圖像中的位置信息與分類信息；

通過 RPN 獲得候選區域后，利用Fast-RCNN進行檢測。

進一步的，在獲取視頻文件時，若為在線攝像頭，則獲取攝像頭的用戶名和密碼，對實時視頻進行處理；若為存儲好的視頻文件，則獲取文件路徑。

進一步的，在特征提取時，利用卷積神經網絡的權值共享網絡結構提取圖像特征；

將圖像作為網絡輸入，使用 RoIPooling 首先將預選框邊界量化為整數點坐標值；然后遍歷每一個候選區域，保持浮點數邊界不做量化，將候選區域分割成 n×n個單元，每個單元的邊界不做量化；最后在每個單元中計算固定四個坐標位置，使用雙線性內插的方法計算出這四個位置的值，然后進行最大池化操作。

進一步的，在利用RPN網絡獲得圖像中的位置信息與分類信息時，利用RPN網絡選取高質量的候選框，輸入一張圖像、輸出若干個矩形候選區域，使用一個小滑動窗口在最后卷積得到的特征圖進行滑動掃描；經過滑動卷積后，映射得到一個 D 維向量，最后將該 D維向量送入兩個全連接層中，即候選框位置回歸層與分類層，以獲得位置信息與分類信息。

進一步的，位置回歸層輸出候選框的 4 個相關參數包括候選框中心坐標 x 和y、寬 w 和長h；分類層輸出目標與非目標概率。