[發明專利]一種基于深度學習和法向圖的零件缺陷檢測和定位方法

在審

• 申請號: 201810063526.2
• 申請日: 2018-01-23
• 公開（公告）號: CN108389181A
• 公開（公告）日: 2018-08-10
• 發明（設計）人: 宋佳;張揚;郭延文
• 申請（專利權）人: 南京大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06N3/04
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

本發明公開了一種基于深度學習和法向圖的零件缺陷檢測和定位方法，包括以下步驟：步驟1：采集原始圖像并計算得到材質表面法向圖；步驟2：對表面法向圖進行網格劃分；步驟3：用具有不同缺陷的零件劃分后的法向圖以及正常零件劃分后的法向圖訓練模型；步驟4：采集待檢測零件圖像并計算材質表面法向圖；步驟5：對待檢測零件的法向圖進行網格劃分；步驟6：根據步驟3得到的訓練好的模型用步驟5得到的劃分后的圖像作為輸入進行缺陷檢測；步驟7：根據步驟6的檢測結果以及步驟5的劃分結果進行反饋和定位缺陷位置。

技術領域

本發明屬于視覺檢測技術領域，涉及一種基于深度學習和法向圖的零件缺陷檢測和定位方法。

背景技術

隨著工業的發展，金屬零件的需求量和增長量大幅度增長。在工業生產中，對金屬零件的加工基本已經全面實現自動化機械生產。在實際應用中，對金屬零件的要求往往是非常高的，尤其是在汽車核心部件等精密儀器的要求，往往要求其表面不能有深度或者寬度超過5mm的缺陷。但是，在零件加工過程中，由于本身設備的問題，或者加工過程中的環境因素以及其他因素，不可避免的會出現各種缺陷，比如裂紋、起皮、拉線、劃痕、凹坑、凸起、斑點、腐蝕等缺陷，甚至零件偏芯、氣孔等嚴重缺陷。傳統零件加工中需要雇傭大量人力來使用人眼的力量檢測缺陷，往往浪費大量人力、物力、財力但是缺仍然會有大量漏檢。傳統的圖像處理算法檢測零件缺陷又面臨著巨大挑戰，很難解決這一問題。

隨著機器學習算法的發展，尤其是深度學習的發展，越來越多得深度學習模型被用來解決計算機視覺領域的問題，并且表現優異，使得很多傳統計算機視覺算法難以解決的問題相繼得到了很好的解決，因此，我們嘗試利用金屬零件的不同缺陷的法向圖對深度學習模型進行訓練，再利用訓練好的模型對金屬零件進行檢測，并利用GPU(圖形處理器)對齊進行優化，以滿足工業應用的實時性要求。

發明內容

針對現有技術的不足，本發明提供了一種基于深度學習和法向圖的零件缺陷檢測和定位方法，從而能夠解決傳統計算機視覺解決不了的零件缺陷檢測問題。

技術方案：本發明公開了一種基于深度學習和法向圖的零件缺陷檢測和定位方法，其核心在與通過采集零件不同方向光照的照片得到其表面法向信息，并根據表面法向信息來訓練深度學習模型，從而達到檢測零件缺陷的目的。具體包含以下步驟：

步驟1：采集原始圖像并計算得到材質表面法向圖；

步驟2：對材質表面法向圖進行網格劃分，得到劃分后的圖像；

步驟3：用具有不同缺陷的零件劃分后的材質表面法向圖以及步驟2劃分后的圖像訓練模型；

步驟4：采集待檢測零件圖像并計算材質表面法向圖；

步驟5：對待檢測零件的材質表面法向圖進行網格劃分；

步驟6：根據步驟3得到的訓練好的模型用步驟5得到的劃分后的圖像作為輸入進行缺陷檢測；

步驟7：根據步驟6的檢測結果以及步驟5的劃分結果進行反饋和定位缺陷位置。

步驟1中對原始圖像的采集，采集的環境還包括不同角度入射光源拍照得到的結果，不同角度的入射光源包含上、下，以及前、后、左、右等不同角度入射光。然后根據這這些圖像計算得到金屬零件的表面法向圖，步驟1具體包括如下步驟：

步驟1-1，制備或購買遮光箱，遮光箱將遮光箱內側涂上亞光材料；遮光箱頂端中心處固定相機，在遮光箱底部設置平臺，用于放置待拍攝零件；在遮光箱內部設置燈光組，燈光組包括：頂部燈光組，設置在相機鏡頭下方3cm處；底部燈光組，設置在遮光箱底部，包括四條LED(發光二極管)燈帶，在平臺下側；四周燈光組，設置在平臺上側20cm處，并與遮光箱內側四周與底部夾角呈45°，四周燈光組根據燈光打亮時拍攝圖片亮度范圍分別命名為東部燈組、南部燈組、西部燈組和北部燈組；在所有燈組上放置濾光膜，以形成方向光源。平臺上不放置任何物體，打開頂部燈光組，相機進行拍攝，拍攝圖片存儲為Top；