[發明專利]基于深度學習的缺陷檢測方法和系統

在審

• 申請號: 202010312201.0
• 申請日: 2020-04-20
• 公開（公告）號: CN113538323A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 王遠;焦健浩;云鵬;穆罕默德·奧斯曼·布塔;孫學斌;劉明
• 申請（專利權）人: 香港科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/13;G06K9/62;G06N3/04;G06N3/08;G01N21/88
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 張娜;顧麗波

本公開提供了一種基于深度學習的缺陷檢測方法和裝置。該基于深度學習的缺陷檢測方法包括：獲得待檢測器件的原始圖像；對所述原始圖像進行預處理以獲得包括缺陷的裁剪圖像；通過輕量化卷積神經網絡對所述裁剪圖像進行處理，以檢測所述裁剪圖像中的缺陷，并在所述原始圖像中標注所述缺陷。

技術領域

本公開涉及深度學習技術領域，更具體地，涉及一種基于深度學習的缺陷檢測方法和裝置。

背景技術

電子產品(例如，手機)中的顯示屏幕極薄并且脆弱，使其生產和檢驗特別困難。當前生產制造過程中主要依賴操作人員通過目視來檢查多種類的屏幕缺陷。業界迫切需要具有成本效益的自動化技術。

表面缺陷檢測方法主要包括兩種方法：背景消除法和模版相減法。背景消除法是采用特定方法擬合背景圖像，采集圖像減去背景圖像得到殘差圖像，通過殘差圖像判斷是否存在缺陷。擬合背景的方法包括主成份分析法、奇異值分解法、稀疏字典法、曲面擬合法等。背景消除法主要針對表面有規則紋理的圖像，并不適用于手機屏幕缺陷檢測。模版相減法將待檢測圖像和無缺陷的模板圖像進行匹配，通過兩者的差異判斷是否存在缺陷。模版相減法容易受光照影響，魯棒性差。

許多研究者開發了基于機器視覺的表面缺陷檢測算法，但針對顯示屏幕表面缺陷的檢測文獻比較少。一些研究者提出使用相減和投影聯合的方法檢測顯示屏幕表面缺陷。一些研究者通過對低分辨率圖像進行稀疏表達來檢測顯示屏幕表面缺陷。一些研究法使用主成份分析方法提取顯示屏幕表面缺陷。一些研究者提出了基于Otsu優化和顯著性分析算法的表面缺陷檢測算法。現有的檢測算法復雜度高，算法耗時長，不能滿足實時性要求，分類不夠準確。實際的顯示屏幕生產廠商需要高效、精確的對缺陷檢測與分類，現有的算法很難滿足這一要求。

近年來，深度學習方法在一些視覺識別任務中取得了巨大的成功，在精度和魯棒性方面都優于大多數機器學習方法，并且這些方法具有提取高層次特征和利用數據的能力。本公開將開發基于深度學習的缺陷檢測方法，該方法能夠獲得亞像素級的缺陷檢測結果。

發明內容

本公開的一方面，提供了一種基于深度學習的缺陷檢測方法，包括：獲得待檢測器件的原始圖像；對所述原始圖像進行預處理以獲得包括缺陷的裁剪圖像；通過輕量化卷積神經網絡對所述裁剪圖像進行處理，以檢測所述裁剪圖像中的缺陷，并在所述原始圖像中標注所述缺陷。

根據本公開的實施例，對所述原始圖像進行預處理以獲得包括缺陷的裁剪圖像的步驟包括：對所述原始圖像進行邊緣檢測以獲取所述原始圖像中存在的邊緣；對所述邊緣進行角點檢測，以獲取所述邊緣中存在的角點；通過聚類算法對所述角點進行處理以獲取聚類；計算每個聚類包括的角點的位置的均值，通過以所述均值為中心點并包括與所述均值對應的聚類中的全部角點的裁剪區域對所述原始圖像進行裁剪，以獲得包括缺陷的裁剪圖像。

根據本公開的實施例，對所述原始圖像進行預處理以獲得包括缺陷的裁剪圖像的步驟還包括：對所述原始圖像進行邊緣檢測之前，對所述原始圖像進行濾波。

根據本公開的實施例，通過輕量化卷積神經網絡對所述裁剪圖像進行處理的步驟包括：通過N個輕量化卷積神經網絡單元對所述裁剪圖像進行N次處理，其中，N為大于等于2的整數；將第i次處理的結果進行i-1次上采樣，2≤i≤N，其中，第一次處理結果不進行上采樣；將第一次處理結果和經過上采樣的第二次至第N次處理結果整合作為對所述裁剪圖像的最終處理結果。

根據本公開的實施例，所述N個輕量化卷積神經網絡單元中的每一個包括多個輕量化卷積層和一個池化層。

根據本公開的實施例，所述多個輕量化卷積層中的每一個包括第一卷積層和第二卷積層，所述第一卷積層具有大小為1×1的卷積核，所述第二卷積層具有大小為1×1的卷積核和大小為3×3的卷積核。