[發明專利]產品圖像缺陷檢測方法、裝置、電子設備及存儲介質

在審

• 申請號: 202310033733.4
• 申請日: 2023-01-10
• 公開（公告）號: CN116030016A
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 趙哲;肖圣端;張權;王剛;呂炎州;英高海
• 申請（專利權）人: 廣州市易鴻智能裝備有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/136
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 張金龍

本發明涉及一種產品圖像缺陷檢測方法、裝置、電子設備及存儲介質。本發明所述的一種產品圖像缺陷檢測方法包括：獲取待檢測的產品圖像；將所述產品圖像輸入訓練好的語義分割模型，得到缺陷預測二值圖；將所述產品圖像輸入訓練好的關鍵點監測模型，得到所述產品圖像中所有缺陷點對應的坐標；將所述缺陷點對應的坐標投射到所述缺陷預測二值圖中，遍歷所有缺陷預測區域，當所述缺陷預測區域內包含缺陷點對應的坐標，則判定該缺陷預測區域為真實缺陷區域。本發明所述的一種產品圖像缺陷檢測方法，引入關鍵點檢測算法，利用其圖像級信息預測過殺低的優勢，來緩解語義分割算法的像素級信息預測過殺高的問題。

技術領域

本發明涉及工業缺陷識別的技術領域，特別是涉及一種產品圖像缺陷檢測方法、裝置、電子設備及存儲介質。

背景技術

工業生產過程中會產生各種類型的缺陷，其會影響產品質量甚或安全問題，通常需要用計算式視覺技術將其檢測與識別。深度學習的語義分割算法屬于像素級的分類算法，其能對圖像的每個像素進行分類，預測每個像素是否是缺陷。由于語義分割是對像素進行分類，可準確輸出缺陷位置與面積等業界所需的數據，且其預測精度高，穩定性強，所以廣泛應用于工業外觀缺陷檢測與識別。

但是，將語義分割算法用于工業質檢有其固有問題，其根源正是語義分割本身的特點：語義分割是對整幅圖像的每個像素進行分類，只要有一個像素預測為缺陷，就意味著該圖有缺陷，但由于噪聲的干擾，隨機出現少量像素預測為缺陷是很有可能的，業務上不應該將其視為缺陷。簡而言之，就是語義分割模型存在過殺率高的問題，即將不是缺陷的少量像素預測為缺陷，導致在工業質檢中將良品誤判為次品。

針對語義分割的這個問題，目前常規的方法是設置面積閾值，通過卡面積的方式濾除小面積的噪聲缺陷，但是，這個方法存在不足，體現在面積閾值設置得過大，會濾除真實的缺陷，設置得過小，又難以濾除噪聲缺陷。也就是說技術人員難以設置統一、可靠的面積閾值，往往依靠個人經驗，最終導致因人而異。

發明內容

基于此，本發明的目的在于，提供一種產品圖像缺陷檢測方法、裝置、電子設備及存儲介質，引入關鍵點檢測算法，利用其圖像級信息預測過殺低的優勢，來緩解語義分割算法的像素級信息預測過殺高的問題。

第一方面，本發明提供一種產品圖像缺陷檢測方法，包括以下步驟：

獲取待檢測的產品圖像；

將所述產品圖像輸入訓練好的語義分割模型，得到缺陷預測二值圖；

將所述產品圖像輸入訓練好的關鍵點監測模型，得到所述產品圖像中所有缺陷點對應的坐標；

將所述缺陷點對應的坐標投射到所述缺陷預測二值圖中，遍歷所有缺陷預測區域；

當所述缺陷預測區域內包含缺陷點對應的坐標，則判定該缺陷預測區域為真實缺陷區域。

進一步地，所述語義分割模型為deeplab?v3模型。

進一步地，所述deeplab?v3模型的訓練過程包括：

獲取語義分割數據集，所述數據集包括多張產品圖像，每張產品圖像包括對應的缺陷標注；

構建deeplab?v3模型，其中，所述deeplab?v3模型的損失函數為逐像素的交叉熵損失；

使用所述語義分割數據集訓練所述deeplab?v3模型，得到訓練好的語義分割模型；其中，訓練采用poly學習率策略，初始學習率設置為0.007。

進一步地，所述關鍵點檢測模型為SimpleBaselines模型。

進一步地，所述SimpleBaselines模型的訓練過程包括：

獲取關鍵點檢測數據集，所述數據集包括多張產品圖像，每張產品圖像包括對應的缺陷關鍵點坐標標注；