[發明專利]基于多任務學習的缺陷檢測方法

在審

• 申請號: 202111110729.0
• 申請日: 2021-09-23
• 公開（公告）號: CN113947567A
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 劉靜;何奎奎;吳鵬;劉曉濤
• 申請（專利權）人: 西安電子科技大學廣州研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06N3/04;G06N3/08;G06T3/40;G06T5/00
• 代理公司: 廣州大象飛揚知識產權代理有限公司 44745
• 代理人: 趙娜

本發明提供了一種基于多任務學習的缺陷檢測方法，可用于檢測紋理表面的缺陷。本發明利用深度神經網絡初步提取圖像的紋理特征，通過缺陷修復模塊，獲取像素級別的檢測結果，通過缺陷分割模塊，獲取粗略缺陷定位結果，最后將兩者融合獲得精確的缺陷檢測結果。本發明通過構造多任務學習的網絡結構，使得網絡在僅使用粗略標簽的情況下獲得精確檢測結果，實現缺陷檢測功能。

技術領域

本發明屬于圖像處理技術領域，是屬于工業視覺領域可以更精確的檢測和定位產品缺陷的一種基于多任務學習的缺陷檢測方法。本發明可用于自動化工業場景中的產品缺陷檢測，提取輸入圖像的特征并修復其中有缺陷的像素，最終通過修復圖和輸入圖的對比實現對缺陷分割和定位的功能。

背景技術

缺陷檢測方法目前存在三種方法。第一種訓練CNN網絡對輸入圖像或者輸入圖像的像素塊進行二分類達到檢測缺陷的效果。第二種使用基于目標檢測的方法對輸入圖像中的缺陷進行定位達到檢測缺陷的效果。第三種使用基于語義分割的方法將輸入圖中的缺陷像素分割出來達到缺陷檢測的目的。神經網絡擁有多層網絡結構，能夠提取出數據的高階特征，因此常用于圖像視頻處理任務中。多任務學習可以通過對多個不同但相關的任務共享同一個特征提取器，使得多個任務同時優化，從而促進每個任務的學習。基于多任務學習的缺陷檢測方法主要思想為：利用神經網絡對輸入圖像進行初步的圖像特征提取，隨后主任務網絡使用提取到的高階特征將輸入圖像中的缺陷修復并重構出一張修復后的圖片，輔助任務使用同樣的高階特征利用語義分割的方法生成一個缺陷分割結果圖，隨后將兩個任務的結果融合得到最終的檢測結果。

T.Wang，Y.Chen和M.Qiao在其發表的論文“A fast and robust convolutionalneural networkbased defect detection model in product quality control”(IntJAdv ManufTechnol 94,2018:3465-3471)中提出了一種基于CNN網絡的缺陷檢測方法。該方法將輸入圖像分塊后輸入到卷積神經網絡中，訓練一個二類分類器，用于判別輸入像素塊是否含有缺陷。該方法的不足是：對缺陷的定位精度受限于像素塊的大小，無法靈活精確定位缺陷。

J.Li，Z.Su，J.GengY，Yin等人在其發表的論文“Real-time detection ofsteelstrip surface defect based on improvedYOLO detection network”(In:IFAG-PapersOnLine,vol 51,no 21,2018:76-81)中提出一種基于目標檢測方法YOLO的缺陷檢測方法。該方法繼承了目標檢測方法YOLO整體的框架，并做除了一些改進在缺陷檢測任務中也取得了不錯的效果。該方法的缺點有：對然可以提供比CNN更精確的定位結果，但是但是精度僅局限于定位框，無法針對缺陷做出像素級的定位結果。

X.Tao，D.Zhang，W.Ma等人在其發表的論文“Automatic metallic surfacedefect detection and recognition with convolutional neural networks”(Appl.Sci,vol 8,2018:1575)提出一種基于語義分割的缺陷檢測方法。使用卷積編碼器搭建的分割網絡對輸入圖片中的缺陷進行分割。該方法解決了上前面兩種方法所面臨的問題可以得到精確的像素級分割和定位結果。但是仍存在一些問題：該方法需要大量精確標注的缺陷訓練樣本，而在實際生產中缺陷樣本極其稀少，而且標注成本巨大，訓練數據難以獲得。

發明內容

針對現有技術中存在的缺陷，本發明的目的在于提供一種基于多任務學習的缺陷檢測方法，來解決現有技術需要大量精確標注的缺陷訓練樣本，而在實際生產中缺陷樣本極其稀少，而且標注成本巨大，訓練數據難以獲得的問題。

為了達到上述目的，本發明所采用的具體技術方案如下：

一種基于多任務學習的缺陷檢測方法，具體包括以下步驟：