[發明專利]一種基于多任務學習的工業缺陷檢測方法

在審

• 申請號: 202110484644.2
• 申請日: 2021-04-30
• 公開（公告）號: CN113822842A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 李煜;羅長志
• 申請（專利權）人: 聚時科技（上海）有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 湖北天領艾匹律師事務所 42252
• 代理人: 胡振宇

本發明涉及工業缺陷檢測技術領域，公開了一種基于多任務學習的工業缺陷檢測方法，將缺陷分類任務細分為兩個子任務，分別正常/異常(ok/ng)二分類問題(記為task1)、n種缺陷類別的multilabel分類問題(記為task2)，構建基于卷積神經網絡(CNN)的分類模型來解決該問題。分類模型由base model和head兩部分組成。其中，base model負責提取輸入圖像的圖像特征得到對應的特征圖像，不同任務的base model采用hardsharing的連接方式共享網絡權重。head為輸出層，由base model引出兩個分支，分別用于解決task1和task2；兩個分支分別由全連接層和sigmod函數構成，輸出ng類別的概率和n種缺陷的類別概率。該方法可緩解目前工業缺陷檢測方法容易受到成像條件、缺陷與背景的差異小、圖像對比度低、同一類型的缺陷尺度和外觀變化大等干擾，導致檢測效果不穩定的問題。

技術領域

本發明涉及工業缺陷檢測技術領域，尤其涉及一種基于多任務學習的工業缺陷檢測方法。

背景技術

工業缺陷檢測，是一種通過機器視覺算法來自動識別工業相機拍攝的圖像中的瑕疵部位的技術。具體而言，工業缺陷檢測需要判斷圖像中是否存在缺陷并識別缺陷的種類，進而分析得出工業產品的瑕疵程度。該技術可廣泛應用于各個工業領域中，以代替人工檢測，提高產品生產效率、檢測精度及穩定性。

傳統的基于機器視覺的工業缺陷檢測方法，一般需要根據檢測物體表面反射性質選擇合適的成像方案(如明場成像、暗場成像和混合成像等)，從而獲得光照均勻的圖像，以突出物體表面的缺陷，再采用圖像處理算法或人工設計特征加分類器的方式來識別圖像中是否存在缺陷。但在真實的工業環境下，成像條件復雜多變，帶來圖像噪聲大、亮度變化等問題，此外，還面臨缺陷與背景的差異小、圖像對比度低、同一類型的缺陷尺度和外觀變化大等挑戰，傳統的檢測方法容易受到上述因素的干擾，導致檢測效果不穩定，而無法達到實際使用要求。

近年來，卷積神經網絡(Convolutional Neural Network,CNN)由于其強大的特征表達能力(可克服缺陷背景、顏色、紋理、形狀等方面變化帶來的干擾)，在工業檢測場景中，得到了廣泛的應用。基于CNN分類器的工業缺陷檢測問題可建模為異常圖像分類問題，該問題的目標為：識別圖片是正常(ok)圖片還是異常(ng)圖片，并判斷ng圖片的類別。由于一張圖像中可能存在多個缺陷，因而可以通過多標簽(multilabel)分類模型來解決該問題。工業缺陷檢測場景下的異常圖片分類問題與一般的multilabel 圖像分類問題的區別在于：1)工業缺陷檢問題中的樣本類別非常不平衡，正常樣本的數量要遠高于異常樣本；2)在multilabel分類問題中，一張圖片可包含任意數目的任意類別的標簽，而工業缺陷檢測的特殊性在于：一張圖片可以存在多種缺陷類別，但如果存在缺陷則該圖片的類別一定不屬于正常圖片；3)工業缺陷檢測場景中的模型評價標注也不同于一般的分類問題，該場景下模型區分正常和異常樣本的能力的重要性要遠高于模型區分不同類別異常樣本的能力；此外，該場景要求模型在極低的漏報率的情況下能盡可能的壓低誤報，即要求模型有極高的召回率。直接將 multilabel分類模型用于該場景存在的問題是，如果將ok樣本作為訓練類別的一類，multilabel分類問題的特點是各個類別是不互斥的，而工業缺陷檢測問題的特殊性在于，ok類別與其他類別是互斥的。而如果將ok樣本作為不屬于任何一種訓練類別的負樣本，由于工業缺陷檢測問題中ok樣本要遠多于異常樣本，則會導致負樣本的數量遠高于正樣本，這會影響 CNN模型的訓練和收斂。

發明內容

(一)要解決的技術問題

本發明實施例提供一種基于多任務學習的工業缺陷檢測方法，用以解決現有的傳統的工業缺陷檢測方法容易受到成像條件、缺陷與背景的差異小、圖像對比度低、同一類型的缺陷尺度和外觀變化大等因素干擾，導致檢測效果不穩定，而無法達到實際使用要求的問題。

(二)發明內容

本發明實施例提供一種基于多任務學習的工業缺陷檢測方法，其特征在于，包括以下步驟：