[發明專利]基于多任務學習的缺陷檢測方法

在審

• 申請號: 202111110729.0
• 申請日: 2021-09-23
• 公開（公告）號: CN113947567A
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 劉靜;何奎奎;吳鵬;劉曉濤
• 申請（專利權）人: 西安電子科技大學廣州研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06N3/04;G06N3/08;G06T3/40;G06T5/00
• 代理公司: 廣州大象飛揚知識產權代理有限公司 44745
• 代理人: 趙娜

1.一種基于多任務學習的缺陷檢測方法，其特征在于，具體包括以下步驟：

(1)將設定數量的缺陷圖像數據和正常圖像數據按照設定比例組成訓練集和測試集；

(2)若處于訓練階段，則利用融合方法對數據集進行擴增，即將訓練集和測試集中的缺陷數據疊加到正常數據中，構造出擴增缺陷圖像；否則直接執行下一步；

(3)利用自編碼器提取訓練集中每個圖像的特征向量；

(4)搭建解碼器作為修復器，將步驟(3)中的特征向量輸入修復器，對特征向量進行重構，獲得無缺陷的修復圖像，在訓練階段計算修復圖像和原始圖像的損失來約束模型進行學習，在測試階段計算修復圖像與原圖像的殘差圖；

(5)搭建解碼器作為分割器，將步驟(3)中的特征向量按照順序拼接為一張特征圖，將特征圖輸入分割器，得到二值分割圖，獲取圖像的粗略分割結果；在訓練階段，計算二值分割圖與訓練標簽的交叉熵損失來約束模型進行學習；

(6)搭建供修復器和分割器共享的編碼器，構建多任務學習框架，使得修復器和分割器同時訓練和互相學習，在預測階段，融合修復器和分割器的輸出結果以獲取檢測結果。

2.根據權利要求1所述的基于多任務學習的缺陷檢測方法，其特征在于，步驟(2)若處于訓練階段，則利用融合方法對數據集進行擴增，具體指的是：

若處于訓練階段，則利用泊松融合方法對數據集進行擴增。

3.根據權利要求1所述的基于多任務學習的缺陷檢測方法，其特征在于，步驟(3)具體包括以下步驟：

(3a)搭建設定層數的神經網絡，設置并訓練每層參數；

(3b)將訓練集中的圖像分塊輸入訓練后的神經網絡，獲得設定數量的特征向量。

4.根據權利要求1所述的基于多任務學習的缺陷檢測方法，其特征在于，步驟(4)具體包括以下步驟：

(4a)搭建設定層數的神經網絡，并與自編碼器對應層數添加短接線，設置并訓練每層參數；

(4b)將特征向量輸入神經網絡，重構獲得無缺陷的修復圖像，若為訓練階段，則執行步驟(4c)，若為預測階段，執行步驟(4d)；

(4c)計算修復圖像和原始圖像的損失來約束模型進行學習，損失函數為

其中，Lr表示一個批次的損失,X_i表示修復圖片的第i個像素塊的像素矩陣，表示原始正常圖片的第i個像素塊的像素矩陣，n表示一個訓練批次中的像素塊數量；

將重構的無缺陷像素塊按裁切的順序拼接，獲得完整的修復圖片；

(4d)計算修復圖像與原圖像的差值，并通過一個閾值來決策一個像素是否為缺陷像素，最終獲得殘差圖。

5.根據權利要求1所述的基于多任務學習的缺陷檢測方法，其特征在于，步驟(5)具體包括以下步驟：

(5a)搭建設定層的神經網絡，設置并訓練每層參數；

(5b)將步驟(3)中的特征向量按照順序拼接為一張特征圖；

(5c)將特征圖輸入訓練后的神經網絡，重構得到二值分割圖，獲取圖像的粗略分割結果；若為訓練階段，執行步驟(5d)；

(5d)計算二值分割圖與訓練標簽的交叉熵損失來約束模型進行學習，損失函數為

其中，W和H分別表示為二值分割圖的寬和高，K表示類別數(背景和缺陷)，w_k表示第k類的權重系數用于平衡類別不均衡，y_ij表示第(i,j)像素所屬類別的標簽，當y_ij＝k時，1(y_ij＝＝k)取1，否則取0，p_k(m_ij)表示第(i,j)像素屬于第k類的概率。

6.根據權利要求5所述的基于多任務學習的缺陷檢測方法，其特征在于，步驟(5c)中重構得到二值分割圖過程中的重構損失函數如下：

其中，X_i'為未疊加缺陷的訓練圖像，X_i^*'為經過疊加缺陷再修復之后獲取的圖像。