[發明專利]一種基于多任務孿生網絡的工業圖像缺陷檢測方法及系統

在審

• 申請號: 202110481724.2
• 申請日: 2021-04-30
• 公開（公告）號: CN113160200A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 張逸為;余燕清
• 申請（專利權）人: 聚時科技（上海）有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/194;G06K9/38;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 湖北天領艾匹律師事務所 42252
• 代理人: 胡振宇

1.一種基于多任務孿生網絡的工業圖像缺陷檢測方法，其特征在于，包括如下步驟：

S1.獲取待檢測圖像與對應的模板圖像，并對圖像數據進行預處理；

S2.將待檢測圖像與模板圖像輸入孿生網絡結構，完成圖像數據處理，并將輸入的圖像數據表示成多尺度特征；

S3.將圖像數據表示特征送入FPN模塊生成FPN特征；

S4.將FPN特征送入檢測網絡，訓練二分類缺陷工業圖像陷檢測網絡；

S5.使用訓練后的檢測網絡對測試圖像進行檢測，得到圖像的缺陷檢測結果。

2.根據權利要求1所述的工業圖像缺陷檢測方法，其特征在于，構建分割網絡結構對得到的FPN特征進行監督，將圖像數據識別為前景與背景，對缺陷信息分割標注，再訓練檢測網絡。

3.根據權利要求2所述的的工業圖像缺陷檢測方法，其特征在于，所述步驟S5為：

S51.裁剪訓練過程中的網絡，略去分割網絡監督部分，保留剩余框架，生成網絡模型；

S52.加載訓練好模型的權重；

S53.加載待檢測的圖像與對應的模板圖像；

S54.將圖像輸入網絡得到缺陷二分類檢測結果。

4.根據權利要求2所述的工業圖像缺陷檢測方法，其特征在于，所述步驟S2為：

S21.拆分骨干網絡D2層特征之前的淺層網絡結構為孿生網絡結構，該孿生網絡接受兩組相同尺寸的圖像輸入，共享參數，并在輸出D2特征之后進行特征相減，得到兩組輸入的數據表示差異特征，隨后提取深層的骨干網絡不再使用孿生結構，恢復正常的特征提取的運行方式；

S22.使用S21中設計的孿生網絡結構提取差異信息特征，從骨干網絡深層特征提取層中提出D4、D8、D16、D32的特征。

5.根據權利要求4所述的工業圖像缺陷檢測方法，其特征在于，所述步驟S3為：

S31.將D32特征經過1×1卷積轉換成固定通道數量Cnum的特征FPN_D32；

S32.將FPN_D32最近鄰上采樣得到的特征與D16經過1×1卷積轉換成固定通道數量Cnum的特征求和得到FPN_D16；

S33.將FPN_D16最近鄰上采樣得到的特征與D8經過1×1卷積轉換成固定通道數量Cnum的特征求和得到FPN_D8；

S34.將FPN_D8最近鄰上采樣得到的特征與D4經過1×1卷積轉換成固定通道數量Cnum的特征求和得到FPN_D4；

S35.將FPN_D32特征經過步長為2的最大值池化操作得到FPN_D64特征。

6.根據權利要求5所述的工業圖像缺陷檢測方法，其特征在于，所述監督調整FPN特征的過程為：

S100.將FPN_D4-FPN_D64五組FPN特征使用2層卷積壓縮通道數為1，使用sigmoid函數激活：

S200.將待檢測圖像的分割標注分別變換到原圖D4-D64五種尺寸，生成五組bool矩陣作為標簽，訓練分割網絡，訓練的目標為：將缺陷部分預測為1，背景預測為0；損失函數使用二分類交叉熵BCE：

7.根據權利要求6所述的工業圖像缺陷檢測方法，其特征在于，所述步驟S4為：

S41.在FPN_D4–FPN_D64特征上訓練檢測網絡，使得網絡在多個尺度的特征上提取出缺陷部分的檢測框，使用缺陷的檢測框標注信息對網絡進行監督訓練；

S42.訓練時五組分割網絡的損失權重為W_s1-W_s5，檢測網絡的損失權重為W_d，整個網絡的訓練損失函數為：

其中：L_si與L_d為分割與檢測網絡的損失函數。

8.根據權利要求1所述的工業圖像缺陷檢測方法，其特征在于，所述步驟S1中所述預處理過程為將圖像處理至統一尺寸，將對比度歸一化，矯正仿射變換參數。