[發明專利]一種基于U型學生網絡的知識蒸餾異常檢測方法

在審

• 申請號: 202211422601.2
• 申請日: 2022-11-15
• 公開（公告）號: CN115471645A
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 江結林;顏佩漪;朱加樂
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V10/20
• 分類號: G06V10/20;G06V10/774;G06V10/778;G06V10/80
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱小兵

本發明公開了一種基于U型學生網絡的知識蒸餾異常檢測方法，將U型學生網絡與特征融合模塊結合，實現對工業材料智能檢測的目的。學生網絡由編碼器和解碼器組成，避免了因學生網絡和教師網絡的結構相同或相似導致生成的特征圖之間的差值不能很好地顯示出異常區域的問題；學生網絡的多尺度特征壓縮模塊可以對編碼器所得特征圖進行進一步異常信息過濾，使解碼器能更正確地重建圖片分布特征；學生網絡的特征融合模塊使得特征圖可以包含更多有效的語義信息，從而彌補教師網絡和學生網絡之間出現的轉移知識不完整、不正確等問題，完成實時性異常檢測任務，有效提高異常檢測的準確率，同時提高異常點定位的精度，增強泛化能力。

技術領域

本發明屬于檢測技術領域，具體涉及一種基于U型學生網絡的知識蒸餾異常檢測方法。

背景技術

異常檢測技術可以識別數據中偏離正常模式的樣本，在各個領域都有廣泛的應用，例如工業缺陷檢測、醫療診斷和視頻監控。由于異常具有不可預期性，很難以監督的方式處理，因此，異常檢測需要弱監督或無監督學習方法?，F有工作主要集中于生成算法，如生成對抗網絡(GAN, Generative Adversarial Network)或變分自編碼器(VAE,Variational Autoencoder)，這些算法使用每個像素重建誤差或通過評估從模型的概率分布中獲得的密度來檢測異常，但存在不能準確重建或校準不當的可能性。

研究者提出一種基于知識蒸餾的異常檢測方法，給定一個預訓練的強大的圖像分類網絡作為教師網絡，在訓練時僅輸入正常圖像進行模型訓練，教師網絡將知識提取到學生網絡中，使學生網絡能夠學習無異常圖像的分布。因為教師網絡沒有教授學生網絡學習異常的能力，所以在測試階段學生網絡與教師網絡提取的特征會出現差異，將教師與學生網絡之間的差異作為異常分數來進行異常檢測。教師-學生網絡在異常檢測領域得到了良好的應用，但是仍然存在一些缺陷：

（1）在以前的研究中，雖然學生網絡沒有學習異常圖像的特征提取，但由于學生網絡和教師網絡的結構總是相同或相似的，所以生成的特征圖之間的差值不能很好地顯示出異常區域，阻礙了異常表示的多樣性。

（2）在學習過程中，教師網絡和學生網絡之間會出現轉移知識不完整等問題，降低了模型精確檢測和定位異常的能力。

發明內容

為了解決上述背景技術提到的技術問題，本發明提出了一種基于U型學生網絡的知識蒸餾異常檢測方法。

為了實現上述技術目的，本發明的技術方案為：

一種基于U型學生網絡的知識蒸餾異常檢測方法，包括以下步驟：

S1、采集原始圖片并進行預處理，將預處理后的圖像劃分為訓練集D與測試集Z；

S2、搭建基于非對稱多尺度知識蒸餾的異常檢測模型；所述異常檢測模型包括教師網絡和學生網絡；

S3、將步驟S1中的訓練集D導入步驟S2中的異常檢測模型進行訓練；生成特征圖，包括學生網絡編碼器生成的特征圖和學生網絡解碼器生成的特征圖；

S4、將步驟S3中編碼器生成的特征圖與解碼器生成的特征圖進行融合得到特征圖F；

S5、根據步驟S3中得到的特征圖計算步驟S4融合特征圖的總損失；

S6、利用自適應矩估計優化器對步驟S2中的異常檢測模型進行反向迭代優化，更新整個模型中的權重和損失，損失記為loss，loss={Loss1, Loss2,…, Lossl}，當損失取loss中最小值時，得到最優模型，保存最優模型的權重參數；

S7、將步驟S6得到的最優模型的權重參數載入步驟S2中異常檢測模型中進行更新；

S8、將步驟S1中得到的測試集Z輸入更新后的異常檢測模型中進行訓練，包括學生網絡編碼器生成的特征圖和學生網絡解碼器生成的特征圖；

S9、將步驟S8中編碼器生成的特征圖與解碼器生成的特征圖進行融合得到特征圖Fk；

S10、根據步驟S8得到的特征圖和特征圖Fk計算最終異常特征圖像，根據異常特征圖中最大的值來判定圖片是否異常并定位異常位置。