[發明專利]一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法

在審

• 申請號: 202310245658.8
• 申請日: 2023-03-09
• 公開（公告）號: CN116468667A
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 許彩娥;李俊;干勁;王炳炎;吳明洋
• 申請（專利權）人: 浙江科技學院;浙江振亞控股集團有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/0464;G06N3/0455;G06N3/096;G06N3/088
• 代理公司: 杭州航璞專利代理有限公司 33498
• 代理人: 周方建

本發明公開了本發明公開一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法，屬于無監督缺陷檢測技術領域，包含教師模型、學生模型結構、串式知識蒸餾結構、串式知識蒸餾訓練方式；包括：教師模型，學生模型結構；串式知識蒸餾訓練方式；在教師模型與學生模型之間加入基于Transformer的特征聚合過濾模塊。將正常的樣本加入模型進行進行壓縮并重構訓練，將訓練好的網絡在測試集上進行重構對重構結果進行對比實現像素級缺陷檢測。本發明在無監督缺陷檢測上實現了優秀的性能。

技術領域

本發明涉及無監督缺陷檢測技術領域，一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法。

背景技術

缺陷檢測是計算機視覺的一個重要的研究問題，其目的是從數據集中檢測出與正常數據有差異的各類異常缺陷。根據應用場景不同，包括制造缺陷檢測、醫學圖像分析和視頻監控。傳統異常檢測方法:基于模板匹配、基于統計模型、基于圖像分解等，但是由于傳統方法的泛化能力和檢測效果均不理想。因此主流的異常檢測算法通常基于深度學習技術，按照使用的監督信息可以分為有監督方法、無監督方法、半監督方法。

有監督的方法需要收集大量的正常樣本和缺陷樣本并進行標注。實際中，缺陷樣本往往是很稀缺的，通常難以收集足夠數量的異常樣本來訓練模型，其次對缺陷樣本進行界定及標注也會消耗大量的人工成本。因此無監督異常檢測成為近年來的主要發展方向。

發明內容

本發明所要解決的技術問題是針對背景技術的不足提供一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法，在僅使用正常樣本且無標注的情況下，實現了對測試樣本進行缺陷檢測和像素級缺陷定位，且實現了優秀的檢測性能。

本發明為解決上述技術問題采用以下技術方案：

一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法，包含教師模型、學生模型結構、串式知識蒸餾結構、串式知識蒸餾訓練方式；具體包含如下步驟：

步驟1，在教師模型與學生模型結構之間加入基于Transformer的特征聚合過濾模塊；

步驟2，將正常的樣本加入模型進行進行壓縮并重構訓練；

步驟3，將訓練好的網絡在測試集上進行重構對重構結果進行對比實現像素級缺陷檢測。

作為本發明一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法的進一步優選方案，在步驟1中，基于Transformer的特征聚合過濾模塊，是由一個多尺度特征融合模塊、一個基于transformer的VIT模塊和一個殘差模塊組成。

作為本發明一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法的進一步優選方案，在步驟1中，基于Transformer的特征聚合過濾模塊，使用CNN-transformer混合模型，具體如下：

步驟1.1，使用CNN卷積作為多尺度特征融合來生成輸入的特征映射；

步驟1.2，補丁嵌入應用于從CNN特征圖中提取的1個1×1個補丁；

步驟1.3，在通過CNN-transformer特征聚合之后，將特征圖通過殘差模塊進行過濾，以避免數據偏差引起的噪聲。

作為本發明一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法的進一步優選方案，所述步驟2具體如下：

步驟2.1，獲取正常樣本圖像數據；

步驟2.2，對圖像進行數據增強；

步驟2.3，將圖像放入教師網絡進行多尺度特征提取；

步驟2.4，講多尺度特征放聚合過濾模塊進行特征壓縮；