[發明專利]一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法

在審

• 申請號: 202310245658.8
• 申請日: 2023-03-09
• 公開（公告）號: CN116468667A
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 許彩娥;李俊;干勁;王炳炎;吳明洋
• 申請（專利權）人: 浙江科技學院;浙江振亞控股集團有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/0464;G06N3/0455;G06N3/096;G06N3/088
• 代理公司: 杭州航璞專利代理有限公司 33498
• 代理人: 周方建

1.一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法，其特征在于：包含教師模型、學生模型結構、串式知識蒸餾結構、串式知識蒸餾訓練方式；具體包含如下步驟：

步驟1，在教師模型與學生模型結構之間加入基于Transformer的特征聚合過濾模塊；

步驟2，將正常的樣本加入模型進行進行壓縮并重構訓練；

步驟3，將訓練好的網絡在測試集上進行重構對重構結果進行對比實現像素級缺陷檢測。

2.根據權利要求1所述的一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法，其特征在于：在步驟1中，基于Transformer的特征聚合過濾模塊，是由一個多尺度特征融合模塊、一個基于transformer的VIT模塊和一個殘差模塊組成。

3.根據權利要求1所述的一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法，其特征在于：在步驟1中，基于Transformer的特征聚合過濾模塊，使用CNN-transformer混合模型，具體如下：

步驟1.1，使用CNN卷積作為多尺度特征融合來生成輸入的特征映射；

步驟1.2，補丁嵌入應用于從CNN特征圖中提取的1個1×1個補丁；

步驟1.3，在通過CNN-transformer特征聚合之后，將特征圖通過殘差模塊進行過濾，以避免數據偏差引起的噪聲。

4.根據權利要求1所述的一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法，其特征在于：所述步驟2具體如下：

步驟2.1，獲取正常樣本圖像數據；

步驟2.2，對圖像進行數據增強；

步驟2.3，將圖像放入教師網絡進行多尺度特征提取；

步驟2.4，講多尺度特征放聚合過濾模塊進行特征壓縮；

步驟2.5，壓縮后的特征通過學生網絡進行重構多尺度特征；

步驟2.6，對比多尺度特征與重構多尺度特征更新聚合過濾模塊、學生網絡參數；

步驟2.7，完成預定輪次訓練。

5.根據權利要求4所述的一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法，其特征在于：在步驟2中，由于是對各層特征張量進行差異對比，Teacher-Student模型中每一層的特征張量可表示為

其中，Eⁱ和Dⁱ分別表示Teacher-Student模型中的第i層特征提取層和特征重構層，F和F_bn分別代表來自上一層的傳入結果；

針對C_i、H_i、W_i分別代表第i層激活層的通道數、高度和寬度，計算沿著通道軸方向的向量余弦相似度損失，得到一個異常特征圖feature?map：

計算Student模型和Teacher模型對應層的輸出特征間的余弦相似度，以此來作為Student模型和Teacher模型之間的損失差異；損失函數的計算公式，具體如下

其中，I代表模型中編碼器和解碼器的層數；它代表著Teacher模型某一層編碼器和Student模型對應層解碼器的輸出特征間的差異要盡可能小。

6.根據權利要求1所述的一種加入Transformer的串式知識蒸餾的無監督缺陷檢測方法，其特征在于：在步驟3中，

選擇特征張量之間的異常feature?map來作為該指標的計算方式，同時，考慮到三對編碼器和解碼器的尺度是不同的，對三對編碼器和解碼器進行雙線性上采樣至圖像尺度，再將這幾部分的feature?map相加，來作為像素級別的異常分數，公式具體如下所示，

對于異常檢測的評價中，采用感受性曲線下方面積AUROC作為評價度量；

對于圖像級異常檢測，測試圖像級感受性曲線下方面積AUROC進行檢測；

對于異常定位，測試每顆像素測量的感受性曲線下方面積AUROC。