[發明專利]一種兩階段的基于生成對抗網絡的圖像異常檢測方法

在審

• 申請號: 202210229057.3
• 申請日: 2022-03-08
• 公開（公告）號: CN114757257A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 倪丹丹;許彩娥;干紅華
• 申請（專利權）人: 倪丹丹;許彩娥;干紅華
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06N3/04;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06V10/74
• 代理公司: 浙江傳衡律師事務所 33387
• 代理人: 葉衛強

1.一種兩階段的基于生成對抗網絡的圖像異常檢測方法，其特征在于，包括以下步驟：

步驟一：獲取正常圖像與異常圖像，并將圖像劃分為訓練集和測試集，所述訓練集中只包含正常圖像，所述測試集中包含正常圖像和異常圖像；

步驟二：構建卷積神經網絡與多尺度特征提取模塊相結合的圖像特征提取模塊，通過圖像特征提取模塊獲取訓練集的圖像特征和測試集的圖像特征，多尺度特征提取模塊為三條并行的多尺度卷積流；

步驟三：使用skip-GANomaly這種生成對抗網絡作為模型，將其中的生成器UNet完整替換為Attention UNet中帶有Attention Gate的生成器；

步驟四：在訓練階段，將步驟二中訓練集得到的圖像特征輸入到步驟三的生成器中，得到重建圖像，再將重建圖像和原始圖像共同輸入到鑒別器中，利用損失函數來訓練生成器和鑒別器；

步驟五：在測試階段，將步驟二中測試集得到的圖像特征輸入到步驟三的生成器中，得到重建圖像，再將重建圖像和原始圖像共同輸入到鑒別器中，得到由每一張測試圖像的異常分數所組成的異常分數向量，并將它們歸一化到[0,1]范圍內，以便于后續的比較；

步驟六：利用步驟五所得到的異常分數的數值大小來區分正常圖像和異常圖像，從而實現圖像異常檢測。

2.根據權利要求1所述的一種兩階段的基于生成對抗網絡的圖像異常檢測方法，其特征在于，所述步驟二通過以下子步驟來實現：

(1.1)利用卷積神經網絡1，提取出輸入圖像的圖像特征；

(1.2)利用1x1大小的卷積核，對(1.1)輸出的特征進行進一步的特征提取；

(1.3)利用3x3大小的卷積核，對(1.1)輸出的特征進行進一步的特征提取；

(1.4)利用5x5大小的卷積核，對(1.1)輸出的特征進行進一步的特征提取；

(1.5)將(1.2)、(1.3)、(1.4)三個步驟的輸出進行特征融合，之后再和(1.1)的輸出特征相加；

(1.6)利用卷積神經網絡2，對(1.5)得到的融合特征再次進行提取，得到最終的圖像特征。

3.根據權利要求1所述的一種兩階段的基于生成對抗網絡的圖像異常檢測方法，其特征在于，損失函數包括重構損失、對抗損失以及潛在損失三類，所述損失函數的公式分別如公式1、2、3所示，其中，公式1的重構損失代表原始圖像x和重建圖像之間的L₁ loss，公式2的對抗損失代表最小化生成器的目標同時最大化鑒別器的目標，公式3的潛在損失代表由鑒別器最后一層卷積層提取出的x和所重構出的潛在表達之間的L₂ loss；

其中，x代表原始圖像，代表由生成器生成的重建圖像，p_x代表輸入圖像x的分布，E代表數學期望，D代表一個用于獲取鑒別器中間層分布的函數，f代表一個用于獲取潛在表征的函數。

4.根據權利要求1所述的一種兩階段的基于生成對抗網絡的圖像異常檢測方法，其特征在于，異常分數計算公式如下所示；

A(x)＝λR(x)+(1-λ)L(x)

其中R(x)代表上述公式1，L(x)代表上述公式3，λ代表權重參數。