[發明專利]一種基于少量神經元連接的健壯圖像分類模型訓練方法

有效

• 申請號: 202111140405.1
• 申請日: 2021-09-28
• 公開（公告）號: CN113780468B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 郭延明;李建;老松楊;阮逸潤;趙翔;魏迎梅
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06V10/77
• 分類號: G06V10/77;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

本發明公開了一種基于少量神經元連接的健壯模型訓練方法，所述方法用于圖像分類魯棒模型訓練，所述方法包括骨干網絡和決策模塊兩部分；所述骨干網絡對輸入的圖像進行特征提取，并在最后一個卷積層和全局平均池化層來提取輸入圖像的潛在特征L；所述決策模塊包括四個過程：積運算、排序、剪裁、求和；所述積運算為計算L與W的乘積，得到神經元連接的計算結果，所述排序為對所述神經元連接的計算結果進行排序；所述剪裁為將排序后的每組結果的前α和后β設置為0；所述求和為通過對每個神經元中剩余的非零結果求和來得到預測值，通過預測值得到分類結果。本方法不增加模型的可訓練參數，并且可以在不使用對抗性訓練的情況下獲得高魯棒性的模型。

技術領域

本發明屬于圖像分類技術領域，具體是涉及一種基于少量神經元連接的健壯圖像分類模型訓練方法。

背景技術

深度神經網絡(DNN)越來越多地應用于現實世界，并在圖像分類、圖像分割、目標檢測等多個研究領域取得了令人矚目的成功。然而，許多研究表明DNN容易受到對抗樣本的影響。在圖像分類任務中，對抗性攻擊過程是指在干凈的圖像中添加精心設計的擾動，然后使用對抗性示例來欺騙模型。對抗樣本可以使被攻擊模型輸出錯誤預測的概率很高。對抗性攻擊的研究非常豐富，可分為白盒攻擊、黑盒攻擊、有目標攻擊和無目標攻擊。

對抗性攻擊嚴重限制了人工智能在安全場景中的應用，因為對抗性攻擊易于實施，并且可能給現實世界帶來巨大損失。因此，抵抗對抗性攻擊受到越來越多的關注，并提出了許多防御方法。這些現有的防御方法通常使用對抗性訓練或調整網絡結構來抵抗對抗性攻擊，其中對抗性訓練被認為是提高模型魯棒性的一種簡單有效的方法。然而，值得注意的是，對抗訓練是一個非常緩慢的過程。例如，對于CIFAR-10數據集上的對抗性訓練，每個epoch將生成50,000個對抗樣本，并且每個epoch中網絡將學習雙倍的訓練數據(50,000個對抗樣本和50,000個干凈數據)，這大大增加了網絡的訓練時間。所以，還有很多東西需要改進，比如模型復雜度和訓練速度。

對于具有預定義損失函數l_f的分類模型f_w(例如，圖像分類任務中廣泛使用的交叉熵損失)。在訓練階段，使用lf函數來計算模型fw的損失值，目標是找到參數w最小化損失函數lf。相比之下，對抗性攻擊的目標是最大化損失函數lf的值。向輸入圖像添加梯度是欺騙模型的最直接和有效的方法。著名的白盒攻擊方法包括FGSM、PGD、DDN，這些方法通常用于評估防御能力。

FastGradientSignMethod(FGSM)是一種高效的單步攻擊算法，它使用輸入圖像的符號化梯度來生成對抗樣本。對于給定的干凈圖像x及其標簽y，FGSM使用等式(1)生成對抗性示例x'。

其中ε為攻擊強度，取值范圍為0-255。sign(·)返回梯度的符號。PGD是FGSM的一種變體，在設置x^k＝1＝x的前提下，使用k次梯度生成對抗樣本。該過程可以描述為：

其中α是一個小步長，對抗樣本在原始輸入x的lp-ball內，且通過實驗證明PGD是所有一階對手中的普遍對手。

DDN是一種經典的L2-norm攻擊方法，可以看作是CW的變種。DDN可以比CW更快地獲得對抗樣本。并且DDN攻擊在與CW類似的擾動水平下也可以獲得高攻擊成功率。因此，DDN通常用于評估模型對L2-norm攻擊的魯棒性。

抵御對抗性攻擊的主要方法可以分為對抗訓練和調整網絡結構兩大類。對抗訓練被認為是最流行和最有效的防御方法，是最常用的防御基線之一。有學者建議使用PGD生成的對抗樣本來訓練穩健模型，因為PGD是通用的一階對手。