[發明專利]一種自適應對抗強度的對抗訓練方法

在審

• 申請號: 202010099756.1
• 申請日: 2020-02-18
• 公開（公告）號: CN111325341A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 謝海東;向雪霜;紀楠;劉乃金
• 申請（專利權）人: 中國空間技術研究院
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 茹阿昌

本發明公開了一種自適應對抗強度的對抗訓練方法。根據訓練數據，通過對抗樣本生成方法，生成對應對抗樣本數據；通過切斷與拉伸操作，自適應的修改對抗樣本的對抗強度；利用原始訓練數據與修改強度后的對抗樣本訓練數據共同訓練，更新模型參數；迭代更新對抗準確率，直到對抗準確率收斂，得到訓練好的具有防御能力的模型。本發明方法無需提前給定對抗樣本的對抗強度，通過自適應估算對抗強度，所得訓練模型能夠對由小到大全部對抗強度的攻擊均有較強的防御能力，在原始數據準確率、小攻擊強度對抗準確率和大攻擊強度對抗準確率方面，均有很好表現，起到提高模型安全防御能力的效果。

技術領域

本發明涉及一種自適應對抗強度的對抗訓練方法，屬于計算機技術領域，特別是機器學習、人工智能、深度學習領域。

背景技術

深度學習是機器學習人工智能領域中最重要的方向之一，近幾年在很多具體問題上取得了巨大的成功。隨著深度學習在圖像識別、自動駕駛等應用問題上的深入應用，安全可靠的使用深度學習技術受到越來越多的關注。深度學習的安全性主要體現在對抗樣本這一概念，已有的研究表明深度學習模型很容易被對抗樣本所攻擊，同時這種攻擊具備極高攻擊成功率和難以被察覺的特點。

針對這種對抗樣本的攻擊，目前應用最為廣泛的防御策略是對抗訓練方法。對抗訓練方法在訓練的過程中兼顧正常數據和對抗樣本，從而使所得模型學習到抵御對抗樣本攻擊的能力。目前已有的對抗訓練方法可以劃分為有閾值對抗訓練方法和無閾值對抗訓練方法，這些方法均存在明顯不足，無法保證訓練所得深度學習模型具備良好的安全性。

有閾值對抗訓練方法需要事先給定對抗樣本的對抗擾動強度，并使用同樣對抗強度的對抗樣本來評估訓練結果。這類對抗訓練方法所得模型僅在攻擊強度與對抗訓練所用強度相同時表現出最佳安全性。因此無法給出能夠有效抵御不同對抗擾動強度對抗樣本攻擊的深度學習模型。與有閾值對抗訓練方法相反，無閾值對抗訓練方法不依賴于事先給定閾值，使用能夠越過決策邊界的不限強度對抗樣本進行對抗訓練。但這類對抗樣本是以成功攻擊模型為目標，對抗樣本會越過模型決策邊界，很容易存在擾動過大的問題從而影響結果的安全性。

綜上所述，目前已有的有閾值和無閾值對抗訓練方法均有較明顯不足，難以滿足深度學習安全性的應用需求。

發明內容

本發明的技術解決問題是：克服現有技術的不足，提出了一種自適應對抗強度的對抗訓練方法，本發明方法能夠解決已有的有閾值和無閾值對抗訓練方法均不能得到具備綜合安全性深度學習模型的問題，解決現有方法在原始數據準確率、給定攻擊強度準確率、大強度攻擊準確率方面無法兼顧的困難。

本發明的核心是使用自適應的對抗強度改進對抗訓練方法，自適應的對抗強度能夠確保修改后的對抗樣本大小合理，避免過大對抗樣本干擾模型迭代，避免過小對抗樣本無法提供足夠貢獻的困難。自適應的對抗強度使得對抗樣本處在模型決策邊界內部并靠近決策邊界，能夠最大化對抗樣本在訓練過程中對于模型的貢獻，使得模型能夠達到并且快速達到高安全性收斂模型。

本發明的技術方案是：

一種自適應對抗強度的對抗訓練方法，包括以下步驟：

1)建立神經網絡模型，選取圖片像素值或圖片像素坐標作為原始訓練數據D_data；

2)根據原始訓練數據D_data，通過對抗樣本生成方法，生成原始訓練數據對應的對抗樣本數據D_adv；

3)對步驟2)所述的對抗樣本數據D_adv進行切斷與拉伸處理，修改對抗樣本的對抗強度，獲得切斷拉伸處理后的對抗樣本數據；

4)利用數據量成一定比例的原始訓練數據D_data與步驟3)所述切斷拉伸處理后的對抗樣本數據進行共同訓練，更新神經網絡模型，獲得更新后的神經網絡模型；