[發明專利]基于EM的圖像分類深度神經網絡模型魯棒性評估方法

在審

• 申請號: 202010798226.6
• 申請日: 2020-08-10
• 公開（公告）號: CN111950626A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 易平;謝禹翀;喻佳天;曹于勤;王玉潔
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

一種基于EM距離的圖像分類深度神經網絡模型魯棒性評估方法，通過對普通樣本及其對應生成的對抗樣本進行逼近EM距離的方法實現EM距離計算，將結果作為魯棒性評估指標以評價模型的安全性能。本發明全面地反映了面對不同攻擊下的魯棒性，能夠廣泛應用于基于分類器的機器學習模型，以圖像分類為突出領域，對模型魯棒性進行統一評估。用于人工智能模型，對輸入模型進行測試，對人工智能的安全性有明顯提升。

技術領域

本發明涉及的是一種人工智能對抗領域的技術，具體是一種基于搬土距離(EarthMover's Distance,EM)的圖像分類深度神經網絡模型魯棒性評估方法。

背景技術

人工智能近年來飛速發展，也被應用在越來越多的領域。但是，研究發現人工智能分類器存在比較嚴重的安全漏洞，惡意攻擊者通過對正常的識別樣本進行微小擾動，使其成為對抗樣本，對抗樣本使分類器識別出錯，而模型抵抗對抗樣本的能力則為魯棒性。使用不同強度的攻擊得到對應的分類準確率，但是對比不同的模型，高強度攻擊表現好的模型在低強度攻擊下的表現可能不如高強度攻擊表現不好的模型，對比模型魯棒性需要更加統一的方式。

發明內容

本發明針對現有技術的缺陷，提出一種基于EM的圖像分類深度神經網絡模型魯棒性評估方法，以模型受到攻擊生成的對抗樣本和正常樣本作為對象，以對象之間的EM距離作為評估指標進行模型的魯棒性評估，能夠廣泛應用于基于分類器的機器學習模型。

本發明是通過以下技術方案實現的：

本發明通過對普通樣本及其對應生成的對抗樣本進行逼近EM距離的方法實現EM距離計算，將結果作為魯棒性評估指標，利用這種指標比較不同模型之間的安全性能，從而選擇更加安全的模型進行使用。

所述的對抗樣本，通過多種對抗樣本生成方式生成后等比例混合得到，其生成方法包括迭代的快速梯度下降算法(iter-FGSM)、基于優化的對抗樣本距離計算方法(CW)、迷惑深度學習方法(DeepFool)、基于雅各比矩陣的貪婪匹配算法(JSMA)。

所述的逼近EM距離的方法，是通過EM距離的Kantorovich-Rubsinstein對偶形式計算得到，具體為：其中：f(x)是一個任意函數，L是對利普希茲常數的一個限制條件。

所述的任意函數f(x)，通過插值生成神經網絡逼近獲得使最大化的最優f(x)，該插值生成神經網絡訓練過程中需要滿足利普希茲常數的限制條件。

所述的神經網絡逼近，是用攻擊算法根據正常樣本構造所需要的對抗樣本作為神經網絡的輸入的一部分，然后使用梯度懲罰方法使得損失函數得輸出不會產生非常劇烈的變化，從而滿足利普希茲常數的約束。

所述的攻擊算法為梯度下降攻擊算法(PGD)以較好的體現樣本點附近的梯度特征信息。

所述的插值生成神經網絡包括：卷積層和全連接層，其中：作為激勵層的LeakyRelu激活函數連接卷積層和全連接層。

所述的梯度懲罰方法，是在正常樣本和對抗樣本之間生成一批插值樣本，然后使用計算公式計算需要添加的梯度懲罰，然后將梯度懲罰添加到神經網絡損失函數中。

技術效果

本發明整體解決了現有技術在對比不同的模型之間魯棒性時，使用不同強度的攻擊進行評估可能會得到相反的結果，缺乏一個統一的評判指標來判斷圖像分類深度神經網絡模型的抵抗對抗樣本的能力。

與現有技術相比，本發明在使用相同的數據集的情況下，計算特定方法生成的對抗樣本和正常樣本之間的EM距離跨不同的模型進行魯棒性評估，結果更加穩定，同時使用EM距離在魯棒性評估上是一種新型的方式，提供一定的梯度用于模型訓練。

附圖說明

圖1為本發明流程圖；