[發明專利]一種基于對抗樣本的深度學習模型安全風險評估方法

有效

• 申請號: 201810877437.1
• 申請日: 2018-08-03
• 公開（公告）號: CN109034632B
• 公開（公告）日: 2019-06-18
• 發明（設計）人: 初妍;王泉;李傳博;魏蘭蘭;欒蘭;夏琳琳;沈潔;于海濤;高迪;張艷麗
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06N3/08
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 安琪

1.一種基于對抗樣本的深度學習模型安全風險評估方法，其特征在于，所述評估方法包括：

步驟一：確定待測目標深度學習模型，并從原始樣本集中抽取原始樣本圖像；

步驟二：對原始樣本圖像x_c進行預處理，使所述原始樣本圖像x_c符合目標深度學習模型的輸入格式要求；

步驟三：利用待測目標深度學習模型，對原始樣本圖像x_c進行預測，獲得所述原始樣本圖像x_c屬于各個類別的概率分布；

步驟四：將各個類別對應的概率按從大到小降序排列形成類別概率序列P_c，所述待測目標深度學習模型對所述原始樣本圖像x_c的預測結果為排在所述類別概率序列P_c中第一位的類別y_c；

步驟五：根據所述原始樣本圖像x_c的真實類別標簽y_t，檢查所述待測目標深度學習模型是否預測正確；如果預測正確，則將預處理后的原始樣本圖像x_c再次輸入待測目標深度學習模型，生成待測目標深度學習模型關于所述原始樣本圖像x_c的對抗樣本圖像x_a；如果所述待測目標深度學習模型預測錯誤，則所述預測準確度不符要求，需要繼續訓練，退出程序；

步驟六：利用待測目標深度學習模型，對步驟五所述的對抗樣本圖像x_a進行預測，得到所述抗樣本圖像x_a屬于各個類別的概率分布，并將各個類別對應的概率按從大到小降序排列形成對抗樣本類別概率序列P_a，所述待測目標深度學習模型對抗樣本圖像x_a的預測結果為排在對抗樣本類別概率序列P_a中的第一位的類別y_a；

步驟七：計算待測目標深度學習模型對抗安全指數；利用待測目標深度學習模型對原始樣本和對抗樣本的預測概率分布，計算待測目標深度學習模型對抗安全指數，所述待測目標深度學習模型對抗安全指數即為模型安全風險評估結果；

步驟八：輸出所述模型安全風險評估結果，所述待測目標深度學習模型對抗安全指數越大，則所述待測目標深度學習模型越不安全，越容易被攻擊和欺騙；按照待測目標深度學習模型對抗安全指數，根據閾值將待測目標深度學習模型安全風險分級，得到最終的模型安全情況，為待測目標深度學習模型的使用和安全評估提供參考和數值指標。

2.根據權利要求1所述深度學習模型安全風險評估方法，其特征在于，步驟二所述原始樣本圖像的預處理具體為：將原始圖像的每個像素點，通過標準化模型進行標準化：

這樣得到了深度神經網絡的輸入，即生成對抗樣本的技術樣本模板。

3.根據權利要求1所述深度學習模型安全風險評估方法，其特征在于，步驟五所述對抗樣本圖像x_a的生成過程為：

第一步：利用標準化模型對原始樣本圖像x_c進行預處理，使所述原始樣本圖像x_c符合目標深度學習模型的輸入格式要求；

第二步：將所述原始樣本圖像x_c依據目標深度學習模型進行n次迭代，第n次迭代過程為：將樣本x_c輸入模型，進行一次前向傳播，計算模型的損失函數J(·)；

第三步：利用模型：計算對抗干擾噪點并生成對抗樣本；其中，為損失函數對x的偏導，即反向傳播的梯度，ρⁿ為第n次迭代時依據梯度計算出的對抗干擾；∈表示縮放向量，控制添加的對抗干擾的大小；sign()是對梯度的約束；J(θ；xⁿ，y)表示深度神經網絡M的損失函數；θ表示M的參數矩陣；xⁿ表示n次的輸入樣本；y表示樣本真實類別；clip(·)表示截斷函數。