[發明專利]一種針對梯度裁剪的深度學習模型魯棒性評估方法和系統

在審

• 申請號: 202211314348.9
• 申請日: 2022-10-26
• 公開（公告）號: CN115392402A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 鄭飛州;李昭睿;陳政霖
• 申請（專利權）人: 廣州中平智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州容大知識產權代理事務所(普通合伙) 44326
• 代理人: 楊艷

本發明實施例提供一種針對梯度裁剪的深度學習模型魯棒性評估方法和系統，為了減少梯度裁剪對測試樣本集造成的模型偏移效果的影響，首先得到目標模型中權重參數w的梯度G_ω。然后對G_ω的分布進行分析，計算其數據分布方差最小的方向，并將該方向作為模型魯棒性評估方案中模型修改的方向。然后在該方向上計算生成測試樣本(x_P,y_P)。按照本方法得到的測試樣本，只需要產生較小的梯度就可以使模型參數的分布產生明顯區分，從而達到較好的模型偏移效果，提升了評估方案的評估可信度。

技術領域

本發明實施例涉及深度學習技術領域，尤其涉及針對梯度裁剪的深度學習模型魯棒性評估方法和系統。

背景技術

隨著深度學習的發展和大規模應用，針對深度學習模型的攻擊也層出不窮。其中就包括數據投毒攻擊。數據投毒攻擊的目的是通過惡意修改訓練集來操縱學習算法生成的模型，訓練完成的模型會按照攻擊者的需求產生預測結果。數據投毒的基本方法是在某個具體的訓練樣本（x，y）上添加擾動生成投毒樣本（xp,yp），然后將投毒樣本混入模型的訓練數據集中，使用投毒后的訓練集訓練得到的模型，其預測結果會根據攻擊者的意愿發生改變。比如在智能駕駛領域，如果一個智能汽車所用的圖像識別模型遭受到了數據投毒攻擊，它就可能將停車標志識別為左轉，從而造成嚴重的社會危害。

一個深度學習模型抵抗數據投毒攻擊能力的強弱被稱為該模型的魯棒性。也就是說一個模型在面對數據投毒攻擊時對輸入樣本的預測結果和實際結果偏差的越小，就證明該模型的魯棒性越強。模型設計者在發布一個深度學習模型時，除了考慮模型的可用性外還需要評估該模型的魯棒性，即分析其抵抗投毒攻擊的能力。特別是在人臉識別和智能駕駛等關鍵領域，模型的魯棒性直接關系到公共安全。

針對深度學習模型魯棒性的評估問題，相關人員做了大量研究。現有的模型魯棒性評估方法的基本框架是根據對目標模型架構的分析設計相應的測試樣本集，使用該樣本集作為訓練樣本訓練待測模型，然后將目標模型的偏移程度等指標作為該模型魯棒性的評估標準。評估方案評估結果的可信程度取決于該方案中所設計的測試樣本集對模型行為偏移程度的影響效果，也就是說對模型行為的影響越大代表著評估的結果越可信，越有參考價值。

現有評估方案中，所使用的測試樣本集是在隨機的方向上對模型進行改變，為了使模型行為的偏移更加明顯，測試樣本往往需要在模型訓練過程中產生更大的梯度，才能使訓練得到的模型參數的原始分布和新分布變得可區分。

但是現有的深度學習模型在模型訓練過程中廣泛使用的隨機梯度下降算法會進行梯度裁剪操作，該操作是指對大于某一閾值的梯度按特定比例進行縮小。而現有評估方案為了評估效果生成的測試樣本往往會產生較大的梯度，也就導致了現有的評估方案對梯度裁剪操作是敏感的。也就是說，深度學習模型訓練過程中隨機梯度下降算法的梯度裁剪操作會削弱現有測試樣本集產生的效果，導致了魯棒性評估方案的評估結果參考意義不強。

發明內容

本發明實施例提供一種針對梯度裁剪的深度學習模型魯棒性評估方法和系統，以解決現有技術中深度學習模型訓練過程中隨機梯度下降算法的梯度裁剪操作會削弱現有測試樣本集產生的效果，導致了魯棒性評估方案的評估結果參考意義不強的問題。

第一方面，本發明實施例提供一種針對梯度裁剪的深度學習模型魯棒性評估方法，包括：

步驟S1、提取目標模型的原始訓練集中的原始樣本集，對所述原始樣本集進行奇異值分解，以得到投毒樣本；基于所述投毒樣本，以及所述投毒樣本經所述目標模型的預測結果構建測試樣本；

步驟S2、將所述測試樣本插入原始訓練集生成測試訓練集，基于所述測試訓練集進行神經網絡訓練得到偏移模型；