[發明專利]一種針對梯度裁剪的深度學習模型魯棒性評估方法和系統

在審

• 申請號: 202211314348.9
• 申請日: 2022-10-26
• 公開（公告）號: CN115392402A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 鄭飛州;李昭睿;陳政霖
• 申請（專利權）人: 廣州中平智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州容大知識產權代理事務所(普通合伙) 44326
• 代理人: 楊艷

1.一種針對梯度裁剪的深度學習模型魯棒性評估方法，其特征在于，包括：

步驟S1、提取目標模型的原始訓練集中的原始樣本集，對所述原始樣本集進行奇異值分解，以得到投毒樣本；基于所述投毒樣本，以及所述投毒樣本經所述目標模型的預測結果構建測試樣本；

步驟S2、將所述測試樣本插入原始訓練集生成測試訓練集，基于所述測試訓練集進行神經網絡訓練得到偏移模型；

步驟S3、基于所述偏移模型對所述投毒樣本進行預測，基于預測結果確定偏移模型是否偏移成功；

獲取目標模型的偏移成功率，將所述偏移成功率作為評估結果。

2.根據權利要求1所述的針對梯度裁剪的深度學習模型魯棒性評估方法，其特征在于，所述步驟S1具體包括：

步驟S11、獲取目標模型以及訓練所述目標模型使用的原始訓練集D=（X,Y），其中，X為原始樣本集，Y為原始標簽集，訓練樣本(x,y)∈D；

步驟S12、基于梯度方差最小時的測試樣本（x_P, y_P），并確定在預設梯度方差上界下的x_P表達式；

步驟S13、對訓練集中的測試樣本進行奇異值分解，得到投毒樣本x_P；基于目標模型對投毒樣本x_P進行預測，得到投毒樣本x_P的最小概率類標簽y_P，將（x_P, y_P）作為測試樣本。

3.根據權利要求2所述的針對梯度裁剪的深度學習模型魯棒性評估方法，其特征在于，所述步驟S12具體包括；

計算所述目標模型的權重參數w的梯度G_w：

G_w=?_wLoss(w,b ; x,y)

上式中，Loss表示損失函數；?_w表示對權重參數w求梯度；b為目標模型的偏移參數；

獲取測試樣本(x_P,y_P )的計算公式：

上式中，Var[]表示梯度方差;

預設梯度方差上界為Var[x_P,x]，得到：

。