[發明專利]一種基于語義信息的深度學習模型對抗魯棒性增強方法

在審

• 申請號: 202011222045.5
• 申請日: 2020-11-05
• 公開（公告）號: CN112270367A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 陳興蜀;王麗娜;王偉;岳亞偉;唐瑞;朱毅;曾雪梅
• 申請（專利權）人: 四川大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/20
• 代理公司: 成都禾創知家知識產權代理有限公司 51284
• 代理人: 劉凱

1.一種基于語義信息的深度學習模型對抗魯棒性增強方法，其特征在于，包括以下步驟：

步驟一：迭代提取語義信息：對深度學習模型分類任務的每一個類別，在訓練集數據中隨機抽取一個不包含該類別樣本的子集X，在X上迭代提取該類區域附近被遺漏的語義信息，計算得到一個對X上絕大多數樣本適用的語義信息向量，并使用參數η約束該向量的L_∞范數的上界；

步驟二：抽樣擴充訓練集數據：對訓練集與每個類別樣本的差集，分別隨機抽取特定比率的樣本，添加步驟一計算得到的語義信息向量，剩余部分保持不變，構成新的訓練集；

步驟三：計算目標函數：在新訓練集上，對添加了語義信息的樣本和未添加的原始樣本分別計算損失函數并求和；

步驟四：重訓練模型：采用步驟三得到的求和后的損失函數重新訓練深度學習模型，直到模型收斂。

2.根據權利要求1所述的基于語義信息的深度學習模型對抗魯棒性增強方法，其特征在于，所述步驟一中：通過在訓練集與每個類別的差集的一個子集X上分別計算該類對應區域決策邊界附近遺漏的語義信息向量；在子集X上逐點迭代計算，在L_∞范數的上界約束下，在每個點上依次計算語義信息向量的分量并聚合，得到最終通用性的語義信息向量：

其中，r表示語義信息向量，△r_i表示在集合X上的第i個點上計算得到的語義信息向量的分量，該分量通過在第i個點上求解優化問題得到；P_∞,η表示以0為圓心，η為半徑的∞范數球上的投影操作；通過計算△r_i時求解優化問題和每k步的投影操作，限制語義信息向量的大小。

3.根據權利要求1所述的基于語義信息的深度學習模型對抗魯棒性增強方法，其特征在于，所述在步驟3中目標函數為：

其中，Θ^*為模型的參數；表示未添加語義信息的原始樣本x的損失函數；表示添加了語義信息的樣本x_i+r的損失函數；

C表示原始訓練集；t表示模型分類任務中的某一類，且t∈(1,2,...,T)，T表示原模型分類任務的類別總數；f(·)表示深度學習模型；θ，δ分別表示模型參數和對原始樣本添加的擾動。