[發(fā)明專利]一種基于語義信息的深度學(xué)習(xí)模型對抗魯棒性增強(qiáng)方法

在審

• 申請?zhí)枺?/td>: 202011222045.5
• 申請日: 2020-11-05
• 公開（公告）號: CN112270367A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 陳興蜀;王麗娜;王偉;岳亞偉;唐瑞;朱毅;曾雪梅
• 申請（專利權(quán)）人: 四川大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/20
• 代理公司: 成都禾創(chuàng)知家知識產(chǎn)權(quán)代理有限公司 51284
• 代理人: 劉凱

1.一種基于語義信息的深度學(xué)習(xí)模型對抗魯棒性增強(qiáng)方法，其特征在于，包括以下步驟：

步驟一：迭代提取語義信息：對深度學(xué)習(xí)模型分類任務(wù)的每一個類別，在訓(xùn)練集數(shù)據(jù)中隨機(jī)抽取一個不包含該類別樣本的子集X，在X上迭代提取該類區(qū)域附近被遺漏的語義信息，計(jì)算得到一個對X上絕大多數(shù)樣本適用的語義信息向量，并使用參數(shù)η約束該向量的L_∞范數(shù)的上界；

步驟二：抽樣擴(kuò)充訓(xùn)練集數(shù)據(jù)：對訓(xùn)練集與每個類別樣本的差集，分別隨機(jī)抽取特定比率的樣本，添加步驟一計(jì)算得到的語義信息向量，剩余部分保持不變，構(gòu)成新的訓(xùn)練集；

步驟三：計(jì)算目標(biāo)函數(shù)：在新訓(xùn)練集上，對添加了語義信息的樣本和未添加的原始樣本分別計(jì)算損失函數(shù)并求和；

步驟四：重訓(xùn)練模型：采用步驟三得到的求和后的損失函數(shù)重新訓(xùn)練深度學(xué)習(xí)模型，直到模型收斂。

2.根據(jù)權(quán)利要求1所述的基于語義信息的深度學(xué)習(xí)模型對抗魯棒性增強(qiáng)方法，其特征在于，所述步驟一中：通過在訓(xùn)練集與每個類別的差集的一個子集X上分別計(jì)算該類對應(yīng)區(qū)域決策邊界附近遺漏的語義信息向量；在子集X上逐點(diǎn)迭代計(jì)算，在L_∞范數(shù)的上界約束下，在每個點(diǎn)上依次計(jì)算語義信息向量的分量并聚合，得到最終通用性的語義信息向量：

其中，r表示語義信息向量，△r_i表示在集合X上的第i個點(diǎn)上計(jì)算得到的語義信息向量的分量，該分量通過在第i個點(diǎn)上求解優(yōu)化問題得到；P_∞,η表示以0為圓心，η為半徑的∞范數(shù)球上的投影操作；通過計(jì)算△r_i時求解優(yōu)化問題和每k步的投影操作，限制語義信息向量的大小。

3.根據(jù)權(quán)利要求1所述的基于語義信息的深度學(xué)習(xí)模型對抗魯棒性增強(qiáng)方法，其特征在于，所述在步驟3中目標(biāo)函數(shù)為：

其中，Θ^*為模型的參數(shù)；表示未添加語義信息的原始樣本x的損失函數(shù)；表示添加了語義信息的樣本x_i+r的損失函數(shù)；

C表示原始訓(xùn)練集；t表示模型分類任務(wù)中的某一類，且t∈(1,2,...,T)，T表示原模型分類任務(wù)的類別總數(shù)；f(·)表示深度學(xué)習(xí)模型；θ，δ分別表示模型參數(shù)和對原始樣本添加的擾動。