[發(fā)明專(zhuān)利]一種基于兩階段對(duì)抗知識(shí)遷移的對(duì)抗樣例防御方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911282214.1
• 申請(qǐng)日: 2019-12-13
• 公開(kāi)（公告）號(hào): CN111047054A
• 公開(kāi)（公告）日: 2020-04-21
• 發(fā)明（設(shè)計(jì)）人: 錢(qián)亞冠;關(guān)曉惠;周武杰;李蔚;潘俊;云本勝;樓瓊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江科技學(xué)院;浙江水利水電學(xué)院
• 主分類(lèi)號(hào): G06N20/10
• 分類(lèi)號(hào): G06N20/10;G06N3/04;G06N3/08
• 代理公司: 北京金智普華知識(shí)產(chǎn)權(quán)代理有限公司 11401
• 代理人: 楊采良

1.一種兩階段對(duì)抗知識(shí)遷移的防御方法，其特征在于，所述兩階段對(duì)抗知識(shí)遷移的防御方法通過(guò)異構(gòu)多源的對(duì)抗訓(xùn)練，先把對(duì)抗知識(shí)從數(shù)據(jù)遷移到大型DNN，完成第一階段的對(duì)抗知識(shí)遷移；然后采用對(duì)抗樣例的軟標(biāo)簽，提出對(duì)抗萃取技術(shù)，把對(duì)抗知識(shí)從大型DNN遷移到簡(jiǎn)單DNN，實(shí)現(xiàn)第二階段的對(duì)抗知識(shí)遷移。

2.如權(quán)利要求1所述的兩階段對(duì)抗知識(shí)遷移的防御方法，其特征在于，所述兩階段對(duì)抗知識(shí)遷移的防御方法具體包括：

(1)從多個(gè)預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)中生成對(duì)抗樣例，形成多源對(duì)抗樣例數(shù)據(jù)集；

(2)將干凈樣例數(shù)據(jù)集和多源對(duì)抗樣例數(shù)據(jù)集合并，形成對(duì)抗訓(xùn)練集；

(3)將對(duì)抗訓(xùn)練集對(duì)復(fù)雜大型DNN進(jìn)行訓(xùn)練，實(shí)現(xiàn)第一階段對(duì)抗知識(shí)從數(shù)據(jù)向大型DNN的遷移；

(4)將干凈樣例數(shù)據(jù)集輸入大型DNN，獲得帶軟標(biāo)簽的干凈樣例數(shù)據(jù)集；

(5)將多源對(duì)抗樣例數(shù)據(jù)集輸入大型DNN，獲得帶軟標(biāo)簽的對(duì)抗樣例數(shù)據(jù)集；

(6)將上述兩個(gè)帶軟標(biāo)簽的數(shù)據(jù)集合并，形成帶軟標(biāo)的對(duì)抗訓(xùn)練集；

(7)利用帶軟標(biāo)的對(duì)抗訓(xùn)練集對(duì)邊緣設(shè)備上的簡(jiǎn)單DNN進(jìn)行對(duì)抗訓(xùn)練，實(shí)現(xiàn)第二階段對(duì)抗知識(shí)從大型DNN向簡(jiǎn)單DNN的遷移，使其獲得與大型DNN相當(dāng)?shù)姆烙芰Α?/p>

3.如權(quán)利要求2所述的兩階段對(duì)抗知識(shí)遷移的防御方法，其特征在于，步驟(1)中通過(guò)多個(gè)預(yù)訓(xùn)練DNN上執(zhí)行FGSM算法；輸入干凈樣例在一個(gè)預(yù)訓(xùn)練DNN上計(jì)算關(guān)于x的梯度，利用下式獲得對(duì)抗樣例x′：

其中f(x；θ)為其中一個(gè)預(yù)訓(xùn)練DNN，J(·)為交叉熵函數(shù)；在多個(gè)預(yù)訓(xùn)練DNN上重復(fù)獲得對(duì)抗樣例x′過(guò)程，形成多源對(duì)抗樣例數(shù)據(jù)集D_a；

所述FGSM生成對(duì)抗樣例還依賴(lài)具體的DNN模型，通過(guò)多個(gè)不同的預(yù)訓(xùn)練DNN，獲得差異性對(duì)抗樣例，N個(gè)預(yù)訓(xùn)練DNNf₁，f₂，…，f_N用于生成對(duì)抗樣例；給定干凈樣例x，獲得N個(gè)對(duì)抗樣例：所有的干凈樣例組成集合D_c＝{(x₁,y₁),...,(x_M,y_M)}，由獲得的所有的對(duì)抗樣例組成集合D_a＝{(x′₁₁,y₁),...,(x′_1N,y₁),(x′₂₁,y₁),...,(x′_2N,y₂),...,(x′_MN,y_M)}，則D_a蘊(yùn)含足量的對(duì)抗知識(shí)。

4.如權(quán)利要求2所述的兩階段對(duì)抗知識(shí)遷移的防御方法，其特征在于，步驟(3)中，所述對(duì)抗知識(shí)從數(shù)據(jù)向模型遷移包括：

對(duì)抗訓(xùn)練：假設(shè)(x,y_true)∈D為原始訓(xùn)練數(shù)據(jù)，在約束ε下可獲得對(duì)抗樣例x′＝x+δ；對(duì)抗訓(xùn)練是使用當(dāng)前模型下最大化損失的對(duì)抗樣例訓(xùn)練模型，滿(mǎn)足最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)：

定義如下的損失函數(shù)進(jìn)行對(duì)抗學(xué)習(xí)，實(shí)現(xiàn)對(duì)抗知識(shí)從數(shù)據(jù)集D_a向大型DNNf_teacher的遷移：

其中λ控制對(duì)抗知識(shí)的比重。

5.如權(quán)利要求4所述的兩階段對(duì)抗知識(shí)遷移的防御方法，其特征在于，步驟(3)中，具體的訓(xùn)練步驟包括：

(3-1)按序從D_c中取出干凈樣例(x,y)，從D_a中取出(x,y)對(duì)應(yīng)的對(duì)抗樣例(x′,y)；

(3-2)將(x,y)和(x′,y)代入(3)式，計(jì)算L₁(θ)對(duì)θ的梯度

(3-3)更新θ：其中η為學(xué)習(xí)率，設(shè)置為0.5；

(3-4)重復(fù)步驟(3-1)～(3-3)，直到L₁(θ)小于0.001；

(3-5)得到從數(shù)據(jù)中獲得對(duì)抗知識(shí)的大型DNNf_teacher(θ^*)。