[發明專利]雙極網絡腐蝕增強對抗樣本遷移性的方法

有效

• 申請號: 202110709006.6
• 申請日: 2021-06-25
• 公開（公告）號: CN113469330B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 段曄鑫;潘志松;鄒軍華;張武;張磊;周星宇;胡亞豪
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V10/82;G06V10/774;G06V10/764
• 代理公司: 北京力量專利代理事務所(特殊普通合伙) 11504
• 代理人: 毛雨田

1.一種雙極網絡腐蝕增強對抗樣本遷移性的方法，其特征在于對原深度網絡的內部參數進行實時的雙級腐蝕，每迭代步均對原模型參數進行腐蝕，得到多個與原模型參數具有一定差異但保持相似決策邊界的虛擬模型，即模型分類準確率結果保持相似；然后在迭代過程中通過縱向集成的方法將各個虛擬模型進行融合，即每迭代步均計算虛擬模型而不是原模型的分類結果與目標標簽的交叉熵損失函數值；

對源深度網絡的內部參數進行實時的雙級腐蝕，具體過程為：

1.1.對于經過預訓練的非殘差網絡，為了使得網絡參數更加多樣化，所提的雙級網絡腐蝕方法對基礎網絡的每一層應用dropout和均勻分布腐蝕；令z_l表示第l層的輸入，f_l表示滿足z_l+1＝f_l(z_l)映射關系的函數，經過雙級腐蝕，第l層的輸出表示為

其中*表示元素點積，Bernoulli(1-Λ_b)表示以概率p＝(1-Λ_b)使得腐蝕參數r_l為1的伯努利分布，即p表示z_l被保留的概率，為了保持f_l(·)的輸入經過腐蝕后期望值不變，需要將輸入除以(1-Λ_b)，Λ_b為dropout腐蝕度，Λ_b越大則對模型參數的dropout腐蝕度越大；λ_l～U[1-Λ_u,1+Λ_u]表示腐蝕參數λ_l服從均勻分布，為了保持z_l的期望在經過均分布腐蝕后保持不變，均分布的均值設為1，Λ_u為均分布腐蝕度，Λ_b越大表示對源網絡腐蝕量越大；

經過雙級腐蝕后，對于輸入z₀從第L層z_L反傳的損失函數的梯度為

1.2.對于經過預訓練的殘差網絡，雙級網絡腐蝕方法對殘差塊使用均分布和偏移腐蝕；雙級網絡腐蝕殘差塊表示為

z_l+1＝λ_l(z_l+γ_lF(z_l,W_l)),λ_l～U[1-Λ_u,1+Λ_u] (3)

其中λ_l為服從均勻分布，W_l為第l層網絡參數，γ_l為偏移因子并且有0γ_l≤1，這樣網絡將初始地偏向于執行恒等映射的跨層連接；γ_l項有助于在前向和反向傳播過程中改善低層的遷移信息傳遞，從而提升攻擊效力以得到更具遷移性的對抗樣本；z_l和z_l+1分別代表參數為W_l的第l個殘差塊的輸入和輸出，F(·)表示殘差方程；

第L層的輸入表示為

對于輸入z₀的損失函數的梯度表示為

雙級網絡腐蝕的過程為：1)對源網絡M₁，當其非殘差網絡，對其實施均分布和dropout腐蝕，當其為殘差網絡，對其實施均分布和殘差塊偏移腐蝕；2)重復步驟1)N次，N為總迭代次數，獲得N個虛擬網絡{M₁₁,M₁₂,…,M_1N}，將這N個虛擬網絡縱向集成，即在第i步迭代時只攻擊第i個虛擬網絡M_1i；

基于以上公式，由損失函數的梯度可知越大的腐蝕對源網絡影響越大，而由函數乘積求導法則可知網絡越深也越容易受到影響；對于非殘差和殘差網絡，對抗樣本經迭代并經過網絡腐蝕后生成的表達式為

其中x為輸入圖像，有z₀＝x，表示對x最大對抗擾動量值限制為不超過∈，即有對抗樣本x^*與原圖像x的無窮范數距離‖x^*-x‖_∞≤∈，α為迭代步長，表示第t步所得的對抗樣本，如公式(2)或(5)所示。

2.根據權利要求1所述的雙極網絡腐蝕增強對抗樣本遷移性的方法，其特征在于：

對一個能被分類器c(·)正確分類為標簽y的干凈輸入樣本x，通過對x添加對抗噪聲，得到能夠欺騙這個分類器的對抗樣本，即有c(x^*)≠y；在L_∞范數約束下，最大擾動量∈滿足‖x^*-x‖≤∈；通過最大化分類器的損失函數J(x^*,y；θ)來生成對抗樣本，其中θ表示網絡參數，這個對抗深度學習問題表示成

利用遷移性實施對抗樣本攻擊是先通過白盒攻擊得到對抗樣本，然后利用這些對抗樣本遷移攻擊其他未知網絡模型；

經過網絡腐蝕后的損失函數對任意干凈樣本滿足需J(x^*,y；E(θ))≈J(x^*,y；θ)，得到與原網絡相似的新網絡，生成對抗樣本的約束優化問題重寫為