[發明專利]基于知識蒸餾的神經網絡黑盒攻擊型防御方法

有效

• 申請號: 201911300484.0
• 申請日: 2019-12-17
• 公開（公告）號: CN111027060B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 崔煒煜;王文一;李曉銳;陳建文
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06N3/04;G06N3/08
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 韋海英

本發明公開了一種基于知識蒸餾的神經網絡黑盒攻擊型防御方法，其包括選取多個子網絡構建教師網絡，對所有子網絡softmax層的輸入向量進行軟化，之后重新加載子網絡的模型參數訓練得到新的子網絡；獲取每個子網絡的預測標簽，并將所有預測標簽平均或加權平均后做為軟標簽；將ImageNet數據集輸入學生網絡，采用軟標簽、數據集硬標簽及黑盒模型特殊標簽指導學生網絡訓練，得到替代模型；采用白盒攻擊算法攻擊替代模型生成對抗樣本序列，并采用對抗樣本序列對黑盒模型進行攻擊，選取對抗樣本序列中攻擊成功的對抗樣本；將攻擊成功的對抗樣本加入黑盒模型的訓練集中，并采用更新后的訓練集進行對抗訓練，生成具備防御攻擊的黑盒模型。

技術領域

本發明涉及神經網絡的防御方法，具體涉及一種基于知識蒸餾的神經網絡黑盒攻擊型防御方法。

背景技術

現有比較常見的黑盒攻擊分為基于遷移性的訓練替代模型攻擊方式以及基于決策的多次查詢估計梯度攻擊方式。二者在生成接近黑盒模型的替代模型后和估計接近黑盒模型的梯度后，利用主流的白盒攻擊方法來進行攻擊。

前者在訓練替代模型時多數需要得知被攻擊模型的訓練數據集，以及輸入輸出等除模型內部參數以外的眾多信息，而這些信息特別是訓練數據集在實際應用中是很難得知的，或者是被限制獲取數量的，所以通過以上方式生成替代模型的方法在很多情況下是有所限制的。

后者通過對對抗模型多次進行查詢輸入輸出并且估計梯度，當查詢次數足夠多時估計得到的梯度將接近對抗模型的真實梯度以獲得決策邊界。但是該方法的問題是多次查詢導致計算復雜度高，同時在限制查詢次數的黑盒模型中無法得到進展，從而嚴重影響了黑盒攻擊的效率。

發明內容

針對現有技術中的上述不足，本發明提供的基于知識蒸餾的神經網絡黑盒攻擊型防御方法解決了傳統方法的多次查詢帶來的計算復雜度較高的問題。

為了達到上述發明目的，本發明采用的技術方案為：

提供一種基于知識蒸餾的神經網絡黑盒攻擊型防御方法，其包括：

選取多個圖像分類網絡作為的子網絡構建教師網絡，對所有子網絡softmax層的輸入向量進行軟化，之后重新加載子網絡的模型參數訓練得到新的子網絡；

獲取教師網絡中每個子網絡的預測標簽，并將所有預測標簽平均后或者加權平均后做為教師網絡輸出的軟標簽；

將ImageNet數據集輸入學生網絡，采用教師網絡的軟標簽、數據集硬標簽及黑盒模型特殊標簽指導學生網絡訓練，得到針對黑盒模型的替代模型，特殊標簽為黑盒模型分類任務中與常規數據集分類不同的樣本；

采用白盒攻擊算法攻擊替代模型生成對抗樣本序列，并采用對抗樣本序列對黑盒模型進行攻擊，選取對抗樣本序列中攻擊成功的對抗樣本；

將攻擊成功的對抗樣本加入黑盒模型的訓練集中，并采用更新后的訓練集進行對抗訓練，生成具備防御攻擊的黑盒模型。

本發明的有益效果為：本方法在多數情況下無需獲取黑盒模型的數據集和查詢申請，便可以對黑盒模型進行攻擊，在少數邊緣分類任務中，可以限制性獲取黑盒模型數據集以及查詢次數，仍然可以保證攻擊成功。

在進行攻擊和防御過程中，采用知識蒸餾的方式優化了替代模型生成過程，解決了使用傳統方法的多次查詢帶來的計算復雜度較高的問題；知識蒸餾的方式可以使用來生成替代模型的學生網絡充分利用教師網絡所擁有的知識信息量，減少普通訓練方式丟失類別之間差異性的缺陷。

通過生成對抗樣本序列的方式解決了在對抗訓練中對抗樣本質量差并且強度低的問題，使得對抗訓練更加魯棒，即防御性更好。

附圖說明

圖1為基于知識蒸餾的神經網絡黑盒攻擊型防御方法的流程圖。

具體實施方式