[發明專利]一種可遷移黑盒對抗攻擊樣本生成方法、系統及電子設備

有效

• 申請號: 202211518012.4
• 申請日: 2022-11-30
• 公開（公告）號: CN115544499B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王中元;方硯;程季康;王騫;邵振峰;鄒勤
• 申請（專利權）人: 武漢大學
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06F21/56;G06N3/0475
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 肖明洲

本發明公開了一種可遷移黑盒對抗攻擊樣本生成方法、系統及電子設備，通過對當前對抗樣本連續使用快速梯度符號方法，超前預測了對抗攻擊樣本未來可能的生成路徑，再通過沿生成路徑的鄰域進行采樣并計算損失函數在采樣點和超前預測點的梯度之和，得到了累計的梯度，最后使用動量快速梯度符號方法根據累計的梯度更新對抗攻擊樣本。具體包括對抗攻擊樣本生成路徑預測，沿生成路徑鄰域的采樣與梯度計算，對抗攻擊樣本更新等三個主要步驟。本方法能有效提高針對替代白盒模型生成的對抗攻擊樣本遷移到黑盒攻擊的成功率。同時，本方法不限制使用某一種特定的替代白盒模型，具有普適性強的優點。

技術領域

本發明屬于人工智能安全技術領域，涉及一種深度學習對抗攻擊樣本生成方法及系統，具體涉及一種基于超前平滑度增強的可遷移黑盒對抗攻擊樣本生成方法及系統。

背景技術

深度學習模型和人工智能（AI）技術已經被廣泛應用在圖像識別、語義分割、目標檢測等生活實踐領域。然而，深度學習模型的安全性問題卻逐漸引起人們的擔憂和重視。一些精心生成的微小擾動，當被加入原始圖像時，會使深度學習模型產生錯誤的輸出結果，從而對深度學習模型的安全性產生威脅。這種加入微小擾動生成的圖像被稱為對抗樣本（adversarialsample）。這種對抗樣本由于與原圖差距過小，常常無法被人眼分辨，因此可被用于反AI識別。

最早的對抗攻擊樣本生成方法往往需要利用受攻擊對象模型的已知信息，因此被稱作白盒攻擊（white-boxattack）。常用的方法包括利用白盒模型的梯度更新對抗樣本、利用演化算法從候選的擾動中選擇有效果的對抗攻擊樣本、利用深度學習網絡生成對抗攻擊樣本等。盡管白盒攻擊的成功率往往很高，但由于現實應用中無法得知被攻擊網絡的具體信息，因此白盒攻擊的應用場景受到限制。由于使用了目標模型的信息，白盒攻擊還很容易被梯度掩蓋等防御方法化解。因此，不依賴受攻擊目標模型的具體信息的黑盒攻擊（black-boxattack）成為了近幾年的研究熱點。

一類黑盒攻擊方法基于對目標網絡的反復詢問，通過輸入當前的圖像并觀察目標網絡的返回標簽來更新當前的對抗攻擊樣本。由于使用了目標模型返回的標簽，不能被看作完全的黑盒攻擊。因為需要對目標網絡進行大量的詢問，這類方法的使用場景也受到了限制。根據對某種已知模型生成的對抗攻擊樣本能成功攻擊其它未知模型這一現象，發展出來的基于遷移的黑盒攻擊方法具有普適性強、難以被防御的特點。目前，研究者致力于用各種方法提高白盒攻擊遷移到黑盒攻擊的成功率，常用的方法包括：將對抗樣本更新路徑上的梯度以一定的比例進行累加，以使優化結果跳出局部最優值而提高遷移成功率的動量快速梯度符號方法；對輸入圖像進行預處理以實現數據增強的輸入多樣性法、平移不變法；將未來對抗樣本更新路徑點梯度加入當前梯度進行更新的超前預測法；將對單一的白盒替代模型的攻擊改為對多個替代模型進行攻擊的模型增強法。然而，這些方法的遷移成功率往往不能達到實際應用所需效果。

目前，部分研究者嘗試使用在原始圖像鄰域內進行采樣，用領域點的梯度和代替單一的原始圖像的梯度進行更新，以減小對抗樣本更新過程中損失函數的方差，從而提高遷移成功率。然而，這種基于平滑度增強的方法丟失了對抗樣本點本身的梯度信息，并且沒有充分利用對抗樣本的大范圍鄰域信息。因此，提出能夠充分利用對抗樣本鄰域信息來增強損失函數平滑度，并將遷移攻擊的成功率提升到一個足以應用到實踐的水平的對抗樣本生成方法具有重要的應用價值。

發明內容

為了解決上述技術問題，本發明提供了一種可遷移對抗攻擊樣本生成方法、系統及電子設備。

本發明的方法所采用的技術方案是：一種可遷移黑盒對抗攻擊樣本生成方法，包括以下步驟：

步驟1：對給定的圖像，采用白盒替代模型進行攻擊，預測下一步更新的對抗攻擊樣本，在預測得到的對抗攻擊樣本的鄰域內進行采樣，并計算受攻擊的白盒替代模型的損失函數在采樣點和預測的對抗攻擊樣本點的梯度的之和；

步驟2：循環執行步驟1，使對抗攻擊樣本更新路徑的預測進行更多步，直到達到預設的超前預測步數，累加每一輪循環得到的梯度和；