[發明專利]一種基于兩階段對抗知識遷移的對抗樣例防御方法

在審

• 申請號: 201911282214.1
• 申請日: 2019-12-13
• 公開（公告）號: CN111047054A
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 錢亞冠;關曉惠;周武杰;李蔚;潘俊;云本勝;樓瓊
• 申請（專利權）人: 浙江科技學院;浙江水利水電學院
• 主分類號: G06N20/10
• 分類號: G06N20/10;G06N3/04;G06N3/08
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

本發明屬于人工智能安全技術領域，公開了一種基于兩階段對抗知識遷移的對抗樣例防御方法，通過異構多源的對抗訓練，先把對抗知識從數據遷移到大型復雜DNN(深度神經網絡)，完成第一階段的對抗知識遷移；然后采用對抗樣例的軟標簽，提出對抗萃取技術，把對抗知識從復雜DNN遷移到簡單DNN，實現第二階段的對抗知識遷移。本發明提出的兩階段對抗知識遷移的方法，可以使邊緣設備上的簡單神經網絡獲得與大型復雜網絡接近的魯棒性，較好的解決了依靠單純對抗訓練無法解決的簡單網絡的魯棒性問題。本發明提出的對抗萃取具有較好的算法收斂性，可以使簡單網絡模型性能和魯棒性穩定提升并加快收斂，較好的解決了集成對抗訓練中模型性能和魯棒性的不穩定問題。

技術領域

本發明屬于人工智能安全技術領域，尤其涉及一種基于兩階段對抗知識遷移的對抗樣例防御方法。

背景技術

目前，最接近的現有技術：近來深度神經網絡(DNN，Deep Neural Networks)被廣泛運用在圖像識別、自然語言處理等領域，但是研究表明，如果對數據增加一些精心設計的、不被人察覺的擾動，可導致深度神經網絡錯誤分類。這種被添加惡意噪聲的樣例被稱為對抗樣例。對抗樣例的出現限制了深度神經網絡在安全敏感領域的應用，比如在自動駕駛、人臉支付等。研究人員在防御對抗樣例方面做了大量工作，其中把對抗樣例作為訓練數據，對DNN進行對抗訓練被認為是目前針對對抗樣例最為有效的防御方法之一。

隨著邊緣計算的興起，在邊緣設備上部署具有與大型DNN同樣的高精度和防御能力的簡單DNN成為亟待解決的問題。最新研究表明，大型DNN經過對抗訓練可以獲得優良的防御能力。但把這些經過對抗訓練的大型DNN部署到資源(內存、計算和功率)嚴格受限，又需要實時預測的邊緣設備(如便攜式設備或傳感器網絡)時，卻成為一個極具挑戰的問題。目前提出了各種模型壓縮方法，如剪枝、參數量化和知識萃取等，或直接對邊緣設備上的簡單DNN進行對抗訓練，但這些現有技術解決的效果不佳。原因在于：(1)簡單DNN比大型DNN更難訓練得到高的分類精度和魯棒性。(2)現有的模型壓縮等方法只關注提升簡單DNN的分類精度，并不能提升簡單DNN的對抗樣例防御能力。因此，為邊緣設備上的簡單DNN設計防御對抗樣例的方法具有十分重要的意義。

發明內容

本發明提出一種基于兩階段對抗知識遷移的對抗樣例防御方法，可以使邊緣設備上的簡單DNN獲得與大型復雜的DNN相當的分類精度和防御能力。由于對抗訓練的目的是使DNN獲得對抗知識，增強對對抗樣例的防御能力，因此如何把對抗知識高效的遷移到簡單DNN是本發明的核心。

本發明是這樣實現的，通過異構多源的對抗訓練，先把對抗知識從數據遷移到大型DNN，完成第一階段的對抗知識遷移；然后采用對抗樣例的軟標簽，提出對抗萃取技術，把對抗知識從大型DNN遷移到簡單DNN，實現第二階段的對抗知識遷移。通過兩階段的對抗知識遷移，可以有效的把蘊含于數據和模型中的對抗知識遷移到邊緣設備上的簡單DNN，從而獲得與大型DNN相當的防御能力。

具體包括：

進一步，所述兩階段對抗知識遷移的防御方法具體包括以下步驟：

(1)從多個DNN中生成對抗樣例，形成多源對抗樣例數據集D_a；

(2)將干凈樣例數據集D_c和多源對抗樣例數據集D_a合并，形成對抗訓練集D；

(3)將對抗訓練集D對復雜DNN f_teacher進行訓練，實現第一階段對抗知識從數據向復雜DNN的遷移；

(4)將干凈樣例數據集D_c輸入f_teacher，獲得帶軟標簽的干凈樣例數據集

(5)將多源對抗樣例數據集D_a輸入f_teacher，獲得帶軟標簽的對抗樣例數據集