[發明專利]一種基于訓練過程解構的后門攻擊防御方法及系統

在審

• 申請號: 202111312806.0
• 申請日: 2021-11-08
• 公開（公告）號: CN114003909A
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 黃坤哲;吳保元;李一鳴;秦湛;任奎
• 申請（專利權）人: 深圳市大數據研究院;香港中文大學（深圳）
• 主分類號: G06F21/56
• 分類號: G06F21/56;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安迪業欣知識產權代理事務所(普通合伙) 61278
• 代理人: 校麗麗

本發明公開了一種基于訓練過程解構的后門攻擊防御方法及系統，屬于神經網絡安全技術領域，能夠解決現有防御模型對正常測試數據的預測結果準確率較低的問題。所述方法包括：獲取包含有后門毒化數據的含標簽訓練樣本集；對含標簽訓練樣本集進行去標簽處理，得到無標簽訓練樣本集，并將無標簽訓練樣本集輸入神經網絡模型中進行特征提取層訓練；將含標簽訓練樣本集輸入神經網絡模型中進行簡單分類層訓練，得到訓練后模型；利用訓練后模型對測試數據集進行類別預測。本發明用于后門攻擊的防御。

技術領域

本發明涉及一種基于訓練過程解構的后門攻擊防御方法及系統，屬于神經網絡安全技術領域。

背景技術

隨著科學技術的不斷發展，深度神經網絡模型當前被成功地應用于許多和安全相關的系統上，如人臉識別、自動駕駛和惡意軟件檢測等。隨著模型規模的擴大，它們對數據的需求也在不斷增長。為實現最先進的性能，用戶往往會通過自動化或者外包的方式來收集足夠的訓練數據。這些缺乏可信賴的人工監督所采集的數據，使得模型極容易遭受后門攻擊。在后門攻擊中，攻擊者在干凈數據上添加后門觸發器得到毒化數據，模型在訓練后便被注入后門。含有后門的模型在正常的測試數據上表現良好，而會將添加上后門觸發器的測試數據分類為攻擊者指定的目標類別。因此，后門攻擊不僅難以被人察覺而且會對系統造成重大的威脅。

目前后門攻擊方法可以根據目標標簽的性質分為毒化標簽攻擊與干凈標簽攻擊。毒化標簽攻擊是目前最主流的攻擊方法。現有技術中也有一些防御方法來緩解后門攻擊威脅，現有的防御大多是經驗性的，主要可分為五大類，包括：(1)基于檢測的防御會檢查模型或者測試樣本是否被攻擊，如果被攻擊則對其拒絕使用；(2)基于預處理的防御試圖破壞測試樣本中潛在的后門觸發器來避免激活模型中潛在的后門；(3)基于模型重構的防御通過對模型進行修改來直接破壞其中隱藏的后門；(4)基于觸發器合成的防御通過逆向模型中潛在的觸發器模式來進一步消除其中后門的影響；(5)基于毒化抑制的防御則在訓練過程中對毒化數據的有效性進行抑制來避免后門的生成。其中，第五類防御，主要通過在訓練數據以及模型梯度中添加噪聲，來破壞觸發器和目標標簽的強對應關系，但是在降低攻擊成功率的同時，也會影響模型在正常測試數據的準確率。

發明內容

本發明提供了一種基于訓練過程解構的后門攻擊防御方法及系統，能夠解決現有防御模型對正常測試數據的預測結果準確率較低的問題。

一方面，本發明提供了一種基于訓練過程解構的后門攻擊防御方法，所述方法包括：

步驟1、獲取包含有后門毒化數據的含標簽訓練樣本集；

步驟2、對所述含標簽訓練樣本集進行去標簽處理，得到無標簽訓練樣本集，并將所述無標簽訓練樣本集輸入神經網絡模型中進行特征提取層訓練；

步驟3、將所述含標簽訓練樣本集輸入所述神經網絡模型中進行簡單分類層訓練，得到訓練后模型；

步驟4、利用所述訓練后模型對測試數據集進行類別預測。

可選的，在步驟3后，所述方法還包括：

步驟5、獲取所述含標簽訓練樣本集中每個樣本的訓練損失值，并根據所述每個樣本的訓練損失值和預設閾值將所述含標簽訓練樣本集分為高置信度數據集和低置信度數據集；

步驟6、對所述低置信度數據集進行去標簽處理，并利用所述高置信度數據集和去標簽的低置信度數據集矯正所述訓練后模型，得到矯正后模型；

相應的，所述步驟4具體為：

利用所述矯正后模型對測試數據集進行類別預測。

可選的，所述將所述無標簽訓練樣本集輸入神經網絡模型中進行特征提取層訓練，具體包括：

將所述無標簽訓練樣本集輸入神經網絡模型中，采用自監督學習方法進行特征提取層訓練。