[發(fā)明專(zhuān)利]一種基于訓(xùn)練過(guò)程解構(gòu)的后門(mén)攻擊防御方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111312806.0
• 申請(qǐng)日: 2021-11-08
• 公開(kāi)（公告）號(hào): CN114003909A
• 公開(kāi)（公告）日: 2022-02-01
• 發(fā)明（設(shè)計(jì)）人: 黃坤哲;吳保元;李一鳴;秦湛;任奎
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市大數(shù)據(jù)研究院;香港中文大學(xué)（深圳）
• 主分類(lèi)號(hào): G06F21/56
• 分類(lèi)號(hào): G06F21/56;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安迪業(yè)欣知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61278
• 代理人: 校麗麗

1.一種基于訓(xùn)練過(guò)程解構(gòu)的后門(mén)攻擊防御方法，其特征在于，所述方法包括：

步驟1、獲取包含有后門(mén)毒化數(shù)據(jù)的含標(biāo)簽訓(xùn)練樣本集；

步驟2、對(duì)所述含標(biāo)簽訓(xùn)練樣本集進(jìn)行去標(biāo)簽處理，得到無(wú)標(biāo)簽訓(xùn)練樣本集，并將所述無(wú)標(biāo)簽訓(xùn)練樣本集輸入神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行特征提取層訓(xùn)練；

步驟3、將所述含標(biāo)簽訓(xùn)練樣本集輸入所述神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行簡(jiǎn)單分類(lèi)層訓(xùn)練，得到訓(xùn)練后模型；

步驟4、利用所述訓(xùn)練后模型對(duì)測(cè)試數(shù)據(jù)集進(jìn)行類(lèi)別預(yù)測(cè)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在步驟3后，所述方法還包括：

步驟5、獲取所述含標(biāo)簽訓(xùn)練樣本集中每個(gè)樣本的訓(xùn)練損失值，并根據(jù)所述每個(gè)樣本的訓(xùn)練損失值和預(yù)設(shè)閾值將所述含標(biāo)簽訓(xùn)練樣本集分為高置信度數(shù)據(jù)集和低置信度數(shù)據(jù)集；

步驟6、對(duì)所述低置信度數(shù)據(jù)集進(jìn)行去標(biāo)簽處理，并利用所述高置信度數(shù)據(jù)集和去標(biāo)簽的低置信度數(shù)據(jù)集矯正所述訓(xùn)練后模型，得到矯正后模型；

相應(yīng)的，所述步驟4具體為：

利用所述矯正后模型對(duì)測(cè)試數(shù)據(jù)集進(jìn)行類(lèi)別預(yù)測(cè)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述無(wú)標(biāo)簽訓(xùn)練樣本集輸入神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行特征提取層訓(xùn)練，具體包括：

將所述無(wú)標(biāo)簽訓(xùn)練樣本集輸入神經(jīng)網(wǎng)絡(luò)模型中，采用自監(jiān)督學(xué)習(xí)方法進(jìn)行特征提取層訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述無(wú)標(biāo)簽訓(xùn)練樣本集輸入神經(jīng)網(wǎng)絡(luò)模型中，采用自監(jiān)督學(xué)習(xí)方法進(jìn)行特征提取層訓(xùn)練，具體包括：

采用第一公式獲取特征提取層參數(shù)；所述第一公式為：

其中，為訓(xùn)練后的特征提取層參數(shù)；代表無(wú)標(biāo)簽訓(xùn)練樣本集，x為無(wú)標(biāo)簽訓(xùn)練樣本集中的樣本；表示自監(jiān)督學(xué)習(xí)損失。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟3具體包括：

將所述含標(biāo)簽訓(xùn)練樣本集輸入所述神經(jīng)網(wǎng)絡(luò)模型中，采用監(jiān)督學(xué)習(xí)方法進(jìn)行簡(jiǎn)單分類(lèi)層訓(xùn)練，得到訓(xùn)練后模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將所述含標(biāo)簽訓(xùn)練樣本集輸入所述神經(jīng)網(wǎng)絡(luò)模型中，采用監(jiān)督學(xué)習(xí)方法進(jìn)行簡(jiǎn)單分類(lèi)層訓(xùn)練，得到訓(xùn)練后模型，具體包括：

采用第二公式獲取簡(jiǎn)單分類(lèi)層參數(shù)；所述第二公式為：

其中，為訓(xùn)練后的簡(jiǎn)單分類(lèi)層參數(shù)；代表含標(biāo)簽訓(xùn)練樣本集，x和y分別為含標(biāo)簽訓(xùn)練樣本集中的樣本和標(biāo)簽；表示樣本x的預(yù)測(cè)類(lèi)別；代表監(jiān)督損失。

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟5具體包括：

獲取所述含標(biāo)簽訓(xùn)練樣本集在簡(jiǎn)單分類(lèi)層訓(xùn)練過(guò)程中每個(gè)樣本的訓(xùn)練損失值；

將所有樣本按訓(xùn)練損失值從小到大的順序進(jìn)行排列，得到損失值序列；

將所述損失值序列中小于預(yù)設(shè)閾值的前α％的訓(xùn)練樣本歸入高置信度數(shù)據(jù)集中，并將所述損失值序列中剩余(100-α)％的訓(xùn)練樣本歸入低置信度數(shù)據(jù)集中；其中，α為超參數(shù)且α∈[0,100]。

8.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述利用所述高置信度數(shù)據(jù)集和去標(biāo)簽的低置信度數(shù)據(jù)集矯正所述訓(xùn)練后模型，得到矯正后模型，具體包括：

利用所述高置信度數(shù)據(jù)集和去標(biāo)簽的低置信度數(shù)據(jù)集，并采用半監(jiān)督學(xué)習(xí)方法矯正所述訓(xùn)練后模型，得到矯正后模型。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述利用所述高置信度數(shù)據(jù)集和去標(biāo)簽的低置信度數(shù)據(jù)集，并采用半監(jiān)督學(xué)習(xí)方法矯正所述訓(xùn)練后模型，得到矯正后模型，具體包括：

采用第三公式獲取矯正后模型參數(shù)；所述第三公式為：

其中，w^*為矯正后模型參數(shù)；代表保留標(biāo)簽的高置信度數(shù)據(jù)集；代表去標(biāo)簽的低置信度數(shù)據(jù)集；代表半監(jiān)督損失。

10.一種基于訓(xùn)練過(guò)程解構(gòu)的后門(mén)攻擊防御系統(tǒng)，其特征在于，所述系統(tǒng)包括：

獲取模塊，用于獲取包含有后門(mén)毒化數(shù)據(jù)的含標(biāo)簽訓(xùn)練樣本集；

訓(xùn)練模塊，用于對(duì)所述含標(biāo)簽訓(xùn)練樣本集進(jìn)行去標(biāo)簽處理，得到無(wú)標(biāo)簽訓(xùn)練樣本集，并將所述無(wú)標(biāo)簽訓(xùn)練樣本集輸入神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行特征提取層訓(xùn)練；

所述訓(xùn)練模塊還用于將所述含標(biāo)簽訓(xùn)練樣本集輸入所述神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行簡(jiǎn)單分類(lèi)層訓(xùn)練，得到訓(xùn)練后模型；

測(cè)試模塊，用于利用所述訓(xùn)練后模型對(duì)測(cè)試數(shù)據(jù)集進(jìn)行類(lèi)別預(yù)測(cè)；

優(yōu)選的，所述訓(xùn)練模塊還用于：

獲取所述含標(biāo)簽訓(xùn)練樣本集中每個(gè)樣本的訓(xùn)練損失值，并根據(jù)所述每個(gè)樣本的訓(xùn)練損失值和預(yù)設(shè)閾值將所述含標(biāo)簽訓(xùn)練樣本集分為高置信度數(shù)據(jù)集和低置信度數(shù)據(jù)集；

對(duì)所述低置信度數(shù)據(jù)集進(jìn)行去標(biāo)簽處理，并利用所述高置信度數(shù)據(jù)集和去標(biāo)簽的低置信度數(shù)據(jù)集矯正所述訓(xùn)練后模型，得到矯正后模型；

相應(yīng)的，所述測(cè)試模塊具體用于：

利用所述矯正后模型對(duì)測(cè)試數(shù)據(jù)集進(jìn)行類(lèi)別預(yù)測(cè)。