[發(fā)明專利]基于自監(jiān)督學(xué)習(xí)和自知識蒸餾的物聯(lián)網(wǎng)入侵檢測方法

在審

• 申請?zhí)枺?/td>: 202210446932.3
• 申請日: 2022-04-26
• 公開（公告）號: CN114861875A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 王振東;李澤煜;王俊嶺;楊書新;李大海;陳瀟瀟
• 申請（專利權(quán)）人: 江西理工大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;H04L9/40
• 代理公司: 北京知呱呱知識產(chǎn)權(quán)代理有限公司 11577
• 代理人: 朱芳

1.基于自監(jiān)督學(xué)習(xí)和自知識蒸餾的物聯(lián)網(wǎng)入侵檢測方法，其特征在于，包括：

(1)對入侵檢測數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，所述數(shù)據(jù)預(yù)處理包括字符型數(shù)據(jù)熱獨(dú)編碼和數(shù)據(jù)歸一化處理；

(2)輕量級入侵檢測模型第一階段訓(xùn)練：

(21)確定在線網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，并使用在線網(wǎng)絡(luò)的權(quán)重初始化目標(biāo)網(wǎng)絡(luò)參數(shù)；

(22)將增強(qiáng)數(shù)據(jù)分別輸入到在線網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

(23)根據(jù)自監(jiān)督對比學(xué)習(xí)的損失函數(shù)所得的損失值調(diào)整訓(xùn)練過程的誤差，直到在線網(wǎng)絡(luò)達(dá)到收斂；

(24)保存在線網(wǎng)絡(luò)的權(quán)重到本地以用于第二階段訓(xùn)練；

(3)輕量級入侵檢測模型第二階段訓(xùn)練：

(31)確定學(xué)生網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，加載第一階段訓(xùn)練獲得的在線網(wǎng)絡(luò)權(quán)重到教師網(wǎng)絡(luò)；

(32)將增強(qiáng)數(shù)據(jù)輸入學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

(33)根據(jù)自知識蒸餾的損失函數(shù)所得損失值調(diào)整訓(xùn)練過程的誤差，直到學(xué)生網(wǎng)絡(luò)達(dá)到收斂；

(34)保存學(xué)生網(wǎng)絡(luò)權(quán)重到本地以用于輕量級入侵檢測模型測試。

2.根據(jù)權(quán)利要求1所述的基于自監(jiān)督學(xué)習(xí)和自知識蒸餾的物聯(lián)網(wǎng)入侵檢測方法，其特征在于，在線網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)均為非對稱神經(jīng)網(wǎng)絡(luò)，在線網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)均包括特征編碼器和特征投影器；所述在線網(wǎng)絡(luò)的特征投影器還添加有特征預(yù)測器。

3.根據(jù)權(quán)利要求2所述的基于自監(jiān)督學(xué)習(xí)和自知識蒸餾的物聯(lián)網(wǎng)入侵檢測方法，其特征在于，步驟(22)中，維護(hù)一個(gè)先進(jìn)先出的內(nèi)存隊(duì)列，內(nèi)存隊(duì)列由在線網(wǎng)絡(luò)的特征編碼器編碼特征嵌入構(gòu)成。

4.根據(jù)權(quán)利要求3所述的基于自監(jiān)督學(xué)習(xí)和自知識蒸餾的物聯(lián)網(wǎng)入侵檢測方法，其特征在于，所述在線網(wǎng)絡(luò)的特征編碼器、特征投影器和特征預(yù)測器通過反向傳播損失來更新參數(shù)；

所述目標(biāo)網(wǎng)絡(luò)中的特征編碼器特征投影器通過動量更新的方式更新參數(shù)。

5.根據(jù)權(quán)利要求4所述的基于自監(jiān)督學(xué)習(xí)和自知識蒸餾的物聯(lián)網(wǎng)入侵檢測方法，其特征在于，特征編碼器由卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成；特征投影器與特征預(yù)測器均由多層感知機(jī)組成，多層感知機(jī)包括隱藏層、BN層、ReLU激活函數(shù)和隱藏層。

6.根據(jù)權(quán)利要求5所述的基于自監(jiān)督學(xué)習(xí)和自知識蒸餾的物聯(lián)網(wǎng)入侵檢測方法，其特征在于，步驟(32)中，構(gòu)建一個(gè)先進(jìn)先出的內(nèi)存隊(duì)列，在訓(xùn)練中將最新的批次入內(nèi)存隊(duì)列，內(nèi)存隊(duì)列中最老的批次出內(nèi)存隊(duì)列，將無標(biāo)簽的一組網(wǎng)絡(luò)流量送入自監(jiān)督對比學(xué)習(xí)預(yù)訓(xùn)練好的教師網(wǎng)絡(luò)，將得到的特征嵌入加入到內(nèi)存隊(duì)列，同時(shí)將無標(biāo)簽的網(wǎng)絡(luò)流量送入學(xué)生網(wǎng)絡(luò)得到另一組特征嵌入；

通過約束兩組特征嵌入與內(nèi)存隊(duì)列中的特征嵌入的距離得到知識蒸餾過程的監(jiān)督信號。

7.根據(jù)權(quán)利要求6所述的基于自監(jiān)督學(xué)習(xí)和自知識蒸餾的物聯(lián)網(wǎng)入侵檢測方法，其特征在于，步驟(33)中，通過反向傳播算法更新學(xué)生網(wǎng)絡(luò)的權(quán)值，將得到的學(xué)生網(wǎng)絡(luò)學(xué)習(xí)到網(wǎng)絡(luò)流量的特征表征遷移到入侵檢測數(shù)據(jù)集的異常檢測上。

8.根據(jù)權(quán)利要求7所述的基于自監(jiān)督學(xué)習(xí)和自知識蒸餾的物聯(lián)網(wǎng)入侵檢測方法，其特征在于，將深度可分離卷積融入到入侵檢測的異常檢測中；

深度可分離卷積通過將一個(gè)完整的卷積操作解耦為兩步進(jìn)行，對于來自上一層的多通道特征圖，首先將其全部拆分為單個(gè)通道的特征圖分別進(jìn)行單通道卷積，然后重新堆疊到一起進(jìn)行逐通道卷積。

9.根據(jù)權(quán)利要求1所述的基于自監(jiān)督學(xué)習(xí)和自知識蒸餾的物聯(lián)網(wǎng)入侵檢測方法，其特征在于，步驟(1)中，通過字符型數(shù)據(jù)熱獨(dú)編碼處理將獨(dú)熱編碼將字符型數(shù)據(jù)轉(zhuǎn)換為數(shù)值型數(shù)據(jù)；

步驟(1)中，數(shù)據(jù)歸一化處理過程，采用混合數(shù)據(jù)歸一化方法對數(shù)據(jù)進(jìn)行歸一化。

10.根據(jù)權(quán)利要求1所述的基于自監(jiān)督學(xué)習(xí)和自知識蒸餾的物聯(lián)網(wǎng)入侵檢測方法，其特征在于，還包括：

(4)輕量級入侵檢測模型測試過程，加載學(xué)生網(wǎng)絡(luò)權(quán)重，將預(yù)處理后的測試數(shù)據(jù)集輸入到學(xué)生網(wǎng)絡(luò)得到每條數(shù)據(jù)的分類結(jié)果。