[發(fā)明專(zhuān)利]基于RoBERTa的網(wǎng)絡(luò)日志安全檢測(cè)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211178487.3
• 申請(qǐng)日: 2022-09-26
• 公開(kāi)（公告）號(hào): CN115587007A
• 公開(kāi)（公告）日: 2023-01-10
• 發(fā)明（設(shè)計(jì)）人: 宋厚營(yíng);張銘倫;尹雷;陳浩;臧磊;王瑞;劉景雯;陳境宇;李琦;趙厚凱
• 申請(qǐng)（專(zhuān)利權(quán)）人: 國(guó)網(wǎng)江蘇省電力有限公司連云港供電分公司
• 主分類(lèi)號(hào): G06F11/30
• 分類(lèi)號(hào): G06F11/30;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 南京理工大學(xué)專(zhuān)利中心 32203
• 代理人: 段宇軒

1.一種基于RoBERTa的網(wǎng)絡(luò)日志安全檢測(cè)方法，其特征在于，包括步驟:

獲取所有網(wǎng)絡(luò)設(shè)備的帶標(biāo)簽網(wǎng)絡(luò)日志數(shù)據(jù)集；

對(duì)帶標(biāo)簽網(wǎng)絡(luò)日志數(shù)據(jù)預(yù)處理；

構(gòu)建RoBERTa模型并通過(guò)帶標(biāo)簽網(wǎng)絡(luò)日志數(shù)據(jù)集對(duì)其訓(xùn)練，所述RoBERTa模型采用雙向Transformer網(wǎng)絡(luò)結(jié)構(gòu)作為編碼器，采用Softmax分類(lèi)器獲取日志存在風(fēng)險(xiǎn)的概率；

通過(guò)dropout函數(shù)篩選最優(yōu)模型；

將帶標(biāo)簽網(wǎng)絡(luò)日志數(shù)據(jù)輸入至最優(yōu)的RoBERTa模型獲取該日志存在風(fēng)險(xiǎn)的概率。

2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)日志安全檢測(cè)方法，其特征在于，所述RoBERTa模型將輸入的日志數(shù)據(jù)轉(zhuǎn)化為768維的高維向量。

3.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)日志安全檢測(cè)方法，其特征在于，所述RoBERTa模型的BiLSTM包括前向LSTM和后向LSTM。

4.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)日志安全檢測(cè)方法，其特征在于，所述Transformer塊包括多個(gè)子層，每個(gè)子層包括多頭自注意力機(jī)制和全連接前饋網(wǎng)絡(luò)，每?jī)蓚€(gè)子層之間增加了殘差連接模塊和歸一化模塊。

5.根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)日志安全檢測(cè)方法，其特征在于，所述多頭自注意力機(jī)制對(duì)每個(gè)字符的Query向量、Key向量和Value向量執(zhí)行多組線(xiàn)性轉(zhuǎn)換，分別進(jìn)行自注意力計(jì)算，然后將所有計(jì)算結(jié)果進(jìn)行拼接。

6.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)日志安全檢測(cè)方法，其特征在于，所述Query向量、Key向量和Value向量長(zhǎng)度均為64。

7.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)日志安全檢測(cè)方法，其特征在于，所述多頭自注意力機(jī)制采用縮放因子進(jìn)行修正。

8.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)日志安全檢測(cè)方法，其特征在于，所述RoBERTa模型對(duì)輸入的日志文本數(shù)據(jù)添加[CLS][SEP]字符，并經(jīng)日志文本數(shù)據(jù)劃分為單個(gè)字符，然后將單個(gè)字符存儲(chǔ)為詞匯表，每個(gè)字符對(duì)應(yīng)一個(gè)唯一標(biāo)識(shí)符。

9.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)日志安全檢測(cè)方法，其特征在于，所述日志文本數(shù)據(jù)添加[CLS][SEP]字符具體為：每個(gè)日志文本數(shù)據(jù)的第1個(gè)向量是[CLS]標(biāo)志,用于下游的網(wǎng)絡(luò)日志分類(lèi)任務(wù),句尾向量是[SEP]標(biāo)志，用作不同日志的分隔符,RoBERTa模型輸入的日志文本數(shù)據(jù)僅使用一個(gè)句向量。

10.一種基于RoBERTa的網(wǎng)絡(luò)日志安全檢測(cè)系統(tǒng)，其特征在于，包括數(shù)據(jù)采集模塊、日志分詞模塊、網(wǎng)絡(luò)日志安全檢測(cè)模塊、訓(xùn)練模塊和數(shù)據(jù)庫(kù)，所述數(shù)據(jù)采集模塊用于采集網(wǎng)絡(luò)環(huán)境中的設(shè)備信息及其日志文件，并將采集數(shù)據(jù)保存到數(shù)據(jù)庫(kù)；所述日志分詞模塊用于對(duì)數(shù)據(jù)預(yù)處理；所述網(wǎng)絡(luò)日志安全檢測(cè)模塊基于RoBERTa模型，所述RoBERTa模型采用雙向Transformer網(wǎng)絡(luò)結(jié)構(gòu)作為編碼器，采用Softmax分類(lèi)器獲取日志存在風(fēng)險(xiǎn)的概率；所述訓(xùn)練模塊用于訓(xùn)練更新網(wǎng)絡(luò)日志安全檢測(cè)模塊，通過(guò)dropout函數(shù)篩選最優(yōu)模型；所述數(shù)據(jù)庫(kù)用于保存日志數(shù)據(jù)。