[發(fā)明專利]一種基于暗網(wǎng)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅自動(dòng)發(fā)現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201910763695.1
• 申請日: 2019-08-19
• 公開（公告）號: CN112464666B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 劉亮;李孟銘;鄭榮鋒
• 申請（專利權(quán)）人: 四川大學(xué)
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/205;G06F16/35;G06F16/951;G06N3/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于暗網(wǎng)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅自動(dòng)發(fā)現(xiàn)方法，其特征在于：

A、爬取知名暗網(wǎng)論壇和暗網(wǎng)交易平臺，對論壇帖子和暗網(wǎng)交易平臺商品信息進(jìn)行標(biāo)注，所標(biāo)注類別包括“黑客工具”、“惡意代碼”和“數(shù)據(jù)庫泄露”類別，得到經(jīng)過標(biāo)注的暗網(wǎng)文本訓(xùn)練集合；

B、提取該暗網(wǎng)文本訓(xùn)練集合中每一暗網(wǎng)文本的文字信息進(jìn)行預(yù)處理，使用預(yù)處理后的暗網(wǎng)文本構(gòu)建word2vec模型；

C、對暗網(wǎng)文本訓(xùn)練集合進(jìn)行預(yù)處理后，再進(jìn)行文本序列標(biāo)注，結(jié)合所述word2vec模型和BiLSTM-CRF神經(jīng)網(wǎng)絡(luò)模型構(gòu)建暗網(wǎng)文本命名實(shí)體識別模型；

D、使用所構(gòu)建的word2vec模型處理每一暗網(wǎng)文本、獲取文本特征，使用文本特征訓(xùn)練暗網(wǎng)文本分類模型，然后利用該分類模型對預(yù)處理后的待分類暗網(wǎng)文本進(jìn)行分類，得到待分類暗網(wǎng)文本的類別；

E、通過暗網(wǎng)文本命名實(shí)體識別模型解析“數(shù)據(jù)庫泄露”類暗網(wǎng)文本，若成功提取公司類命名實(shí)體，則發(fā)現(xiàn)數(shù)據(jù)庫泄漏事件；

F、通過暗網(wǎng)文本命名實(shí)體識別模型解析“黑客工具”和“惡意代碼”類別暗網(wǎng)文本，提取黑客工具和惡意代碼類別命名實(shí)體，通過基于搜索引擎的未知命名實(shí)體判斷方法判斷該命名實(shí)體是否為未知的惡意代碼或黑客工具。

2.根據(jù)權(quán)利要求1所述的一種基于暗網(wǎng)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅自動(dòng)發(fā)現(xiàn)方法，其特征在于，所述的步驟B進(jìn)一步包括如下步驟：

B1、使用預(yù)處理方法包括采用錯(cuò)詞修正算法修正拼寫錯(cuò)誤的詞匯、采用PorterStemming算法提取單詞詞干、使用基于正則表達(dá)式的文本替換方法，首先通過正則表達(dá)式匹配暗網(wǎng)文本中的IP、域名、URL、價(jià)格、郵箱實(shí)體類型，并將所述實(shí)體類型替換為暗網(wǎng)文本類型；

B2、使用Continuous?Bag?of?Words算法構(gòu)建暗網(wǎng)文本word2vec模型。

3.根據(jù)權(quán)利要求1所述的一種基于暗網(wǎng)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅自動(dòng)發(fā)現(xiàn)方法，其特征在于，所述的步驟C進(jìn)一步包括如下步驟：

C1、使用預(yù)處理方法處理暗網(wǎng)文本訓(xùn)練集合；

C2、對文本訓(xùn)練集合進(jìn)行標(biāo)注，形成序列標(biāo)注的暗網(wǎng)文本訓(xùn)練集合；

C3、結(jié)合所述word2vec模型和BiLSTM-CRF神經(jīng)網(wǎng)絡(luò)模型構(gòu)建暗網(wǎng)文本命名實(shí)體識別模型。

4.根據(jù)權(quán)利要求1所述的一種基于暗網(wǎng)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅自動(dòng)發(fā)現(xiàn)方法，其特征在于，所述的步驟D進(jìn)一步包括如下步驟：

D1、使用所構(gòu)建的word2vec模型將暗網(wǎng)文本訓(xùn)練集合內(nèi)的每一暗網(wǎng)文本映射成為word2vec向量，通過計(jì)算所有文本向量的平均和，得到每一文本的特征向量；

D2、對所述的文本特征向量，使用支持向量機(jī)模型訓(xùn)練，得到暗網(wǎng)文本分類模型；

D3、對待分類暗網(wǎng)文本，通過如D1步驟所述方法提取特征向量，通過暗網(wǎng)文本分類模型對暗網(wǎng)文本進(jìn)行分類。

5.根據(jù)權(quán)利要求1所述的一種基于暗網(wǎng)數(shù)據(jù)的未知網(wǎng)絡(luò)威脅自動(dòng)發(fā)現(xiàn)方法其特征在于，所述的步驟F進(jìn)一步包括如下步驟：

F1、收集一系列網(wǎng)絡(luò)安全公司和所述網(wǎng)絡(luò)安全公司的網(wǎng)址、域名相關(guān)信息；

F2、通過搜索引擎檢索未知命名實(shí)體，在前若干個(gè)檢索結(jié)果中，若所收集的網(wǎng)絡(luò)安全公司的相關(guān)信息未出現(xiàn)在檢索的結(jié)果中，則認(rèn)定該命名實(shí)體為未被安全人員掌握的黑客工具或惡意代碼。