[發(fā)明專利]一種基于機器學(xué)習(xí)的暗網(wǎng)威脅情報挖掘系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 202011065192.6
• 申請日: 2020-09-30
• 公開（公告）號: CN112148956A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計）人: 鄒福泰;施緯;吳越;李林森
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06F16/9532
• 分類號: G06F16/9532;G06F16/9535;G06F16/33
• 代理公司: 上海旭誠知識產(chǎn)權(quán)代理有限公司 31220
• 代理人: 鄭立

本發(fā)明公開了一種基于機器學(xué)習(xí)的暗網(wǎng)威脅情報挖掘系統(tǒng)和方法，涉及計算機網(wǎng)絡(luò)安全領(lǐng)域，暗網(wǎng)威脅情報挖掘系統(tǒng)包括數(shù)據(jù)下載模塊、數(shù)據(jù)解析模塊、數(shù)據(jù)庫模塊、威脅情報提取模塊、數(shù)據(jù)接口模塊；威脅情報提取模塊包括用戶信息提取模塊、商品信息提取模塊、網(wǎng)頁威脅內(nèi)容提取模塊。本發(fā)明采用規(guī)則匹配、人工篩選、深度學(xué)習(xí)的方法提取暗網(wǎng)網(wǎng)頁中的威脅情報，在保持較高準(zhǔn)確率的同時大大提升了效率，同時也集成了完整的數(shù)據(jù)下載、數(shù)據(jù)存儲、數(shù)據(jù)預(yù)處理以及多功能的數(shù)據(jù)接口，為暗網(wǎng)安全事件調(diào)查提供輔助作用。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機網(wǎng)絡(luò)安全領(lǐng)域，尤其涉及一種基于機器學(xué)習(xí)的暗網(wǎng)威脅情報挖掘系統(tǒng)和方法。

背景技術(shù)

暗網(wǎng)(Dark Web)，是指只能用特殊軟件、特殊授權(quán)或?qū)﹄娔X做特殊設(shè)置才能訪問的網(wǎng)絡(luò)，構(gòu)成暗網(wǎng)的隱藏服務(wù)網(wǎng)絡(luò)包括F2F的小型點對點網(wǎng)絡(luò)以及由公共組織和個人 運營的大型流行網(wǎng)絡(luò)，這些網(wǎng)絡(luò)大部分都使用分布式網(wǎng)絡(luò)系統(tǒng)，每個用戶都作為暗網(wǎng) 中的中繼節(jié)點，暗網(wǎng)中的流量也通過層層轉(zhuǎn)發(fā)和加密來實現(xiàn)匿名的效果。常見的有 Tor(洋蔥路由)、I2P、FREENET、ZERONET等，其中Tor是目前最常用的暗網(wǎng)網(wǎng) 絡(luò)，其中的網(wǎng)站規(guī)模和數(shù)量遠(yuǎn)大于其他。由于訪問門檻的存在與加密算法的應(yīng)用，暗 網(wǎng)具有較高的匿名性。

事實上，在網(wǎng)絡(luò)安全領(lǐng)域，對暗網(wǎng)的研究是公認(rèn)的必要之舉。許多安全事件都與暗網(wǎng)有著密不可分的聯(lián)系。由于暗網(wǎng)的匿名性強，很多黑客(團(tuán)體)都在暗網(wǎng)上進(jìn)行違 法活動，包括出售漏洞信息、提供黑客服務(wù)、出售盜取的數(shù)據(jù)等嚴(yán)重危害網(wǎng)絡(luò)空間安 全的活動，而這些內(nèi)容在明網(wǎng)(Clearnet)上往往是滯后的。因此，針對暗網(wǎng)的威脅情報 研究有助于我們?nèi)妗⒀杆俚夭蹲降较嚓P(guān)安全事件信息，及時減少損失，是非常有必 要的。

威脅情報是一種基于證據(jù)的知識，包括了情境、機制、指標(biāo)、隱含和實際可行的 建議。威脅情報描述了現(xiàn)存的或者是即將出現(xiàn)針對資產(chǎn)的威脅或危險，并可以用于通 知主體針對相關(guān)威脅或危險采取某種響應(yīng)；通俗來說，威脅情報是關(guān)于威脅的信息， 利用公開的資源，用于發(fā)現(xiàn)威脅并指導(dǎo)企業(yè)行動以改善安全狀況。暗網(wǎng)中存在的威脅 情報是多方面的，例如數(shù)據(jù)販賣信息、黑客身份信息、0day漏洞信息等。然而暗網(wǎng)中 的信息龐雜，真假難辨，如何從海量的暗網(wǎng)網(wǎng)頁中提取出有用的威脅信息就是需要解 決的核心問題。

暗網(wǎng)安全難題主要有3個方面：一是暗網(wǎng)中的危險分子(主要指黑客)難以溯源，二是暗網(wǎng)中的違法交易(黑市)難以管控，三是暗網(wǎng)中的信息龐雜。這剛好形成三個方 面：黑客-黑市-信息，這三個方面又是相互關(guān)聯(lián)的，黑客作為活動主體，黑市作為活 動場所，信息包含活動的內(nèi)容。因此，所要提取的威脅情報也是針對這三個方面的： 黑客-對應(yīng)暗網(wǎng)用戶信息，黑市-對應(yīng)著暗網(wǎng)市場、商品信息，信息-對應(yīng)著網(wǎng)頁威脅內(nèi) 容。

傳統(tǒng)的威脅情報提取方式多為人工提取結(jié)合規(guī)則匹配，效率較低。

因此，本領(lǐng)域的技術(shù)人員致力于開發(fā)一種基于機器學(xué)習(xí)的暗網(wǎng)威脅情報挖掘系統(tǒng)和方法，可以高效地從暗網(wǎng)中提取上述三個方面的威脅情報。

發(fā)明內(nèi)容

有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問題是建立一套高效自 動地從海量暗網(wǎng)網(wǎng)頁中提取出有效的威脅情報的方法，收集暗網(wǎng)用戶信息、黑市 信息、網(wǎng)頁威脅內(nèi)容，對這三者進(jìn)一步分析，挖掘其中的關(guān)聯(lián)，為暗網(wǎng)安全事件 調(diào)查提供輔助作用。

為實現(xiàn)上述目的，本發(fā)明提供了一種基于機器學(xué)習(xí)的暗網(wǎng)威脅情報挖掘系統(tǒng)， 包括數(shù)據(jù)下載模塊、數(shù)據(jù)解析模塊、數(shù)據(jù)庫模塊、威脅情報提取模塊、數(shù)據(jù)接口 模塊；

所述數(shù)據(jù)下載模塊實現(xiàn)暗網(wǎng)原始數(shù)據(jù)的下載和更新；

所述數(shù)據(jù)解析模塊實現(xiàn)對所述數(shù)據(jù)下載模塊得到的原始數(shù)據(jù)的解析、格式化 及存儲；

所述數(shù)據(jù)庫模塊實現(xiàn)對所述數(shù)據(jù)下載模塊得到的原始數(shù)據(jù)、所述數(shù)據(jù)解析模 塊得到的中間數(shù)據(jù)、所述威脅情報提取模塊得到的結(jié)果數(shù)據(jù)的存儲；