[發(fā)明專利]基于scrapy的分布式暗網(wǎng)資源挖掘系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201810558520.2
• 申請日: 2018-06-01
• 公開（公告）號: CN108829792A
• 公開（公告）日: 2018-11-16
• 發(fā)明（設(shè)計(jì)）人: 劉丹;杜鳳媛;王永松;鄭云彬
• 申請（專利權(quán)）人: 成都康喬電子有限責(zé)任公司;電子科技大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都虹橋?qū)＠聞?wù)所(普通合伙) 51124
• 代理人: 陳立志

本發(fā)明涉及數(shù)據(jù)挖掘領(lǐng)域，公開了一種基于scrapy的分布式暗網(wǎng)資源挖掘系統(tǒng)及方法，用以提升暗網(wǎng)資源挖掘的效率、廣度以及靈活性。本發(fā)明包括中心節(jié)點(diǎn)控制模塊和從節(jié)點(diǎn)爬取模塊，所述中心節(jié)點(diǎn)控制模塊包括爬蟲種子任務(wù)隊(duì)列、任務(wù)預(yù)處理模塊、暗網(wǎng)任務(wù)隊(duì)列和明網(wǎng)任務(wù)隊(duì)列，所述從節(jié)點(diǎn)爬取模塊包括暗網(wǎng)爬取模塊、明網(wǎng)爬取模塊和爬蟲管理器；暗網(wǎng)在人為提供和通過明網(wǎng)爬取得暗網(wǎng)域名的基礎(chǔ)上再通過暗網(wǎng)爬取模塊和明網(wǎng)爬取模塊從暗網(wǎng)頁面和明網(wǎng)網(wǎng)頁中爬取更多的暗網(wǎng)域名，從而實(shí)現(xiàn)對暗網(wǎng)域名的大量獲取以及對暗網(wǎng)網(wǎng)頁頁面的存儲。本發(fā)明適用于暗網(wǎng)資源挖掘。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)挖掘領(lǐng)域，特別涉及基于scrapy的分布式暗網(wǎng)資源挖掘系統(tǒng)及方法。

背景技術(shù)

暗網(wǎng)是指通過特殊軟件或使用非標(biāo)準(zhǔn)的通信協(xié)議和端口才能訪問的網(wǎng)絡(luò)。Tor是目前最主流的暗網(wǎng)匿名通信系統(tǒng)，由于暗網(wǎng)的完全匿名性的特點(diǎn)，孕育了大量的非法交易。因此研究對暗網(wǎng)資源的挖掘有重大意義。傳統(tǒng)的搜索引擎和爬蟲技術(shù)能夠爬取的僅僅是互聯(lián)網(wǎng)上提供的小部分web信息，即明網(wǎng)上的信息。不能實(shí)現(xiàn)對暗網(wǎng)資源的挖掘。現(xiàn)有的研究大多又是針對互聯(lián)網(wǎng)上不能被標(biāo)準(zhǔn)搜素引擎索引的非表面網(wǎng)絡(luò)內(nèi)容即深網(wǎng)，并不是現(xiàn)在所謂的暗網(wǎng)；少數(shù)雖然針對暗網(wǎng)進(jìn)行研究及爬取，但在設(shè)計(jì)上沒有考慮爬取的效率，廣度，以及靈活性。

Scrapy是目前最主流的爬蟲框架，它是基于twisted異步網(wǎng)絡(luò)庫實(shí)現(xiàn)的，在爬取速度上相對其他爬蟲是高效的，且具有可定制性。然而Scrapy提供的下載模塊是基于http協(xié)議實(shí)現(xiàn)的，暗網(wǎng)使用的是socke協(xié)議。另外由于網(wǎng)絡(luò)爬蟲對I/O的要求較高，Scrapy將待爬取的URLs直接存儲在內(nèi)存中而非硬盤中，這樣一來，在爬取大量的暗網(wǎng)時時，當(dāng)爬取的網(wǎng)頁數(shù)量達(dá)到數(shù)萬時，需要存儲的URLs數(shù)量可能會超過百萬甚至千萬，再加上Python本身是腳本語言，其對象占用內(nèi)存往往比C/C++等編譯型語言要大得多，而且Python垃圾收集器的釋放內(nèi)存算法并不會在對象不再被引用時立即釋放內(nèi)存。因此，很可能會導(dǎo)致單機(jī)內(nèi)存枯竭。單機(jī)使用scrapy爬取，內(nèi)存將會是瓶頸。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是：提供一種基于scrapy的分布式暗網(wǎng)資源挖掘系統(tǒng)及方法，用以提升暗網(wǎng)資源挖掘的效率、廣度以及靈活性。

為解決上述問題，本發(fā)明采用的技術(shù)方案是：

基于scrapy的分布式暗網(wǎng)資源挖掘系統(tǒng)，包括中心節(jié)點(diǎn)控制模塊和從節(jié)點(diǎn)爬取模塊，所述中心節(jié)點(diǎn)控制模塊包括爬蟲種子任務(wù)隊(duì)列、任務(wù)預(yù)處理模塊、暗網(wǎng)任務(wù)隊(duì)列和明網(wǎng)任務(wù)隊(duì)列，所述從節(jié)點(diǎn)爬取模塊包括暗網(wǎng)爬取模塊、明網(wǎng)爬取模塊和爬蟲管理器；

所述爬蟲種子任務(wù)隊(duì)列用于存儲用戶提供的待爬取種子任務(wù)，以及從節(jié)點(diǎn)爬取模塊提取的新的待爬取的種子任務(wù)；所述任務(wù)預(yù)處理模塊用于對爬蟲種子任務(wù)隊(duì)列中的任務(wù)進(jìn)行匹配以及去重過濾，并將屬于暗網(wǎng)的任務(wù)存入暗網(wǎng)任務(wù)隊(duì)列，屬于明網(wǎng)的任務(wù)存入明網(wǎng)任務(wù)隊(duì)列；

所述暗網(wǎng)爬取模塊中的暗網(wǎng)爬蟲用于從暗網(wǎng)任務(wù)隊(duì)列中讀取暗網(wǎng)爬取任務(wù)，基于暗網(wǎng)爬取任務(wù)下載對應(yīng)的暗網(wǎng)網(wǎng)頁，并從暗網(wǎng)網(wǎng)頁中提取新的暗網(wǎng)域名，將提取到的新的暗網(wǎng)域名存入爬蟲種子任務(wù)隊(duì)列；所述明網(wǎng)爬取模塊中的明網(wǎng)爬蟲用于從明網(wǎng)任務(wù)隊(duì)列中讀取明網(wǎng)爬取任務(wù)，基于明網(wǎng)爬取任務(wù)下載對應(yīng)的明網(wǎng)網(wǎng)頁，并從明網(wǎng)網(wǎng)頁中提取新的明網(wǎng)域名和暗網(wǎng)域名，將提取到的新的明網(wǎng)域名和暗網(wǎng)域名存入爬蟲種子任務(wù)隊(duì)列；所述爬蟲管理器用于根據(jù)中心節(jié)點(diǎn)控制模塊發(fā)送的請求信息，對爬蟲進(jìn)程進(jìn)行管理。

進(jìn)一步的，本發(fā)明還包括Redis數(shù)據(jù)庫，所述Redis數(shù)據(jù)庫用于存儲暗網(wǎng)任務(wù)隊(duì)列和明網(wǎng)任務(wù)隊(duì)列。

進(jìn)一步的，本發(fā)明還包括kafka消息系統(tǒng)，所述kafka消息系統(tǒng)用于存儲爬蟲種子任務(wù)隊(duì)列。

進(jìn)一步的，本發(fā)明還包括MongoDB數(shù)據(jù)庫，所述MongoDB數(shù)據(jù)庫用于存儲暗網(wǎng)爬取模塊所下載的暗網(wǎng)網(wǎng)頁以及明網(wǎng)爬取模塊所下載的明網(wǎng)網(wǎng)頁。