[發明專利]一種分布式的互聯網重要地址空間檢索系統

有效

• 申請號: 201710339031.3
• 申請日: 2017-05-15
• 公開（公告）號: CN107087001B
• 公開（公告）日: 2019-12-17
• 發明（設計）人: 李瑞軒;黃鳳玲;李玉華;辜希武;楊琪;田紋龍;王號召;韓洪木
• 申請（專利權）人: 華中科技大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06F16/245;G06F16/2458;G06F16/248;G06F16/242;G06F16/953;G06F9/54
• 代理公司: 42201 華中科技大學專利中心
• 代理人: 廖盈春;李智

1.一種分布式的互聯網重要地址空間檢索系統，其特征在于，包括：系統管理模塊、網站信息收集模塊、數據庫模塊、檢索和統計模塊、WebUI模塊；

所述系統管理模塊，用于導入待掃描網站列表，管理網站組件指紋，提交即時掃描任務并查看任務進度，收集系統中各部分的運行狀態并分別對各部分的運行狀態進行管理和控制，其中，所述待掃描網站列表中包括需要周期性掃描的網站的信息；

所述網站信息收集模塊，用于針對所述待掃描網站列表中的域名或IP地址進行Web頁面爬取、Web組件識別、網站服務器主機掃描、端口探測；

所述數據庫模塊，用于保存所述待掃描網站列表、所述網站組件指紋、掃描策略以及掃描結果；

所述數據庫模塊包括：元信息數據庫模塊、組件指紋數據庫模塊、掃描結果數據庫模塊；

所述元信息數據庫模塊，用于管理所述待掃描網站列表，其中，所述待掃描網站列表包括需要周期性掃描的網站的信息；

所述組件指紋數據庫模塊，用于存儲所述網站組件指紋，其中，所述網站組件指紋包含組件名稱、組件特征集合和組件識別規則；

所述掃描結果數據庫模塊，用于存儲所述網站信息收集模塊收集到的掃描結果，其中，所述掃描結果包括周期性掃描作業的執行結果和即時掃描任務的執行結果；

所述檢索和統計模塊，用于對保存在所述數據庫模塊中的掃描結果進行關鍵字檢索，并對檢索結果進行統計分析；

所述WebUI模塊，用于提供Web界面，采用B/S模式完成用戶和系統的交互，提供系統管理、網站組件指紋更新、即時掃描任務提交、掃描結果查詢與統計、信息導入導出功能；

所述網站信息收集模塊包括分析識別模塊；所述分析識別模塊，用于根據所述組件指紋數據庫模塊中的組件特征集合以及組件識別規則，對數據爬取模塊爬取的信息進行分析整理，將得到的網站內容信息、網站組件信息以及用以識別出網站組件的特征數據存入所述掃描結果數據庫模塊；

所述分析識別模塊中的分析識別過程包含被動檢測和主動分析兩個階段，在分析識別過程中，所述分析識別模塊，具體用于首先從所述組件指紋數據庫模塊中讀取組件特征集合，然后確定從目標站點下載內容的目標URL和發送的探測IP報文，接著向目標URL發送GET請求或向網站主機發送探測IP報文，獲得從網站主機返回的數據，通過分析HTTP響應或者回送IP報文判斷是否檢測出組件的各個特征，最后根據檢測出的特征集合和匹配規則判斷目標站點是否使用了該網站指紋組件；

在被動檢測階段，所述分析識別模塊根據已下載的Web內容的HTTP響應頭、響應主體推斷網站采用的Web組件；所述響應主體包括HTML文本、圖片；

在主動分析階段，所述分析識別模塊制造特定的URL與Web服務器交互，通過對Web服務器返回的信息來推斷其使用的Web組件。

2.根據權利要求1所述的系統，其特征在于，所述系統管理模塊包括：網站元信息導入模塊、系統運行狀態管理模塊、即時任務管理模塊、指紋庫管理模塊；

所述網站元信息導入模塊，用于導入所述待掃描網站列表，其中，所述待掃描網站列表中包括需要周期性掃描的網站的信息；

所述系統運行狀態管理模塊，用于解析系統的配置，啟動或停止系統中其它模塊的運行，獲取其它各模塊的運行狀態信息，并對其它各模塊的運行狀態進行調整和控制；

所述即時任務管理模塊，用于管理和調度即時掃描任務的執行，并跟蹤即時掃描任務執行的狀態進度；

所述指紋庫管理模塊，用于管理所述組件指紋數據庫模塊中的網站組件指紋。

3.根據權利要求2所述的系統，其特征在于，所述網站信息收集模塊還包括：任務調度模塊、消息隊列模塊、數據爬取模塊；

所述任務調度模塊，用于解析所述待掃描網站列表中的周期性掃描任務以及用戶提交的即時掃描任務，利用所述組件指紋數據庫解析出網站組件指紋識別過程中需要從服務器下載的信息，并調度所述數據爬取模塊從網站下載所述信息；

所述消息隊列模塊，用于供所述任務調度模塊向所述數據爬取模塊以消息隊列的方式傳遞下載任務；

所述數據爬取模塊，用于將爬取的信息通過消息隊列傳遞給所述分析識別模塊。