[發(fā)明專利]互聯(lián)網(wǎng)托管網(wǎng)站的排查方法及排查系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110167225.6
• 申請日: 2021-02-07
• 公開（公告）號: CN112818278B
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計）人: 孫毅臻;曹琳婧;高雋;田建偉;田崢;陳中偉;黎曦
• 申請（專利權(quán)）人: 國網(wǎng)湖南省電力有限公司;國網(wǎng)湖南省電力有限公司信息通信分公司;國家電網(wǎng)有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/951;G06F16/953
• 代理公司: 長沙永星專利商標(biāo)事務(wù)所(普通合伙) 43001
• 代理人: 周詠;米中業(yè)

1.一種互聯(lián)網(wǎng)托管網(wǎng)站的排查方法，包括如下步驟：

S1. 對網(wǎng)站內(nèi)容進(jìn)行數(shù)據(jù)采集；具體為采用網(wǎng)絡(luò)爬蟲的方式，對疑似為互聯(lián)網(wǎng)托管網(wǎng)站的內(nèi)容進(jìn)行采集，包括主動爬取和流量復(fù)現(xiàn)的方式進(jìn)行收集；

所述的主動爬取，具體為利用網(wǎng)絡(luò)空間引擎，搜索企業(yè)網(wǎng)站關(guān)鍵字，通過對搜索查詢結(jié)果進(jìn)行解析，獲取疑似為互聯(lián)網(wǎng)托管網(wǎng)站的域名和IP信息，再通過模擬瀏覽器訪問所收集到的域名和IP信息，從而進(jìn)行內(nèi)容采集；搜索的網(wǎng)絡(luò)空間引擎主要包括FOFA、Shodan和ZoomEye，其中FOFA通過解析頁面dom信息獲取關(guān)鍵字識別結(jié)果內(nèi)容；Shodan通過引擎的查詢插件獲取關(guān)鍵字查詢到的內(nèi)容信息；ZoomEye通過注冊賬號，模擬瀏覽器登錄并獲取登錄后的token信息，在關(guān)鍵字查詢中附加token執(zhí)行內(nèi)容進(jìn)行查詢；最后，將搜索結(jié)果批量保存到數(shù)據(jù)庫中；

主動爬取采用多線程執(zhí)行，提高執(zhí)行速度，在獲取到所有關(guān)鍵字相關(guān)域名和IP信息后，多線程執(zhí)行首頁圖片下載，并返回搜索結(jié)果，從而保證查詢的時效性；

所述的流量復(fù)現(xiàn)，具體包括訪問疑似互聯(lián)網(wǎng)托管網(wǎng)站的日志信息獲取流程和流量復(fù)現(xiàn)流程：

日志信息獲取流程：通過對企業(yè)訪問互聯(lián)網(wǎng)流量日志獲取完整的日志數(shù)據(jù)，并對獲取的日志數(shù)據(jù)中的五元組信息進(jìn)行過濾，所述的五元組信息包括訪問源IP，源端口，目的IP，目的端口和訪問內(nèi)容；過濾規(guī)則為建立訪問疑似互聯(lián)網(wǎng)托管網(wǎng)站的流量特征并進(jìn)行過濾，再刪除重復(fù)信息，從而得到需要復(fù)現(xiàn)的疑似互聯(lián)網(wǎng)托管網(wǎng)站域名和IP信息；

流量復(fù)現(xiàn)流程：模擬瀏覽器訪問需要復(fù)現(xiàn)的疑似互聯(lián)網(wǎng)托管網(wǎng)站域名和IP信息，利用多線程方式對訪問操作進(jìn)行并發(fā)處理，提高處理效率和速度；將多線程處理加入到后臺任務(wù)框架中運行，保證程序執(zhí)行的完整性；同時，對疑似互聯(lián)網(wǎng)托管網(wǎng)站的文本內(nèi)容和圖片內(nèi)容進(jìn)行下載；

S2. 對步驟S1采集的數(shù)據(jù)進(jìn)行關(guān)鍵字識別和圖像識別；

S3. 根據(jù)步驟S2得到的關(guān)鍵字和圖像識別結(jié)果，進(jìn)行互聯(lián)網(wǎng)托管網(wǎng)站排查。

2.根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)托管網(wǎng)站的排查方法，其特征在于步驟S2所述的關(guān)鍵字識別，具體為采用文字匹配技術(shù)，將獲取的網(wǎng)站文本數(shù)據(jù)與設(shè)定的關(guān)鍵字進(jìn)行匹配，同時關(guān)鍵字識別由后臺定時執(zhí)行；使用模擬瀏覽器訪問地址，每一個訪問的地址均為在保證頁面腳本執(zhí)行完全后再獲取網(wǎng)頁內(nèi)容，通過匹配內(nèi)容關(guān)鍵字，合并在一個地址中可能出現(xiàn)的若干個關(guān)鍵字內(nèi)容；匹配程序使用多線程方式執(zhí)行，從而提高執(zhí)行效率。

3.根據(jù)權(quán)利要求2所述的互聯(lián)網(wǎng)托管網(wǎng)站的排查方法，其特征在于步驟S2所述的圖像識別，具體為采用Sift算法對圖片內(nèi)容實現(xiàn)特征匹配，從而識別是否為企業(yè)相關(guān)圖片，進(jìn)而判斷是否為互聯(lián)網(wǎng)托管網(wǎng)站。

4.根據(jù)權(quán)利要求3所述的互聯(lián)網(wǎng)托管網(wǎng)站的排查方法，其特征在于所述的Sift算法，具體包括如下步驟：

A. 提取關(guān)鍵點：通過高斯微分函數(shù)識別潛在的具有尺度和旋轉(zhuǎn)不變特性的關(guān)鍵點；

B. 定位關(guān)鍵點并確定特征方向；

C. 通過各關(guān)鍵點的特征向量，進(jìn)行兩兩比較找出相互匹配的若干對特征點，建立景物間的對應(yīng)關(guān)系。

5.一種實現(xiàn)權(quán)利要求1~4之一所述的互聯(lián)網(wǎng)托管網(wǎng)站的排查方法的排查系統(tǒng)，其特征在于包括數(shù)據(jù)采集層、數(shù)據(jù)處理層、數(shù)據(jù)資源層、數(shù)據(jù)分析處理層和業(yè)務(wù)模塊層；數(shù)據(jù)采集層、數(shù)據(jù)處理層、數(shù)據(jù)資源層、數(shù)據(jù)分析處理層和業(yè)務(wù)模塊層依次串接；數(shù)據(jù)采集層用于獲取基礎(chǔ)數(shù)據(jù)，通過數(shù)據(jù)分析處理層的處理后再取得網(wǎng)站地址，并進(jìn)行主動爬取和流量復(fù)現(xiàn)；數(shù)據(jù)處理層用于在主動爬取的過程中進(jìn)行數(shù)據(jù)過濾和處理；數(shù)據(jù)資源層用于進(jìn)行數(shù)據(jù)的存儲；數(shù)據(jù)分析處理層用于對數(shù)據(jù)進(jìn)行數(shù)據(jù)過濾，模擬訪問和流量復(fù)現(xiàn)，從而收集訪問內(nèi)容并進(jìn)行關(guān)鍵字識別和圖像識別；最后，還對業(yè)務(wù)模塊層提供數(shù)據(jù)接口；業(yè)務(wù)模塊層用于搜索和查詢，以及提供用戶接口。