[發(fā)明專利]一種基于大數(shù)據(jù)的網(wǎng)頁(yè)資產(chǎn)指紋標(biāo)簽識(shí)別與發(fā)現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110611576.1
• 申請(qǐng)日: 2021-06-02
• 公開（公告）號(hào): CN113259467B
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 武斐;管越;虞雁群;吳艷;單易;劉彥伸;郭銀鋒
• 申請(qǐng)（專利權(quán)）人: 浙江御安信息技術(shù)有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L12/26;G06F16/182;G06F16/23;G06F16/2458
• 代理公司: 杭州中港知識(shí)產(chǎn)權(quán)代理有限公司 33353
• 代理人: 施建勇

一種基于大數(shù)據(jù)的網(wǎng)頁(yè)資產(chǎn)指紋標(biāo)簽識(shí)別與發(fā)現(xiàn)方法，屬于數(shù)據(jù)信息傳輸技術(shù)領(lǐng)域，包括以下步驟：步驟S1，選擇一個(gè)要掃描的目標(biāo)IP；步驟S2，對(duì)目標(biāo)IP進(jìn)行掃描，確保目標(biāo)IP存活；步驟S3，解析資產(chǎn)詳情；步驟S4，解析網(wǎng)頁(yè)資產(chǎn)；步驟S5，將步驟S3中的資產(chǎn)詳情和步驟S4中的網(wǎng)頁(yè)資產(chǎn)合并整理成資產(chǎn)數(shù)據(jù)集，并將資產(chǎn)數(shù)據(jù)集均存儲(chǔ)在MySQL中和ElasticSearch中；步驟S6，通過Flume將ElasticSearch中存儲(chǔ)的網(wǎng)頁(yè)資產(chǎn)傳輸?shù)紿DFS中；步驟S7，利用Hive對(duì)Flume提取到HDFS的數(shù)據(jù)進(jìn)行分析計(jì)算；步驟S8，將定義為新指紋標(biāo)簽的數(shù)據(jù)追加到MongoDB指紋標(biāo)簽庫(kù)中。本方案考慮結(jié)合大數(shù)據(jù)技術(shù)對(duì)大量的資產(chǎn)數(shù)據(jù)進(jìn)行梳理剖析，補(bǔ)充現(xiàn)有的資產(chǎn)指紋標(biāo)簽庫(kù)，幫助企業(yè)和組織更全面更及時(shí)的對(duì)網(wǎng)頁(yè)資產(chǎn)進(jìn)行識(shí)別與管理。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)信息傳輸技術(shù)領(lǐng)域，具體涉及為一種基于大數(shù)據(jù)的網(wǎng)頁(yè)資產(chǎn)指紋標(biāo)簽識(shí)別與發(fā)現(xiàn)方法。

背景技術(shù)

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展與《網(wǎng)絡(luò)安全法》等法律法規(guī)的出臺(tái)，極大的推動(dòng)了各行業(yè)網(wǎng)絡(luò)安全的建設(shè)與重點(diǎn)系統(tǒng)資產(chǎn)管理工作的開展。目前，對(duì)于主機(jī)資產(chǎn)的管控手段相對(duì)健全，但對(duì)于網(wǎng)絡(luò)資產(chǎn)（主機(jī)資產(chǎn)、網(wǎng)頁(yè)資產(chǎn)等）的識(shí)別分析能力相對(duì)欠缺。

對(duì)于一個(gè)資產(chǎn)管理平臺(tái)來講網(wǎng)頁(yè)資產(chǎn)是很重要的一部分，但由于網(wǎng)頁(yè)指紋標(biāo)簽不夠完善，使得一部分網(wǎng)頁(yè)資產(chǎn)在處理時(shí)無法匹配到對(duì)應(yīng)的網(wǎng)頁(yè)指紋標(biāo)簽，導(dǎo)致這些匹配失敗的網(wǎng)頁(yè)資產(chǎn)不能服務(wù)于現(xiàn)有的資產(chǎn)管理平臺(tái)。

因此，面對(duì)海量的網(wǎng)頁(yè)資產(chǎn)時(shí)，企業(yè)和組織面臨著以下難題：

1.處理海量的網(wǎng)頁(yè)資產(chǎn)時(shí)，如何快速識(shí)別全量存活網(wǎng)頁(yè)資產(chǎn)信息并進(jìn)行有效利用；

2.如何在保證效率的前提下，準(zhǔn)確的識(shí)別分析網(wǎng)頁(yè)資產(chǎn)所帶的所有標(biāo)簽信息，同時(shí)對(duì)初步識(shí)別不帶有顯著標(biāo)簽的網(wǎng)頁(yè)資產(chǎn)信息進(jìn)行二次有效分析；

3.如何在識(shí)別出新的指紋標(biāo)簽信息后，及時(shí)的對(duì)對(duì)應(yīng)的指紋庫(kù)進(jìn)行統(tǒng)計(jì)補(bǔ)充。

因此，有必要針對(duì)上述難題進(jìn)行改進(jìn)，進(jìn)而提出一種新的網(wǎng)頁(yè)資產(chǎn)指紋標(biāo)簽識(shí)別與發(fā)現(xiàn)方法。

發(fā)明內(nèi)容

針對(duì)上述提到的缺陷和不足，而提供種基于大數(shù)據(jù)的網(wǎng)頁(yè)資產(chǎn)指紋標(biāo)簽識(shí)別與發(fā)現(xiàn)方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案如下。

一種基于大數(shù)據(jù)的網(wǎng)頁(yè)資產(chǎn)指紋標(biāo)簽識(shí)別與發(fā)現(xiàn)方法，包括以下步驟：

步驟S1，選擇一個(gè)要掃描的目標(biāo)IP：

每次掃描需要制定一個(gè)掃描的目標(biāo)IP；

步驟S2，對(duì)目標(biāo)IP進(jìn)行掃描，確保目標(biāo)IP存活：

通過ping掃描，向目標(biāo)IP發(fā)送ICMP信息報(bào)文，若目標(biāo)IP回應(yīng)ICMP報(bào)文，則判斷目標(biāo)IP存活；若無回應(yīng)則判斷目標(biāo)IP下線，掃描結(jié)束；

判斷目標(biāo)IP存活后，對(duì)于存活的目標(biāo)IP進(jìn)行端口掃描，監(jiān)聽返回報(bào)文從而識(shí)別開放端口并獲取開放端口回報(bào)的報(bào)文；

步驟S3，解析資產(chǎn)詳情：

將從存活的目標(biāo)IP處獲取的開放端口回報(bào)的報(bào)文，與存放一系列已知報(bào)文所對(duì)應(yīng)資產(chǎn)詳情內(nèi)容的文件進(jìn)行正則匹配：若兩者匹配成功，則獲得資產(chǎn)詳情，并等待步驟S5的存儲(chǔ)；

步驟S4，解析網(wǎng)頁(yè)資產(chǎn)：

識(shí)別并獲取步驟S3中的資產(chǎn)詳情中屬于http或https的服務(wù)，進(jìn)行http或者h(yuǎn)ttps請(qǐng)求，獲取字段內(nèi)容列表；

字段內(nèi)容列表與該網(wǎng)頁(yè)網(wǎng)址形成一個(gè)初步的網(wǎng)頁(yè)資產(chǎn)；將字段內(nèi)容列表與指紋標(biāo)簽庫(kù)中的內(nèi)容進(jìn)行一個(gè)或多個(gè)指紋的正則匹配；若存在有匹配到的標(biāo)簽，則對(duì)該網(wǎng)頁(yè)資產(chǎn)增加這個(gè)標(biāo)簽信息；