[發(fā)明專利]一種基于網(wǎng)絡(luò)爬蟲(chóng)的網(wǎng)站指紋信息掃描的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811325785.4
• 申請(qǐng)日: 2018-11-08
• 公開(kāi)（公告）號(hào): CN109376291B
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 趙海博;范淵;莫金友
• 申請(qǐng)（專利權(quán)）人: 杭州安恒信息技術(shù)股份有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/953
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

本發(fā)明公開(kāi)了一種基于網(wǎng)絡(luò)爬蟲(chóng)的網(wǎng)站指紋信息掃描方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該方法包括：獲取構(gòu)建網(wǎng)站所需的多個(gè)元素類，記錄各個(gè)元素類下各個(gè)元素具有的與任一或任多預(yù)設(shè)特征元素對(duì)應(yīng)的特征值，且記錄的不同元素對(duì)應(yīng)同一預(yù)設(shè)特征元素的特征值不同，預(yù)設(shè)特征元素包括響應(yīng)頭特征、引入js特征、script特征、html特征及所屬元素類；利用網(wǎng)絡(luò)爬蟲(chóng)爬取目標(biāo)網(wǎng)站的內(nèi)容，得到目標(biāo)網(wǎng)站與任一或任多預(yù)設(shè)特征元素對(duì)應(yīng)的特征值，將得到的特征值與記錄的特征值進(jìn)行比對(duì)，得到包含有與目標(biāo)網(wǎng)站的特征值匹配的記錄的特征值的網(wǎng)站指紋信息。從而實(shí)現(xiàn)指紋獲取的較高準(zhǔn)確性及實(shí)現(xiàn)效率。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)安全技術(shù)領(lǐng)域，更具體地說(shuō)，涉及一種基于網(wǎng)絡(luò)爬蟲(chóng)的網(wǎng)站指紋信息掃描的方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

為網(wǎng)站生成對(duì)應(yīng)的識(shí)別度較高的網(wǎng)站指紋，對(duì)于網(wǎng)絡(luò)安全具有重大意義。現(xiàn)有技術(shù)中用于實(shí)現(xiàn)網(wǎng)站指紋生成的技術(shù)方案為依據(jù)預(yù)先設(shè)置的組件模板庫(kù)中存儲(chǔ)的網(wǎng)站服務(wù)器模板，構(gòu)建對(duì)應(yīng)的組件虛擬網(wǎng)站；按照預(yù)先設(shè)置的策略訪問(wèn)所述組件虛擬網(wǎng)站中用于組件版本升級(jí)的鏈接地址，如果所述鏈接地址對(duì)應(yīng)的組件服務(wù)器中有新的組件版本，升級(jí)所述組件虛擬網(wǎng)站中的組件；訪問(wèn)升級(jí)后的所述組件虛擬網(wǎng)站，從返回的訪問(wèn)請(qǐng)求響應(yīng)中提取特征信息；查詢并獲取預(yù)先存儲(chǔ)的所述組件虛擬網(wǎng)站的當(dāng)前組件版本指紋，得到所述當(dāng)前組件版本指紋對(duì)應(yīng)的歷史特征信息，依據(jù)提取的特征信息以及所述歷史特征信息生成所述組件虛擬網(wǎng)站的組件版本升級(jí)指紋。

現(xiàn)有技術(shù)需要根據(jù)組件模板庫(kù)構(gòu)造新的虛擬網(wǎng)站，然后提取特征信息，對(duì)目標(biāo)網(wǎng)站是一個(gè)模仿而非真實(shí)復(fù)制，現(xiàn)階段通常目標(biāo)網(wǎng)站內(nèi)容是經(jīng)常發(fā)生變化的，如果構(gòu)造的虛擬網(wǎng)站不能完全反應(yīng)原目標(biāo)網(wǎng)站的特征，則會(huì)造成網(wǎng)站指紋的不準(zhǔn)確甚至誤報(bào)，且本身該過(guò)程是一個(gè)較耗時(shí)的多步操作，使用效率不高。

綜上所述，現(xiàn)有技術(shù)中用于實(shí)現(xiàn)網(wǎng)站指紋獲取的方案存在準(zhǔn)確性較低且使用效率較低的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于網(wǎng)絡(luò)爬蟲(chóng)的網(wǎng)站指紋信息掃描的方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能夠解決現(xiàn)有技術(shù)中用于實(shí)現(xiàn)網(wǎng)站指紋獲取的方案存在的準(zhǔn)確性較低且使用效率較低的問(wèn)題。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于網(wǎng)絡(luò)爬蟲(chóng)的網(wǎng)站指紋信息掃描方法，包括：

獲取構(gòu)建網(wǎng)站所需的多個(gè)元素類，所述元素類包括操作系統(tǒng)、編程語(yǔ)言、網(wǎng)頁(yè)服務(wù)器、網(wǎng)頁(yè)應(yīng)用框架、腳本語(yǔ)言框架及內(nèi)容管理系統(tǒng)；

記錄各個(gè)元素類下各個(gè)元素具有的與任一或任多預(yù)設(shè)特征元素對(duì)應(yīng)的特征值，且記錄的不同元素對(duì)應(yīng)同一預(yù)設(shè)特征元素的特征值不同，所述預(yù)設(shè)特征元素包括響應(yīng)頭特征、引入js特征、script特征、html特征及所屬元素類；

利用網(wǎng)絡(luò)爬蟲(chóng)爬取目標(biāo)網(wǎng)站的內(nèi)容，得到所述目標(biāo)網(wǎng)站與任一或任多預(yù)設(shè)特征元素對(duì)應(yīng)的特征值，將得到的特征值與記錄的特征值進(jìn)行比對(duì)，得到包含有與所述目標(biāo)網(wǎng)站的特征值匹配的記錄的特征值的網(wǎng)站指紋信息。

優(yōu)選的，記錄各個(gè)元素類下各個(gè)元素具有的與任一或任多預(yù)設(shè)特征元素對(duì)應(yīng)的特征值，包括：

如果各個(gè)元素類下各個(gè)元素具有的任一特征值引用預(yù)設(shè)基礎(chǔ)特征，則記錄該任一特征值時(shí)同時(shí)記錄引用的預(yù)設(shè)基礎(chǔ)特征的名稱。

優(yōu)選的，記錄各個(gè)元素類下各個(gè)元素具有的與任一或任多預(yù)設(shè)特征元素對(duì)應(yīng)的特征值之后，還包括：

將記錄的特征值構(gòu)造成格式相同的json字符。

優(yōu)選的，記錄各個(gè)元素類下各個(gè)元素具有的與任一或任多預(yù)設(shè)特征元素對(duì)應(yīng)的特征值，包括：

在預(yù)先設(shè)定的特征模板庫(kù)中記錄各個(gè)元素類下各個(gè)元素具有的與任一或任多預(yù)設(shè)特征元素對(duì)應(yīng)的特征值。

優(yōu)選的，得到網(wǎng)站指紋信息之后，還包括：