[發(fā)明專利]一種基于網(wǎng)絡(luò)爬蟲的網(wǎng)站指紋信息掃描的方法及裝置

有效

• 申請?zhí)枺?/td>: 201811325785.4
• 申請日: 2018-11-08
• 公開（公告）號: CN109376291B
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 趙海博;范淵;莫金友
• 申請（專利權(quán)）人: 杭州安恒信息技術(shù)股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/953
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

1.一種基于網(wǎng)絡(luò)爬蟲的網(wǎng)站指紋信息掃描方法，其特征在于，包括：

獲取構(gòu)建網(wǎng)站所需的多個元素類，所述元素類包括操作系統(tǒng)、編程語言、網(wǎng)頁服務(wù)器、網(wǎng)頁應(yīng)用框架、腳本語言框架及內(nèi)容管理系統(tǒng)；

記錄各個元素類下各個元素具有的與任一或任多預(yù)設(shè)特征元素對應(yīng)的特征值，且記錄的不同元素對應(yīng)同一預(yù)設(shè)特征元素的特征值不同，所述預(yù)設(shè)特征元素包括響應(yīng)頭特征、引入js特征、script特征、html特征及所屬元素類；

利用網(wǎng)絡(luò)爬蟲爬取目標(biāo)網(wǎng)站的內(nèi)容，得到所述目標(biāo)網(wǎng)站與任一或任多預(yù)設(shè)特征元素對應(yīng)的特征值，將得到的特征值與記錄的特征值進(jìn)行比對，得到包含有與所述目標(biāo)網(wǎng)站的特征值匹配的記錄的特征值的網(wǎng)站指紋信息；

記錄各個元素類下各個元素具有的與任一或任多預(yù)設(shè)特征元素對應(yīng)的特征值，包括：

如果各個元素類下各個元素具有的任一特征值引用預(yù)設(shè)基礎(chǔ)特征，則記錄該任一特征值時(shí)同時(shí)記錄引用的預(yù)設(shè)基礎(chǔ)特征的名稱。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，記錄各個元素類下各個元素具有的與任一或任多預(yù)設(shè)特征元素對應(yīng)的特征值之后，還包括：

將記錄的特征值構(gòu)造成格式相同的json字符。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，記錄各個元素類下各個元素具有的與任一或任多預(yù)設(shè)特征元素對應(yīng)的特征值，包括：

在預(yù)先設(shè)定的特征模板庫中記錄各個元素類下各個元素具有的與任一或任多預(yù)設(shè)特征元素對應(yīng)的特征值。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，得到網(wǎng)站指紋信息之后，還包括：

確定與所述目標(biāo)網(wǎng)站的特征值匹配的記錄的特征值為目標(biāo)特征值，并將所述目標(biāo)特征值對應(yīng)的特征圖片及網(wǎng)站地址輸出；其中，記錄各個元素類下各個元素具有的特征值時(shí)還記錄有各個元素對應(yīng)的特征圖片及網(wǎng)站地址。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用網(wǎng)絡(luò)爬蟲爬取目標(biāo)網(wǎng)站的內(nèi)容，得到所述目標(biāo)網(wǎng)站與各個預(yù)設(shè)特征元素對應(yīng)的特征值，包括：

利用網(wǎng)絡(luò)爬蟲爬取目標(biāo)網(wǎng)站的內(nèi)容，如果爬取得到的頁面為靜態(tài)頁面，則直接由所述靜態(tài)頁面中獲取與各個預(yù)設(shè)特征元素對應(yīng)的特征值；如果爬取得到的頁面為動態(tài)頁面，則運(yùn)行對應(yīng)的javascript代碼得到對應(yīng)的靜態(tài)頁面，并由獲取的靜態(tài)頁面中獲取與各個預(yù)設(shè)特征元素對應(yīng)的特征值。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，利用網(wǎng)絡(luò)爬蟲爬取目標(biāo)網(wǎng)站的內(nèi)容，包括：

依次利用網(wǎng)絡(luò)爬蟲爬取所述目標(biāo)網(wǎng)站包含的預(yù)設(shè)層網(wǎng)頁的內(nèi)容。

7.一種基于網(wǎng)絡(luò)爬蟲的網(wǎng)站指紋信息掃描裝置，其特征在于，包括：

獲取模塊，用于：獲取構(gòu)建網(wǎng)站所需的多個元素類，所述元素類包括操作系統(tǒng)、編程語言、網(wǎng)頁服務(wù)器、網(wǎng)頁應(yīng)用框架、腳本語言框架及內(nèi)容管理系統(tǒng)；

記錄模塊，用于：記錄各個元素類下各個元素具有的與任一或任多預(yù)設(shè)特征元素對應(yīng)的特征值，且記錄的不同元素對應(yīng)同一預(yù)設(shè)特征元素的特征值不同，所述預(yù)設(shè)特征元素包括響應(yīng)頭特征、引入js特征、script特征、html特征及所屬元素類；

匹配模塊，用于：利用網(wǎng)絡(luò)爬蟲爬取目標(biāo)網(wǎng)站的內(nèi)容，得到所述目標(biāo)網(wǎng)站與任一或任多預(yù)設(shè)特征元素對應(yīng)的特征值，將得到的特征值與記錄的特征值進(jìn)行比對，得到包含有與所述目標(biāo)網(wǎng)站的特征值匹配的記錄的特征值的網(wǎng)站指紋信息；

所述記錄模塊包括：

第一記錄單元，用于：如果各個元素類下各個元素具有的任一特征值引用預(yù)設(shè)基礎(chǔ)特征，則記錄該任一特征值時(shí)同時(shí)記錄引用的預(yù)設(shè)基礎(chǔ)特征的名稱。

8.一種基于網(wǎng)絡(luò)爬蟲的網(wǎng)站指紋信息掃描設(shè)備，其特征在于，包括：

存儲器，用于存儲計(jì)算機(jī)程序；

處理器，用于執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述基于網(wǎng)絡(luò)爬蟲的網(wǎng)站指紋信息掃描方法的步驟。

9.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述基于網(wǎng)絡(luò)爬蟲的網(wǎng)站指紋信息掃描方法的步驟。