[發(fā)明專利]一種網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)的優(yōu)化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811391944.0
• 申請(qǐng)日: 2018-11-21
• 公開(kāi)（公告）號(hào): CN109299392A
• 公開(kāi)（公告）日: 2019-02-01
• 發(fā)明（設(shè)計(jì)）人: 胡翔
• 申請(qǐng)（專利權(quán)）人: 安徽云融信息技術(shù)有限公司
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06F16/955
• 代理公司: 上海精晟知識(shí)產(chǎn)權(quán)代理有限公司 31253
• 代理人: 馮子玲

1.一種網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)的優(yōu)化方法，其特征在于，包括如下步驟：

步驟S01：建立高質(zhì)量模板資源庫(kù)及模板匹配算法；

步驟S02：通過(guò)深度優(yōu)先遍歷策略及反向鏈接數(shù)策略篩選符合目標(biāo)數(shù)據(jù)URL，建立初級(jí)URL隊(duì)列；

步驟S03：將初級(jí)URL隊(duì)列數(shù)據(jù)通過(guò)寬度優(yōu)先算法策略抓取相應(yīng)目標(biāo)網(wǎng)站數(shù)據(jù)；

步驟S04：根據(jù)模板匹配算法，將目標(biāo)數(shù)據(jù)同模板存儲(chǔ)資源庫(kù)中的模板數(shù)據(jù)進(jìn)行匹配；

步驟S05：匹配成功的模板數(shù)據(jù)存儲(chǔ)至資源庫(kù)。

2.根據(jù)權(quán)利要求1所述的一種網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)的優(yōu)化方法，其特征在于，所述步驟S02中，深度優(yōu)先遍歷策略用以提取下載網(wǎng)頁(yè)中的連接，并插入待抓取URL隊(duì)列的末尾。

3.根據(jù)權(quán)利要求1所述的一種網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)的優(yōu)化方法，其特征在于，所述步驟S02中，反向鏈接數(shù)策略用以獲取下載網(wǎng)頁(yè)中其他網(wǎng)頁(yè)鏈接的數(shù)量，根據(jù)網(wǎng)頁(yè)鏈接數(shù)量的由高到低排列至頁(yè)面待抓取隊(duì)列。

4.根據(jù)權(quán)利要求2所述的一種網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)的優(yōu)化方法，其特征在于，所述下載網(wǎng)頁(yè)提取的信息包括:目標(biāo)URL、頁(yè)面類型、下載頁(yè)面保存路徑、動(dòng)態(tài)頁(yè)面延遲加載所使用的JavaScript函數(shù)名、頁(yè)面分析類型。

5.根據(jù)權(quán)利要求1所述的一種網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)的優(yōu)化方法，其特征在于，所述步驟S04中，模板匹配算法通過(guò)過(guò)濾器將抓取的目標(biāo)數(shù)據(jù)與資源庫(kù)中的模板進(jìn)行比對(duì)去重，過(guò)濾器中建立有一白名單模塊，白名單對(duì)不確定URL地址進(jìn)行存儲(chǔ)。

6.根據(jù)權(quán)利要求1所述的一種網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)的優(yōu)化方法，其特征在于，所述步驟S05中，資源庫(kù)采用HDFS的分布式儲(chǔ)存方式。