[發(fā)明專(zhuān)利]一種數(shù)據(jù)獲取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910251969.9
• 申請(qǐng)日: 2019-03-29
• 公開(kāi)（公告）號(hào): CN109933706A
• 公開(kāi)（公告）日: 2019-06-25
• 發(fā)明（設(shè)計(jì)）人: 胡凌云;丁國(guó)航
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/951
• 分類(lèi)號(hào): G06F16/951
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 張聰聰;馬敬

本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)獲取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：集群中的每個(gè)處理模塊都可以從分布式隊(duì)列中獲取爬取請(qǐng)求，處理模塊根據(jù)獲取到的爬取請(qǐng)求爬取數(shù)據(jù)后，如果數(shù)據(jù)中仍包括鏈接，則可以繼續(xù)將該鏈接封裝成新的爬取請(qǐng)求，將該新的爬取請(qǐng)求投遞至分布式隊(duì)列中，這樣，各處理模塊可以并行爬取數(shù)據(jù)，提高了爬取效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及網(wǎng)絡(luò)爬蟲(chóng)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)獲取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

網(wǎng)絡(luò)中的數(shù)據(jù)量越來(lái)越大，僅通過(guò)人工搜索、肉眼解析已經(jīng)遠(yuǎn)不能有效的利用網(wǎng)絡(luò)中的數(shù)據(jù)。目前，一般通過(guò)網(wǎng)絡(luò)爬蟲(chóng)爬取網(wǎng)絡(luò)中的數(shù)據(jù)。網(wǎng)絡(luò)爬蟲(chóng)(又被稱(chēng)為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人等)，是一種按照一定的規(guī)則，自動(dòng)爬取網(wǎng)絡(luò)中數(shù)據(jù)的程序或者腳本。

一些相關(guān)的網(wǎng)絡(luò)爬蟲(chóng)一般基于單臺(tái)設(shè)備在網(wǎng)絡(luò)中爬取數(shù)據(jù)，這樣，爬取數(shù)據(jù)的效率較低。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的在于提供一種數(shù)據(jù)獲取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以提高爬取效率。

為達(dá)到上述目的，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)獲取方法，應(yīng)用于集群中的每個(gè)處理模塊，所述集群中包括多個(gè)處理模塊，所述方法包括：

從分布式隊(duì)列中獲取爬取請(qǐng)求；

根據(jù)所獲取的爬取請(qǐng)求爬取數(shù)據(jù)；

將所爬取的數(shù)據(jù)中包括的鏈接封裝為新的爬取請(qǐng)求；

將所述新的爬取請(qǐng)求投遞至所述分布式隊(duì)列中。

可選的，所述將所爬取的數(shù)據(jù)中包括的鏈接封裝為新的爬取請(qǐng)求，包括：

讀取所爬取的數(shù)據(jù)中的鏈接，作為待處理鏈接；

獲取所述待處理鏈接對(duì)應(yīng)的用戶(hù)代理信息；

將所獲取的用戶(hù)代理信息和所述待處理鏈接封裝為新的爬取請(qǐng)求。

可選的，所述獲取所述待處理鏈接對(duì)應(yīng)的用戶(hù)代理信息，包括：

從所述集群的數(shù)據(jù)池中獲取以下任意一種或多種所述待處理鏈接對(duì)應(yīng)的用戶(hù)代理信息：代理IP、Cookie、源請(qǐng)求方信息、代理瀏覽器信息。

可選的，所述根據(jù)所獲取的爬取請(qǐng)求爬取數(shù)據(jù)，包括：對(duì)所述爬取請(qǐng)求進(jìn)行校驗(yàn)，若所述爬取請(qǐng)求通過(guò)校驗(yàn)，則根據(jù)所述爬取請(qǐng)求爬取數(shù)據(jù)；

和/或，在所述根據(jù)所獲取的爬取請(qǐng)求爬取數(shù)據(jù)之后，還包括：

對(duì)所爬取的數(shù)據(jù)進(jìn)行校驗(yàn)，刪除未通過(guò)校驗(yàn)的數(shù)據(jù)。

可選的，在所述對(duì)所述爬取請(qǐng)求進(jìn)行校驗(yàn)之后，還包括：

記錄所述爬取請(qǐng)求的校驗(yàn)結(jié)果，作為第一校驗(yàn)結(jié)果；若所述爬取請(qǐng)求未通過(guò)校驗(yàn)，則基于所述第一校驗(yàn)結(jié)果，判斷所述爬取請(qǐng)求未通過(guò)校驗(yàn)的次數(shù)是否小于第一預(yù)設(shè)閾值；如果小于，返回執(zhí)行所述對(duì)所述爬取請(qǐng)求進(jìn)行校驗(yàn)的步驟；

在所述對(duì)所爬取的數(shù)據(jù)進(jìn)行校驗(yàn)之后，還包括：記錄所爬取的數(shù)據(jù)的校驗(yàn)結(jié)果，作為第二校驗(yàn)結(jié)果；

所述刪除未通過(guò)校驗(yàn)的數(shù)據(jù)，包括：若所爬取的數(shù)據(jù)未通過(guò)校驗(yàn)，則基于所述第二校驗(yàn)結(jié)果，判斷所爬取的數(shù)據(jù)未通過(guò)校驗(yàn)的次數(shù)是否小于第二預(yù)設(shè)閾值；如果小于，返回執(zhí)行所述對(duì)所爬取的數(shù)據(jù)進(jìn)行校驗(yàn)的步驟；如果不小于，刪除所爬取的數(shù)據(jù)。

可選的，所述對(duì)所述爬取請(qǐng)求進(jìn)行校驗(yàn)，包括：對(duì)所述爬取請(qǐng)求進(jìn)行以下任意一種或多種校驗(yàn)處理：去重處理、黑名單過(guò)濾；

所述對(duì)所爬取的數(shù)據(jù)進(jìn)行校驗(yàn)，包括：對(duì)所爬取的數(shù)據(jù)進(jìn)行以下任意一種或多種校驗(yàn)處理：去重處理、黑名單過(guò)濾。

可選的，在所述根據(jù)所獲取的爬取請(qǐng)求爬取數(shù)據(jù)之后，還包括：