[發(fā)明專利]一種數(shù)據(jù)獲取方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910251969.9
• 申請日: 2019-03-29
• 公開（公告）號: CN109933706A
• 公開（公告）日: 2019-06-25
• 發(fā)明（設(shè)計）人: 胡凌云;丁國航
• 申請（專利權(quán)）人: 北京達佳互聯(lián)信息技術(shù)有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 張聰聰;馬敬

1.一種數(shù)據(jù)獲取方法，其特征在于，應(yīng)用于集群中的每個處理模塊，所述集群中包括多個處理模塊，所述方法包括：

從分布式隊列中獲取爬取請求；

根據(jù)所獲取的爬取請求爬取數(shù)據(jù)；

將所爬取的數(shù)據(jù)中包括的鏈接封裝為新的爬取請求；

將所述新的爬取請求投遞至所述分布式隊列中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所爬取的數(shù)據(jù)中包括的鏈接封裝為新的爬取請求，包括：

讀取所爬取的數(shù)據(jù)中的鏈接，作為待處理鏈接；

獲取所述待處理鏈接對應(yīng)的用戶代理信息；

將所獲取的用戶代理信息和所述待處理鏈接封裝為新的爬取請求。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取所述待處理鏈接對應(yīng)的用戶代理信息，包括：

從所述集群的數(shù)據(jù)池中獲取以下任意一種或多種所述待處理鏈接對應(yīng)的用戶代理信息：代理IP、Cookie、源請求方信息、代理瀏覽器信息。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所獲取的爬取請求爬取數(shù)據(jù)，包括：對所述爬取請求進行校驗，若所述爬取請求通過校驗，則根據(jù)所述爬取請求爬取數(shù)據(jù)；

和/或，在所述根據(jù)所獲取的爬取請求爬取數(shù)據(jù)之后，還包括：

對所爬取的數(shù)據(jù)進行校驗，刪除未通過校驗的數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述對所述爬取請求進行校驗之后，還包括：

記錄所述爬取請求的校驗結(jié)果，作為第一校驗結(jié)果；若所述爬取請求未通過校驗，則基于所述第一校驗結(jié)果，判斷所述爬取請求未通過校驗的次數(shù)是否小于第一預(yù)設(shè)閾值；如果小于，返回執(zhí)行所述對所述爬取請求進行校驗的步驟；

在所述對所爬取的數(shù)據(jù)進行校驗之后，還包括：記錄所爬取的數(shù)據(jù)的校驗結(jié)果，作為第二校驗結(jié)果；

所述刪除未通過校驗的數(shù)據(jù)，包括：若所爬取的數(shù)據(jù)未通過校驗，則基于所述第二校驗結(jié)果，判斷所爬取的數(shù)據(jù)未通過校驗的次數(shù)是否小于第二預(yù)設(shè)閾值；如果小于，返回執(zhí)行所述對所爬取的數(shù)據(jù)進行校驗的步驟；如果不小于，刪除所爬取的數(shù)據(jù)。

6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述對所述爬取請求進行校驗，包括：對所述爬取請求進行以下任意一種或多種校驗處理：去重處理、黑名單過濾；

所述對所爬取的數(shù)據(jù)進行校驗，包括：對所爬取的數(shù)據(jù)進行以下任意一種或多種校驗處理：去重處理、黑名單過濾。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)所獲取的爬取請求爬取數(shù)據(jù)之后，還包括：

對所爬取的數(shù)據(jù)進行結(jié)構(gòu)化處理，得到結(jié)構(gòu)化數(shù)據(jù)，作為爬取結(jié)果。

8.一種數(shù)據(jù)獲取裝置，其特征在于，應(yīng)用于集群中，所述裝置包括：初始模塊和多個爬取模塊，其中，

所述初始模塊，被配置為接收爬取指令，讀取所述爬取指令中的初始鏈接；將所述初始鏈接封裝為爬取請求；將所述爬取請求發(fā)送至分布式隊列；

每個爬取模塊，被配置為從所述分布式隊列中獲取爬取請求；根據(jù)所獲取的爬取請求爬取數(shù)據(jù)；讀取所爬取的數(shù)據(jù)中的鏈接，作為待處理鏈接；將所述待處理鏈接發(fā)送至所述初始模塊；

所述初始模塊，還被配置為將所述待處理鏈接封裝為新的爬取請求，并將所述新的爬取請求投遞至所述分布式隊列中。

9.一種電子設(shè)備，其特征在于，包括處理器和用于存儲處理器可執(zhí)行指令的存儲器；其中，所述處理器被配置為實現(xiàn)權(quán)利要求1-7任一所述的方法步驟。

10.一種非臨時性計算機可讀存儲介質(zhì)，其特征在于，當所述存儲介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時，使得電子設(shè)備執(zhí)行權(quán)利要求1-7任一所述的方法步驟。