[發明專利]網頁數據的下載方法及裝置

有效

• 申請號: 201410827793.4
• 申請日: 2014-12-25
• 公開（公告）號: CN104572901B
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 于勝軍;馬哲;譚國斌
• 申請（專利權）人: 小米科技有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

本公開是關于一種網頁數據的下載方法及裝置，屬于互聯網技術領域。所述方法包括：獲取待抓取網頁數據的一級網址；從一級網址的網頁數據中，提取多個二級網址，一級網址的網頁數據中包含多個二級網址及干擾數據；將多個二級網址加入第一消息隊列；基于第一消息隊列，下載二級網址對應的網頁數據。本公開在獲取到待抓取網頁數據的一級網址后，從一級網址的網頁數據中，提取多個二級網址，并將多個二級網址加入第一消息隊列，進而基于第一消息隊列，下載二級網址對應的網頁數據。由于借助消息隊列下載網頁數據，無需獲知地址端口等配置信息，基于消息隊列中存儲的二級網址下載，因此，降低了資源消耗，簡化了下載的復雜度。

技術領域

本公開涉及互聯網技術領域，尤其涉及一種網頁數據的下載方法及裝置。

背景技術

隨著互聯網技術的發展，互聯網上的數據爆炸性增長。傳統的單機網絡爬蟲系統因獲取網頁數據的速度較慢、準確性較低，很難適應大規模的網頁數據獲取需求。為了提高獲取速度以及準確性，分布式網絡爬蟲系統應運而生。分布式網絡爬蟲系統作為一種新的數據獲取系統，具有單機網絡爬蟲系統無法比擬的數據采集速度和規模，可快速地為抓取到更多的網頁數據。

分布式網絡爬蟲系統由調度器和多個下載器組成，其中，調度器負責為各個下載器分配待下載網址，下載器用于根據待下載網址從互聯網上下載網頁數據。在分布式網絡爬蟲系統中，調度器和下載器間采用RPC(Remote Procedure Call，遠程過程調度)協議進行通信。基于分布式網絡爬蟲系統，相關技術在下載網頁數據時，調度器和下載器需要先獲知彼此的地址端口等配置信息，然后調度器根據待下載網址的數量，確定為各個下載器分配的待下載網址，進而通過各個下載器的地址端口將待下載地址發送至各個下載器，基于接收到的下載網址，下載器就可從互聯網上下載網頁數據。

發明內容

為克服相關技術中存在的問題，本公開提供一種網頁數據的下載方法及裝置。

根據本公開實施例的第一方面，提供一種網頁數據的下載方法，該方法包括：

獲取待抓取網頁數據的一級網址；

從所述一級網址的網頁數據中，提取多個二級網址，所述一級網址的網頁數據中包含多個二級網址及干擾數據；

將所述多個二級網址加入第一消息隊列；

基于所述第一消息隊列，下載二級網址對應的網頁數據。

結合第一方面，在第一方面的第一種可能的實現方式中，所述基于所述第一消息隊列，下載二級網址對應的網頁數據，包括：

根據所述第一消息隊列中的二級網址數量及各個下載實例的屬性信息，為各個下載實例分配二級網址，所述屬性信息包括下載實例的數量及下載實例的下載狀態；

基于分配的二級網址，通過各個下載實例下載二級網址對應的網頁數據。

結合第一方面的第一種可能的實現方式，在第一方面的第二種可能的實現方式中，所述根據所述第一消息隊列中的二級網址數量及各個下載實例的屬性信息，為各個下載實例分配二級網址，包括：

根據所述第一消息隊列中的二級網址數量及下載實例的數量，將所述第一消息隊列中的二級網址平均分配給各個下載實例；或，

根據各個下載實例的下載狀態，確定各個下載實例的下載優先級，按照各個下載實例的下載優先級，將所述第一消息隊列中的二級網址，分配給各個下載實例。

結合第一方面，在第一方面的第三種可能的實現方式中，所述基于所述第一消息隊列，下載二級網址對應的網頁數據之后，還包括：

將下載得到的網頁數據加入第二消息隊列；

從所述第二消息隊列中，獲取下載得到的網頁數據；

從所述下載得到的網頁數據中，提取指定數據；