[發明專利]網頁數據的下載方法及裝置

有效

• 申請號: 201410827793.4
• 申請日: 2014-12-25
• 公開（公告）號: CN104572901B
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 于勝軍;馬哲;譚國斌
• 申請（專利權）人: 小米科技有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

1.一種網頁數據的下載方法，其特征在于，所述方法包括：

獲取待抓取網頁數據的一級網址；

從所述一級網址的網頁數據中，提取多個二級網址，所述一級網址的網頁數據中包含多個二級網址及干擾數據；

將所述多個二級網址加入第一消息隊列；

基于所述第一消息隊列，下載二級網址對應的網頁數據；

將下載得到的二級網址對應的網頁數據加入第二消息隊列；

從所述第二消息隊列中，獲取下載得到的網頁數據；

從所述下載得到的網頁數據中，提取指定數據；

根據所述指定數據的數據類型，對所述指定數據進行處理，

所述根據所述指定數據的數據類型，對所述指定數據進行處理，包括：

當所述指定數據的數據類型為解析數據，存儲所述指定數據；

當所述指定數據的數據類型為網址數據，將所述指定數據加入到所述第一消息隊列。

2.根據權利要求1所述的方法，其特征在于，所述基于所述第一消息隊列，下載二級網址對應的網頁數據，包括：

根據所述第一消息隊列中的二級網址數量及各個下載實例的屬性信息，為各個下載實例分配二級網址，所述屬性信息包括下載實例的數量及下載實例的下載狀態；

基于分配的二級網址，通過各個下載實例下載二級網址對應的網頁數據。

3.根據權利要求2所述的方法，其特征在于，所述根據所述第一消息隊列中的二級網址數量及各個下載實例的屬性信息，為各個下載實例分配二級網址，包括：

根據所述第一消息隊列中的二級網址數量及下載實例的數量，將所述第一消息隊列中的二級網址平均分配給各個下載實例；或，

根據各個下載實例的下載狀態，確定各個下載實例的下載優先級，按照各個下載實例的下載優先級，將所述第一消息隊列中的二級網址，分配給各個下載實例。

4.根據權利要求1所述的方法，其特征在于，所述從所述下載得到的網頁數據中，提取指定數據，包括：

根據預先設置的提取條件，從所述下載得到的網頁數據中，提取指定數據。

5.根據權利要求4所述的方法，其特征在于，所述根據預先設置的提取條件，從所述下載得到的網頁數據中，提取指定數據，包括：

根據預設關鍵字，從所述下載得到的網頁數據中，提取包含所述預設關鍵字的指定數據；或；

根據預設提取段落，從所述下載得到的網頁數據中，提取位于所述預設提取段落上的指定數據。

6.一種網頁數據的下載裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取待抓取網頁數據的一級網址；

第一提取模塊，用于從所述一級網址的網頁數據中，提取多個二級網址，所述一級網址的網頁數據中包含多個二級網址及干擾數據；

第一加入模塊，用于將所述多個二級網址加入第一消息隊列；

下載模塊，用于基于所述第一消息隊列，下載二級網址對應的網頁數據；

第二加入模塊，用于將下載得到的二級網址對應的網頁數據加入第二消息隊列；

第二獲取模塊，用于從所述第二消息隊列中，獲取下載得到的網頁數據；

第二提取模塊，用于從所述下載得到的網頁數據中，提取指定數據；

處理模塊，用于根據所述指定數據的數據類型，對所述指定數據進行處理，

所述處理模塊，用于當所述指定數據的數據類型為解析數據，存儲所述指定數據；當所述指定數據的數據類型為網址數據，將所述指定數據加入到所述第一消息隊列。

7.根據權利要求6所述的裝置，其特征在于，所述下載模塊，用于根據所述第一消息隊列中的二級網址數量及各個下載實例的屬性信息，為各個下載實例分配二級網址，所述屬性信息包括下載實例的數量及下載實例的下載狀態；基于分配的二級網址，通過各個下載實例下載二級網址對應的網頁數據。