[發明專利]網頁信息的獲取方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202011376054.X
• 申請日: 2020-11-30
• 公開（公告）號: CN112347394A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 曾文清;陳立彬;楊濠興;朱光岳;虞孝偉
• 申請（專利權）人: 廣州至真信息科技有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F16/951
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 陳金普

1.一種網頁信息的獲取方法，其特征在于，所述方法包括：

獲取具有不同集合優先級的多個種子集合；其中，至少一個種子集合包含具有不同爬取優先級的多個URL種子；

從所述多個種子集合中，獲取集合優先級最高的目標種子集合；

當所述目標種子集合中包括具有不同爬取優先級的多個URL種子時，從所述多個URL種子中，提取爬取優先級最高的待爬取URL種子，并根據所述待爬取URL種子抓取網頁信息。

2.根據權利要求1所述的方法，其特征在于，所述從所述多個種子集合中，獲取集合優先級最高的目標種子集合，包括：

根據所述多個種子集合各自對應的集合優先級，確定集合優先級排序最前的預設數量的種子集合，得到目標種子集合；

所述從所述多個URL種子中，提取爬取優先級最高的待爬取URL種子，包括：

根據所述目標種子集合中所述多個URL種子對應的爬取優先級，將爬取優先級排序最前的預設數量的URL種子確定為待爬取URL種子；

從所述目標種子集合中提取所述待爬取URL種子。

3.根據權利要求2所述的方法，其特征在于，在所述從所述多個種子集合中，獲取集合優先級最高的目標種子集合的步驟之后，所述方法還包括：

判斷所述目標種子集合包含的多個URL種子是否具有爬取優先級；

當所述目標種子集合中的多個URL種子不具有爬取優先級時，在所述目標種子集合中隨機選擇待爬取的URL種子。

4.根據權利要求1所述的方法，其特征在于，在所述獲取具有不同集合優先級的多個種子集合的步驟之前，所述方法還包括：

獲取候選URL種子對應的種子識別標識，根據所述種子識別標識，判斷所述候選URL種子在預設時間內是否已爬??；

當所述候選URL種子在預設時間內未爬取，獲取所述候選URL種子對應的歷史爬取失敗次數；

根據所述歷史爬取失敗次數，確定所述候選URL種子對應的爬取優先級，并根據所述爬取優先級將所述候選URL種子分類至對應的種子集合。

5.根據權利要求4所述的方法，其特征在于，在所述獲取候選URL種子對應的種子識別標識的步驟之前，所述方法還包括：

獲取候選URL種子對應的爬取任務執行時間、網站域名和網站地址信息；

對所述網站地址信息進行哈希處理，得到所述網站地址信息對應的哈希值；

根據所述爬取任務執行時間、所述哈希值和所網站域名，生成所述候選URL種子對應的種子識別標識。

6.根據權利要求5所述的方法，其特征在于，所述根據所述種子識別標識，判斷所述候選URL種子在預設時間內是否已爬取，包括：

獲取已爬取URL種子集合和未爬取URL種子集合；

根據所述種子識別標識，分別與所述已爬取URL種子集合和所述未爬取URL種子集合中的種子識別標識匹配；

若所述種子識別標識與所述未爬取URL種子集合中的種子識別標識匹配成功，確定所述候選URL種子在預設時間內未爬取。

7.根據權利要求4所述的方法，其特征在于，所述根據所述歷史爬取失敗次數，確定所述候選URL種子對應的爬取優先級，包括：

當所述歷史爬取失敗次數小于失敗次數閾值時，根據所述歷史爬取失敗次數對應的扣減分值和歷史爬取成功次數對應的增加分值，計算所述候選URL種子對應的總分值，作為爬取優先級。

8.一種網頁信息的獲取裝置，其特征在于，所述裝置包括：

種子集合獲取模塊，用于獲取具有不同集合優先級的多個種子集合；其中，至少一個種子集合包含具有不同爬取優先級的多個URL種子；

目標種子集合獲取模塊，用于從所述多個種子集合中，獲取集合優先級最高的目標種子集合；

URL種子提取模塊，用于當所述目標種子集合中包括具有不同爬取優先級的多個URL種子時，從所述多個URL種子中，提取爬取優先級最高的待爬取URL種子，并根據所述待爬取URL種子抓取網頁信息。