[發明專利]網頁信息的獲取方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202011376054.X
• 申請日: 2020-11-30
• 公開（公告）號: CN112347394A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 曾文清;陳立彬;楊濠興;朱光岳;虞孝偉
• 申請（專利權）人: 廣州至真信息科技有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F16/951
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 陳金普

本申請涉及一種網頁信息的獲取方法、裝置、計算機設備和存儲介質，所述方法包括：獲取具有不同集合優先級的多個種子集合；其中，至少一個種子集合包含具有不同爬取優先級的多個URL種子；從所述多個種子集合中，獲取集合優先級最高的目標種子集合；當所述目標種子集合中包括具有不同爬取優先級的多個URL種子時，從所述多個URL種子中，提取爬取優先級最高的待爬取URL種子，并根據所述待爬取URL種子抓取網頁信息，實現了根據集合間和集合內的兩層優先級對URL種子進行爬取，可以根據不同爬取需求設置種子優先級并進行種子爬取，同時，采用該方法，在爬蟲資源有限的情況下，可以優先爬取具有高優先級的URL種子。

技術領域

本申請涉及計算機技術領域，特別是涉及一種網頁信息的獲取方法、裝置、計算機設備和存儲介質。

背景技術

隨著網絡的迅速發展，互聯網成為大量信息的載體，為了有效地從海量信息中提取有效信息，可以通過網絡爬蟲實現。網絡爬蟲是一種網頁信息提取程序，執行爬蟲的URL(統一資源定位器，Uniform Resource Locator)輸入稱為URL種子。

在現有技術中，URL種子被創建后可以存儲至消息中間件，在爬取時，可以按照URL種子的存儲順序或者隨機選擇的方式，從中選擇URL種子。然而，上述爬取方式單一，難以根據用戶不同的爬取要求進行網頁信息的獲取。

發明內容

基于此，有必要針對上述技術問題，提供一種網頁信息的獲取方法、裝置、計算機設備和存儲介質。

一種網頁信息的獲取方法，所述方法包括：

獲取具有不同集合優先級的多個種子集合；其中，至少一個種子集合包含具有不同爬取優先級的多個URL種子；

從所述多個種子集合中，獲取集合優先級最高的目標種子集合；

當所述目標種子集合中包括具有不同爬取優先級的多個URL種子時，從所述多個URL種子中，提取爬取優先級最高的待爬取URL種子，并根據所述待爬取URL種子抓取網頁信息。

可選地，所述從所述多個種子集合中，獲取集合優先級最高的目標種子集合，包括：

根據所述多個種子集合各自對應的集合優先級，確定集合優先級排序最前的預設數量的種子集合，得到目標種子集合；

所述從所述多個URL種子中，提取爬取優先級最高的待爬取URL種子，包括：

根據所述目標種子集合中所述多個URL種子對應的爬取優先級，將爬取優先級排序最前的預設數量的URL種子確定為待爬取URL種子；

從所述目標種子集合中提取所述待爬取URL種子。

可選地，在所述從所述多個種子集合中，獲取集合優先級最高的目標種子集合的步驟之后，所述方法還包括：

判斷所述目標種子集合包含的多個URL種子是否具有爬取優先級；

當所述目標種子集合中的多個URL種子不具有爬取優先級時，在所述目標種子集合中隨機選擇待爬取的URL種子。

可選地，在所述獲取具有不同集合優先級的多個種子集合的步驟之前，所述方法還包括：

獲取候選URL種子對應的種子識別標識，根據所述種子識別標識，判斷所述候選URL種子在預設時間內是否已爬取；

當所述候選URL種子在預設時間內未爬取，獲取所述候選URL種子對應的歷史爬取失敗次數；

根據所述歷史爬取失敗次數，確定所述候選URL種子對應的爬取優先級，并根據所述爬取優先級將所述候選URL種子分類至對應的種子集合。

可選地，在所述獲取候選URL種子對應的種子識別標識的步驟之前，所述方法還包括：