[發明專利]一種網頁搜索方法及裝置

在審

• 申請號: 201911250600.2
• 申請日: 2019-12-09
• 公開（公告）號: CN111143649A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 劉禮剛
• 申請（專利權）人: 杭州迪普科技股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 王茹

1.一種網頁搜索方法，其特征在于，所述方法包括：

從待爬取隊列中，取出父網頁統一資源定位符URL；

從所述父網頁URL對應的父網頁，解析出所述父網頁中包含的子網頁URL；

根據所述子網頁URL，獲取對應的子網頁；

根據所述父網頁的主題相關度和所述子網頁的網頁標題相關度，確定所述子網頁的主題相關度；

若所述子網頁的主題相關度大于或等于預設的相關度閾值，保存所述子網頁；同時，將所述子網頁的URL加入所述待爬取隊列。

2.根據權利要求1所述的方法，其特征在于，所述從待爬取隊列中，取出父網頁統一資源定位符URL，包括：

將所述待爬取隊列中的URL，按照所述URL對應網頁的主題相關度進行排序；

根據排序結果，由所述待爬取隊列中選擇主題相關度最高的URL作為所述父網頁URL。

3.根據權利要求1所述的方法，其特征在于，所述根據所述父網頁的主題相關度和所述子網頁的網頁標題相關度，確定所述子網頁的主題相關度，包括：

根據所述父網頁的主題相關度，確定繼承值；

根據所述子網頁的網頁標題相關度，確定本身值；

根據所述繼承值和所述本身值，確定所述子網頁的主題相關度。

4.根據權利要求3所述的方法，其特征在于，所述根據所述子網頁的網頁標題相關度，確定本身值，包括：

根據所述子網頁的網頁標題相關度和網頁內容相關度，確定所述本身值；

或者，根據所述子網頁的網頁標題相關度、網頁內容相關度和網頁錨文本相關度，確定所述本身值。

5.根據權利要求1所述的方法，其特征在于，所述將所述子網頁的URL加入所述待爬取隊列之后，還包括：

若所述子網頁的主題相關度小于所述預設的相關度閾值，釋放所述子網頁。

6.根據權利要求1所述的方法，其特征在于，所述將所述子網頁的URL加入所述待爬取隊列之后，還包括：

確認爬取次數大于預設的爬取閾值，則停止爬取。

7.一種網頁搜索裝置，其特征在于，所述裝置包括：

URL取出模塊，用于從待爬取隊列中，取出父網頁統一資源定位符URL；

URL解析模塊，用于從所述父網頁URL對應的父網頁，解析出所述父網頁中包含的子網頁URL；

網頁獲取模塊，用于根據所述子網頁URL，獲取對應的子網頁；

主題相關度確定模塊，用于根據所述父網頁的主題相關度和所述子網頁的網頁標題相關度，確定所述子網頁的主題相關度；

網頁處理模塊，用于若所述子網頁的主題相關度大于或等于預設的相關度閾值，保存所述子網頁；同時，將所述子網頁的URL加入所述待爬取隊列。

8.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1-6任一所述的方法。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現權利要求1-6中任一項所述的方法。