[發明專利]一種網頁搜索方法及裝置

在審

• 申請號: 201911250600.2
• 申請日: 2019-12-09
• 公開（公告）號: CN111143649A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 劉禮剛
• 申請（專利權）人: 杭州迪普科技股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 王茹

本說明書提供一種網頁搜索方法及裝置，其中方法包括：所述方法包括：從待爬取隊列中，取出父網頁統一資源定位符URL；從所述父網頁URL對應的父網頁，解析出所述父網頁中包含的子網頁URL；根據所述子網頁URL，獲取對應的子網頁；根據所述父網頁的主題相關度和所述子網頁的網頁標題相關度，確定所述子網頁的主題相關度；若所述子網頁的主題相關度大于或等于預設的相關度閾值，保存所述子網頁；同時，將所述子網頁的URL加入所述待爬取隊列。以提高主題相關度計算的準確性。

技術領域

本說明書涉及互聯網技術領域，尤其涉及一種網頁搜索方法及裝置。

背景技術

我們生活在大數據時代，如何快速而精準地在互聯網資源中獲取需要的數據，一直是網絡研究的熱點。搜索引擎能夠提供更加準確和快速的搜索服務，成為一個重要發展方向。搜索引擎利用網絡爬蟲在互聯網上自動地獲取網絡數據，對所獲取的數據建立索引，以供用戶進行信息查詢。主題網絡爬蟲通過主題相關度計算，只爬取與特定主題相關的互聯網數據，得到的數據更精確。

現有主題網絡爬蟲在計算主題相關度時，考慮了“上下文信息”這一判斷因子。但是更多情況下，上下文信息偏少、充斥著噪音或者混雜在一起，這就導致考慮“上下文信息”因子后，主題相關度計算不準確。

發明內容

本說明書至少一個實施例提供了一種網頁搜索方法，以提高主題相關度計算的準確性。

第一方面，提供了一種網頁搜索方法，所述方法包括：

從待爬取隊列中，取出父網頁統一資源定位符URL；

從所述父網頁URL對應的父網頁，解析出所述父網頁中包含的子網頁URL；

根據所述子網頁URL，獲取對應的子網頁；

根據所述父網頁的主題相關度和所述子網頁的網頁標題相關度，確定所述子網頁的主題相關度；

若所述子網頁的主題相關度大于或等于預設的相關度閾值，保存所述子網頁；同時，將所述子網頁的URL加入所述待爬取隊列。

第二方面，提供了一種網頁搜索裝置，所述裝置包括：

URL取出模塊，用于從待爬取隊列中，取出父網頁統一資源定位符URL；

URL解析模塊，用于從所述父網頁URL對應的父網頁，解析出所述父網頁中包含的子網頁URL；

網頁獲取模塊，用于根據所述子網頁URL，獲取對應的子網頁；

主題相關度確定模塊，用于根據所述父網頁的主題相關度和所述子網頁的網頁標題相關度，確定所述子網頁的主題相關度；

網頁處理模塊，用于若所述子網頁的主題相關度大于或等于預設的相關度閾值，保存所述子網頁；同時，將所述子網頁的URL加入所述待爬取隊列。

第三方面，提供了一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現本說明書任一實施例所述的網頁搜索方法。

第四方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，所述程序被處理器執行時實現本說明書任一實施例所述的網頁搜索方法。

應當理解的是，以上的一般描述和后文的細節描述僅是示例性和解釋性的，并不能限制本說明書。

附圖說明

圖1是根據一示例性實施例示出的一種網頁搜索方法流程圖；

圖2是根據一示例性實施例示出的一種網頁搜索裝置示意圖；

圖3是根據一示例性實施例示出的網頁部分截圖。

具體實施方式