[發明專利]網頁內容爬取方法、裝置、計算機設備和存儲介質

有效

• 申請號: 201711396765.1
• 申請日: 2017-12-21
• 公開（公告）號: CN110020054B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 王煉;孫亞星;呂遠方;邱彬;黃曉暉;林佳濤
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 何平;鄧云鵬

本申請涉及一種網頁內容爬取方法、裝置、計算機設備和存儲介質，該方法包括：獲取預配置的用于訪問初始爬取網頁的完整訪問鏈接；根據所述完整訪問鏈接獲取所述初始爬取網頁的第一網頁內容；獲取對應于所述完整訪問鏈接所配置的網頁元素路徑表達式；按照所述網頁元素路徑表達式，從所述第一網頁內容中定位深入鏈接；在當前定位的深入鏈接與預配置的目標網頁鏈接匹配表達式匹配時，則根據當前定位的深入鏈接爬取相應目標網頁中的第二網頁內容。本申請的方法節省了系統資源。

技術領域

本發明涉及計算機技術領域，特別是涉及一種網頁內容爬取方法、裝置、計算機設備和存儲介質。

背景技術

隨著互聯網的飛速發展，網絡上的信息日益豐富，獲取網絡上的豐富信息非常重要。這種情況下，網絡爬蟲應運而生，網絡爬蟲是用來搜集網頁的程序。

傳統方法中，網絡爬蟲是從起始網頁的內容開始爬取，然后遞歸地跟蹤網頁中的超鏈接到達其它頁面，爬取所達到的所有頁面的內容，最終爬取的內容覆蓋整個網站內容。然而，爬取的整個網站內容大多時候都不是必須的，這樣一來，就需要對爬取的整個網站內容進行額外大量的數據計算，以進行數據清洗處理，浪費了大量的系統資源。

發明內容

基于此，有必要針對傳統方法在獲取網頁內容時浪費大量的系統資源的問題，提供一種網頁內容爬取方法、裝置、計算機設備和存儲介質。

一種網頁內容爬取方法，所述方法包括：

獲取預配置的用于訪問初始爬取網頁的完整訪問鏈接；

根據所述完整訪問鏈接獲取所述初始爬取網頁的第一網頁內容；

獲取對應于所述完整訪問鏈接所配置的網頁元素路徑表達式；

按照所述網頁元素路徑表達式，從所述第一網頁內容中定位深入鏈接；

在當前定位的深入鏈接與預配置的目標網頁鏈接匹配表達式匹配時，則

根據當前定位的深入鏈接爬取相應目標網頁中的第二網頁內容。

一種網頁內容爬取裝置，所述裝置包括：

獲取模塊，用于獲取預配置的用于訪問初始爬取網頁的完整訪問鏈接；根據所述完整訪問鏈接獲取所述初始爬取網頁的第一網頁內容；獲取對應于所述完整訪問鏈接所配置的網頁元素路徑表達式；

深入鏈接定位模塊，用于按照所述網頁元素路徑表達式，從所述第一網頁內容中定位深入鏈接；

內容爬取模塊，用于在當前定位的深入鏈接與預配置的目標網頁鏈接匹配表達式匹配時，則根據當前定位的深入鏈接爬取相應目標網頁中的第二網頁內容。

一種計算機設備，包括存儲器和處理器，所述存儲器中存儲有計算機程序，所述計算機程序被處理器執行時，使得所述處理器執行如下步驟：

獲取預配置的用于訪問初始爬取網頁的完整訪問鏈接；

根據所述完整訪問鏈接獲取所述初始爬取網頁的第一網頁內容；

獲取對應于所述完整訪問鏈接所配置的網頁元素路徑表達式；

按照所述網頁元素路徑表達式，從所述第一網頁內容中定位深入鏈接；

在當前定位的深入鏈接與預配置的目標網頁鏈接匹配表達式匹配時，則

根據當前定位的深入鏈接爬取相應目標網頁中的第二網頁內容。

一種存儲有計算機程序的存儲介質，所述計算機程序被處理器執行時，使得處理器執行如下步驟：

獲取預配置的用于訪問初始爬取網頁的完整訪問鏈接；

根據所述完整訪問鏈接獲取所述初始爬取網頁的第一網頁內容；