[發明專利]頁面數據爬取方法、裝置、設備和計算機可讀存儲介質

在審

• 申請號: 202110496931.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113076460A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 侯淑慧;馬維士;李巖
• 申請（專利權）人: 北京華云安信息技術有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F16/957
• 代理公司: 北京華專卓海知識產權代理事務所(普通合伙) 11664
• 代理人: 王一;趙真

本公開的實施例提供了頁面數據爬取方法、裝置、設備和計算機可讀存儲介質。所述方法包括：向待請求的目標頁面中添加動態注入代碼；在接收到針對所述目標頁面的頁面訪問請求時，根據所述動態注入代碼確定所述目標頁面中的動態頁面元素；爬取所述動態頁面元素的頁面數據。以此方式，可以在不需要用戶手動點擊該動態頁面元素的基礎上，即可自動確認頁面中的所有動態元素，進而實現該動態頁面元素對應的頁面信息的自動爬取，從而確保頁面內容全面獲取，也優化了爬取速度和爬取性能。

技術領域

本公開的實施例一般涉及互聯網領域，并且更具體地，涉及頁面數據爬取方法、裝置、設備和計算機可讀存儲介質。

背景技術

隨著互聯網信息爆炸式增長，每一天互聯網中的數據都呈現幾何式的堆加。用戶需要的信息往往會淹沒于大量無關信息中，利用搜索引擎獲取感興趣的信息已經成為人們獲取信息較為便捷的方式。作為搜索引擎的基礎構件之一的網絡爬蟲，需要從互聯網上搜集信息，為用戶提供數據來源。搜索結果是否豐富、獲得的信息是否沒有重合，均與網絡爬蟲的效率緊密相關。

現在互聯網中大部分的web頁面都是動態的，經常逛的網站例如京東、淘寶等，商品列表都是js(JavaScript)，并有Ajax渲染，然后這種動態頁面中的動態頁面元素有時需要用戶手動點擊才知道是動態元素，才能進一步獲取該動態元素對應的頁面內容，而一旦用戶未點擊該動態元素，頁面內容將獲取不全，爬取的數據信息較少，性能也較差。

發明內容

根據本公開的實施例，提供了一種頁面數據爬取方案。

在本公開的第一方面，提供了一種面數據爬取方法。該方法包括：

向待請求的目標頁面中添加動態注入代碼；

在接收到針對所述目標頁面的頁面訪問請求時，根據所述動態注入代碼確定所述目標頁面中的動態頁面元素；

爬取所述動態頁面元素的頁面數據。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述根據所述動態注入代碼確定所述目標頁面中的動態頁面元素，包括：

確定當前的頁面爬取深度；

確定預先配置的最大頁面爬取深度；

判斷所述當前的頁面爬取深度是否小于所述最大頁面爬取深度；

若小于，則根據所述動態注入代碼確定所述目標頁面中的動態頁面元素。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述根據所述動態注入代碼確定所述目標頁面中的動態頁面元素，包括：

通過所述動態注入代碼為所述目標頁面生成的動態元素標記，確定所述動態頁面元素，其中，

所述動態注入代碼用于確定所述目標頁面中的超鏈接或者可點擊事件，并為所述超鏈接或者可點擊事件生成所述動態元素標記。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述方法還包括：

確定瀏覽器的屬性信息和/或爬蟲所需的信息；

根據所述瀏覽器的屬性信息和/或爬蟲所需的信息，生成所述動態注入代碼。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述爬取所述動態頁面元素的頁面數據，包括：

遍歷所述動態頁面元素；

訪問所述動態頁面元素對應的所述目標頁面的子頁面。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述方法還包括：