[發明專利]頁面數據爬取方法、裝置、設備和計算機可讀存儲介質

在審

• 申請號: 202110496931.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113076460A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 侯淑慧;馬維士;李巖
• 申請（專利權）人: 北京華云安信息技術有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F16/957
• 代理公司: 北京華專卓海知識產權代理事務所(普通合伙) 11664
• 代理人: 王一;趙真

1.一種頁面數據爬取方法，其特征在于，包括：

向待請求的目標頁面中添加動態注入代碼；

在接收到針對所述目標頁面的頁面訪問請求時，根據所述動態注入代碼確定所述目標頁面中的動態頁面元素；

爬取所述動態頁面元素的頁面數據。

2.根據權利要求1所述的方法，其特征在于，所述根據所述動態注入代碼確定所述目標頁面中的動態頁面元素，包括：

確定當前的頁面爬取深度；

確定預先配置的最大頁面爬取深度；

判斷所述當前的頁面爬取深度是否小于所述最大頁面爬取深度；

若小于，則根據所述動態注入代碼確定所述目標頁面中的動態頁面元素。

3.根據權利要求1所述的方法，其特征在于，

所述根據所述動態注入代碼確定所述目標頁面中的動態頁面元素，包括：

通過所述動態注入代碼為所述目標頁面生成的動態元素標記，確定所述動態頁面元素，其中，

所述動態注入代碼用于確定所述目標頁面中的超鏈接或者可點擊事件，并為所述超鏈接或者可點擊事件生成所述動態元素標記。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

確定瀏覽器的屬性信息和/或爬蟲所需的信息；

根據所述瀏覽器的屬性信息和/或爬蟲所需的信息，生成所述動態注入代碼。

5.根據權利要求1至4中任一項所述的方法，其特征在于，

所述爬取所述動態頁面元素的頁面數據，包括：

遍歷所述動態頁面元素；

訪問所述動態頁面元素對應的所述目標頁面的子頁面。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

獲取所述動態頁面元素對應的所述目標頁面的子頁面的URL信息以及所述目標頁面的URL信息；

將所述子頁面的URL信息以及所述目標頁面的URL信息存儲至待解析的URL列表中；

將所述待解析的URL列表進行去重操作。

7.根據權利要求5所述的方法，其特征在于，在訪問所述動態頁面元素對應的子頁面之后，所述方法還包括：

將當前的頁面爬取深度進行遞增；

將所述子頁面確定為待請求的目標頁面。

8.一種頁面數據爬取裝置，其特征在于，包括：

添加模塊，用于向待請求的目標頁面中添加動態注入代碼；

確定模塊，用于在接收到針對所述目標頁面的頁面訪問請求時，根據所述動態注入代碼確定所述目標頁面中的動態頁面元素；

爬取模塊，用于爬取所述動態頁面元素的頁面數據。

9.一種電子設備，包括存儲器和處理器，所述存儲器上存儲有計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1～7中任一項所述的方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求1～7中任一項所述的方法。