[發明專利]爬取數據的方法、裝置、介質及電子設備

在審

• 申請號: 202110477953.7
• 申請日: 2021-04-30
• 公開（公告）號: CN113190735A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 楊光;周天星
• 申請（專利權）人: 北京精準溝通傳媒科技股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種爬取數據的方法，其特征在于，包括：

獲取本次請求URL，根據所述本次請求URL進行數據爬取任務；

獲取組裝后續請求所需的配置數據，所述配置數據包括累加參數和累加數；

讀取本次請求URL中包含的所述累加參數的參數值；

將所述參數值與所述累加數相加，得到累加后的參數值；

基于所述累加后的參數值，生成新的URL請求；

將所述新的URL請求放入待請求隊列，從而依據所述待請求隊列中的URL請求進行數據爬取任務。

2.根據權利要求1所述的方法，其特征在于，還包括：

獲取停止條件；

循環執行上述方法步驟，直到判斷出滿足了所述停止條件。

3.根據權利要求2所述的方法，其特征在于，所述停止條件包括停止表達式、第二停止值以及停止比較方式。

4.根據權利要求3所述的方法，其特征在于，所述判斷出滿足了所述停止條件，包括：

基于停止表達式，對返回值數據進行解析，獲得第一比較值，其中所述返回值數據是所述爬蟲模塊依據所述本次請求URL爬取相應頁面的數據而獲得的；

基于所述停止比較方式對第一比較值和第二停止值進行比較，當比較的結果為真時，判斷出滿足了停止條件。

5.根據權利要求1所述的方法，其特征在于，所述配置數據是由用戶輸入的。

6.根據權利要求2所述的方法，其特征在于，所述停止條件是由用戶輸入的。

7.一種爬取數據的裝置，包括：請求獲取模塊，其配置為獲取本次請求URL；爬蟲模塊，其配置為根據本次請求URL執行數據爬取任務，其特征在于，所述裝置還包括：

配置數據獲取模塊，其配置為獲取組裝后續請求所需的配置數據，所述配置數據包括累加參數和累加數；

后續請求獲取模塊，其配置為讀取本次請求URL中包含的所述累加參數的參數值；將所述參數值與所述累加數相加，得到累加后的參數值；基于所述累加后的參數值，生成新的URL請求；

待請求隊列更新模塊，其配置為將所述新的URL請求放入所述待請求隊列，從而所述爬蟲模塊依據所述待請求隊列中的URL請求執行所述數據爬取任務。

8.根據權利要求7所述的裝置，其特征在于，所述裝置還包括：

停止條件獲取模塊，其配置為獲取停止條件；

判斷模塊，其配置為判斷所述停止條件是否滿足，如果滿足，則向所述爬蟲模塊發出停止執行所述爬蟲任務的指令。

9.一種非臨時性計算機可讀介質，其上存儲有計算機可執行代碼，其特征在于，所述計算機可執行代碼在被處理器執行時實現根據權利要求1～6中任一項所述的方法。

10.一種電子設備，包括處理器、存儲器以及其上存儲的計算機可執行代碼，其特征在于，當所述處理器執行所述計算機可執行代碼時實現如權利要求1～6中任一項所述的方法。