[發明專利]爬取數據的方法、裝置、介質及電子設備

在審

• 申請號: 202110477953.7
• 申請日: 2021-04-30
• 公開（公告）號: CN113190735A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 楊光;周天星
• 申請（專利權）人: 北京精準溝通傳媒科技股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及爬取數據的方法、裝置、介質及電子設備。一種爬取數據的方法，包括：獲取本次請求URL，根據所述本次請求URL進行數據爬取任務；獲取組裝后續請求所需的配置數據，后續請求配置數據包括累加參數和累加數；讀取本次請求URL中包含的累加參數的參數值；將參數值與累加數相加，得到累加后的參數值；基于累加后的參數值，生成新的URL請求；將新的URL請求放入待請求隊列，從而依據待請求隊列中的URL請求執行爬蟲任務。根據本發明的方案，不依賴于頁面中的鏈接而生成新的URL請求，可以實現內容上連續的多個APP端請求的連續爬取，提高了APP端數據的爬取效率。

技術領域

本發明涉及計算機網絡技術領域，具體涉及一種爬取數據的方法、裝置、介質及電子設備。

背景技術

現有的爬蟲工具有例如八爪魚，其預先爬取了主流網站的數據，用戶可以在該工具中選取其需要的網站上的某些類型的數據，例如標題、價格、名稱等，該工具主要針對小白用戶而設計，優點是簡單易用，缺點是只能滿足簡單需求；此外，還有名稱為火車頭采集器的爬蟲工具，該工具針對有相關爬蟲經驗的用戶設計，用戶可以在其上進行一些簡單的配置，包括提交URL、表達式等，但同樣不能滿足較為復雜的需求。

現有的爬蟲工具一般針對PC端開發，較少針對APP端的數據進行爬取。當前，由于智能手機等智能設備中APP的廣泛應用，APP端的數據量也越來越大，對APP端數據進行爬取的需求也越來越多。

發明內容

用現有的爬蟲工具一般針對PC端頁面數據進行爬取，當對APP端的數據進行爬取時，會遇到某些問題。例如，現有技術PC端頁面上，對于內容上連續的PC端頁面，往往通過“下一頁”鏈接到之后的頁面。而在APP端數據中，即使存在內容上連續的多個APP端請求(例如http請求)，這些頁面上往往不設置對“下一頁”的鏈接，當在實際業務場景中，需要爬取內容上連續的多個APP端請求時，現有爬蟲工具無法實現連續爬取，降低了爬取數據的效率。

本發明的目的在于，提供一種爬取數據的方法、裝置、介質及電子設備，實現對內容上連續的多個APP端請求的連續爬取。

根據本發明的一個方案，提供了一種爬取數據的方法，包括：獲取本次請求URL；獲取組裝后續請求所需配置數據，所述配置數據包括累加參數和累加數；讀取本次請求URL中包含的所述累加參數的參數值；將所述參數值與所述累加數相加，得到累加后的參數值；基于所述累加后的參數值，生成新的URL請求；將所述新的URL請求放入待請求隊列，從而依據所述待請求隊列中的URL請求執行爬蟲任務。

根據本發明的方法實施例，該方法還包括：獲取停止條件；循環執行上述方法步驟，直到判斷出滿足了所述停止條件。

根據本發明的方法實施例，所述停止條件包括停止表達式、第二停止值以及停止比較方式。

根據本發明的方法實施例，所述判斷出滿足了停止條件包括：基于停止表達式，對返回值數據進行解析，獲得第一比較值，其中所述返回值數據是所述爬蟲模塊依據所述本次請求URL爬取相應頁面的數據而獲得的；基于所述停止比較方式對第一比較值和第二停止值進行比較，當比較的結果為真時，判斷出滿足了停止條件。

根據本發明的方法實施例，所述配置數據是由用戶輸入的。

根據本發明的方法實施例，所述停止條件是由用戶輸入的。

根據本發明的另一個方案，提供了一種爬取數據的裝置，包括爬蟲模塊，其配置為執行爬蟲任務，所述裝置還包括：請求獲取模塊，其配置為獲取本次請求URL；配置數據獲取模塊，其配置為獲取組裝后續請求所需的配置數據，所述配置數據包括累加參數和累加數；后續請求獲取模塊，其配置為讀取本次請求URL中包含的所述累加參數的參數值；將所述參數值與所述累加數相加，得到累加后的參數值；基于所述累加后的參數值，生成新的URL請求；待請求隊列更新模塊，其配置為將所述新的URL請求放入所述待請求隊列，從而所述爬蟲模塊依據所述待請求隊列中的URL請求執行所述爬蟲任務。