[發明專利]基于JMeter的網站數據自動爬取方法

在審

• 申請號: 202011156240.2
• 申請日: 2020-10-26
• 公開（公告）號: CN112256944A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 楊雪梅;唐軍;劉楚雄
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 成都虹橋專利事務所(普通合伙) 51124
• 代理人: 吳中偉

1.基于JMeter的網站數據自動爬取方法，其特征在于，包括：

步驟(1)、確定需要進行數據爬取的目標網站；

步驟(2)、對目標網站進行數據分析，獲取數據接口以及數據接口相應的屬性信息；

步驟(3)、在JMeter端執行數據接口，檢查數據接口中的請求參數以及對應的響應結果是否符合預期設定，若是，則進入步驟(4)，否則在JMeter端對數據接口進行調試；

步驟(4)、對數據接口進行參數動態配置，對數據接口的響應提取字段參數進行動態配置，并對輸出目標文件進行動態配置；

步驟(5)、設置好相應動態配置后，設置反爬機制；

步驟(6)、批量爬取數據并輸出保存到目標文件。

2.根據權利要求1所述的基于JMeter的網站數據自動爬取方法，其特征在于，在步驟(2)中，所述數據接口相應的屬性信息包括：請求地址、請求參數、請求類型、請求頭以及請求體。

3.根據權利要求1所述的基于JMeter的網站數據自動爬取方法，其特征在于，在步驟(4)中，對數據接口進行動態配置包括通過變量的形式進行參數動態配置。

4.根據權利要求1所述的基于JMeter的網站數據自動爬取方法，其特征在于，在步驟(4)中，提取字段參數的具體方法包括：在數據接口后添加后置處理器，選擇JSON提取器和/或正則表達式提取器和/或XPath提取器進行參數提取。

5.根據權利要求1所述的基于JMeter的網站數據自動爬取方法，其特征在于，在步驟(4)中，對輸出目標文件進行動態配置的具體方法包括：在請求執行前添加用戶參數或者自定義變量，對文件路徑及文件名進行相應的配置。

6.根據權利要求1所述的基于JMeter的網站數據自動爬取方法，其特征在于，在步驟(5)中，設置反爬機制的具體方法包括：在請求執行目錄下添加固定定時器，該固定定時器的時間是隨機且變化的，始終在100ms到1s之間，每次接口請求都會等待一段隨機的時間再進行操作，通過對請求執行設置不同的間隔時間模擬用戶在不同時間無規律的請求，防止被系統屏蔽。

7.根據權利要求4所述的基于JMeter的網站數據自動爬取方法，其特征在于，在步驟(6)中，批量爬取數據的過程還包括防止相同請求重復執行，所述防止相同請求重復執行的具體方法包括：通過對接口響應數據的分析找到需要爬取的目標數據及目標頁碼，在請求頁碼層級設置循環控制器，根據目標頁碼通過循環控制器設定循環次數，并在循環控制器下添加計數器，遞增設置為1，使得每執行一次請求計數器自動加一，計數器輸出值與目標頁碼相等時，結束執行。

8.根據權利要求7所述的基于JMeter的網站數據自動爬取方法，其特征在于，在步驟(6)中，批量爬取數據的過程還包括嵌套網頁數據的抓取，所述嵌套頁面包括一級頁面和二級頁面，所述嵌套網頁數據的抓取的具體方法包括：

步驟601、先執行一級頁面接口，通過JSON提取器獲取當前頁面列表下所有的商品標識，得到商品標識數組；

步驟602、在循環控制器和頁碼請求的層級目錄下添加一個ForEach邏輯控制器，邏輯控制器的輸入為商品標識數組，輸出為每個商品的具體標識；

步驟603、通過ForEach邏輯控制器循環每個商品的具體標識以及對應商品詳情接口請求，再通過后置處理器JSON提取及文件輸出完成對嵌套頁面的目標數據保存。

9.根據權利要求8所述的基于JMeter的網站數據自動爬取方法，其特征在于，在步驟(6)中，批量爬取數據并輸出保存的具體方法包括：在請求數據層級下添加后置處理器BeanShell Postprocessor，通過vars.get方法獲取到參數，同時在BeanShellPostprocessor中，將商品標識數組展開，得到目標數據，依次將目標數據保存到目標文件。