[發明專利]一種數據探測方法及裝置

有效

• 申請號: 202010627728.2
• 申請日: 2020-07-02
• 公開（公告）號: CN111737629B
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 田啟航;王濱;萬里;畢志城;周少鵬
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/955;G06F16/951
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

1.一種數據探測方法，其特征在于，應用于爬蟲系統，所述爬蟲系統包括爬蟲節點、代理節點，所述數據探測方法包括：

所述代理節點在檢測到數據探測任務時，建立所述代理節點與客戶端的代理關系；

在通過所述爬蟲節點從所述數據探測任務的任務信息中獲取被測系統的根URL地址的情況下，由所述爬蟲節點觸發所述客戶端通過所述代理節點并基于所述根URL地址向被測系統發送請求信息，其中，所述請求信息用于請求獲取所述被測系統的頁面資源，所述被測系統響應所述請求信息向所述客戶端返回頁面資源；

所述代理節點捕獲所述客戶端的請求信息和所述被測系統的頁面資源。

2.根據權利要求1所述的方法，其特征在于，所述爬蟲節點觸發所述客戶端通過所述代理節點基于所述根URL地址向被測系統發送請求信息，包括：

所述爬蟲節點將所述根URL地址作為當前URL地址，觸發所述客戶端通過所述代理節點向所述被測系統發送針對當前URL地址的訪問請求，其中，所述被測系統響應所述針對當前URL地址的訪問請求向客戶端返回所述當前URL地址的頁面資源；

所述爬蟲節點爬取所述頁面資源中包含的URL地址；

所述爬蟲節點檢查爬取的URL地址中是否存在未被訪問過的URL地址；如果是，則選擇任意一個未被訪問過的URL地址作為當前URL地址，返回執行所述觸發所述客戶端通過所述代理節點向被測系統發送針對當前URL地址的訪問請求，直至爬取的URL地址中不存在未被訪問過的URL地址。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

所述爬蟲節點爬取所述頁面資源中包含的表單元素；

所述爬蟲節點基于爬取的表單元素觸發所述客戶端通過所述代理節點向所述被測系統發送AJAX請求報文，其中，所述被測系統響應所述AJAX請求報文向所述客戶端返回AJAX響應報文。

4.根據權利要求1所述的方法，其特征在于，在所述爬蟲節點從所述數據探測任務的任務信息中獲取被測系統的根URL地址之前，所述方法還包括：

所述爬蟲節點檢查所述數據探測任務的任務信息中是否存在登錄信息，所述登錄信息包括用戶信息和所述被測系統的登錄頁URL地址；

如果是，則觸發所述客戶端通過所述代理節點向所述被測系統發送針對所述登錄頁URL地址的訪問請求，其中，所述被測系統響應所述針對登錄頁URL地址的訪問請求向所述客戶端返回登錄頁面；

所述爬蟲節點基于所述登錄頁面觸發所述客戶端通過所述代理節點向所述被測系統發送攜帶所述用戶信息的登錄請求，其中，所述被測系統響應所述登錄請求向所述客戶端返回登錄響應消息。

5.根據權利要求4所述的方法，其特征在于，所述爬蟲節點基于所述登錄頁面，觸發所述客戶端通過所述代理節點向所述被測系統發送攜帶所述用戶信息的登錄請求，包括：

所述爬蟲節點基于所述登錄頁面確定所述被測系統所采用的登錄認證方式；

所述爬蟲節點確定與所述被測系統所采用的登錄認證方式匹配的目標登錄方式；

所述爬蟲節點基于所述目標登錄方式在所述登錄頁面上輸入所述用戶信息，并觸發所述客戶端通過所述代理節點向所述被測系統發送攜帶所述用戶信息的登錄請求。

6.一種爬蟲系統，其特征在于，所述爬蟲系統包括爬蟲節點、代理節點；其中：

所述代理節點，用于在檢測到數據探測任務時，建立所述代理節點與客戶端的代理關系；

所述爬蟲節點，用于從所述數據探測任務的任務信息中獲取被測系統的根URL地址的情況下，由所述爬蟲節點觸發所述客戶端通過所述代理節點并基于所述根URL地址向被測系統發送請求信息，其中，所述請求信息用于請求獲取所述被測系統的頁面資源，所述被測系統響應所述請求信息向所述客戶端返回頁面資源所述頁面資源；

所述代理節點，還用于捕獲所述客戶端的請求信息和所述被測系統的頁面資源。