[發明專利]數據抓取系統、方法

在審

• 申請號: 202011485713.3
• 申請日: 2020-12-16
• 公開（公告）號: CN112637049A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 石忠民;周錦裕
• 申請（專利權）人: 廣州索答信息科技有限公司
• 主分類號: H04L12/64
• 分類號: H04L12/64;H04L12/46;G06F9/455
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 曾令軍

1.一種數據抓取系統，其特征在于，所述數據抓取系統包括；交換機、服務器以及客戶端，所述服務器分別與所述交換機、客戶端連接；

所述交換機與至少兩個撥號網絡連接，且每個撥號網絡在所述交換機上的對應VLAN號不同；

所述服務器安裝有至少兩個虛擬操作系統，所述服務器通過所述虛擬操作系統與所述撥號網絡連接，且每個虛擬操作系統連接的所述撥號網絡不同，通過所述撥號網絡訪問數據源；

所述客戶端存儲有動態IP池，所述服務器控制所述虛擬操作系統根據所述動態IP池中的IP串聯訪問所述數據源以進行數據抓取。

2.如權利要求1所述的數據抓取系統，其特征在于，所述撥號網絡為ADSL撥號網絡。

3.如權利要求1所述的數據抓取系統，其特征在于，所述虛擬操作系統的數量與所述撥號網絡的數量相同，且一一對應。

4.如權利要求1所述的數據抓取系統，其特征在于，所述服務器控制所述虛擬操作系統根據所述動態IP池中的IP串聯訪問所述數據源以進行數據抓取的步驟具體包括：

所述服務器控制所述虛擬操作系統對所述動態IP池中的IP進行排序，根據排序結果依次選擇所述IP訪問所述數據源。

5.如權利要求4所述的數據抓取系統，其特征在于，所述根據排序結果依次選擇所述IP訪問所述數據源的步驟具體包括：

判斷通過當前的IP訪問數據源的時間是否達到預設值；

若是，則斷開與網絡的連接，根據所述排序結果通過當前IP的下一個IP訪問所述數據源；

若否，繼續訪問所述數據源。

6.一種數據抓取系統，其特征在于，所述數據抓取方法包括：

S101：創建虛擬操作系統，并控制至少兩個虛擬操作系統與交換機連接的至少兩個撥號網絡連接，其中，每個撥號網絡在所述交換機上的對應VLAN號不同，每個虛擬操作系統連接的所述撥號網絡不同，通過所述撥號網絡訪問數據源；

S102：獲取客戶端存儲的動態IP池，控制所述虛擬操作系統根據所述動態IP池中的IP串聯訪問所述數據源以進行數據抓取。

7.如權利要求6所述的數據抓取系統，其特征在于，所述撥號網絡為ADSL撥號網絡。

8.如權利要求6所述的數據抓取系統，其特征在于，所述虛擬操作系統的數量與所述撥號網絡的數量相同，且一一對應。

9.如權利要求6所述的數據抓取系統，其特征在于，所述控制所述虛擬操作系統根據所述動態IP池中的IP串聯訪問所述數據源以進行數據抓取的步驟具體包括：

控制所述虛擬操作系統對所述動態IP池中的IP進行隨機排序，根據排序結果依次選擇所述IP訪問所述數據源。

10.如權利要求9所述的數據抓取系統，其特征在于，所述根據排序結果依次選擇所述IP訪問所述數據源的步驟具體包括：

判斷通過當前的IP訪問數據源的時間是否達到預設值；

若是，則斷開與網絡的連接，根據所述排序結果通過當前IP的下一個IP訪問所述數據源；

若否，繼續訪問所述數據源。