[發明專利]一種分布式數據采集方法、系統、服務器和存儲介質

在審

• 申請號: 202011035041.6
• 申請日: 2020-09-27
• 公開（公告）號: CN112199567A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 豆興捷
• 申請（專利權）人: 深圳市伊歐樂科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;H04L29/08;G06F9/54
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

1.一種分布式數據采集方法，由分布式爬蟲系統的分節點爬蟲引擎執行，其特征在于，包括：

從分布式爬蟲系統的分節點服務器讀取共享任務隊列，以獲取一個或多個爬蟲任務，所述共享任務隊列由所述分節點服務器從主服務器獲取；

確定所述爬蟲任務的任務參數，所述任務參數包括目標網頁鏈接和數據獲取請求；

將所述目標網頁鏈接和數據獲取請求分發至一個或多個下載器，以使所述下載器在互聯網的目標網頁鏈接發起所述數據獲取請求，獲取目標數據；

向所述分節點服務器返回隊列更新信息，以使所述分節點服務器將更新后的所述共享任務隊列反饋至主服務器并進行同步更新。

2.根據權利要求1所述的一種分布式數據采集方法，其特征在于，所述數據獲取請求包括關鍵請求參數，則所述將所述目標網頁鏈接和數據獲取請求分發至一個或多個下載器，包括：

從預設的IP代理池中獲取一個或多個第一IP；

將所述一個或多個第一IP分配至所述一個或多個下載器；

將所述目標網頁鏈接、數據獲取請求和關鍵請求參數分發至一個或多個下載器，以使每個下載器基于所述第一IP在互聯網的目標網頁鏈接發起所述數據獲取請求，獲取目標數據。

3.根據權利要求2所述的一種分布式數據采集方法，其特征在于，所述將所述目標網頁鏈接、數據獲取請求和關鍵請求參數分發至一個或多個下載器，以使每個下載器基于所述第一IP在互聯網的目標網頁鏈接發起包括所述關鍵請求參數的所述數據獲取請求，獲取目標數據之后，還包括：

判斷所述下載器是否獲取到所述目標數據；

若否，則從所述IP代理池中獲取與所述第一IP不同的第二IP；

將所述第二IP發送至所述下載器，以使所述下載器基于所述第二IP在互聯網的目標網頁鏈接發起所述數據獲取請求，獲取目標數據。

4.根據權利要求1所述的一種分布式數據采集方法，其特征在于，所述從分布式爬蟲系統的分節點服務器讀取共享任務隊列，以獲取一個或多個爬蟲任務，還包括：

實時監聽所述共享任務隊列，以判斷所述共享任務隊列中是否有所述爬蟲任務；

若有，則獲取所述爬蟲任務。

5.根據權利要求1所述的一種分布式數據采集方法，其特征在于，所述將所述目標網頁鏈接和數據獲取請求分發至一個或多個下載器，以使所述下載器在互聯網的目標網頁鏈接發起所述數據獲取請求，獲取目標數據之后，還包括：

判斷所述目標數據中是否包括新增的所述任務參數；

若有，則基于所述任務參數生成所述爬蟲任務；

將所述爬蟲任務添加至所述共享任務隊列。

6.根據權利要求1所述的一種分布式數據采集方法，其特征在于，所述分布式爬蟲系統基于docker架構，則還包括：基于用戶需求，通過docker架構執行擴展和/或拆除爬蟲服務。

7.一種分布式數據采集系統，其特征在于，包括：

獲取模塊，用于從分布式爬蟲系統的分節點服務器讀取共享任務隊列，以獲取一個或多個爬蟲任務，所述共享任務隊列由所述分節點服務器從主服務器獲取；

任務參數確定模塊，用于確定所述爬蟲任務的任務參數，所述任務參數包括目標網頁鏈接和數據獲取請求；

采集模塊，用于將所述目標網頁鏈接和數據獲取請求分發至一個或多個下載器，以使所述下載器在互聯網的目標網頁鏈接發起所述數據獲取請求，獲取目標數據；

同步更新模塊，用于向所述分節點服務器返回隊列更新信息，以使所述分節點服務器將更新后的所述共享任務隊列反饋至主服務器并進行同步更新。

8.根據權利要求7所述的一種分布式數據采集系統，其特征在于，所述數據獲取請求包括關鍵請求參數，則所述采集模塊還用于從預設的IP代理池中獲取第一IP；將所述第一IP分配至所述下載器；將所述目標網頁鏈接、數據獲取請求和關鍵請求參數分發至一個或多個下載器，以使每個下載器基于不同的第一IP在互聯網的目標網頁鏈接發起所述數據獲取請求，獲取目標數據。