[發明專利]一種數據采集方法、裝置和系統

有效

• 申請號: 201710860199.9
• 申請日: 2017-09-21
• 公開（公告）號: CN109542595B
• 公開（公告）日: 2023-02-24
• 發明（設計）人: 熊羅凱
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 李輝

本發明實施例公開了一種數據采集方法、裝置和系統，數據采集系統中包括主節點，多個子節點，以及數據庫，主節點可以根據數據采集任務生成多個子任務，由于具有與主節點和多個子節點均相連的數據庫，故主節點并不需要與子節點建立連接以便實時監控各個子節點的負載情況，而可以只需將生成的子任務以及數據采集任務對應的待采集目標隊列保存到與子節點相連的該數據庫中，子節點可以主動從該數據庫中獲取未處理的子任務進行處理，可見通過設置的數據庫，解除了主節點和子節點之間的耦合，主節點不再需要消耗額外的系統資源來監控各個子節點的負載狀態以及維護連接，降低了主節點的負擔。

技術領域

本發明涉及數據處理領域，特別是涉及一種數據采集方法、裝置和系統。

背景技術

目前很多數據處理、數據分析任務都需要依據通過在網絡中采集的相關信息實現，對互聯網數據進行采集需要通過特定的方式，例如網絡爬蟲就屬于進行互聯網數據采集的一種常用技術。

用于進行互聯網數據采集的分布式數據采集系統一般包括多臺服務器，服務器之間采用的是主從式的架構方式，作為主節點的服務器與多臺作為子節點的服務器之間需要保持心跳連接，通過心跳連接所傳輸的信息，主節點可以明確子節點的負載情況，當需要執行數據采集任務時，主節點可以選擇負載較輕的子節點來處理。

但是，為了維持數據采集系統，主節點需要消耗大量系統資源來實時監控各個子節點的負載情況以及維護與子節點之間的連接，導致主節點的負擔過重。

發明內容

為了解決上述技術問題，本發明提供了一種數據采集方法、裝置和系統，主節點不再需要消耗額外的系統資源來監控各個子節點的負載狀態以及維護連接，降低了主節點的負擔。

本發明實施例公開了如下技術方案：

第一方面，本發明實施例提供了一種數據采集方法，應用于數據采集系統，所述數據采集系統包括主節點，多個子節點，以及數據庫，所述主節點和所述多個子節點均與所述數據庫通信連接，所述方法包括：

所述主節點根據數據采集任務生成多個子任務；

所述主節點將所述多個子任務以及所述數據采集任務對應的待采集目標隊列存儲至所述數據庫中，以便所述多個子節點從所述數據庫獲取子任務以及對應的目標對象進行數據采集；其中，所述待采集目標隊列中記錄有待采集數據對應的目標對象。

可選的，還包括：

所述主節點從所述數據庫讀取所述多個子任務被子節點處理的處理記錄。

可選的，所述待采集目標隊列包括待采集統一資源定位符URL隊列，所述待采集URL隊列中包括需要被采集數據的URL地址。

可選的，存儲在所述數據庫的所述多個子任務具有與用戶標識之間的對應關系，所述用戶標識是發送所述數據采集參數的用戶的標識。

第二方面，本發明實施例提供了一種數據采集裝置，應用于數據采集系統，所述數據采集系統包括主節點，多個子節點，以及數據庫，所述主節點和所述多個子節點均與所述數據庫通信連接，所述裝置包括生成單元和存儲單元：

所述生成單元，用于所述主節點根據數據采集任務生成多個子任務；

所述存儲單元，用于所述主節點將所述多個子任務以及所述數據采集任務對應的待采集目標隊列存儲至所述數據庫中，以便所述多個子節點從所述數據庫獲取子任務以及對應的目標對象進行數據采集；其中，所述待采集目標隊列中記錄有待采集數據對應的目標對象。

可選的，還包括讀取單元：

所述讀取單元，用于所述主節點從所述數據庫讀取所述多個子任務被子節點處理的處理記錄。

可選的，所述待采集目標隊列包括待采集統一資源定位符URL隊列，所述待采集URL隊列中包括需要被采集數據的URL地址。