[發明專利]一種數據采集系統

在審

• 申請號: 201911188284.0
• 申請日: 2019-11-28
• 公開（公告）號: CN110910177A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 林楷坤;周寶琛;沈玉琴
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王洋

本申請提供了一種數據采集系統，包括：主節點、子節點、預設數量的采集子節點和合并子節點；主節點，用于將相同數據類型的待采集數據表的數據采集任務作為一個采集任務，得到多個采集任務；子節點，用于分別將每個采集任務中的待采集數據表中屬于同一個數據庫的數據表的數據采集任務，至少被分割為一個采集子任務，得到多個采集子任務；預設數量的采集子節點，用于采用并行的方式執行采集子任務；合并子節點，用于在任意一個待采集數據表在采集子任務下的數據都被采集完成的情況下，將該待采集數據表在采集子任務下的采集數據，寫入預設文件中，得到該待采集數據表的數據采集文件。本申請可以提高數據采集效率。

技術領域

本申請涉及電子信息領域，尤其涉及一種數據采集系統。

背景技術

對于個人客戶權益系統，該系統需要每天采集客戶個人權益信息，并需要將采集到的客戶個人權益信息存儲在數據下傳平臺，供其他系統訂閱。

由于待采集數據表多、每個待采集數據表中的數據量大，并且需要對每個待采集數據表進行采集，需要一種具有高效率的數據采集方案。

發明內容

本申請提供了一種數據采集系統，目的在于數據采集效率低的問題。

為了實現上述目的，本申請提供了以下技術方案：

本申請提供了一種數據采集系統，包括：主節點、子節點、預設數量的采集子節點和合并子節點；

所述主節點，用于將相同數據類型的待采集數據表的數據采集任務作為一個采集任務，得到多個采集任務；

所述子節點，用于分別將每個所述采集任務中的待采集數據表中屬于同一個數據庫的數據表的數據采集任務，至少分割為一個采集子任務，得到多個采集子任務；

所述預設數量的采集子節點，用于采用并行的方式執行所述采集子任務，得到每個采集子任務中的每個待采集數據表在相應的采集子任務下的采集數據；

所述合并子節點，用于在任意一個待采集數據表在采集子任務下的數據都被采集完成的情況下，將該待采集數據表在采集子任務下的采集數據，寫入預設文件中，得到該待采集數據表的數據采集文件。

可選的，所述主節點，還用于在將相同數據類型的待采集數據表的數據采集任務作為一個采集任務，得到多個采集任務之后，向消息隊列中發送第一消息；所述第一消息包括：每個采集任務包含的待采集數據表的名稱；

所述子節點，用于分別將每個所述采集任務中的待采集數據表中屬于同一個數據庫的數據表的采集任務，至少分割為一個采集子任務，得到多個采集子任務，包括：

所述子節點，具體用于在監聽到所述第一消息的情況下，分別將每個所述采集任務中的待采集數據表中屬于同一個數據庫的數據表的采集任務，至少分割為一個采集子任務，得到多個采集子任務。

可選的，所述子節點，用于將任一所述采集任務中的待采集數據表中屬于同一個數據庫的數據表的采集任務，至少分割為一個采集子任務，得到多個采集子任務，包括：

所述子節點，具體用于判斷該采集任務中的目標待采集數據表是否為分庫分表的數據表；在所述目標待采集數據表為分庫分表的情況下，將所述目標待采集數據表中屬于同一個數據庫的數據表的采集任務，作為一個采集子任務，得到多個采集子任務；所述目標待采集數據表為該采集任務中的任一待采集數據表。

可選的，所述子節點，還用于在分別將每個所述采集任務中的待采集數據表中屬于同一個數據庫的數據表的采集任務，至少分割為一個采集子任務，得到多個采集子任務之后，向消息隊列發送第二消息；所述第二消息包括：每個采集子任務分別對應的數據庫編號，以及每個采集子任務中的每個待采集數據表分別在對應的數據庫中的數據表名稱；