[發明專利]一種數據采集系統

在審

• 申請號: 201911188284.0
• 申請日: 2019-11-28
• 公開（公告）號: CN110910177A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 林楷坤;周寶琛;沈玉琴
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王洋

1.一種數據采集系統，其特征在于，包括：主節點、子節點、預設數量的采集子節點和合并子節點；

所述主節點，用于將相同數據類型的待采集數據表的數據采集任務作為一個采集任務，得到多個采集任務；

所述子節點，用于分別將每個所述采集任務中的待采集數據表中屬于同一個數據庫的數據表的數據采集任務，至少分割為一個采集子任務，得到多個采集子任務；

所述預設數量的采集子節點，用于采用并行的方式執行所述采集子任務，得到每個采集子任務中的每個待采集數據表在相應的采集子任務下的采集數據；

所述合并子節點，用于在任意一個待采集數據表在采集子任務下的數據都被采集完成的情況下，將該待采集數據表在采集子任務下的采集數據，寫入預設文件中，得到該待采集數據表的數據采集文件。

2.根據權利要求1所述的系統，其特征在于，所述主節點，還用于在將相同數據類型的待采集數據表的數據采集任務作為一個采集任務，得到多個采集任務之后，向消息隊列中發送第一消息；所述第一消息包括：每個采集任務包含的待采集數據表的名稱；

所述子節點，用于分別將每個所述采集任務中的待采集數據表中屬于同一個數據庫的數據表的采集任務，至少分割為一個采集子任務，得到多個采集子任務，包括：

所述子節點，具體用于在監聽到所述第一消息的情況下，分別將每個所述采集任務中的待采集數據表中屬于同一個數據庫的數據表的采集任務，至少分割為一個采集子任務，得到多個采集子任務。

3.根據權利要求2所述的系統，其特征在于，所述子節點，用于將任一所述采集任務中的待采集數據表中屬于同一個數據庫的數據表的采集任務，至少分割為一個采集子任務，得到多個采集子任務，包括：

所述子節點，具體用于判斷該采集任務中的目標待采集數據表是否為分庫分表的數據表；在所述目標待采集數據表為分庫分表的情況下，將所述目標待采集數據表中屬于同一個數據庫的數據表的采集任務，作為一個采集子任務，得到多個采集子任務；所述目標待采集數據表為該采集任務中的任一待采集數據表。

4.根據權利要求1所述的系統，其特征在于，所述子節點，還用于在分別將每個所述采集任務中的待采集數據表中屬于同一個數據庫的數據表的采集任務，至少分割為一個采集子任務，得到多個采集子任務之后，向消息隊列發送第二消息；所述第二消息包括：每個采集子任務分別對應的數據庫編號，以及每個采集子任務中的每個待采集數據表分別在對應的數據庫中的數據表名稱；

所述預設數量的采集子節點，用于執行任一采集子任務，得到該采集子任務中的每個待采集數據表在該采集子任務下的采集數據，包括：

所述預設數量的采集子節點，具體用于在監聽到所述第二消息的情況下，分別對所述第二消息中該采集子任務中的每個待采集數據表對應的數據表名稱指示的數據表，進行數據采集，得到該采集子任務中的每個待采集數據表在該采集子任務下的采集數據。

5.根據權利要求4所述的系統，其特征在于，任一所述采集子節點，用于對任一采集子任務中的任一待采集數據表對應的數據表名稱指示的數據表，進行數據采集，包括：

該采集子節點，具體用于分別針對每個省，對該待采集數據表對應的數據表名稱指示的數據表進行數據采集，得到該待采集數據表在該采集子任務下每個省的采集數據。

6.根據權利要求5所述的系統，其特征在于，該采集子節點，用于分別針對每個省，對該待采集數據表對應的數據表名稱指示的數據表進行數據采集，得到該待采集數據表在該采集子任務下每個省的采集數據，包括：

該采集子節點，具體用于獲取待采集字段映射表；所述待采集字段映射表包括待采集的字段名稱、順序和格式；按照所述待采集字段映射表，分別針對每個省，對該待采集數據表對應的數據表名稱指示的數據表進行數據采集，得到該待采集數據表在該采集子任務下每個省的采集數據。