[發明專利]數據歸集方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 201910365926.3
• 申請日: 2019-04-30
• 公開（公告）號: CN110069670A
• 公開（公告）日: 2019-07-30
• 發明（設計）人: 彭榮杰;廖衛軍;楊建明
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/906
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種數據歸集方法，其特征在于，所述數據歸集方法包括如下步驟：

實時獲取業務系統產生的業務數據流，從所述業務數據流中提取待同步的業務數據；

將所述待同步的業務數據加入至分布式系統的預設消息隊列中；

將所述預設消息隊列中待同步的業務數據同步至預設的大數據平臺數據庫中。

2.如權利要求1所述的數據歸集方法，其特征在于，所述將所述預設消息隊列中待同步的業務數據同步至預設的大數據平臺數據庫中的步驟包括：

將所述預設消息隊列中待同步的業務數據同步至預設的大數據平臺數據庫的主庫中。

3.如權利要求2所述的數據歸集方法，其特征在于，所述將所述預設消息隊列中待同步的業務數據同步至預設的大數據平臺數據庫的主庫中的步驟之后，還包括：

檢測所述待同步的業務數據同步至所述主庫是否失敗；

當所述待同步的業務數據同步至所述主庫失敗時，將所述待同步的業務數據保存至所述分布式系統的本地磁盤，并將所述待同步的業務數據同步至所述大數據平臺數據庫的備庫中。

4.如權利要求1所述的數據歸集方法，其特征在于，所述將所述待同步的業務數據加入至分布式系統的預設消息隊列中的步驟之后，還包括：

檢測所述待同步的業務數據加入至所述預設消息隊列是否失敗；

當所述待同步的業務數據加入至所述預設消息隊列失敗時，將所述待同步的業務數據保存至所述分布式系統的本地磁盤。

5.如權利要求3或4所述的數據歸集方法，其特征在于，所述數據歸集方法還包括：

定期檢測所述分布式系統的本地磁盤中是否保存有待同步的業務數據；

當檢測到所述分布式系統的本地磁盤中保存有待同步的業務數據時，將所述本地磁盤中保存的待同步的業務數據同步至所述大數據平臺數據庫的主庫中。

6.如權利要求1所述的數據歸集方法，其特征在于，所述數據歸集方法還包括：

定期檢測所述大數據平臺數據庫是否為可用狀態，所述大數據平臺數據庫包括主庫和備庫；

當檢測到所述主庫和/或備庫為不可用狀態時，禁止所述分布式系統向處于不可用狀態的所述主庫和/或備庫同步業務數據。

7.如權利要求1所述的數據歸集方法，其特征在于，所述數據歸集方法還包括：

在預定時間點，獲取所述分布式系統在預設時長內產生的待同步的業務數據；

將所述分布式系統在預設時長內產生的待同步的業務數據同步至所述大數據平臺數據庫中。

8.一種數據歸集裝置，其特征在于，所述數據歸集裝置包括：

第一獲取模塊，用于實時獲取業務系統產生的業務數據流，從所述業務數據流中提取待同步的業務數據；

加入模塊，用于將所述待同步的業務數據加入至分布式系統的預設消息隊列中；

第一同步模塊，用于將所述預設消息隊列中待同步的業務數據同步至預設的大數據平臺數據庫中。

9.如權利要求8所述的數據歸集裝置，其特征在于，

所述第一同步模塊，還用于將所述預設消息隊列中待同步的業務數據同步至預設的大數據平臺數據庫的主庫中。

10.如權利要求9所述的數據歸集裝置，其特征在于，所述數據歸集裝置還包括：

第一檢測模塊，用于檢測所述待同步的業務數據同步至所述主庫是否失敗；

第一處理模塊，用于當所述待同步的業務數據同步至所述主庫失敗時，將所述待同步的業務數據保存至所述分布式系統的本地磁盤，并將所述待同步的業務數據同步至所述大數據平臺數據庫的備庫中。