[發明專利]數據歸集方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 201910365926.3
• 申請日: 2019-04-30
• 公開（公告）號: CN110069670A
• 公開（公告）日: 2019-07-30
• 發明（設計）人: 彭榮杰;廖衛軍;楊建明
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/906
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

本發明公開了一種數據歸集方法，該方法包括：實時獲取業務系統產生的業務數據流，從所述業務數據流中提取待同步的業務數據；將所述待同步的業務數據加入至分布式系統的預設消息隊列中；將所述預設消息隊列中待同步的業務數據同步至預設的大數據平臺數據庫中。本發明還公開了一種數據歸集裝置、設備和一種計算機可讀存儲介質。本發明能夠提高業務數據歸集到大數據平臺的實效性。

技術領域

本發明涉及金融科技(Fintech)技術領域，尤其涉及數據歸集方法、裝置、設備及計算機可讀存儲介質。

背景技術

隨著計算機技術的發展，越來越多的技術(大數據、分布式、區塊鏈Blockchain、人工智能等)應用在金融領域，傳統金融業正在逐步向金融科技(Fintech)轉變，但由于金融行業的安全性、實時性要求，也對技術提出了更高的要求。

目前，大型商業銀行的分布式系統中的業務數據一般歸集到大數據平臺統一存儲，其歸集方式為：隔日從分布式系統的每個子系統的數據庫，一次性將昨日數據歸集到大數據平臺。這種方式的缺陷在于：實效性不高，即無法實現數據的準實時歸集，導致無法滿足某些實際業務場景(如賬務查詢)中對業務數據的實時查詢要求。

發明內容

本發明的主要目的在于提出一種數據歸集方法、裝置、設備及計算機可讀存儲介質，旨在提高業務數據歸集到大數據平臺的實效性。

為實現上述目的，本發明提供一種數據歸集方法，所述數據歸集方法包括如下步驟：

實時獲取業務系統產生的業務數據流，從所述業務數據流中提取待同步的業務數據；

將所述待同步的業務數據加入至分布式系統的預設消息隊列中；

將所述預設消息隊列中待同步的業務數據同步至預設的大數據平臺數據庫中。

優選地，所述將所述預設消息隊列中待同步的業務數據同步至預設的大數據平臺數據庫中的步驟包括：

將所述預設消息隊列中待同步的業務數據同步至預設的大數據平臺數據庫的主庫中。

優選地，所述將所述預設消息隊列中待同步的業務數據同步至預設的大數據平臺數據庫的主庫中的步驟之后，還包括：

檢測所述待同步的業務數據同步至所述主庫是否失??；

當所述待同步的業務數據同步至所述主庫失敗時，將所述待同步的業務數據保存至所述分布式系統的本地磁盤，并將所述待同步的業務數據同步至所述大數據平臺數據庫的備庫中。

優選地，所述將所述待同步的業務數據加入至分布式系統的預設消息隊列中的步驟之后，還包括：

檢測所述待同步的業務數據加入至所述預設消息隊列是否失?。?/p>

當所述待同步的業務數據加入至所述預設消息隊列失敗時，將所述待同步的業務數據保存至所述分布式系統的本地磁盤。

優選地，所述數據歸集方法還包括：

定期檢測所述分布式系統的本地磁盤中是否保存有待同步的業務數據；

當檢測到所述分布式系統的本地磁盤中保存有待同步的業務數據時，將所述本地磁盤中保存的待同步的業務數據同步至所述大數據平臺數據庫的主庫中。

優選地，所述數據歸集方法還包括：

定期檢測所述大數據平臺數據庫是否為可用狀態，所述大數據平臺數據庫包括主庫和備庫；

當檢測到所述主庫和/或備庫為不可用狀態時，禁止所述分布式系統向處于不可用狀態的所述主庫和/或備庫同步業務數據。

優選地，所述數據歸集方法還包括：