[發(fā)明專利]數(shù)據(jù)歸集方法、裝置、設備及計算機可讀存儲介質

在審

• 申請?zhí)枺?/td>: 201910365926.3
• 申請日: 2019-04-30
• 公開（公告）號: CN110069670A
• 公開（公告）日: 2019-07-30
• 發(fā)明（設計）人: 彭榮杰;廖衛(wèi)軍;楊建明
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/906
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

本發(fā)明公開了一種數(shù)據(jù)歸集方法，該方法包括：實時獲取業(yè)務系統(tǒng)產生的業(yè)務數(shù)據(jù)流，從所述業(yè)務數(shù)據(jù)流中提取待同步的業(yè)務數(shù)據(jù)；將所述待同步的業(yè)務數(shù)據(jù)加入至分布式系統(tǒng)的預設消息隊列中；將所述預設消息隊列中待同步的業(yè)務數(shù)據(jù)同步至預設的大數(shù)據(jù)平臺數(shù)據(jù)庫中。本發(fā)明還公開了一種數(shù)據(jù)歸集裝置、設備和一種計算機可讀存儲介質。本發(fā)明能夠提高業(yè)務數(shù)據(jù)歸集到大數(shù)據(jù)平臺的實效性。

技術領域

本發(fā)明涉及金融科技(Fintech)技術領域，尤其涉及數(shù)據(jù)歸集方法、裝置、設備及計算機可讀存儲介質。

背景技術

隨著計算機技術的發(fā)展，越來越多的技術(大數(shù)據(jù)、分布式、區(qū)塊鏈Blockchain、人工智能等)應用在金融領域，傳統(tǒng)金融業(yè)正在逐步向金融科技(Fintech)轉變，但由于金融行業(yè)的安全性、實時性要求，也對技術提出了更高的要求。

目前，大型商業(yè)銀行的分布式系統(tǒng)中的業(yè)務數(shù)據(jù)一般歸集到大數(shù)據(jù)平臺統(tǒng)一存儲，其歸集方式為：隔日從分布式系統(tǒng)的每個子系統(tǒng)的數(shù)據(jù)庫，一次性將昨日數(shù)據(jù)歸集到大數(shù)據(jù)平臺。這種方式的缺陷在于：實效性不高，即無法實現(xiàn)數(shù)據(jù)的準實時歸集，導致無法滿足某些實際業(yè)務場景(如賬務查詢)中對業(yè)務數(shù)據(jù)的實時查詢要求。

發(fā)明內容

本發(fā)明的主要目的在于提出一種數(shù)據(jù)歸集方法、裝置、設備及計算機可讀存儲介質，旨在提高業(yè)務數(shù)據(jù)歸集到大數(shù)據(jù)平臺的實效性。

為實現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)歸集方法，所述數(shù)據(jù)歸集方法包括如下步驟：

實時獲取業(yè)務系統(tǒng)產生的業(yè)務數(shù)據(jù)流，從所述業(yè)務數(shù)據(jù)流中提取待同步的業(yè)務數(shù)據(jù)；

將所述待同步的業(yè)務數(shù)據(jù)加入至分布式系統(tǒng)的預設消息隊列中；

將所述預設消息隊列中待同步的業(yè)務數(shù)據(jù)同步至預設的大數(shù)據(jù)平臺數(shù)據(jù)庫中。

優(yōu)選地，所述將所述預設消息隊列中待同步的業(yè)務數(shù)據(jù)同步至預設的大數(shù)據(jù)平臺數(shù)據(jù)庫中的步驟包括：

將所述預設消息隊列中待同步的業(yè)務數(shù)據(jù)同步至預設的大數(shù)據(jù)平臺數(shù)據(jù)庫的主庫中。

優(yōu)選地，所述將所述預設消息隊列中待同步的業(yè)務數(shù)據(jù)同步至預設的大數(shù)據(jù)平臺數(shù)據(jù)庫的主庫中的步驟之后，還包括：

檢測所述待同步的業(yè)務數(shù)據(jù)同步至所述主庫是否失敗；

當所述待同步的業(yè)務數(shù)據(jù)同步至所述主庫失敗時，將所述待同步的業(yè)務數(shù)據(jù)保存至所述分布式系統(tǒng)的本地磁盤，并將所述待同步的業(yè)務數(shù)據(jù)同步至所述大數(shù)據(jù)平臺數(shù)據(jù)庫的備庫中。

優(yōu)選地，所述將所述待同步的業(yè)務數(shù)據(jù)加入至分布式系統(tǒng)的預設消息隊列中的步驟之后，還包括：

檢測所述待同步的業(yè)務數(shù)據(jù)加入至所述預設消息隊列是否失敗；

當所述待同步的業(yè)務數(shù)據(jù)加入至所述預設消息隊列失敗時，將所述待同步的業(yè)務數(shù)據(jù)保存至所述分布式系統(tǒng)的本地磁盤。

優(yōu)選地，所述數(shù)據(jù)歸集方法還包括：

定期檢測所述分布式系統(tǒng)的本地磁盤中是否保存有待同步的業(yè)務數(shù)據(jù)；

當檢測到所述分布式系統(tǒng)的本地磁盤中保存有待同步的業(yè)務數(shù)據(jù)時，將所述本地磁盤中保存的待同步的業(yè)務數(shù)據(jù)同步至所述大數(shù)據(jù)平臺數(shù)據(jù)庫的主庫中。

優(yōu)選地，所述數(shù)據(jù)歸集方法還包括：

定期檢測所述大數(shù)據(jù)平臺數(shù)據(jù)庫是否為可用狀態(tài)，所述大數(shù)據(jù)平臺數(shù)據(jù)庫包括主庫和備庫；

當檢測到所述主庫和/或備庫為不可用狀態(tài)時，禁止所述分布式系統(tǒng)向處于不可用狀態(tài)的所述主庫和/或備庫同步業(yè)務數(shù)據(jù)。

優(yōu)選地，所述數(shù)據(jù)歸集方法還包括：