[發明專利]分布式異構數據庫系統的數據同步方法及裝置

在審

• 申請號: 201910084472.2
• 申請日: 2019-01-29
• 公開（公告）號: CN109885617A
• 公開（公告）日: 2019-06-14
• 發明（設計）人: 沈贇;翁曉俊;劉雪晶;王能
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王天堯;任默聞

本發明公開了一種分布式異構數據庫系統的數據同步方法及裝置，其中方法包括：獲取一組或多組操作指令和操作信息，將所述操作指令和操作信息發送至第一數據庫集群，所述操作指令包括：插入數據、更新數據或刪除數據，所述操作信息包括：操作位置與數據值；接收第一數據庫集群根據每組操作指令和操作信息修改對應操作位置處的數據后返回的操作結果；根據各操作結果，將對應的操作指令和操作信息打包為消息發出，所述消息用于對第二數據庫集群中對應的操作位置進行數據同步，避免不同類型數據庫系統之間無法及時感知數據的變化，有效提高數據查詢與分析的準確率。

技術領域

本發明涉及計算機應用領域，尤其涉及分布式異構數據庫系統的數據同步方法及裝置。

背景技術

在信息數據爆炸式增長的今天，大數據已成為企業的一項重要戰略資產。目前，大數據處理主要分為兩類：第一類以聯機分析處理(On-Line Analytical Processing，簡稱為OLAP)為代表，針對海量數據的挖掘、復雜的分析計算；第二類以聯機事務處理(On-linetransaction processing，簡稱為OLTP)為代表，包括傳統交易型操作以及海量數據的實時訪問。為了同時滿足上述兩類數據處理的需求，大型企業在設計應用系統時，會根據業務場景使用不同類型的分布式數據庫系統。因此，同樣的一份數據分布在不同的物理位置上，表現為分布式異構的數據庫系統環境。

在現有的分布式異構數據庫系統中，不同類型的數據庫系統之間彼此信息孤立，當本地數據表內容發生變化時，異地數據表難以及時感知到變化。例如，用戶在OLTP類型數據庫插入一條數據后，使用OLAP類型數據庫對同一批數據進行分析處理時，由于未能及時感知到用戶已通過OLTP類型數據庫對數據進行了修改，在使用OLAP類型數據庫進行分析處理時，采用的是原始未修改的數據，這將導致數據分析不準確；另外，在大數據量前提下進行數據同步時，對網絡壓力、磁盤I/O、存儲容量都會有壓力，非常消耗計算資源，嚴重的會影響正常業務運行。

發明內容

本發明實施例提供一種分布式異構數據庫系統的數據同步方法，用以在分布式異構數據庫系統環境下對數據進行同步，避免不同類型數據庫系統之間無法及時感知數據的變化，有效提高數據查詢與分析的準確率，該方法包括：

獲取一組或多組操作指令和操作信息，將所述操作指令和操作信息發送至第一數據庫集群，所述操作指令包括：插入數據、更新數據或刪除數據，所述操作信息包括：操作位置與數據值；

接收第一數據庫集群根據每組操作指令和操作信息修改對應操作位置處的數據后返回的操作結果；

根據各操作結果，將對應的操作指令和操作信息打包為消息發出，所述消息用于對第二數據庫集群中對應的操作位置進行數據同步。

本發明實施例通過獲取一組或多組操作指令和操作信息，將操作指令和操作信息發送至第一數據庫集群，操作指令包括：插入數據、更新數據或刪除數據，操作信息包括：操作位置與數據值，接收第一數據庫集群根據每組操作指令和操作信息修改對應操作位置處的數據后返回的操作結果，最后根據各操作結果，將對應的操作指令和操作信息打包為消息發出，消息用于對第二數據庫集群中對應的操作位置進行數據同步，避免不同類型數據庫系統之間無法及時感知數據的變化，有效提高數據查詢與分析的準確率。

本發明實施例提供一種分布式異構數據庫系統的數據同步方法，用以在分布式異構數據庫系統環境下對數據進行同步，避免因不同類型數據庫系統之間無法及時感知數據變化造成的數據分析不準確，并且在實時同步數據的同時，有效節省資源消耗，保障系統的正常運行，該方法包括：

獲取設定數量的消息，所述消息包括操作指令和操作信息，所述操作指令和操作信息與第一數據庫集群的操作結果相對應，所述操作結果為第一數據庫集群根據每組操作指令和操作信息修改對應操作位置處的數據后返回的；

對同一操作位置的消息進行合并，根據合并后的消息對第二類型數據庫系統中對應的操作位置進行數據同步。