[發明專利]一種數據庫之間數據的準實時同步方法及裝置

在審

• 申請號: 201711228006.4
• 申請日: 2017-11-29
• 公開（公告）號: CN107943979A
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 趙連睿;王震;趙斌;王東寧;肖付寒
• 申請（專利權）人: 山東魯能軟件技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南圣達知識產權代理有限公司37221
• 代理人: 張勇

1.一種數據庫之間數據的準實時同步方法，其特征在于，該方法包括：

建立源端數據庫與目標端數據庫的數據同步環境；

建立目標端數據庫與源端數據庫的數據同步對應關系，并基于此對目標端數據庫進行初始化；

將數據從源端數據庫準實時同步至目標端數據庫；

所述源端數據庫為異構數據庫，所述目標端數據庫為Kudu數據庫。

2.如權利要求1所述的方法，其特征在于，所述建立源端數據庫與目標端數據庫的數據同步環境的具體步驟為：

在源端數據庫與目標端數據庫安裝相同的數據復制備份軟件并配置；

在目標端數據庫安裝發布訂閱消息系統并配置。

3.如權利要求1所述的方法，其特征在于，所述異構數據庫為Oracle數據庫；

所述源端的Oracle數據庫安裝數據復制備份軟件，所述數據復制備份軟件采用OGG軟件；

所述目標端的Kudu數據庫安裝與所述源端的Oracle數據庫相同的數據復制備份軟件，所述數據復制備份軟件采用OGG軟件；

所述目標端的Kudu數據庫安裝發布訂閱消息系統，所述發布訂閱消息系統采用kafka軟件。

4.如權利要求3所述的方法，其特征在于，在源端的Oracle數據庫安裝數據復制備份軟件進行配置的具體步驟包括：

配置OGG管理器mgr；

配置extract進程進行捕獲數據；

配置pump進程將捕獲的數據通過TCP/IP協議發送到目標端的Kudu數據庫。

5.如權利要求3所述的方法，其特征在于，在目標端的Kudu數據庫安裝與所述源端的Oracle數據庫相同的數據復制備份軟件進行配置的具體步驟包括：

配置ogg管理器mgr；

配置replicate進程將源端的Oracle數據庫傳輸過來的數據解析后發送至所述發布訂閱消息系統kafka的消息隊列中。

6.如權利要求3所述的方法，其特征在于，所述目標端的Kudu數據庫安裝發布訂閱消息系統進行配置的具體步驟包括：

創建與源端的Oracle數據庫同步數據相應的topic；

將partition的數目設置為1。

7.如權利要求2所述的方法，其特征在于，所述建立源端數據庫與目標端數據庫的數據同步環境還包括：

在安裝數據復制備份軟件前，指定源端數據庫和目標端數據庫信息，包括源端數據庫和目標端數據庫的同步數據所在的的表、所涉及的所有字段和數據類型。

8.如權利要求1所述的方法，其特征在于，所述對應關系包括表名、字段和數據類型；將目標端數據庫的表名、字段和數據類型與源端數據庫保持一致。

或

所述將數據從源端數據庫準實時同步至目標端數據庫的具體步驟包括：

目標端數據庫的應用層解析發布訂閱消息系統中的日志記錄，得到解析結果；

從解析結果中獲取源端數據庫中變化的信息，確定變化的數據；

將變化的數據應用到目標端數據庫中。

或

所述解析結果中獲取源端數據庫中變化的信息包括數據表的主鍵信息，數據操作類型，操作時間戳。

9.一種電子設備，包括處理器和計算機可讀存儲介質，處理器用于實現各指令；計算機可讀存儲介質用于存儲多條指令，所述指令用于執行根據權利要求1-8中任一項所述的方法。

10.一種計算機可讀存儲介質，其中存儲有多條計算機可執行指令，所述指令適于由終端設備設備的處理器加載并執行根據權利要求1-8中任一項所述的方法。