[發明專利]一種數據庫之間數據的準實時同步方法及裝置

在審

• 申請號: 201711228006.4
• 申請日: 2017-11-29
• 公開（公告）號: CN107943979A
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 趙連睿;王震;趙斌;王東寧;肖付寒
• 申請（專利權）人: 山東魯能軟件技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南圣達知識產權代理有限公司37221
• 代理人: 張勇

技術領域

本發明屬于數據庫遷移的技術領域，涉及一種數據庫之間數據的準實時同步方法及裝置，尤其是涉及一種將數據從傳統的異構數據庫準實時同步至Kudu數據庫的方法及裝置。

背景技術

Kudu數據庫是Cloudera開源的新型列式存儲數據庫，是Apache Hadoop生態圈的新成員之一(incubating)，對快速變化的數據提供了高效的快速的數據分析能力。

目前，將Oracle存儲的結構化數據準實時同步到Hadoop集群做實時計算是一種常見的數據處理手段，Oracle Golden Gate軟件是Oracle官方提供的一種基于日志的結構化數據復制備份軟件，它通過解析源數據庫在線日志或歸檔日志獲得數據的增量變化，再將這些變化應用到目標數據庫，從而實現源數據庫與目標數據庫同步。OGG目前可以和HDFS，HBase，Storm，Flume，Kafka等平臺進行實時的數據集成，可以實現Oracle數據實時加載到大數據平臺進行分析。

但是，目前Oracle數據庫在數據庫數據轉移上存在一項技術上的難題，Oracle官方提供的OGG尚不支持Oracle數據庫對kudu數據庫同步，從Oracle數據庫無法將數據準實時同步至Kudu數據庫；目前傳統的異構數據庫數據同步的方法均不支持對Kudu數據庫數據同步更新。然而，由于Kudu數據庫具有高效快速的數據分析能力，亟需一種將數據從傳統的異構數據庫準實時同步至Kudu數據庫的方法及裝置。

綜上所述，針對現有技術在數據庫遷移中如何將數據從傳統的異構數據庫準實時同步至Kudu數據庫的問題，尚缺乏有效的解決方案。

發明內容

針對現有技術中存在的不足，解決現有技術在數據庫遷移中如何將數據從傳統的異構數據庫準實時同步至Kudu數據庫的問題，本發明提供了一種數據庫之間數據的準實時同步方法及裝置，尤其是一種實用性強的將數據從傳統的異構數據庫準實時同步至Kudu數據庫的方法及裝置。

本發明的第一目的是提供一種數據庫之間數據的準實時同步方法。

為了實現上述目的，本發明采用如下一種技術方案：

一種數據庫之間數據的準實時同步方法，該方法包括：

建立源端數據庫與目標端數據庫的數據同步環境；

建立目標端數據庫與源端數據庫的數據同步對應關系，并基于此對目標端數據庫進行初始化；

將數據從源端數據庫準實時同步至目標端數據庫；

所述源端數據庫為異構數據庫，所述目標端數據庫為Kudu數據庫。

作為進一步的優選方案，所述建立源端數據庫與目標端數據庫的數據同步環境的具體步驟為：

在源端數據庫與目標端數據庫安裝相同的數據復制備份軟件并配置；

在目標端數據庫安裝發布訂閱消息系統并配置。

作為進一步的優選方案，所述異構數據庫為Oracle數據庫；

所述源端的Oracle數據庫安裝數據復制備份軟件，所述數據復制備份軟件采用OGG軟件；

所述目標端的Kudu數據庫安裝與所述源端的Oracle數據庫相同的數據復制備份軟件，所述數據復制備份軟件采用OGG軟件；

所述目標端的Kudu數據庫安裝發布訂閱消息系統，所述發布訂閱消息系統采用kafka軟件。

作為進一步的優選方案，在源端的Oracle數據庫安裝數據復制備份軟件進行配置的具體步驟包括：

配置OGG管理器mgr；

配置extract進程進行捕獲數據；

配置pump進程將捕獲的數據通過TCP/IP協議發送到目標端的Kudu數據庫。

作為進一步的優選方案，在目標端的Kudu數據庫安裝與所述源端的Oracle數據庫相同的數據復制備份軟件進行配置的具體步驟包括：

配置ogg管理器mgr；

配置replicate進程將源端的Oracle數據庫傳輸過來的數據解析后發送至所述發布訂閱消息系統kafka的消息隊列中。

作為進一步的優選方案，所述目標端的Kudu數據庫安裝發布訂閱消息系統進行配置的具體步驟包括：

創建與源端的Oracle數據庫同步數據相應的topic；

將partition的數目設置為1。

作為進一步的優選方案，所述建立源端數據庫與目標端數據庫的數據同步環境還包括：

在安裝數據復制備份軟件前，指定源端數據庫和目標端數據庫信息，包括源端數據庫和目標端數據庫的同步數據所在的的表、所涉及的所有字段和數據類型。