[發明專利]一種基于CMSP的DRDB數據庫數據同步的方法

在審

• 申請號: 202010741669.1
• 申請日: 2020-07-29
• 公開（公告）號: CN111881214A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 張明;孫思清;李朝銘
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/54
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 闞恭勇

本發明提供一種基于CMSP的DRDB數據庫數據同步的方法，屬于數據庫同步技術領域，本發明通過抽象相關邏輯組件，職責分離，定義消息格式與模型，實現其他數據庫到DRBD的數據庫元信息、記錄消息的同步，在較小的犧牲下，兼顧全量同步的吞吐量與增量同步的實效性。

技術領域

本發明涉及包括異源數據庫數據類型的自動映射，類型轉換，消息構建分發同步方法，組件間協定等技術，尤其涉及一種基于CMSP的DRDB數據庫數據同步的方法。

背景技術

現在主要的數據庫同步手段包括離線同步與在線同步兩種。離線同步主要是采用持久化為中間文件的方式，具有吞吐量大、通用性強的特點；在線同步一般對于同種數據庫之間采用私有協議實現主備，主從副本等方案實現，具有實時性強，性能高等優勢。但是兩者或多或少的也存在其相應的缺陷。

離線同步

數據需要周期性持久化為中間文件，不適用于實時性要求較高的場景。雖然可以通過定制持久化時間切片提高實時性，但是切片時間難以確定，切片過大，實時性難以保證。切片過小性能無法保證。

對于大多數離線方案，只能實現數據的全量備份，實現增量數據的獲取。

通過中間文件同步的方式，無法解決不同數據庫間，內建類型的差異。存在額外信息丟失的問題，例如時區信息、字段注解等。對于原數據庫的附加信息需要人工干預，自動化程度較低。

在線同步

在線同步主要分為兩類，一種采用私有協議進行同步，無法適用于其他種類數據庫，通用性不強。一般而言，此種方式的同步，采用的是全副本同步，即針對的是整個庫或者整個表作為顆粒度，無法具體到具體表的相關字段。

另一種在線模式，數據采集端與數據導入端統一集成在一個程序內，整個數據在程序內部進行流轉，雖然避免了數據在進程間的交換但靈活性較低，且開發技術具有局限性，要求所有實現技術棧統一。同時，一體性的架構，決定了此種模式，對于數據源與數據目的無法兼顧，在某些應用場景下，應用受限。

發明內容

為了解決以上技術問題，本發明提供了一種基于CMSP的DRDB數據庫數據同步的方法，實現其他多源數據庫到NewSQL的數據同步，盡可能自動實現數據的構建同步轉化操作，且保留盡可能多的原始信息。兼顧全量同步的高吞吐與增量同步的實時性，同時確保方案的通用性與可擴展性，實現數據的采集讀取端與數據的消費寫入端的模塊解耦，使相關模塊盡可能靠近源端和目的端，適用某些特殊場景需求。

本發明的技術方案是：

一種基于CMSP的DRDB數據庫數據同步系統，

分為三個模塊，

作為數據采集端的Reader，即從原始數據源獲取信息的生產者；

作為消息投遞的Transfer,即負責中間消息的投遞者，

作為消息的最終消費者的Writer，即發揮數據的轉換處理、任務構建調度執行的目標庫寫入者。

進一步的，

Reader與Writer之間通過消息協議進行通信，包括用于結構化數據的元信息、控制信息、消息信息的負載。

采用CMSP作為消息轉發投遞的Transfer；

Reader與Writer作為一個統一的抽象稱作Processor，即作為數據的處理單元。

Reader與Writer可以通過進程間內建隊列進行通信；

通過定義統一消息交換格式，用于負載相關元信息、控制信息以及數據信息。

進一步的，