[發明專利]一種數據庫集群節點間數據同步系統

在審

• 申請號: 201810011460.2
• 申請日: 2018-01-05
• 公開（公告）號: CN108090222A
• 公開（公告）日: 2018-05-29
• 發明（設計）人: 程學旗;羅遠浩;鄭天祺;何文婷;余智華;許洪波;曹雷
• 申請（專利權）人: 中國科學院計算技術研究所;中科天璣數據科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 于國富

本發明公開了一種數據庫集群節點間數據同步系統，涉及數據處理領域。所述系統包括配置單元、元數據存儲單元、元數據判斷單元、讀寫判斷單元、Paxos同步單元、日志存儲單元和日志重現單元。本發明解決了現有數據庫同步方法中異步方式可能導致數據庫集群數據不一致的問題，也解決了同步方式可能因為某個節點阻塞導致性能低下的問題；最后，本發明所述數據庫集群節點間數據同步系統也支持不同方向的數據同步，沒有只能將數據從主數據庫同步到從數據庫的限制。

技術領域

本發明涉及數據處理領域，尤其涉及一種數據庫集群節點間數據同步系統。

背景技術

在分布式數據庫系統中，解決單點故障和單點性能瓶頸問題，主要有三種方法：主從復制(Master Slave Replication)、故障轉移群集(Failover Clustering，也稱為主備模式)和多主復制(Multi-Master Replication)。主從復制中，集群中的一個節點被指定為主節點，只有該主節點允許寫操作，其它節點只提供讀操作，只允許一個節點進行寫操作可以更容易實現集群數據的一致性。在主備模式中，正常情況下主節點對外提供服務，一個或多個備節點從主節點中拉取數據進行同步；當主節點異常時，通過選舉算法選取一個備節點取代主節點繼續對外提供服務。在多主復制中，所有主節點都能對外提供讀寫服務，多主復制系統負責將某個主節點的數據更改傳遞給其余主節點，并解決不同主節點成員之間并發更改導致的數據沖突。

不論采用上述三種方式中的哪種方式解決單點故障和單點性能瓶頸問題，最重要的都是實現多個節點之間的數據同步。現有數據庫數據同步方法為兩類：基于事務的同步方法和基于日志的同步方法，這兩種方法都有同步和異步的區別。前者中的異步事務同步方法把數據更改提交到延遲事務隊列，集群中的所有節點會周期性地執行隊列中的事務；前者中的同步事務同步方法使用兩階段提交的方式保證集群中所有節點之間的數據一致性。后者中的異步日志同步方法不等待所有節點返回日志同步成功消息則直接返回；后者中同步日志同步方法則會等待直到所有節點返回日志同步成功才返回操作成功的結果。

雖然基于事務的同步方法和基于日志的同步方法實現了數據庫集群中節點之間的數據同步，但仍存在以下不足：

1、基于事務的同步方法和基于日志的同步方法是針對整個數據庫實例，無法做到DB級或表級的數據同步。

2、現有數據庫同步方法中異步方式可能導致數據庫集群數據不一致的問題，例如：從數據庫中只有部分節點日志同步成功時，如果主數據庫宕機，就會造成從數據庫節點之間數據的不一致。

3、現有數據庫同步方法可能因為某個節點阻塞導致性能低下的問題

同步數據同步方法雖然保證了數據的一致性，但它要求所有從節點都返回日志同步結果后才能實現同步，如果某個從數據庫由于網絡延遲或者性能問題遲遲沒有返回日志同步結果，就會導致阻塞整個集群。

4、現有數據庫同步方法都是單方向的，只能將數據從主數據庫同步到從數據庫，而無法實現任意節點之間的數據同步。

發明內容

本發明的目的在于提供一種數據庫集群節點間數據同步系統，從而解決現有技術中存在的前述問題。

為了實現上述目的，本發明所述數據庫集群節點間數據同步系統，所述系統包括：

配置單元：負責將數據庫集群中需要實現數據同步的多個節點和/或多個表組建成同一個分組；

元數據存儲單元：存儲節點所屬分組的信息、任意一個分組中包含的節點信息和/或表信息；

元數據判斷單元：遍歷SQL語句中涉及的所有表，根據元數據存儲單元中的表信息判斷該SQL語句是否涉及同步表，如果否，則正常執行SQL語句；如果是，則將該同步表信息和SQL語句發送給讀寫判斷單元；