[發明專利]一種數據同步系統和方法

有效

• 申請號: 201510363927.6
• 申請日: 2015-06-26
• 公開（公告）號: CN105095364B
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 何大紅
• 申請（專利權）人: 車智互聯（北京）科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京思睿峰知識產權代理有限公司 11396
• 代理人: 趙愛軍;謝建云

本發明公開了一種數據同步系統，適于將源數據庫中的數據同步到目標數據庫，該系統包括消息隊列生產者服務器、第一消息隊列服務器、第二消息隊列服務器和消息隊列消費者服務器，其中：所述消息隊列生產者服務器適于根據預定的捕獲策略捕獲源數據庫的變化數據，對捕獲的變化數據進行編碼和壓縮后，寫入到第一消息隊列服務器中的第一消息隊列；所述第一消息隊列服務器適于將第一消息隊列中的消息發送給第二消息隊列服務器中的第二消息隊列；所述消息隊列消費者服務器適于對第二消息隊列中的編碼和壓縮后的變化數據進行解壓縮及解碼，并根據解壓縮和解碼后的變化數據對目標數據庫中的數據進行更新。本發明還公開了相應的數據同步方法。

技術領域

本發明涉及數據庫技術領域，特別涉及一種數據同步系統和方法。

背景技術

隨著業務與用戶規模的不斷增加，傳統的單一互聯網數據中心(Internet DataCenter，IDC)機房已不能滿足企業的發展需求，跨地域的互聯網數據中心建設由此產生，多活的異地數據中心需要有數據實時性和一致性的解決方案，而業界現有方案(例如SQLServer數據庫自身的數據復制方案、MySQL數據同步方案等)，沒法滿足需求。

SQL Server 2008數據庫復制是通過發布/訂閱的機制進行多臺服務器之間的數據同步，被廣泛應用于數據庫的同步備份。這里的同步備份指的是備份服務器與主服務器進行實時數據同步，正常情況下只使用主數據庫服務器，備份服務器只在主服務器出現故障時投入使用。它是一種優于文件備份的數據庫備份解決方案，采用基于快照的事務復制，主數據庫服務器生成快照，備份庫服務器讀取并加載該快照，然后不停地從主數據庫服務器復制事務日志。但是，基于快照的事務復制已不能滿足跨互聯網數據中心進行數據同步時高性能、低延時需求。另外，現有方案復制時，數據庫表都必須有主鍵，沒有建主鍵不能同步，但現實中有高速寫表的應用場景，這類場景不需要主鍵(可以使數據插入更快)，可見現有方案并不能適應這類場景。

因此，需要一種高性能、低延時的跨互聯網數據中心進行數據同步的方案。

發明內容

為此，本發明提供一種新的數據同步系統和方法，以力圖解決或者至少緩解上面存在的問題。

根據本發明的一個方面，提供一種數據同步系統，適于將源數據庫中的數據同步到目標數據庫，該系統包括消息隊列生產者服務器、第一消息隊列服務器、第二消息隊列服務器和消息隊列消費者服務器，其中：消息隊列生產者服務器包括：數據捕獲單元，適于根據預定的捕獲策略捕獲源數據庫的變化數據；壓縮單元，適于對捕獲的變化數據進行編碼和壓縮；寫消息隊列單元，適于將編碼和壓縮后的變化數據作為消息寫入到第一消息隊列服務器中的第一消息隊列；消息隊列服務器適于將第一消息隊列中的消息發送給第二消息隊列服務器；第二消息隊列服務器適于將接收到的消息寫入到第二消息隊列服務器中的第二消息隊列；消息隊列消費者服務器包括：讀消息隊列單元，適于從第二消息隊列中讀取消息，得到編碼和壓縮后的變化數據；解壓縮單元，適于對編碼和壓縮后的變化數據進行解壓縮及解碼；數據更新單元，適于根據解壓縮和解碼后的變化數據對目標數據庫中的數據進行更新。

可選地，在根據本發明的數據同步系統中，捕獲策略包括：數據庫觸發器、變更數據捕獲服務和應用程序級捕獲。

可選地，在根據本發明的數據同步系統中，消息隊列生產者服務器還包括捕獲策略分配單元，捕獲策略分配單元適于：為數據變化源頭已知的數據分配應用程序級的捕獲策略；為數據變化源頭未知且實時性要求高的數據分配數據庫觸發器的捕獲策略；以及為數據變化源頭未知且實時性要求低的數據分配變更數據捕獲服務的捕獲策略。

可選地，在根據本發明的數據同步系統中，壓縮單元還適于：判斷變化數據的大小是否大于第一閾值；如果變化數據的大小超過第一閾值，則對變化數據進行編碼和壓縮，否則不對變化數據進行編碼和壓縮。

可選地，在根據本發明的數據同步系統中，第一閾值為4kb-10kb。