[發(fā)明專利]一種數(shù)據(jù)同步系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201510363927.6
• 申請日: 2015-06-26
• 公開（公告）號: CN105095364B
• 公開（公告）日: 2018-11-23
• 發(fā)明（設(shè)計）人: 何大紅
• 申請（專利權(quán)）人: 車智互聯(lián)（北京）科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京思睿峰知識產(chǎn)權(quán)代理有限公司 11396
• 代理人: 趙愛軍;謝建云

1.一種數(shù)據(jù)同步系統(tǒng)，適于將源數(shù)據(jù)庫中的數(shù)據(jù)同步到目標數(shù)據(jù)庫，該系統(tǒng)包括消息隊列生產(chǎn)者服務(wù)器、第一消息隊列服務(wù)器、第二消息隊列服務(wù)器和消息隊列消費者服務(wù)器，消息隊列生產(chǎn)者服務(wù)器與第一數(shù)據(jù)庫服務(wù)器連接，消息隊列消費者服務(wù)器與第二數(shù)據(jù)庫服務(wù)器連接，源數(shù)據(jù)庫位于第一數(shù)據(jù)庫服務(wù)器中，目標數(shù)據(jù)庫為第二數(shù)據(jù)庫服務(wù)器中，源數(shù)據(jù)庫和目標數(shù)據(jù)庫均包括多個存儲不同類型的數(shù)據(jù)的數(shù)據(jù)庫，其中：

所述消息隊列生產(chǎn)者服務(wù)器包括：

數(shù)據(jù)捕獲單元，適于根據(jù)預(yù)定的捕獲策略捕獲源數(shù)據(jù)庫的變化數(shù)據(jù)；

壓縮單元，適于對捕獲的變化數(shù)據(jù)進行編碼和壓縮；

寫消息隊列單元，適于將編碼和壓縮后的變化數(shù)據(jù)作為消息寫入到第一消息隊列服務(wù)器中的第一消息隊列；

所述第一消息隊列服務(wù)器適于將第一消息隊列中的消息發(fā)送給第二消息隊列服務(wù)器；

所述第二消息隊列服務(wù)器適于將接收到的消息寫入到第二消息隊列服務(wù)器中的第二消息隊列；

所述消息隊列消費者服務(wù)器包括：

讀消息隊列單元，適于從第二消息隊列中讀取消息，得到編碼和壓縮后的變化數(shù)據(jù)；

解壓縮單元，適于對編碼和壓縮后的變化數(shù)據(jù)進行解壓縮及解碼；

數(shù)據(jù)更新單元，適于根據(jù)解壓縮和解碼后的變化數(shù)據(jù)對目標數(shù)據(jù)庫中的數(shù)據(jù)進行更新；

其中所述第一消息隊列服務(wù)器和第二消息隊列服務(wù)器分離設(shè)置，且二者之間具有多條通信鏈路，所述第一消息隊列服務(wù)器還適于根據(jù)預(yù)定策略從所述多條通信鏈路中選擇一條或者一條以上的鏈路進行消息的傳輸。

2.如權(quán)利要求1所述的系統(tǒng)，其中所述捕獲策略包括：

數(shù)據(jù)庫觸發(fā)器、變更數(shù)據(jù)捕獲服務(wù)和應(yīng)用程序級捕獲。

3.如權(quán)利要求2所述的系統(tǒng)，其中所述消息隊列生產(chǎn)者服務(wù)器還包括捕獲策略分配單元，所述捕獲策略分配單元適于：

為數(shù)據(jù)變化源頭已知的數(shù)據(jù)分配應(yīng)用程序級的捕獲策略；

為數(shù)據(jù)變化源頭未知且實時性要求高的數(shù)據(jù)分配數(shù)據(jù)庫觸發(fā)器的捕獲策略；以及

為數(shù)據(jù)變化源頭未知且實時性要求低的數(shù)據(jù)分配變更數(shù)據(jù)捕獲服務(wù)的捕獲策略。

4.如權(quán)利要求1所述的系統(tǒng)，其中所述壓縮單元還適于：

判斷變化數(shù)據(jù)的大小是否大于第一閾值；

如果變化數(shù)據(jù)的大小超過第一閾值，則對變化數(shù)據(jù)進行編碼和壓縮，否則不對變化數(shù)據(jù)進行編碼和壓縮。

5.如權(quán)利要求4所述的系統(tǒng)，其中所述第一閾值為4kb-10kb。

6.如權(quán)利要求1所述的系統(tǒng)，其中所述壓縮單元還適于：

當消息隊列生產(chǎn)者服務(wù)器的網(wǎng)絡(luò)帶寬占用比例小于或等于第二閾值時，通過Gzip程序?qū)ψ兓瘮?shù)據(jù)進行編碼和壓縮；

當消息隊列生產(chǎn)者服務(wù)器的網(wǎng)絡(luò)帶寬占用比例大于第二閾值時，通過7-zip程序?qū)ψ兓瘮?shù)據(jù)進行編碼和壓縮。

7.一種數(shù)據(jù)同步方法，適于將源數(shù)據(jù)庫中的數(shù)據(jù)同步到目標數(shù)據(jù)庫，源數(shù)據(jù)庫位于第一數(shù)據(jù)庫服務(wù)器中，目標數(shù)據(jù)庫為第二數(shù)據(jù)庫服務(wù)器中，源數(shù)據(jù)庫和目標數(shù)據(jù)庫均包括多個存儲不同類型的數(shù)據(jù)的數(shù)據(jù)庫，該方法包括：

根據(jù)預(yù)定的捕獲策略捕獲源數(shù)據(jù)庫的變化數(shù)據(jù)；

對捕獲的變化數(shù)據(jù)進行編碼和壓縮；

將編碼和壓縮后的變化數(shù)據(jù)作為消息寫入到第一消息隊列；

將第一消息隊列中的消息發(fā)送給第二消息隊列；

從第二消息隊列中讀取信息，得到編碼和壓縮后的變化數(shù)據(jù)；

對編碼和壓縮后的變化數(shù)據(jù)進行解壓縮及解碼；

根據(jù)解壓縮和解碼后的變化數(shù)據(jù)對目標數(shù)據(jù)庫中的數(shù)據(jù)進行更新；

其中所述第一消息隊列和第二消息隊列分離設(shè)置，二者之間具有多條通信鏈路，第一消息隊列還適于根據(jù)預(yù)定策略從所述多條通信鏈路中選擇一條或者一條以上的鏈路進行消息的傳輸。

8.如權(quán)利要求7所述的方法，其中所述捕獲策略包括：

數(shù)據(jù)庫觸發(fā)器、變更數(shù)據(jù)捕獲服務(wù)和應(yīng)用程序級捕獲。