[發(fā)明專利]數(shù)據(jù)實(shí)時(shí)同步系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201410176486.4
• 申請(qǐng)日: 2014-04-29
• 公開(kāi)（公告）號(hào): CN103942324A
• 公開(kāi)（公告）日: 2014-07-23
• 發(fā)明（設(shè)計(jì)）人: 王堃;莫增文;韓亞榮;史麗坤;孫浩宇;王強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 北京中科啟信軟件技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;H04L29/08
• 代理公司: 北京匯澤知識(shí)產(chǎn)權(quán)代理有限公司 11228
• 代理人: 朱振德

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)同步技術(shù)領(lǐng)域，具體地說(shuō)，是一種數(shù)據(jù)實(shí)時(shí)同步的系統(tǒng)及方法。

背景技術(shù)

本發(fā)明針對(duì)多個(gè)數(shù)據(jù)庫(kù)之間同步部分?jǐn)?shù)據(jù)源的需求，提出多路數(shù)據(jù)同步方法和實(shí)現(xiàn)這一方法的系統(tǒng)，解決了全量和增量同步需求帶來(lái)的數(shù)據(jù)冗余問(wèn)題，系統(tǒng)通過(guò)采用通用數(shù)據(jù)緩存機(jī)制，降低了一次同步不成功帶來(lái)的源端數(shù)據(jù)庫(kù)節(jié)點(diǎn)的壓力，系統(tǒng)通過(guò)采用雙機(jī)制的數(shù)據(jù)傳輸方式，解決了高吞吐實(shí)時(shí)數(shù)據(jù)的同步問(wèn)題。

基于網(wǎng)絡(luò)的數(shù)據(jù)共享已成為人們獲得最新數(shù)據(jù)資源不可或缺的方式，而數(shù)據(jù)同步是主要的資源共享手段之一。數(shù)據(jù)同步方式有以下優(yōu)點(diǎn)：高冗余，提高了數(shù)據(jù)的抗災(zāi)容災(zāi)能力；遠(yuǎn)程數(shù)據(jù)本地化，減少了訪問(wèn)數(shù)據(jù)時(shí)的網(wǎng)絡(luò)開(kāi)銷，提高了數(shù)據(jù)訪問(wèn)效率；可以充分利用每個(gè)節(jié)點(diǎn)的CPU和I/O資源，提高整體的數(shù)據(jù)訪問(wèn)效率。

然而，現(xiàn)有的數(shù)據(jù)同步方法實(shí)現(xiàn)簡(jiǎn)單但存在很多問(wèn)題，無(wú)法滿足日益增長(zhǎng)的數(shù)據(jù)共享需求。主要表現(xiàn)在：

（1）傳統(tǒng)的同步方式為簡(jiǎn)單的復(fù)制式同步，缺乏對(duì)各種資源的有機(jī)整合，造成各共享節(jié)點(diǎn)大量冗余數(shù)據(jù)。

（2）傳統(tǒng)的同步方式基本上是基于掃描的數(shù)據(jù)共享，實(shí)時(shí)性差，并且在數(shù)據(jù)沒(méi)有發(fā)生變化時(shí)往往會(huì)耗用無(wú)謂的網(wǎng)絡(luò)帶寬和CPU資源去監(jiān)視數(shù)據(jù)的變化以便及時(shí)同步。當(dāng)對(duì)數(shù)據(jù)同步實(shí)時(shí)性要求增高時(shí)，造成的系統(tǒng)開(kāi)銷是指數(shù)增長(zhǎng)的。

（3）現(xiàn)有的同步方式，要求同步的節(jié)點(diǎn)同時(shí)保持在線，一旦有節(jié)點(diǎn)不在線情況，需要訪問(wèn)數(shù)據(jù)源節(jié)點(diǎn)獲取差異部分?jǐn)?shù)據(jù)，有的甚至要對(duì)全部數(shù)據(jù)進(jìn)行重新同步，大大增加數(shù)據(jù)源節(jié)點(diǎn)的工作負(fù)擔(dān)。

（4）傳統(tǒng)的同步方式基本是針對(duì)傳統(tǒng)的關(guān)系數(shù)據(jù)或文件系統(tǒng)數(shù)據(jù)的，沒(méi)有考慮針對(duì)高吞吐實(shí)時(shí)數(shù)據(jù)的同步方案。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題是提供一種數(shù)據(jù)實(shí)時(shí)同步系統(tǒng)及方法，可以實(shí)現(xiàn)多個(gè)數(shù)據(jù)庫(kù)之間任意標(biāo)簽點(diǎn)數(shù)據(jù)的同步，提高同步的靈活性，并可以降低系統(tǒng)的負(fù)擔(dān)。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種數(shù)據(jù)實(shí)時(shí)同步系統(tǒng)，包括：

同步內(nèi)容管理器，用于根據(jù)用戶配置的數(shù)據(jù)庫(kù)標(biāo)簽點(diǎn)之間的映射關(guān)系獲取同步配置信息；

數(shù)據(jù)訂閱管理器，用于根據(jù)所述同步配置信息生成訂閱請(qǐng)求并發(fā)送到源端數(shù)據(jù)庫(kù)，還用于接收源端數(shù)據(jù)庫(kù)根據(jù)所述訂閱請(qǐng)求生成的訂閱結(jié)果，并將訂閱結(jié)果發(fā)送給所述同步內(nèi)容管理器；

多路任務(wù)調(diào)度器，用于接收所述同步內(nèi)容管理器接收到的訂閱結(jié)果，并對(duì)其中的數(shù)據(jù)進(jìn)行整理和調(diào)度處理；

數(shù)據(jù)篩選器，用于對(duì)所述多路任務(wù)調(diào)度器整理和調(diào)度處理后的數(shù)據(jù)進(jìn)行壓縮處理、濾波處理或條件篩選處理；

實(shí)時(shí)通信中間件，用于將所述數(shù)據(jù)篩選器處理后的數(shù)據(jù)發(fā)送到相應(yīng)的目的端數(shù)據(jù)庫(kù)，完成同步。

進(jìn)一步地，還包括：

通用文件緩存器，用于在無(wú)法與目的端數(shù)據(jù)庫(kù)建立連接時(shí)，對(duì)需要同步的數(shù)據(jù)進(jìn)行緩存；并在與目的端數(shù)據(jù)庫(kù)建立連接后，將緩存的數(shù)據(jù)發(fā)送到目的端數(shù)據(jù)庫(kù)。

進(jìn)一步地，所述實(shí)時(shí)通信中間件在將高頻的小包數(shù)據(jù)發(fā)送到目的端數(shù)據(jù)庫(kù)之前，先將高頻的小包數(shù)據(jù)緩存到內(nèi)存，待緩存的數(shù)據(jù)達(dá)到一定閾值或緩存時(shí)間超出設(shè)定的時(shí)間時(shí)，再將緩存的數(shù)據(jù)發(fā)送到對(duì)應(yīng)目的端數(shù)據(jù)庫(kù)。

進(jìn)一步地，所述數(shù)據(jù)篩選器對(duì)數(shù)據(jù)進(jìn)行條件篩選所依據(jù)的條件由用戶配置或預(yù)先設(shè)置。

進(jìn)一步地，所述實(shí)時(shí)通信中間件根據(jù)所述多路任務(wù)調(diào)度器的調(diào)度也采用多個(gè)通路將同步數(shù)據(jù)發(fā)送到對(duì)應(yīng)的目的端數(shù)據(jù)庫(kù)。

本發(fā)明還提供了一種數(shù)據(jù)實(shí)時(shí)同步方法，包括：

A、根據(jù)用戶配置的數(shù)據(jù)庫(kù)標(biāo)簽點(diǎn)之間的映射關(guān)系獲取同步配置信息；

B、根據(jù)所述同步配置信息生成訂閱請(qǐng)求并發(fā)送到源端數(shù)據(jù)庫(kù)，所述源端數(shù)據(jù)庫(kù)根據(jù)所述訂閱請(qǐng)求生成訂閱結(jié)果；

C、根據(jù)訂閱結(jié)果，對(duì)其中的數(shù)據(jù)進(jìn)行整理和調(diào)度處理；

D、對(duì)整理和調(diào)度處理后的數(shù)據(jù)進(jìn)行壓縮處理、濾波處理或條件篩選處理；

E、將所述壓縮處理、濾波處理或條件篩選處理后的數(shù)據(jù)發(fā)送到相應(yīng)的目的端數(shù)據(jù)庫(kù)，完成同步。

進(jìn)一步地，所述步驟E中，在無(wú)法與目的端數(shù)據(jù)庫(kù)建立連接時(shí)，對(duì)需要同步的數(shù)據(jù)進(jìn)行緩存；并在與目的端數(shù)據(jù)庫(kù)建立連接后，將緩存的數(shù)據(jù)發(fā)送到目的端數(shù)據(jù)庫(kù)。、

進(jìn)一步地，所述步驟E中，在將所述壓縮處理、濾波處理或條件篩選處理后的數(shù)據(jù)發(fā)送到相應(yīng)的目的端數(shù)據(jù)庫(kù)前，先緩存高頻的小包數(shù)據(jù)，待緩存的數(shù)據(jù)達(dá)到一定閾值或緩存時(shí)間超出設(shè)定的時(shí)間時(shí)，將緩存的數(shù)據(jù)發(fā)送到對(duì)應(yīng)目的端數(shù)據(jù)庫(kù)。

進(jìn)一步地，所述步驟E中，對(duì)數(shù)據(jù)進(jìn)行條件篩選所依據(jù)的條件由用戶配置或預(yù)先設(shè)置。