[發(fā)明專利]一種數(shù)據(jù)同步方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911075133.4
• 申請日: 2019-11-06
• 公開（公告）號: CN110569269A
• 公開（公告）日: 2019-12-13
• 發(fā)明（設(shè)計）人: 趙東;李慶東;王純斌
• 申請（專利權(quán)）人: 成都四方偉業(yè)軟件股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/27;G06F16/28;G06F16/23;G06F16/25
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種數(shù)據(jù)同步方法及系統(tǒng)，基于源數(shù)據(jù)庫、目標數(shù)據(jù)庫和分布式緩存系統(tǒng)，源數(shù)據(jù)庫每成功發(fā)送一次變更數(shù)據(jù)后，更新分布式緩存系統(tǒng)中的源數(shù)據(jù)庫檢查點信息；目標數(shù)據(jù)庫每成功同步一次變更數(shù)據(jù)到數(shù)據(jù)庫后，目標數(shù)據(jù)庫就更新分布式緩存系統(tǒng)中的目標數(shù)據(jù)庫檢查點信息。本方案區(qū)別于現(xiàn)有的數(shù)據(jù)同步方法，將檢查點存儲在分布式緩存系統(tǒng)中，即使出現(xiàn)單點硬件故障，也不會導(dǎo)致檢查點丟失，保證了數(shù)據(jù)同步系統(tǒng)的高可用性。同時，源數(shù)據(jù)庫在變更數(shù)據(jù)發(fā)送成功后才更新分布式緩存系統(tǒng)中的源數(shù)據(jù)庫檢查點信息，即確認目標數(shù)據(jù)庫接受變更數(shù)據(jù)后才更新分布式緩存系統(tǒng)中的源數(shù)據(jù)庫檢查點信息，可以進一步的保證在出現(xiàn)問題進行斷點續(xù)傳時的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)同步領(lǐng)域，特別涉及一種數(shù)據(jù)同步方法及系統(tǒng)。

背景技術(shù)

隨著社會的發(fā)展和科技的進步，用戶越來越依賴網(wǎng)絡(luò)系統(tǒng)來處理各種事務(wù)。網(wǎng)絡(luò)系統(tǒng)的正常運行依賴于數(shù)據(jù)中心系統(tǒng)的穩(wěn)定運行，一旦數(shù)據(jù)由于某種原因丟失，將會使得某些功能陷入癱瘓，對用戶造成不可估量的損失。為了保證源數(shù)據(jù)庫中數(shù)據(jù)安全，通常采用備份數(shù)據(jù)的方式保證數(shù)據(jù)的連續(xù)性，將服務(wù)器上的源數(shù)據(jù)庫的數(shù)據(jù)遠程同步至目標數(shù)據(jù)庫，以便于在服務(wù)器出現(xiàn)故障時，能使用目標數(shù)據(jù)庫中的數(shù)據(jù)。現(xiàn)有技術(shù)中，數(shù)據(jù)庫之間的遠程同步主要采用數(shù)據(jù)庫數(shù)據(jù)同步技術(shù)。

傳統(tǒng)的主流數(shù)據(jù)同步軟件，如Oracle GoldenGate，采用文件形式來保存檢查點和緩存中間數(shù)據(jù)。GoldenGate抽取源數(shù)據(jù)庫數(shù)據(jù)時需要將抽取的日志寫入源數(shù)據(jù)庫的Trail文件隊列，隨后通過網(wǎng)絡(luò)將Trail文件隊列中的內(nèi)容發(fā)送到目標數(shù)據(jù)庫，目標數(shù)據(jù)庫同樣將接收到的內(nèi)容寫入目標數(shù)據(jù)庫的Trail文件隊列，復(fù)制進程再將Trail文件中的內(nèi)容解析為SQL并同步到目標數(shù)據(jù)庫系統(tǒng)中。這種基于文件的方式可以應(yīng)對源數(shù)據(jù)庫與目標數(shù)據(jù)庫之間的網(wǎng)絡(luò)中斷等類型的故障。同時，GoldenGate通過將檢查點寫到文件的方式來解決其自身崩潰重啟后從什么位置繼續(xù)處理數(shù)據(jù)（包括讀取日志和同步寫數(shù)據(jù)）的問題。

以上基于檢查點文件/Trail文件的技術(shù)實現(xiàn)簡單，但其問題也很明顯：首先，文件只是存儲在單機上的，當該機出現(xiàn)硬件故障而非進程崩潰之類軟件問題時文件就無法訪問了，從而形成了單點故障；其次，將中間數(shù)據(jù)保存在文件中待隨后的同步進程來讀取的方式意味著多了一次磁盤寫入和讀取，顯然會增加開銷和降低同步速度。

發(fā)明內(nèi)容

本發(fā)明的目的在于：提供了一種數(shù)據(jù)同步方法及系統(tǒng)，解決了現(xiàn)有基于檢查點文件/Trail文件的數(shù)據(jù)同步中單點故障及同步效率較低的問題。

本發(fā)明采用的技術(shù)方案如下：

一種數(shù)據(jù)同步方法，基于源數(shù)據(jù)庫、目標數(shù)據(jù)庫和分布式緩存系統(tǒng)，源數(shù)據(jù)庫每成功發(fā)送一次變更數(shù)據(jù)后，更新分布式緩存系統(tǒng)中的源數(shù)據(jù)庫檢查點信息；目標數(shù)據(jù)庫每成功同步一次變更數(shù)據(jù)后，目標數(shù)據(jù)庫就更新分布式緩存系統(tǒng)中的目標數(shù)據(jù)庫檢查點信息。

本方案區(qū)別于現(xiàn)有的數(shù)據(jù)同步方法，將檢查點存儲在分布式緩存系統(tǒng)中，即使出現(xiàn)單點硬件故障，也不會導(dǎo)致檢查點丟失，保證了數(shù)據(jù)同步系統(tǒng)的高可用性。同時，源數(shù)據(jù)庫在變更數(shù)據(jù)發(fā)送成功后才更新分布式緩存系統(tǒng)中的源數(shù)據(jù)庫檢查點信息，即確認目標數(shù)據(jù)庫接受變更數(shù)據(jù)后才更新分布式緩存系統(tǒng)中的源數(shù)據(jù)庫檢查點信息，而非發(fā)送后即更新分布式緩存系統(tǒng)中的源數(shù)據(jù)庫檢查點信息，可以進一步的保證在出現(xiàn)問題進行斷點續(xù)傳時的效率。