[發(fā)明專利]一種數(shù)據(jù)同步系統(tǒng)及數(shù)據(jù)同步方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710171639.X
• 申請(qǐng)日: 2017-03-22
• 公開（公告）號(hào): CN106921746A
• 公開（公告）日: 2017-07-04
• 發(fā)明（設(shè)計(jì)）人: 楊旭川;張桂林
• 申請(qǐng)（專利權(quán)）人: 重慶允升科技有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L12/26;H04L12/24;G06F17/30
• 代理公司: 重慶創(chuàng)新專利商標(biāo)代理有限公司50125
• 代理人: 宮兆斌

技術(shù)領(lǐng)域

本發(fā)明涉及一種通信、網(wǎng)絡(luò)傳輸技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)同步系統(tǒng)及數(shù)據(jù)同步方法。

背景技術(shù)

現(xiàn)有技術(shù)中，跨區(qū)域的數(shù)據(jù)傳輸通過(guò)主服務(wù)器按既定周期向從服務(wù)器傳輸數(shù)據(jù)實(shí)現(xiàn)。從服務(wù)器接收主服務(wù)發(fā)送的數(shù)據(jù)后，將覆蓋原有存儲(chǔ)數(shù)據(jù)。因此，若數(shù)據(jù)量非常大時(shí)，跨區(qū)域數(shù)據(jù)同步就無(wú)法做到實(shí)時(shí)，數(shù)據(jù)分塊同步難以劃分，同步過(guò)程中也會(huì)出現(xiàn)錯(cuò)誤導(dǎo)致數(shù)據(jù)丟失等情況。另一方面，主服務(wù)器主動(dòng)發(fā)送變化數(shù)據(jù)是一個(gè)推送的過(guò)程，客戶端是否正常接收無(wú)法判斷，因此主服務(wù)器一直發(fā)送會(huì)浪費(fèi)大量的資源。

因此本領(lǐng)域技術(shù)人員致力于開發(fā)一種可使主服務(wù)器和從服務(wù)器數(shù)據(jù)同步及時(shí)的系統(tǒng)及方法。

發(fā)明內(nèi)容

有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種可使主服務(wù)器和從服務(wù)器數(shù)據(jù)同步及時(shí)的系統(tǒng)及方法。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種數(shù)據(jù)同步系統(tǒng)，包括：

主服務(wù)器：用于存儲(chǔ)數(shù)據(jù),記錄數(shù)據(jù)變化日志；

至少一個(gè)解析服務(wù)器：用于監(jiān)聽主服務(wù)器日志是否發(fā)生變化，若變化,則拉取變化內(nèi)容存儲(chǔ)于解析服務(wù)器的內(nèi)存中,當(dāng)解析服務(wù)器的內(nèi)存達(dá)到閾值時(shí)，分塊寫入磁盤；

至少一個(gè)從服務(wù)器：用于監(jiān)聽解析服務(wù)器的內(nèi)存或磁盤中是否有數(shù)據(jù)，若有數(shù)據(jù)且沒有同步過(guò)，就從數(shù)據(jù)起點(diǎn)開始同步數(shù)據(jù)；若以前同步過(guò)數(shù)據(jù)就從上次同步的位置開始同步,同步邏輯處理完成后提交同步確認(rèn)，并記錄下同步到的位置。

較佳的，數(shù)據(jù)同步系統(tǒng)還包括：

容災(zāi)報(bào)警系統(tǒng)：用于監(jiān)聽所述主服務(wù)器，解析服務(wù)器，從服務(wù)器之間的心跳；當(dāng)服務(wù)器之間心跳無(wú)法連通時(shí)，存活端會(huì)繼續(xù)進(jìn)行心跳嘗試，若嘗試次數(shù)至預(yù)設(shè)的最大值任無(wú)法連通就去掉這個(gè)節(jié)點(diǎn)，中斷后續(xù)流程并發(fā)送報(bào)警；

容災(zāi)服務(wù)器：當(dāng)數(shù)據(jù)同步過(guò)程中后續(xù)處理流程出現(xiàn)錯(cuò)誤，或者規(guī)則發(fā)生變化時(shí)，可更改同步位置重新同步數(shù)據(jù)。

本發(fā)明還提供了一種數(shù)據(jù)同步方法，包括以下步驟：

1)設(shè)置日志格式和解析服務(wù)器ID；設(shè)置要解析的數(shù)據(jù)和主服務(wù)器；設(shè)置主服務(wù)器監(jiān)聽間隔時(shí)長(zhǎng)和解析服務(wù)器；

2)監(jiān)聽主服務(wù)器日志；

3)判斷主服務(wù)器日志是否發(fā)生變化：若主服務(wù)器日志發(fā)生變化,則拉取變化內(nèi)容存儲(chǔ)于解析服務(wù)器的內(nèi)存中,當(dāng)解析服務(wù)器的內(nèi)存達(dá)到閾值時(shí)，分塊寫入磁盤；

4)監(jiān)聽解析服務(wù)器；

5)當(dāng)解析服務(wù)器的內(nèi)存或磁盤中有數(shù)據(jù)且沒有同步過(guò)，就使從服務(wù)器從數(shù)據(jù)起點(diǎn)開始同步數(shù)據(jù)；若以前同步過(guò)數(shù)據(jù)就使從服務(wù)器從上次同步的位置開始同步；

6)同步邏輯處理完成后提交同步確認(rèn)，并記錄下同步到的位置。

較佳的，數(shù)據(jù)同步方法還包括以下步驟：

7)監(jiān)聽所述主服務(wù)器，解析服務(wù)器，從服務(wù)器之間的心跳：當(dāng)服務(wù)器之間心跳無(wú)法連通時(shí)，存活端會(huì)繼續(xù)進(jìn)行心跳嘗試，若嘗試次數(shù)至預(yù)設(shè)的最大值任無(wú)法連通就去掉這個(gè)節(jié)點(diǎn)，中斷后續(xù)流程并發(fā)送報(bào)警；

8)容災(zāi)服務(wù)：當(dāng)數(shù)據(jù)同步過(guò)程中后續(xù)處理流程出現(xiàn)錯(cuò)誤，或者規(guī)則發(fā)生變化時(shí)，可更改同步位置重新同步數(shù)據(jù)。

本發(fā)明的有益效果是：

(1)本發(fā)明的解析服務(wù)器可以對(duì)自己關(guān)注的數(shù)據(jù)進(jìn)行配置，并不需要同步所有數(shù)據(jù)。

(2)同步過(guò)程中實(shí)時(shí)記錄同步的位置，當(dāng)系統(tǒng)出現(xiàn)故障時(shí)不至于丟數(shù)據(jù)；當(dāng)同步操作有誤時(shí)，可以修改數(shù)據(jù)同步起始點(diǎn)重新同步數(shù)據(jù)。

(3)一個(gè)解析服務(wù)器可配置不同的從服務(wù)器并互不干擾，可以實(shí)現(xiàn)多份數(shù)據(jù)同時(shí)同步。

(4)容災(zāi)服務(wù)器會(huì)及時(shí)發(fā)現(xiàn)故障節(jié)點(diǎn)，移除節(jié)點(diǎn)，并發(fā)送報(bào)警，不會(huì)出現(xiàn)通信資源浪費(fèi)的情況；當(dāng)節(jié)點(diǎn)修復(fù)后會(huì)從中斷點(diǎn)繼續(xù)開始同步。

附圖說(shuō)明

圖1是本發(fā)明一具體實(shí)施方式的結(jié)構(gòu)示意圖。

圖2是本發(fā)明一具體實(shí)施方式的流程圖之一。

圖3是本發(fā)明一具體實(shí)施方式的流程圖之一。

圖4是本發(fā)明一具體實(shí)施方式的流程圖之一。

圖5是本發(fā)明一具體實(shí)施方式的流程圖之一。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明：

如圖1所示，一種數(shù)據(jù)同步系統(tǒng)，包括：

主服務(wù)器：用于存儲(chǔ)數(shù)據(jù),記錄數(shù)據(jù)變化日志；

多個(gè)解析服務(wù)器：用于監(jiān)聽主服務(wù)器日志是否發(fā)生變化，若變化,則拉取變化內(nèi)容存儲(chǔ)于解析服務(wù)器的內(nèi)存中,當(dāng)解析服務(wù)器的內(nèi)存達(dá)到閾值時(shí)，分塊寫入磁盤；