[發(fā)明專利]一種數(shù)據(jù)同步方法、系統(tǒng)、節(jié)點(diǎn)及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010917485.6
• 申請(qǐng)日: 2020-09-03
• 公開（公告）號(hào): CN112084261A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計(jì)）人: 王攀;韓朱忠;郭琰
• 申請(qǐng)（專利權(quán)）人: 上海達(dá)夢(mèng)數(shù)據(jù)庫有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/23;G06F16/2455;G06F16/18
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明公開了一種數(shù)據(jù)同步方法、系統(tǒng)、節(jié)點(diǎn)及存儲(chǔ)介質(zhì)，具體為日志節(jié)點(diǎn)將獲取的原始日志轉(zhuǎn)化為物理日志；日志節(jié)點(diǎn)更新自身存儲(chǔ)的數(shù)據(jù)同步控制信息數(shù)組，其中，日志節(jié)點(diǎn)存儲(chǔ)有三個(gè)數(shù)據(jù)同步控制信息數(shù)組，該三個(gè)數(shù)據(jù)同步控制信息數(shù)組包括第一數(shù)據(jù)同步控制信息數(shù)組、第二數(shù)據(jù)同步控制信息數(shù)組、第三數(shù)據(jù)同步控制信息數(shù)組；在滿足預(yù)設(shè)條件的情況下，日志節(jié)點(diǎn)向存儲(chǔ)節(jié)點(diǎn)發(fā)送攜帶有物理日志和更新后的數(shù)據(jù)同步控制信息數(shù)組的控制消息；日志節(jié)點(diǎn)接收存儲(chǔ)節(jié)點(diǎn)發(fā)送的反饋消息，并根據(jù)反饋消息更新數(shù)據(jù)同步控制信息數(shù)組；其中，反饋消息是存儲(chǔ)節(jié)點(diǎn)根據(jù)控制消息對(duì)自身存儲(chǔ)的數(shù)據(jù)同步后發(fā)送的。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及數(shù)據(jù)處理技術(shù)，尤其涉及一種數(shù)據(jù)同步方法、系統(tǒng)、節(jié)點(diǎn)及存儲(chǔ)介質(zhì)。

背景技術(shù)

在分布式數(shù)據(jù)庫系統(tǒng)中，通常采用多個(gè)副本的方式提高數(shù)據(jù)的可靠性，即將數(shù)據(jù)文件按照固定的區(qū)塊大小劃分為多個(gè)區(qū)塊，每個(gè)區(qū)塊以多副本的形式存儲(chǔ)在不同存儲(chǔ)節(jié)點(diǎn)中。對(duì)于同一個(gè)區(qū)塊而言，該區(qū)塊對(duì)應(yīng)的各副本中的數(shù)據(jù)應(yīng)該同步，否則整個(gè)數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)完整性會(huì)出現(xiàn)問題。

在分布式數(shù)據(jù)庫系統(tǒng)中僅有一個(gè)數(shù)據(jù)庫服務(wù)節(jié)點(diǎn)時(shí)，同一數(shù)據(jù)區(qū)塊對(duì)應(yīng)各副本的數(shù)據(jù)同步較為簡(jiǎn)單，通常是使用數(shù)據(jù)庫服務(wù)節(jié)點(diǎn)的RED0日志的日志序列號(hào)(Log SequenceNumber，LSN)作為數(shù)據(jù)同步的標(biāo)記。但是當(dāng)分布式數(shù)據(jù)庫系統(tǒng)中有多個(gè)數(shù)據(jù)庫服務(wù)節(jié)點(diǎn)，這些節(jié)點(diǎn)都獨(dú)立對(duì)用戶提供服務(wù)并生成各自的RED0日志，且每個(gè)數(shù)據(jù)庫服務(wù)節(jié)點(diǎn)都有自己的LSN時(shí)，現(xiàn)有技術(shù)中并未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明提供一種數(shù)據(jù)同步方法、系統(tǒng)、節(jié)點(diǎn)及存儲(chǔ)介質(zhì)，能夠有效解決分布式數(shù)據(jù)庫系統(tǒng)中有多個(gè)數(shù)據(jù)庫服務(wù)節(jié)點(diǎn)時(shí)，數(shù)據(jù)同步的問題。

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)同步方法，該方法包括：

日志節(jié)點(diǎn)將獲取的原始日志轉(zhuǎn)化為物理日志；

日志節(jié)點(diǎn)更新自身存儲(chǔ)的數(shù)據(jù)同步控制信息數(shù)組，所述日志節(jié)點(diǎn)存儲(chǔ)有三個(gè)數(shù)據(jù)同步控制信息數(shù)組，所述三個(gè)數(shù)據(jù)同步控制信息數(shù)組包括第一數(shù)據(jù)同步控制信息數(shù)組、第二數(shù)據(jù)同步控制信息數(shù)組、第三數(shù)據(jù)同步控制信息數(shù)組；

在滿足預(yù)設(shè)條件的情況下，所述日志節(jié)點(diǎn)向存儲(chǔ)節(jié)點(diǎn)發(fā)送控制消息，所述控制消息中攜帶有物理日志和更新后的數(shù)據(jù)同步控制信息數(shù)組；

所述日志節(jié)點(diǎn)接收所述存儲(chǔ)節(jié)點(diǎn)發(fā)送的反饋消息，并根據(jù)所述反饋消息更新數(shù)據(jù)同步控制信息數(shù)組；

其中，所述反饋消息是所述存儲(chǔ)節(jié)點(diǎn)根據(jù)所述控制消息對(duì)自身存儲(chǔ)的數(shù)據(jù)同步后發(fā)送的。

第二方面，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)同步方法，該方法包括：

存儲(chǔ)節(jié)點(diǎn)獲取日志節(jié)點(diǎn)發(fā)送的控制消息；

所述存儲(chǔ)節(jié)點(diǎn)根據(jù)所述控制消息更新自身存儲(chǔ)的數(shù)據(jù)信息；

所述存儲(chǔ)節(jié)點(diǎn)根據(jù)更新后的數(shù)據(jù)信息向所述日志節(jié)點(diǎn)發(fā)送反饋消息。

第三方面，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)同步系統(tǒng)，該系統(tǒng)可以包括：上述實(shí)施例提供的日志節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)，以及數(shù)據(jù)庫服務(wù)節(jié)點(diǎn)。

第四方面，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)庫節(jié)點(diǎn)，該節(jié)點(diǎn)包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，當(dāng)處理器執(zhí)行計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)本實(shí)施例提供的數(shù)據(jù)同步方法。

第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如本發(fā)明實(shí)施例提供的數(shù)據(jù)同步方法。