[發(fā)明專利]一種分布式圖數(shù)據(jù)庫(kù)多節(jié)點(diǎn)數(shù)據(jù)一致性實(shí)現(xiàn)方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011117730.1
• 申請(qǐng)日: 2020-10-19
• 公開(kāi)（公告）號(hào): CN112417033A
• 公開(kāi)（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 沈志宏;曾成林;周園春;劉忠新
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/901
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 邱曉鋒

1.一種分布式圖數(shù)據(jù)庫(kù)多節(jié)點(diǎn)數(shù)據(jù)一致性實(shí)現(xiàn)方法，其特征在于，包括以下步驟：

對(duì)分布式圖數(shù)據(jù)庫(kù)的節(jié)點(diǎn)數(shù)據(jù)做快照備份，通過(guò)快照備份對(duì)分布式圖數(shù)據(jù)庫(kù)的日志進(jìn)行壓縮；

利用壓縮后的分布式圖數(shù)據(jù)庫(kù)的日志，對(duì)分布式圖數(shù)據(jù)庫(kù)進(jìn)行節(jié)點(diǎn)間增量數(shù)據(jù)同步。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)分布式圖數(shù)據(jù)庫(kù)的節(jié)點(diǎn)數(shù)據(jù)做快照備份，通過(guò)快照備份對(duì)分布式圖數(shù)據(jù)庫(kù)的日志進(jìn)行壓縮，包括：

在某個(gè)時(shí)間點(diǎn)對(duì)分布式圖數(shù)據(jù)庫(kù)的節(jié)點(diǎn)數(shù)據(jù)做快照備份，快照備份的數(shù)據(jù)代表該時(shí)間點(diǎn)以前所有日志操作執(zhí)行的最終結(jié)果；

保存該快照備份，并將該快照備份的時(shí)間點(diǎn)以前的所有日志記錄舍棄，以減少要記錄的日志量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用快照備份和快照備份時(shí)間點(diǎn)之后的日志，對(duì)新節(jié)點(diǎn)進(jìn)行快速數(shù)據(jù)同步；所述新節(jié)點(diǎn)加載快照備份，快照備份時(shí)間點(diǎn)之前的日志操作不用重新執(zhí)行，只需同步快照備份時(shí)間點(diǎn)之后的日志，以快速地保持和其他節(jié)點(diǎn)的數(shù)據(jù)一致性。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述快照備份的每次保存都有一個(gè)版本號(hào)，用于標(biāo)識(shí)不同時(shí)間點(diǎn)做的快照備份，版本號(hào)越大表示快照備份的時(shí)間點(diǎn)越新，壓縮的日志記錄也越大；做快照備份的同時(shí)對(duì)日志文件記錄一個(gè)索引值index，該index指向做快照時(shí)間點(diǎn)執(zhí)行完的最后一條日志操作。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，節(jié)點(diǎn)啟動(dòng)時(shí)采用以下步驟進(jìn)行數(shù)據(jù)同步：

從其他正常服務(wù)節(jié)點(diǎn)獲取快照版本號(hào)并與自己本地的快照版本號(hào)進(jìn)行比較，如果本地版本號(hào)低于其他節(jié)點(diǎn)的版本號(hào)，則調(diào)用rpc服務(wù)，從其他節(jié)點(diǎn)下載最新版本快照和對(duì)應(yīng)的日志文件；如果版本號(hào)相同，則使用本地快照和對(duì)應(yīng)的日志文件；

將快照加載到數(shù)據(jù)庫(kù)，同時(shí)讀取日志文件，獲取index記錄，將index之后的操作執(zhí)行一遍，執(zhí)行完后，該節(jié)點(diǎn)即和集群內(nèi)其他節(jié)點(diǎn)保持了數(shù)據(jù)一致性。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，新節(jié)點(diǎn)啟動(dòng)時(shí)，從其他節(jié)點(diǎn)獲取最新快照和日志文件，通過(guò)加載快照和執(zhí)行日志操作的方式快速實(shí)現(xiàn)數(shù)據(jù)一致性，并加入集群提供服務(wù)。

7.一種采用權(quán)利要求1～6中任一權(quán)利要求所述方法的分布式圖數(shù)據(jù)庫(kù)多節(jié)點(diǎn)數(shù)據(jù)一致性實(shí)現(xiàn)系統(tǒng)，其特征在于，包括：

日志管理模塊，用于進(jìn)行分布式圖數(shù)據(jù)庫(kù)的日志記錄的存儲(chǔ)和同步；

快照管理模塊，用于進(jìn)行分布式圖數(shù)據(jù)庫(kù)的快照備份的保存和加載；

節(jié)點(diǎn)啟動(dòng)數(shù)據(jù)同步模塊，用于進(jìn)行分布式圖數(shù)據(jù)庫(kù)的節(jié)點(diǎn)啟動(dòng)，保證分布式多節(jié)點(diǎn)的數(shù)據(jù)一致性，為節(jié)點(diǎn)加入集群提供服務(wù)做準(zhǔn)備。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述日志管理模快對(duì)日志采用文本文件進(jìn)行存儲(chǔ)，日志的格式設(shè)計(jì)為operation+index的方式，其中operation記錄數(shù)據(jù)庫(kù)的寫(xiě)操作，index記錄日志的編號(hào)，用于對(duì)日志記錄進(jìn)行標(biāo)識(shí)；日志同步采用rpc進(jìn)行傳輸，節(jié)點(diǎn)啟動(dòng)之后與其他節(jié)點(diǎn)建立rpc連接，當(dāng)需要傳輸日志時(shí)，直接調(diào)用rpc發(fā)送sendLog消息，將日志同步到其他節(jié)點(diǎn)，其他節(jié)點(diǎn)收到消息后，將同步過(guò)來(lái)的日志記錄到本地的日志文件里，并在數(shù)據(jù)庫(kù)上執(zhí)行相應(yīng)的操作。

9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述快照管理模快對(duì)快照的保存是對(duì)本地?cái)?shù)據(jù)庫(kù)文件做備份，形成zip壓縮文件進(jìn)行保存；快照的每次保存都有一個(gè)版本號(hào)，用于標(biāo)識(shí)不同時(shí)間點(diǎn)對(duì)數(shù)據(jù)庫(kù)狀態(tài)做的快照備份，版本號(hào)越大表示快照備份的時(shí)間點(diǎn)越新，壓縮的日志記錄也越大；做快照的同時(shí)對(duì)日志文件記錄一個(gè)索引值index，該index指向做快照時(shí)間點(diǎn)執(zhí)行完的最后一條日志操作；所述快照管理模快對(duì)快照的加載是將快照文件解壓到指定的數(shù)據(jù)目錄，數(shù)據(jù)庫(kù)讀取該目錄下的數(shù)據(jù)庫(kù)文件后，完成加載操作。

10.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述節(jié)點(diǎn)啟動(dòng)數(shù)據(jù)同步模塊在節(jié)點(diǎn)啟動(dòng)時(shí)，首先從其他正常服務(wù)節(jié)點(diǎn)獲取快照版本號(hào)和自己本地的快照版本號(hào)進(jìn)行比較，如果本地版本號(hào)低于其他節(jié)點(diǎn)的版本號(hào)，則會(huì)調(diào)用rpc服務(wù)，從其他節(jié)點(diǎn)下載最新版本快照和對(duì)應(yīng)的日志文件，如果版本號(hào)相同則使用本地快照和對(duì)應(yīng)的日志文件；然后使用快照管理模塊的加載功能，將數(shù)據(jù)加載到數(shù)據(jù)庫(kù)，同時(shí)讀取日志文件，獲取index記錄，將index之后的操作執(zhí)行一遍，執(zhí)行完以后，節(jié)點(diǎn)即和集群內(nèi)其他節(jié)點(diǎn)保持了數(shù)據(jù)一致性，能夠加入集群提供讀寫(xiě)服務(wù)；新節(jié)點(diǎn)啟動(dòng)時(shí)，從其他節(jié)點(diǎn)獲取最新快照和日志文件，通過(guò)加載快照和執(zhí)行日志操作的方式快速實(shí)現(xiàn)數(shù)據(jù)一致性，加入集群提供服務(wù)。