[發(fā)明專利]一種數(shù)據(jù)同步的方法及裝置

在審

• 申請?zhí)枺?/td>: 201611103538.0
• 申請日: 2016-12-05
• 公開（公告）號: CN106603640A
• 公開（公告）日: 2017-04-26
• 發(fā)明（設(shè)計）人: 郭春華;鄧偉;張鶴高;胡道生
• 申請（專利權(quán)）人: 北京中交興路信息科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 孟金喆,胡彬

1.一種數(shù)據(jù)同步的方法，其特征在于，所述方法包括：

對redis集群A中的每個節(jié)點(diǎn)插入一個唯一數(shù)據(jù)標(biāo)簽，所述唯一數(shù)據(jù)標(biāo)簽為所述redis集群A的aof文件增量，所述aof文件增量是上一個數(shù)據(jù)標(biāo)簽的aof文件行數(shù)和當(dāng)前數(shù)據(jù)標(biāo)簽的aof文件行數(shù)的差值；

對aof增量文件進(jìn)行壓縮，對壓縮后的aof增量文件調(diào)用預(yù)設(shè)命令并傳輸?shù)絩edis集群B；

在所述redis集群B先執(zhí)行數(shù)據(jù)解壓縮得到原始aof增量文件，然后執(zhí)行導(dǎo)入，將數(shù)據(jù)以pipe方式導(dǎo)入到對應(yīng)的節(jié)點(diǎn)中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對redis集群A中的每個節(jié)點(diǎn)插入一個唯一數(shù)據(jù)標(biāo)簽，包括：

對所述redis集群A中的一個節(jié)點(diǎn)使用UUID編號，通過預(yù)設(shè)命令插入所述UUID編號并記錄所述UUID編號在所述aof增量文件中對應(yīng)的行；

獲取所述節(jié)點(diǎn)的aof文件增量，若是首次插入標(biāo)簽，則開始值start＝0；否則，若上一次標(biāo)簽對應(yīng)的aof文件行號為end1，則開始值start＝end1+2；若最新標(biāo)簽出現(xiàn)在所述aof文件中的行號為end，則所述aof文件增量的內(nèi)容為從所述開始值start開始后的end-start+2行aof文件中的數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對aof增量文件進(jìn)行壓縮，包括：

對所述aof增量文件執(zhí)行tar jcvf命令對所述aof增量文件進(jìn)行壓縮。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對壓縮后的aof增量文件調(diào)用預(yù)設(shè)命令并傳輸?shù)絩edis集群B，包括：

對壓縮后的aof增量文件執(zhí)行rsync命令并傳輸至所述redis集群B。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述redis集群B先執(zhí)行數(shù)據(jù)解壓縮得到原始aof增量文件，然后執(zhí)行導(dǎo)入，將數(shù)據(jù)以pipe方式導(dǎo)入到對應(yīng)的節(jié)點(diǎn)中，包括：

在所述redis集群B上，先執(zhí)行tar jxvf命令先執(zhí)行數(shù)據(jù)解壓縮得到原始aof增量文件，再執(zhí)行redis-cli命令，將數(shù)據(jù)以pipe方式導(dǎo)入到所述redis集群B的節(jié)點(diǎn)中。

6.一種數(shù)據(jù)同步的裝置，其特征在于，所述裝置包括：

插入模塊，用于對redis集群A中的每個節(jié)點(diǎn)插入一個唯一數(shù)據(jù)標(biāo)簽，所述唯一數(shù)據(jù)標(biāo)簽為所述redis集群A的aof文件增量，所述aof文件增量是上一個數(shù)據(jù)標(biāo)簽的aof文件行數(shù)和當(dāng)前數(shù)據(jù)標(biāo)簽的aof文件行數(shù)的差值；

壓縮模塊，用于對aof增量文件進(jìn)行壓縮；

傳輸模塊，用于對壓縮后的aof增量文件調(diào)用預(yù)設(shè)命令并傳輸?shù)絩edis集群B；

導(dǎo)入模塊，用于在所述redis集群B先執(zhí)行數(shù)據(jù)解壓縮得到原始aof增量文件，然后執(zhí)行導(dǎo)入，將數(shù)據(jù)以pipe方式導(dǎo)入到對應(yīng)的節(jié)點(diǎn)中。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述插入模塊，具體用于：

對所述redis集群A中的一個節(jié)點(diǎn)使用UUID編號，通過預(yù)設(shè)命令插入所述UUID編號并記錄所述UUID編號在所述aof增量文件中對應(yīng)的行；

獲取所述節(jié)點(diǎn)的aof文件增量，若是首次插入標(biāo)簽，則開始值start＝0；否則，若上一次標(biāo)簽對應(yīng)的aof文件行號為end1，則開始值start＝end1+2；若最新標(biāo)簽出現(xiàn)在所述aof文件中的行號為end，則所述aof文件增量的內(nèi)容為從所述開始值start開始后的end-start+2行aof文件中的數(shù)據(jù)。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述壓縮模塊，具體用于：

對所述aof增量文件執(zhí)行tar jcvf命令對所述aof增量文件進(jìn)行壓縮。

9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述傳輸模塊，具體用于：

對壓縮后的aof增量文件執(zhí)行rsync命令并傳輸至所述redis集群B。

10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述導(dǎo)入模塊，具體用于：

在所述redis集群B上，先執(zhí)行tar jxvf命令先執(zhí)行數(shù)據(jù)解壓縮得到原始aof文件，再執(zhí)行redis-cli命令，將數(shù)據(jù)以pipe方式導(dǎo)入到所述redis集群B的節(jié)點(diǎn)中。