[發(fā)明專利]分布式緩存數(shù)據(jù)離線傳輸方法、裝置及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011148516.2
• 申請(qǐng)日: 2020-10-23
• 公開(kāi)（公告）號(hào): CN112231148B
• 公開(kāi)（公告）日: 2022-07-05
• 發(fā)明（設(shè)計(jì)）人: 徐東
• 申請(qǐng)（專利權(quán)）人: 北京思特奇信息技術(shù)股份有限公司
• 主分類號(hào): G06F11/14
• 分類號(hào): G06F11/14
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 厲洋洋

本發(fā)明涉及一種分布式緩存數(shù)據(jù)離線傳輸方法、裝置及可讀存儲(chǔ)介質(zhì)。方法包括：主集群將接收到的緩存數(shù)據(jù)按照預(yù)設(shè)格式實(shí)時(shí)存入磁盤持久化文件中；當(dāng)所述主集群故障時(shí)，對(duì)所述磁盤持久化文件中的數(shù)據(jù)依次進(jìn)行實(shí)時(shí)解析，獲取對(duì)應(yīng)的所述緩存數(shù)據(jù)，將獲取的所述緩存數(shù)據(jù)存入副集群中。本發(fā)明實(shí)施例保證了數(shù)據(jù)的完整性和一致性，不依賴于集群模式的絕對(duì)一致性，即不要求主集群與副集群有相同的主節(jié)點(diǎn)數(shù)量，并且可以省去業(yè)務(wù)為了保證數(shù)據(jù)一致性而進(jìn)行雙寫，一定程度上提升了業(yè)務(wù)的處理性能，在主集群服務(wù)異常后，可以直接切換到副集群，提升了數(shù)據(jù)存儲(chǔ)服務(wù)的容災(zāi)能力。

技術(shù)領(lǐng)域

本發(fā)明涉及非關(guān)系型內(nèi)存數(shù)據(jù)庫(kù)Redis技術(shù)領(lǐng)域，尤其涉及一種分布式緩存數(shù)據(jù)離線傳輸方法、裝置及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在實(shí)際項(xiàng)目運(yùn)營(yíng)中，分布式緩存的容災(zāi)場(chǎng)景中，會(huì)涉及到主集群與副集群之間的數(shù)據(jù)傳輸問(wèn)題，在初級(jí)容災(zāi)場(chǎng)景中，只考慮了數(shù)據(jù)的傳輸問(wèn)題，即如何從主集群將數(shù)據(jù)傳輸?shù)礁奔褐小?/p>

當(dāng)前流行的數(shù)據(jù)傳輸工具利用的是redis的主從復(fù)制原理，使用psync命令完成同步，過(guò)程分先“全量”與后“部分”復(fù)制：此種同步方式只能將數(shù)據(jù)從主集群復(fù)制到副集群，不能校驗(yàn)數(shù)據(jù)是否已經(jīng)到達(dá)了副集群中，這樣在主集群突然發(fā)生異常時(shí)，無(wú)法保證副集群的數(shù)據(jù)與主機(jī)群的數(shù)據(jù)一致。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題，提供一種分布式緩存數(shù)據(jù)離線傳輸方法、裝置及可讀存儲(chǔ)介質(zhì)。

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供一種分布式緩存數(shù)據(jù)離線傳輸方法，包括：

主集群將接收到的緩存數(shù)據(jù)按照預(yù)設(shè)格式實(shí)時(shí)存入磁盤持久化文件中；

當(dāng)所述主集群故障時(shí)，對(duì)所述磁盤持久化文件中的數(shù)據(jù)依次進(jìn)行實(shí)時(shí)解析，獲取對(duì)應(yīng)的所述緩存數(shù)據(jù)，將獲取的所述緩存數(shù)據(jù)存入副集群中。

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例還提供一種分布式緩存數(shù)據(jù)離線傳輸裝置，包括：

數(shù)據(jù)寫入模塊，用于主集群將接收到的緩存數(shù)據(jù)按照預(yù)設(shè)格式實(shí)時(shí)存入磁盤持久化文件中；

數(shù)據(jù)解析遷移模塊，用于當(dāng)所述主集群故障時(shí)，對(duì)所述磁盤持久化文件中的數(shù)據(jù)依次進(jìn)行實(shí)時(shí)解析，獲取對(duì)應(yīng)的所述緩存數(shù)據(jù)，將獲取的所述緩存數(shù)據(jù)存入副集群中。

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括指令，當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí)，使所述計(jì)算機(jī)執(zhí)行上述技術(shù)方案所述的分布式緩存數(shù)據(jù)離線傳輸方法。

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上的并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述技術(shù)方案所述的分布式緩存數(shù)據(jù)離線傳輸方法。

本發(fā)明的有益效果是：在數(shù)據(jù)寫入主集群后，主集群會(huì)將數(shù)據(jù)實(shí)時(shí)持久化到磁盤，Redis集群自身保障了內(nèi)存數(shù)據(jù)與持久化文件數(shù)據(jù)的一致性，當(dāng)主集群故障時(shí)，實(shí)時(shí)解析持久化文件，將數(shù)據(jù)從持久化文件中同步到副集群，將整個(gè)主集群視為一個(gè)master，將整個(gè)副集群視為一個(gè)slave，數(shù)據(jù)整體傳輸，保證數(shù)據(jù)完整性和一致性，不依賴于集群模式的絕對(duì)一致性，即不要求主集群與副集群有相同的主節(jié)點(diǎn)數(shù)量，并且可以省去業(yè)務(wù)為了保證數(shù)據(jù)一致性而進(jìn)行雙寫，一定程度上提升了業(yè)務(wù)的處理性能，在主集群服務(wù)異常后，可以直接切換到副集群，提升了數(shù)據(jù)存儲(chǔ)服務(wù)的容災(zāi)能力。

本發(fā)明附加的方面及其優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明實(shí)踐了解到。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例提供的分布式緩存數(shù)據(jù)離線傳輸方法的示意性流程圖；

圖2為本發(fā)明實(shí)施例提供的邏輯運(yùn)行圖；

圖3為本發(fā)明實(shí)施例提供的分布式緩存數(shù)據(jù)離線傳輸結(jié)構(gòu)框圖。

具體實(shí)施方式