[發(fā)明專利]一種基于網(wǎng)絡(luò)的Redis持久化方法

在審

• 申請?zhí)枺?/td>: 202011144781.3
• 申請日: 2020-10-23
• 公開（公告）號: CN112241339A
• 公開（公告）日: 2021-01-19
• 發(fā)明（設(shè)計）人: 顏亮;趙山;劉津;孫思清;高傳集
• 申請（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/27
• 代理公司: 濟南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 郗艷榮

本發(fā)明特別涉及一種基于網(wǎng)絡(luò)的Redis持久化方法。該基于網(wǎng)絡(luò)的Redis持久化方法，在Redis所在宿主機上配置需要備份的Redis基本信息和目的對象存儲的對應(yīng)信息，Redis的備份文件不再直接在本地生成備份文件，通過流傳輸?shù)姆绞竭M(jìn)行持久化操作。該基于網(wǎng)絡(luò)的Redis持久化方法，基于網(wǎng)絡(luò)，直接將備份文件通過流傳輸方式傳入目的對象存儲中，有效解決了備份文件占用本地內(nèi)存的問題，不需要造成本地資源浪費，留出更多資源給Redis數(shù)據(jù)，而且采用本地數(shù)據(jù)與備份文件物理分離，大幅度提高了容災(zāi)性。

技術(shù)領(lǐng)域

本發(fā)明涉及云計算與數(shù)據(jù)庫技術(shù)領(lǐng)域，特別涉及一種基于網(wǎng)絡(luò)的Redis持久化方法。

背景技術(shù)

Redis作為一種非關(guān)系型內(nèi)存數(shù)據(jù)庫，具有性能高、數(shù)據(jù)類型豐富、數(shù)據(jù)持久化等特點，被廣泛的用于各個互聯(lián)網(wǎng)工程中。

隨著Redis技術(shù)的逐步興起與大規(guī)模使用，特別是Redis集群的飛速發(fā)展，無論單機版Redis、官方提供的Redis集群還是其他Redis集群，都會產(chǎn)生大量的數(shù)據(jù)，而大量數(shù)據(jù)的產(chǎn)生是前進(jìn)的動力，更是無可比擬的價值。而數(shù)據(jù)傳輸中，會產(chǎn)生一些列數(shù)據(jù)安全問題，其中數(shù)據(jù)丟失是最需要避免的。

為了避免不必要的損失，數(shù)據(jù)備份的地位顯而易見，且存儲容量是一個極為關(guān)鍵的因素。Redis服務(wù)產(chǎn)生的數(shù)據(jù)量龐大繁多，如何選擇備份的方式和硬件也是必不可少的問題。并且隨著近年來云計算概念的興起，Redis逐漸被遷移到云計算平臺，成為云數(shù)據(jù)庫，那么如何處理云上數(shù)據(jù)的備份也變得尤為重要。

然而官方的方案在備份方式方面還存在一些顯著的問題，官方Redis集群有AOF與RDB兩種不同備份方式，但是生成的備份文件都是生成在本地指定的路徑下，在大規(guī)模集群與大量數(shù)據(jù)的壓力下，本地硬盤容量也很難容納占用存儲大小與Redis集群成正相關(guān)的備份文件，甚至占滿資源根據(jù)備份策略丟失數(shù)據(jù)，而且這種方式的物理容災(zāi)性基本為零，在大規(guī)模集群與大量數(shù)據(jù)的壓力下，備份方案有以下缺陷：

(1)備份文件大小與節(jié)點數(shù)據(jù)大小正相關(guān)，備份文件在本地硬盤白占用多一倍硬盤；

(2)由于備份文件與原始數(shù)據(jù)在同一虛機或服務(wù)器，所以容災(zāi)性基本為零。

如何解決這些問題成為了為用戶提供更具有靈活存儲和提高容災(zāi)性的一個難題。基于此，本發(fā)明提出了一種基于網(wǎng)絡(luò)的Redis持久化方法。

發(fā)明內(nèi)容

本發(fā)明為了彌補現(xiàn)有技術(shù)的缺陷，提供了一種簡單高效的基于網(wǎng)絡(luò)的Redis持久化方法。

本發(fā)明是通過如下技術(shù)方案實現(xiàn)的：

一種基于網(wǎng)絡(luò)的Redis持久化方法，其特征在于：在Redis所在宿主機上配置需要備份的Redis基本信息和目的對象存儲的對應(yīng)信息，Redis的備份文件不再直接在本地生成備份文件，通過流傳輸?shù)姆绞竭M(jìn)行持久化操作。

包括以下過程：

(1)、以備份程序為程序中心，在配置文件中寫入需要的配置，中心程序去配置文件中讀取配置，并在取到配置后直接連接Redis服務(wù)，對Redis客戶端發(fā)送sync命令進(jìn)行備份請求；

(2)、對于對象存儲，準(zhǔn)備好對象存儲的endpoint、access key、secret key、存儲桶名稱以及自定義標(biāo)志信息；

(3)、在RDB文件傳輸回來時，直接將文件轉(zhuǎn)換成數(shù)據(jù)流，組裝S3請求頭后請求S3對象存儲，進(jìn)行云備份落盤。

所述步驟(1)中，在配置文件中寫入的需要的配置包括源Redis的模式，Redis ip，Redis端口與Redis密碼，其中Redis的模式為單機或集群。