[發(fā)明專利]一種數(shù)據(jù)存儲(chǔ)方法和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201410182608.0
• 申請(qǐng)日: 2014-04-30
• 公開（公告）號(hào): CN105094761B
• 公開（公告）日: 2018-06-15
• 發(fā)明（設(shè)計(jì)）人: 岳銀亮;熊勁
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司;中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06;G06F17/30
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

1.一種數(shù)據(jù)存儲(chǔ)方法，其特征在于，用于存儲(chǔ)系統(tǒng)，所述存儲(chǔ)系統(tǒng)包括主存儲(chǔ)子系統(tǒng)和備存儲(chǔ)子系統(tǒng)；所述主存儲(chǔ)子系統(tǒng)包括N個(gè)主存儲(chǔ)裝置，所述備存儲(chǔ)子系統(tǒng)包括對(duì)應(yīng)于所述N個(gè)主存儲(chǔ)裝置的N個(gè)備存儲(chǔ)裝置；N為大于1的正整數(shù)；其中每個(gè)主存儲(chǔ)裝置和每個(gè)備存儲(chǔ)裝置上都創(chuàng)建有文件系統(tǒng)；

所述方法包括：

將待存儲(chǔ)數(shù)據(jù)的第一個(gè)副本以第一種數(shù)據(jù)組織方式寫入主存儲(chǔ)子系統(tǒng)中的多個(gè)主存儲(chǔ)裝置，其中，所述第一個(gè)副本被分成N個(gè)部分，每個(gè)部分寫入一個(gè)主存儲(chǔ)裝置；

將待存儲(chǔ)數(shù)據(jù)的第二個(gè)副本以第二種數(shù)據(jù)組織方式寫入備存儲(chǔ)子系統(tǒng)中的值日備存儲(chǔ)裝置，所述值日備存儲(chǔ)裝置是唯一處于工作狀態(tài)的備存儲(chǔ)裝置；

將所述值日備存儲(chǔ)裝置對(duì)應(yīng)的主存儲(chǔ)裝置中存儲(chǔ)的、與所述值日備存儲(chǔ)裝置不一致的數(shù)據(jù)讀出，并將讀出的不一致數(shù)據(jù)以第三種數(shù)據(jù)組織方式寫入所述值日備存儲(chǔ)裝置；

其中，第一種數(shù)據(jù)組織方式和第二種數(shù)據(jù)組織方式是寫優(yōu)化的，且第二種數(shù)據(jù)組織方式的寫入速度快于第一種數(shù)據(jù)組織方式的寫入速度，第三種數(shù)據(jù)組織方式則是讀優(yōu)化的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

判斷值日備存儲(chǔ)裝置的值日日志空間的占用量是否達(dá)到預(yù)設(shè)值；

若占用量達(dá)到預(yù)設(shè)值，則將所述值日備存儲(chǔ)裝置切換到休眠狀態(tài)，并將另一個(gè)備存儲(chǔ)裝置切換到工作狀態(tài)作為值日備存儲(chǔ)裝置。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于：

所述第一種數(shù)據(jù)組織方式是日志結(jié)構(gòu)合并LSM方式；

所述第二種數(shù)據(jù)組織方式是日志結(jié)構(gòu)文件系統(tǒng)LFS方式；

所述第三種數(shù)據(jù)組織方式是B+樹方式。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將待存儲(chǔ)數(shù)據(jù)的第一個(gè)副本以第一種數(shù)據(jù)組織方式寫入主存儲(chǔ)子系統(tǒng)之前，還包括：

在每個(gè)主存儲(chǔ)裝置上創(chuàng)建鍵值存儲(chǔ)系統(tǒng)LevelDB；

在每個(gè)備存儲(chǔ)裝置中劃分出兩個(gè)存儲(chǔ)區(qū)域，其中，在第一個(gè)存儲(chǔ)區(qū)域創(chuàng)建LFS，第二個(gè)存儲(chǔ)區(qū)域創(chuàng)建鍵值存儲(chǔ)系統(tǒng)BDB。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于：

所述將待存儲(chǔ)數(shù)據(jù)的第一個(gè)副本以第一種數(shù)據(jù)組織方式寫入主存儲(chǔ)子系統(tǒng)中的多個(gè)主存儲(chǔ)裝置包括：將待存儲(chǔ)數(shù)據(jù)的第一個(gè)副本分割為多個(gè)部分，將所述多個(gè)部分分別寫入多個(gè)主存儲(chǔ)裝置的LevelDB中；

所述將待存儲(chǔ)數(shù)據(jù)的第二個(gè)副本以第二種數(shù)據(jù)組織方式寫入備存儲(chǔ)子系統(tǒng)中的值日備存儲(chǔ)裝置包括：將待存儲(chǔ)數(shù)據(jù)的第二個(gè)副本寫入所述值日備存儲(chǔ)裝置的LFS中；

所述將讀出的不一致數(shù)據(jù)以第三種數(shù)據(jù)組織方式寫入所述值日備存儲(chǔ)裝置包括：將讀出的不一致數(shù)據(jù)寫入所述值日備存儲(chǔ)裝置的BDB中。

6.根據(jù)權(quán)利要求1至5中任一所述的方法，其特征在于：

所述存儲(chǔ)系統(tǒng)為磁盤陣列或節(jié)點(diǎn)陣列。

7.一種數(shù)據(jù)存儲(chǔ)設(shè)備，其特征在于，用于存儲(chǔ)系統(tǒng)，所述存儲(chǔ)系統(tǒng)包括主存儲(chǔ)子系統(tǒng)和備存儲(chǔ)子系統(tǒng)；所述主存儲(chǔ)子系統(tǒng)包括N個(gè)主存儲(chǔ)裝置，所述備存儲(chǔ)子系統(tǒng)包括對(duì)應(yīng)于所述N個(gè)主存儲(chǔ)裝置的N個(gè)備存儲(chǔ)裝置；N為大于1的正整數(shù)；其中每個(gè)主存儲(chǔ)裝置和每個(gè)備存儲(chǔ)裝置上都創(chuàng)建有文件系統(tǒng)；所述設(shè)備包括：

第一讀寫模塊，用于將待存儲(chǔ)數(shù)據(jù)的第一個(gè)副本以第一種數(shù)據(jù)組織方式寫入主存儲(chǔ)子系統(tǒng)中的多個(gè)主存儲(chǔ)裝置，其中，所述第一個(gè)副本被分成N個(gè)部分，每個(gè)部分寫入一個(gè)主存儲(chǔ)裝置；

第二讀寫模塊，用于將待存儲(chǔ)數(shù)據(jù)的第二個(gè)副本以第二種數(shù)據(jù)組織方式寫入備存儲(chǔ)子系統(tǒng)中的值日備存儲(chǔ)裝置，所述值日備存儲(chǔ)裝置是唯一處于工作狀態(tài)的備存儲(chǔ)裝置；

第三讀寫模塊，用于將所述值日備存儲(chǔ)裝置對(duì)應(yīng)的主存儲(chǔ)裝置中存儲(chǔ)的、與所述值日備存儲(chǔ)裝置不一致的數(shù)據(jù)讀出，并將讀出的不一致數(shù)據(jù)以第三種數(shù)據(jù)組織方式寫入所述值日備存儲(chǔ)裝置；

其中，第一種數(shù)據(jù)組織方式和第二種數(shù)據(jù)組織方式是寫優(yōu)化的，且第二種數(shù)據(jù)組織方式的寫入速度快于第一種數(shù)據(jù)組織方式的寫入速度，第三種數(shù)據(jù)組織方式則是讀優(yōu)化的。