[發(fā)明專(zhuān)利]一種數(shù)據(jù)存儲(chǔ)方法和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201410182608.0
• 申請(qǐng)日: 2014-04-30
• 公開(kāi)（公告）號(hào): CN105094761B
• 公開(kāi)（公告）日: 2018-06-15
• 發(fā)明（設(shè)計(jì)）人: 岳銀亮;熊勁
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為技術(shù)有限公司;中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06;G06F17/30
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

本發(fā)明公開(kāi)了一種數(shù)據(jù)存儲(chǔ)方法和設(shè)備，以在一定程度上解決現(xiàn)有的數(shù)據(jù)副本方式的存儲(chǔ)系統(tǒng)不能兼顧讀寫(xiě)性能的技術(shù)問(wèn)題。在本發(fā)明一些可行的實(shí)施方式中，方法包括：將待存儲(chǔ)數(shù)據(jù)的第一個(gè)副本以第一種數(shù)據(jù)組織方式寫(xiě)入主存儲(chǔ)子系統(tǒng)中的多個(gè)主存儲(chǔ)裝置，將待存儲(chǔ)數(shù)據(jù)的第二個(gè)副本以第二種數(shù)據(jù)組織方式寫(xiě)入備存儲(chǔ)子系統(tǒng)中的值日備存儲(chǔ)裝置；將值日備存儲(chǔ)裝置對(duì)應(yīng)的主存儲(chǔ)裝置中存儲(chǔ)的、與值日備存儲(chǔ)裝置不一致的數(shù)據(jù)讀出，并將讀出的不一致數(shù)據(jù)以第三種數(shù)據(jù)組織方式寫(xiě)入值日備存儲(chǔ)裝置；第一種數(shù)據(jù)組織方式和第二種數(shù)據(jù)組織方式是寫(xiě)優(yōu)化的，且第二種數(shù)據(jù)組織方式的寫(xiě)入速度快于第一種數(shù)據(jù)組織方式的寫(xiě)入速度，第三種數(shù)據(jù)組織方式則是讀優(yōu)化的。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)和存儲(chǔ)技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)存儲(chǔ)方法和設(shè)備。

背景技術(shù)

數(shù)字技術(shù)的進(jìn)步和存儲(chǔ)技術(shù)的發(fā)展催生了海量的數(shù)據(jù)，數(shù)據(jù)需要以一定的組織形式存儲(chǔ)在存儲(chǔ)系統(tǒng)中。數(shù)據(jù)從產(chǎn)生到消亡的整個(gè)生命周期中，在不同的階段有不同的輸入輸出(input/output，I/O)訪問(wèn)特征；比如，在數(shù)據(jù)產(chǎn)生階段，數(shù)據(jù)需要以高速寫(xiě)入存儲(chǔ)系統(tǒng)；在數(shù)據(jù)分析階段，數(shù)據(jù)需要以高速讀出或掃描從而參與計(jì)算。

為了提高存儲(chǔ)可靠性，以副本方式存儲(chǔ)數(shù)據(jù)越來(lái)越得到認(rèn)可。副本是數(shù)據(jù)冗余方式的未來(lái)趨勢(shì)。數(shù)據(jù)副本的典型場(chǎng)景是磁盤(pán)陣列(Redundant Arrays of IndependentDisks，RAID，全稱(chēng)獨(dú)立磁盤(pán)冗余陣列，簡(jiǎn)稱(chēng)磁盤(pán)陣列)。RAID10是一種常用的磁盤(pán)陣列，包括一組主磁盤(pán)和一組鏡像磁盤(pán)，RAID10將數(shù)據(jù)的一個(gè)副本分成多個(gè)部分，分別存儲(chǔ)到多個(gè)主磁盤(pán)上，以提高讀寫(xiě)性能；并且，將數(shù)據(jù)的另一個(gè)副本存儲(chǔ)到對(duì)應(yīng)的鏡像磁盤(pán)上，以提高可靠性。

存儲(chǔ)系統(tǒng)的成本中，軟硬件等一次性投入成本所占的比例有限，而能耗成本則逐漸成為存儲(chǔ)系統(tǒng)總成本中的主要部分。一種現(xiàn)有技術(shù)中，采用旋轉(zhuǎn)日志架構(gòu)RoLo來(lái)降低磁盤(pán)陣列RAID10的能耗。旋轉(zhuǎn)日志架構(gòu)將多個(gè)鏡像磁盤(pán)的空閑空間整合成一個(gè)邏輯的日志空間資源池。通過(guò)挖掘空間時(shí)間片來(lái)做分散式的同步，該日志空間資源池可以被循環(huán)地利用以提高系統(tǒng)的性能和能效。換句話(huà)說(shuō)，多個(gè)鏡像磁盤(pán)被輪流用作值日日志盤(pán)，同時(shí)非值日日志盤(pán)被切換到低能耗狀態(tài)，從而降低能耗。

目前常用的旋轉(zhuǎn)日志架構(gòu)方式的磁盤(pán)陣列存儲(chǔ)系統(tǒng)具有以下缺陷：現(xiàn)有的磁盤(pán)陣列存儲(chǔ)系統(tǒng)將多個(gè)物理磁盤(pán)虛擬化為一個(gè)虛擬磁盤(pán)，文件系統(tǒng)建立在虛擬磁盤(pán)之上，即，單個(gè)磁盤(pán)之上沒(méi)有文件系統(tǒng)，因而只能采用同一種數(shù)據(jù)組織方式向所有的磁盤(pán)中寫(xiě)入數(shù)據(jù)，這種數(shù)據(jù)組織方式要么是寫(xiě)優(yōu)化的，以提高寫(xiě)性能，要么是讀優(yōu)化，以提高讀性能，而不能同時(shí)兼顧讀寫(xiě)性能。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)存儲(chǔ)方法和設(shè)備，以在一定程度上解決現(xiàn)有的數(shù)據(jù)副本方式的存儲(chǔ)系統(tǒng)不能兼顧讀寫(xiě)性能的技術(shù)問(wèn)題。

本發(fā)明第一方面提供一種數(shù)據(jù)存儲(chǔ)方法，用于存儲(chǔ)系統(tǒng)，所述存儲(chǔ)系統(tǒng)包括主存儲(chǔ)子系統(tǒng)和備存儲(chǔ)子系統(tǒng)；所述主存儲(chǔ)子系統(tǒng)包括N個(gè)主存儲(chǔ)裝置，所述備存儲(chǔ)子系統(tǒng)包括對(duì)應(yīng)于所述N個(gè)主存儲(chǔ)裝置的N個(gè)備存儲(chǔ)裝置；N為大于1的正整數(shù)；其中每個(gè)主存儲(chǔ)裝置和每個(gè)備存儲(chǔ)裝置上都創(chuàng)建有文件系統(tǒng)；所述方法包括：將待存儲(chǔ)數(shù)據(jù)的第一個(gè)副本以第一種數(shù)據(jù)組織方式寫(xiě)入主存儲(chǔ)子系統(tǒng)中的多個(gè)主存儲(chǔ)裝置，將待存儲(chǔ)數(shù)據(jù)的第二個(gè)副本以第二種數(shù)據(jù)組織方式寫(xiě)入備存儲(chǔ)子系統(tǒng)中的值日備存儲(chǔ)裝置，所述值日備存儲(chǔ)裝置是唯一處于工作狀態(tài)的備存儲(chǔ)裝置；將所述值日備存儲(chǔ)裝置對(duì)應(yīng)的主存儲(chǔ)裝置中存儲(chǔ)的、與所述值日備存儲(chǔ)裝置不一致的數(shù)據(jù)讀出，并將讀出的不一致數(shù)據(jù)以第三種數(shù)據(jù)組織方式寫(xiě)入所述值日備存儲(chǔ)裝置；其中，第一種數(shù)據(jù)組織方式和第二種數(shù)據(jù)組織方式是寫(xiě)優(yōu)化的，且第二種數(shù)據(jù)組織方式的寫(xiě)入速度快于第一種數(shù)據(jù)組織方式的寫(xiě)入速度，第三種數(shù)據(jù)組織方式則是讀優(yōu)化的。

在第一種可能的實(shí)現(xiàn)方式中，所述方法還包括：判斷值日備存儲(chǔ)裝置的值日日志空間的占用量是否達(dá)到預(yù)設(shè)值；若占用量達(dá)到預(yù)設(shè)值，則將所述值日備存儲(chǔ)裝置切換到休眠狀態(tài)，并將另一個(gè)備存儲(chǔ)裝置切換到工作狀態(tài)作為值日備存儲(chǔ)裝置。