[發(fā)明專利]大規(guī)模高可靠的歸檔存儲系統(tǒng)構(gòu)建方法

無效

• 申請?zhí)枺?/td>: 200910044404.X
• 申請日: 2009-09-25
• 公開（公告）號: CN101692227A
• 公開（公告）日: 2010-04-07
• 發(fā)明（設(shè)計(jì)）人: 杜凱;王懷民;楊樹強(qiáng)
• 申請（專利權(quán)）人: 中國人民解放軍國防科學(xué)技術(shù)大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 國防科技大學(xué)專利服務(wù)中心 43202
• 代理人: 郭敏

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域存儲系統(tǒng)的構(gòu)建方法，具體地說是一種基于計(jì)算機(jī)集群系統(tǒng)的，大規(guī)模高可靠的歸檔數(shù)據(jù)存儲系統(tǒng)的構(gòu)建方法。

背景技術(shù)

大規(guī)模歸檔數(shù)據(jù)存儲應(yīng)用涉及網(wǎng)絡(luò)安全管理、網(wǎng)絡(luò)搜索、通信、金融、科學(xué)實(shí)驗(yàn)等諸多領(lǐng)域。例如，在網(wǎng)絡(luò)安全應(yīng)用中，對網(wǎng)絡(luò)通信的報(bào)文頭信息進(jìn)行實(shí)時(shí)存儲、查詢和分析是常見的網(wǎng)絡(luò)安全管理手段，該類數(shù)據(jù)具有典型的寫一次讀多次的歸檔特性，且由于其持續(xù)產(chǎn)生，生成速度快(一個(gè)普通的Gbit的網(wǎng)絡(luò)連接產(chǎn)生的報(bào)文數(shù)可達(dá)每秒10萬，其數(shù)據(jù)速度達(dá)幾十MB每秒)，所以形成的系統(tǒng)規(guī)模較大。類似的應(yīng)用還有：在網(wǎng)絡(luò)搜索引擎，需要依據(jù)用戶個(gè)人信息如以往搜索的習(xí)慣和關(guān)注點(diǎn)等，為其提供更符合其喜好的搜索結(jié)果；在電信行業(yè)中，日常電話通信過程會產(chǎn)生大量的通話詳細(xì)信息，如通信雙方的電話號碼，通話開始時(shí)間和結(jié)束時(shí)間，通話雙方的地點(diǎn)等。這類信息被廣泛用于用戶個(gè)人事后查詢，運(yùn)營商分析消費(fèi)模式或發(fā)現(xiàn)盜打行為，以及公共安全部門偵查等用途。

出于以上原因，設(shè)計(jì)大規(guī)模歸檔存儲系統(tǒng)成為本領(lǐng)域技術(shù)人員極為關(guān)注的問題。在大規(guī)模歸檔數(shù)據(jù)存儲系統(tǒng)中，一方面由于規(guī)模龐大，導(dǎo)致存儲節(jié)點(diǎn)數(shù)目大，從而系統(tǒng)故障率較高。例如，當(dāng)單個(gè)磁盤的可用性是99.999％(年故障時(shí)間5分鐘)時(shí)，由1000個(gè)、100個(gè)、10個(gè)該磁盤串聯(lián)組成的系統(tǒng)的可用性分別為99％(年故障時(shí)間88小時(shí))，99.9％(年故障時(shí)間8.8小時(shí))，99.99％(年故障時(shí)間0.88小時(shí))。另一方面由于磁盤容量和帶寬增長?速度的失配，導(dǎo)致數(shù)據(jù)恢復(fù)速度相對下降，所以數(shù)據(jù)可靠性成為設(shè)計(jì)該類系統(tǒng)的一個(gè)關(guān)鍵問題。

當(dāng)前構(gòu)建大規(guī)模歸檔存儲系統(tǒng)的方法主要包括兩種。一是采用基于冗余磁盤陣列RAID或存儲區(qū)域網(wǎng)絡(luò)SAN等昂貴的存儲設(shè)備來保證可靠性，該方法一方面成本較高，另一方面當(dāng)系統(tǒng)規(guī)模較大時(shí)，即使故障率較低，但一旦出現(xiàn)故障，恢復(fù)時(shí)間也較長，因此這種方法目前用得較少。二是采用存儲節(jié)點(diǎn)集群，同時(shí)為每個(gè)文件存儲多個(gè)副本，所有副本對等或隨機(jī)分布存儲于集群中。當(dāng)采用對等存儲時(shí)，降低了故障率，但不能降低故障恢復(fù)時(shí)間，因?yàn)槲募荒艽袑Φ然謴?fù)，其恢復(fù)時(shí)間可能較長；當(dāng)采用隨機(jī)存儲時(shí)，可以有效提高故障恢復(fù)時(shí)間，但需要設(shè)計(jì)合理的系統(tǒng)參數(shù)，平衡故障率和恢復(fù)時(shí)間，以優(yōu)化系統(tǒng)數(shù)據(jù)可靠性，當(dāng)前對此類存儲模式優(yōu)化研究尚不充分。因此，如何在系統(tǒng)規(guī)模和文件副本數(shù)目一定的條件下，優(yōu)化設(shè)計(jì)系統(tǒng)參數(shù)，提高系統(tǒng)可靠性，是采用存儲節(jié)點(diǎn)集群構(gòu)建大規(guī)模歸檔存儲系統(tǒng)必須解決的重要問題。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是基于歸檔數(shù)據(jù)的特點(diǎn)，提供一種大規(guī)模歸檔存儲系統(tǒng)構(gòu)建方法，提高歸檔存儲系統(tǒng)的可靠性。

本發(fā)明的技術(shù)方案是：

首先采用文件多副本的分布式存儲及并行恢復(fù)方法對大規(guī)模歸檔文件進(jìn)行存儲及恢復(fù)，然后依據(jù)文件的故障恢復(fù)過程建立Markov可靠性模型，求解該模型后獲得使系統(tǒng)可靠性優(yōu)化的系統(tǒng)參數(shù)值，最后利用這些參數(shù)值構(gòu)建存儲系統(tǒng)。

具體技術(shù)方案是：

第一步，采用文件多副本的分布式存儲及并行恢復(fù)方法對大規(guī)模歸檔文件進(jìn)行存儲及恢復(fù)：

步驟1)構(gòu)建由多個(gè)存儲節(jié)點(diǎn)組成的存儲集群，每個(gè)存儲節(jié)點(diǎn)是包含磁盤，處理器，內(nèi)存和網(wǎng)絡(luò)接口的計(jì)算機(jī)，存儲節(jié)點(diǎn)之間通過以太網(wǎng)互聯(lián)。存儲節(jié)點(diǎn)依次編號為0，1，2，...，N-1，N為存儲節(jié)點(diǎn)的總數(shù)目。待存儲的文件數(shù)目為p個(gè)，每個(gè)文件有K個(gè)副本，p和K均為正整數(shù)。

步驟2)將p*K個(gè)副本隨機(jī)均勻地分布于N個(gè)存儲節(jié)點(diǎn)上，存儲節(jié)點(diǎn)編號使用[1，N]上均勻分布的隨機(jī)函數(shù)g＝random()，1≤g≤N，同時(shí)保證K個(gè)副本應(yīng)分別存儲在K個(gè)不同的存儲節(jié)點(diǎn)上；

步驟3)當(dāng)存儲集群中多個(gè)存儲節(jié)點(diǎn)出現(xiàn)故障時(shí)，多個(gè)存儲節(jié)點(diǎn)按照故障恢復(fù)方法進(jìn)行并發(fā)恢復(fù)。故障恢復(fù)方法是：當(dāng)存儲集群中某個(gè)存儲節(jié)點(diǎn)出現(xiàn)故障時(shí)，針對該故障節(jié)點(diǎn)上的某個(gè)文件j，從存儲集群中包含j的副本的除故障節(jié)點(diǎn)外的K-1個(gè)正常節(jié)點(diǎn)中選擇一個(gè)作為源節(jié)點(diǎn)，選擇除源節(jié)點(diǎn)和故障節(jié)點(diǎn)外的任意一個(gè)正常節(jié)點(diǎn)作為臨時(shí)目標(biāo)節(jié)點(diǎn)，將副本從源節(jié)點(diǎn)拷貝到臨時(shí)目標(biāo)節(jié)點(diǎn)上。采用這種方法可將該故障節(jié)點(diǎn)上的所有文件存儲到一組臨時(shí)目標(biāo)節(jié)點(diǎn)上，從而保持這組文件的副本數(shù)目不變。

步驟4)替換節(jié)點(diǎn)：當(dāng)故障節(jié)點(diǎn)修復(fù)或被新節(jié)點(diǎn)替換后，將臨時(shí)目標(biāo)節(jié)點(diǎn)上的副本拷貝到該修復(fù)或替換后的新節(jié)點(diǎn)上，之后刪除臨時(shí)目標(biāo)節(jié)點(diǎn)上的副本。

第二步，設(shè)計(jì)連續(xù)時(shí)間的Markov模型來描述大規(guī)模歸檔存儲系統(tǒng)的故障恢復(fù)過程：