[發明專利]大規模高可靠的歸檔存儲系統構建方法

無效

• 申請號: 200910044404.X
• 申請日: 2009-09-25
• 公開（公告）號: CN101692227A
• 公開（公告）日: 2010-04-07
• 發明（設計）人: 杜凱;王懷民;楊樹強
• 申請（專利權）人: 中國人民解放軍國防科學技術大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 國防科技大學專利服務中心 43202
• 代理人: 郭敏

1.一種大規模高可靠的歸檔存儲系統構建方法，其特征在于包括以下步驟：

第一步，采用文件多副本的分布式存儲及并行恢復方法對大規模歸檔文件進行存儲及恢復：

步驟1)構建由多個存儲節點組成的存儲集群，每個存儲節點是包含磁盤，處理器，內存和網絡接口的計算機，存儲節點之間通過以太網互聯；存儲節點依次編號為0，1，2，...，N-1，N為存儲節點的總數目，待存儲的文件數目為p個，每個文件有K個副本，p和K均為正整數；

步驟2)將p*K個副本隨機均勻地分布于N個存儲節點上，存儲節點編號使用[1，N]上均勻分布的隨機函數g＝random()，1≤g≤N，同時保證K個副本分別存儲在K個不同的存儲節點上；

步驟3)當存儲集群中多個存儲節點出現故障時，多個存儲節點按照故障恢復方法進行并發恢復：當存儲集群中某個存儲節點出現故障時，針對該故障節點上的某個文件j，從存儲集群中包含j的副本的除故障節點外的K-1個正常節點中選擇一個作為源節點，選擇除源節點和故障節點外的任意一個正常節點作為臨時目標節點，將副本從源節點拷貝到臨時目標節點上；

步驟4)替換節點：當故障節點修復或被新節點替換后，將臨時目標節點上的副本拷貝到該修復或替換后的新節點上，之后刪除臨時目標節點上的副本；

第二步，設計連續時間的Markov模型來描述大規模歸檔存儲系統的故障恢復過程，Markov模型是一個狀態機：大規模歸檔存儲系統中每個文件的狀態定義為(h，i)，其中h是某文件保留在原始存儲節點上的副本的數目，i表示臨時恢復存儲到臨時目標節點上的副本的數目；狀態轉移方法是：

1)當h＝K且i＝0時為初始狀態，只能轉移到狀態(K-1，0)，轉移條件是系統中出現一個故障節點，該文件位于初始分布的節點的副本數目?減少一個達到K-1，位于臨時節點的副本數目仍然為0，K是存儲系統中每個文件的副本數，狀態(K，0)到狀態(K-1，0)的轉移速度是K*λ，λ是存儲節點的磁盤的故障率；

2)當h＝0且i＝0時為終止狀態，到達該狀態表明系統出現數據丟失，處于不可修復狀態，不能再轉移到其它狀態；

3)當1≤h≤K-1且i＝0時為邊緣狀態I，在該狀態下，只能轉移到下述兩種狀態：

狀態(h-1，0)：當系統中出現新的故障節點時，該文件位于初始分布的節點的副本數目減少一個達到h-1，位于臨時節點的副本數目保持不變為0；狀態(h，0)到狀態(h-1，0)的轉移速度是h*λ；

狀態(h，1)：當文件的副本恢復到臨時目標節點時，該文件位于臨時目標節點的副本數目增加一個達到1，位于初始分布節點的副本數目保持不變；狀態(h，0)到狀態(h，1)的轉移速度是μ，μ是單個文件副本在一對節點中恢復的速度；

4)當1≤i≤K且h＝0時為邊緣狀態II，在該狀態下，只能轉移到下述兩種狀態：

狀態(0，i+1)：當文件的副本恢復到臨時目標節點時，該文件位于臨時目標節點的副本數目增加一個達到i+1，位于初始分布節點的副本數目保持不變，狀態(0，i)到狀態(0，i+1)的轉移速度是μ；

狀態(0，i-1)：當存儲文件副本的臨時目標節點出現故障時，該文件位于臨時目標節點的副本數目減少一個達到i-1，位于初始分布節點的副本數目保持不變，狀態(0，i)到狀態(0，i+1)的轉移速度是i*λ；

5)當h+i＝K，且1≤h≤K-1，1≤i≤K-1，為邊緣狀態III，在該狀態下，只能轉移到下述兩種狀態：?

狀態(h+1，i-1)：當存儲集群中故障節點被新節點替換成功時，該文件位于i個臨時節點的i個副本中的一個轉移到了新替換節點上，位于副本最初分布的節點的副本數增加一個達到h+1，位于i個臨時節點上的副本數減少一個達到i-1；狀態(h，i)到狀態(h+1，i-1)的轉移速度是i*v，v是單個文件拷貝轉移的速度；

狀態(h，i-1)：當存儲文件副本的臨時目標節點出現故障時，該文件位于臨時目標節點的副本數目減少一個達到i-1，位于初始分布節點的副本數目保持不變；狀態(h，i)到狀態(h，i+1)的轉移速度是i*λ；

6)當h+i＜K，且1≤h≤K-2，1≤i≤K-2，為內部狀態，在該狀態下，只能轉移到下述三種狀態：

狀態(h-1，i)：當系統中出現新的故障節點時，該文件位于初始分布的節點的副本數目減少一個達到h-1，位于臨時節點的副本數目保持不變；狀態(h，i)到狀態(h-1，i)的轉移速度是h*λ；

狀態(h，i+1)：當文件的副本恢復到臨時目標節點時，該文件位于臨時目標節點的副本數目增加一個達到i+1，位于初始分布節點的副本數目保持不變；狀態(h，i)到狀態(h，i+1)的轉移速度是μ；

狀態(h，i-1)：當存儲文件副本的臨時目標節點出現故障時，該文件位于臨時目標節點的副本數目減少一個達到i-1，位于初始分布節點的副本數目保持不變；狀態(h，i)到狀態(h，i+1)的轉移速度是i*λ；

第三步，依據Markov模型獲得大規模歸檔存儲系統優化參數，這些參數包括系統存儲節點總數N、網絡總帶寬B、單個節點上存儲的文件個數m和單個節點IO帶寬b，方法是：

3.1按照系統存儲容量需求得到系統存儲規模S，依據可靠性要求確定文件副本數K；

3.2選定基本存儲設備的型號后，獲得存儲設備或節點的故障率λ和節點?的帶寬b；

3.3依據Markov模型計算節點總數N、網絡總帶寬B、單個節點上存儲文件的數目m的最優值：

3.3.1選取?L為正整數；

3.3.2選取m≥B/b；

3.4通過公式S×K/N確定單個存儲節點的存儲容量；

3.5通過B及b值，確定交換機和核心路由器的型號和數目；

第四步，依據第三步獲得的優化參數構建存儲系統：通過S×K/N來確定單個節點存儲容量，通過b確定節點帶寬，通過B和N確定交換機和核心路由器的型號和數目，通過m確定單個節點上存儲文件的數目；依據上述方法確定的參數，將N個存儲節點組成局域網，每個節點上的數目不超過m，從而構成海量歸檔存儲系統。?