[發(fā)明專利]一種基于分布式存儲系統(tǒng)的可靠冗余方法及設備

有效

• 申請?zhí)枺?/td>: 202110533133.5
• 申請日: 2021-05-17
• 公開（公告）號: CN113190377B
• 公開（公告）日: 2022-03-11
• 發(fā)明（設計）人: 齊翔;瞿洪桂;孔新里
• 申請（專利權）人: 北京中電興發(fā)科技有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F11/14;G06F3/06
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 于國富

1.一種基于分布式存儲系統(tǒng)的可靠冗余方法，其特征在于，包括以下步驟：

S1)進行分布式系統(tǒng)分層，所述分布式系統(tǒng)包括若干個節(jié)點，每個節(jié)點下掛載若干個磁盤，將節(jié)點作為分布式系統(tǒng)的上層，將磁盤作為分布式系統(tǒng)的下層；

S2)進行糾刪策略選型，所述分布式系統(tǒng)采用RS+XOR雙層冗余策略；上層節(jié)點間的冗余策略選擇支持K+M的RS糾刪策略，K為數(shù)據(jù)流的每個子塊數(shù)據(jù)中的數(shù)據(jù)塊數(shù)，M為與每個子塊數(shù)據(jù)相對應的節(jié)點層冗余數(shù)據(jù)塊數(shù)；下層磁盤間的冗余策略采用支持k+1的XOR糾刪策略，k為單個節(jié)點中參與XOR糾刪的數(shù)據(jù)塊數(shù)；

S3)獲取數(shù)據(jù)流，在節(jié)點層采用K+M的RS糾刪算法生成與所述數(shù)據(jù)流對應的節(jié)點層冗余數(shù)據(jù)，將所述數(shù)據(jù)流以及所述節(jié)點層冗余數(shù)據(jù)緩存至各個節(jié)點中，獲得各個節(jié)點的緩存數(shù)據(jù)；

S4)在磁盤層采用k+1的XOR糾刪算法生成磁盤層冗余數(shù)據(jù)，采用磁盤輪轉(zhuǎn)工作策略將所述各個節(jié)點的緩存數(shù)據(jù)以及磁盤層冗余數(shù)據(jù)分別對應寫入各個磁盤中；

S5)判斷是否需要進行數(shù)據(jù)重構，若是，則根據(jù)不同數(shù)據(jù)丟失的情況采用不同恢復策略進行數(shù)據(jù)重構；若否，返回步驟S3)；

在步驟S3)中，獲取數(shù)據(jù)流，在節(jié)點層采用K+M的RS糾刪算法生成與所述數(shù)據(jù)流對應的節(jié)點層冗余數(shù)據(jù)，M≥2，將所述數(shù)據(jù)流以及所述節(jié)點層冗余數(shù)據(jù)緩存至各個節(jié)點中，獲得各個節(jié)點的緩存數(shù)據(jù)，所述數(shù)據(jù)流包括N塊數(shù)據(jù)，將所述N塊數(shù)據(jù)分別記為D0、D1、...、DN，包括以下步驟：

S31)將所述N塊數(shù)據(jù)按順序劃分為個子塊數(shù)據(jù)，將第j個子塊數(shù)據(jù)記為表示第j個子塊數(shù)據(jù)中的第二塊數(shù)據(jù)，在節(jié)點層采用K+M的RS糾刪算法生成與所述第j個子塊數(shù)據(jù)相對應的M塊節(jié)點層冗余數(shù)據(jù)表示與第j個子塊數(shù)據(jù)相對應的第M塊節(jié)點層冗余數(shù)據(jù)，計算節(jié)點層冗余數(shù)據(jù)時采用基于伽羅華域的范德蒙矩陣A的編碼策略：所述基于伽羅華域的范德蒙矩陣A為基于伽羅華域的范德蒙矩陣A為K+M行M列矩陣；

S32)將第j個子塊數(shù)據(jù)D_Kj以及與所述第j個子塊數(shù)據(jù)相對應的M塊節(jié)點層冗余數(shù)據(jù)K_j中的每塊數(shù)據(jù)分別緩存至各個節(jié)點中；

S33)重復步驟S31)至步驟S32)，直到所有子塊數(shù)據(jù)以及與所有子塊數(shù)據(jù)相對應的M塊節(jié)點層冗余數(shù)據(jù)中的每塊數(shù)據(jù)均緩存到各個節(jié)點中，各個節(jié)點的緩存區(qū)大小至少為k，k的取值范圍為大于2且小于單個節(jié)點的總磁盤數(shù)Y，獲得節(jié)點緩存矩陣所述節(jié)點緩存矩陣中的一列元素對應一個節(jié)點中的緩存數(shù)據(jù)，第K+1個節(jié)點中的緩存數(shù)據(jù)為(P₁¹ P₁²…P₁^j…P₁^k…)，1≤K+1≤X。

2.根據(jù)權利要求1所述的基于分布式存儲系統(tǒng)的可靠冗余方法，其特征在于，在步驟S1)中，進行分布式系統(tǒng)分層，所述分布式系統(tǒng)包括X個節(jié)點，將所述X個節(jié)點分別記為Node1、Node2、...、Nodei、...、NodeX；每個節(jié)點下掛載Y個磁盤，將第i個節(jié)點Nodei下掛載的Y個磁盤分別記為Disk1ⁱ、Disk2ⁱ、...、DiskYⁱ，將節(jié)點作為分布式系統(tǒng)的上層，將磁盤作為分布式系統(tǒng)的下層。