[發明專利]一種基于分布式存儲系統的可靠冗余方法及設備

有效

• 申請號: 202110533133.5
• 申請日: 2021-05-17
• 公開（公告）號: CN113190377B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 齊翔;瞿洪桂;孔新里
• 申請（專利權）人: 北京中電興發科技有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F11/14;G06F3/06
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 于國富

本發明涉及分布式存儲技術領域，公開了一種基于分布式存儲系統的可靠冗余方法及設備，包括進行分布式系統分層；進行糾刪策略選型；在節點層采用RS糾刪算法生成節點層冗余數據，將數據流及節點層冗余數據緩存至各個節點中；在磁盤層采用XOR糾刪算法生成磁盤層冗余數據，采用磁盤輪轉工作策略將各個節點的緩存數據及磁盤層冗余數據分別對應寫入各個磁盤中；根據不同數據丟失的情況進行不同恢復策略。本發明提高了數據的可靠性，保證數據在系統有少量節點損壞且同時正常節點有單個磁盤損壞的情況下，仍然可以進行數據恢復；本發明保證了磁盤的使用壽命，同時也提高了磁盤并行寫入的效率；極大提升了單個磁盤損壞時本地數據重建的效率。

技術領域

本發明涉及分布式存儲技術領域，具體地涉及一種基于分布式存儲系統的可靠冗余方法及設備。

背景技術

近年來，隨著互聯網的技術發展，不管是在日常生活的大眾用戶的使用，還是在智慧城市、國家安全、科技發展等相關領域的推動下，存儲數據呈爆炸式增長。數據存儲的可靠性顯得尤為重要，目前，數據存儲基本上采用分布式存儲系統，而為了保證數據的安全性、完備性和高可用性，需要提供一定的數據冗余技術。對于分布式存儲系統數據存儲冗余的方式主要有多副本和糾刪碼兩種方式。多副本就是把數據復制成多份并分別存儲到不同的節點上實現數據冗余。以雙副本為例，雙副本就是將數據存儲為兩個副本，當某個副本丟失時，可以通過另一個副本復制恢復數據，但這種方式會帶來巨大的額外存儲空間消耗，無形中提高了很大的成本。糾刪碼主要通過糾刪碼算法將原始的數據進行編碼得到冗余數據，將原始數據和冗余數據存儲到不同的節點上，以達到容錯的目的。當原始數據或冗余數據丟失后，可通過剩余數據進行糾刪碼算法的解碼操作恢復原始數據。

目前，大部分的分布式存儲系統采用的冗余策略比較單一，同時僅支持一種級別的數據冗余，或采用服務器節點間的數據冗余，或采用磁盤陣列RAID。單一節點間的數據冗余，會將冗余數據分布到不同的節點上，這樣可以保證一個或多個節點故障后數據可以恢復，但是數據恢復需要通過獲取系統中其他節點的數據進行恢復，導致節點間有大量的數據交互占用網絡的帶寬資源。同時多個節點內如果有相同原始數據的數據分片丟失則無法進行恢復。大多場景下可能是某個節點的某個磁盤發生故障，這種情況下，替換磁盤后數據恢復也需要從獲取其他節點的數據進行恢復，同樣會占用網絡帶寬資源。而RAID技術目前由于需要RAID卡的支持會提高使用成本，且RAID技術目前在分布式存儲系統中已經很少被采用。

因此，針對現存分布式存儲系統數據恢復時，策略單一導致某些異常場景無法支持，且在一些重構場景會大量占用系統網絡資源導致效率低下的問題，亟需一種能夠對數據進行更高效且可靠恢復的存儲冗余方法。

發明內容

本發明提供一種基于分布式存儲系統的可靠冗余方法及設備，從而解決現有技術的上述問題。

第一方面，本發明提供了一種基于分布式存儲系統的可靠冗余方法，包括以下步驟：

S1)進行分布式系統分層，分布式系統包括若干個節點，每個節點下掛載若干個磁盤，將節點作為分布式系統的上層，將磁盤作為分布式系統的下層；

S2)進行糾刪策略選型，分布式系統采用RS+XOR雙層冗余策略；上層節點間的冗余策略選擇支持K+M的RS糾刪策略，K為數據流的每個子塊數據中的數據塊數，M為與每個子塊數據相對應的節點層冗余數據塊數；下層磁盤間的冗余策略采用支持k+1的XOR糾刪策略，k為單個節點中參與XOR糾刪的數據塊數；

S3)獲取數據流，在節點層采用K+M的RS糾刪算法生成與數據流對應的節點層冗余數據，將數據流以及節點層冗余數據緩存至各個節點中，獲得各個節點的緩存數據；

S4)在磁盤層采用k+1的XOR糾刪算法生成磁盤層冗余數據，采用磁盤輪轉工作策略將各個節點的緩存數據以及磁盤層冗余數據分別對應寫入各個磁盤中；

S5)判斷是否需要進行數據重構，若是，則根據不同數據丟失的情況采用不同恢復策略進行數據重構；若否，返回步驟S3)。