[發(fā)明專利]基于再生碼的分布式存儲系統(tǒng)與處理方法

在審

• 申請?zhí)枺?/td>: 201610116376.8
• 申請日: 2016-03-02
• 公開（公告）號: CN107153506A
• 公開（公告）日: 2017-09-12
• 發(fā)明（設計）人: 闞海濱;劉煒
• 申請（專利權）人: 上海云熵網絡科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 廣州三環(huán)專利商標代理有限公司44202
• 代理人: 鄭裕涵

技術領域

本申請涉及數(shù)據存儲系統(tǒng)與處理方法，具體涉及一種基于再生碼的分布式存儲系統(tǒng)與處理方法。

背景技術

分布式存儲系統(tǒng)是將數(shù)據分散存儲在多臺獨立的設備上。傳統(tǒng)的網絡存儲系統(tǒng)采用集中的存儲服務器存放所有數(shù)據，存儲服務器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規(guī)模存儲應用的需要。分布式網絡存儲系統(tǒng)采用可擴展的系統(tǒng)結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。

在傳統(tǒng)分布式存儲系統(tǒng)中為提高系統(tǒng)可靠性，因此采用再生碼(Regenerating Codes)的數(shù)據恢復。再生碼是一種基于糾錯碼理論的分支。透過網絡在數(shù)據傳輸過程中發(fā)生錯誤后，數(shù)據接收端能透過糾錯碼自行發(fā)現(xiàn)錯誤或糾正。再生碼的修復過程中，新節(jié)點需要在剩下的存儲節(jié)點中連接d個存儲節(jié)點并分別從這d個存儲節(jié)點中下載P大小的數(shù)據，所以再生碼的修復帶寬為d*P。同時給出了再生碼功能修復的模型并提出了再生碼的兩類最佳碼:最小帶寬再生碼(MSR, Minimum-Storage Regenerating)和最小修復帶寬再生碼(MBR, Minimum-Bandwidth Regenerating)。

但傳統(tǒng)的分布式存儲系統(tǒng)無法針對存儲數(shù)據的特性而對數(shù)據的可靠性進行調整。由于傳統(tǒng)的分布式存儲系統(tǒng)中的存儲節(jié)點數(shù)量是固定的。所以遇到頻繁被存取的數(shù)據的情況時，該數(shù)據可能發(fā)生延遲傳輸?shù)膯栴}。

發(fā)明內容

本申請所要解決的技術問題在于提供一種基于再生碼的分布式存儲系統(tǒng)，其特征在于編碼數(shù)據傳輸至各節(jié)點后，可擴展至指定的節(jié)點。

為了解決上述問題，本申請揭示了一種基于再生碼的分布式存儲系統(tǒng)包括數(shù)據源端與多個存儲節(jié)點。數(shù)據源端具有控制模塊與編碼器，該控制模塊對接收的輸入數(shù)據組切分成多個數(shù)據分塊，該數(shù)據分塊通過該編碼器時，該編碼器根據編碼向量輸出子數(shù)據條帶，且該些編碼向量彼此為非線性相關。存儲節(jié)點網絡連接于該數(shù)據源端，該數(shù)據源端根據該些編碼向量派送不同的該子數(shù)據條帶至對應的該存儲節(jié)點。數(shù)據源端接收節(jié)點擴展命令用于擴展所指定的該存儲節(jié)點，該數(shù)據源端任意選取至少兩個該存儲節(jié)點，該數(shù)據源端根據所選取的該些子數(shù)據條帶與所屬的該些編碼向量進行線性組合，并輸出擴展節(jié)點。

為了解決上述問題，本申請更揭示一種基于再生碼的分布式存儲系統(tǒng)包括以下步驟：數(shù)據源端將輸入數(shù)據組切分為多個數(shù)據分塊； 數(shù)據源端根據編碼向量將數(shù)據分塊編碼轉換為子數(shù)據條帶； 數(shù)據源端根據子數(shù)據條帶與相應的編碼向量發(fā)送至存儲節(jié)點，并將子數(shù)據條帶記錄于存儲節(jié)點； 數(shù)據源端接收節(jié)點擴展命令，并指定任一存儲節(jié)點； 數(shù)據源端另選取至少兩個以上的存儲節(jié)點，數(shù)據源端根據所選取的存取節(jié)點、編碼向量與子數(shù)據條帶生成擴展節(jié)點。

與現(xiàn)有技術相比，本申請可以獲得包括以下技術效果：

1）本申請相比傳統(tǒng)的由編碼控制器統(tǒng)一選擇固定的節(jié)點進行拓展的辦法，具有消耗帶寬少、編碼效率高、計算成本低及適應高動態(tài)變化的網絡狀況等優(yōu)點。

2）本申請可以應用于塊存儲、基于對象存儲的分布式存儲系統(tǒng)的編解碼和分發(fā)模塊。對應的存儲系統(tǒng)更適合一次性寫入、讀頻率不高，但可靠性要求較高場景，例如歸檔系統(tǒng)。

當然，實施本申請的任一產品必不一定需要同時達到以上所述的所有技術效果。

附圖說明

此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構成對本申請的不當限定。

圖1A為本申請的硬體架構示意圖。

圖1B為本申請的數(shù)據傳輸架構示意圖。

圖2為本申請的運作步驟示意圖。

圖3A為本申請的數(shù)據分塊與編碼的過程示意圖。

圖3B為本申請的存儲節(jié)點的數(shù)據恢復示意圖。

圖4為本申請的擴展存儲節(jié)點的示意圖。

具體實施方式

以下請配合附圖及實施例來詳細說明本申請的實施方式，藉此對本申請如何應用技術手段來解決技術問題并達成技術功效的實現(xiàn)過程能充分理解并據以實施。