[發明專利]分布式存儲方法和傳輸譯碼方法

有效

• 申請號: 202010161945.7
• 申請日: 2020-03-10
• 公開（公告）號: CN111447044B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 付希明;郭沅鑫;楊升浩
• 申請（專利權）人: 深圳市大數據研究院
• 主分類號: H04L67/1097
• 分類號: H04L67/1097;H04L1/00;G06F3/06
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 洪銘福

本發明公開了分布式存儲方法和傳輸譯碼方法。涉及分布式存儲領域，其中，分布式存儲方法通過對原始數據進行分塊得到第一預設數量的數據塊，然后根據生成矩陣對數據塊進行編碼，生成第二預設數量的數據包，對數據包利用截取方案進行數據截取得到截取數據包，存儲截取數據包到對應的分布式節點中。根據本發明實施例的生成矩陣進行編碼能夠保證較高的編碼效率，同時通過截取方案對數據包截取，存儲時能夠減少節點的存儲冗余，從而保證整個分布式系統的存儲冗余降低，節約了存儲空間，提高了存儲效率。

技術領域

本發明涉及分布式存儲領域，尤其是涉及一種分布式存儲方法和傳輸譯碼方法。

背景技術

在分布式存儲系統中，MDS(最大距離可分)碼是一種有效的存儲編碼方案，主要解決數據恢復問題。在一個分布式系統中，網絡中有n個節點，數據分割為k個塊，編碼得到n個數據包分別保存在n個節點上，如果數據可以通過任意k個節點恢復，則該編碼為(n,k)MDS碼，相比較傳統的備份機制，MDS碼的編解碼效率大大提高，但是MDS編解碼復雜度較高。2013年，Sung等人提出了基于XOR操作(即異或操作)的MDS編解碼方案，該方案適用于任意規模的網絡，其采用ZigZag譯碼，編解碼復雜度大大降低，但是這種方案的傳輸帶寬冗余較多。2014年，Fu等人提出了基于XOR操作的無冗余傳輸和解碼方案，將帶寬傳輸冗余降為零，消除了譯碼空間冗余，但是其編碼存儲冗余仍然較高。高冗余會增加傳輸成本，并且隨著網絡節點數量增加，其存儲冗余會隨之增加。

因此需要提出一種能夠減少每個節點存儲冗余，同時具有高效的編解碼效率和較小譯碼空間開銷的分布式存儲方法和傳輸譯碼方法。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明提出一種分布式存儲方法，能夠減少每個節點存儲冗余，同時具有高效的編解碼效率。

第一方面，本發明的一個實施例提供了：一種分布式存儲方法，包括：

對原始數據進行分塊得到第一預設數量的數據塊；

根據生成矩陣對所述數據塊進行編碼，生成第二預設數量的數據包；

對所述數據包利用截取方案進行數據截取得到截取數據包；

存儲所述截取數據包到對應的分布式節點中。

進一步地，所述對原始數據進行分塊得到第一預設數量的數據塊具體包括：所述數據塊的數據長度相同。

進一步地，所述生成矩陣表示為：

所述數據包表示為：

其中，t_i,j為非負整數，k表示第一預設數量，n表示第二預設數量，x_j表示數據塊，y_i表示數據包，表示將x_j右移t_i,j個單位，前面補t_i,j個零。

進一步地，所述截取方案表示為：

若滿足條件：n≥2k+1，則有：

若滿足條件：n＜2k+1，則有：

其中，L表示所述數據塊的數據長度，表示所述截取數據包。

本發明實施例至少具有如下有益效果：存儲時能夠減少節點的存儲冗余。

第二方面，本發明的一個實施例提供了：一種分布式傳輸譯碼方法，包括：