[發明專利]一種數據存儲方法及裝置

有效

• 申請號: 201811624963.3
• 申請日: 2018-12-28
• 公開（公告）號: CN109814807B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 袁清波;郭照斌;楊浩;苗艷超
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/10
• 代理公司: 北京德恒律治知識產權代理有限公司 11409
• 代理人: 章社杲;盧軍峰

本發明公開了一種數據存儲方法，包括：客戶端將非滿條帶的原始數據發送至一個數據節點；在數據節點處將非滿條帶的原始數據額外復制M份并發送至其他M個數據節點，從而將N+M糾刪碼在非滿條帶時轉為M+1副本存儲，其中，N表示滿條帶時原始數據的個數，M表示校驗數據的個數，非滿條帶的原始數據的個數小于N；寫入M份的原始數據之后響應客戶端。本發明的實施例在不降低可靠性的前提下，將N+M糾刪碼非滿條帶寫轉化為M+1副本的方式，這樣可以大大降低N+M糾刪碼補齊所帶來的額外開銷，從而降低了寫的延遲。對于小塊隨機寫的應用程序有較大的性能提升，并且保持了可靠性。另外，本發明還公開了相應的數據存儲裝置。

技術領域

本發明涉及數據存儲技術領域，具體來說，涉及一種數據存儲方法及裝置。

背景技術

存儲系統容錯通常有數據備份和糾刪碼兩種技術。使用備份技術帶來的額外存儲開銷很大，導致存儲成本非常高。隨著信息系統規模的不斷擴大，備份技術難以兼顧存儲系統的空間利用率和容錯能力的要求。相較之下，糾刪碼具有更高的空間利用率、更好的適應性和更高的可靠性。在分布式存儲系統中，糾刪碼技術將原始數據進行編碼得到冗余，并將原始數據和冗余存儲起來，從而達到容錯效果。當前糾刪碼技術的研究主要包括RS類編碼、再生碼、局部冗余編碼、高性能新型編碼方式等幾個方面。

(1)RS類編碼

RS碼因其簡單的編解碼方式和靈活的參數選擇被廣泛應用于實際系統中，如Google、Facebook和Microsoft旗下的存儲系統。雖然RS碼可以在維持與副本方式同等可靠性的前提下大大減少存儲開銷，但其在數據修復階段需要大量的數據讀取、傳輸等開銷。許多糾刪碼策略在RS基礎進行了改進。Rotated-RS編碼方式通過使用一些數據塊在解碼時重復使用來減少修復過程中數據的讀取和網絡傳輸量。Z-code的編碼在數據修復方面的網絡帶寬傳輸量和磁盤開銷都可以達到再生碼的最優權衡，但該編碼方式極大地犧牲了可靠性。

(2)再生碼

針對糾刪碼節點修復需要消耗大量的網絡帶寬問題，Dimakis等人基于網絡編碼提出了優化修復帶寬的再生碼，在修復失效節點時，取較多的節點參與修復過程，且參與修復的節點首先會通過編碼向量等在本地首先進行線性組合再傳輸，降低了維持系統可靠性所需要的存儲開銷和節點修復所需的帶寬開銷。再生碼相較于RS碼大大減少了單錯修復的數據開銷。

Rashmi等提出了一個名為MISER的再生碼，該編碼利用干擾對齊方式保證了數據信息的再生。但是其校驗信息的修復是產生了全新的校驗數據。Exact-Repair MSR方法通過干擾對齊方式確保了所有節點信息都可以精確地恢復。不過，這兩種方式和最新提出的PM-RBT都是必須要求校驗節點個數大于數據節點個數(存儲開銷大于2X)，數據的有效存儲率較低，不具備實用性。FMSR是功能性修復的一種，且其不是系統碼，只保存編碼后的校驗節點信息，所以要獲取有效數據都需要進行高額的計算開銷。Butterfly codes是可以應用在2X存儲開銷之下的系統再生碼，數據丟失后可以精確修復，不會產生額外計算開銷。但該編碼方式只能容兩個錯，而這在現在的分布式系統中是完全不夠用的，難以維持系統的高可靠性。所以總的來說再生碼因其不同的局限性而難以被應用到實際系統中。

(3)局部冗余編碼(LRC)

Facebook的LRC(Local Repairable Code)采用LRC(16，6，5)編碼，其中使用CRS(14，4)來保障任意4塊故障，同時增加了2塊局部的校驗塊，從而使任意單塊故障的修復成本由10降到5。微軟的LRC也是通過增加局部校驗塊來提高單塊故障的重構效率。富士通的Shec實現了多硬盤LRC，提出了局部校驗組的概念，并相互遮掩來提高多塊故障的重構效率。HACFS系統則利用了局部重建碼的特點，在系統內部使用同一編碼系列的兩組不同編碼參數。因為編碼結構相似，所以可以動態地根據工作負載轉換編碼需求。快編碼可以提供較為快速的重建修復，緊湊編碼可以提供較為小的存儲開銷。

(4)新型高性能編碼方式