[發明專利]一種云存儲中糾刪碼數據的修改方法及系統

有效

• 申請號: 201510945310.5
• 申請日: 2015-12-16
• 公開（公告）號: CN105677508B
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 文中領;張在貴
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F11/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種云存儲中糾刪碼數據的修改方法及系統，該方法包括：對原始數據進行糾刪碼編碼，將編碼得到的原始編碼數據存至磁盤；當檢測到對原始數據的修改指令時，獲取與修改指令對應的修改數據；判斷修改數據的大小是否小于或者等于預設數據量閾值；當判定修改數據的大小小于或者等于所述數據量閾值時，對修改數據進行糾刪碼編碼，并將編碼得到的修改編碼數據作為與原始數據相對應的修改編碼數據保存至kv數據庫。本發明充分利用了kv數據庫在處理小文件時候的寫操作性能以及糾刪碼在計算校驗塊時需要條帶為小數據的特性，將兩者結合加速了數據的修改速度，進而有效實現了減少數據修改過程中的耗時進而提高修改效率的目的。

技術領域

本發明涉及云存儲技術領域，特別是涉及一種云存儲中糾刪碼數據的修改方法及系統。

背景技術

目前，云存儲系統為了保證數據的安全性，通常會采用數據多副本的方式實現數據的冗余，隨著數據量的持續、不斷增長，副本方式帶來的存儲效率低的問題越來越明顯，于是，出現了糾刪碼方式的數據冗余策略，在同等數據冗余度的情況下，糾刪碼方式能夠帶來存儲效率至少50％以上的提高。

在糾刪碼方式中，通常需要計算數據的校驗數據塊，為了便于數據管理，在計算時需要先將原始數據劃分為固定大小的數據塊，然后針對數據塊進行校驗塊的計算，最后將數據塊和計算出的校驗塊分發至不同的存儲磁盤。為了保證傳輸和存儲的效率，云存儲系統通常以4MB為單位傳輸和存儲數據，一個存儲的數據塊中會存在多個數據分片的數據。舉個例子，如圖1所示的3+1糾刪碼數據存放形式，原始數據分為3個數據塊，每個數據塊由多個糾刪數據分片組成，不同數據塊上的數據分片計算后形成與其對應的校驗塊。其中，為了保證計算效率數據的分片通常為4kB～64kB之間。

在需要對原始數據進行修改操作時，數據分片內一個字節的修改也意味著整個數據分片和校驗塊的重新計算，因此，在數據修改時需要將整個數據分片都讀取出來恢復原始數據，在修改后重新針對修改后數據進行分片和計算相應的校驗塊，然后將數據分片和計算得到的校驗塊重新寫入。

可見，現有的修改方法中，在數據修改時需要將整個數據分片都讀取、恢復、修改、重新分片、重新計算后再寫入，特別是當修改數據為小塊數據時，對其的寫入為隨機寫入，在SATA硬盤上效率遠低于順序寫入，耗時長、效率低，尤其是在磁盤壓力較大的情況下。

發明內容

有鑒于此，本發明提供了一種云存儲中糾刪碼數據的修改方法及系統，以實現減少數據修改過程中的耗時進而提高修改效率的目的。

為解決上述技術問題，本發明提供一種云存儲中糾刪碼數據的修改方法，該方法包括：

對原始數據進行糾刪碼編碼，將編碼得到的原始編碼數據存至磁盤；

當檢測到對所述原始數據的修改指令時，獲取與所述修改指令對應的修改數據；

判斷所述修改數據的大小是否小于或者等于預設數據量閾值；

當判定所述修改數據的大小小于或者等于所述數據量閾值時，對所述修改數據進行糾刪碼編碼，并將編碼得到的修改編碼數據作為與所述原始數據相對應的修改編碼數據保存至kv數據庫，其中，所述kv數據庫為Key-Value存儲數據庫。

上述方法中，優選地，還包括：

當判定所述修改數據的大小大于所述數據量閾值時，從所述磁盤中獲取所述原始編碼數據，并利用獲取到的所述原始編碼數據和所述修改數據，得到修改后數據；

對所述修改后數據進行糾刪編碼得到修改后編碼數據，并將所述修改后編碼數據存回所述磁盤。

上述方法中，優選地，還包括：

當檢測到對所述原始數據的讀取指令時，判斷所述kv數據庫中是否存在與所述原始數據相對應的修改編碼數據；