[發明專利]云存儲系統的數據處理方法

無效

• 申請號: 201110456941.2
• 申請日: 2011-12-30
• 公開（公告）號: CN102968356A
• 公開（公告）日: 2013-03-13
• 發明（設計）人: 劉濤;阮昊
• 申請（專利權）人: 中國科學院上海光學精密機械研究所
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F11/08
• 代理公司: 上海新天專利代理有限公司 31213
• 代理人: 張澤純

技術領域

本發明涉及云存儲系統，特點是一種基于里的所羅門的云存儲系統的數據處理方法。

背景技術

在當今風起云涌的時代，云存儲作為云的基礎架構和最廣泛的應用得到了極大的重視。在云存儲系統中，用戶數據存放于系統的云端，而構成云端的存儲節點是用戶不可控的。用戶的數據可能被未經授權的第三方挖掘比對或者惡意篡改。

同時，在云端單個或者多個存儲節點缺失、失效的情況下(隨著云端的擴展，存儲節點故障的幾率將增加)，用戶數據丟失的可能性極大。上述情況表明，云存儲的發展亟需一種能完全保證用戶數據完整性、隱私性和可靠性的安全機制。

目前基于所有的云存儲技術都是采用一種類似Hadoop(云計算的一種開源軟件)系統中的HDFS(Hadoop?Distributed?File?System，即Hadoop分布式文件系統)。該技術主要是將一個數據文件按照設定的大小分成若干塊，再通過對每一個數據完整備份(例如Hadoop中的HDFS設置有3份相同備份)來提高可靠性，該技術的缺點是浪費存儲空間。

里的所羅門糾錯編碼方法：其原理是，計算信息碼符多項式除以校驗碼生成多項式之后的余數，具體公式是：

F?mod?D＝C；

其中F為原始數據，D是生成多項式，C為生成的冗余糾錯數據。mod為求余運算。

而在解碼時，為簡單起見，假定存入原始的信息符號為m₃、m₂、m₁、m₀和由此產生的檢驗符號Q₁、Q₀，而讀出的符號為m₃′、m₂′、m₁′、m₀′、Q₁′和Q₀′，如果計算由此得到的校正子s₀和s₁不全為0，則說明有差錯，再通過計算錯誤多項式以及錯誤值，將錯誤糾正過來。

該方法廣泛應用于DVD光盤數據的處理，該編碼方法能很好的提高對原始數據的糾錯能力，能將數據的隨機錯誤率從2×10^-2降低到1×10^-15。在本發明中我們將該編碼方法將一個數組形式的數據塊，在橫向和縱向分別進行里的所羅門編碼，獲得橫向和縱向糾錯冗余數據，這樣就對數據進行了雙重的糾錯保護，提高了糾錯能力，而且這些冗余數據只占原來數據量的13％。

正是由于在較低的數據冗余的情況下能如此高效的進行數據糾錯，而一般的云存儲系統均未采取此種糾錯方法，只是通過數據備份來達到數據恢復的能力，一般云存儲系統均須備份3份及以上，顯然將極大地浪費數據的存儲空間，提高成本，

發明內容

本發明要解決的技術問題在于，提供了一種云存儲系統的數據處理方法，該方法將提高云存儲系統中數據的安全性，可恢復性，降低數據備份數目，極大的節約數據的存儲空間，降低成本。

本發明的技術解決方案如下：

一種云存儲系統的數據處理方法，其特點在于，對云存儲系統的數據存入和數據提取分別采用里的所羅門編碼數據糾錯編碼處理和里的所羅門糾錯解碼處理。

所述的數據存入方法，包括以下具體步驟：

①將待存儲的原始數據分成K個幀數據，每個幀數據包含相同的固定長度N比特的數據，當最后一個原始數據幀的數據長度小于N時，對最后一塊數據幀填充數據‘0’，以達到長度N，其中K為大于大于1的正整數，N的取值范圍為：200＜N＜2000：

②對所述的每一個數據幀加上編號，即ID，得到一個新數據幀，所述的ID長為4個字節，從0001開始遞加，故新的數據幀的長度為(N+4)；

③將所述的新的K個數據幀再組合為W個數據塊，每一個數據塊包含M個數據幀，形成一個M*(N+4)的數據矩陣，當最后一個數據塊的數據幀的個數小于M時，對該數據塊填充‘0’數據幀，以使最后一個數據塊達到固定的數據幀M，其中M，W的取值范圍分別為：200＜M＜2000，W＝K/M；