[發明專利]一種數據存儲的方法和裝置

有效

• 申請號: 201610533814.0
• 申請日: 2016-07-07
• 公開（公告）號: CN107590019B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 梁建群
• 申請（專利權）人: 北京金山云網絡技術有限公司;北京金山云科技有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F3/06;G06F16/22
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 李紅爽;栗若木

本發明公開了一種數據存儲的方法和裝置，該方法通過用戶寫入數據的時候，尤其是大規模數據時，采用EC編碼技術對用戶寫入集群的數據分別拆分成若干個數據塊和校驗塊，而無需對數據進行緩存或者備份，直接將拆分后的數據塊和校驗塊存儲到對應的存儲單元中，只要保證丟失的數量不超過校驗塊的數量，則可以保證整個數據仍然是完整的，從而使得數據存儲操作簡單，減少了備用存儲空間，降低了備份成本。

技術領域

本發明涉及計算機通信技術領域，尤指一種數據存儲的方法和裝置。

背景技術

目前，隨著大數據時代的到來，給人們的生活帶來了財富和便利，同時，大數據通常具有數據規模大、存儲時間長、可靠性要求高等要求，使得存儲系統通常需要實現冗余和容災，也就意味著同樣的數據需要存儲多個副本，使得存儲成本很高。

現有技術中，常見的對大規模數據進行存儲所采取的冗余方式通常是：將同樣的數據保存在不同的機器或者機房中，并且保存多份，其中，每一份備份的數據都稱之為該數據的一個副本，例如：將位于三個不同物理位置的機房，分別對數據進行備份，保存為三個副本，這樣使得實際占用的存儲空間是原數據量的三倍，也就意味著數據的存儲成本增長為三倍。

但是，采用現有技術，使得大規模數據存儲的操作復雜，且成本很高。

發明內容

為了解決上述技術問題，本發明提供了一種數據存儲的方法和裝置，能夠幫助大規模數據快速安全的進行備份，從而使得大規模數據存儲操作簡單，減少了備用存儲空間，降低了備份成本。

為了達到本發明目的，第一方面，本發明實施例提供了一種數據存儲方法，該方法包括：

獲取至少一個集群，接收用戶寫入所述集群中的數據，采用EC編碼將所述數據分別劃分為預定數量的數據塊和校驗塊；

從所述集群中確定至少一個邏輯單元，將所述邏輯單元劃分為與所述數據塊和所述校驗塊一一對應的存儲單元，其中，劃分后所述存儲單元的數量與所述數據塊和校驗塊的數量總和相同；

獲取所述數據的唯一識別碼，將所述唯一識別碼和所述數據塊和校驗塊中的數據分別保存到對應的存儲單元中。

本發明提供的一種數據存儲的方法，通過用戶寫入數據的時候，尤其是大規模數據時，采用EC編碼技術對用戶寫入集群的數據分別拆分成若干個數據塊和校驗塊，而無需對數據進行緩存或者備份，直接將拆分后的數據塊和校驗塊存儲到對應的存儲單元中，只要保證丟失的數量不超過校驗塊的數量，則可以保證整個數據仍然是完整的，從而使得數據存儲操作簡單，減少了備用存儲空間，降低了備份成本。

在一個實施例中，接收用戶寫入所述集群中的數據，采用EC編碼對所述數據分別劃分為預定數量的數據塊和校驗塊，包括：

將同一時間接收到用戶寫入所述集群中的數據，在同一時間采用EC編碼對所述數據分別劃分為預定數量的數據塊和校驗塊，其中所述校驗塊的數量。

通過實時EC可以及時地對數據進行處理，不需要緩存或者備份，提高了數據存儲的效率。

在一個實施例中，在將所述唯一識別碼和所述數據塊和校驗塊中的數據分別保存到對應的存儲單元中之后，還包括：

返回訪問所述數據的鑰匙Key給用戶，其中，所述鑰匙Key的內容至少包括：所述數據的唯一識別碼、集群的序列號和存儲單元的編號。

通過返回保存成功后數據的鑰匙給用戶，其中，所述鑰匙包括：唯一識別碼、集群的序列號和存儲單元的編號，可以方便用戶快速地找到想要的數據，同時也便于進行數據管理。

在一個實施例中，在返回所述鑰匙Key給用戶之后，還包括：

若接收到用戶發送的所述鑰匙Key時，則解析所述鑰匙Key中所述集群的序列號和所述存儲單元的編號。