[發明專利]數據處理方法和系統及裝置

有效

• 申請號: 201610875562.X
• 申請日: 2016-09-30
• 公開（公告）號: CN107885612B
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 張家勁;姚文東;李柏晴
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種數據管理方法，其特征在于，包括：

對預定大小的數據塊進行編碼，生成與所述數據塊對應的糾錯數據塊，其中，所述數據塊包括數據對象，其中所述數據對象包括關鍵字，值，以及元數據，所述數據對象的大小小于閾值；

生成數據塊索引以及數據對象索引，所述數據塊索引用于索引所述數據塊及與所述數據塊對應的糾錯數據塊，所述數據對象索引用于在所述數據塊中索引所述數據對象，其中，每個數據對象索引用于索引唯一一個數據對象。

2.根據權利要求1的數據管理方法，其特征在于：在所述對預定大小的數據塊進行編碼，生成與所述數據塊對應的糾錯數據塊，之前，所述方法還包括：

將所述數據對象存儲在所述預定大小的數據塊中，其中，所述預定大小的數據塊位于第一存儲設備中；

在所述對預定大小的數據塊進行編碼，生成與所述數據塊對應的糾錯數據塊，之后，所述方法還包括：

將所述的糾錯數據存儲在第二存儲設備中，所述第一存儲設備與第二存儲設備位于分布式存儲系統中的不同位置。

3.根據權利要求2所述的數據管理方法，其特征在于：所述的數據塊索引包括：條帶列表ID，條帶ID，以及位置信息，所述的條帶列表ID用于唯一確定所述分布式存儲系統中多個存儲設備分組中的一個存儲設備分組，其中所述的存儲設備分組包括多個第一設備及多個第二設備；所述條帶ID用于確定在所述條帶列表ID所指示的存儲設備分組中存儲所述數據塊以及與所述數據塊對應的糾錯數據塊的操作序號；所述位置信息用于確定所述數據塊在所述條帶列表ID所確定的存儲設備分組中哪一個第一存儲設備中，以及所述糾錯數據塊在所述條帶列表ID所確定的存儲設備分組中哪一個第二存儲設備中。

4.根據權利要求3所述的數據管理方法，其特征在于：所述生成數據塊索引以及數據對象索引，具體包括：

在所述第一存儲設備中生成數據塊索引以及數據對象索引；以及

在所述第二存儲設備中生成所述數據塊索引以及所述數據對象索引。

5.根據權利要求2至4任意一項所述的數據管理方法，其特征在于：在將所述數據對象存儲在所述預定大小的數據塊中，其中，所述預定大小的數據塊位于第一存儲設備中，之前，所述方法還包括：

選擇一個第一存儲設備，以及一個或者多個第二存儲設備；

將所述數據對象分別發送給所述第一存儲設備，以及所述第二存儲設備。

6.根據權利要求5所述的數據管理方法，其特征在于：所述第一存儲設備將所述數據對象存儲在所述數據塊內，當所述數據塊內的數據對象的大小接近或者等于所述數據塊的存儲限值時，停止向所述數據塊寫入新數據對象，并將所述數據塊內的所存儲的所有的數據對象的Key值發送給所述第二存儲設備；

所述第二存儲設備接收所述第一存儲設備發送的所述數據塊內的所有數據對象的Key值，并根據所述數據對象的Key值在所述第二存儲設備內重建所述數據塊，對重建的所述數據塊進行所述的編碼。

7.根據權利要求5所述的數據管理方法，其特征在于：當所述數據塊內包含多個數據對象時，所述方法還包括：判斷待存儲的數據對象是否小于所述閾值，并將小于所述閾值的所述待存儲的數據對象作為可存儲在所述數據塊內的數據對象進行所述的存儲以及編碼。

8.根據權利要求7所述的數據管理方法，其特征在于：所述方法還包括，以預定的時間間隔根據所述待存儲的數據對象的平均大小，動態調整所述閾值。

9.根據權利要求5所述的數據管理方法，其特征在于：所述分布式存儲系統包括多個備選存儲設備，對應的所述方法還包括：根據所述多個備選存儲設備的負載情況，將負載最小的一個或者多個備選存儲設備作為所述的一個或者多個第二存儲設備。