[發明專利]數據處理方法和系統及裝置

有效

• 申請號: 201610875562.X
• 申請日: 2016-09-30
• 公開（公告）號: CN107885612B
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 張家勁;姚文東;李柏晴
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種處理數據的方法，其包括：對預定大小的數據塊進行編碼，生成與所述數據塊對應的糾錯數據塊，其中，所述數據塊包括數據對象，其中所述數據對象包括，關鍵字，值，以及元數據；生成數據塊索引以及數據對象索引，所述數據塊索引用于索引所述數據塊及與所述數據塊對應的糾錯數據塊，所述數據對象索引用于在所述數據塊中索引所述數據對象，其中，每個數據對象索引用于索引唯一一個數據對象。

技術領域

本發明涉及計算領域，并且更具體地，涉及一種數據處理方法和系統及裝置。

背景技術

隨著內存價格的下降，分布式內存存儲系統廣泛應用于分布式運算系統中，用于存儲熱數據，其中鍵值(key-Value,KV)對存儲是使用最為廣范的數據存儲方式，當前主流的商用的產品有Memcached，Redis，RAMCloud等，在Twitter、Facebook以Amazon的數據存儲系統中有商業化應用。

分布式內存存儲系統的主流容錯方法主要是全備份方案，其方式是將一份數據整體復制到不同的設備上，當部分設備失效時，可以使用備份在其他未失效的設備上的備份數據來恢復失效設備中的數據。這種實現方案簡單可靠，但存在較大的數據冗余，至少需要兩份以上的備份。而且為保證數據一致性，修改數據時的效率不高。

另外一種容錯方案是糾刪碼編碼(Erasure Coding，EC)容錯方案，使用糾刪碼技術，對數據編碼，得到糾刪碼(Parity)，糾刪碼的長度一般會小于原數據，通過將原數據和糾刪碼分布到不同的多個設備上，當部分設備失效時，可以通過部分的原數據和部分的糾刪碼恢復完整的數據，這樣整體的數據冗余率就小于2，實現節省內存的目的。

當前主流的使用糾刪碼的技術有LH*RS、Atlas、Cocytus等，這些技術采用的是對鍵值對(KV)的值進行糾刪碼編碼，對鍵值對的其他數據仍然采用全備份方案。具體來說，通常某一個第一目標數據(Object)的KV數據結構中的包含三部分，Key，Value，以及Metadata，其中，Key為所述第一目標數據唯一的標示符，通過Key可以唯一的確定對應的第一目標數據；Value則是所述第一目標數據的實際內容；而，Metadata內保存著第一目標數據的一些屬性信息，比如Key的大小，Value的大小，創建/修改所述第一目標數據的時間戳等信息。采用目前主流的糾刪碼技術對一個第一目標數據進行備份時，第一目標數據的Metadata和Key這兩部分使用全備份方案，將Value采用EC方案。例如，若需要存儲備份三個數據對象，使用M1、M2、M3及Data1、Data2、Data3表示，其中M是指數據對象的Metadata和Key，Data指數據對象的Value，將Data1、Data2、Data3使用EC編碼，得到糾錯碼Parity1和Parity2，然后將Data1、Data、Data3、Parity1、Parity2這5份數據分布到5個設備上，然后將M1、M2、M3全復制三份，部署到5個設備上。

這種方案也可以稱之為部分編碼存儲方案。部分編碼存儲方案在存儲大數據對象的場景下，也就是Metadata和Key的數據長度要遠小于Value的數據長度這種場景下具有較高的存儲效率。但是，這種方案在處理小數據對象時效率低下，因為小數據對象中，Metadata和Key與Value的數據長度的大小差異不大，甚至Metadata和Key的數據長度大于Value的數據長度。從Facebook公布的資料，存儲在內存存儲中的數據對象中的絕大多數都是小數據對象，甚至有40％以上都小于11bit，說明絕大多數數據都是小數據，而這種部分編碼存儲方案并不能發揮EC編碼的優勢，而使得數據存儲冗余較大，存儲成本增加。

發明內容

本申請提供一種數據處理方法和系統及裝置，可以降低數據對象存儲的數據冗余，降低存儲成本。

第一方面，本申請提供了一種處理數據的方法，其包括：對預定大小的數據塊進行編碼，生成與所述數據塊對應的糾錯數據塊，其中，所述數據塊包括數據對象，其中所述數據對象包括，關鍵字，值，以及元數據；