[發明專利]數據存儲、查詢方法和裝置

有效

• 申請號: 201310577254.5
• 申請日: 2013-11-18
• 公開（公告）號: CN104657362B
• 公開（公告）日: 2018-07-10
• 發明（設計）人: 張元龍;林匯寶
• 申請（專利權）人: 深圳市騰訊計算機系統有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 賈允;肖丁

1.一種數據存儲方法，待存儲數據包括原始數據標識和與所述原始數據標識對應的原始數據內容，所述方法包括：

根據所述原始數據標識對所述待存儲數據進行聚類，將具有公共部分的原始數據標識對應的待存儲數據作為一類，每一類分別對應一個數據塊，并根據所述數據塊對應的待存儲數據的原始數據標識生成數據塊標識；

將所述數據塊對應的待存儲數據的原始數據內容進行壓縮，將壓縮數據內容存儲在所述數據塊的數據區，并獲得所述壓縮數據內容的地址標識；

根據所述數據塊對應的待存儲數據的原始數據標識和所述地址標識生成索引，并將所述索引存儲于所述數據塊的索引區。

2.根據權利要求1所述的方法，其特征在于，所述根據所述原始數據標識對所述待存儲數據進行聚類，每一類分別對應一個數據塊，并根據所述數據塊對應的待存儲數據的原始數據標識生成數據塊標識，包括：

將所述待存儲數據的原始數據標識中第一預設位數的低位部分相同的待存儲數據作為一類，每一類分別對應一個數據塊，并將所述低位部分作為所述數據塊的數據塊標識。

3.根據權利要求2所述的方法，其特征在于，所述根據所述數據塊對應的待存儲數據的原始數據標識和所述地址標識生成索引，并將所述索引存儲于所述數據塊的索引區，包括：

從所述數據塊對應的待存儲數據的原始數據標識中截去所述低位部分，獲得壓縮數據標識，并將所述壓縮數據標識和所述壓縮數據內容的地址標識對應存儲于所述數據塊的索引區。

4.根據權利要求3所述的方法，其特征在于，所述從所述數據塊對應的待存儲數據的原始數據標識中截去所述低位部分，獲得壓縮數據標識，并將所述壓縮數據標識和所述壓縮數據內容的地址標識對應存儲于所述數據塊的索引區，包括：

將所述數據塊的原始數據標識中第二預設位數的高位部分相同的原始數據標識作為同一子類，每一子類的原始數據標識分別對應所述數據塊的索引區中的每個數據桶，將所述高位部分作為所述數據桶的數據桶標識，并在所述數據塊的索引區中存儲所述數據桶標識和所述數據桶在所述索引區中的桶起始存儲地址的對應關系；

從所述數據塊對應的待存儲數據的原始數據標識中截去所述低位部分和所述高位部分，獲得壓縮數據標識，并將所述壓縮數據標識存儲在以所述高位部分作為數據桶標識的數據桶中；

在所述數據塊的索引區中存儲與所述數據桶中存儲的壓縮數據標識對應的壓縮數據內容的地址標識。

5.根據權利要求4所述的方法，其特征在于，所述壓縮數據內容的地址標識為所述壓縮數據內容在所述數據區中的存儲地址相對于所述數據區中起始存儲地址的偏移量；

所述在所述數據塊的索引區中存儲與所述數據桶中存儲的壓縮數據標識對應的壓縮數據內容的地址標識，包括：

在所述索引區中存儲所述數據桶所對應的起始偏移量，以及所述數據桶中的壓縮數據標識所對應的壓縮數據內容的偏移量相對于所述起始偏移量的桶內偏移量。

6.根據權利要求4所述的方法，其特征在于，所述壓縮數據內容的地址標識為所述壓縮數據內容在所述數據區中的存儲地址相對于所述數據區中起始存儲地址的偏移量；

所述在所述數據塊的索引區中存儲與所述數據桶中存儲的壓縮數據標識對應的壓縮數據內容的地址標識，包括：

在所述索引區中存儲所述數據桶所對應的壓縮數據內容的起始偏移量，以及所述數據桶所對應的各個壓縮數據內容的數據長度。

7.根據權利要求4-6任意一項所述的方法，其特征在于，所述壓縮數據標識在所述數據塊的索引區的數據桶中按照所述壓縮數據標識的數值大小升序或降序存儲。