[發明專利]一種基于鍵排序的數據存儲方法和裝置

有效

• 申請號: 201210541207.0
• 申請日: 2012-12-14
• 公開（公告）號: CN103870492B
• 公開（公告）日: 2017-08-04
• 發明（設計）人: 陳崢;鄧大付
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司11018
• 代理人: 張馳,宋志強

1.一種基于鍵排序的數據存儲方法，其特征在于，該方法包括：

在第一數據塊中存儲定長鍵及其值，其中所述存儲定長鍵包括：統一存儲各個定長鍵的公共前綴，并分別存儲各個定長鍵去除公共前綴后的剩余部分；

在第二數據塊存儲變長鍵及其值，其中所述存儲變長鍵包括：全量存儲基準鍵類型的變長鍵，而對前綴壓縮鍵類型的變長鍵執行前綴壓縮；該方法進一步包括：

將當前變長鍵與上一個基準鍵進行前綴比較，如果相同前綴串小于預先設置的閾值長度，則判定該當前變長鍵為基準鍵類型；如果相同前綴串大于所述閾值長度與預先設置的閾值差分的和，則判定該當前變長鍵為基準鍵類型；如果相同前綴串大于所述閾值長度而小于所述閾值長度與所述閾值差分的和，則判定該當前變長鍵為前綴壓縮鍵類型。

2.根據權利要求1所述的基于鍵排序的數據存儲方法，其特征在于，所述對前綴壓縮鍵類型的變長鍵執行前綴壓縮包括：

針對前綴壓縮鍵類型的變長鍵，存儲該前綴壓縮鍵類型的變長鍵與上一個基準鍵的公共前綴的長度，以及存儲該前綴壓縮鍵類型的變長鍵去除該公共前綴后的剩余部分。

3.根據權利要求1所述的基于鍵排序的數據存儲方法，其特征在于，該方法進一步包括：

當判定將定長鍵及其值存儲到第一數據塊失敗時，壓縮所述第一數據塊，并分配存儲緩沖區；當壓縮后第一數據塊的大小小于所述存儲緩沖區時，將所述壓縮后第一數據塊寫入所述存儲緩沖區；

當判定將變長鍵及其值存儲到第二數據塊失敗時，壓縮所述第二數據塊，并分配存儲緩沖區；當壓縮后第二數據塊的大小小于所述存儲緩沖區時，將所述壓縮后第二數據塊寫入所述存儲緩沖區。

4.根據權利要求1所述的基于鍵排序的數據存儲方法，其特征在于，該方法進一步包括：

當判定將定長鍵及其值存儲到第一數據塊成功時，將所述定長鍵及其值的布隆過濾器信息寫入到布隆過濾器中；

當判定將變長鍵及其值存儲到第二數據塊成功時，將所述定長鍵及其值的布隆過濾器信息寫入到布隆過濾器中。

5.根據權利要求1所述的基于鍵排序的數據存儲方法，其特征在于，該方法進一步包括：

設置讀取緩沖區，并當判定該讀取操作的讀取長度小于所述緩沖區且該當前數據塊不是最后數據塊時，取出下一數據塊的起始地址并記錄下一數據塊的長度并繼續讀取，直到讀取長度大于所述緩沖區的長度為止。

6.一種基于鍵排序的數據存儲裝置，其特征在于，該裝置包括定長鍵存儲單元和變長鍵存儲單元，其中：

定長鍵存儲單元，用于在在第一數據塊中存儲定長鍵及其值，其中所述存儲定長鍵包括：統一存儲各個定長鍵的公共前綴，并分別存儲各個定長鍵去除公共前綴后的剩余部分；

變長鍵存儲單元，用于在第二數據塊存儲變長鍵及其值，其中所述存儲變長鍵包括：全量存儲基準鍵類型的變長鍵，而對前綴壓縮鍵類型的變長鍵執行前綴壓縮；

該裝置進一步包括鍵類型區分單元；

鍵類型區分單元，用于將當前變長鍵與上一個基準鍵進行前綴比較，如果相同前綴串小于預先設置的閾值長度，則判定該當前變長鍵為基準鍵類型；如果相同前綴串大于所述閾值長度與預先設置的閾值差分的和，則判定該當前變長鍵為基準鍵類型；如果相同前綴串大于所述閾值長度而小于所述閾值長度與所述閾值差分的和，則判定該當前變長鍵為前綴壓縮鍵類型。

7.根據權利要求6所述的基于鍵排序的數據存儲裝置，其特征在于，

定長鍵存儲單元，用于針對前綴壓縮鍵類型的變長鍵，存儲該前綴壓縮鍵類型的變長鍵與上一個基準鍵的公共前綴的長度，以及存儲該前綴壓縮鍵類型 的變長鍵去除該公共前綴后的剩余部分。

8.根據權利要求6所述的基于鍵排序的數據存儲裝置，其特征在于，進一步包括數據塊間壓縮單元，其中：

數據塊間壓縮單元，用于當判定將定長鍵及其值存儲到第一數據塊失敗時，壓縮所述第一數據塊；當判定將變長鍵及其值存儲到第二數據塊失敗時，壓縮所述第二數據塊。

9.根據權利要求8所述的基于鍵排序的數據存儲裝置，其特征在于，進一步包括存儲緩沖單元；

存儲緩沖單元，用于分配存儲緩沖區，并當壓縮后第一數據塊的大小小于所述存儲緩沖區時，將所述壓縮后第一數據塊寫入所述存儲緩沖區；當壓縮后第二數據塊的大小小于所述存儲緩沖區時，將所述壓縮后第二數據塊寫入所述存儲緩沖區。