[發明專利]構建列存儲索引的方法、裝置及系統

有效

• 申請號: 201310659169.3
• 申請日: 2013-12-06
• 公開（公告）號: CN103631937A
• 公開（公告）日: 2014-03-12
• 發明（設計）人: 朱翔;李理;李庚;何偉平
• 申請（專利權）人: 北京趣拿信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 吳貴明;張永明

1.一種構建列存儲索引的方法，其特征在于，包括：

獲取即時生效文檔，所述即時生效文檔包括：標識數據和所述標識數據關聯的動態數據；

在內存中根據所述即時生效文檔創建列存儲式索引結構的文檔，生成柱狀索引文件，所述柱狀索引文件包括標識列和數據存儲列，其中，所述標識列用于保存所述標識數據，所述數據存儲列用于保存所述標識數據關聯的動態數據；

在所述內存中保存所述柱狀索引文件。

2.根據權利要求1所述的方法，其特征在于，所述柱狀索引文件包括多列數據存儲列i，每列所述數據存儲列i分別保存大小為2^i?byte的動態數據，1≤i≤n，n為自然數，其中，大于等于2^n?byte的動態數據，都保存在第n列數據存儲列n中。

3.根據權利要求2所述的方法，其特征在于，在獲取即時生效文檔之前，所述方法還包括：

歸檔定位裝置讀取輸入文檔，所述輸入文檔記錄所述動態數據和非動態數據；

在所述歸檔定位裝置中根據所述輸入文檔來創建索引文件，所述索引文件包括所述即時生效文檔和非即時生效文檔；

生成所述即時生效文檔的鏡像文件；

每次系統重啟時，所述歸檔定位裝置將所述即時生效文檔的鏡像文件推送給所述內存。

4.根據權利要求3所述的方法，其特征在于，在所述內存中保存所述柱狀索引文件之后，所述方法還包括：

重做日志服務器記錄所述輸入文檔中所述動態數據的實時更新記錄，所述實時更新記錄保存所述動態數據每次發生更新后的數據；

將所述實時更新記錄發送給所述歸檔定位裝置和/或所述內存；

使用所述實時更新記錄替換所述即時生效文檔中的動態數據。

5.根據權利要求1至4中任意一項所述的方法，其特征在于，在所述內存中保存所述柱狀索引文件之前，所述方法還包括：

判斷所述柱狀索引文件的大小是否大于所述內存的大小，所述內存的大小為預先劃分的原始內存空間；其中，

在所述柱狀索引文件的大小大于所述原始內存空間的情況下，動態重新分配所述內存的大小，得到新內存空間；

將所述柱狀索引文件保存至所述新內存空間。

6.根據權利要求5所述的方法，其特征在于，將所述柱狀索引文件保存至所述新內存空間之前，所述方法還包括：對所述柱狀索引文件中已經失效的動態數據設置對應的失效標記，使得在所述柱狀索引文件保存至所述新內存空間的過程中，不保存具有所述失效標記的動態數據。

7.根據權利要求6所述的方法，其特征在于，動態重新分配所述內存的大小，得到新內存空間的步驟包括：按照如下公式構造所述新內存空間，所述新內存空間的大小Size=(y_used-y_dead)*grow_ratio+constant，其中，所述y_used表征所有被使用的動態數據的數目，所述y_dead表征具有所述失效標記的動態數據的數目，所述grow_ratio表征預設的增長因子，所述constant表征預設的常量，其中，

當前柱狀索引文件的大小大于所述新內存空間時，在將所述當前柱狀索引文件中的動態數據設置對應的失效標記之后，將所述當前柱狀索引文件中不具有失效標記的動態數據保存至所述原始內存空間中。

8.一種構建列存儲索引的裝置，其特征在于，包括：

獲取模塊，用于獲取即時生效文檔，所述即時生效文檔包括：標識數據和所述標識數據關聯的動態數據；

創建模塊，用于在內存中根據所述即時生效文檔創建列存儲式索引結構的文檔，生成柱狀索引文件，所述柱狀索引文件包括標識列和數據存儲列，其中，所述標識列用于保存所述標識數據，所述數據存儲列用于保存所述標識數據關聯的動態數據；

保存模塊，用于在所述內存中保存所述柱狀索引文件。

9.根據權利要求8所述的裝置，其特征在于，所述柱狀索引文件包括多列數據存儲列i，每列所述數據存儲列i分別保存大小為2^i?byte的動態數據，1≤i≤n，n為自然數，其中，大于等于2^n?byte的所述動態數據，都保存在第n列數據存儲列n中。