[發明專利]一種海量數據提取的方法及裝置

有效

• 申請號: 201410340118.9
• 申請日: 2014-07-16
• 公開（公告）號: CN104112011A
• 公開（公告）日: 2014-10-22
• 發明（設計）人: 陳工孟;唐杰
• 申請（專利權）人: 深圳市國泰安信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 張全文

1.一種海量數據提取的方法，其特征在于，所述方法包括：

從原始數據庫中獲取原始數據，并根據預設規則對所述原始數據進行分區；

根據分區規則建立B-Tree索引；

根據存入數據分區中的數據列類型、數據分區的時間范圍以及數據列存入的先后順序建立列索引；

將所述數據分區中的數據塊拆分成多個數據子塊，對所述數據子塊進行編號，每個數據子塊對應一個數據主鍵，并將所述數據主鍵的列數據根據所述列索引存入對應的數據子塊中；

在接收到數據提取請求信息時，根據所述請求信息中的時間范圍通過B-Tree索引確定待提取數據所在的數據分區，并確定該數據分區列內的偏移開始位置PB和偏移結束位置PE，根據所述請求信息中的列信息通過列索引確定每個列相對所述數據子塊的起始位置P_i，并根據所述請求信息中數據主鍵對應的數據子塊編號確定該數據主鍵的起始位置P_C；

提取位置范圍[P_C+P_i+PB，P_C+P_i+PE]內的數據。

2.如權利要求1所述的方法，其特征在于，所述列索引的計算公式如下：

yn=T×Σi=1n-1Li;]]>

其中，y_n為第n列索引，T為時間范圍內總的時間點個數，Li為第i列的單個字段數據長度，n為大于或等于2的整數。

3.如權利要求1所述的方法，其特征在于，所述根據預設規則對所述原始數據進行分區包括：

根據時間范圍對所述原始數據進行分區。

4.如權利要求1至3任一項所述的方法，其特征在于，在根據預設規則對所述原始數據進行分區之前，還包括：

對獲取的所述原始數據進行填充處理，以使得填充處理后的數據與時間點對齊。

5.如權利要求1所述的方法，其特征在于，所述將所述數據分區中的數據塊拆分成多個數據子塊包括：

將數據分區中的數據塊根據一個數據主鍵存儲所有列所需的存儲空間拆分成多個數據子塊。

6.一種海量數據提取的裝置，其特征在于，所述裝置包括：

分區單元，用于從原始數據庫中獲取原始數據，并根據預設規則對所述原始數據進行分區；

第一索引單元，用于根據分區規則建立B-Tree索引；

第二索引單元，用于根據存入數據分區中的數據列類型、數據分區的時間范圍以及數據列存入的先后順序建立列索引；

第一處理單元，用于將所述數據分區中的數據塊拆分成多個數據子塊，對所述數據子塊進行編號，每個數據子塊對應一個數據主鍵，并將所述數據主鍵的列數據根據所述列索引存入對應的數據子塊中；

第二處理單元，用于在接收到數據提取請求信息時，根據所述請求信息中的時間范圍通過B-Tree索引確定待提取數據所在的數據分區，并確定該數據分區列內的偏移開始位置PB和偏移結束位置PE，根據所述請求信息中的列信息通過列索引確定每個列相對所述數據子塊的起始位置P_i，并根據所述請求信息中數據主鍵對應的數據子塊編號確定該數據主鍵的起始位置P_C；

數據提取單元，用于提取位置范圍[P_C+P_i+PB，P_C+P_i+PE]內的數據。