[發明專利]一種時序數據的聚合優化處理方法

在審

• 申請號: 201810879115.0
• 申請日: 2018-08-03
• 公開（公告）號: CN109164980A
• 公開（公告）日: 2019-01-08
• 發明（設計）人: 廖浩均;關勝亮;程洪澤;陶建輝
• 申請（專利權）人: 北京濤思數據科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/22;G06F16/2458
• 代理公司: 北京大成律師事務所 11352
• 代理人: 王衛東;趙紅梅

1.一種時序數據的聚合優化處理方法，其特征在于，包括如下步驟：

將時序數據庫文件劃分為數據文件和索引文件；

按照計算的起止時間段掃描索引文件，將符合時間段條件的所有需要聚合的時間序列的索引塊抽出來后，根據索引塊里記錄的數據文件偏移量進行排序；

按照排序后的索引塊順序掃描數據文件，對每個數據塊進行指定的讀取和計算后，將計算結果匯總。

2.如權利要求1所述的方法，其特征在于：索引塊排序時，偏移量小的排在前。

3.如權利要求1所述的方法，其特征在于：數據文件包含多個時間序列的數據塊。

4.如權利要求1-3任一項所述的方法，其特征在于：索引文件記錄每個時間序列的數據塊的信息。

5.如權利要求4所述的方法，其特征在于：索引文件里，每個時間序列，都有一個索引匯總信息塊，以及一到多個索引塊。索引匯總信息塊包含時間序列的ID，數據塊的個數。

6.如權利要求3或5所述的方法，其特征在于：每個時間序列有一到多個索引塊，每一個數據塊有一個對應的索引塊，該索引塊包含了數據塊在數據文件里的偏移量，開始時間、結束時間、記錄條數。

7.如權利要求1所述的方法，其特征在于：指定某一或多個時間序列和時間段后，將符合時間段條件的數據塊全部抽出的步驟，包括：

查找索引文件，找到對應的數據塊在數據塊文件里的偏移量并按偏移量進行排序；

根據排序后的偏移量，從數據塊文件里讀取數據塊；

獲取數據塊里指定時間段的數據。

8.如權利要求1所述的方法，其特征在于：將時序數據記錄寫入數據庫時，先將其寫入內存。

9.如權利要求8所述的方法，其特征在于：當內存的占用達到一定的比例或每隔一定的時間，將內存緩存的時序數據寫入磁盤。

10.如權利要求9所述的方法，其特征在于：將時序數據寫入磁盤的步驟包括：

1)每個時間序列的數據在內存里按照時間排序；

2)按照數據塊大小的設置，對每一個時間序列數據，將內存數據用追加方式寫入數據文件，生成一個或多個數據塊；

3)對每個新的數據塊，將包括開始時間、結束時間、記錄條數的數據塊信息計入一個新的索引塊，寫入索引文件；

4)每一個時間序列的索引匯總信息塊與索引塊信息連續存放，內存數據每次落盤時重新生成新的塊索引文件。