[發明專利]基于Hbase散列概要森林對時序數據進行索引的方法

有效

• 申請號: 201710154614.9
• 申請日: 2017-03-15
• 公開（公告）號: CN106991137B
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 尹建偉;馮詩淳;鄧水光;李瑩;吳健;吳朝暉;易崢
• 申請（專利權）人: 浙江大學;浙江核新同花順網絡信息股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

本發明公開了一種基于Hbase散列概要森林對時序數據進行索引的方法，包括以下步驟：(1)根據時間粒度建立每棵時間單元樹；(2)求取每棵時間單元樹的散列碼，并將帶有散列碼的時間單元樹組成基于Hbase的散列概要森林；(3)將采集的時序數據根據散列碼插入到散列概要森林中；(4)根據時間范圍查詢讀取存儲的時序數據。本發明通過結合概要森林樹形索引方案，提高時序數據聚合操作的查詢速度，同時通過生成散列碼為單元樹提供散列索引，解決Hbase分布式存儲時序數據產生熱點問題。

技術領域

本發明涉及存儲技術領域，具體涉及一種基于Hbase散列概要森林對時序數據進行索引的方法。

背景技術

時序數據為以時間序列索引的連續數據，隨著計算機應用的普及，時序數據在各個領域也得到了廣泛的應用。例如：隨著金融領域與互聯網的結合越來越緊密，金融領域大量的量化回撤操作對時序數據的聚合操作性能需求越來越大。例如：對期貨中一個季度時間范圍內的某種商品合約的市價、盤口價格或成交量等進行統計，進行求和或計算最大值等聚合操作。這樣的應用場景在金融量化中出現頻繁，并且由于數據量巨大，如何快速準確地計算t1～t2時間內的金融時序數據的聚合操作結果變得十分重要。

以對Au金屬期貨交易數據中一定時間范圍內市價的求和操作為例：

Select SUM(Last Price)From‘Au’WHERE time>t1AND time<t2

在這樣的應用場景下，必須支持在海量的時序數據中快速取得聚合操作結果。

傳統關系型數據庫主要采用物化視圖或概要表的方式達到加速聚合查詢的目的。物化視圖是對涉及表連接的查詢命令進行預處理，并將結果保存在視圖表中，查詢時直接取出預處理好的結果。概要表則是在寫入數據的同時，計算并保存相應的概要信息，從而發生查詢時，直接從概要表中查詢并返回結果。此類方法提高了查詢效率，但是缺點是增加了數據庫的膨脹率。在NoSQL數據庫中，一些數據庫采用MapReduce和聚合管道的方式來處理這些聚合操作，其都是實時計算的代表，雖然沒有增加數據庫的膨脹率，但查詢過程中產生了大量的磁盤和計算開銷，低效耗時，無法滿足即席查詢的需求。一些NoSQL數據庫將樹型索引結構融合，提高了查詢效率，減少了磁盤訪問次數。

發明內容

鑒于上述，本發明提出了一種基于Hbase散列概要森林對時序數據進行索引的方法，通過建立樹形索引加快了時序數據的查詢時間，并通過散列碼避免了時序數據在分布式數據庫中順序存儲產生的空間分配不均的問題。

一種基于Hbase散列概要森林對時序數據進行索引的方法，包括以下步驟：

(1)根據時間粒度建立每棵時間單元樹；

(2)求取每棵時間單元樹的散列碼，并將帶有散列碼的時間單元樹組成基于Hbase的散列概要森林；

(3)將采集的時序數據根據散列碼插入到散列概要森林中；

(4)根據時間范圍查詢讀取存儲的時序數據。

步驟(1)中，建立時間單元樹的過程為：首先，預先確定時間單元樹的時間粒度；然后以根節點開始進行遞歸，每次建立一個新的節點，接下來，遞歸建立此節點的左右孩子節點，當創建的節點超出預先計算的范圍時停止遞歸，完成整棵樹的建立過程。

在步驟(1)中，每棵時間單元樹是一棵線段樹，且包含一個固定時間粒度。通過控制每棵樹的樹高來控制時間粒度。線段樹節點存儲該節點范圍的概要信息，主要包括：LBound、RBound、LNode、RNode以及Data；其中，LBound、RBound分別表示該節點包含時間范圍的起始時間點和終止時間點；LNode、RNode分別表示該節點左孩子和右孩子節點包含時間點的中點；Data表示該節點存放的概要數據值，此時建立的時間單元樹的每個節點的Data是空的。