[發明專利]一種基于HBase的分布式時序數據庫

在審

• 申請號: 201711046071.5
• 申請日: 2017-10-31
• 公開（公告）號: CN110019085A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 萬英杰;鮑遠松;董文生;黃明;孫冬雪;李亞貝;沈春鋒;滕逸龍
• 申請（專利權）人: 上海寶信軟件股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/22;G06F16/27;G06F16/25
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

1.一種基于HBase的分布式時序數據庫，其特征在于，所述分布式時序數據庫的存儲結構為三元組：TagID，Timestamp，TagVTQ；

其中TagID代表存儲數據的點的ID，一個點保存一個物理設備/傳感器的一屬性項，TimeStamp為所述物理設備/傳感器生成的記錄產生的時間，TagVTQ為所述物理設備/傳感器的三元組：Value，Type，Quality，其中Value為具體的值，Type為數據類型，Qual ity為數據質量；

所述分布式時序數據庫中的分布式文件數據庫HBase的行鍵由TagID和BaseTime組成，BaseTime＝Timestamp/TimeSpan，TimeSpan為分布式時序數據庫的行時間跨度，HBase的列族中每個單元格保存至少一個TagVTQ。

2.根據權利要求1所述的基于HBase的分布式時序數據庫，其特征在于，所述基于HBase的分布式時序數據庫分為：

數據采集層：通過數據采集網關或直接訪問SDK接口，提交數據存儲或查詢請求；

數據接入層：采用分布式消息系統Kafka接收所述數據采集層提交的數據并持久化；

數據處理層：包括分布式實時數據緩存服務、分布式歷史數據歸檔服務、發布/訂閱管理服務和數據聚合服務；

存儲層：包括分布式內存數據庫Redis和分布式文件數據庫HBase。

3.根據權利要求2所述的基于HBase的分布式時序數據庫，其特征在于，包括分布式時序數據庫服務模塊，所述分布式時序數據庫服務模塊包括：

數據處理子模塊：管理一組消息處理線程，每個消息處理線程作為數據主題的一個消費者，從數據主題中接收并解析時序記錄消息，獲取對應的時序數據表，寫入時序數據庫數據表池子模塊；

數據發布子模塊：管理一組消息發布線程，每個消息發布線程作為發布主題的一個消費者，從發布主題中接收發布的時序記錄消息，查詢對應的訂閱者并發布到對應的訂閱頻道；

訂閱管理子模塊：管理所有客戶端的訂閱頻道請求，訂閱管理器接收客戶端的訂閱請求，校驗權限，將驗證成功的訂閱頻道添加至訂閱頻道池中；

服務監聽器：接收客戶端的請求，并分發至對應的數據處理子模塊、數據發布子模塊或訂閱管理子模塊進行處理。

4.根據權利要求3所述的基于HBase的分布式時序數據庫，其特征在于，所述訂閱管理器定期檢測各個訂閱頻道的狀態，關閉不活動的訂閱頻道。

5.根據權利要求3所述的基于HBase的分布式時序數據庫，其特征在于，所述分布式時序數據庫服務模塊還包括分布式時序數據庫內核子模塊，所述分布式時序數據庫內核子模塊管理所述時序數據表，所述時序數據表包含：操作隊列、操作響應隊列、歸并隊列、歸并管理器、歸并線程池、操作線程池和HBase表池。

6.根據權利要求1所述的基于HBase的分布式時序數據庫，其特征在于，TagID采用逆序存儲方式。

7.根據權利要求1所述的基于HBase的分布式時序數據庫，其特征在于，每個TagVTQ保存于一個HBase單元格的單元格列和單元格值中。