[發(fā)明專利]一種基于HBase的分布式時(shí)序數(shù)據(jù)庫(kù)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711046071.5
• 申請(qǐng)日: 2017-10-31
• 公開(kāi)（公告）號(hào): CN110019085A
• 公開(kāi)（公告）日: 2019-07-16
• 發(fā)明（設(shè)計(jì)）人: 萬(wàn)英杰;鮑遠(yuǎn)松;董文生;黃明;孫冬雪;李亞貝;沈春鋒;滕逸龍
• 申請(qǐng)（專利權(quán)）人: 上海寶信軟件股份有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/22;G06F16/27;G06F16/25
• 代理公司: 上海漢聲知識(shí)產(chǎn)權(quán)代理有限公司 31236
• 代理人: 郭國(guó)中

本發(fā)明提供了一種基于HBase的分布式時(shí)序數(shù)據(jù)庫(kù)，存儲(chǔ)結(jié)構(gòu)為三元組：TagID，Timestamp，TagVTQ；分布式時(shí)序數(shù)據(jù)庫(kù)中的分布式文件數(shù)據(jù)庫(kù)HBase的行鍵由TagID和BaseTime組成，BaseTime＝Timestamp/TimeSpan，TimeSpan為分布式時(shí)序數(shù)據(jù)庫(kù)的行時(shí)間跨度，HBase的列族中每個(gè)HBase單元格保存至少一個(gè)TagVTQ。本發(fā)明可有效的解決傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫(kù)在應(yīng)對(duì)工業(yè)大數(shù)據(jù)在可靠性、擴(kuò)展性、檢索和其上的計(jì)算支撐能力的不足，有效地提升企業(yè)的智能化和信息化水平。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，具體地，涉及一種基于HBase的分布式時(shí)序數(shù)據(jù)庫(kù)。

背景技術(shù)

隨著工業(yè)大數(shù)據(jù)時(shí)代的來(lái)臨，工業(yè)設(shè)備的智能化程度不斷提升，工業(yè)企業(yè)跨區(qū)域、跨企業(yè)的數(shù)據(jù)互聯(lián)，產(chǎn)區(qū)、企業(yè)之間的聯(lián)動(dòng)，能極大的共享信息和資源、提升企業(yè)生產(chǎn)效率、節(jié)約企業(yè)成本。這一變革導(dǎo)致物聯(lián)網(wǎng)設(shè)備和傳感器數(shù)量急劇增長(zhǎng)，隨之而來(lái)的也帶來(lái)了數(shù)據(jù)的快速爆發(fā)式增長(zhǎng)，時(shí)序數(shù)據(jù)庫(kù)己逐漸替代傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫(kù)，成為工業(yè)大數(shù)據(jù)存儲(chǔ)的首選，成為支撐制造、交通、能源、智慧城市等領(lǐng)域的核心產(chǎn)品。新興的時(shí)序數(shù)據(jù)庫(kù)技術(shù)興起，出現(xiàn)了多個(gè)開(kāi)源或商業(yè)時(shí)序數(shù)據(jù)庫(kù)產(chǎn)品，如：OpenTSDB、InfluxDB、Graphite、Gorilla等。對(duì)比這些時(shí)序數(shù)據(jù)庫(kù)產(chǎn)品，發(fā)現(xiàn)這些產(chǎn)品有如下局限性：

1、為節(jié)省數(shù)據(jù)存儲(chǔ)空間，為metric,tag key,tag value都設(shè)計(jì)了映射表，數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)不是自描述的，數(shù)據(jù)寫入、讀取都需依賴映射表對(duì)數(shù)據(jù)進(jìn)行映射和解析，增加了查詢和寫入的復(fù)雜度，影響了數(shù)據(jù)的查詢和寫入性能,如OpenTSDB。

2、部分時(shí)序數(shù)據(jù)庫(kù)支持的數(shù)據(jù)類型不全面，僅支持簡(jiǎn)單數(shù)據(jù)類型，不支持String，Blob數(shù)據(jù)類型,如OpenTSDB。

3、部分時(shí)序數(shù)據(jù)庫(kù)做聚合查詢時(shí)，是根據(jù)查詢條件把所有符合條件的數(shù)據(jù)都查到內(nèi)存再聚合，導(dǎo)致大時(shí)間范圍查詢，易出現(xiàn)內(nèi)存不足，性能下降的情況，如OpenTSDB。

4、部分時(shí)序數(shù)據(jù)庫(kù)為追求性能，內(nèi)核完全in-memory，設(shè)計(jì)為內(nèi)存時(shí)序數(shù)據(jù)庫(kù)，只解決26H內(nèi)近期數(shù)據(jù)的讀寫，如Gorilla。

5、部分時(shí)序數(shù)據(jù)庫(kù)壓縮率不足，且可能導(dǎo)致數(shù)據(jù)精度下降，如OpenTSDB、InfluxDB。

6、部分時(shí)序數(shù)據(jù)庫(kù)不支持?jǐn)?shù)據(jù)時(shí)序抖動(dòng)，如Graphite。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于HBase的分布式時(shí)序數(shù)據(jù)庫(kù)。

根據(jù)本發(fā)明提供的一種基于HBase的分布式時(shí)序數(shù)據(jù)庫(kù)，所述分布式時(shí)序數(shù)據(jù)庫(kù)的存儲(chǔ)結(jié)構(gòu)為三元組：TagID，Timestamp，TagVTQ；

其中TagID代表存儲(chǔ)數(shù)據(jù)的點(diǎn)的ID，一個(gè)點(diǎn)保存一個(gè)物理設(shè)備/傳感器的一屬性項(xiàng)，TimeStamp為所述物理設(shè)備/傳感器生成的記錄產(chǎn)生的時(shí)間，TagVTQ為所述物理設(shè)備/傳感器的三元組：Value，Type，Quality，其中Value為具體的值，Type為數(shù)據(jù)類型，Quality為數(shù)據(jù)質(zhì)量；

所述分布式時(shí)序數(shù)據(jù)庫(kù)中的分布式文件數(shù)據(jù)庫(kù)HBase的行鍵由TagID和BaseTime組成，BaseTime＝Timestamp/TimeSpan，TimeSpan為分布式時(shí)序數(shù)據(jù)庫(kù)的行時(shí)間跨度，HBase的列族中每個(gè)單元格保存至少一個(gè)TagVTQ。

優(yōu)選的，所述基于HBase的分布式時(shí)序數(shù)據(jù)庫(kù)分為：

數(shù)據(jù)采集層：通過(guò)數(shù)據(jù)采集網(wǎng)關(guān)或直接訪問(wèn)SDK接口，提交數(shù)據(jù)存儲(chǔ)或查詢請(qǐng)求；

數(shù)據(jù)接入層：采用分布式消息系統(tǒng)Kafka接收所述數(shù)據(jù)采集層提交的數(shù)據(jù)并持久化；

數(shù)據(jù)處理層：包括分布式實(shí)時(shí)數(shù)據(jù)緩存服務(wù)、分布式歷史數(shù)據(jù)歸檔服務(wù)、發(fā)布/訂閱管理服務(wù)和數(shù)據(jù)聚合服務(wù)；