[發明專利]一種基于Spark SQL的OpenTsdb時序數據查詢方法

在審

• 申請號: 202010916301.4
• 申請日: 2020-09-03
• 公開（公告）號: CN112084191A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 苑曉龍;賈德星;周正德;張暉;高傳集
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2453;G06F16/2458;G06F16/28
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

本發明公開一種基于Spark SQL的OpenTsdb時序數據查詢方法，涉及時序序列數據技術領域，其實現內容包括：(1)通過Spark SQL內置的DataFrame API自定義OpenTsdb數據源，包括：(1.1)定義Spark SQL數據表的元數據，(1.2)訪問OpenTsdb底層存儲HBase表中的數據，結合定義的schema與“tsdb?meta”表中的數據，解析tsdb表中的時序數據，(1.3)通過tsdb表，對每個Region分區進行統計分析，為Spark SQL的Catalyst優化器提供算子下推、邏輯計劃生成、物理執行計劃優化提供數據支撐，提升Spark SQL的執行效率；(2)通過Spark SQL語句查詢分析OpenTsdb中存儲的時序數據。本發明可以提升OpenTsdb的易用性、兼容性，尤其在大量時序數據庫復雜查詢分析的場景下，還可以提升查詢的響應時間，提升OpenTsdb的查詢分析性能。

技術領域

本發明涉及時序序列數據技術領域，具體的說是一種基于Spark SQL的OpenTsdb時序數據查詢方法。

背景技術

物聯網IoT(Internet of Things)體系分為感知層、傳輸層、應用層，隨著物聯網技術的發展，越來越多的物(設備或傳感器等)相互連接起來，從而產生了海量的時序數據，在此背景下，誕生了滿足海量數據快速存儲的專業領域型數據庫-時序數據庫OpenTsdb。

OpenTsdb是基于Hbase的時序數據庫，又稱時間序列數據庫，不具備通用性，主要針對具有時間特性和需求的數據，如監控數據、溫度變化數據等。OpenTsdb說是數據庫，但并不能稱作為數據庫，它是在Hbase(HBase才是具有存儲功能的)的基礎上，進行數據結構的優化和處理，從而適合存儲具有時間特性的數據，同時提供特定的工具進行查詢等操作

時間序列數據是指是一段時間內某個特定指標量的一系列數值數據點，OpenTsdb將時序數據通過指標和標簽以及時間戳來唯一標識一個指標量，這些指標數據具有不可變性。TSD是OpenTsdb的服務進程，它是基于HBase集群的無狀態服務，它通過將指標和標簽數據數字化映射的方式、指定時間間隔的相同標簽的指標數據聚合的方式以及Snappy、Zlib等數據壓縮技術提高數據I/O的效率。

物聯網平臺中數據快速存儲和讀取的時序數據庫OpenTsdb基于HTTP協議的RESTFUL風格的API查詢，但并未對標準SQL語句查詢提供支持，在易用性和大量時序數據復雜統計分析性能方面稍顯不足。

發明內容

本發明針對物聯網平臺中數據快速存儲和讀取的時序數據庫OpenTsdb未對標準SQL語句查詢提供支持的缺陷，提供一種基于Spark SQL的OpenTsdb時序數據查詢方法。

本發明的一種基于Spark SQL的OpenTsdb時序數據查詢方法，解決上述技術問題采用的技術方案如下：

一種基于Spark SQL的OpenTsdb時序數據查詢方法，其實現內容包括：

(1)通過Spark SQL內置的DataFrame API自定義OpenTsdb數據源，具體包括：

(1.1)定義Spark SQL數據表的元數據，

(1.2)訪問OpenTsdb底層存儲HBase表中的數據，結合定義的元數據與“tsdb-meta”表中的數據，解析tsdb表中的時序數據，

(1.3)通過tsdb表，對每個Region分區進行統計分析，為Spark SQL的Catalyst優化器提供算子下推、邏輯計劃生成、物理執行計劃優化提供數據支撐，提升Spark SQL的執行效率；

(2)通過Spark SQL語句查詢分析OpenTsdb中存儲的時序數據。