[發明專利]一種基于OpenTsdb實時同步時序數據至Kafka的方法

在審

• 申請號: 202011219627.8
• 申請日: 2020-11-03
• 公開（公告）號: CN112328684A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 苑曉龍;孫思清;賈德星;劉牧
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/445
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

本發明公開一種基于OpenTsdb實時同步時序數據至Kafka的方法，涉及OpenTsdb集群技術領域，由于物聯網平臺中數據快速存儲和讀取的時序數據庫OpenTsdb集群支持大量時序數據實時寫入和采樣分析，但無法滿足某些特定場景的實時分析應用，采用技術方案為：利用OpenTsdb自定義插件機制自定義opentsdb?rtpub?kafka插件,opentsdb?rtpub?kafka插件包括Kafka實時發布插件配置單元和kafka實時發布器，Kafka實時發布插件配置單元負責設置和解析自定義opentsdb?rtpub?kafka插件相應Kafka集群的地址、主題及其他配置參數，kafka實時發布器負責將時序數據和注釋數據實時發布至分布式消息隊列Kafka中的相應主題，以便下游不同的訂閱者訂閱時序數據或注釋數據。

技術領域

本發明涉及OpenTsdb集群技術領域，具體的說是一種基于OpenTsdb實時同步時序數據至Kafka的方法。

背景技術

物聯網IoT(Internet of Things)體系分為感知層、傳輸層、應用層，隨著物聯網技術的發展，越來越多的物(設備或傳感器等)相互連接起來，從而產生了海量的時序數據，在此背景下，誕生了滿足海量數據快速存儲的專業領域型數據庫-時序數據庫OpenTsdb。

時間序列數據是指是一段時間內某個特定指標量的一系列數值數據點，OpenTsdb將時序數據通過指標和標簽以及時間戳來唯一標識一個指標量，這些指標數據具有不可變性。TSD是OpenTsdb的服務進程，它是基于HBase集群的無狀態服務，它通過將指標和標簽數據數字化映射的方式、指定時間間隔的相同標簽的指標數據聚合的方式以及Snappy、Zlib等數據壓縮技術提高數據I/O的效率。

物聯網平臺中，數據快速存儲和讀取的時序數據庫OpenTsdb集群支持大量時序數據實時寫入和采樣分析，但是，卻無法滿足某些特定場景的實時分析應用(如監控平臺的報警需求)。

發明內容

本發明針對目前技術發展的需求和不足之處，提供一種基于OpenTsdb實時同步時序數據至Kafka的方法，在不影響時序數據寫入時序數據庫性能的前提下，將時序數據和注釋數據實時發布至分布式消息隊列Kafka的相應主題，以便下游不同的訂閱者訂閱時序數據或注釋數據，研發滿足特定需求的應用，尤其是對實時性要求較高的應用場景。

本發明的一種基于OpenTsdb實時同步時序數據至Kafka的方法，解決上述技術問題采用的技術方案如下：

一種基于OpenTsdb實時同步時序數據至Kafka的方法，利用OpenTsdb自定義插件機制自定義opentsdb-rtpub-kafka插件,自定義的opentsdb-rtpub-kafka插件運行在每個TSD實例中，將時序數據和注釋數據實時發布至分布式消息隊列Kafka中的相應主題。

可選的，所涉及opentsdb-rtpub-kafka插件包括Kafka實時發布插件配置單元和kafka實時發布器；

Kafka實時發布插件配置單元繼承自Config類，負責設置和解析自定義opentsdb-rtpub-kafka插件相應Kafka集群的地址、主題及其他配置參數；

kafka實時發布器繼承自abstract RTPublisher抽象類，負責將時序數據和注釋數據實時發布至分布式消息隊列Kafka中的相應主題。

可選的，所涉及自定義的opentsdb-rtpub-kafka插件基于插件版本、插件初始化及停止插件方法來管理插件的生命周期。

進一步可選的，所涉及自定義的opentsdb-rtpub-kafka插件基于兩個發布數據點方法，支持將值為整型和浮點型的時序數據根據參數配置項定義的時間間隔和每個批次的最大消息數量實時發布至數據點參數項指定的主題中。