[發(fā)明專利]一種基于OpenTsdb實(shí)時(shí)同步時(shí)序數(shù)據(jù)至Kafka的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011219627.8
• 申請(qǐng)日: 2020-11-03
• 公開(kāi)（公告）號(hào): CN112328684A
• 公開(kāi)（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 苑曉龍;孫思清;賈德星;劉牧
• 申請(qǐng)（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F9/445
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 馮春連

1.一種基于OpenTsdb實(shí)時(shí)同步時(shí)序數(shù)據(jù)至Kafka的方法，其特征在于,利用OpenTsdb自定義插件機(jī)制自定義opentsdb-rtpub-kafka插件,自定義的opentsdb-rtpub-kafka插件運(yùn)行在每個(gè)TSD實(shí)例中，將時(shí)序數(shù)據(jù)和注釋數(shù)據(jù)實(shí)時(shí)發(fā)布至分布式消息隊(duì)列Kafka中的相應(yīng)主題。

2.根據(jù)權(quán)利要求1所述的一種基于OpenTsdb實(shí)時(shí)同步時(shí)序數(shù)據(jù)至Kafka的方法，其特征在于，自定義的opentsdb-rtpub-kafka插件包括Kafka實(shí)時(shí)發(fā)布插件配置單元和kafka實(shí)時(shí)發(fā)布器；

Kafka實(shí)時(shí)發(fā)布插件配置單元繼承自Config類，負(fù)責(zé)設(shè)置和解析自定義opentsdb-rtpub-kafka插件相應(yīng)Kafka集群的地址、主題及其他配置參數(shù)；

kafka實(shí)時(shí)發(fā)布器繼承自abstract RTPublisher抽象類，負(fù)責(zé)將時(shí)序數(shù)據(jù)和注釋數(shù)據(jù)實(shí)時(shí)發(fā)布至分布式消息隊(duì)列Kafka中的相應(yīng)主題。

3.根據(jù)權(quán)利要求1所述的一種基于OpenTsdb實(shí)時(shí)同步時(shí)序數(shù)據(jù)至Kafka的方法，其特征在于，自定義的opentsdb-rtpub-kafka插件基于插件版本、插件初始化及停止插件方法來(lái)管理插件的生命周期。

4.根據(jù)權(quán)利要求3所述的一種基于OpenTsdb實(shí)時(shí)同步時(shí)序數(shù)據(jù)至Kafka的方法，其特征在于，自定義的opentsdb-rtpub-kafka插件基于兩個(gè)發(fā)布數(shù)據(jù)點(diǎn)方法，支持將值為整型和浮點(diǎn)型的時(shí)序數(shù)據(jù)根據(jù)參數(shù)配置項(xiàng)定義的時(shí)間間隔和每個(gè)批次的最大消息數(shù)量實(shí)時(shí)發(fā)布至數(shù)據(jù)點(diǎn)參數(shù)項(xiàng)指定的主題中。

5.根據(jù)權(quán)利要求4所述的一種基于OpenTsdb實(shí)時(shí)同步時(shí)序數(shù)據(jù)至Kafka的方法，其特征在于，自定義的opentsdb-rtpub-kafka插件基于發(fā)布注解方法，支持將注釋數(shù)據(jù)根據(jù)參數(shù)配置項(xiàng)定義的時(shí)間間隔和每個(gè)批次的最大消息數(shù)量實(shí)時(shí)發(fā)布至注解參數(shù)項(xiàng)指定的主題中。

6.根據(jù)權(quán)利要求5所述的一種基于OpenTsdb實(shí)時(shí)同步時(shí)序數(shù)據(jù)至Kafka的方法，其特征在于，自定義的opentsdb-rtpub-kafka插件基于收集狀態(tài)方法，將發(fā)送到Kafka中相應(yīng)主題的時(shí)序數(shù)據(jù)數(shù)量和注釋數(shù)據(jù)數(shù)量通過(guò)收集器分別收集至數(shù)據(jù)點(diǎn)和注解兩個(gè)監(jiān)控指標(biāo)中。

7.根據(jù)權(quán)利要求5所述的一種基于OpenTsdb實(shí)時(shí)同步時(shí)序數(shù)據(jù)至Kafka的方法，其特征在于，利用OpenTsdb自定義插件機(jī)制自定義opentsdb-rtpub-kafka插件時(shí)，在OpenTsdb的配置文件opentsdb.config中增加opentsdb-rtpub-kafka插件的相關(guān)配置項(xiàng)，增加的配置項(xiàng)包括發(fā)布插件路徑、啟用標(biāo)識(shí)、插件全路徑、kafka集群地址、數(shù)據(jù)點(diǎn)主題、注解主題。

8.根據(jù)權(quán)利要求7所述的一種基于OpenTsdb實(shí)時(shí)同步時(shí)序數(shù)據(jù)至Kafka的方法，其特征在于，利用OpenTsdb自定義插件機(jī)制自定義opentsdb-rtpub-kafka插件后，需要將opentsdb-rtpub-kafka插件復(fù)制到時(shí)序數(shù)據(jù)庫(kù)核心插件路徑參數(shù)項(xiàng)指定的路徑下，隨后即可在TSD實(shí)例啟動(dòng)的同時(shí)啟用opentsdb-rtpub-kafka插件；

啟用opentsdb-rtpub-kafka插件后，即可異步且實(shí)時(shí)的將時(shí)序數(shù)據(jù)和注釋數(shù)據(jù)發(fā)送至分布式消息隊(duì)列Kafka的相應(yīng)主題中。