[發明專利]一種處理監控大數據的實時流計算監控系統及方法

在審

• 申請號: 201910042659.6
• 申請日: 2019-01-17
• 公開（公告）號: CN109800129A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 劉桂海;陳忠強;黃偉;鞠強;魏亮;周國慶
• 申請（專利權）人: 青島特銳德電氣股份有限公司;青島特來電新能源有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 劉娜

1.一種處理監控大數據的實時流計算監控系統，其特征在于，包括如下單元：

數據采集單元，采用監控Agent，通過主動上報或主動收集的方式獲得對應機器上的監控原始數據；

數據緩存單元，包括用于存儲監控Agent收集到的監控原始數據和存儲聚合計算后的監控數據的高性能消息隊列Kafka；

數據計算單元，基于高并發流計算引擎Flink，對原始監控數據進行聚合計算，同時對監控數據劃分時間窗口，在每個計算窗口內，按照監控指標進行分組，根據監控數據自身攜帶的數據采集時間進行聚合計算，處理亂序數據以及延遲到達數據，聚合計算完的監控數據被發送到高性能消息隊列Kafka中做暫時緩存；

監控狀態管理服務單元，用于監控數據采集單元和數據計算單元的運行狀態；

數據存儲單元，包括用于存儲聚合計算后的監控數據的時序數據庫InfluxDB，和用于存儲監控原始數據的HBase；

數據展現單元，通過Grafana展現進行聚合計算后的監控數據，并且通過鉆取功能，從HBase中聯查到原始的監控數據。

2.一種處理監控大數據的實時流計算監控方法，采用如權利要求1所述的一種處理監控大數據的實時流計算監控系統，其特征在于，包括如下步驟：

(1)數據采集：數據采集單元利用監控Agent，通過主動上報或主動收集的方式獲得對應機器上的監控原始數據，并且定時調用監控狀態管理服務單元，實現對監控Agent狀態的實時自監控；

(2)數據緩存：監控Agent收集到監控原始數據后，在本地做短時間的內存緩存，然后批量將監控原始數據發送到高性能消息隊列Kafka，作為所有分布式監控大數據的集中數據緩存；

(3)數據計算：通過高并發流計算引擎Flink，從高性能消息隊列Kafka中實時拉取監控數據進行聚合計算，同時計算時對監控數據劃分時間窗口，在每個計算窗口內，按照監控指標進行分組，根據監控數據自身攜帶的數據采集時間進行聚合計算，處理亂序數據以及延遲到達數據，并且定時調用監控狀態管理服務單元，實現對高并發流計算引擎Flink狀態的實時自監控；

(4)數據緩存：高并發流計算引擎Flink聚合計算完的監控數據被發送到高性能消息隊列Kafka中做暫時緩存；

(5)數據存儲：存儲在高性能消息隊列Kafka中的監控數據被分類批量寫入到不同的存儲數據庫，聚合計算后的監控數據寫入到時序數據庫InfluxDB，用于圖表展現；監控原始數據寫入到HBase，用于通過聚合數據鉆取到原始數據；

(6)數據展現：通過Grafana展現進行聚合計算后的監控數據，通過提供的鉆取功能，從HBase中聯查到原始的監控數據。

3.根據權利要求2所述的一種處理監控大數據的實時流計算監控方法，其特征在于，所述步驟(2)中數據計算包括如下四種聚合維度計算方式：

a、全局維度

計算同一監控指標同一時間窗口內的全部數據，得到這些監控數據的最大值、最小值、平均值、最后值、求和值以及數據個數；

b、集群維度

對同一監控指標同一時間窗口內的監控數據，按集群維度進行分組，得到每個集群維度監控數據的最大值、最小值、平均值、最后值、求和值以及數據個數；

c、機器維度

對同一監控指標同一時間窗口內的監控數據，按機器維度進行分組，得到每個機器維度監控數據的最大值、最小值、平均值、最后值、求和值以及數據個數；

d、自定義維度

對同一監控指標同一時間窗口內的監控數據，按每一個自定義維度進行分組，得到每個自定義維度監控數據的最大值、最小值、平均值、最后值、求和值以及數據個數。