[發明專利]一種基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法

在審

• 申請號: 201911341923.2
• 申請日: 2019-12-24
• 公開（公告）號: CN111209270A
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 苗海鋒;張晉鋒;劉瑞賢;畢研儒;沙超群;歷軍
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/2458;G06F16/28
• 代理公司: 北京德恒律治知識產權代理有限公司 11409
• 代理人: 章社杲;盧軍峰

1.一種基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法，其特征在于，包括：

S1.獲取集群監控采集指標模板數據；

S2.進行集群監控采集指標模板數據與集群監控指標原始數據抽樣計算，并將計算結果處理輸出到集群監控指標抽樣表中，其中，在Map階段對獲取到的集群監控采集指標原始數據進行：過濾掉錯誤數據，然后根據集群監控采集指標模板數據和集群監控采集指標原始數據做對比，把符合的數據篩選出來，分成若干個數據集，生成新的Key，Value數據，輸出到Reduce階段；

Reduce階段：遍歷Map階段輸出的若干數據集，對每一類指標值的數據集進行匯總總量，并計算平均值、最大值和最小值；

S3.將計算出的所述平均值、最大值和最小值，重新組裝成Key，Value數據，輸出到集群監控指標抽樣表中，通過集群監控指標抽樣表查詢數據。

2.根據權利要求1所述的基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法，其特征在于，所述S1.獲取集群監控采集指標模板數據中，從MySql關系型數據庫獲取集群監控采集指標模板數據。

3.根據權利要求2所述的基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法，其特征在于，所述S2.進行集群監控采集指標模板數據與集群監控指標原始數據抽樣計算，并將計算結果處理輸出到集群監控指標抽樣表中，包括

S21.設置定時任務程序；

S22.調用MapReduce程序進行抽樣、對比計算；

S23.計算結果重新組裝成新的集群監控采集指標數據輸出結果到Hbase數據庫中。

4.根據權利要求3所述的基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法，其特征在于，所述S22.調用MapReduce程序進行抽樣、對比計算，包括

編寫一個分布式計算MapReduce程序，查詢Hbase存儲的集群監控采集指標原始數據。

5.根據權利要求4所述的基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法，其特征在于，所述S3.通過集群監控指標抽樣表查詢數據，包括

對集群監控指標抽樣數據明確指標名，指定時間點的查詢：

對集群監控指標抽樣數據明確指標名，指定時間段的查詢；

對集群監控指標抽樣數據指定時間段的查詢。

6.根據權利要求5所述的基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法，其特征在于，所述對集群監控指標抽樣數據明確指標名，指定時間點的查詢，包括

通過Hbase自身索引結構及算法，使用Hbase api接口調用get方法根據RowKey獲取一行數據。

7.根據權利要求5所述的基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法，其特征在于，所述對集群監控指標抽樣數據明確指標名，指定時間段的查詢，包括

通過Hbase自身索引結構及算法，使用Hbase api接口調用Scan方法根據StartRow指定查詢，獲取符合目標要求的Hbase一批數據。

8.根據權利要求5所述的基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法，其特征在于，所述對集群監控指標抽樣數據指定時間段的查詢，包括

通過Hbase自身索引結構及算法，使用Hbase api接口調用Scan方法根據TimeRange函數查詢，獲取獲取目標要求的Hbase一批數據。

9.一種系統，用于實施權利要求1-8任一項所述的基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法。