[發明專利]一種基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法

在審

• 申請號: 201911341923.2
• 申請日: 2019-12-24
• 公開（公告）號: CN111209270A
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 苗海鋒;張晉鋒;劉瑞賢;畢研儒;沙超群;歷軍
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/2458;G06F16/28
• 代理公司: 北京德恒律治知識產權代理有限公司 11409
• 代理人: 章社杲;盧軍峰

本發明公開了一種基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法，包括：S1.獲取集群監控采集指標模板數據；S2.進行集群監控采集指標模板數據與集群監控指標原始數據抽樣計算，并將計算結果處理輸出到集群監控指標抽樣表中；S3.通過集群監控指標抽樣表查詢數據；本發明方法采用MapReduce計算模型，實現集群監控采集的大數據抽樣計算，并使用HBase存儲集群監控指標抽樣數據，解決了在大數據平臺下原始數據查詢慢的問題。

技術領域

本發明涉及數據處理技術領域，具體而言，為一種基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法。

背景技術

隨著互聯網技術，大數據的快速發展，高性能計算機的應用領域越來越廣泛，高性能服務器集群部署越來越多，集群監控的應用要求越來越高，同時產生了大量的集群監控采集指標數據。這些數據如何將其高效的存儲與管理，已經成為一個迫切需要解決的問題。

Hadoop是由Apache基金會組織開發的一個開源的分布式大數據處理平臺，它具有易擴展、高容錯、可靠、高效等特點，成為近幾年應用最廣泛的開源大數據處理平臺，其核心是HDFS，MapReduce(Hadoop平臺分式計算海量數據計算模型)。HBase使用Hadoop的分布式文件系統HDFS作為底層存儲，是一個分布式、面向列的NoSQL數據庫，它適合于存儲大數據，支持單條記錄的快速查詢，在任意指定位置單條或批量添加、刪除數據，并且支持MapReduce框架做分布式計算操作。目前越來越多的科研和企業單位都在應用Hadoop和Hbase，并取得了一定的成果。但隨著時間的推移，集群監控指標原始數據指數增長，根據原始數據做分析和應用，性能極其低下；且由于Hadoop環境硬件資源配置的限制(存儲空間，內存大小，CPU處理核數等)，不能支持太大數據和計算，檢索數據性能方面仍有很多不足。

有鑒于此，特提出本發明。

發明內容

針對現有技術中的缺陷，本發明提供一種基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法，以利于提高集群監控數據的查詢性能。

為了實現上述目的，本發明的技術方案為：

一種基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法，包括：

S1.獲取集群監控采集指標模板數據；

S2.進行集群監控采集指標模板數據與集群監控指標原始數據抽樣計算，并將計算結果處理輸出到集群監控指標抽樣表中，其中，在Map階段對獲取到的集群監控采集指標原始數據進行：過濾掉錯誤數據，然后根據集群監控采集指標模板數據和集群監控采集指標原始數據做對比，把符合的數據篩選出來，分成若干個數據集，生成新的Key，Value數據，輸出到Reduce階段；

Reduce階段：遍歷Map階段輸出的若干數據集，對每一類指標值的數據集進行匯總總量，并計算平均值、最大值和最小值；

S3.將計算出的平均值、最大值和最小值，重新組裝成Key，Value數據，輸出到集群監控指標抽樣表中，通過集群監控指標抽樣表查詢數據。

優選的，上述的基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法中，S1.獲取集群監控采集指標模板數據中，從MySql關系型數據庫獲取集群監控采集指標模板數據。

優選的，上述的基于MapReduce技術的集群監控原始數據抽樣計算和存儲方法中，S2.進行集群監控采集指標模板數據與集群監控指標原始數據抽樣計算，并將計算結果處理輸出到集群監控指標抽樣表中，包括

S21.設置定時任務程序；

S22.調用MapReduce程序進行抽樣、對比計算；

S23.計算結果重新組裝成新的集群監控采集指標數據輸出結果到Hbase數據庫中。