[發(fā)明專利]一種基于MapReduce技術(shù)的集群監(jiān)控原始數(shù)據(jù)抽樣計(jì)算和存儲(chǔ)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911341923.2
• 申請(qǐng)日: 2019-12-24
• 公開（公告）號(hào): CN111209270A
• 公開（公告）日: 2020-05-29
• 發(fā)明（設(shè)計(jì)）人: 苗海鋒;張晉鋒;劉瑞賢;畢研儒;沙超群;歷軍
• 申請(qǐng)（專利權(quán)）人: 曙光信息產(chǎn)業(yè)（北京）有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/22;G06F16/2458;G06F16/28
• 代理公司: 北京德恒律治知識(shí)產(chǎn)權(quán)代理有限公司 11409
• 代理人: 章社杲;盧軍峰

本發(fā)明公開了一種基于MapReduce技術(shù)的集群監(jiān)控原始數(shù)據(jù)抽樣計(jì)算和存儲(chǔ)方法，包括：S1.獲取集群監(jiān)控采集指標(biāo)模板數(shù)據(jù)；S2.進(jìn)行集群監(jiān)控采集指標(biāo)模板數(shù)據(jù)與集群監(jiān)控指標(biāo)原始數(shù)據(jù)抽樣計(jì)算，并將計(jì)算結(jié)果處理輸出到集群監(jiān)控指標(biāo)抽樣表中；S3.通過集群監(jiān)控指標(biāo)抽樣表查詢數(shù)據(jù)；本發(fā)明方法采用MapReduce計(jì)算模型，實(shí)現(xiàn)集群監(jiān)控采集的大數(shù)據(jù)抽樣計(jì)算，并使用HBase存儲(chǔ)集群監(jiān)控指標(biāo)抽樣數(shù)據(jù)，解決了在大數(shù)據(jù)平臺(tái)下原始數(shù)據(jù)查詢慢的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，為一種基于MapReduce技術(shù)的集群監(jiān)控原始數(shù)據(jù)抽樣計(jì)算和存儲(chǔ)方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)，大數(shù)據(jù)的快速發(fā)展，高性能計(jì)算機(jī)的應(yīng)用領(lǐng)域越來越廣泛，高性能服務(wù)器集群部署越來越多，集群監(jiān)控的應(yīng)用要求越來越高，同時(shí)產(chǎn)生了大量的集群監(jiān)控采集指標(biāo)數(shù)據(jù)。這些數(shù)據(jù)如何將其高效的存儲(chǔ)與管理，已經(jīng)成為一個(gè)迫切需要解決的問題。

Hadoop是由Apache基金會(huì)組織開發(fā)的一個(gè)開源的分布式大數(shù)據(jù)處理平臺(tái)，它具有易擴(kuò)展、高容錯(cuò)、可靠、高效等特點(diǎn)，成為近幾年應(yīng)用最廣泛的開源大數(shù)據(jù)處理平臺(tái)，其核心是HDFS，MapReduce(Hadoop平臺(tái)分式計(jì)算海量數(shù)據(jù)計(jì)算模型)。HBase使用Hadoop的分布式文件系統(tǒng)HDFS作為底層存儲(chǔ)，是一個(gè)分布式、面向列的NoSQL數(shù)據(jù)庫，它適合于存儲(chǔ)大數(shù)據(jù)，支持單條記錄的快速查詢，在任意指定位置單條或批量添加、刪除數(shù)據(jù)，并且支持MapReduce框架做分布式計(jì)算操作。目前越來越多的科研和企業(yè)單位都在應(yīng)用Hadoop和Hbase，并取得了一定的成果。但隨著時(shí)間的推移，集群監(jiān)控指標(biāo)原始數(shù)據(jù)指數(shù)增長，根據(jù)原始數(shù)據(jù)做分析和應(yīng)用，性能極其低下；且由于Hadoop環(huán)境硬件資源配置的限制(存儲(chǔ)空間，內(nèi)存大小，CPU處理核數(shù)等)，不能支持太大數(shù)據(jù)和計(jì)算，檢索數(shù)據(jù)性能方面仍有很多不足。

有鑒于此，特提出本發(fā)明。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種基于MapReduce技術(shù)的集群監(jiān)控原始數(shù)據(jù)抽樣計(jì)算和存儲(chǔ)方法，以利于提高集群監(jiān)控?cái)?shù)據(jù)的查詢性能。

為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案為：

一種基于MapReduce技術(shù)的集群監(jiān)控原始數(shù)據(jù)抽樣計(jì)算和存儲(chǔ)方法，包括：

S1.獲取集群監(jiān)控采集指標(biāo)模板數(shù)據(jù)；

S2.進(jìn)行集群監(jiān)控采集指標(biāo)模板數(shù)據(jù)與集群監(jiān)控指標(biāo)原始數(shù)據(jù)抽樣計(jì)算，并將計(jì)算結(jié)果處理輸出到集群監(jiān)控指標(biāo)抽樣表中，其中，在Map階段對(duì)獲取到的集群監(jiān)控采集指標(biāo)原始數(shù)據(jù)進(jìn)行：過濾掉錯(cuò)誤數(shù)據(jù)，然后根據(jù)集群監(jiān)控采集指標(biāo)模板數(shù)據(jù)和集群監(jiān)控采集指標(biāo)原始數(shù)據(jù)做對(duì)比，把符合的數(shù)據(jù)篩選出來，分成若干個(gè)數(shù)據(jù)集，生成新的Key，Value數(shù)據(jù)，輸出到Reduce階段；

Reduce階段：遍歷Map階段輸出的若干數(shù)據(jù)集，對(duì)每一類指標(biāo)值的數(shù)據(jù)集進(jìn)行匯總總量，并計(jì)算平均值、最大值和最小值；

S3.將計(jì)算出的平均值、最大值和最小值，重新組裝成Key，Value數(shù)據(jù)，輸出到集群監(jiān)控指標(biāo)抽樣表中，通過集群監(jiān)控指標(biāo)抽樣表查詢數(shù)據(jù)。

優(yōu)選的，上述的基于MapReduce技術(shù)的集群監(jiān)控原始數(shù)據(jù)抽樣計(jì)算和存儲(chǔ)方法中，S1.獲取集群監(jiān)控采集指標(biāo)模板數(shù)據(jù)中，從MySql關(guān)系型數(shù)據(jù)庫獲取集群監(jiān)控采集指標(biāo)模板數(shù)據(jù)。

優(yōu)選的，上述的基于MapReduce技術(shù)的集群監(jiān)控原始數(shù)據(jù)抽樣計(jì)算和存儲(chǔ)方法中，S2.進(jìn)行集群監(jiān)控采集指標(biāo)模板數(shù)據(jù)與集群監(jiān)控指標(biāo)原始數(shù)據(jù)抽樣計(jì)算，并將計(jì)算結(jié)果處理輸出到集群監(jiān)控指標(biāo)抽樣表中，包括

S21.設(shè)置定時(shí)任務(wù)程序；

S22.調(diào)用MapReduce程序進(jìn)行抽樣、對(duì)比計(jì)算；

S23.計(jì)算結(jié)果重新組裝成新的集群監(jiān)控采集指標(biāo)數(shù)據(jù)輸出結(jié)果到Hbase數(shù)據(jù)庫中。