[發(fā)明專利]一種基于大數(shù)據(jù)分析的云平臺(tái)監(jiān)控服務(wù)系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201710027911.7
• 申請日: 2017-01-16
• 公開（公告）號(hào): CN107070692A
• 公開（公告）日: 2017-08-18
• 發(fā)明（設(shè)計(jì)）人: 張迎峰;陳海鋒;聞屏;李世英;高偉;程偉;岳強(qiáng);于晉康;林兵;潘潤鏗;鄭宇浩;鄧廣安;黃灝;趙磊;姚均議;謝曉瑩;宋安磊;包琴;謝華林;賴博林
• 申請（專利權(quán)）人: 中國聯(lián)合網(wǎng)絡(luò)通信有限公司廣東省分公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;H04L12/26;H04L29/08
• 代理公司: 廣州番禺容大專利代理事務(wù)所(普通合伙)44326
• 代理人: 劉新年

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)通信技術(shù)領(lǐng)域，特別涉及一種基于大數(shù)據(jù)分析的云平臺(tái)監(jiān)控服務(wù)系統(tǒng)及方法。

背景技術(shù)

現(xiàn)如今云計(jì)算技術(shù)已經(jīng)用于各個(gè)行業(yè)中，通過云計(jì)算技術(shù)，為食品安全電子溯源云平臺(tái)搭建穩(wěn)定的運(yùn)行環(huán)境、流暢的網(wǎng)絡(luò)服務(wù)及可靠的安全保障。由于食品安全電子溯源云平臺(tái)資源是分布式計(jì)算、網(wǎng)格計(jì)算和虛擬化技術(shù)發(fā)展的產(chǎn)物，是一種將物理資源進(jìn)行虛擬化的技術(shù)，虛擬化后的服務(wù)器無法通過直觀的方式表現(xiàn)出平臺(tái)的運(yùn)行狀態(tài)，從而也無法得知溯源系統(tǒng)的運(yùn)行狀態(tài)，所以，食品安全電子溯源云服務(wù)平臺(tái)需要進(jìn)行性能上的監(jiān)控，保障溯源系統(tǒng)云運(yùn)營管理平臺(tái)自動(dòng)化。食品安全電子溯源云服務(wù)平臺(tái)的監(jiān)控不僅要實(shí)現(xiàn)高效和對云平臺(tái)干擾程度低的指標(biāo)，同時(shí)要具有靈活和擴(kuò)展性，方便用戶自定義監(jiān)控插件和指標(biāo)，實(shí)現(xiàn)對特定任務(wù)的監(jiān)控需求。

而傳統(tǒng)系統(tǒng)監(jiān)控的數(shù)據(jù)預(yù)警值、基本處理邏輯都是基于開發(fā)者的個(gè)人經(jīng)驗(yàn)設(shè)定閾值，閾值沒有針對性也不具備準(zhǔn)確性，當(dāng)監(jiān)控的指標(biāo)達(dá)到或超過閾值后產(chǎn)生報(bào)警，但是依此產(chǎn)生的報(bào)警值無法準(zhǔn)確的表示出該資源的真實(shí)情況，也無法達(dá)到預(yù)警功能。

目前的傳統(tǒng)監(jiān)控平臺(tái)存在主要以下幾個(gè)問題：

一是閾值的科學(xué)性，即經(jīng)驗(yàn)閾值的科學(xué)性難以保證，且配置自動(dòng)化程度低，經(jīng)驗(yàn)閾值，不適應(yīng)環(huán)境變化。且呈現(xiàn)功能單一，無分析、無預(yù)警的問題。

二是如何減少虛假報(bào)警，即對所產(chǎn)生的報(bào)警，以及各報(bào)警之間的依賴關(guān)系缺乏分析，從而無法甄別出真實(shí)的，根源性的報(bào)警，數(shù)據(jù)規(guī)模較小，通常為百或千臺(tái)主機(jī)，不適應(yīng)云規(guī)模，監(jiān)控周期較短：存最近一周或月數(shù)據(jù)，無法進(jìn)行歷史分析。

三是不能處理大數(shù)據(jù)，即無法對云平臺(tái)之類的大規(guī)模數(shù)據(jù)的采集和加工處理，以保證實(shí)時(shí)呈現(xiàn)告警，數(shù)據(jù)分散處理，且功能各一的獨(dú)立程序處理不同的數(shù)據(jù)源，開發(fā)、部署、運(yùn)維困難，且采集分層部署，分層網(wǎng)狀采集，不易管理和運(yùn)維，容易出現(xiàn)數(shù)據(jù)采集不及時(shí)，或漏采。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)的問題，本發(fā)明實(shí)施例提供了一種基于大數(shù)據(jù)分析的云平臺(tái)監(jiān)控服務(wù)系統(tǒng)及方法。所述技術(shù)方案如下：

一方面，一種基于大數(shù)據(jù)分析的云平臺(tái)監(jiān)控服務(wù)系統(tǒng)，包括數(shù)據(jù)采集層、大數(shù)據(jù)處理層以及web應(yīng)用層，其中：所述數(shù)據(jù)采集層包括用于采集主機(jī)、存儲(chǔ)器、網(wǎng)絡(luò)資源的采集工具以及用于采集所述web應(yīng)用層數(shù)據(jù)的專項(xiàng)采集程序；所述大數(shù)據(jù)處理層用于對所述數(shù)據(jù)采集層采集的各項(xiàng)數(shù)據(jù)進(jìn)行分析，以生成運(yùn)維指標(biāo)，并將生成的運(yùn)維指標(biāo)寫入數(shù)據(jù)庫中；所述web應(yīng)用層從所述數(shù)據(jù)庫中讀取數(shù)據(jù)，并在前端進(jìn)行展示或者管理。

進(jìn)一步地，所述大數(shù)據(jù)處理層還包括性能預(yù)測單元和動(dòng)態(tài)閾值生成單元，其中：所述性能預(yù)測單元，用于對采集的歷史數(shù)據(jù)的周期變化和運(yùn)行趨勢進(jìn)行分析，預(yù)測得到設(shè)備的性能消耗曲線；所述動(dòng)態(tài)閾值生成單元，用于根據(jù)所述性能消耗曲線生成與當(dāng)前時(shí)刻相適配的閾值，并基于所述閾值對當(dāng)前時(shí)刻的運(yùn)行數(shù)據(jù)進(jìn)行報(bào)警分析。

進(jìn)一步地，所述web應(yīng)用層中還包括：預(yù)警定位單元，用于在當(dāng)前頁面中標(biāo)記出產(chǎn)生報(bào)警信號(hào)的設(shè)備位置。

進(jìn)一步地，所述數(shù)據(jù)采集層中包括Zabbix采集工具，所述大數(shù)據(jù)處理層中包括Spark數(shù)據(jù)框架。

進(jìn)一步地，所述數(shù)據(jù)采集層采用以下至少一種方式進(jìn)行數(shù)據(jù)采集：簡單網(wǎng)絡(luò)管理協(xié)議SNMP的輪詢Polling方式；簡單網(wǎng)絡(luò)管理協(xié)議SNMP的陷阱Trap方式；系統(tǒng)日志Syslog的方式；或者命令行界面CLI的方式。

進(jìn)一步地，所述數(shù)據(jù)采集層采集的數(shù)據(jù)類型包括以下至少一種：網(wǎng)絡(luò)設(shè)備類型；主機(jī)系統(tǒng)類型；系統(tǒng)軟件類型以及業(yè)務(wù)應(yīng)用軟件類型。

進(jìn)一步地，所述大數(shù)據(jù)處理層分析得到的運(yùn)維指標(biāo)包括：即時(shí)數(shù)據(jù)；實(shí)時(shí)數(shù)據(jù)；日數(shù)據(jù)以及月數(shù)據(jù)。

進(jìn)一步地，所述web應(yīng)用層還用于對各個(gè)設(shè)備的性能指標(biāo)進(jìn)行排序，并將排序的結(jié)果向用戶展示。

另一方面，本申請實(shí)施方式還提供一種基于大數(shù)據(jù)分析的云平臺(tái)監(jiān)控服務(wù)方法，所述方法包括：數(shù)據(jù)采集層通過預(yù)設(shè)采集工具采集主機(jī)、存儲(chǔ)器、網(wǎng)絡(luò)的資源并通過專項(xiàng)采集程序采集web應(yīng)用層的數(shù)據(jù)；大數(shù)據(jù)處理層用于對所述數(shù)據(jù)采集層采集的各項(xiàng)數(shù)據(jù)進(jìn)行分析，以生成運(yùn)維指標(biāo)，并將生成的運(yùn)維指標(biāo)寫入數(shù)據(jù)庫中；所述web應(yīng)用層從所述數(shù)據(jù)庫中讀取數(shù)據(jù)，并在前端進(jìn)行展示或者管理。

進(jìn)一步地，所述方法還包括：所述大數(shù)據(jù)處理層對采集的歷史數(shù)據(jù)的周期變化和運(yùn)行趨勢進(jìn)行分析，預(yù)測得到設(shè)備的性能消耗曲線；所述大數(shù)據(jù)處理層根據(jù)所述性能消耗曲線生成與當(dāng)前時(shí)刻相適配的閾值，并基于所述閾值對當(dāng)前時(shí)刻的運(yùn)行數(shù)據(jù)進(jìn)行報(bào)警分析。