[發(fā)明專利]大數(shù)據(jù)平臺(tái)監(jiān)控方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810332243.3
• 申請(qǐng)日: 2018-04-13
• 公開（公告）號(hào): CN108712465A
• 公開（公告）日: 2018-10-26
• 發(fā)明（設(shè)計(jì)）人: 俞鵬飛
• 申請(qǐng)（專利權(quán)）人: 電信科學(xué)技術(shù)第五研究所有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;G06F11/30
• 代理公司: 成都惠迪專利事務(wù)所(普通合伙) 51215
• 代理人: 劉勛

大數(shù)據(jù)平臺(tái)監(jiān)控方法，涉及計(jì)算機(jī)技術(shù)。本發(fā)明包括下述步驟：1)從大數(shù)據(jù)平臺(tái)中采集狀態(tài)數(shù)據(jù)，所述狀態(tài)數(shù)據(jù)包括組件狀態(tài)數(shù)據(jù)；2)對(duì)采集的結(jié)果依據(jù)既定的規(guī)則進(jìn)行計(jì)算處理，并存儲(chǔ)計(jì)算的結(jié)果；3)若計(jì)算結(jié)果滿足報(bào)警條件，則通過API接口發(fā)出報(bào)警信息，其特征在于，所述步驟1)中，狀態(tài)數(shù)據(jù)還包括系統(tǒng)流量數(shù)據(jù)，所述系統(tǒng)流量數(shù)據(jù)包括大數(shù)據(jù)平臺(tái)各個(gè)流程、組件的系統(tǒng)流量。本發(fā)明的有益效果是，能夠全面、實(shí)時(shí)監(jiān)控集群、節(jié)點(diǎn)以及節(jié)點(diǎn)上計(jì)算作業(yè)的運(yùn)行情況，及時(shí)發(fā)現(xiàn)異常并告警，保證調(diào)度任務(wù)的順利完成，具有更高的靈敏度和可靠性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)。

背景技術(shù)

對(duì)于目前海量并且瞬息萬變的大數(shù)據(jù)來說，存儲(chǔ)已經(jīng)不是最終的目標(biāo)，如何從數(shù)據(jù)中獲得包括商業(yè)價(jià)值在內(nèi)的紅利，才是真正的意義所在。通過建立大數(shù)據(jù)平臺(tái)，獲取更高的數(shù)據(jù)價(jià)值，這才是數(shù)據(jù)對(duì)于企業(yè)的意義。雖然大數(shù)據(jù)平臺(tái)的最終任務(wù)不是存儲(chǔ)，但是數(shù)據(jù)存儲(chǔ)是基礎(chǔ)。針對(duì)業(yè)務(wù)的特殊性，往往數(shù)據(jù)存儲(chǔ)之前都會(huì)對(duì)數(shù)據(jù)進(jìn)行Extract(傳輸)-Transform(轉(zhuǎn)換)-Load(加載)，這個(gè)過程稱作數(shù)據(jù)ETL過程。由于業(yè)務(wù)的多樣性，數(shù)據(jù)最終存儲(chǔ)之前，往往還包含了其他的數(shù)據(jù)處理流程，如數(shù)據(jù)清洗等。

自從不斷有企業(yè)構(gòu)架了大數(shù)據(jù)平臺(tái)，為了提高平臺(tái)工作的效率和故障發(fā)現(xiàn)的及時(shí)性，對(duì)于健康狀態(tài)的監(jiān)控告警已經(jīng)成為了一個(gè)大數(shù)據(jù)平臺(tái)的一個(gè)亮點(diǎn)。

目前很多企業(yè)對(duì)于大數(shù)據(jù)平臺(tái)的監(jiān)控告警并沒有進(jìn)行實(shí)際的開展，往往是基于大數(shù)據(jù)平臺(tái)的應(yīng)用出現(xiàn)了問題，才進(jìn)行手動(dòng)的排除。對(duì)于進(jìn)行了大數(shù)據(jù)平臺(tái)的監(jiān)控告警工作的，常用的設(shè)計(jì)方法是，采集-存儲(chǔ)-展示-告警，即首先采集的監(jiān)控?cái)?shù)據(jù)(系統(tǒng)本身運(yùn)行狀態(tài)，如CPU，內(nèi)存，磁盤，網(wǎng)絡(luò)使用情況等；各種應(yīng)用的運(yùn)行情況，如數(shù)據(jù)庫，容器，計(jì)算作業(yè)等)。存儲(chǔ)即是將采集結(jié)果通過存儲(chǔ)方案進(jìn)行保存。展示即是將這些數(shù)據(jù)在Web界面進(jìn)行展示，把監(jiān)控指標(biāo)的變化情況可視化。告警即是將告警信息以郵件、短信、微信等形式發(fā)送出去。這樣的設(shè)計(jì)只是針對(duì)了系統(tǒng)(CPU、內(nèi)存、磁盤、大數(shù)據(jù)平臺(tái)組件等)、功能(計(jì)算作業(yè)、數(shù)據(jù)ETL等)組件進(jìn)行了監(jiān)控，缺少因?yàn)閿?shù)據(jù)流量丟失，或者數(shù)據(jù)流量的積壓等情況導(dǎo)致大數(shù)據(jù)平臺(tái)系統(tǒng)流程處理告警的監(jiān)控。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是，提供一種大數(shù)據(jù)平臺(tái)監(jiān)控方法，對(duì)大數(shù)據(jù)平臺(tái)提供更加全面的監(jiān)控。

本發(fā)明解決所述技術(shù)問題采用的技術(shù)方案是，大數(shù)據(jù)平臺(tái)監(jiān)控方法，包括下述步驟：

1)從大數(shù)據(jù)平臺(tái)中采集狀態(tài)數(shù)據(jù)，所述狀態(tài)數(shù)據(jù)包括組件狀態(tài)數(shù)據(jù)；

2)對(duì)采集的結(jié)果依據(jù)既定的規(guī)則進(jìn)行計(jì)算處理，并存儲(chǔ)計(jì)算的結(jié)果；

3)若計(jì)算結(jié)果滿足報(bào)警條件，則通過API接口發(fā)出報(bào)警信息。

所述步驟1)中，狀態(tài)數(shù)據(jù)還包括系統(tǒng)流量數(shù)據(jù)，所述系統(tǒng)流量數(shù)據(jù)包括大數(shù)據(jù)平臺(tái)各個(gè)流程、組件的系統(tǒng)流量。

本發(fā)明的有益效果是，能夠全面、實(shí)時(shí)監(jiān)控集群、節(jié)點(diǎn)以及節(jié)點(diǎn)上計(jì)算作業(yè)的運(yùn)行情況，及時(shí)發(fā)現(xiàn)異常并告警，保證調(diào)度任務(wù)的順利完成，具有更高的靈敏度和可靠性。

附圖說明

圖1是本發(fā)明的系統(tǒng)架構(gòu)圖。

圖2是系統(tǒng)流量采集示意圖。

具體實(shí)施方式

參見圖1～2。

本發(fā)明所稱的系統(tǒng)流量，是指將一定時(shí)間頻率下，通過某個(gè)流程、組件、計(jì)算中間件等的數(shù)據(jù)總量，稱作單位時(shí)間內(nèi)的系統(tǒng)流量，簡(jiǎn)稱系統(tǒng)流量。如在數(shù)據(jù)ETL的Extract過程，按照每分鐘作為時(shí)間頻率，通過Extract過程的數(shù)據(jù)總量為M，得到的系統(tǒng)流量即為每分鐘M，可以計(jì)為M/m。往往根據(jù)數(shù)據(jù)量的大小，或者業(yè)務(wù)的特殊性，設(shè)置的時(shí)間頻率也不一致。