[發(fā)明專利]一種大數(shù)據(jù)運行維護(hù)分析方法、裝置及服務(wù)器

在審

• 申請?zhí)枺?/td>: 201711484351.4
• 申請日: 2017-12-29
• 公開（公告）號: CN108197251A
• 公開（公告）日: 2018-06-22
• 發(fā)明（設(shè)計）人: 宋傳園;咼昊甦;繆翎
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市鑄成律師事務(wù)所 11313
• 代理人: 王珺;徐瑞紅

本發(fā)明提出一種大數(shù)據(jù)運行維護(hù)分析方法、裝置及服務(wù)器，所述方法包括：采集計算機(jī)集群中各節(jié)點的服務(wù)信息；將采集的各節(jié)點的所述服務(wù)信息進(jìn)行預(yù)處理操作；采用機(jī)器學(xué)習(xí)算法構(gòu)建策略模型；依據(jù)所述策略模型，根據(jù)預(yù)處理后的服務(wù)信息，生成運行維護(hù)策略；將所述運行維護(hù)策略下發(fā)至集群中的各節(jié)點進(jìn)行執(zhí)行。上述技術(shù)方案可以實現(xiàn)：采用機(jī)器學(xué)習(xí)算法構(gòu)建策略模型，以使得所述策略模型根據(jù)預(yù)處理后的服務(wù)信息，生成運行維護(hù)策略，并將所述運行維護(hù)策略下發(fā)至集群中的各節(jié)點進(jìn)行執(zhí)行，由于所下發(fā)的策略是根據(jù)集群中各節(jié)點的服務(wù)信息得到的，因此可以使各大數(shù)據(jù)服務(wù)之間的資源做到自動彈性的伸縮和共享，提高集群資源的整體利用率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)運行維護(hù)技術(shù)領(lǐng)域，具體為一種大數(shù)據(jù)運行維護(hù)分析方法、裝置及服務(wù)器。

背景技術(shù)

隨著我國信息化程度的提高，各類數(shù)據(jù)中心不斷涌現(xiàn)，相應(yīng)地，IT運行維護(hù)的數(shù)據(jù)量也成幾何速度上升。在IT運行維護(hù)監(jiān)控領(lǐng)域，一個有效的運行維護(hù)系統(tǒng)能幫助運行維護(hù)人員及時發(fā)現(xiàn)系統(tǒng)故障的隱患。運行維護(hù)系統(tǒng)需要包括指標(biāo)數(shù)據(jù)的采集、展示，再到數(shù)據(jù)分析等，各個環(huán)節(jié)的設(shè)計要保障高效穩(wěn)定，這在大數(shù)據(jù)運行維護(hù)系統(tǒng)中尤為重要。

傳統(tǒng)的運行維護(hù)分析系統(tǒng)僅針對單一的數(shù)據(jù)統(tǒng)計項進(jìn)行管理，根據(jù)單一數(shù)據(jù)統(tǒng)計項進(jìn)行統(tǒng)計分析。例如，僅針對單一數(shù)據(jù)統(tǒng)計項設(shè)定閾值，根據(jù)該數(shù)據(jù)統(tǒng)計項是否達(dá)到閾值來下發(fā)運行維護(hù)管理策略；再例如，僅根據(jù)網(wǎng)絡(luò)日志的記載來下發(fā)運行維護(hù)策略。這種方式忽略了數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，導(dǎo)致集群資源的整體利用率較低。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種大數(shù)據(jù)運行維護(hù)分析方法、裝置及服務(wù)器，以至少解決現(xiàn)有技術(shù)中的以上技術(shù)問題。

第一方面，本發(fā)明實施例提供了一種大數(shù)據(jù)運行維護(hù)分析方法，包括：

采集計算機(jī)集群中各節(jié)點的服務(wù)信息；

將采集的各節(jié)點的所述服務(wù)信息進(jìn)行預(yù)處理操作；

采用機(jī)器學(xué)習(xí)算法構(gòu)建策略模型；

依據(jù)所述策略模型，根據(jù)預(yù)處理后的服務(wù)信息，生成運行維護(hù)策略；

將所述運行維護(hù)策略下發(fā)至集群中的各節(jié)點進(jìn)行執(zhí)行。

結(jié)合第一方面，本發(fā)明在第一方面的第一種實施方式中，

將采集的各節(jié)點的所述服務(wù)信息進(jìn)行預(yù)處理操作，包括：

對所述服務(wù)信息進(jìn)行數(shù)據(jù)清洗，以過濾掉不符合要求的數(shù)據(jù)；

對清洗后的服務(wù)信息進(jìn)行數(shù)據(jù)抽取，以獲得所述服務(wù)信息的有用特性；

將數(shù)據(jù)抽取后獲得的有用特征進(jìn)行數(shù)據(jù)轉(zhuǎn)換，以獲得適合于所述策略模型訓(xùn)練的數(shù)據(jù)類型。

結(jié)合第一方面的第一種實施方式，采用機(jī)器學(xué)習(xí)算法構(gòu)建策略模型，包括：

采集計算機(jī)集群中各節(jié)點對預(yù)處理之前的服務(wù)信息的監(jiān)控數(shù)據(jù)，以將所述監(jiān)控數(shù)據(jù)作為數(shù)據(jù)樣本；

根據(jù)所述監(jiān)控數(shù)據(jù)，采用機(jī)器學(xué)習(xí)算法構(gòu)建所述策略模型；

獲取人工反饋結(jié)果；

根據(jù)所述人工反饋結(jié)果，對所述策略模型進(jìn)行優(yōu)化。

結(jié)合第一方面，本發(fā)明在第一方面的第二實施方式中，采集計算機(jī)集群中各節(jié)點的服務(wù)信息之后，所述方法還包括：

存儲集群中各節(jié)點的服務(wù)信息；

為所述服務(wù)信息提供查詢服務(wù)，其中所述查詢服務(wù)包括批量查詢服務(wù)和實時查詢服務(wù)。

第二方面，本發(fā)明實施例提供了一種大數(shù)據(jù)運行維護(hù)分析裝置，包括：

采集模塊，配置為采集計算機(jī)集群中各節(jié)點的服務(wù)信息；