[發(fā)明專利]一種用于海量日志分析預(yù)警的大數(shù)據(jù)處理系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011068824.4
• 申請(qǐng)日: 2020-09-28
• 公開（公告）號(hào): CN112506750A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 黨倩;袁昊;邱昱;孫碧穎;任敬斌;尚聞博;竇琛琛;金銘
• 申請(qǐng)（專利權(quán)）人: 國網(wǎng)甘肅省電力公司信息通信公司
• 主分類號(hào): G06F11/34
• 分類號(hào): G06F11/34;G06F11/30;G06F9/50
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明專利公開了一種用于海量日志分析預(yù)警的大數(shù)據(jù)處理系統(tǒng)，涉及大數(shù)據(jù)分析處理技術(shù)，為解決及時(shí)發(fā)現(xiàn)系統(tǒng)中的異常信息，并對(duì)日志按業(yè)務(wù)統(tǒng)一分析而發(fā)明。系統(tǒng)包括客戶端、服務(wù)端模塊、計(jì)算模塊、數(shù)據(jù)庫模塊、存儲(chǔ)單元、監(jiān)控子系統(tǒng)和拓展模塊。系統(tǒng)采用多任務(wù)分布式技術(shù)對(duì)海量日志進(jìn)行分析挖掘，應(yīng)用日志模板提取、日志聚類、日志分類等分析方法，可以建立科學(xué)的分析模型，使得對(duì)日志的分析深度與事件的識(shí)別準(zhǔn)確度得到提升。本發(fā)明主要應(yīng)用于海量日志分析處理與實(shí)時(shí)預(yù)警的過程中。

技術(shù)領(lǐng)域

本發(fā)明涉及日志分析與大數(shù)據(jù)領(lǐng)域，應(yīng)用于大數(shù)據(jù)日志安全分析及預(yù)警中。

背景技術(shù)

隨著業(yè)務(wù)規(guī)模的不斷擴(kuò)大，信息系統(tǒng)中通常累積了海量的日志信息，這些信息類型多樣、產(chǎn)生速度快、且蘊(yùn)藏著系統(tǒng)運(yùn)行的關(guān)鍵信息，因此，信息系統(tǒng)中的日志數(shù)據(jù)具有典型的大數(shù)據(jù)特征。采用基于大數(shù)據(jù)平臺(tái)的日志的實(shí)時(shí)采集與處理技術(shù)，可及時(shí)發(fā)現(xiàn)系統(tǒng)中的異常信息或行為，避免其異常發(fā)展惡化；對(duì)日志按業(yè)務(wù)應(yīng)用統(tǒng)一分析及問題關(guān)聯(lián)影響分析，實(shí)現(xiàn)對(duì)日志對(duì)象按業(yè)務(wù)應(yīng)用進(jìn)行管理，可以減少故障排查時(shí)間和業(yè)務(wù)中斷時(shí)間，提高系統(tǒng)的服務(wù)響應(yīng)能力和服務(wù)水平；采用多任務(wù)分布式技術(shù)對(duì)海量日志進(jìn)行分析挖掘，應(yīng)用規(guī)則關(guān)聯(lián)、統(tǒng)計(jì)關(guān)聯(lián)等分析方法，可以建立科學(xué)的分析模型，使得對(duì)日志的分析深度與事件的識(shí)別準(zhǔn)確度得到進(jìn)一步的提升。日志分析預(yù)警的意義便在于，能提前對(duì)潛在的風(fēng)險(xiǎn)進(jìn)行發(fā)掘，分析、判斷并形成定性或定量的描述，從而采取應(yīng)對(duì)措施來降低風(fēng)險(xiǎn)。這對(duì)提高信息通信系統(tǒng)的安全性、穩(wěn)定性及其服務(wù)能力具有重要的理論價(jià)值和實(shí)際意義。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于解決現(xiàn)有技術(shù)中存在的缺點(diǎn)和不足，提出一種用于海量日志分析預(yù)警的大數(shù)據(jù)處理系統(tǒng)，通過本系統(tǒng)，能夠進(jìn)行歷史日志規(guī)律的建模，同時(shí)實(shí)現(xiàn)實(shí)時(shí)預(yù)警，具體技術(shù)方案如下：

一方面，提供了一種用于海量日志分析預(yù)警的大數(shù)據(jù)處理系統(tǒng)，所述系統(tǒng)應(yīng)用于各種設(shè)備日志的分析建模及實(shí)時(shí)預(yù)警，所述系統(tǒng)包括客戶端、服務(wù)器節(jié)點(diǎn)、計(jì)算機(jī)節(jié)點(diǎn)、數(shù)據(jù)庫、存儲(chǔ)單元、監(jiān)控子系統(tǒng)和拓展模塊，所述服務(wù)器節(jié)點(diǎn)與所述客戶端、數(shù)據(jù)庫和計(jì)算機(jī)節(jié)點(diǎn)模塊相連，所述計(jì)算節(jié)點(diǎn)分別與所述數(shù)據(jù)庫、存儲(chǔ)單元、監(jiān)控子系統(tǒng)和拓展模塊相連，所述服務(wù)器節(jié)點(diǎn)與多個(gè)計(jì)算節(jié)點(diǎn)組成了分析系統(tǒng)核心模塊；其中：

服務(wù)器節(jié)點(diǎn)為整個(gè)系統(tǒng)的控制中心以及數(shù)據(jù)交互中心；

計(jì)算節(jié)點(diǎn)，用于響應(yīng)服務(wù)器節(jié)點(diǎn)分發(fā)的任務(wù)進(jìn)行日志分析與建模，以及實(shí)時(shí)預(yù)警的操作，且所述計(jì)算節(jié)點(diǎn)兩兩之間可進(jìn)行數(shù)據(jù)交互，并將計(jì)算結(jié)果反饋給服務(wù)器節(jié)點(diǎn)；

監(jiān)控子系統(tǒng)，用于對(duì)每個(gè)所述計(jì)算機(jī)節(jié)點(diǎn)進(jìn)行負(fù)載大小和性能監(jiān)控；

拓展模塊，用于拓展所述計(jì)算節(jié)點(diǎn)的數(shù)量；

數(shù)據(jù)庫，用于存儲(chǔ)日志分析的中間結(jié)果，以及建模的最終結(jié)果數(shù)據(jù)；

存儲(chǔ)單元，用于存儲(chǔ)所述計(jì)算節(jié)點(diǎn)上的日志原始數(shù)據(jù)文件。

本發(fā)明的進(jìn)一步改進(jìn)，所述客戶端還包括用于設(shè)置日志分析與建模的輸入單元和顯示模型評(píng)估指標(biāo)的顯示單元。

本發(fā)明的進(jìn)一步改進(jìn)，所述系統(tǒng)適用于一種以上的日志類型，所述日志類型包括交換機(jī)日志、路由器日志、網(wǎng)站后臺(tái)日志和業(yè)務(wù)日志；所述建模系統(tǒng)的輸入日志為任何一個(gè)可建模的類型。

本發(fā)明的進(jìn)一步改進(jìn)，所述建模包括一個(gè)輸入路徑和輸出路徑，通過相對(duì)應(yīng)的機(jī)器學(xué)習(xí)策略程序完成訓(xùn)練操作。

另一方面，提供了一種基于機(jī)器學(xué)習(xí)的歷史日志特征建模與訓(xùn)練方法，應(yīng)用于上述處理系統(tǒng)，所述方法包括步驟：

S1：建模系統(tǒng)將日志歷史數(shù)據(jù)分發(fā)到分布式環(huán)境下的計(jì)算機(jī)節(jié)點(diǎn)中，并將訓(xùn)練所需的數(shù)據(jù)加載至計(jì)算機(jī)節(jié)點(diǎn)內(nèi)存中；

S2：客戶端將日志建模策略提交至系統(tǒng)，并設(shè)置好具體的建模參數(shù)，同時(shí)監(jiān)控子系統(tǒng)對(duì)每個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行負(fù)載情況監(jiān)測；