[發明專利]一種用于海量日志分析預警的大數據處理系統

在審

• 申請號: 202011068824.4
• 申請日: 2020-09-28
• 公開（公告）號: CN112506750A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 黨倩;袁昊;邱昱;孫碧穎;任敬斌;尚聞博;竇琛琛;金銘
• 申請（專利權）人: 國網甘肅省電力公司信息通信公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F11/30;G06F9/50
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種用于海量日志分析預警的大數據處理系統，所述系統應用于各種設備日志的分析建模及實時預警，其特征在于，所述系統包括客戶端、服務器節點、計算機節點、數據庫、存儲單元、監控子系統和拓展模塊，所述服務器節點與所述客戶端、數據庫和計算機節點模塊相連，所述計算節點分別與所述數據庫、存儲單元、監控子系統和拓展模塊相連，所述服務器節點與多個計算節點組成了分析系統核心模塊；其中：

服務器節點為整個系統的控制中心以及數據交互中心；

計算節點，用于響應服務器節點分發的任務進行日志分析與建模，以及實時預警的操作，且所述計算節點兩兩之間可進行數據交互，并將計算結果反饋給服務器節點；

監控子系統，用于對每個所述計算機節點進行負載大小和性能監控；

拓展模塊，用于拓展所述計算節點的數量；

數據庫，用于存儲日志分析的中間結果，以及建模的最終結果數據；

存儲單元，用于存儲所述計算節點上的日志原始數據文件。

2.根據權利要求1所述的一種用于海量日志分析預警的大數據處理系統，其特征在于，所述客戶端還包括用于設置日志分析與建模的輸入單元和顯示模型評估指標的顯示單元。

3.根據權利要求1所述的一種用于海量日志分析預警的大數據處理系統，其特征在于，所述建模系統適用于一種以上的日志類型，所述日志類型包括交換機日志、路由器日志、網站后臺日志和業務日志；所述建模系統的輸入日志為任何一個可建模的類型。

4.根據權利要求1所述的一種用于海量日志分析預警的大數據處理系統，其特征在于，所述建模包括一個輸入路徑和輸出路徑，通過相對應的機器學習策略程序完成訓練操作。

5.一種用于海量日志分析預警的大數據處理系統，應用于權利要求1～4所述的建模系統，其特征在于，所述方法包括步驟：

S1：建模系統將日志歷史數據分發到分布式環境下的計算機節點中，并將訓練所需的數據加載至計算機節點內存中；

S2：客戶端將日志建模策略提交至系統，并設置好具體的建模參數，同時監控子系統對每個計算節點進行負載情況監測；

S3：根據監測得到的每個計算節點的負載情況對計算節點進行任務分配，實施訓練操作，并在訓練完成后輸出對應的策略評估指標。

6.根據權利要求5所述的一種用于海量日志分析預警的大數據處理系統，其特征在于，所述方法還包括步驟：

a.根據客戶端選擇的輸入日志歷史數據集合，將對應的日志歷史數據從存儲單元選取出，到準備并以文本文件格式傳輸到計算節點上；

b.通過所述監控子系統監控每個計算節點當前的負載情況，以及未進行完任務的統計工作；

c.將用戶提交的日志建模源程序和其中對應的不同參數組合生成集群計算任務，以及對應的可執行文件；

d.根據每個計算節點不同的負載與性能，將不同的任務與執行程序發送到計算節點的對應的工作文件夾中。

7.根據權利要求6所述的一種用于海量日志分析預警的大數據處理系統，其特征在于，所述方法還包括步驟：

1)將每個所述計算節點中的日志歷史數據加載到內存中；

2)調用所述計算節點工作文件夾中的執行程序，運行建模；

3)記錄建模的評估指標，包括蘭德系數、互信息、召回率、準確率等，并對建模程序運行中出現的異常進行捕獲，記錄日志。

4)建模結束后，生成本次建模任務的評估報表，并發送和存儲到結果數據庫報表中。