[發明專利]海量日志實時分析系統、實時分析方法及可讀存儲介質

在審

• 申請號: 201811543513.1
• 申請日: 2018-12-17
• 公開（公告）號: CN109831316A
• 公開（公告）日: 2019-05-31
• 發明（設計）人: 龔小剛;葉衛;許敏;秦楓;周旭祥;陳政波;樊華;劉晨陽;亓國濤;周晨軼;方晴程;徐海洋;趙建朋;謝裕清;陳珊;王嘉怡;陳澤堃;張鵬杰;張京倫;徐亦白
• 申請（專利權）人: 國網浙江省電力有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 杭州華鼎知識產權代理事務所(普通合伙) 33217
• 代理人: 劉洋

1.一種海量日志實時分析系統，其特征在于，包括：日志采集單元、日志分拆和存儲單元、實時計算統計單元，其中，

所述日志采集單元，對系統日志進行采集和預處理；

所述日志分拆和存儲單元，對采集到系統日志進行分拆，并存儲為日志數據；

所述實時計算統計單元，對接收到的日志數據進行實時計算，包括控制模塊和若干工作模塊，每一個工作模塊根據自身的執行單元數量，調用對應數目的執行單元來對接收到的日志數據進行實時計算；所述控制模塊，收集所述每個工作模塊的處理速度信息，以及具有邏輯上下游關系的工作模塊間的數據流量信息；根據收集到的數據流量信息和處理速度信息確定所述每個工作模塊的最佳執行單元數量；若所述每個工作模塊的最佳執行單元數量與所述每個工作模塊的執行單元數量不相同，則按照所述最佳執行單元數量對所述每個工作模塊的執行單元數量進行調整。

2.如權利要求1所述的海量日志實時分析系統，其特征在于，當一個工作模塊的最佳執行單元數量小于對應工作模塊的執行單元數量時，工作模塊根據對應的最佳執行單元數量為對應工作模塊刪除至少一個執行單元，或者，當一個工作模塊的最佳執行單元數量大于對應工作模塊的執行單元數量時，對應的工作模塊增加至少一個執行單元，使得對應工作模塊的當前的執行單元數量與所述工作模塊的最佳執行單元數量相同。

3.如權利要求2所述的海量日志實時分析系統，其特征在于，根據日志數據到達時間和日志數據平均處理時間來確定所述每個工作模塊的最佳執行單元數量；其中，所述日志數據到達時間表示日志數據到達所述每個工作模塊的時間，所述日志數據平均處理時間表示所述每個工作模塊的執行單元處理所述日志數據的平均時間。

4.如權利要求2所述的海量日志實時分析系統，其特征在于，所述每個工作節點的最佳執行單元數量等于所述日志數據平均處理時間與所述日志數據到達時間的比值。

5.如權利要求1所述的海量日志實時分析系統，其特征在于，所述日志分拆和存儲單元對采集到系統日志進行分拆，包括：對采集到的系統日志進行多維度拆分，每一個維度拆分后的日志數據對應后續的多個工作模塊。

6.如權利要求1所述的海量日志實時分析系統，其特征在于，所述日志數據包括操作行為日志、設備運行日志、網絡訪問日志、運行維護日志其中的一種或多種。

7.如權利要求1所述的海量日志實時分析系統，其特征在于，還包括：數據展示單元，用于對實時計算統計后的結果進行展示。

8.一種海量日志實時分析方法，其特征在于，包括：

對系統日志進行采集和預處理；

對采集到系統日志進行分拆，并存儲為日志數據；

對接收到的日志數據進行實時計算，每一個工作模塊根據自身的執行單元數量，調用對應數目的執行單元來對接收到的日志數據進行實時計算；控制模塊收集所述每個工作模塊的處理速度信息，以及具有邏輯上下游關系的工作模塊間的數據流量信息；根據收集到的數據流量信息和處理速度信息確定所述每個工作模塊的最佳執行單元數量；若所述每個工作模塊的最佳執行單元數量與所述每個工作模塊的執行單元數量不相同，則按照所述最佳執行單元數量對所述每個工作模塊的執行單元數量進行調整。

9.如權利要求8所述的海量日志實時分析方法，其特征在于，還包括：對實時計算統計后的結果進行展示。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現權利要求8～9任一項所述的海量日志實時分析方法。