[發明專利]基于日志通用性規則引擎的日志統計與分析系統及方法

在審

• 申請號: 201810872035.2
• 申請日: 2018-08-02
• 公開（公告）號: CN109086195A
• 公開（公告）日: 2018-12-25
• 發明（設計）人: 李成東
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F9/50
• 代理公司: 四川省成都市天策商標專利事務所 51213
• 代理人: 吳瑞芳

1.基于日志通用性規則引擎的日志統計與分析系統，其特征在于，包含日志配置模塊、日志配置解析模塊、規則負載均衡模塊、日志源收集存儲模塊、日志標準化模塊、日志豐富化模塊、日志處理模塊、日志告警模塊及日志統計模塊；

所述日志配置模塊用于解析不同日志的相關配置信息并對每類日志進行統計需要配置化及分析需要配置化；

所述日志配置解析模塊用于對配置的日志統計規則和指令進行解析，并對日志格式配置進行解析處理；

所述規則負載均衡模塊用于接納多個日志源數據并進行處理及對配置的規則進行多進程或多線程分發；

所述日志源收集存儲模塊用于對日志源進行收集并存儲；

所述日志標準化模塊用于對日志源收集存儲模塊收集的日志數據類型進行結構化處理并最終生成規則引擎能夠處理的數據類型；

所述日志豐富化模塊用于對日志中的特征進行豐富化處理；

所述日志處理模塊用于設計統計規則、指令規則來處理日志數據；

所述日志告警模塊用于收集所有的告警數據并做告警邏輯優化處理，及對告警數據記錄入庫；

所述日志統計模塊用于收集日志處理模塊中的統計數據，并對統計數據進行優化處理，最后將統計數據寫入數據庫。

2.根據權利要求1所述的基于日志通用性規則引擎的日志統計與分析系統，其特征在于，所述日志配置模塊至少包含日志格式配置單元、統計規則配置單元、指令規則與指令配置單元；

所述日志格式配置單元用于解析系統運行過程中不同日志的相關配置信息，統計規則配置單元用于對每類日志進行統計規則的配置，其中，每個統計規則都可以統計該類日志的一個獨特的統計項，指令規則與指令配置單元用于對每類日志進行指令規則的配置及指令配置，其中，每個指令規則都可以分析該類日志的一個獨特的分析項。

3.根據權利要求2所述的基于日志通用性規則引擎的日志統計與分析系統，其特征在于，所述日志格式配置單元解析的不同日志的相關配置信息至少包含：日志源格式類型、日志源中時間字段及各自的時間格式、時間字段需要存儲的時間格式、日志源中涉及的需要豐富化的字段、系統分析處理時間窗口解析的時間字段、日志中解析或存儲配置數據；

和/或所述統計規則至少包含統計算法、統計別名、統計規則表達式、統計時間窗口、過濾規則表達式、統計字段；

和/或所述指令規則至少包含規則別名、指令規則表達式、時間窗口、過濾規則表達式；

和/或所述指令配置中配置的指令至少包含指令規則集、告警截止時間、告警周期、告警最大次數、指令別名。

4.根據權利要求1所述的基于日志通用性規則引擎的日志統計與分析系統，其特征在于，所述日志源收集存儲模塊具體是采用日志收集插件進行日志源收集，和/或所述日志源收集存儲模塊存儲日志源時是采用消息隊列進行存儲。

5.根據權利要求1所述的基于日志通用性規則引擎的日志統計與分析系統，其特征在于，所述日志豐富化模塊對日志中的特征進行豐富化處理時至少包含IP豐富化處理、情報數據處理、黑白名單標簽處理。

6.根據權利要求1所述的基于日志通用性規則引擎的日志統計與分析系統，其特征在于，所述日志處理模塊還可設計過濾規則，且日志處理模塊在運用統計規則處理日志數據時，若已經設定了過濾規則，則優先進行過濾規則處理，然后再通過統計規則匹配表達式進行處理并聚合計算出結果。

7.基于日志通用性規則引擎的日志統計與分析方法，其特征在于具體包含以下步驟：

日志源收集及存儲步驟：進行日志源收集與存儲，并將存儲的日志源數據提供給日志標準化處理步驟進行處理；

日志格式配置步驟：設定日志數據進行格式化配置，并提供給日志格式驗證步驟；

日志格式驗證步驟：接收日志格式配置步驟中的日志格式配置并對其做格式驗證，并最終加載至日志標準化處理步驟；

日志標準化處理步驟：加載經日志格式驗證步驟驗證后的日志格式配置，從存儲的日志源數據中讀取響應的日志數據進行標準化處理，將處理后的日志數據提供給日志豐富化步驟；

日志豐富化步驟：接收經日志標準化處理步驟處理的日志并進行豐富化處理，將處理后的日志數據提供給日志處理步驟；

日志規則配置步驟：設定統計規則的配置項；

統計規則解析步驟：解析經日志規則配置步驟配置的統計規則；

統計規則負載均衡步驟：接收統計規則解析步驟中解析的統計規則，并通過負載均衡分發到日志處理步驟的各個進程或線程中去；

指令規則配置步驟：設定指令規則的相關配置以及指令規則集；

指令規則解析步驟：解析指令規則配置步驟設定的指令規則集的指令；

指令負載均衡步驟：接收指令規則解析步驟解析的指令，并將指令負載均衡處理后分發到日志處理步驟的各個進程和線程中去；

日志處理步驟：初始化統計規則負載均衡步驟中負載均衡分發的統計規則和指令負載均衡步驟中負載均衡分發的指令，并接收經日志豐富化步驟豐富化的日志，將豐富化的日志引入過濾規則處理步驟；

過濾規則處理步驟：對日志數據進行過濾，并將處理后的數據引入規則匹配處理步驟；

規則匹配處理步驟：對日志數據進行規則匹配處理，并將處理后的數據引入基于時間窗口數據聚合處理步驟；

基于時間窗口數據聚合處理步驟：對日志進行基于時間窗口的數據聚合統計，將經指令規則處理后的數據引入指令規則研判處理步驟，將經規則統計處理后的數據引入統計數據結構化處理步驟；

指令規則研判處理步驟：針對規則指令部分日志數據進行研判處理，并將處理后的數據引入日志告警處理步驟；

日志告警處理步驟：對經指令規則研判處理步驟處理的數據經過優化處理后進行告警并將告警數據入庫存儲；

統計數據結構化處理步驟：對經基于時間窗口數據聚合處理步驟處理的統計規則數據進行結構化處理并將處理后的數據入庫存儲。