[發明專利]基于日志通用性規則引擎的日志統計與分析系統及方法

在審

• 申請號: 201810872035.2
• 申請日: 2018-08-02
• 公開（公告）號: CN109086195A
• 公開（公告）日: 2018-12-25
• 發明（設計）人: 李成東
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F9/50
• 代理公司: 四川省成都市天策商標專利事務所 51213
• 代理人: 吳瑞芳

本發明公開了一種基于日志通用性規則引擎的日志統計與分析系統，根據不同來源的日志，可以根據預處理后的結構化數據進行特征字段進行處理，可以靈活的配置用戶需要的統計規則和指令規則，以及過濾規則；統計規則單條獨立，指令規則實際應用較為廣泛的是組合規則集，應用組合規則集處理日志數據，能夠處理不同日志源數據的結果，通過規則負載均衡模塊處理，將統計規則和指令分發到不同的進程或線程處理，負載均衡支持水平橫向擴展，保證日志數據處理能力，較大地提升穩定性和處理日志的性能。

技術領域

本發明涉及規則設計、規則解析和日志數據技術領域，特別涉及基于日志通用性規則引擎的日志統計與分析系統及方法。

背景技術

隨著大數據時代的到來和進入業務與安全并行的時代，企業和公司已經高度重視各自業務發展的同時，如何優化調整業務資源配置、業務結構和保證業務安全可靠的運行，已然成為了企業內部的重中之重。

目前，企業開始利用自己的日志數據進行統計和分析，但企業往往是多業務并行，老業務穩定市場，新業務開拓市場。但往往因為業務的獨特性，一個特定類的日志統計和分析系統已經不能滿足企業用戶的核心需求。為了滿足企業用戶的這個需求，基于日志通用規則引擎的離線日志統計和分析系統應運而生。

發明內容

本發明的目的是基于上述背景技術，提供基于日志通用性規則引擎的日志統計與分析系統及方法，可實現企業采用一個日志統計與分析系統，便可設定每類日志的規則輕松統計和分析出各類日志的相關數據。

為了達到上述的技術效果，本發明采取以下技術方案：

基于日志通用性規則引擎的日志統計與分析系統，包含日志配置模塊、日志配置解析模塊、規則負載均衡模塊、日志源收集存儲模塊、日志標準化模塊、日志豐富化模塊、日志處理模塊、日志告警模塊及日志統計模塊；

所述日志配置模塊用于解析不同日志的相關配置信息并對每類日志進行統計需要配置化及分析需要配置化；

所述日志配置解析模塊用于對配置的日志統計規則和指令進行解析，并對日志格式配置進行解析處理，其主要對配置的日志統計規則和指令(規則)進行解析，同時也對日志格式配置進行解析處理，解析后的規則配置加載到規則引擎內存中；

所述規則負載均衡模塊用于接納多個日志源數據并進行處理及對配置的規則進行多進程或多線程分發，即可以接納多個日志源數據進行處理，每個日志源的規則配置可以靈活的配置，因此這種情況下實際上規則配置量在一定程度上會浮動，為了減少引擎處理規則日志時耗費過多時間，特別地設計規則負載均衡模塊進行處理，對配置的規則進行多進程或多線程分發，保證規則均衡分發；

所述日志源收集存儲模塊用于對日志源進行收集并存儲；

所述日志標準化模塊用于對日志源收集存儲模塊收集的日志數據類型進行結構化處理并最終生成規則引擎能夠處理的數據類型，即對收集的日志數據類型進行結構化處理，最終生成規則引擎能夠處理的數據類型，從日志存儲消息隊列中進行讀取，例如對文本類型的日志數據進行正則提取響應的特征字段這特征值，進行后續的豐富化處理。還有標準化對數據脫敏、時間格式處理等；

所述日志豐富化模塊用于對日志中的特征進行豐富化處理，日志中有很多特征需要進行豐富化處理，且這些豐富化依賴于日志類型，和日志類型可豐富化的特征數量；

所述日志處理模塊用于設計統計規則、指令規則來處理日志數據，對于統計規則，若已經設定了過濾規則，則優先進行過濾規則處理，然后再通過統計規則匹配表達式進行處理，聚合計算出結果；對于指令規則，除了過濾規則處理和匹配表達式進行處理外，還需要通過研判表達式進行研判，只有當所有規則集中的所有研判條件研判成功后才會觸發指令；