[發(fā)明專利]一種基于日志通用性規(guī)則引擎的規(guī)則處理方法

在審

• 申請?zhí)枺?/td>: 201811150785.5
• 申請日: 2018-09-29
• 公開（公告）號: CN109271349A
• 公開（公告）日: 2019-01-25
• 發(fā)明（設(shè)計）人: 李成東;常清雪
• 申請（專利權(quán)）人: 四川長虹電器股份有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/18;G06F11/34
• 代理公司: 四川省成都市天策商標(biāo)專利事務(wù)所 51213
• 代理人: 李潔

本發(fā)明公開了一種基于日志通用性規(guī)則引擎的規(guī)則處理方法，包括：步驟S100)：規(guī)則配置，設(shè)定需要作用在日志數(shù)據(jù)上的規(guī)則，規(guī)則包括統(tǒng)計規(guī)則、指令規(guī)則和過濾規(guī)則；步驟S200)：規(guī)則解析，將配置好的規(guī)則進行解析，并加載到規(guī)則引擎中對日志進行處理；步驟S300)：對接收的日志數(shù)據(jù)按照規(guī)則進行過濾、匹配處理；步驟S400)：對數(shù)據(jù)聚合結(jié)合做研判處理或者結(jié)構(gòu)化處理，并將處理后的數(shù)據(jù)存入數(shù)據(jù)庫或消息隊列。本發(fā)明通過統(tǒng)計規(guī)則、指令規(guī)則、過濾規(guī)則的設(shè)計，針對不同的源日志數(shù)據(jù)進行處理，同時基于時間窗口的設(shè)計，將聚合統(tǒng)計的計算次數(shù)控制在最小，大大提高了日志在規(guī)則引擎上處理的能力。

技術(shù)領(lǐng)域

本發(fā)明涉及規(guī)則設(shè)計、規(guī)則解析和日志數(shù)據(jù)領(lǐng)域，具體的說，是一種基于日志通用性規(guī)則引擎的規(guī)則處理方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)迅速普及和蓬勃發(fā)展，大型企業(yè)軟件應(yīng)用日趨成熟、龐大，各個企業(yè)公司的日志數(shù)據(jù)也逐漸得到相關(guān)人員的高度重視。公司和企業(yè)開始利用自己的日志數(shù)據(jù)進行統(tǒng)計和分析，來為公司業(yè)務(wù)的發(fā)展走向做出更優(yōu)的決策和業(yè)務(wù)安全保駕護航，日志數(shù)據(jù)的價值遠遠大于他未被發(fā)現(xiàn)時的價值，公司和企業(yè)為了打造自己的專屬業(yè)務(wù)日志分析處理系統(tǒng)，但是這些系統(tǒng)基本上是針對該類業(yè)務(wù)日志，對于其他類的應(yīng)用日志則需要再配置一套另外的系統(tǒng)，表面上該系統(tǒng)并不具備通用性，實則是規(guī)則引擎不具備通用性。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于日志通用性規(guī)則引擎的規(guī)則處理方法，用于解決現(xiàn)有技術(shù)中不同類型的應(yīng)用日志需要在不同的業(yè)務(wù)日志分析處理系統(tǒng)上處理的問題。

本發(fā)明通過下述技術(shù)方案解決上述問題：

一種基于日志通用性規(guī)則引擎的規(guī)則處理方法，包括：

步驟S100)：規(guī)則配置，設(shè)定需要作用在日志數(shù)據(jù)上的規(guī)則，所述規(guī)則包括統(tǒng)計規(guī)則、指令規(guī)則和過濾規(guī)則；

步驟S200)：規(guī)則解析，將配置好的規(guī)則進行解析，并加載到規(guī)則引擎中對日志進行處理；

步驟S300)：對接收的日志數(shù)據(jù)按照規(guī)則進行過濾、匹配處理；

步驟S400)：對數(shù)據(jù)聚合結(jié)合做研判處理或者結(jié)構(gòu)化處理，并將處理后的數(shù)據(jù)存入數(shù)據(jù)庫或消息隊列。

進一步地，所述步驟S100)中：

統(tǒng)計規(guī)則包括統(tǒng)計別名、統(tǒng)計算法、統(tǒng)計字段、時間窗口和統(tǒng)計規(guī)則表達式，所述統(tǒng)計算法作用在所述統(tǒng)計字段上，所述統(tǒng)計規(guī)則表達式只包括匹配表達式；

指令規(guī)則包括規(guī)則別名、時間窗口和指令規(guī)則表達式，所述指令規(guī)則表達式包括匹配表達式和研判表達式；

過濾規(guī)則只包括過濾匹配表達式。

進一步地，所述步驟S100)中還包括指令設(shè)計，所述指令設(shè)計包括指令別名、告警時間間隔、最終告警時間、剩余告警次數(shù)和指令規(guī)則集，所述指令規(guī)則集中的各規(guī)則是“與”的關(guān)系。

進一步地，所述步驟S300)具體包括：

步驟S310)：接收日志數(shù)據(jù)，并判斷對所述日志數(shù)據(jù)是否設(shè)置了過濾規(guī)則，如果是，則進入步驟S320，否則進入步驟S330)；

步驟S320)：采用過濾規(guī)則的過濾匹配表達式進行處理，進入下一步；

步驟S330)：分別采用統(tǒng)計規(guī)則表達式的匹配表達式和令規(guī)則表達式的匹配表達式進行數(shù)據(jù)處理，進入步驟S400)。

進一步地，所述步驟S330)中采用指令規(guī)則表達式的匹配表達式進行處理的步驟包括：

A1：在時間窗口的臨時桶保存當(dāng)前時間點的數(shù)據(jù)，聚合上一個時間點的數(shù)據(jù)；

A2：指令中的所有規(guī)則均遍歷使用聚合的結(jié)果進行研判；