[發(fā)明專利]用于在日志分析系統(tǒng)中實現(xiàn)日志解析器的方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111494840.4
• 申請日: 2016-04-01
• 公開（公告）號: CN114153702A
• 公開（公告）日: 2022-03-08
• 發(fā)明（設(shè)計）人: G·M·法拉爾
• 申請（專利權(quán)）人: 甲骨文國際公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/13;G06F16/14;G06F16/18;H04L41/14;H04L41/5074;G06F9/54
• 代理公司: 中國貿(mào)促會專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 劉前紅

1.一種方法，包括：

存儲分別與多個日志類型相關(guān)聯(lián)的多個日志解析器；

從日志獲得日志數(shù)據(jù)；

在所述日志數(shù)據(jù)內(nèi)識別：(a)多個日志類型中的至少一個日志類型所共有的第一組字段名稱，以及(b)包括由所述第一組字段名稱表示的字段的字段值的第一組可變部分；

通過從所述日志數(shù)據(jù)中移除所述第一組可變部分，生成經(jīng)過濾的日志數(shù)據(jù)，其中所述經(jīng)過濾的日志數(shù)據(jù)包括所述第一組字段名稱并且不包括由所述第一組字段名稱表示的字段的字段值；

生成向量，所述向量(a)基于所述經(jīng)過濾的日志數(shù)據(jù)中的所述第一組字段名稱，并且(b)不基于包括字段值的被移除的第一組可變部分；

至少通過將所述向量應(yīng)用于一個或多個分類器，獲得將所述日志分類為特定類型的最終分類結(jié)果；以及

基于所述最終分類結(jié)果，使用與所述特定日志類型相關(guān)聯(lián)的日志解析器來解析所述日志；

其中，所述方法由包括硬件處理器的至少一個設(shè)備執(zhí)行。

2.如權(quán)利要求1所述的方法，還包括：

將經(jīng)過濾的日志數(shù)據(jù)應(yīng)用于分布分類器以獲得第一分類結(jié)果，其中所述分布分類器使用分布模型對經(jīng)過濾的日志數(shù)據(jù)進(jìn)行分類，該分布模型包括分別與所述多個日志類型相關(guān)聯(lián)的第一多個質(zhì)心，其中將經(jīng)過濾的日志數(shù)據(jù)應(yīng)用于分布分類器包括(a)基于經(jīng)過濾的日志數(shù)據(jù)內(nèi)的一個或多個字符的一個或多個頻率生成分布向量，以及(b)基于所述分布向量和所述第一多個質(zhì)心中的第一質(zhì)心之間的第一距離生成第一分類結(jié)果；

將經(jīng)過濾的日志數(shù)據(jù)應(yīng)用于令牌分類器以獲得第二分類結(jié)果，其中所述令牌分類器使用令牌模型對經(jīng)過濾的日志數(shù)據(jù)進(jìn)行分類，該令牌模型包括分別與所述多個日志類型相關(guān)聯(lián)的第二多個質(zhì)心；

為第一分類結(jié)果賦予第一權(quán)重，以獲得與分布分類器對應(yīng)的第一加權(quán)分類結(jié)果；

為第二分類結(jié)果賦予第二權(quán)重，以獲得與令牌分類器對應(yīng)的第二加權(quán)分類結(jié)果；以及

至少組合(a)與分布分類器對應(yīng)的第一加權(quán)分類結(jié)果和(b)與令牌分類器對應(yīng)的第二加權(quán)分類結(jié)果，以獲得最終分類結(jié)果。

3.如權(quán)利要求2所述的方法，還包括：

將經(jīng)過濾的日志數(shù)據(jù)應(yīng)用于令牌分類器包括(a)基于經(jīng)過濾的日志數(shù)據(jù)內(nèi)的一個或多個令牌生成令牌向量，以及(b)基于所述令牌向量和所述第二多個質(zhì)心中的第二質(zhì)心之間的第二距離生成第二分類結(jié)果。

4.如權(quán)利要求2所述的方法，還包括：

將經(jīng)過濾的日志數(shù)據(jù)應(yīng)用于正則表達(dá)式分類器，以獲得第三分類結(jié)果；以及

為第三分類結(jié)果賦予第三權(quán)重，以獲得與正則表達(dá)式分類器對應(yīng)的第三加權(quán)分類結(jié)果；

其中，為了獲得最終分類結(jié)果，進(jìn)一步將與正則表達(dá)式分類器對應(yīng)的第三加權(quán)分類結(jié)果和與分布分類器對應(yīng)的第一加權(quán)分類結(jié)果、與令牌分類器對應(yīng)的第二加權(quán)分類結(jié)果進(jìn)行組合。

5.如權(quán)利要求2所述的方法，還包括：

將經(jīng)過濾的日志數(shù)據(jù)應(yīng)用于模式簽名分類器，以獲得第四分類結(jié)果；以及

為第四分類結(jié)果賦予第四權(quán)重，以獲得與模式簽名分類器對應(yīng)的第四加權(quán)分類結(jié)果；

其中，為了獲得最終分類結(jié)果，進(jìn)一步將與模式簽名分類器對應(yīng)的第四加權(quán)分類結(jié)果和與分布分類器對應(yīng)的第一加權(quán)分類結(jié)果、與令牌分類器對應(yīng)的第二加權(quán)分類結(jié)果進(jìn)行組合。

6.如權(quán)利要求2所述的方法，其中，基于第一加權(quán)和第二加權(quán)，第一分類結(jié)果對最終分類結(jié)果貢獻(xiàn)第一百分比，并且第二分類結(jié)果對最終分類結(jié)果貢獻(xiàn)第二百分比。

7.如權(quán)利要求2所述的方法，其中，將經(jīng)過濾的日志數(shù)據(jù)應(yīng)用于分布分類器包括將經(jīng)過濾的日志數(shù)據(jù)內(nèi)的字符的分布應(yīng)用于分布分類器。

8.如權(quán)利要求2所述的方法，其中，將經(jīng)過濾的日志數(shù)據(jù)應(yīng)用于令牌分類器包括：

識別經(jīng)過濾的日志數(shù)據(jù)內(nèi)的一個或多個令牌；以及

將經(jīng)過濾的日志數(shù)據(jù)內(nèi)的一個或多個令牌應(yīng)用于令牌分類器。