[發(fā)明專利]一種基于N-gram與頻繁模式挖掘的系統(tǒng)日志解析方法

有效

• 申請?zhí)枺?/td>: 202110195563.0
• 申請日: 2021-02-19
• 公開（公告）號(hào): CN112882997B
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 應(yīng)時(shí);胡勝康;王冰明
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06F16/17
• 分類號(hào): G06F16/17;G06F40/284;G06F16/2458;G06K9/62
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 許蓮英

1.一種基于N-gram與頻繁模式挖掘的系統(tǒng)日志解析方法，其特征在于，包括以下步驟：

步驟1：將多行日志消息依次根據(jù)空格分解為單個(gè)的單詞；

步驟2：計(jì)算任意兩行日志消息之間的N-gram距離；

步驟3：通過步驟2算出N分別取值1，2，3時(shí)，任意兩行日志消息之間的1-gram距離、2-gram距離和3-gram距離，基于所述的1-gram距離、2-gram距離和3-gram距離計(jì)算任意兩行日志消息的相似匹配值，當(dāng)匹配值高于設(shè)定閾值的日志消息歸為一類；

步驟4：設(shè)置頻繁模式挖掘算法的頻繁單詞項(xiàng)集的長度即m、頻繁模式挖掘算法的頻繁單詞項(xiàng)集的支持度即α；

步驟5：對每一類別C_k+n中的所有日志消息使用頻繁模式挖掘算法，挖掘出每一類C_k+n中符合參數(shù)設(shè)定的候選頻繁單詞項(xiàng)集；

步驟3所述計(jì)算任意兩行日志消息的相似匹配值為：

1-Gram(message_i，message_j)是序號(hào)為i的日志消息與序號(hào)為j的日志消息1-gram距離；2-Gram(message_i，message_j)則是序號(hào)為i的日志消息與序號(hào)為j的日志消息2-gram距離；3-Gram(message_i，message_j)是序號(hào)為i的日志消息與序號(hào)為j的日志消息3-gram距離；max(len (message_i)，len (message_j))是序號(hào)為i的日志消息與序號(hào)為j的日志消息長度值；

當(dāng)matchS(message_i，message_j)≥0.5時(shí)，若message_i已有歸屬類別C_k，則message_j被分類到類別C_k中；若message_i和message_j未被分類，則新增一個(gè)類別C_k+n，將message_i與message_j歸類到新增類別C_k+n中；

當(dāng)matchS(message_i，message_j)＜0.5時(shí)，message_i，message_j屬于不同類別；若message_i已有歸屬類別C_k，message_j未被分類，則新增一個(gè)類別C_k+n，將message_j歸類到新增類別C_k+n中；

步驟3將一直進(jìn)行下去，直到每一條日志消息都有其歸屬類別C_k+n；

所述類別C_k和C_k+n為：

C_k表示分類過程中分出的第一個(gè)類別；C_k+n表示分類過程中分出的第n個(gè)類別；其中，1≤n≤L，其中L為所有日志消息分類的類別數(shù)量；

步驟5所述候選頻繁項(xiàng)集為

其中，m為步驟1中設(shè)定的頻繁單詞項(xiàng)集長度閾值，1≤d≤m；

是類別C_k+n中的單詞，并且在頻繁模式挖掘算法中支持度大于等于設(shè)定閾值α；

將按挖掘順序進(jìn)行排列組成候選頻繁單詞項(xiàng)集；

每一個(gè)類別C_k+n通過頻繁模式挖掘算法選取的候選頻繁單詞項(xiàng)集即為類別C_k+n的日志消息模板；

步驟1所述日志消息為：

message_i，i∈[1，M]

其中，message_i為序號(hào)為i日志消息，M為日志消息的數(shù)量；

單詞序列為：

message_i＝{token_i，1，token_i，2，...，token_i，Li}

其中，token_i，j序號(hào)為i日志消息的單詞序列中第j個(gè)單詞，L_i為序號(hào)為i的日志消息的單詞序列中單詞的數(shù)量；

步驟2所述計(jì)算任意兩行日志消息之間的N-gram距離為：

N-Gram(message_i，message_j)＝

|G_N(message_i)|+|G_N(message_j)|-2×G_N(message_i)∩G_N(message_j)

其中，1≤i≤j≤M，M為日志消息的數(shù)量；N為人為設(shè)定的數(shù)值，設(shè)定的數(shù)值分別為1，2，3；i，j為日志消息序號(hào)，N-Gram(message_i，message_j)表示序號(hào)為i的日志消息與序號(hào)為j日志消息之間的N-gram特征距離，message_i表示序號(hào)為i的日志消息，message_j表示序號(hào)為j日志消息；G_N(message_i)表示序號(hào)為i的日志消息提取的N-gram特征集；|G_N(message_i)|表示G_N(message_i)特征集中特征的數(shù)量；G_N(message_j)表示序號(hào)為i的日志消息提取的N-gram特征集，|G_N(message_j)|表示G_N(message_j)特征集中特征的數(shù)量；|G_N(message_i)∩G_N(message_j)|表示序號(hào)為i的日志消息與序號(hào)為j的N-gram特征集特征相同的數(shù)量；

所述N-gram特征集為：

N為人為設(shè)定的數(shù)值，設(shè)定的數(shù)值分別為1，2，3；N-gram特征表示日志消息的單詞從第一個(gè)單詞開始，連續(xù)N個(gè)單詞組成一個(gè)特征；直到特征中包含最后一個(gè)單詞為止；N-gram特征集表示由日志消息特征組成的集合；

所述G_N(message_i)為：

message_i＝{token_i，1，token_i，2，...，token_i，Li}

當(dāng)N設(shè)置為1時(shí)，1-gram特征集為：

{{‘token_i，1’}，{‘token_i，2’}，{‘token_i，3’}，…，{‘token_i，Li’}}

1-gram特征集中特征的數(shù)量為L_i，即|G₁(message_i)|＝L_i；

當(dāng)N設(shè)置為2時(shí)，2-gram特征集為：

{{‘token_i，1’，‘token_i，2’}，{‘token_i，2’，‘token_i，3’}，…，{‘token _{i，Li-1}’，‘token_i，Li’}}；

2-gram特征集中特征的數(shù)量為L_i-1，即|G₂(message_i)|＝L_i-1；

當(dāng)n設(shè)置為3時(shí)，3-gram特征集為：

{{‘token_i，1’，‘token_i，2’，‘token_i，3’}，{‘token_i，2’，‘token_i，3’，‘token_i，4’}，···，{‘token_{i，Li-2}’‘token_i，Li-1’，‘token_i，Li’}}；

3-gram特征集中特征數(shù)量為L_i-2，即|G₃(message_i)|＝L_i-2；

所述序號(hào)為i的日志消息與序號(hào)為j的N-gram特征集特征相同的數(shù)量為：

message_i＝{token_i，1，token_i，2，...，token_i，Li}

message_j＝{token_j，1，token_j，2，...，token_j，Li}

當(dāng)N＝1時(shí)，message_i的1-gram特征集為：

{{‘token_i，1’}，{‘token_i，2’}，{‘token_i，3’}，…，{‘token _i，Li’}}

message_j的1-gram特征集為

{{‘token_j，1’}，{‘token_j，2’}，{‘token_j，3’}，…，{‘token_j，Li’}}

比較兩個(gè)1-gram特征集中的特征；記錄相同特征的個(gè)數(shù)，記為|G₁(message_i)∩G₁(message_j)|；

當(dāng)N＝2時(shí)，message_i的2-gram特征集為：

{{‘token_i，1’，‘token_i，2’}，{‘token_i，2’，‘token_i，3’}，…，{‘token_i，Li-1’，‘token_i，Li’}}

message_j的2-gram特征集為

{{‘token_j，1’，‘token_j，2’}，{‘token_j，2’，‘token_j，3’}，…，{‘token_j，Li-1’，‘token_j，Li’}}；比較兩個(gè)2-gram特征集中的特征；記錄相同特征的個(gè)數(shù)，記為|G₂(message_i)∩G₂(message_j)|；

當(dāng)N＝3時(shí)，message_i的3-gram特征集為：

{{‘token_i，1’，‘token_i，2’，‘token_i，3’}，{‘token_i，2’，‘token_i，3’，‘token _i，4’}，···，{‘token_i，Li-2’‘token_{i，Li-1}’，‘token_i，Li’}}

message_j的3-gram特征集為

{‘token_j，1’，‘token_j，2’，‘token_j，3’}，{‘token_j，2’，‘token_j，3’，‘token _j，4’}，···，{‘token_j，Li-2’‘token_j，Li-1’，‘token_j，Li’}；

比較兩個(gè)3-gram特征集中的特征；記錄相同特征的個(gè)數(shù)，記為|G₃(message_i)∩G₃(message_j)|；

所述序號(hào)為i的日志消息與序號(hào)為j日志消息之間的N-gram特征距離為：

當(dāng)N＝1時(shí)，

1-Gram(message_i，message_j)

＝|G₁(messagei)|+|G₁(message_j)|-2×G₁(message_i)∩G₁(message_j)

當(dāng)N＝2時(shí)，

2-Gram(message_i，message_j)

＝|G₂(message_i)|+|G₂(message_j)|-2×G₂(message_i)∩G₂(message_j)

當(dāng)N＝3時(shí)，

3-Gram(message_i，message_j)＝|G₃(message_i)|+|G₃(message_j)|-2×G₃(message_i)∩G₃(messa_ge_j)。