[發明專利]針對無格式日志的在線解析方法及系統

在審

• 申請號: 202110042680.3
• 申請日: 2021-01-13
• 公開（公告）號: CN112732655A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 王高杰;王智民
• 申請（專利權）人: 北京六方云信息技術有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/18;G06F16/13;G06F16/14
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 肖冰濱;王曉曉

1.一種針對無格式日志的在線解析方法，其特征在于，所述方法包括：

日志預處理，對接收到的日志進行預處理，得到日志分組模板；

模板聚合，將所述日志分組模板進行聚合分類，根據聚合分類結果更新日志對應的預設特征模板。

2.根據權利要求1所述的針對無格式日志的在線解析方法，其特征在于，所述對接收到的日志進行預處理，得到日志分組模板，包括：

根據參數規則將日志中的參數變量替換為對應的字符串；

將參數變量替換完成后的日志切分為多個標記；

構建解析樹對切分后的日志進行分類；

對于每一分類，根據相似度對該分類的日志進行分組；

對于每一日志分組，確定該日志分組是否存在預設分組模板：

若存在，比較該日志分組內的日志與該日志分組的預設分組模板位于相同位置的標記，若兩個標記不相同，使用通配符代替預設分組模板相應位置的標記，得到日志分組模板；

若不存在，則新建日志分組，將新建的日志分組內的日志作為該日志的日志分組模板和該日志分組的預設分組模板。

3.根據權利要求2所述的針對無格式日志的在線解析方法，其特征在于，所述構建解析樹，對切分后的日志進行分類，包括：

通過日志標記數和索引構建解析樹，對切分后的日志進行分類。

4.根據權利要求2所述的針對無格式日志的在線解析方法，其特征在于，所述將所述日志分組模板進行聚合分類，根據聚合分類結果更新日志對應的預設特征模板，包括：

日志分組模板處理：將日志分組模板中相鄰的通配符合并為一個通配符，得到第一日志分組模板；

判斷所述第一日志分組模板是否存在對應的預設特征模板；若不存在，將所述第一日志分組模板新建為預設特征模板；

若存在，則計算第一日志分組模板與對應的預設特征模板之間的編輯距離；根據所述編輯距離計算第一日志分組模板與對應的預設特征模板之間的相似度；若所述相似度大于或等于設定閾值，則將第一日志分組模板與對應的預設特征模板進行合并，得到公共特征模板，并將預設特征模板更新為所述公共特征模板；若相似度小于設定閾值，則將所述第一日志分組模板新建為預設特征模板；

記錄新建或更新的預設特征模板的ID。

5.根據權利要求4所述的針對無格式日志的在線解析方法，其特征在于，所述根據所述編輯距離計算第一日志分組模板與預設特征模板之間的相似度，包括：采用SimTpl＝(n-LevDistance)/n計算相似度，

其中，LevDistance為所述編輯距離，SimTpl為所述相似度，n為所述第一日志分組模板字符數和預設特征模板字符數中的較大值。

6.根據權利要求3所述的針對無格式日志的在線解析方法，其特征在于，所述在線解析方法還包括：

將原始日志和日志分組模板對應的索引進行存儲。

7.一種針對無格式日志的在線解析系統，所述在線解析系統應用權利要求1-6中任一項所述的針對無格式日志的在線解析方法，其特征在于，所述在線解析系統包括：

日志預處理單元，用于對接收到的日志進行預處理，得到日志分組模板；

模板聚合單元，用于將所述日志分組模板進行聚合分類，根據聚合分類結果更新日志對應的預設特征模板。