[發明專利]一種日志解析方法、系統及電子設備

有效

• 申請號: 202010796591.3
• 申請日: 2020-08-10
• 公開（公告）號: CN111950263B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 陳鵬飛;敬林曉;李曉蕓;鄭子彬
• 申請（專利權）人: 中山大學
• 主分類號: G06F40/242
• 分類號: G06F40/242;G06F40/289;G06F16/17;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭帥

1.一種日志解析方法，其特征在于，包括：

對獲取的日志文件進行預處理，得到每條日志的文本消息對應的記號集合；

對所述記號集合進行詞典過濾得到對應的單詞集合；

根據所述單詞集合對所述日志進行聚類得到對應的日志集合；

根據所述記號集合計算每個所述日志集合對應的最長公共子序列，根據所述最長公共子序列確定所述日志集合對應的日志模板；

根據前綴樹對所述日志模板進行聚類，得到所述日志對應的日志模板，具體包括：

將所述日志模板排序后依次插入到前綴樹，當所述前綴樹為空或待插入的日志模板與前綴樹中已有的日志模板無法匹配時，將所述日志模板插入到所述前綴樹；否則，刪除所述日志模板。

2.根據權利要求1所述的日志解析方法，其特征在于，得到所述日志對應的日志模板之后還包括：根據所述日志模板輸出模板文件和日志信息文件。

3.根據權利要求2所述的日志解析方法，其特征在于，對獲取的日志文件進行預處理，得到每條日志的文本消息對應的記號集合具體包括：輸入日志文件，根據預定義的正則表達式獲取每條日志的文本消息和元消息，根據特定的分隔符對所述文本消息進行劃分得到對應的記號集合。

4.根據權利要求1或3所述的日志解析方法，其特征在于，對所述記號集合進行詞典過濾得到對應的單詞集合之前還包括：對所述記號集合中的復合詞記號進行分詞操作。

5.根據權利要求4所述的日志解析方法，其特征在于，根據所述最長公共子序列確定所述日志集合對應的日志模板具體包括：將所述最長公共子序列作為日志模板的靜態部分，將日志集合中不屬于所述最長公共子序列的部分作為變量部分，得到所述日志集合對應的日志模板。

6.根據權利要求5所述的日志解析方法，其特征在于，得到所述日志集合對應的日志模板之后還包括：將所述日志模板中的變量部分替換為通配符。

7.一種采用如權利要求1～6所述的日志解析方法的日志解析系統，其特征在于，包括：

日志文件預處理模塊，用于對獲取的日志文件進行預處理，得到每條日志的文本消息對應的記號集合；

單詞集合生成模塊，用于對所述記號集合進行詞典過濾得到對應的單詞集合；

日志集合生成模塊，用于根據所述單詞集合對所述日志進行聚類得到對應的日志集合；

日志模板生成模塊，用于根據所述記號集合計算每個所述日志集合對應的最長公共子序列，根據所述最長公共子序列確定所述日志集合對應的日志模板；

日志模板聚類模塊，用于根據前綴樹對所述日志模板進行聚類，得到所述日志對應的日志模板，具體包括：

將所述日志模板排序后依次插入到前綴樹，當所述前綴樹為空或待插入的日志模板與前綴樹中已有的日志模板無法匹配時，將所述日志模板插入到所述前綴樹；否則，刪除所述日志模板。

8.根據權利要求7所述的日志解析系統，其特征在于，還包括：

輸出模塊，用于根據所述日志模板輸出模板文件和日志信息文件。

9.一種電子設備，其特征在于，包括：

處理器，存儲器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述程序時實現如權利要求1～6中任意一項日志解析方法。