[發明專利]一種日志解析方法、系統及電子設備

有效

• 申請號: 202010796591.3
• 申請日: 2020-08-10
• 公開（公告）號: CN111950263B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 陳鵬飛;敬林曉;李曉蕓;鄭子彬
• 申請（專利權）人: 中山大學
• 主分類號: G06F40/242
• 分類號: G06F40/242;G06F40/289;G06F16/17;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭帥

本發明提供了一種日志解析方法、系統及電子設備，其中，方法包括：對獲取的日志文件進行預處理，得到每條日志的文本消息對應的記號集合；對所述記號集合進行詞典過濾得到對應的單詞集合；根據所述單詞集合對所述日志進行聚類得到對應的日志集合；根據所述記號集合計算每個所述日志集合對應的最長公共子序列，根據所述最長公共子序列確定所述日志集合對應的日志模板；根據前綴樹對所述日志模板進行聚類，得到所述日志對應的日志模板。本發明提供的日志解析方法、系統及電子設備，基于詞典過濾和前綴樹對日志進行分析得到相應的日志模板，在不同數據集中表現穩定，提高了日志分析的可靠性及準確度，有利于對系統運行問題進行進一步分析。

技術領域

本發明涉及日志分析技術領域，尤其是涉及一種日志解析方法、系統及電子設備。

背景技術

日志文件是分析軟件運行時行為的重要數據源。在軟件源碼，日志打印語句通常類似于：logging.info(“node％d terminated by event％s”,node_id,event)；，對應的運行時日志文本通常類似于：2020-04-23 17:01:11,778INFO node 1terminated by eventSHUTDOWN。其中，“node％d terminated by event％s”為日志的靜態文本部分，又稱為日志模板；而1和EVENT為日志的變量部分，每次打印日志都可能不同。這種將原始日志轉換為靜態文本和變量的過程稱為日志文本解析。日志文本解析通常是日志分析的必要條件，日志文本解析可以將日志轉化為日志模式和參數，日志模式可以看成系統運行中的事件，而日志變量可以看成系統運行時的狀態。日志分析可以基于這些事件和狀態來分析系統的運行問題，而不用基于非結構化的日志文本，從而大大提高了日志分析的效率和準確度。在此情況下，日志文本解析的準確度對日志分析的準確度有重要影響，因此，一個好的日志文本解析方法至關重要。

現有的日志文本解析方法通常包括：

(1)基于相似度的聚類：計算不同日志間的相似度。

(2)基于出現頻率的聚類：很多日志模式通常在日志文件中出現多次，因此通過基于頻率的方法合并相似度高的日志。

(3)基于搜索樹的啟發式算法：使用樹數據結構將日志解析成多個模板。

現有的技術在不同數據集中表現不穩定，并且很可能解析出錯誤的日志模板，從而影響進一步的日志分析。

發明內容

本發明的目的是提供一種日志解析方法、系統及電子設備，以解決現有方法在不同數據集中表現不穩定，且可能解析出錯誤的日志模板的技術問題。

本發明的目的，可以通過如下技術方案實現：

一種日志解析方法，包括：

對獲取的日志文件進行預處理，得到每條日志的文本消息對應的記號集合；

對所述記號集合進行詞典過濾得到對應的單詞集合；

根據所述單詞集合對所述日志進行聚類得到對應的日志集合；

根據所述記號集合計算每個所述日志集合對應的最長公共子序列，根據所述最長公共子序列確定所述日志集合對應的日志模板；

根據前綴樹對所述日志模板進行聚類，得到所述日志對應的日志模板。

可選地，得到所述日志對應的日志模板之后還包括：根據所述日志模板輸出模板文件和日志信息文件。

可選地，對獲取的日志文件進行預處理，得到每條日志的文本消息對應的記號集合具體包括：輸入日志文件，根據預定義的正則表達式獲取每條日志的文本消息和元消息，根據特定的分隔符對所述文本消息進行劃分得到對應的記號集合。

可選地，對所述記號集合進行詞典過濾得到對應的單詞集合之前還包括：對所述記號集合中的復合詞記號進行分詞操作。