[發明專利]一種日志分析處理方法及裝置

有效

• 申請號: 202110841202.9
• 申請日: 2021-07-26
• 公開（公告）號: CN113297051B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 胡小榮;鄭鐵樵;張博
• 申請（專利權）人: 云智慧（北京）科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F40/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種日志分析處理方法及裝置，方法包括：獲取來自多種中間組件的日志信息；對所述日志信息進行語義分析，得到至少一種日志類型的日志信息；對所述至少一種日志類型的日志信息中的錯誤日志類型的日志信息進行分析處理，得到至少一種異常類型；將所述日志信息的日志類型和所述異常類型中的至少一項輸出。本發明的方案可以實現異常日志的準確檢測，為系統運維人員進行故障定位提供有力支持。

技術領域

本發明涉及日志處理技術領域，特別是指一種日志分析處理方法及裝置。

背景技術

日志是一種半結構化的文本數據，網絡設備、系統及服務程序等在運行時都會產生日志，用來記錄日期、時間、使用者及動作、系統狀態等相關信息的描述。這使得系統開發人員與運維人員能夠通過日志來監控系統運行狀態，并在系統故障時迅速定位故障。

現今，隨著系統與服務規模越來越龐大，結構越來越復雜，不同系統與服務中通常包含多個不同的中間組件，而不同組件的日志格式不同，因此同一個系統或服務中通常會產生大規模不同格式的日志數據。

在大規模的日志數據中，正常日志占比極大且重復性高，異常日志數據量較小，但是占比較小的異常日志中往往包含巨大的信息量，對于系統維護至關重要。因此，異常日志的檢測成為亟待解決的問題。

發明內容

本發明要解決的技術問題是如何提供一種日志分析處理方法及裝置。解決現有技術中錯誤日志無法準確檢測的問題。

為解決上述技術問題，本發明的技術方案如下：

一種日志分析處理方法，包括：

獲取來自多種中間組件的日志信息；

對所述日志信息進行語義分析，得到至少一種日志類型的日志信息；

對所述至少一種日志類型的日志信息中的錯誤日志類型的日志信息進行分析處理，得到至少一種異常類型；

將所述日志信息的日志類型和所述異常類型中的至少一項輸出，所述異常類型包括：文件/文件夾操作異常。

可選的，日志分析處理方法，還包括：

對所述多種中間組件的日志信息，構建不同的正則表達式，分別作為不同組件的日志模式；

對所述日志模式通過模式匹配的方式，檢測所述日志信息的來源，得到日志的來源信息；

將所述日志的來源信息輸出。

可選的，對所述日志信息進行語義分析，得到至少一種日志類型的日志信息，包括：

對所述日志信息進行語義分析，得到日志描述信息；

根據所述日志描述信息，對所述日志信息進行向量化，得到日志向量；

將所述日志向量輸入訓練好的日志分類模型進行處理，得到至少一種日志類型的日志信息，所述日志類型包括：正常日志類型和錯誤日志類型。

可選的，所述日志分類模型通過以下過程進行訓練：

獲取日志信息數據訓練集；

對所述日志信息數據訓練集進行語義分析，得到用于訓練的日志信息的日志描述信息；

根據所述用于訓練的日志信息的日志描述信息，對所述日志信息數據訓練集中的日志信息進行標注，得到包括正常日志信息的第一訓練集以及包括錯誤日志信息的第二訓練集；

對所述第一訓練集以及第二訓練集中的日志信息進行向量化處理，得到輸入第一預設分類模型的第一日志向量；

將所述第一日志向量輸入所述第一預設分類模型進行訓練，得到訓練好的所述日志分類模型。