[發明專利]一種系統日志異常檢測方法、裝置及電子設備和存儲介質

有效

• 申請號: 202010664669.6
• 申請日: 2020-07-10
• 公開（公告）號: CN111858242B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 慶隆陽
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06N3/0464;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 史翠

本申請公開了一種系統日志異常檢測方法、裝置及一種電子設備和計算機可讀存儲介質，該方法包括：獲取原始系統日志，并將所述原始系統日志解析為結構化數據；在所述結構化數據中提取消息計數向量和流程狀態向量；其中，所述消息計數向量表征包含相同通用標識的日志的消息類型特征，所述流量狀態向量表征預設時間窗口內的系統行為特征；將所述消息計數向量和所述流程狀態向量拼接為特征向量，并對每個所述特征向量進行日志狀態的標注；基于所述特征向量和對應的標注訓練神經網絡模型，以便利用訓練完成的神經網絡模型進行系統日志異常檢測。本申請提供的系統日志異常檢測方法，提高了系統日志異常檢測的效率。

技術領域

本申請涉及計算機技術領域，更具體地說，涉及一種系統日志異常檢測方法、裝置及一種電子設備和一種計算機可讀存儲介質。

背景技術

在存儲集群日常運作中，集群運行所產生的系統日志開始暴增，對于集群的系統日志，它記錄著整套系統中特定事件的強相關信息。日志的內容不僅記錄著系統運行正常的信息，也記錄著集群系統所產生的異常信息。從集群系統的運行狀態的穩定性和安全性上來說，人們會投入更大的精力關注系統日志中異常信息。目前針對系統日志中異常檢測，主要還是依靠開發人員經常用關鍵字搜索和規則匹配手動檢查日志。

因此，如何提高系統日志異常檢測的效率是本領域技術人員需要解決的技術問題。

發明內容

本申請的目的在于提供一種系統日志異常檢測方法、裝置及一種電子設備和一種計算機可讀存儲介質，提高了系統日志異常檢測的效率。

為實現上述目的，本申請提供了一種系統日志異常檢測方法，包括：

獲取原始系統日志，并將所述原始系統日志解析為結構化數據；

在所述結構化數據中提取消息計數向量和流程狀態向量；其中，所述消息計數向量表征包含相同通用標識的日志的消息類型特征，所述流量狀態向量表征預設時間窗口內的系統行為特征；

將所述消息計數向量和所述流程狀態向量拼接為特征向量，并對每個所述特征向量進行日志狀態的標注；

基于所述特征向量和對應的標注訓練神經網絡模型，以便利用訓練完成的神經網絡模型進行系統日志異常檢測。

其中，將所述原始系統日志解析為結構化數據，包括：

從所述原始系統日志中提取執行路徑，以便將所述原始系統日志解析為結構化數據。

其中，在所述結構化數據中提取消息計數向量，包括：

確定所述結構化數據中每條日志包含的通用標識符，并基于所述通用標識符對所有所述日志進行分類；

為每個類別創建消息計數向量；其中，所述消息計數向量的每個維度與消息類型一一對應，每個所述維度的值為對應的消息類型的日志在所述類別中的數量。

其中，在所述結構化數據中提取流程狀態向量，包括：

確定所述結構化數據中每條日志包含的狀態變量類型，并基于所述狀態變量類型對所有所述日志進行分類；

為每個類別創建流程狀態向量；其中，所述流程狀態向量的每個維度與所述狀態變量類型的值一一對應，每個所述維度的值為所述狀態變量類型的值在所述類別中的數量。

其中，所述基于所述特征向量和對應的標注訓練神經網絡模型，包括：

將所有所述特征向量按照預設比例劃分為訓練集和測試集；其中，所述訓練集和所述測試集均包括多個特征向量和對應的標注；

初始化所述神經網絡模型中所有層的權值和偏置，利用所述訓練集訓練所述神經網絡模型，并利用反向傳播基于最小化誤差的準則調節所述層的權值和偏置，得到訓練完成的神經網絡模型；