[發明專利]異常日志檢測方法、裝置、設備和計算機可讀存儲介質

在審

• 申請號: 202011482570.0
• 申請日: 2020-12-16
• 公開（公告）號: CN112235327A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 董軍;楊靜;李杰亮
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06K9/62
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 王軍紅;張穎玲

1.一種異常日志檢測方法，其特征在于，包括：

對收集的多個原始日志進行解析，得到待檢測日志序列；所述待檢測日志序列包括多個待檢測日志；

根據異常日志檢測模型，確定所述待檢測日志序列對應的檢測結果序列；所述檢測結果序列用于表征所述多個待檢測日志中至少一個待檢測日志是否異常日志；

根據所述檢測結果序列輸出所述待檢測日志序列對應的異常日志檢測結果。

2.根據權利要求1所述的方法，其特征在于，所述對收集的多個原始日志進行解析，得到待檢測日志序列，包括：

對所述多個原始日志進行聚類重排，得到多個日志集合；所述日志集合包括多個原始日志；

根據預設的日志模板集對每一所述日志集合的多個原始日志進行模板轉換，得到每一所述日志集合對應的待檢測日志序列。

3.根據權利要求2所述的方法，其特征在于，所述對所述多個原始日志進行聚類重排，得到多個日志集合，包括：

提取所述多個原始日志中每一所述原始日志對應的常量信息；

根據日志生成時間，將具有相同常量信息的原始日志按照日志生成時間順序進行排序，并組合成對應的日志集合。

4.根據權利要求1所述的方法，其特征在于，所述根據異常日志檢測模型，確定所述待檢測日志序列對應的檢測結果序列，包括：

采用預設尺寸的滑動窗口在所述待檢測日志序列中提取至少一個待檢測子序列；

將所述至少一個待檢測子序列輸入至所述異常日志檢測模型，得到每一所述待檢測子序列對應的候選日志集合；所述候選日志集合包括至少一個候選日志和每一所述候選日志出現的條件概率；

根據所述待檢測日志序列，確定每一所述待檢測子序列對應的真實日志；

根據每一所述待檢測子序列對應的真實日志和候選日志集合，確定每一所述待檢測子序列對應的檢測結果；

根據每一所述待檢測子序列對應的檢測結果生成檢測結果序列。

5.根據權利要求4所述的方法，其特征在于，所述將所述至少一個待檢測子序列輸入至所述異常日志檢測模型，得到每一所述待檢測子序列對應的候選日志集合，包括：

將任意一個待檢測子序列輸入至所述異常日志檢測模型，得到所述待檢測子序列對應的至少一個初始候選日志和每一所述初始候選日志出現的條件概率；

按照條件概率從高到低的順序依次提取預設數量的初始候選日志至候選日志集合；或，將條件概率大于預設概率閾值的初始候選日志提取至候選日志集合。

6.根據權利要求1所述的方法，其特征在于，所述根據所述檢測結果序列輸出所述待檢測日志序列對應的異常日志檢測結果，包括：

在所述檢測結果序列表征所述多個待檢測日志中不存在異常日志的情況下，判定所述待檢測日志序列對應的異常日志檢測結果為正常；

在所述檢測結果序列表征所述多個待檢測日志中存在至少一個異常日志的情況下，判定所述待檢測日志序列對應的異常日志檢測結果為異常。

7.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在所述異常日志檢測結果為異常的情況下，獲取對所述待檢測日志序列的真實檢測結果；

在所述真實檢測結果為正常的情況下，將所述待檢測日志序列添加至數據集；所述數據集用于訓練所述異常日志檢測模型。

8.根據權利要求1所述的方法，其特征在于，所述異常日志檢測模型的訓練過程，包括：

對多個樣本日志進行解析，得到包括多個樣本日志序列的數據集；所述樣本日志為正常日志；所述樣本日志序列包括多個解析后的樣本日志；

將所述數據集劃分為訓練集、驗證集和測試集；

根據所述訓練集對初始長短期記憶網絡模型進行訓練，并通過所述驗證集在訓練過程中調整所述初始長短期記憶網絡模型的超參數；

通過所述測試集對訓練后的初始長短期記憶網絡模型進行評估，并在達到預設標準時將所述訓練后的初始長短期記憶網絡模型作為所述異常日志檢測模型。