[發明專利]大規模日志數據的異常檢測方法、裝置和存儲介質

在審

• 申請號: 202010499572.4
• 申請日: 2020-06-04
• 公開（公告）號: CN111782460A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 李頡;徐榮;李德宇;王歡
• 申請（專利權）人: 昆山伊萊智能軟件科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F8/658;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 朱遠楓

1.一種大規模日志數據的異常檢測方法，其特征在于，包括以下步驟：將選定的設定長度的日志序列輸入預先構建完成的機器學習預測模型，輸出當前位置出現各個日志模板的條件概率；

根據各日志模板的條件概率對日志模板進行篩選，得到候選日志模板集合；

對于待檢測日志進行解析得到其日志模板；判斷待檢測日志對應的日志模板是否屬于候選日志模板集合，若是則判定日志為正常，若為否則判斷為日志異常。

2.根據權利要求1所述的一種大規模日志數據的異常檢測方法，其特征在于，所述機器學習預測模型采用長短期記憶神經網絡預測模型，其構建方法包括以下步驟：

對預先收集的原始日志進行解析，獲得原始日志的各項參數以及日志模板；選定正確執行的日志對應的日志模板作為訓練集對預先構建的長短期記憶神經網絡預測模型進行訓練，基于當前上下文計算出全部日志模板可能出現的條件概率，輸出當前位置出現各個日志模板的條件概率。

3.根據權利要求2所述的一種大規模日志數據的異常檢測方法，其特征在于，對預先收集的原始日志進行解析之前還包括根據任務標識出現的順序對原始日志進行重排序。

4.根據權利要求1所述的一種大規模日志數據的異常檢測方法，其特征在于，采用折扣累積收益方法根據各日志模板的條件概率對日志模板進行篩選，得到候選日志模板集合。

5.根據權利要求1所述的一種大規模日志數據的異常檢測方法，其特征在于，對于應用或會話，只有當此應用或會話中的所有日志都判定為正常，此應用或會話才被認為是正常。

6.一種大規模日志數據的異常檢測裝置，其特征在于，包括：

日志解析模塊，用于對于待檢測日志進行解析得到其日志模板；

日志模板候選集確定模塊，用于將選定的設定長度的日志序列輸入預先構建完成的機器學習預測模型，輸出當前位置出現各個日志模板的條件概率；根據各日志模板的條件概率對日志模板進行篩選，得到候選日志模板集合；

日志異常檢測模塊，用于判斷日志解析模塊解析獲得待檢測日志對應的日志模板是否屬于候選日志模板集合，若是則判定日志為正常，若為否則判斷為日志異常。

7.根據權利要求6所述的一種大規模日志數據的異常檢測裝置，其特征在于，所述日志模板候選集確定模塊包括機器學習預測模型構建模塊，用于輸入選定的設定長度的日志序列，輸出當前位置出現各個日志模板的條件概率。

8.根據權利要求7所述的一種大規模日志數據的異常檢測裝置，其特征在于，所述異常檢測裝置還包括日志收集模塊，用于收集原始日志。

9.根據權利要求7所述的一種大規模日志數據的異常檢測裝置，其特征在于，所述日志模板候選集確定模塊還包括日志重排序模塊，用于對日志收集模塊預先收集的原始日志進行解析之前還包括根據任務標識出現的順序對原始日志進行重排序。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1~5任意一項權利要求所述方法的步驟。