[發明專利]大規模日志數據的異常檢測方法、裝置和存儲介質

在審

• 申請號: 202010499572.4
• 申請日: 2020-06-04
• 公開（公告）號: CN111782460A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 李頡;徐榮;李德宇;王歡
• 申請（專利權）人: 昆山伊萊智能軟件科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F8/658;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 朱遠楓

本發明公開了大規模日志數據的異常檢測方法、裝置和存儲介質，包括選定的設定長度的日志序列輸入預先構建完成的機器學習預測模型，輸出當前位置出現各個日志模板的條件概率；根據各日志模板的條件概率對日志模板進行篩選，得到候選日志模板集合；對于待檢測日志進行解析得到其日志模板；判斷待檢測日志對應的日志模板是否屬于候選日志模板集合，若是則判定日志為正常，若為否則判斷為日志異常。本發明考慮到大規模日志檢測時各個日志出現的概率分布，使得針對大規模日志數據進行異常檢測的效率顯著提高。

技術領域

本發明屬于數據安全檢測技術領域，具體涉及大規模日志數據的異常檢測方法、裝置和存儲介質。

背景技術

在Hadoop集群運行過程中會產生大量的日志信息，如業務日志、審計日志等，這些日志信息記錄了系統運行狀態、安全事件及其內在聯系，通過日志可以挖掘出系統運行中包含的安全事件信息。現有的日志異常檢測方法有基于規則庫、基于數理統計方法、基于機器學習算法以及基于深度學習神經網絡等方法。基于規則庫方法主要通過規則匹配，優點是準確率較高，缺點方法受限于特定場景，只能針對特定日志類型，并且很難分析出未知安全事件；基于數理統計方法主要通過對實時數據的統計確定正常值范圍，優點是可以發現未知安全事件，缺點是設定統計量閾值較難，安全事件類型也難以區別；基于有學習能力的機器學習算法是建立挖掘模型并不斷進行迭代和調整，優點是可以減少規則手工編碼和經驗成分，缺點是算法較復雜，實現難度較高。基于深度學習神經網絡的日志異常檢測方法利用RNN中的長短期記憶網絡來訓練日志條目序列，從正常日志執行路徑中學習和更新日志模式并標記日志異常，優點是異常檢測準確性高，模型可以迭代更新，缺點是構建模型復雜。

基于日志的異常檢測技術主要包括如下步驟:日志收集、日志解析、特征抽取、異常檢測。基于日志模板的異常檢測技術首先對日志進行基本的清洗，然后基于編輯距離求得日志聚類、并形成日志模板，然后分別對日志模板信息和日志中包含的參數向量信息進行日志異常檢測。

然而日志異常檢測工作中存在諸多困難：1.不同系統的日志結構和語義是完全不同的，一些基于規則庫方法主要通過規則匹配，這需要大量的專業知識。然而，這對于實現一個通用日志異常檢測系統是無法做到的。我們首先需要實現一套通用的日志解析方法來應對不同結構的日志模式。2.另一個挑戰來自于系統的并發性，由于日志實時記錄系統當前發生的狀態及變化，因此當系統當中存在很多并發執行的線程或作業的時候，這些并發作業產生的日志對于生成模型會產生極大的偏差。3.由于日志中包含大量的信息，融合不同部分信息實現異常檢測會有更好的效果，現有的方法僅僅實現利用部分信息，限制了檢測到日志異常活動的種類；4.未考慮到大規模日志檢測時各個日志出現的概率分布，導致異常檢測的效率不高的問題。

發明內容

本發明首先旨在解決目前異常檢測未考慮到大規模日志檢測時各個日志出現的概率分布，導致異常檢測的效率不高的問題。

為實現上述技術目的，本發明采用了以下技術方案。

本發明提供一種大規模日志數據的異常檢測方法，包括以下步驟：將選定的設定長度的日志序列輸入預先構建完成的機器學習預測模型，輸出當前位置出現各個日志模板的條件概率；根據各日志模板的條件概率對日志模板進行篩選，得到候選日志模板集合；

對于待檢測日志進行解析得到其日志模板；判斷待檢測日志對應的日志模板是否屬于候選日志模板集合，若是則判定日志為正常，若為否則判斷為日志異常。

進一步地，所述機器學習預測模型采用長短期記憶神經網絡預測模型，其構建方法包括以下步驟：

對預先收集的原始日志進行解析，獲得原始日志的各項參數以及日志模板；選定正確執行的日志對應的日志模板作為訓練集對預先構建的長短期記憶神經網絡預測模型進行訓練，基于當前上下文計算出全部日志模板可能出現的條件概率，輸出當前位置出現各個日志模板的條件概率。