[發明專利]一種基于組件感知的日志異常檢測方法

有效

• 申請號: 202010795863.8
• 申請日: 2020-08-10
• 公開（公告）號: CN111949480B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 鄢萌;尹昆;徐玲;付春雷;張小洪;徐洲;雷晏
• 申請（專利權）人: 重慶大學
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/35;G06N3/0442;G06N3/045;G06N3/084
• 代理公司: 重慶晟軒知識產權代理事務所(普通合伙) 50238
• 代理人: 王海鳳

本發明涉及基于組件感知的日志異常檢測方法，該方法將目標軟件的日志消息轉換為日志模板序列和組件序列，然后進行模型訓練，將兩個LSTM模型組合使用，兩個LSTM模型訓練使用相同的損失函數，采用梯度下降優化算法更行參數值，訓練完成得到由日志檢測模型和組件檢測模型構成的組合模型；將t?h到t?1時刻的所有日志數據的參考日志模板序列和參考組件序列輸入組合模型得到可能日志模板集和可能組件模板集；當t時刻日志消息msubgt;t/subgt;的待測日志模板序列在可能日志模板集中，且t時刻日志消息msubgt;t/subgt;的待測組件序列在可能組件模板集Csubgt;g/subgt;中，則認為日志消息msubgt;t/subgt;為正常日志，否則產生系統告。試驗結果表明，本發明方法的召回率和F值更高，表現更好。

技術領域

本發明涉及軟件日志檢測技術領域，特別涉及一種基于組件感知的日志異常檢測方法。

背景技術

隨著軟件系統向大規模，復雜的分布式系統發展，這些系統經常遭受錯誤和漏洞的困擾。此外，這些大型系統通常提供大量的在線服務和應用程序接口，這就要求系統具有很高的魯棒性和穩定性。但是，當發生系統故障(例如服務故障和服務中斷)時，多個服務可能會受到故障的影響，這可能會導致系統的重大損失。系統異常檢測技術旨在定位這些系統故障。這種技術在系統維護中起著至關重要的作用。對于工程師來說，及時準確地發現異常是必要的，以便及時查明原因。

系統中有許多類型的數據可用于異常檢測和故障排除。在大多數大型系統中普遍可用的日志數據具有大量信息，并且包含關鍵系統狀態，事件和運行時消息的記錄。因此，系統日志成為異常檢測的中心數據源?；谌罩镜漠惓z測已成為一個研究問題，并有許多方法被提出來。通常，這些現有方法首先從日志中提取有用的特征，然后采用獨特或通用的檢測算法來定位異常日志。在此過程中，日志特征的選擇至關重要，因為代表性特征可以反映正常日志和異常日志之間的差異。但是，現有方法在構建基于日志的異常檢測模型時并未考慮日志中的組件。組件記錄日志的位置并反映系統模塊之間的調用關系。某些系統故障可能會導致不同的組件工作流，但是可能很難通過日志模板序列檢測到它們。

發明內容

針對現有技術存在的上述問題，本發明要解決的技術問題是：提供同時考慮組件和日志的日志異常檢測方法。

為解決上述技術問題，本發明采用如下技術方案：一種基于組件感知的日志異常檢測方法，包括如下步驟：

S100:獲取目標軟件的日志數據，將日志數據轉換為日志模板序列和組件序列；

S200:模型訓練，將兩個LSTM模型組合使用，將S100得到的日志模板序列和組件序列分別輸入到兩個LSTM模型中進行訓練，兩個LSTM模型訓練使用相同的損失函數，采用梯度下降優化算法更行參數值，訓練完成得到由日志檢測模型和組件檢測模型構成的組合模型；

S300:異常檢測，將t-h到t-1時刻的所有日志數據的參考日志模板序列和參考組件序列輸入組合模型得到可能日志模板集L_g和可能組件模板集C_g；

當t時刻日志消息m_t的待測日志模板序列在可能日志模板集L_g中，且t時刻日志消息m_t的待測組件序列在可能組件模板集C_g中，則認為日志消息m_t為正常日志，否則產生系統告警。

作為改進，所述S100中的將非結構化日志數據轉換為日志模板序列和組件序列的方法為：

使用固定深度樹將獲取的待測軟件的日志數據中，構建日志模板序列；

使用正則表達式來匹配每一條日志數據中的組件，然后為不同的組件進行編號得到組件序列。

作為改進，所述S200的訓練過程為：