[發明專利]一種云原生系統的多層次的深度學習日志故障檢測方法

在審

• 申請號: 201911383963.3
• 申請日: 2019-12-28
• 公開（公告）號: CN111190804A
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 杜慶峰;張雙俐;趙亮;殷康璘;韓永琦;徐錦程;邱娟
• 申請（專利權）人: 同濟大學
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06N3/08
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

本發明涉及一種云原生系統的多層次的深度學習日志故障檢測方法，該方法利用訓練完成的異常檢測模型，進行系統故障檢測，所述的異常檢測模型包括第一子模型和第二子模型，該故障檢測方法包括以下步驟：S1)系統捕獲一條新的日志；S2)解析該日志的歷史日志模式值流和該日志模式值對應的參數值向量；S3)第一子模型根據歷史日志模式值流檢測該日志模式值是否正常，若是，則執行步驟S4)，若否，則判斷系統出現故障，并輸出對應日志故障信息；S4)第二子模型檢測該日志模式值的參數值向量是否正常，若是，則判斷系統正常，若否，則判斷系統出現故障，并輸出對應日志故障信息，與現有技術相比，本發明具有檢測準確性高等優點。

技術領域

本發明涉及深度神經網絡模型，尤其是涉及一種云原生系統的多層次的深度學習日志故障檢測方法。

背景技術

系統運維是保證計算機系統正常運行的重要手段，而故障檢測是系統運維的關鍵步驟。隨著計算機系統復雜性的不斷增加，尤其是隨著云原生系統及物聯網的發展，系統故障呈現復雜性、多樣化的趨勢，影響用戶的體驗和使用，甚至造成巨大的經濟損失。故障檢測技術旨在自動及時地檢測系統故障的發生并提供相關的故障信息以幫助診斷，避免或減少服務失效。

已有的故障檢測方法有基于規則的方法、基于系統度量分析的方法、基于行為分析的方法和基于日志分析的方法。

1)基于規則的方法根據歷史故障所表現的現象來定義故障出現時可辨別的特征，而后將觀察到的現象與已定義的故障特征進行匹配。當匹配成功則檢測為有故障，發出警報，否則認為系統運行正常。

2)基于系統度量分析的方法并不需要了解系統內部結構及請求處理流程，而只是利用操作系統提供的接口即可搜集監測數據來分析度量值的變化或建立度量間的關聯模型。這類方法無需對系統進行代碼注入，監測開銷較小，且適用范圍較廣。

3)基于系統行為分析的方法，通過監測框架對中間件進行注入，以跟蹤組件交互行為和請求處理路徑，基于此對系統行為進行建模。該方法需要了解系統內部執行流信息(如數據流和控制流)，這些信息可以在設計文檔、源代碼或配置源文件中分析得到。但大多數情況下，系統對于管理員是透明的，這時，只能夠利用面向方面編程等方法進行代碼注入，以搜集運行時的系統行為。

4)基于日志的方法，主要通過搜集系統運行過程中產生的日志，采取模式匹配、時序分析等方法對日志文本信息進行挖掘，具有較高的精度和較好的可解釋性。

基于規則、基于系統度量分析和基于行為分析的方法都不是完全自動化的故障檢測方法，無法持續地面向大規模、高復雜性的系統提供高質量的故障檢測，檢測精確度也不夠高。而現有的基于日志進行故障檢測的研究方法，往往是針對特定的系統提出來的且對日志的格式有一定的要求，只能用于特定的系統和特定格式的日志，不具有普遍適用性。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供的一種更為智能且更具可解釋性的基于云原生系統的多層次的深度學習日志故障檢測方法。

本發明的目的可以通過以下技術方案來實現：

一種云原生系統的多層次的深度學習日志故障檢測方法，該方法利用訓練完成的異常檢測模型，根據系統生成的日志進行系統故障檢測，所述的異常檢測模型包括第一子模型和第二子模型，該故障檢測方法包括以下步驟：

S1)系統捕獲一條新的日志；

S2)解析該日志的歷史日志模式值流和該日志模式值對應的參數值向量；

S3)第一子模型根據歷史日志模式值流檢測該日志模式值是否正常，若是，則執行步驟S4)，若否，則判斷系統出現故障，并輸出對應日志故障信息；

S4)第二子模型檢測該日志模式值的參數值向量是否正常，若是，則判斷系統正常，若否，則判斷系統出現故障，并輸出對應日志故障信息。