[發明專利]異常日志檢測方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110251137.4
• 申請日: 2021-03-08
• 公開（公告）號: CN115048345A
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 田國良;蔣強;邵森;單浩
• 申請（專利權）人: 中國移動通信集團江蘇有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/35;G06F40/289
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

本發明提供一種異常日志檢測方法、裝置、電子設備和存儲介質，其中方法包括：確定待檢測日志的日志特征；基于異常檢測模型，對所述日志特征進行多種不同算法下的異常檢測，并對多種不同算法下的檢測結果進行加權融合，得到異常檢測結果，所述加權融合的權重是基于所述待檢測日志中包含領域關鍵詞的數量確定的；所述異常檢測模型是基于樣本日志的日志特征及其異常標簽訓練得到的。本發明提供的方法、裝置、電子設備和存儲介質，應用待檢測日志中包含的領域關鍵詞的數量確定加權融合的權重，從而對在多種不同算法下進行異常檢測所得的檢測結果進行融合，實現多算法融合的異常檢測，從而確保了異常檢測的準確性和可靠性。

技術領域

本發明涉及運維業務支撐技術領域，尤其涉及一種異常日志檢測方法、裝置、電子設備和存儲介質。

背景技術

隨著5G(the 5th generation mobile communication，第五代移動通信)、物聯網和大數據時代的到來，企業信息化系統迎來爆發增長，運維日志千變萬化，運維人員面臨的運維壓力越來越大。

在網絡運維中心，運維工程師們每天將要面對成千上萬條日志數據，傳統的運維方式是基于人為經驗判定日志是否異常的方法，以及簡單的基于固定規則的日志異常判定方法。

然而，基于人為經驗無法準確地識別異常日志，基于人工規則的方法也經常會出現誤判，導致其他問題的出現，此外基于人工規則的判定體系，需要投入大量的人力和物力維護成本。

發明內容

本發明提供一種異常日志檢測方法、裝置、電子設備和存儲介質，用以解決現有的異常日志檢測方法可靠性差、錯誤率高的問題。

本發明提供一種異常日志檢測方法，包括：

確定待檢測日志的日志特征；

基于異常檢測模型，對所述日志特征進行多種不同算法下的異常檢測，并對多種不同算法下的檢測結果進行加權融合，得到異常檢測結果，所述加權融合的權重是基于所述待檢測日志中包含領域關鍵詞的數量確定的；

所述異常檢測模型是基于樣本日志的日志特征及其異常標簽訓練得到的。

根據本發明提供的一種異常日志檢測方法，所述加權融合的權重是基于如下步驟確定的：

基于所述樣本日志中包含的日志分詞的總數、預先設定的領域關鍵詞的總數，以及所述待檢測日志中包含領域關鍵詞的數量，確定各算法的算法權重；

基于各算法的算法權重，以及各算法下進行異常檢測的準確率，確定所述加權融合的權重。

根據本發明提供的一種異常日志檢測方法，所述多種不同算法包括邏輯回歸算法和catboost算法；

所述基于所述樣本日志中包含的日志分詞的總數、預先設定的領域關鍵詞的總數，以及所述待檢測日志中包含領域關鍵詞的數量，確定各算法的算法權重，包括：

基于如下公式確定各算法的算法權重：

式中，μ_邏輯回歸和μ_catboost分別為邏輯回歸算法和catboost算法的算法權重，N＝n+k，n為所述樣本日志中包含的日志分詞的總數，k為預先設定的領域關鍵詞的總數，p為所述待檢測日志中包含領域關鍵詞的數量。

根據本發明提供的一種異常日志檢測方法，所述異常標簽是基于如下步驟確定的：

確定各樣本日志的日志特征；

對各樣本日志的日志特征進行聚類，得到多個日志簇；

獲取各日志簇的人工標簽，將人工標簽作為對應日志簇內各日志特征對應樣本日志的異常標簽。