[發明專利]一種異常檢測方法和裝置

有效

• 申請號: 201710496422.6
• 申請日: 2017-06-26
• 公開（公告）號: CN107291911B
• 公開（公告）日: 2020-01-21
• 發明（設計）人: 宗志遠
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/18;G06F11/30
• 代理公司: 11319 北京潤澤恒知識產權代理有限公司
• 代理人: 莎日娜

本發明公開了一種異常檢測方法和裝置，涉及異常檢測技術領域。所述方法包括：獲取待檢測的目標日志數據；利用預設的分類模型獲取所述目標日志數據屬于異常分類的第一概率；所述分類模型由多個已確定所屬分類的訪問樣本數據訓練得到；判斷所述第一概率是否大于預設閾值；如果所述第一概率大于預設閾值，則確認所述目標日志數據異常。由此解決了現有的異常檢測方法標注數據量大，標注成本高，參數敏感和線性不可分等技術問題。取得了降低標注數據量以及標注成本，提高檢測性能的有益效果。

技術領域

本發明涉及異常檢測技術領域，具體涉及一種異常檢測方法和裝置。

背景技術

隨著大數據時代的發展，越來越多的服務應用都運行在分布式系統中，部署分布式系統的機器集群規模也越來越大。在信息安全領域，一個很重要的問題是如何在海量日志數據中發現異常的行為。而且在復雜的分布式系統下，當程序出現性能異常時，如何快速有效的進行異常檢測與診斷，進而幫助開發者優化程序，已成為分布式系統領域的一個重要問題。目前，絕大多數計算機系統(包括分布式系統)都使用輸出日志的方式來幫助用戶檢測和診斷系統異常。日志通常是非結構化的文本信息，主要記錄系統運行過程中系統或任務的狀態和發生的事件，然而用戶需要借助自己積累的專業知識來從日志中分析出問題所在，這通常費時費力。

對于這類問題，最直接的想法是將其建模為一個二分類的數學問題，即設計和訓練一個分類器以區分“正常樣本”和“異常樣本”。雖然這種基于標注數據的監督學習和分類技術能夠發現異常樣本，但卻面臨著標注數據量大，標注成本高等一系列問題。而傳統的異常檢測技術主要是通過對樣本特征值估計概率統計分布或者計算相似度距離來實現的。這些方法由于缺少標注數據這類先驗知識，也往往面臨參數敏感和線性不可分等問題。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種異常檢測方法和相應的一種異常檢測裝置。

依據本發明的一個方面，提供了一種異常檢測方法，所述方法包括：

獲取待檢測的目標日志數據；

利用預設的分類模型獲取所述目標日志數據屬于異常分類的第一概率；所述分類模型由多個已確定所屬分類的訪問樣本數據訓練得到；

判斷所述第一概率是否大于預設閾值；如果所述第一概率大于預設閾值，則確認所述目標日志數據異常。

可選地，在所述利用預設的分類模型獲取所述目標日志數據屬于異常分類的第一概率的步驟之前，還包括：

利用多個已確定所屬分類的訪問樣本數據訓練所述分類模型。

可選地，所述利用多個已確定所屬分類的訪問樣本數據訓練所述分類模型的步驟，包括：

利用多個已知分類結果的訪問樣本數據構建訓練樣本集和測試樣本集；其中各所訪問樣本數據的分類結果由預設的分類規則確定；

以所述訓練樣本集中的各所述訓練日志數據作為所述分類模型的輸入，以相應訓練日志數據的分類結果作為輸出，訓練所述分類模型；

根據所述測試樣本集中的各所述訪問樣本數據對訓練后的分類模型進行優化處理，使所述分類模型的分類結果滿足預設條件。

可選地，所述利用多個已知分類結果的訪問樣本數據構建訓練樣本集和測試樣本集的步驟，包括：

根據預設的分類規則，確定多個訪問樣本數據的分類結果為正常樣本數據還是異常樣本數據；

根據各所述訪問樣本數據的分類結果，從各所述訪問樣本數據中篩選出第一個數的正常樣本數據以及第二個數的異常樣本數據構建訓練樣本集；