[發明專利]一種異常檢測方法和裝置

有效

• 申請號: 201710496422.6
• 申請日: 2017-06-26
• 公開（公告）號: CN107291911B
• 公開（公告）日: 2020-01-21
• 發明（設計）人: 宗志遠
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/18;G06F11/30
• 代理公司: 11319 北京潤澤恒知識產權代理有限公司
• 代理人: 莎日娜

1.一種異常檢測方法，其特征在于，所述方法包括：

獲取待檢測的目標日志數據；

利用預設的分類模型獲取所述目標日志數據屬于異常分類的第一概率；所述分類模型由多個已確定所屬分類的訪問樣本數據訓練得到；

判斷所述第一概率是否大于預設閾值；

如果所述第一概率大于預設閾值，則確認所述目標日志數據異常；

其中，在所述利用預設的分類模型獲取所述目標日志數據屬于異常分類的第一概率的步驟之前，還包括：

利用多個已確定所屬分類的訪問樣本數據訓練所述分類模型；

其中，所述利用多個已確定所屬分類的訪問樣本數據訓練所述分類模型的步驟，包括：

利用多個已知分類結果的訪問樣本數據構建訓練樣本集和測試樣本集；其中各所訪問樣本數據的分類結果由預設的分類規則確定；

以所述訓練樣本集中的各訓練日志數據作為所述分類模型的輸入，以相應訓練日志數據的分類結果作為輸出，訓練所述分類模型；

根據所述測試樣本集中的各所述訪問樣本數據對訓練后的分類模型進行優化處理，使所述分類模型的分類結果滿足預設條件；

其中，所述根據所述測試樣本集中的各所述訪問樣本數據對訓練后的分類模型進行優化處理，使所述分類模型的分類結果滿足預設條件的步驟，包括：

利用訓練后的所述分類模型計算所述測試樣本集中各所述訪問樣本數據的分類結果；

計算利用訓練后的所述分類模型對所述測試樣本集中各所述訪問樣本數據進行分類的準確率；

根據各所述訪問樣本數據的分類結果篩選出分類結果不達標的訪問樣本數據；

根據調整后的分類規則，確定多個訪問樣本數據的分類結果為正常樣本數據還是異常樣本數據，然后進入利用多個已知分類結果的訪問樣本數據構建訓練樣本集和測試樣本集；其中各所訪問樣本數據的分類結果由預設的分類規則確定的步驟，直至本次計算得到的準確率與前一次計算得到的準確率的差值小于預設差值；其中所述調整后的分類規則為根據所述分類結果不達標的訪問樣本數據對所述分類規則調整后得到。

2.根據權利要求1所述的方法，其特征在于，所述利用多個已知分類結果的訪問樣本數據構建訓練樣本集和測試樣本集的步驟，包括：

根據預設的分類規則，確定多個訪問樣本數據的分類結果為正常樣本數據還是異常樣本數據；

根據各所述訪問樣本數據的分類結果，從各所述訪問樣本數據中篩選出第一個數的正常樣本數據以及第二個數的異常樣本數據構建訓練樣本集；

根據各所述訪問樣本數據的分類結果，從各所述訪問樣本數據中篩選出第三個數的正常樣本數據以及第四個數的異常樣本數據構建測試樣本集；所述測試樣本集中包含的訪問樣本數據與所述訓練樣本集中包含的訪問樣本數據互不相同。

3.根據權利要求1-2任一項所述的方法，其特征在于，所述分類模型為邏輯斯特回歸模型。