[發明專利]基于孤立森林動態訓練的實時異常檢測方法、裝置、電子設備和存儲介質

在審

• 申請號: 202211733419.9
• 申請日: 2022-12-30
• 公開（公告）號: CN115879028A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 李昕
• 申請（專利權）人: 北京天融信網絡安全技術有限公司;北京天融信科技有限公司;北京天融信軟件有限公司
• 主分類號: G06F18/24
• 分類號: G06F18/24;G06F18/214;G06N20/20;G06N5/01
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 肖鵬

1.一種基于孤立森林動態訓練的實時異常檢測方法，其特征在于，所述方法應用于實時計算框架中，其中，所述實時計算框架循環執行所述方法，每次執行所述方法為一個時間窗口，所述方法包括：

基于用戶設置的歷史追溯時間獲取歷史流量數據和當前時間窗口內產生的實時流量數據；

基于所述歷史流量數據和所述實時流量數據生成數據集，并基于所述用戶設置的采樣參數，從所述數據集隨機采樣出樣本數據；

基于樣本劃分屬性、劃分值和所述用戶設置的訓練參數對所述樣本數據進行訓練并得到孤立森林模型，其中，所述孤立森林模型包括每個所述隨機維度的訓練結果樹；

將所述實時流量數據輸入到所述孤立森林模型中，以使所述孤立森林模型計算所述實時流量數據的異常值分數；

基于所述用戶設置的分數閾值和所述實時流量數據的異常值分數，判斷所述實時流量數據是否為異常行為事件。

2.如權利要求1所述的方法，其特征在于，所述基于所述用戶設置的分數閾值和所述實時流量數據的異常值分數，判斷所述實時流量數據是否為異常行為事件，包括：

將所述實時流量數據的異常值分數與所述基于所述用戶設置的分數閾值進行比較，如果所述實時流量數據的異常值分數大于所述用戶設置的分數閾值，則將所述實時流量數據確定為異常行為事件。

3.如權利要求1所述的方法，其特征在于，在所述基于樣本劃分屬性和劃分值對所述樣本數據進行訓練并得到孤立森林模型之前，所述方法還包括：

基于隨機算法生成所述樣本劃分屬性和所述劃分值。

4.如權利要求1所述的方法，其特征在于，所述孤立森林模型計算所述實時流量數據的異常值分數，包括：

計算所述實時流量數據在每個所述訓練結果樹的路徑長度；

基于所述實時流量數據在每個所述訓練結果樹的路徑長度，計算路徑長度期望值；

基于所述路徑長度期望值和標準路徑長度計算所述實時流量數據的異常值分數。

5.一種基于孤立森林動態訓練的實時異常檢測裝置，其特征在于，所述裝置應用于實時計算框架中，其中，所述實時計算框架循環調用所述裝置，每次調用所述裝置為一個時間窗口，所述裝置包括：

獲取模塊，用于基于用戶設置的歷史追溯時間獲取歷史流量數據和當前時間窗口內產生的實時流量數據；

第一生成模塊，用于基于所述歷史流量數據和所述實時流量數據生成數據集，并基于所述用戶設置的采樣參數，從所述數據集隨機采樣出樣本數據；

訓練模塊，用于基于樣本劃分屬性、劃分值和所述用戶設置的訓練參數對所述樣本數據進行訓練并得到孤立森林模型，其中，所述孤立森林模型包括每個所述隨機維度的訓練結果樹；

檢測模塊，用于將所述實時流量數據輸入到所述孤立森林模型中，以使所述孤立森林模型計算所述實時流量數據的異常值分數；

判斷模塊，用于基于所述用戶設置的分數閾值和所述實時流量數據的異常值分數，判斷所述實時流量數據是否為異常行為事件。

6.如權利要求5所述的裝置，其特征在于，所述判斷模塊執行所述基于5所述用戶設置的分數閾值和所述實時流量數據的異常值分數，判斷所述實時流量數據是否為異常行為事件的具體方式為：

將所述實時流量數據的異常值分數與所述基于所述用戶設置的分數閾值進行比較，如果所述實時流量數據的異常值分數大于所述用戶設置的分數閾值，則將所述實時流量數據確定為異常行為事件。

7.如權利要求6所述的裝置，其特征在于，所述裝置還包括：

第二生成模塊，用于基于隨機算法生成所述樣本劃分屬性和所述劃分值。

8.如權利要求1所述的方法，其特征在于，所述檢測模塊包括：

第一計算子模塊，用于計算所述實時流量數據在每個所述訓練結果樹的5路徑長度；

第二計算子模塊，用于基于所述實時流量數據在每個所述訓練結果樹的路徑長度，計算路徑長度期望值；

第三計算子模塊，用于基于所述路徑長度期望值和標準路徑長度計算所述實時流量數據的異常值分數。