[發明專利]基于非均勻采樣的流式異常檢測方法、裝置、設備及介質

在審

• 申請號: 202111148893.0
• 申請日: 2021-09-29
• 公開（公告）號: CN113868866A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 陳子陽;陸音;郁建峰;徐兵榮;劉鵬飛;陳璐
• 申請（專利權）人: 天翼物聯科技有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06F119/02
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 涂年影

本發明公開了基于非均勻采樣的流式異常檢測方法、裝置、設備及介質，方法包括：根據歷史采樣數據庫生成與模型生成規則對應的異常檢測模型，并通過異常檢測模型對實時檢測流式數據中的目標檢測數據進行檢測得到檢測結果，根據非均勻采樣規則判斷目標檢測數據是否可用于對異常檢測模型中目標決策樹進行采樣更新，若是則根據目標檢測數據的檢測結果對目標決策樹中的節點進行更新得到更新后的異常檢測模型。本發明屬于智能決策技術領域，可基于非均勻采樣規則對異常檢測模型進行動態采樣更新，以不斷優化異常檢測模型中決策樹的節點，從而提高異常檢測模型對數據偏移的敏感度，可大幅提高對海量流式數據中異常數據進行檢測的精確性。

技術領域

本發明涉及智能決策技術領域，尤其涉及一種基于非均勻采樣的流式異常檢測方法、裝置、設備及介質。

背景技術

大型企業中隨著實時數據源的大量增加，對應的流式時序數據海量增長，運維人員通常需要以流失的方式獲取這些時序數據并判斷其是否存在異常。采用人工方式對獲取到的海量時序數據進行異常判斷需要消耗大量人力，且判斷時效性較差，對于海量時序數據無法及時判斷得到是否存在異常。現有技術方法中可通過異常檢測模型對海量時序數量進行異常檢測，但現有技術方法中每一數據在模型中均具有相同權重，導致模型對于數據偏移的敏感度不高，無法實現對異常進行精準檢測。因此，現有技術方法中的異常檢測方法存在無法精確進行異常檢測的問題。

發明內容

本發明實施例提供了一種基于非均勻采樣的流式異常檢測方法、裝置、設備及介質，旨在解決現有技術中異常檢測方法所存在的無法精確進行異常檢測的問題。

第一方面，本發明實施例提供了一種基于非均勻采樣的流式異常檢測方法，所述方法包括：

若接收到所輸入的模型生成規則，根據預存的歷史采樣數據庫生成與所述模型生成規則對應的異常檢測模型；

從所輸入的實時檢測流式數據中獲取與當前時間對應的目標檢測數據；

根據所述異常檢測模型對所述目標檢測數據進行異常檢測以獲取是否存在異常的檢測結果；

從所述異常檢測模型中隨機獲取一顆決策樹并確定為目標決策樹；

根據預置的非均勻采樣規則判斷所述目標檢測數據是否可用于對所述目標決策樹進行采樣更新；

若所述目標檢測數據可用于對所述目標決策樹進行采樣更新，根據所述目標檢測數據的檢測結果對所述目標決策樹中的節點進行更新以得到更新后的異常檢測模型，并返回執行所述從所輸入的實時檢測流式數據中獲取與當前時間對應的目標檢測數據的步驟。

第二方面，本發明實施例提供了一種基于非均勻采樣的流式異常檢測裝置，其包括：

異常檢測模型生成單元，用于若接收到所輸入的模型生成規則，根據預存的歷史采樣數據庫生成與所述模型生成規則對應的異常檢測模型；

目標檢測數據獲取單元，用于從所輸入的實時檢測流式數據中獲取與當前時間對應的目標檢測數據；

檢測結果獲取單元，用于根據所述異常檢測模型對所述目標檢測數據進行異常檢測以獲取是否存在異常的檢測結果；

目標決策樹確定單元，用于從所述異常檢測模型中隨機獲取一顆決策樹并確定為目標決策樹；

采樣更新判斷單元，用于根據預置的非均勻采樣規則判斷所述目標檢測數據是否可用于對所述目標決策樹進行采樣更新；

模型更新單元，用于若所述目標檢測數據可用于對所述目標決策樹進行采樣更新，根據所述目標檢測數據的檢測結果對所述目標決策樹中的節點進行更新以得到更新后的異常檢測模型，并返回執行所述從所輸入的實時檢測流式數據中獲取與當前時間對應的目標檢測數據的步驟。