[發(fā)明專利]基于孤立森林動(dòng)態(tài)訓(xùn)練的實(shí)時(shí)異常檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211733419.9
• 申請(qǐng)日: 2022-12-30
• 公開(kāi)（公告）號(hào): CN115879028A
• 公開(kāi)（公告）日: 2023-03-31
• 發(fā)明（設(shè)計(jì)）人: 李昕
• 申請(qǐng)（專利權(quán)）人: 北京天融信網(wǎng)絡(luò)安全技術(shù)有限公司;北京天融信科技有限公司;北京天融信軟件有限公司
• 主分類號(hào): G06F18/24
• 分類號(hào): G06F18/24;G06F18/214;G06N20/20;G06N5/01
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 肖鵬

本申請(qǐng)?zhí)峁┮环N基于孤立森林動(dòng)態(tài)訓(xùn)練的實(shí)時(shí)異常檢測(cè)方法，該方法包括：基于用戶設(shè)置的歷史追溯時(shí)間獲取歷史流量數(shù)據(jù)和當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的實(shí)時(shí)流量數(shù)據(jù)基于所述歷史流量數(shù)據(jù)和所述實(shí)時(shí)流量數(shù)據(jù)生成數(shù)據(jù)集，并基于所述用戶設(shè)置的采樣參數(shù)，從所述數(shù)據(jù)集隨機(jī)采樣出樣本數(shù)據(jù)；基于樣本劃分屬性、劃分值和所述用戶設(shè)置的訓(xùn)練參數(shù)對(duì)所述樣本數(shù)據(jù)進(jìn)行訓(xùn)練并得到孤立森林模型，其中，所述孤立森林模型包括每個(gè)所述隨機(jī)維度的訓(xùn)練結(jié)果樹(shù)等步驟。本申請(qǐng)能夠?qū)崿F(xiàn)動(dòng)態(tài)檢測(cè)異常行為事件，并提高訓(xùn)練、檢測(cè)的靈活性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體而言，涉及一種基于孤立森林動(dòng)態(tài)訓(xùn)練的實(shí)時(shí)異常檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著社會(huì)經(jīng)濟(jì)發(fā)展，網(wǎng)絡(luò)行為的場(chǎng)景日益多樣，異常行為事件的發(fā)生頻率也日益增加，針對(duì)異常個(gè)/群體檢測(cè)的技術(shù)手段也日益豐富。

目前，現(xiàn)有技術(shù)提供一種隨機(jī)森林模型的訓(xùn)練方法，和基于此方法的異常流量檢測(cè)裝置，然而該方法訓(xùn)練得到的基線是恒定的，除非重新開(kāi)啟裝置再次訓(xùn)練，否則在一個(gè)完整的檢測(cè)過(guò)程中，訓(xùn)練結(jié)果永遠(yuǎn)為定值，因此其無(wú)法應(yīng)用在實(shí)時(shí)分心場(chǎng)景中。

此外，這種方法還存在用戶難以參閱訓(xùn)練檢測(cè)過(guò)程、準(zhǔn)確性低等缺點(diǎn)。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的在于提供一種基于孤立森林動(dòng)態(tài)訓(xùn)練的實(shí)時(shí)異常檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，用以實(shí)現(xiàn)動(dòng)態(tài)檢測(cè)異常行為事件，并提高訓(xùn)練、檢測(cè)的靈活性。

第一方面，本發(fā)明提供一種基于孤立森林動(dòng)態(tài)訓(xùn)練的實(shí)時(shí)異常檢測(cè)方法，所述方法應(yīng)用于實(shí)時(shí)計(jì)算框架中，其中，所述實(shí)時(shí)計(jì)算框架循環(huán)執(zhí)行所述方法，每次執(zhí)行所述方法為一個(gè)時(shí)間窗口，所述方法包括：

基于用戶設(shè)置的歷史追溯時(shí)間獲取歷史流量數(shù)據(jù)和當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的實(shí)時(shí)流量數(shù)據(jù)；

基于所述歷史流量數(shù)據(jù)和所述實(shí)時(shí)流量數(shù)據(jù)生成數(shù)據(jù)集，并基于所述用戶設(shè)置的采樣參數(shù)，從所述數(shù)據(jù)集隨機(jī)采樣出樣本數(shù)據(jù)；

基于樣本劃分屬性、劃分值和所述用戶設(shè)置的訓(xùn)練參數(shù)對(duì)所述樣本數(shù)據(jù)進(jìn)行訓(xùn)練并得到孤立森林模型，其中，所述孤立森林模型包括每個(gè)所述隨機(jī)維度的訓(xùn)練結(jié)果樹(shù)；

將所述實(shí)時(shí)流量數(shù)據(jù)輸入到所述孤立森林模型中，以使所述孤立森林模型計(jì)算所述實(shí)時(shí)流量數(shù)據(jù)的異常值分?jǐn)?shù)；

基于所述用戶設(shè)置的分?jǐn)?shù)閾值和所述實(shí)時(shí)流量數(shù)據(jù)的異常值分?jǐn)?shù)，判斷所述實(shí)時(shí)流量數(shù)據(jù)是否為異常行為事件。

在本申請(qǐng)第一方面中，由于基于孤立森林動(dòng)態(tài)訓(xùn)練的實(shí)時(shí)異常檢測(cè)方法應(yīng)用在實(shí)時(shí)計(jì)算框架中，且實(shí)時(shí)計(jì)算框架每在一個(gè)時(shí)間窗口就執(zhí)行該方法一次，這樣一來(lái)，伴隨著實(shí)時(shí)計(jì)算框架的時(shí)間窗口的滾動(dòng)，可動(dòng)態(tài)訓(xùn)練孤立森林模型和通過(guò)孤立森林模型動(dòng)態(tài)檢測(cè)實(shí)時(shí)流量數(shù)據(jù)是否為異常行為事件，即本申請(qǐng)能夠?qū)崿F(xiàn)動(dòng)態(tài)采樣、動(dòng)態(tài)訓(xùn)練和動(dòng)態(tài)異常檢測(cè)，從而能夠應(yīng)用在實(shí)時(shí)分析場(chǎng)景中。

另一方面，由于獲取歷史流量數(shù)據(jù)過(guò)程采用了基于用戶設(shè)置的歷史追溯時(shí)間、采樣數(shù)據(jù)過(guò)程采用了用戶設(shè)置的采樣參數(shù)、模型訓(xùn)練過(guò)程采用了用戶設(shè)置的訓(xùn)練參數(shù)、異常行為事件判斷過(guò)程采用了用戶設(shè)置的分?jǐn)?shù)閾值，因此用戶可在整體訓(xùn)練檢測(cè)過(guò)程中，根據(jù)實(shí)際需求調(diào)整這些參數(shù)，故本申請(qǐng)還具有更優(yōu)的調(diào)整靈活性。而現(xiàn)有技術(shù)中，無(wú)法調(diào)整模型訓(xùn)練檢測(cè)的相關(guān)參數(shù)。

再一方面，由于本申請(qǐng)不需要對(duì)樣本數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，因此可避免數(shù)據(jù)標(biāo)注帶來(lái)的性能損耗。同時(shí)，本申請(qǐng)的孤立森林模型與現(xiàn)有技術(shù)中的隨機(jī)森林模型相比，具有更高的異常檢測(cè)準(zhǔn)確性。

在可選的實(shí)施方式中，所述基于所述用戶設(shè)置的分?jǐn)?shù)閾值和所述實(shí)時(shí)流量數(shù)據(jù)的異常值分?jǐn)?shù)，判斷所述實(shí)時(shí)流量數(shù)據(jù)是否為異常行為事件，包括：

將所述實(shí)時(shí)流量數(shù)據(jù)的異常值分?jǐn)?shù)與所述基于所述用戶設(shè)置的分?jǐn)?shù)閾值進(jìn)行比較，如果所述實(shí)時(shí)流量數(shù)據(jù)的異常值分?jǐn)?shù)大于所述用戶設(shè)置的分?jǐn)?shù)閾值，則將所述實(shí)時(shí)流量數(shù)據(jù)確定為異常行為事件。