[發(fā)明專利]分布式自學(xué)習(xí)異常流量協(xié)同檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011132314.9
• 申請日: 2020-10-21
• 公開（公告）號: CN112367303B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計）人: 張欣怡;劉蔚棣;郭喬進(jìn);梁中巖;胡杰;宮世杰;時高山;楊沖昊;汪義飛;李長軍
• 申請（專利權(quán)）人: 中國電子科技集團(tuán)公司第二十八研究所
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L41/16;G06N3/09;H04L41/14;G06N20/20;G06N3/0464;H04L41/0631
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 胡建華

本發(fā)明實施例公開了一種分布式自學(xué)習(xí)異常流量協(xié)同檢測方法及系統(tǒng)，涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，能夠更全面得過濾更多異常流量，降低系統(tǒng)虛警率。本發(fā)明包括：通過流量分類器對輸入的流量進(jìn)行分類，篩選出惡意流量；將惡意流量上傳至綜合管理模塊；綜合管理模塊對分析節(jié)點上報的惡意流量進(jìn)行標(biāo)注得到惡意流量樣本；綜合管理模塊將惡意流量樣本歸入系統(tǒng)樣本庫，并將惡意流量樣本下發(fā)至指定的分析節(jié)點；指定的分析節(jié)點根據(jù)綜合管理模塊下發(fā)的惡意流量樣本，更新指定的分析節(jié)點對應(yīng)的節(jié)點樣本庫；指定的分析節(jié)點，通過權(quán)重訓(xùn)練模塊，根據(jù)更新后的節(jié)點樣本庫訓(xùn)練權(quán)重模型，得到更新后的權(quán)重，并將更新后的權(quán)重導(dǎo)入流量分類器。本發(fā)明適用于大規(guī)模分布式系統(tǒng)。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種分布式自學(xué)習(xí)異常流量協(xié)同檢測方法及系統(tǒng)。

背景技術(shù)

隨著網(wǎng)絡(luò)技術(shù)的大規(guī)模發(fā)展，網(wǎng)絡(luò)環(huán)境中的風(fēng)險與威脅也因此成為不容忽視的問題。在分布式大型網(wǎng)絡(luò)，各個節(jié)點網(wǎng)絡(luò)流量不斷增加，混跡其中的異常流量具備復(fù)雜多變的特征，不僅加大了管理人員的監(jiān)管難度，也給用戶及企業(yè)帶來不可預(yù)知的風(fēng)險。因此亟需一套全面高效的異常流量監(jiān)測系統(tǒng)，及時發(fā)現(xiàn)并處理更多的異常流量，最大程度保障大型網(wǎng)絡(luò)環(huán)境的安全穩(wěn)定。

在分布式網(wǎng)絡(luò)中通常設(shè)置多個網(wǎng)絡(luò)流量監(jiān)測節(jié)點，目前存在的流量監(jiān)測系統(tǒng)中，往往都為監(jiān)測節(jié)點配置同樣的監(jiān)測規(guī)則。然而在實際網(wǎng)絡(luò)環(huán)境中，同樣的異常流量在不同區(qū)域造成的影響不同，同樣的告警權(quán)重會導(dǎo)致告警程度與異常流量威脅等級不匹配；此外相同的流量監(jiān)測策略不適用于所有場景，甚至?xí)鸵言O(shè)置的規(guī)則沖突。同時，一部分非預(yù)期但仍在正常范圍內(nèi)的操作，一旦超過規(guī)則范圍，則會被誤判為異常流量而出發(fā)告警。

由此可見，目前針對不同區(qū)域的節(jié)點，缺乏個性化的優(yōu)化配置。整體策略易于配置，但難以兼顧不同節(jié)點的差異。最終導(dǎo)致分布式系統(tǒng)規(guī)模越大，則系統(tǒng)虛警率提高，網(wǎng)絡(luò)整體的安全性與可靠性難以保障。

發(fā)明內(nèi)容

本發(fā)明的實施例提供一種分布式自學(xué)習(xí)異常流量協(xié)同檢測方法及系統(tǒng)，能夠更全面得過濾更多異常流量，降低系統(tǒng)虛警率。

為達(dá)到上述目的，本發(fā)明的實施例采用如下技術(shù)方案：

一方面，提供一種分布式自學(xué)習(xí)異常流量協(xié)同檢測方法，包括：

分析節(jié)點通過流量分類器對輸入的流量進(jìn)行分類，并篩選出惡意流量；分析節(jié)點將惡意流量上傳至綜合管理模塊，其中，所述惡意流量至少包括：觸發(fā)告警的異常流量和假陽性流量；所述綜合管理模塊對分析節(jié)點上報的惡意流量進(jìn)行標(biāo)注，得到惡意流量樣本，其中，標(biāo)注的特征至少包括：惡意流量的時間戳、上報節(jié)點、流量樣本和流量類型；所述綜合管理模塊將惡意流量樣本歸入系統(tǒng)樣本庫，并將所述惡意流量樣本下發(fā)至指定的分析節(jié)點；所述指定的分析節(jié)點，根據(jù)所述綜合管理模塊下發(fā)的惡意流量樣本，更新所述指定的分析節(jié)點對應(yīng)的節(jié)點樣本庫；所述指定的分析節(jié)點，通過權(quán)重訓(xùn)練模塊，根據(jù)更新后的節(jié)點樣本庫訓(xùn)練權(quán)重模型，得到更新后的權(quán)重，并將更新后的權(quán)重導(dǎo)入流量分類器。

另一方面，提供一種分布式自學(xué)習(xí)異常流量協(xié)同檢測系統(tǒng)，在所述分布式自學(xué)習(xí)異常流量協(xié)同檢測系統(tǒng)中，包括了分析節(jié)點、綜合管理模塊、系統(tǒng)樣本庫和節(jié)點樣本庫，且分析節(jié)點的數(shù)量小于或等于所述分布式系統(tǒng)中的節(jié)點總數(shù)量，在每一個分析節(jié)點上，都部署有流量分析模塊、所述流量分享模塊和流量分類器，每一個節(jié)點樣本庫對應(yīng)至少一個分析節(jié)點；所述流量分析模塊，用于對輸入的流量進(jìn)行分類，并篩選出惡意流量；所述流量分享模塊，用于將惡意流量上傳至綜合管理模塊，其中，所述惡意流量至少包括：觸發(fā)告警的異常流量和假陽性流量；所述綜合管理模塊，用于對分析節(jié)點上報的惡意流量進(jìn)行標(biāo)注，得到惡意流量樣本，并將惡意流量樣本歸入系統(tǒng)樣本庫，之后將所述惡意流量樣本下發(fā)至指定的分析節(jié)點，其中，標(biāo)注的特征至少包括：惡意流量的時間戳、上報節(jié)點、流量樣本和流量類型。