[發(fā)明專利]異常數(shù)據(jù)分析方法、異常數(shù)據(jù)分析系統(tǒng)和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010899148.9
• 申請日: 2020-08-31
• 公開（公告）號: CN114116829A
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計(jì)）人: 郭慧峰;楊輝;彭鑫;薄開濤;劉怡倩;李雪婷;姚秋彥;張杰
• 申請（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 孫浩

本發(fā)明提供了一種異常數(shù)據(jù)分析方法、異常數(shù)據(jù)分析系統(tǒng)和計(jì)算機(jī)可讀存儲介質(zhì)，包括：獲取樣本數(shù)據(jù)集；將樣本數(shù)據(jù)集中的樣本數(shù)據(jù)映射至N維空間以得到距離矩陣，距離矩陣包括多個第一數(shù)據(jù)行，第一數(shù)據(jù)行與樣本數(shù)據(jù)集中的樣本數(shù)據(jù)一一對應(yīng)，第一數(shù)據(jù)行包括在N維空間中與第一數(shù)據(jù)行對應(yīng)的樣本數(shù)據(jù)與樣本數(shù)據(jù)集中其余樣本數(shù)據(jù)之間的距離值，第一數(shù)據(jù)行中的距離值按照數(shù)值大小排序；根據(jù)距離矩陣得到DBSCAN算法的聚類半徑和密度閾值；利用聚類半徑和密度閾值確定樣本數(shù)據(jù)集中的異常數(shù)據(jù)。本發(fā)明能夠自動確定聚類半徑和密度閾值，無需人為查看網(wǎng)絡(luò)數(shù)據(jù)或人為設(shè)定聚類半徑和密度閾值，并且能夠自動檢測異常數(shù)據(jù)，能夠?qū)Ａ繑?shù)據(jù)進(jìn)行高效準(zhǔn)確的檢測分析。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及但不限于信息處理技術(shù)領(lǐng)域，尤其涉及一種異常數(shù)據(jù)分析方法、異常數(shù)據(jù)分析系統(tǒng)和計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

著信息化時代的發(fā)展，網(wǎng)絡(luò)用戶和設(shè)備急速增長，網(wǎng)絡(luò)發(fā)展迅速且多元，應(yīng)用范圍不斷擴(kuò)大，網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)也逐漸增多，為了保證網(wǎng)絡(luò)環(huán)境的安全穩(wěn)定，對大數(shù)據(jù)時代網(wǎng)絡(luò)數(shù)據(jù)的監(jiān)管變得非常重要,需要高效全能地識別網(wǎng)絡(luò)的異常行為。由于數(shù)據(jù)流量的爆炸式增長，網(wǎng)絡(luò)具有數(shù)據(jù)量大、隨機(jī)性強(qiáng)、指標(biāo)之間的關(guān)系錯綜復(fù)雜等特性，傳統(tǒng)網(wǎng)絡(luò)異常檢測方法多為人工形式，對網(wǎng)絡(luò)運(yùn)行數(shù)據(jù)的監(jiān)控方法主要為運(yùn)維人員人工查看網(wǎng)絡(luò)數(shù)據(jù)或采取設(shè)定固定閾值的方式對指標(biāo)進(jìn)行監(jiān)控，不能滿足海量數(shù)據(jù)高效準(zhǔn)確檢測的要求，容易在大量數(shù)據(jù)的排查中出現(xiàn)遺漏和誤判。

發(fā)明內(nèi)容

以下是對本文詳細(xì)描述的主題的概述。本概述并非是為了限制權(quán)利要求的保護(hù)范圍。

本發(fā)明實(shí)施例提供了一種異常數(shù)據(jù)分析方法、異常數(shù)據(jù)分析系統(tǒng)和計(jì)算機(jī)可讀存儲介質(zhì)，不但能夠摒棄人工干預(yù)以及對標(biāo)注參數(shù)的依賴性，而且還能夠滿足海量數(shù)據(jù)高效準(zhǔn)確檢測的要求。

第一方面，本發(fā)明實(shí)施例提供了一種異常數(shù)據(jù)分析方法，包括：

獲取樣本數(shù)據(jù)集；

將所述樣本數(shù)據(jù)集中的樣本數(shù)據(jù)映射至N維空間以得到距離矩陣，其中，所述距離矩陣包括多個第一數(shù)據(jù)行，所述第一數(shù)據(jù)行與所述樣本數(shù)據(jù)集中的樣本數(shù)據(jù)一一對應(yīng)，所述第一數(shù)據(jù)行包括在所述N維空間中與所述第一數(shù)據(jù)行對應(yīng)的樣本數(shù)據(jù)與所述樣本數(shù)據(jù)集中其余樣本數(shù)據(jù)之間的距離值，并且所述第一數(shù)據(jù)行中的所述距離值按照數(shù)值大小排序；所述N為正整數(shù)；

根據(jù)所述距離矩陣得到DBSCAN(Density-Based Spatial Clustering ofApplications with Noise，基于密度的聚類)算法的聚類半徑和密度閾值；

利用所述聚類半徑和所述密度閾值確定所述樣本數(shù)據(jù)集中的異常數(shù)據(jù)。

第二方面，本發(fā)明實(shí)施例還提供了一種異常數(shù)據(jù)分析方法，包括：

獲取異常樣本集合，所述異常樣本集合中的異常樣本對應(yīng)于多個網(wǎng)絡(luò)指標(biāo)；

根據(jù)所述多個網(wǎng)絡(luò)指標(biāo)得到多個網(wǎng)絡(luò)指標(biāo)組合；

對所述多個網(wǎng)絡(luò)指標(biāo)組合進(jìn)行處理得到各個所述網(wǎng)絡(luò)指標(biāo)的根因可能性分?jǐn)?shù)；

根據(jù)所述根因可能性分?jǐn)?shù)確定對產(chǎn)生所述異常樣本集的貢獻(xiàn)程度最大的網(wǎng)絡(luò)指標(biāo)。

第三方面，本發(fā)明實(shí)施例還提供了一種異常數(shù)據(jù)分析系統(tǒng)，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)如上述第一方面所述的異常數(shù)據(jù)分析方法，或者，所述處理器執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)如上述第二方面所述的異常數(shù)據(jù)分析方法。

第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，存儲有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行如上述第一方面所述的異常數(shù)據(jù)分析方法，或者，所述計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行如上述第二方面所述的異常數(shù)據(jù)分析方法。