[發(fā)明專利]一種基于分類的異常檢測方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010531591.0
• 申請日: 2020-06-11
• 公開（公告）號: CN113806523B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計）人: 趙靜;龍春;萬巍;魏金俠;杜冠瑤;楊帆
• 申請（專利權(quán)）人: 中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/33
• 代理公司: 北京知舟專利事務(wù)所(普通合伙) 11550
• 代理人: 郭韞

1.一種基于分類的異常檢測方法，其特征在于，所述方法包括如下步驟：

對正常日志數(shù)據(jù)和異常日志數(shù)據(jù)分別進(jìn)行預(yù)處理；

分別提取經(jīng)過預(yù)處理的正常日志數(shù)據(jù)和異常日志數(shù)據(jù)的特征，在預(yù)設(shè)時間窗口內(nèi)對得到的正常日志特征和異常日志特征進(jìn)行數(shù)據(jù)挖掘，得到正常頻繁項集和異常頻繁項集，構(gòu)建正常行為模型和異常行為模型；

對待檢測日志數(shù)據(jù)進(jìn)行挖掘，獲得頻繁項集，并將頻繁項集與正常行為模型和異常行為模型進(jìn)行比較，找出異常；

所述數(shù)據(jù)挖掘為利用長周期的頻繁項集挖掘算法進(jìn)行數(shù)據(jù)挖掘，

具體包括如下步驟：

將提取的日志數(shù)據(jù)特征作為候選集，掃描一遍候選集，找到支持率大于等于λ_n,n-1·_s長度為1的所有模式；

連接這些模式，找到支持率大于等于λ_n,n-2·_s產(chǎn)生長度為2的模式的候選集，以此類推，在第i次迭代中產(chǎn)生一個由長度為i的模式組成的候選集U_i，其中，這些模式滿足支持率大于等于λ_n,n-i·_s；

在i+1次迭代中，將候選集U_i中的模式連接產(chǎn)生i+1的模式的候選集C_i+1；在C_i+1的模式中找到支持率大于等于λ_n,n-(i+1)·_s的模式，形成候選集U_i+1，繼續(xù)迭代，直到候選集為空，停止迭代，最終形成的候選集即為頻繁項集；

其中λ_n,n-m·_s為各次迭代內(nèi)m的模式對應(yīng)的支持度閾值，并按照公式(一)計算；

n為日志數(shù)據(jù)特征序列S中頻繁項集內(nèi)模式的估算值；m為頻繁項集子集的模式數(shù)值，m＝1、2...i、i+1...，m＜n，N_n為在序列S中長度為n的偏移序列的個數(shù)；N_m為在序列S中長度為m的偏移序列的個數(shù)；ρ為頻率閾值；M和N分別表示每個特征序列間隔的最小間隔和最大間隔；

當(dāng)?shù)螽a(chǎn)生的候選集不為空，產(chǎn)生長度為n+1的模式的候選集時，利用APRIORI算法挖掘頻繁項集；

所述將頻繁項集與正常行為模型和異常行為模型進(jìn)行比較，找出異常包括如下步驟：

利用正常行為模型內(nèi)的頻繁項集作為學(xué)習(xí)數(shù)據(jù)，訓(xùn)練分類器；

利用訓(xùn)練好的分類器對待測日志數(shù)據(jù)的頻繁項集進(jìn)行分類；

獲得與正常行為模型內(nèi)的頻繁項集不一致的頻繁項集，并與異常行為模型內(nèi)的頻繁項集進(jìn)行相似度對比，找出屬于異常行為模型的頻繁項集。

2.如權(quán)利要求1所述的基于分類的異常檢測方法，其特征在于，所述對正常日志數(shù)據(jù)和異常日志數(shù)據(jù)分別進(jìn)行預(yù)處理包括如下步驟：

對正常日志數(shù)據(jù)和異常日志數(shù)據(jù)分別進(jìn)行清洗；

對經(jīng)過清洗后的正常日志數(shù)據(jù)和異常日志數(shù)據(jù)進(jìn)行數(shù)據(jù)集成；

對經(jīng)過數(shù)據(jù)集成的正常日志數(shù)據(jù)和異常日志數(shù)據(jù)進(jìn)行壓縮處理。

3.一種基于分類的異常檢測系統(tǒng)，其特征在于，所述異常檢測系統(tǒng)包括：

數(shù)據(jù)預(yù)處理模塊，被配置為對正常日志數(shù)據(jù)和異常日志數(shù)據(jù)分別進(jìn)行預(yù)處理；

模型構(gòu)建模塊，被配置為分別提取經(jīng)過預(yù)處理的正常日志數(shù)據(jù)和異常日志數(shù)據(jù)的特征，在預(yù)設(shè)時間窗口內(nèi)對得到的正常日志特征和異常日志特征進(jìn)行數(shù)據(jù)挖掘，得到正常頻繁項集和異常頻繁項集，構(gòu)建正常行為模型和異常行為模型；

異常檢測模塊，被配置為對待檢測日志數(shù)據(jù)進(jìn)行挖掘，獲得頻繁項集，并將頻繁項集與正常行為模型和異常行為模型進(jìn)行比較，

找出異常；

所述數(shù)據(jù)挖掘為利用長周期的頻繁項集挖掘算法進(jìn)行數(shù)據(jù)挖掘，具體包括如下步驟：

將提取的日志數(shù)據(jù)特征作為候選集，掃描一遍候選集，找到支持率大于等于λ_n,n-1·_s長度為1的所有模式；

連接這些模式，找到支持率大于等于λ_n,n-2·_s產(chǎn)生長度為2的模式的候選集，以此類推，在第i次迭代中產(chǎn)生一個由長度為i的模式組成的候選集U_i，其中，這些模式滿足支持率大于等于λ_n,n-i·_s；

在i+1次迭代中，將候選集U_i中的模式連接產(chǎn)生i+1的模式的候選集C_i+1；在C_i+1的模式中找到支持率大于等于λ_n,-(i+1)·_s的模式，形成候選集U_i+1，繼續(xù)迭代，直到候選集為空，停止迭代，

最終形成的候選集即為頻繁項集；

其中λ_n,n-m·_s為各次迭代內(nèi)m的模式對應(yīng)的支持度閾值，并按照公式(一)計算；

n為日志數(shù)據(jù)特征序列S中頻繁項集內(nèi)模式的估算值；m為頻繁項集子集的模式數(shù)值，m＝1、2...i、i+1...，m＜n，N_n為在序列S中長度為n的偏移序列的個數(shù)；N_m為在序列S中長度為m的偏移序列的個數(shù)；ρ為頻率閾值；M和N分別表示每個特征序列間隔的最小間隔和最大間隔；

當(dāng)?shù)螽a(chǎn)生的候選集不為空，產(chǎn)生長度為n+1的模式的候選集時，利用APRIORI算法挖掘頻繁項集；

所述將頻繁項集與正常行為模型和異常行為模型進(jìn)行比較，找出異常包括如下步驟：

利用正常行為模型內(nèi)的頻繁項集作為學(xué)習(xí)數(shù)據(jù)，訓(xùn)練分類器；

利用訓(xùn)練好的分類器對待測日志數(shù)據(jù)的頻繁項集進(jìn)行分類；

獲得與正常行為模型內(nèi)的頻繁項集不一致的頻繁項集，并與異常行為模型內(nèi)的頻繁項集進(jìn)行相似度對比，找出屬于異常行為模型的頻繁項集。