[發(fā)明專利]一種概念漂移檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110101772.4
• 申請(qǐng)日: 2021-01-25
• 公開(kāi)（公告）號(hào): CN112765324B
• 公開(kāi)（公告）日: 2022-12-23
• 發(fā)明（設(shè)計(jì)）人: 徐小雄
• 申請(qǐng)（專利權(quán)）人: 四川虹微技術(shù)有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;H04L9/40
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 余菲

1.一種概念漂移檢測(cè)方法，其特征在于，包括：

獲取待檢測(cè)流量數(shù)據(jù)以及參考流量數(shù)據(jù)；其中，所述參考流量數(shù)據(jù)為異常流量檢測(cè)模型剛部署后采集的歷史流量，所述待檢測(cè)流量數(shù)據(jù)與所述參考流量數(shù)據(jù)的流量條數(shù)相同；

對(duì)所述待檢測(cè)流量數(shù)據(jù)以及所述參考流量數(shù)據(jù)進(jìn)行字段提取，得到所述待檢測(cè)流量數(shù)據(jù)對(duì)應(yīng)的待檢測(cè)字段以及所述參考流量數(shù)據(jù)對(duì)應(yīng)的參考字段；

利用預(yù)先創(chuàng)建好的詞表將所述待檢測(cè)字段轉(zhuǎn)換為待檢測(cè)分詞向量，以及利用所述預(yù)先創(chuàng)建好的詞表將所述參考字段轉(zhuǎn)換為參考分詞向量；

判斷所述待檢測(cè)分詞向量與所述參考分詞向量是否相似；

若所述待檢測(cè)分詞向量與所述參考分詞向量不相似，則確定所述待檢測(cè)流量數(shù)據(jù)對(duì)應(yīng)的流量存在概念漂移，以對(duì)所述異常流量檢測(cè)模型進(jìn)行更新。

2.根據(jù)權(quán)利要求1所述的概念漂移檢測(cè)方法，其特征在于，所述待檢測(cè)流量數(shù)據(jù)為當(dāng)前時(shí)間之前的實(shí)時(shí)流量。

3.根據(jù)權(quán)利要求1所述的概念漂移檢測(cè)方法，其特征在于，所述對(duì)所述待檢測(cè)流量數(shù)據(jù)以及所述參考流量數(shù)據(jù)進(jìn)行字段提取，包括：

根據(jù)流量的協(xié)議類型對(duì)所述待檢測(cè)流量數(shù)據(jù)以及所述參考流量數(shù)據(jù)進(jìn)行字段提取。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的概念漂移檢測(cè)方法，其特征在于，所述判斷所述待檢測(cè)分詞向量與所述參考分詞向量是否相似，包括：

利用如下公式計(jì)算所述待檢測(cè)分詞向量的數(shù)據(jù)分布與所述參考分詞向量的數(shù)據(jù)分布在希爾伯特空間中的距離：

其中，MMD²[F,p,q]為所述距離，μ_p為所述參考分詞向量的數(shù)據(jù)分布均值，μ_q為所述待檢測(cè)分詞向量的數(shù)據(jù)分布均值，H為希爾伯特空間，ε為預(yù)設(shè)距離閾值；

判斷所述距離是否大于所述預(yù)設(shè)距離閾值；其中，所述距離大于所述預(yù)設(shè)距離閾值表征所述待檢測(cè)分詞向量與所述參考分詞向量不相似。

5.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的概念漂移檢測(cè)方法，其特征在于，在所述判斷所述待檢測(cè)分詞向量與所述參考分詞向量是否相似之前，所述方法還包括：

對(duì)所述待檢測(cè)分詞向量以及所述參考分詞向量進(jìn)行降維，得到降維后的待檢測(cè)分詞向量以及降維后的參考分詞向量。

6.根據(jù)權(quán)利要求1所述的概念漂移檢測(cè)方法，其特征在于，在所述獲取待檢測(cè)流量數(shù)據(jù)以及參考流量數(shù)據(jù)之前，所述方法還包括：

獲取多條流量對(duì)應(yīng)的歷史數(shù)據(jù)；

對(duì)所述歷史數(shù)據(jù)進(jìn)行字段提取，得到所述歷史數(shù)據(jù)對(duì)應(yīng)的字段數(shù)據(jù)；

將所述字段數(shù)據(jù)中的未出現(xiàn)字符、加密數(shù)據(jù)、小寫(xiě)字母、大寫(xiě)字母、符號(hào)、數(shù)字以及高頻詞語(yǔ)按照預(yù)設(shè)順序加入新建的詞表中；

對(duì)所述新建的詞表中的詞進(jìn)行賦值，得到所述預(yù)先創(chuàng)建好的詞表。

7.根據(jù)權(quán)利要求6所述的概念漂移檢測(cè)方法，其特征在于，在所述將所述字段數(shù)據(jù)中的未出現(xiàn)字符、加密數(shù)據(jù)、小寫(xiě)字母、大寫(xiě)字母、符號(hào)、數(shù)字以及高頻詞語(yǔ)按照預(yù)設(shè)順序加入新建的詞表中之前，所述方法還包括：

剔除所述字段數(shù)據(jù)中的加密數(shù)據(jù)；

對(duì)剔除所述加密數(shù)據(jù)后的字段數(shù)據(jù)按照符號(hào)進(jìn)行分詞，得到分詞后的詞語(yǔ)；

統(tǒng)計(jì)所述分詞后的詞語(yǔ)的出現(xiàn)頻率；

將所述出現(xiàn)頻率符合預(yù)設(shè)頻率規(guī)則的詞語(yǔ)確定為所述高頻詞語(yǔ)。