[發(fā)明專利]數(shù)據(jù)流的處理方法和裝置

在審

• 申請?zhí)枺?/td>: 201410524517.0
• 申請日: 2014-09-30
• 公開（公告）號: CN104283737A
• 公開（公告）日: 2015-01-14
• 發(fā)明（設(shè)計）人: 涂丹丹;張友華;莊仕岳
• 申請（專利權(quán)）人: 杭州華為數(shù)字技術(shù)有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 劉芳

技術(shù)領(lǐng)域

本發(fā)明實施例涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)流的處理方法和裝置。

背景技術(shù)

在網(wǎng)絡(luò)故障或者網(wǎng)絡(luò)受到惡意攻擊時，網(wǎng)絡(luò)中會出現(xiàn)異常流，這些異常流會消耗網(wǎng)絡(luò)帶寬，耗費網(wǎng)絡(luò)設(shè)備的處理時間，導致用戶不能正常使用網(wǎng)絡(luò)提供的服務(wù)與應(yīng)用，使得網(wǎng)絡(luò)的服務(wù)質(zhì)量降低，因此需要對網(wǎng)絡(luò)中的數(shù)據(jù)流實時的進行檢測，以及時發(fā)現(xiàn)異常流而進行警報。

通常來說，對網(wǎng)絡(luò)中的數(shù)據(jù)流實時采樣，通過比對實時采樣獲得的數(shù)據(jù)和已建立的數(shù)據(jù)模型，判斷網(wǎng)絡(luò)中的數(shù)據(jù)流是否為異常流；其中數(shù)據(jù)模型是根據(jù)正常數(shù)據(jù)流中的數(shù)據(jù)建立的，則可以理解的，若采樣獲得的數(shù)據(jù)的特征與已建立的數(shù)據(jù)模型之間的差異過大(例如采樣獲得的數(shù)據(jù)的特征與已建立的數(shù)據(jù)模型的匹配度低于預(yù)設(shè)值)，則可確定數(shù)據(jù)流為異常流。

但本領(lǐng)域技術(shù)人員在采用上述方法檢測網(wǎng)絡(luò)中的異常流時發(fā)現(xiàn)，網(wǎng)絡(luò)服務(wù)的內(nèi)容是不斷變化的，則網(wǎng)絡(luò)中正常數(shù)據(jù)流中的數(shù)據(jù)所具備的特征也是不斷在變化的，但是上述已建立的數(shù)據(jù)模型不能實時地適應(yīng)網(wǎng)絡(luò)中數(shù)據(jù)流的變化，導致對網(wǎng)絡(luò)中異常流進行檢測時，容易出現(xiàn)誤判、漏判等情況。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種數(shù)據(jù)流的處理方法和裝置，用于提高對網(wǎng)絡(luò)中異常流的判斷的準確性。

第一方面，本發(fā)明實施例提供一種數(shù)據(jù)流的處理方法，包括：

在采樣時刻對網(wǎng)絡(luò)中的數(shù)據(jù)流進行采樣，獲得第一數(shù)據(jù)；

根據(jù)所述第一數(shù)據(jù)，確定所述第一數(shù)據(jù)的第一特征向量；

若根據(jù)聚類簇集合和所述第一特征向量，確定所述數(shù)據(jù)流不為異常流，則根據(jù)所述聚類簇集合對所述第一特征向量進行聚類分析，獲得新的聚類簇集合，并返回執(zhí)行所述在采樣時刻對網(wǎng)絡(luò)中的數(shù)據(jù)流進行采樣；

其中，所述聚類簇集合中簇的個數(shù)與所述新的聚類簇集合中簇的個數(shù)不相同。

結(jié)合第一方面，在第一實施方式中，還包括：

結(jié)合所述第一數(shù)據(jù)和在所述采樣時刻之前獲得的數(shù)據(jù)，確定數(shù)據(jù)樣本；

根據(jù)所述數(shù)據(jù)樣本，對所述采樣時刻所依照的采樣頻率進行調(diào)整，獲得適配所述網(wǎng)絡(luò)的采樣頻率；

根據(jù)所述采樣時刻和所述適配所述網(wǎng)絡(luò)的采樣頻率，確定新的采樣時刻。

結(jié)合第一方面或第一方面第一實施方式，在第二實施方式中，根據(jù)所述聚類簇集合對所述第一特征向量進行聚類分析，獲得新的聚類簇集合，包括：

在所述聚類簇集合中確定與所述第一特征向量距離最短的第一簇，并將所述第一特征向量添加至所述第一簇中，以使所述聚類簇中的第一簇更新，獲得更新后的第一簇；

在所述聚類簇集合中確定與所述更新后的第一簇距離最短的第二簇；

根據(jù)更新后的第一簇和所述第二簇，確定對所述聚類簇集合進行合并處理或拆分處理；

當確定對所述聚類簇集合進行合并處理，則將所述聚類簇集合中的所述更新后的第一簇和所述第二簇合并，獲得新的聚類簇集合；

當確定對所述聚類簇集合進行拆分處理，則將所述聚類簇集合中的所述更新后的第一簇拆分，獲得新的聚類簇集合。

結(jié)合第一方面至第一方面第二實施方式中任意一種實施方式，在第三實施方式中，所述根據(jù)聚類簇集合和所述第一特征向量，確定所述數(shù)據(jù)流不為異常流，包括：

判斷所述第一特征向量與所述聚類簇集合中各個簇的平均距離是否均大于預(yù)設(shè)閾值；

若否，確定所述數(shù)據(jù)流不為異常流。

結(jié)合第一方面第二實施方式，在第四實施方式中，所述根據(jù)更新后的第一簇和所述第二簇，確定對所述聚類簇集合進行合并處理或拆分處理，包括：

根據(jù)更新后的第一簇和所述第二簇，獲得包括更新后的第一簇中的各個特征向量和所述第二簇中各個特征向量的樣本向量集合；

計算所述樣本向量集合的均方差；

若所述均方差小于預(yù)設(shè)的拆分值，則確定對所述聚類簇集合進行合并處理。

若所述均方差大于預(yù)設(shè)的拆分值，則確定對所述聚類簇集合進行拆分處理。

結(jié)合第一方面至第一方面第四實施方式中任意一種實施方式，在第五實施方式中，根據(jù)所述第一數(shù)據(jù)，確定所述第一數(shù)據(jù)的第一特征向量，包括：

根據(jù)所述第一數(shù)據(jù)，確定所述第一數(shù)據(jù)對應(yīng)的原始特征向量；

對所述原始特征向量進行降維處理，獲得所述第一特征向量。

第二方面，本發(fā)明實施例提供一種數(shù)據(jù)流的處理裝置，包括：

采樣模塊，用于在采樣時刻對網(wǎng)絡(luò)中的數(shù)據(jù)流進行采樣，獲得第一數(shù)據(jù)；

分析模塊，用于根據(jù)所述第一數(shù)據(jù)，確定所述第一數(shù)據(jù)的第一特征向量；