[發(fā)明專利]網(wǎng)絡(luò)流量數(shù)據(jù)分類方法、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910362456.5
• 申請日: 2019-04-30
• 公開（公告）號(hào): CN110097120B
• 公開（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 徐小龍;蔣帥
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

本發(fā)明公開了一種網(wǎng)絡(luò)流量數(shù)據(jù)分類方法、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)，利用相關(guān)性特征選擇算法將樣本特征分為高相關(guān)性特征、低相關(guān)性特征，然后使用主成分分析算法對(duì)高相關(guān)性特征的樣本進(jìn)行降維處理，使得樣本更加有效的同時(shí)，大大降低了分類算法的計(jì)算開銷，最后利用基于距離的k近鄰算法進(jìn)行分類，提升網(wǎng)絡(luò)流量數(shù)據(jù)的分類準(zhǔn)確率。本發(fā)明解決了目前分類算法訓(xùn)練時(shí)間過長、計(jì)算量大的缺陷，能夠有效提高網(wǎng)絡(luò)流量數(shù)據(jù)分類的質(zhì)量，降低分類所需要的時(shí)間，解決網(wǎng)絡(luò)流量數(shù)據(jù)分類的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)挖掘領(lǐng)域，特別是涉及一種網(wǎng)絡(luò)流量數(shù)據(jù)分類方法、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

網(wǎng)絡(luò)流量就是網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量。很多網(wǎng)絡(luò)應(yīng)用具有自身的特性，對(duì)于網(wǎng)絡(luò)環(huán)境的需求也不盡相同，因此只有對(duì)網(wǎng)絡(luò)流量進(jìn)行及時(shí)準(zhǔn)確的識(shí)別和分類，才能準(zhǔn)確地為不同應(yīng)用提供合適的網(wǎng)絡(luò)環(huán)境，有效利用網(wǎng)絡(luò)資源，為用戶提供更好的服務(wù)質(zhì)量。

通過收集和分析計(jì)算機(jī)網(wǎng)絡(luò)中若干關(guān)鍵點(diǎn)的流量信息，來檢查網(wǎng)絡(luò)或系統(tǒng)中是否存在違反安全策略的行為和被攻擊的跡象是數(shù)據(jù)挖掘領(lǐng)域內(nèi)一個(gè)重要的研究課題。目前對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)分類的研究主要集中在算法層面和數(shù)據(jù)層面。基于算法層面，大都是針對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)的特點(diǎn)使用傳統(tǒng)的機(jī)器學(xué)習(xí)算法或者改進(jìn)現(xiàn)有的機(jī)器學(xué)習(xí)算法，比如主成分分析結(jié)合支持向量機(jī)方法，隨機(jī)森林等方法。雖然能夠提高樣本的分類準(zhǔn)確率，但仍然有局限性，這些算法的訓(xùn)練時(shí)間過長，計(jì)算量大，無法進(jìn)行實(shí)時(shí)監(jiān)測。有的算法只能針對(duì)特定數(shù)據(jù)集，無法應(yīng)用到其他的數(shù)據(jù)集上，不具有普適性。基于數(shù)據(jù)層面，大都是使用統(tǒng)計(jì)學(xué)習(xí)方法，分類時(shí)間長，容易受到噪聲數(shù)據(jù)影響。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明要解決的技術(shù)問題是提供一種網(wǎng)絡(luò)流量數(shù)據(jù)分類方法、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)，解決目前算法訓(xùn)練時(shí)間過長、計(jì)算量大的缺陷，能夠有效提高網(wǎng)絡(luò)流量數(shù)據(jù)分類的質(zhì)量，降低分類所需要的時(shí)間，解決網(wǎng)絡(luò)流量數(shù)據(jù)分類的問題。

技術(shù)方案：本發(fā)明所述的網(wǎng)絡(luò)流量數(shù)據(jù)分類方法，包括以下步驟：

(1)獲取系統(tǒng)的真實(shí)數(shù)據(jù)集和網(wǎng)絡(luò)流量數(shù)據(jù)訓(xùn)練集；

(2)將數(shù)據(jù)集中的離散型數(shù)據(jù)轉(zhuǎn)換為數(shù)值型數(shù)據(jù)；

(3)將數(shù)據(jù)集的數(shù)值型數(shù)據(jù)進(jìn)行歸一化；

(4)從數(shù)據(jù)集中計(jì)算特征-類別和特征-特征相關(guān)矩陣，用最佳優(yōu)先搜索方法得到特征子集空間；

(5)通過計(jì)算特征子集空間中特征向量與對(duì)應(yīng)的特征值，使用特征值大的特征向量對(duì)特征子集空間進(jìn)行降維；

(6)計(jì)算步驟(5)所得特征子集空間中網(wǎng)絡(luò)流量數(shù)據(jù)訓(xùn)練集的特征向量和真實(shí)數(shù)據(jù)集的特征向量間的歐氏距離，選取網(wǎng)絡(luò)流量數(shù)據(jù)訓(xùn)練集中歐式距離最小的幾個(gè)數(shù)據(jù)，確定其所在類別的出現(xiàn)頻率，將出現(xiàn)頻率最高的類別作為所述真實(shí)數(shù)據(jù)的預(yù)測分類。

進(jìn)一步的，步驟(4)中所述的最佳優(yōu)先搜索方法具體為：

(1)使用啟發(fā)式方程計(jì)算第i個(gè)特征向量的估計(jì)值Merit，

其中，l為特征子集包含特征向量的個(gè)數(shù)，z是第i個(gè)特征向量所對(duì)應(yīng)的類別，是特征與類別之間的相關(guān)系數(shù)的平均值；是特征與特征之間的相關(guān)系數(shù)的平均值；

(2)建立Merit最大的l個(gè)特征向量組成的特征子集空間。

進(jìn)一步的，步驟(5)中進(jìn)行降維的方法具體為：計(jì)算特征子集空間矩陣X的協(xié)方差矩陣，將協(xié)方差矩陣的特征向量按照對(duì)應(yīng)特征值從大到小排列，取最大的t個(gè)特征值對(duì)應(yīng)的特征向量組成矩陣P，Y＝PX即為降維到t維后的特征子集空間。

進(jìn)一步的，步驟(6)中所述歐式距離d的計(jì)算公式為：