[發(fā)明專(zhuān)利]一種迭代聚類(lèi)的網(wǎng)絡(luò)流量異常檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110362634.1
• 申請(qǐng)日: 2021-04-02
• 公開(kāi)（公告）號(hào): CN113242207B
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 曾濤;許峰;呂鑫;王鑫元
• 申請(qǐng)（專(zhuān)利權(quán)）人: 河海大學(xué)
• 主分類(lèi)號(hào): H04L9/40
• 分類(lèi)號(hào): H04L9/40;G06K9/62;G06N3/08
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 凌雋宇

1.一種迭代聚類(lèi)的網(wǎng)絡(luò)流量異常檢測(cè)方法，其特征在于，包括以下步驟：

對(duì)網(wǎng)絡(luò)流量歷史數(shù)據(jù)進(jìn)行抽樣，再進(jìn)行預(yù)處理，得到網(wǎng)絡(luò)流量樣本數(shù)據(jù)；

構(gòu)建自編碼降維模型，對(duì)網(wǎng)絡(luò)流量樣本數(shù)據(jù)進(jìn)行降維，得到降維后的流量樣本數(shù)據(jù)；

將所述降維后的流量樣本數(shù)據(jù)，記為簇A，聚類(lèi)后得到兩個(gè)簇，記為B、C；

采用評(píng)價(jià)函數(shù)S對(duì)簇A進(jìn)行評(píng)價(jià)，得到評(píng)價(jià)結(jié)果S_A；

采用DBSCAN聚類(lèi)方法對(duì)簇A進(jìn)行聚類(lèi)，得到簇B、C；

采用評(píng)價(jià)函數(shù)S對(duì)簇B、C進(jìn)行評(píng)價(jià)，得到評(píng)價(jià)結(jié)果S_B、S_C；

若S_A小于S_B、S_C，則將得到的所有簇記為A₁、A₂、…、A_n，歷史數(shù)據(jù)中帶標(biāo)簽的網(wǎng)絡(luò)流量樣本數(shù)據(jù)中標(biāo)簽為異常的數(shù)據(jù)點(diǎn)記為N₁、N₂、…、N_m，dis(A_x，N_y)為簇A_x中所有點(diǎn)到點(diǎn)N_y的平均距離，取dis(A₁，N₁)、dis(A₁，N₂)、...、dis(A₁，N_i)中值最小的10組數(shù)據(jù)求平均值，小于一定閾值則給簇A₁賦予偽標(biāo)簽異常，否則賦予偽標(biāo)簽正，A₂、…、A_n賦予偽標(biāo)簽方式同A₁；

若S_A大于S_B，將簇B記為簇A，則再次采用DBSCAN聚類(lèi)方法對(duì)簇A進(jìn)行聚類(lèi)，得到簇B、C；

若S_A大于S_C，將簇C記為簇A，則再次采用DBSCAN聚類(lèi)方法對(duì)簇A進(jìn)行聚類(lèi)，得到簇B、C；

采用帶偽標(biāo)簽的流量樣本數(shù)據(jù)訓(xùn)練分類(lèi)器，采用訓(xùn)練好的分類(lèi)器對(duì)預(yù)處理后的網(wǎng)絡(luò)流量實(shí)時(shí)數(shù)據(jù)進(jìn)行分類(lèi)，檢測(cè)出異常的網(wǎng)絡(luò)流量。

2.根據(jù)權(quán)利要求1所述的一種迭代聚類(lèi)的網(wǎng)絡(luò)流量異常檢測(cè)方法，其特征在于，所述對(duì)網(wǎng)絡(luò)流量歷史數(shù)據(jù)進(jìn)行抽樣，再進(jìn)行預(yù)處理，得到網(wǎng)絡(luò)流量樣本數(shù)據(jù)，具體為：

采用分層抽樣的方式，對(duì)網(wǎng)絡(luò)流量歷史數(shù)據(jù)進(jìn)行抽樣按天或者小時(shí)進(jìn)行抽樣，得到網(wǎng)絡(luò)流量抽樣數(shù)據(jù)；

對(duì)網(wǎng)絡(luò)流量抽樣數(shù)據(jù)進(jìn)行清洗，去除請(qǐng)求日期屬性、時(shí)間戳屬性和報(bào)文內(nèi)容屬性，將標(biāo)識(shí)屬性、流量類(lèi)型屬性、訪問(wèn)協(xié)議屬性、請(qǐng)求類(lèi)型屬性以及攻擊類(lèi)型進(jìn)行one-hot編碼，得到網(wǎng)絡(luò)流量樣本數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的一種迭代聚類(lèi)的網(wǎng)絡(luò)流量異常檢測(cè)方法，其特征在于，所述構(gòu)建自編碼降維模型，對(duì)網(wǎng)絡(luò)流量樣本數(shù)據(jù)進(jìn)行降維，得到降維后的流量樣本數(shù)據(jù)，具體為：

采用預(yù)處理后的流量數(shù)據(jù)訓(xùn)練自編碼網(wǎng)絡(luò)，得到自編碼降維模型，用于對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行降維；

使用自編碼降維模型對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行降維操作，得到網(wǎng)絡(luò)流量低維樣本數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的一種迭代聚類(lèi)的網(wǎng)絡(luò)流量異常檢測(cè)方法，其特征在于，所述步驟自編碼網(wǎng)絡(luò)由編碼器和解碼器2個(gè)部分組成，所述編碼器由3層帶激活函數(shù)的全連接網(wǎng)絡(luò)組成，所述激活函數(shù)為T(mén)anh，編碼器用于將高維的網(wǎng)絡(luò)流量樣本數(shù)據(jù)以低維的形式表示；所述解碼器由3層全連接網(wǎng)絡(luò)組成，解碼器用于將低維形式的數(shù)據(jù)重新還原成與輸入相同的維度，編碼器的輸出數(shù)據(jù)是解碼器的輸入數(shù)據(jù)，自編碼網(wǎng)絡(luò)訓(xùn)練階段采用的損失函數(shù)公式如下：

loss＝(decoded-original_data)²+λT_w

其中，decoded表示解碼器輸出，original_data表示原始流量樣本數(shù)據(jù)，λ是正則項(xiàng)的系數(shù)，是權(quán)重正則項(xiàng)，防止模型過(guò)擬合，L表示層數(shù)，I和J表示權(quán)重W的索引。